CN114283113A - 检测患者样本自身抗体与双链脱氧核糖核酸的结合的方法 - Google Patents

Abstract

本发明涉及用于在使用短膜虫细胞的情况下通过荧光显微术并且通过数字图像处理检测患者样本的自身抗体与双链脱氧核糖核酸的结合的方法，该方法包括：提供具有多个短膜虫细胞的基底；将基底与潜在具有自身抗体的患者样本一起培育；将基底与次级抗体一起培育，次级抗体用优选绿色的荧光染料标记；获取基底的荧光图像；通过预训练的第一卷积神经网络在荧光图像中识别代表短膜虫细胞的子图像；此外通过预训练的第二卷积神经网络对子图像的至少一个子集进行处理，以确定结合量度，该结合量度指示在子图像的短膜虫细胞的动质体区域中自身抗体的结合程度；并且基于结合量度确定关于患者样本的自身抗体与双链脱氧核糖核酸的结合的总结合量度。

Description

检测患者样本自身抗体与双链脱氧核糖核酸的结合的方法

技术领域

本发明涉及一种用于在使用短膜虫细胞的情况下通过荧光显微术并且通过数字图像处理检测患者样本的自身抗体与双链脱氧核糖核酸(DNA)的结合的方法和设备。

背景技术

例如，针对脱氧核糖核酸(DNA)的自身抗体的证实对于诊断SLE(系统性红斑狼疮)至关重要。在这里，必须从根本上区分两种类型：针对dsDNA的抗体和针对单链变性DNA(ssDNA)的抗体。针对dsDNA的抗体与DNA脱氧核糖磷酸架内的表位反应。相比之下，针对ssDNA的抗体主要与来自嘌呤和嘧啶碱基区域的表位结合。然而，它们也可以识别磷酸脱氧核糖架的表位。抗dsDNA抗体几乎只在SLE中发现。根据证实方法和疾病活动，它们的患病率为20％至90％。抗dsDNA抗体有时也会在患有其他自身免疫性疾病和感染的患者中被证实，并且在极少数情况下在临床健康的个人中也会被证实。后者在85％的病例中会在第一次抗dsDNA证实后的5年内发展为SLE。但是，如果不存在针对dsDNA的抗体，则不能完全排除SLE。SLE是一种来自结缔组织疾病的系统性自身免疫性疾病。诊断以1997年美国风湿病学会(ACR)的11项修改标准为指导。如果存在11条标准中的4条，则有可能以80％至90％的确定性诊断SLE。

间接免疫荧光是一种体外测试，用于确定针对dsDNA的人类抗体。例如，涂有短膜虫涂片的所谓BIOCHIP可以作为基底。例如，所述基底与稀释的患者样本一起培育。在肯定反应的情况下，特异性抗体会与抗原结合。在进一步的培育步骤中，经结合的抗体(IgG)被例如用荧光素标记的抗人抗体染色，并在荧光显微镜下可看到。

因此，现有技术中已知提供一种基底，在该基底中，多个短膜虫细胞固定在该基底上。例如，这种固定可以通过乙醇实现。

然后将基底与患者样本、优选稀释的血清一起培育，患者样本潜在具有待检测的自身抗体。根据现有技术，然后可以将细胞或基底与所谓的缀合物一起培育，所述缀合物具有用例如绿色荧光染料标记的二级抗体。

在用激励光照射经培育的基底后，通过绿色荧光染料发出的荧光辐射则可以作为荧光显微术的显微图像来获取。

示例性地，这样的显微图像在图1中被示出为图像SG。

图2中再次更详细地示出图1中的单个的短膜虫细胞CR。一个短膜虫细胞CR的这种子图像TB清楚地示出动基体K上的染色，它也被称为线粒体。细胞核Z和基体B上还有另外的染色。

为了可靠检测患者样本中的自身抗体与双链DNA的结合，获取基底的荧光图像SG中的多个动基体的染色是至关重要的。如图2所示，针对细胞核Z以及针对基体B也可能存在结合或染色，从而必须通过图像处理可靠地在其在图像中的位置方面确定动基体K。

通过对荧光图像SG中的相应短膜虫细胞的相应动基体的相应染色进行分析评价，然后可以总体上确定患者样本的自身抗体与双链DNA的平均总结合。

发明内容

因此，任务是提供一种在使用数字图像处理的情况下确定患者样本中的自身抗体与双链脱氧核糖核酸的结合的方法，其中，可以可靠地确定荧光图像内不同短膜虫细胞的不同动基体区域的染色。

因此，提出一种用于在使用短膜虫细胞的情况下通过荧光显微术并且通过数字图像处理检测患者样本的自身抗体与双链脱氧核糖核酸的结合的方法。所述方法包括不同的步骤。首先提供具有多个短膜虫细胞的基底；然后将基底与潜在具有自身抗体的患者样本一起培育。此外，将基底与次级抗体一起培育，所述次级抗体分别用荧光染料标记，所述荧光染料优选为绿色荧光染料。此外，在对应于荧光染料的颜色通道中获取基底的荧光图像，其中，所述颜色通道优选为绿色通道。此外，在所获取的荧光图像中识别相应的子图像。所述子图像分别代表短膜虫细胞。所述识别通过预训练的第一卷积神经网络实现。此外，通过预训练的第二卷积神经网络对相应的子图像的至少一个子集进行相应处理，以用于确定相应的结合量度，所述结合量度指示在相应的子图像的相应的短膜虫细胞的相应的动质体区域中自身抗体的结合的相应程度。此外，基于相应的结合量度确定关于患者样本的自身抗体与双链脱氧核糖核酸的结合的总结合量度。

患者样本是液态患者样本，优选液态血液或液态血液成分。尤其是，液态患者样本是液态血清。优选地，患者样本用所谓的洗涤缓冲液、优选所谓的PBS Tween稀释。

缀合物具有用荧光染料标记的次级抗体。

所提出的方法尤其是用于在体外确定液态患者样本中初级抗体的存在的方法。

基底尤其是具有短膜虫类型的动物致病性血鞭毛虫的生物样本。这些单细胞生物具有含有双链DNA的巨型线粒体(动基体)，该巨型线粒体基本上没有细胞核中含有的其余抗原。来自患者样本的与动基体反应的初级自身抗体针对dsDNA。

荧光显微术尤其是所谓的间接免疫荧光显微术(IIFT显微术)。

优选地，用激励辐射照射基底以激励第一和第二荧光染料的荧光辐射。激励辐射优选地是蓝光并且因此具有在蓝色光谱中的波长。荧光染料优选为绿色荧光染料，尤其是异硫氰酸荧光素(FITC)类型的荧光染料。

为了阐述根据本发明的方法的一个或多个可能可以实现的优点，下面进行更详细阐述。

图5示出设备V1，通过该设备可以执行根据本发明的方法。设备V1可称为荧光显微镜。设备V1包括用于基底S的保持件H，该基底已经以上述方式培育。经由光学装置O，激励光源LQ的激励光AL被导向基底S。所产生的荧光辐射FL然后通过光学装置O传回并且穿过分色镜SP1和可选的光学过滤器F2。优选地，荧光辐射FL穿过光学过滤器FG，光学过滤器将绿色通道过滤出。相机K1优选地是单色相机，该单色相机然后在存在光学过滤器FG的情况下在绿色通道中获取荧光辐射FL。根据一种替代的实施方式，相机K1是彩色相机，该彩色相机在不使用光学过滤器FG的情况下够用并且通过拜耳矩阵在作为绿色通道的相应颜色通道中获取荧光图像。相机K1将图像信息BI或荧光图像提供给计算单元R，该计算单元处理所述图像信息BI。

图1示出绿色通道中的示例性荧光图像SG。

根据本发明，首先基于荧光图像SG识别这样的子图像，所述子图像尤其是具有至少一个短膜虫细胞。对此，图3示出相应的通过矩形标记的子图像，尤其是子图像TB1、TBA、TBB、TBX。尤其是指示特定的子图像区域TB1。

在本申请的意义下，子图像区域也可以被称为子图像。

这样的示例性子图像TB、即图1中的子图像TB1在图2中示出。如图2中所见，由于抗体的结合，在短膜虫细胞中可以有多达三个显著染色的区域，即在动质体K、基体B和细胞核Z的区域中。因此，必须确保，在荧光图像SG中，不使用任何显著染色作为分析评价标准，而仅使用动质体区域的染色作为分析评价标准。

图14a示出根据本发明的方法的进一步的步骤，其中，对于特定子图像TB1，通过第二卷积神经网络CNN2确定相配的结合量度IBM1。结合量度IBM1指示在子图像中示出的短膜虫细胞的动基体区域中自身抗体的结合度。

图14b示出根据本发明的方法的进一步的步骤ERS，其中，基于不同的相应子图像区域的不同的相应的结合量度IBM1、IBM2确定关于基底中的患者样本的自身抗体与双链DNA的待检测的结合的总结合量度GBM。

因此，根据本发明的方法的目标是通过经由相应子图像区域中的荧光染料确定相应动基体区域的相应染色来确定初级自身抗体与相应短膜虫细胞的相应动基体区域中的dsDNA的结合。

应该指出的是，在根据本发明的方法中，图1中的整个荧光图像SG不是简单地供应给单个卷积神经网络以用于多个染色的动基体区域的整体识别，而是本发明明确不同于这种通过一个唯一的卷积神经网络对整个荧光图像SG进行总体分类的方法。具体地，根据本发明，首先如此进行预处理，使得借助于第一卷积神经网络在荧光图像中识别子图像区域或子图像。如图2中可见，由于抗体的结合，在短膜虫细胞中可以有多达三个显著染色的区域，即在动质体K、基体B和细胞核Z的区域中。由第一卷积神经网络识别的图像然后首先分别本身单独分开地由第二卷积神经网络CNN2处理，以便针对相应子图像确定代表动基体区域的相应亚图像，并且以便然后尤其是通过亚图像确定相应的结合量度，该结合量度指示相应子图像的相应短膜虫细胞的相应动基体区域中自身抗体的结合的相应程度。换句话说：这些经识别的子图像区域尤其是首先分别本身单独分开地由第二卷积神经网络CNN2处理，以便为相应的子图像识别相应的亚图像，并且然后基于相应的亚图像确定相应的子图像的相应的结合量度。这种结合量度指示相应子图像的相应短膜虫细胞的相应动基体区域中自身抗体的结合的相应程度。然后基于相应子图像的这些相应的单个的结合量度来确定总结合量度。

根据本发明，通过预训练的第一卷积神经网络在所述荧光图像中识别子图像。这是有利的，因为所述第一卷积神经网络不用于确定关于患者样本的自身抗体与双链脱氧核糖核酸的结合的总结合量度的总任务，而所述第一卷积神经网络仅用于以下子任务：识别分别代表短膜虫细胞的子图像。因此，所述第一卷积神经网络仅须以识别或定位荧光图像中的相关子图像的方式进行预训练。根据本发明，随后分别单独分开地通过第二卷积神经网络处理所识别的子图像，以便为每个子图像确定自身抗体与子图像中的相应短膜虫细胞的相应动基体区域的结合的单独的结合量度。因此，可以对第二卷积神经网络如此进行预训练，使得第二卷积神经网络专注于如下任务或针对如下任务设计，即，在具有尤其是单个短膜虫细胞的子图像中识别动基体区域。确切地说，没有将荧光图像的整个图像信息引入到一个单个的卷积神经网络中，而是将单独分开的卷积神经网络用于所提到的子图像的识别和相应子图像的相应单独的结合量度的确定的单独分开的子任务。因此，这些单独分开的卷积神经网络可以设计并预训练为，使得它们可靠地实施相应的任务，与此相反，一个单个的卷积神经网络的设计或训练以为了确定总结合量度而处理整个荧光图像必须处理极其大量的图像信息，以便满足确定总结合量度的目的，因此这种单个的卷积神经网络可能容易出错。

所提出的方法此外是有利的，因为在优选为绿色通道的一个颜色通道的荧光图像中，第一卷积神经网络在所述荧光图像中直接识别或定位的子图像。因此，根据本发明，不需要通过另一种荧光染料、如伊文思蓝(Evans Blue)用所谓的复染色制备基底以在红色通道中产生红色染色；而是根据本发明可以完全省去用于红色通道的这种复染色。这通过如下方式实现，即，第一卷积神经网络设计或预训练为用于识别分别代表短膜虫细胞的子图像的步骤或任务。

换句话说：根据本发明的方法通过在此描述的方式在动基体区域的定位方面或在动基体区域的变色的检测方面实现了高的准确度。如果将图1中的整个荧光彩色图像SG供应给一个单个的卷积神经网络，以检测一个动基体或不同短膜虫细胞的不同动基体区域的变色，则在此其他区域、如基体区域或细胞核区域在可能被分别错误地识别为动基体区域，并且因此可能会使对初级自身抗体与dsDNA的结合的确定出错。此外，整个荧光图像SG在约90％的很大一部分上仅具有背景区域，从而在通过一个单个的CNN处理整个荧光图像SG的情况下，属于背景区域的图像像素也必须被处理，这将使该单个的CNN非常耗费且处理效率低下。此外，该单个的CNN还必须从整个荧光图像SG中再识别分别代表动基体的从属区域，由于细胞核区域或基体区域可能染色，该单个的CNN是耗费的。具体地，在基体区域和/或细胞核区域染色的情况下，动基体区域的染色不一定存在。由于短膜虫细胞在基底或荧光彩色图像SG内的不同位置，如图1所示，对于通过一个单个的卷积神经网络将单个的图像片段可靠分类为动基体，存在太多的自由度。

代替由一个单个的CNN对整个荧光图像进行处理，根据本发明，由第二卷积神经网络CNN2对相应子图像本身进行单独处理。子图像在其关于整个荧光图像的位置方面通过第一卷积神经网络CNN1基于对荧光图像的分析评价来确定。由此可实现，第二卷积神经网络CNN2能够明确地针对单个的子图像进行训练，即针对具有单个的短膜虫细胞的相应子图像进行训练。然后第二卷积神经网络CNN2仅须再在该子图像中检测动基体的位置。所述位置可以优选地被确定为所谓的亚图像。然后关于各个动基体，可以通过第二卷积神经网络CNN2确定所述细胞或所述动基体的结合量度。

再次换言之：根据本发明，通过分别仅将特定的单个的子图像区域供应到第二卷积神经网络CNN2中可实现：第二卷积神经网络CNN2仅限于对单个的短膜虫细胞的这种子图像或单个的图示进行分析，以识别动基体并确定关于自身抗体的结合量度。如果将整个荧光彩色图像、如图1中的图像SG供应给一个单个的卷积神经网络以用于在训练阶段过程中检测不同动基体的分类任务，则必须将该单个的卷积神经网络在其自由度方面设计得非常大，而训练这种单个的CNN会非常耗费和低效。由于根据本发明的第二卷积神经网络CNN2分别仅须单独处理单个的子图像区域本身，以便然后确定相应的结合量度，因此第二卷积神经网络CNN2可以限于处理代表短膜虫细胞的图像，如图2中作为图像TB所示。

本发明的有利实施方式是从属权利要求的技术方案并且在下文的描述中部分地参考附图详细阐述。

优选地，在所述荧光图像中识别相应的子图像通过如下方式实现，即，通过预训练的第一卷积神经网络将荧光图像的相应的图像片段配设给图像片段类别组中的相应的图像片段类别，其中，所述图像片段类别组至少包括以下图像片段类别：细胞和背景。

优选地，所述图像片段类别组至少包括以下图像片段类别：细胞、细胞边缘和背景。优选地，类别“细胞”也可以称为类别“细胞体”。

优选地，对于相应的子图像，该方法包括以下步骤：选择相应的子图像的相应的亚图像，其中，相应的亚图像代表相应的短膜虫细胞的相应的动质体区域；此外基于相应的亚图像确定相应的结合量度。该方法优选还包括：基于相应的结合量度确定总结合量度。

优选地，该方法包括以下步骤：通过第二卷积神经网络确定相应子图像的至少一个相应的最终特征映射，此外确定关于在针对相应子图像或相应的最终特征映射的相应动基体区域中存在自身抗体的结合的相应置信量度，尤其是基于相应的最终特征映射，此外基于所确定的置信量度选择子图像的子集或选择相应的最终特征映射的子集，此外相应处理相应的所选择的子图像的相应特征映射以用于确定相应的结合量度。该方法优选还包括：基于相应的结合量度确定总结合量度。

优选地，对于来自所选择的子集的相应的子图像，该方法包括以下步骤：基于对应于相应子图像的相应的最终特征映射选择相应的子图像的相应的亚图像，其中，相应的亚图像代表相应的短膜虫细胞的相应的动质体区域，并且此外基于相应的亚图像确定相应的结合量度。该方法优选还包括：基于相应的结合量度确定总结合量度。

优选地，对于来自所选择的子集的相应的子图像，该方法还包括以下步骤：基于相应的最终特征映射求取相应的掩码算子，此外通过将相应的掩码算子应用于相应的子图像来选择相应的子图像的相应亚图像，此外基于相应的亚图像确定相应的结合量度。该方法优选还包括：基于相应的结合量度确定总结合量度。

优选地，该方法被设计为使得在子图像的处理过程中，第二卷积神经网络在第一处理层级中基于子图像通过至少一个第一卷积层生成合成特征映射的第一集合，此外在第二处理层级中基于二维特征映射的第一集合通过至少一个第二卷积层生成合成特征映射的第二集合，并且还基于二维特征映射的第二集合通过至少一个第三卷积层生成合成特征映射的第三集合，其中，第二集合具有比第一集合更少数量的合成特征映射，并且第三集合具有比第二集合更多数量的合成特征映射。

优选地，该方法被设计为使得第二卷积层和第三卷积层作为顺序处理路径的子步骤相继跟随，其中，在第二处理层级中，与顺序处理路径并行存在有另外的处理路径，在所述另外的处理路径中，第二卷积神经网络基于二维特征映射的第一集合通过至少一个第四卷积层生成合成特征映射的第四集合，其中，此外第二卷积神经网络基于合成特征映射的第三集合和第四集合生成对应于子图像的最终特征映射，并且，此外并行处理路径中彼此相继的卷积层的数量小于顺序处理路径中彼此相继的卷积层的数量。

优选地，该方法包括以下步骤：在使用固定预设的获取参数的情况下在颜色通道中获取临时的第一荧光图像，确定颜色通道的临时的第一荧光图像的亮度是否超过最大亮度，在颜色通道的临时的第一荧光图像不超过最大亮度的情况下，使用临时的第一荧光图像作为荧光图像，在颜色通道的临时的第一荧光图像超过最大亮度的情况下，在颜色通道中获取临时的第二荧光图像并使用颜色通道的临时的第二荧光图像作为荧光图像。

此外，还提出一种根据本发明的用于在使用短膜虫细胞的情况下通过荧光显微术并且通过数字图像处理检测患者样本的自身抗体与双链脱氧核糖核酸的结合的设备，所述设备包括：用于基底的保持装置，所述基底具有多个短膜虫细胞并且所述基底与具有自身抗体的患者样本以及还与次级抗体一起培育，所述次级抗体分别用荧光染料标记。所述设备还包括至少一个图像获取单元，用于获取基底的荧光图像。所述设备还包括至少一个计算单元，所述计算单元被设计为通过预训练的第一卷积神经网络在所述荧光图像中识别相应的子图像，所述子图像分别代表至少一个短膜虫细胞，此外通过预训练的第二卷积神经网络分别单独处理相应的子图像的至少一个子集，以用于确定相应的结合量度，所述结合量度指示在相应的子图像的相应的短膜虫细胞的相应的动质体区域中自身抗体的结合的相应程度，并且此外基于相应的结合量度确定患者样本的自身抗体与双链脱氧核糖核酸的结合的总结合量度。

还提出了一种计算单元，该计算单元被设计为：在数字图像处理过程中，接收荧光图像，所述荧光图像代表基底通过荧光染料的染色，所述基底又具有多个短膜虫细胞，此外通过预训练的第一卷积神经网络在所述荧光图像中识别相应的子图像，所述子图像分别代表至少一个短膜虫细胞，此外通过预训练的第二卷积神经网络分别单独处理相应的子图像的至少一个子集，以用于确定相应的结合量度，所述结合量度指示在相应的子图像的相应的短膜虫细胞的相应的动质体区域中自身抗体的结合的相应程度，并且此外基于相应的结合量度确定患者样本的自身抗体与双链脱氧核糖核酸的结合的总结合量度。

此外提出了一种数据网络装置，其包括至少一个数据接口，用于接收荧光图像，所述荧光图像代表基底通过荧光染料的染色，所述基底又具有多个短膜虫细胞。该数据网络装置还包括至少一个计算单元，所述计算单元设计为在数字图像处理过程中，通过预训练的第一卷积神经网络在所述荧光图像中识别相应的子图像，所述子图像分别代表至少一个短膜虫细胞，此外通过预训练的第二卷积神经网络分别单独处理相应的子图像的至少一个子集，以用于确定相应的结合量度，所述结合量度指示在相应的子图像的相应的短膜虫细胞的相应的动质体区域中自身抗体的结合的相应程度，并且此外基于相应的结合量度确定患者样本的自身抗体与双链脱氧核糖核酸的结合的总结合量度。

还提出了一种用于数字图像处理的方法，包括以下步骤：接收荧光图像，所述荧光图像代表基底通过荧光染料的染色，所述基底又具有多个短膜虫细胞，此外通过预训练的第一卷积神经网络在所述荧光图像中识别相应的子图像，所述子图像分别代表至少一个短膜虫细胞，此外通过预训练的第二卷积神经网络分别单独处理相应的子图像的至少一个子集，以用于确定相应的结合量度，所述结合量度指示在相应的子图像的相应的短膜虫细胞的相应的动质体区域中自身抗体的结合的相应程度，并且此外基于相应的结合量度确定患者样本的自身抗体与双链脱氧核糖核酸的结合的总结合量度。

此外提出了一种包括指令的计算机程序产品，所述指令在计算机执行程序时促使所述计算机执行根据本发明的用于数字图像处理的方法。

此外还提出了一种传输所提出的计算机程序产品的数据载体信号。

附图说明

在不限制本发明的一般构思的情况下，下面根据特定的实施方式参考附图详细阐述本发明。附图中：

图1示出在颜色通道中的具有多个短膜虫细胞的基质的荧光图像；

图2示出图1中的荧光图像的具有短膜虫细胞的子图像；

图3示出具有经识别的相应的第一子图像区域的第一颜色通道的荧光图像；

图4示出荧光图像，其中，指示了从图3中的子图像的总集合中所选择的子图像；

图5示出根据本发明的设备的实施例；

图6示出针对荧光图像而确定的二元图像，作为二元信息或二元掩码；

图7a示出图3中的特定的图像局部的分类结果；

图7b示出第一类型的最终分类结果；

图7c示出第二类型的最终分类结果；

图8a示出示例性的子图像；

图8b示出第一最终特征映射；

图8c示出优选要确定的第二最终特征映射；

图9a示出图8b中的第一最终特征映射的经内插的版本；

图9b示出从图9a中的内插特征映射导出的二进制值掩码算子；

图9c示出从图8a中的子图像区域中选择的亚图像的亚图像区域；

图10示出用于通过第一卷积神经网络处理荧光图像的步骤；

图11示出通过第一卷积神经网络进行处理的详细步骤；

图12a示出荧光图像的示例性图示；

图12b示出第一分类矩阵或第一分类映射的示例性图示；

图13示出用于执行根据本发明的方法的步骤；

图14a示出用于确定患者样本的初级自身抗体与子图像区域的动质体区域的结合的结合量度的基本原理；

图14b示出对多个结合量度的处理，用于确定总结合量度；

图15示出用于在颜色通道的第一荧光彩色图像中确定子图像区域的步骤；

图16a示出第二卷积神经网络的优选实施方式的示例性说明；

图16b示出第二卷积神经网络的第一种卷积层的子步骤；

图16c示出第二卷积神经网络的另一种卷积层的子步骤；

图17示出用于基于相配的特征映射针对相应的子图像确定关于自身抗体与动质体区域存在结合的置信量度的处理步骤；

图18示出用于基于相应的子图像的置信量度选择所识别的子图像的子集的步骤；

图19示出用于选择相应子图像的相应亚图像以及基于相应亚图像通过将二进制值掩码算子应用于相应子图像确定相应的结合量度的步骤；

图20示出根据本发明的计算单元的示例性图示；

图21示出根据本发明的数据网络装置的示例性图示；

图22示出根据本发明的计算机程序产品和根据本发明的数据载体信号的示例性图示；

图23示出CNN2的第一处理层级的实施例；

图24示出CNN2的第二处理层级的第一部分的实施例；

图25示出CNN2的第二处理层级的第二部分的实施例；

图26示出CNN2的第三处理层级的实施例；

图27示出亚图像的像素值；

图28示出荧光图像的相应子图像的相应置信量度值；

图29示出根据优选实施方式的用于获取荧光图像的方法的步骤；以及

图30至33示出第二卷积神经网络的实施方式的子元素。

具体实施方式

图13示出用于执行根据本发明的方法的不同步骤。在步骤S1中，提供具有多个短膜虫细胞的基底。在步骤S2中，将基底与患者样本一起培育。患者样本潜在具有自身抗体。在共同的步骤S3和S4中，将基底与次级抗体一起培育，次级抗体分别用优选的绿色荧光染料标记。在步骤S5中，在颜色通道中获取基底的荧光图像，该颜色通道优选为绿色通道并且该颜色通道对应于荧光染料。在步骤S6中，通过预训练的第一卷积神经网络在荧光图像中识别相应的子图像，所述子图像分别代表短膜虫细胞。

在步骤S7中，通过预训练的第二卷积神经网络对相应的子图像的至少一个子集进行相应处理，以用于确定相应的结合量度，所述结合量度指示在相应子图像的相应短膜虫细胞的相应动基体区域中自身抗体的结合的相应程度。在步骤S8中，基于相应子图像的相应的结合量度，确定关于患者样本的自身抗体与基底中的双链DNA的结合的总结合量度。在步骤S9中，优选提供总结合量度并且替代地或附加地输出和/或显示总结合量度。

图14a示出为了确定单独的结合量度IBM1而通过第二卷积神经网络CNN2对单独的子图像区域TB1的示例性单独处理。结合量度IBM1指示单独的子图像区域TB1的单独的短膜虫细胞的单独的动基体区域中自身抗体的单独的结合度。

图14b示出通过求取步骤ERS对总结合量度GBM的确定(该求取步骤对应于图13中的步骤S8)，以便基于相应子图像的相应的结合量度IBM1、IBM2确定总结合量度GBM。

图5示出根据本发明的设备V1的实施例。设备V1包括用于基底S的保持装置H。激励光源LQ的激励光AL经由光学过滤器F1预过滤，然后借助分色镜SP1通过光学装置O导向基底。所产生的荧光辐射或所产生的荧光FL然后从基底通过物镜O、通过分色镜SP1并通过封闭过滤器F2返回。光学过滤器F2将激励辐射或激励光AL的波长过滤出。荧光FL然后被供应给至少一个呈相机K1形式的图像获取单元。经由优选要使用的光学过滤器FG，荧光FL在第一颜色通道中被过滤，使得荧光FL在通过光学过滤器FG之后代表所谓的绿色通道。图像获取单元K1优选是单色相机。在替代的实施方式中，不存在光学过滤器FG并且相机K1是彩色相机，该相机利用例如拜耳矩阵滤出绿色图像或绿色通道图像并获取荧光图像作为优选的绿色图像。经由数据接口DS1，设备V1可以提供指示总结合量度的结果数据ED。

计算单元R设计用于接收呈数字数据BI形式的荧光图像。此外，计算单元R被设计用于执行根据本发明的方法的步骤S5至S9。

根据本发明的计算单元R也可以如图20所示实现。在此，计算单元R通过至少一个数据接口DS2接收呈至少一个数据信号SI的形式的荧光图像。在执行图13中的根据本发明的方法的相关步骤S5至S8之后，计算单元R确定了患者样本的自身抗体与双链DNA的结合的总结合量度。优选地，计算单元R包括通向显示单元AE的输出接口AS，通过该输出接口可以输出或显示总结合量度。优选地，计算单元R包括通向数据网络的另外的数据接口DS3，经由该另外的数据接口，计算单元经由数据信号SI3提供总结合量度。计算单元R的数据接口DS2、DS3也可以是一个共同的数据接口。数据接口DS2、DS3优选是网络数据接口。

计算单元R也可以是根据本发明的数据网络装置DV的一部分，如图21所示。数据网络装置DV包括至少一个数据接口DS4，用于通过至少一个数据信号SI1接收荧光图像BI。数据网络装置DV包括计算单元R，该计算单元优选地通过内部数据总线IDB与存储单元MEM和数据接口DS4连接。计算单元R以如先前关于图20所描述的方式设计。数据网络装置DV可以是单个的计算机或者是所谓的云解决方案。数据网络装置DV因此通过计算单元R执行根据本发明的用于数字图像处理的方法，在该方法中接收荧光图像BI并且在该方法中计算单元R执行图13中的步骤S5至S8。

图22示出根据本发明的计算机程序产品CPP，其包括在通过计算机CO执行程序时促使所述计算机执行根据本发明的数字图像处理方法的指令。

计算机程序产品CPP能够以数据载体信号SI2的形式提供并且由计算机CO通过位于计算机CO上的数据接口DSX接收。数据载体信号SI2因此传输计算机程序产品CPP。

图15示出在步骤S6中对荧光图像SG的处理以用于获得子图像数据TBD，所述子图像数据代表或指示子图像。图3示出荧光图像SG，该荧光图像带有经指示的子图像TB1、TBA、TBB、TBX，这些子图像通过相应的矩形记录在荧光图像SG中。其他未详细提及的子图像通过其他矩形记录在荧光图像SG中。图4示出带有专门选择的子图像的荧光图像SG。例如，图3中的子图像TBX不是被选择用于确定子图像子集的子图像，因为图3中的所述子图像TBX不再在图4中指示。选择子图像的子集的这一步骤稍后将详细阐述。

图15中所示的步骤S6在图10中详细阐述。步骤S6由第一卷积神经网络CNN1执行，第一卷积神经网络优选地包括卷积神经网络CNNA和所谓的后处理PP1作为相应的子步骤。借助于预训练的第一卷积神经网络CNN1求取的子图像数据TBD则包括所识别的子图像，例如子图像TB1或指示所述子图像。

图11示出第一卷积神经网络CNN1的其他细节。

在第一卷积神经网络CNN1中作为第一子步骤使用的卷积神经网络CNNA将在后面参考图30到33进行详细阐述。

所述卷积神经网络CNNA接收荧光图像SG并且将荧光图像SG的这些相应的图像片段或这些相应的像素与相应的图像片段类别相配设。所述图像片段类别形成一组图像片段类别，该组图像片段类别至少包括图像片段类别：细胞和背景。优选地，所述图像片段类别组包括图像片段类别：细胞、细胞边缘和背景。

荧光图像SG可以理解为信息

SG(m)，m＝1...M，M＝1048576

其中指标m是像素指标或图像片段指标，并且其中，在1024x1024的分辨率的情况下产生值为M＝1048576的参数M。本领域技术人员了解，在为荧光图像SG选择不同的图像分辨率时产生针对参数M的不同的值。也可以按比例缩小荧光图像。

卷积神经网络CNNA然后求取针对相应图像片段类别的相应矩阵或映射MA1、MA2、MA3。针对优选K＝3个图像片段类别的一个映射或矩阵MA1、MA2、MA3因此可以描述为

MAk，k＝1...K

映射的分辨率优选与荧光图像SG的分辨率相同，因此适用的是

MAk(m)，m＝1...M

其中，优选M＝1048567。

为此，图12a示出荧光图像SG的示例性图示，其中，指示第一像素SG(1)和最后一个像素SG(M)。

为此，图12b以相应的方式示出第一图像片段类别的映射或矩阵MA1。然后可以为其他图像片段类别设置相关的对应映射或矩阵MA2、MA3。

在单个条目MA1(1)中，映射MA1则具有置信量度，该置信量度指示对应的图像片段或像素SG(1)属于映射或矩阵MA1的第一图像片段类别。

相应地，这可以针对相关的第二或第三图像片段类别的映射或矩阵MA2、MA3进行设置。

也在图11中示出的映射或矩阵MA1、MA2、MA3然后在进一步的步骤AM中经受所谓的Argmax运算，Argmax运算则针对来自荧光图像SG的相应图像片段或相应像素求取，所述像素或所述图像片段最有可能属于哪个图像片段类别。

这是通过形成一个分类矩阵MX来完成，其中，

MX(m)，m＝1...M

然后为确定分类矩阵MX根据下式执行Argmax运算

分类矩阵MX的值或单个的值MX(m)则来自集合{1,2,3}，其中，例如，1指示来自荧光图像SG的对应图像片段或对应像素属于类别：背景。例如，值2指示来自荧光图像SG的对应像素或对应图像片段属于细胞边缘。优选地，值3指示来自荧光图像的对应像素或对应图像片段属于类别：细胞或细胞体。

然后还优选地进行所谓的映射步骤MS1，该映射步骤将分类矩阵MX转换为二元分类矩阵BMX，二元分类矩阵也可以被理解为二元图像信息BSG。二元图像信息BSG的结果如图6所示。这种二元图像信息BSG或BMX也可以描述为

BMX(m)，m＝1...M

映射步骤MS1中的映射则优选如此进行，使得与背景相配设的、即属于类别1的矩阵MX中具有指标m的所有那些图像片段或像素然后也在二元矩阵BMX中最终配设给背景并设置为值0。所有在矩阵MX中配设给细胞边缘、即属于类别2的图像片段或像素在二元矩阵BMX中最终也配设给背景并设置为值0。所有在矩阵MX中配设给细胞或细胞体、即属于类别3的图像片段或像素在二元矩阵BMX中最终配设为细胞区域并设置为值1。这是根据如下规则进行：

图7a针对图6中完全特定的细胞ZBA、ZBB示出在映射步骤MS1之前映射矩阵MX的分类结果。配设给背景的像素以黑色示出。配设给细胞边缘的像素以灰色示出为ZRA。配设给细胞体或细胞的像素以白色示出为ZEA。这也在图7a中针对细胞ZBB通过像素或图像片段的分类实现，并通过信息ZEB和ZRB进行描述。由于映射步骤MS1，则有利地实现细胞ZBA和ZBB的分离，从而得到图7c中的最终信息，使得这两个细胞ZBA、ZBB可以被分开并且现在可以被确定为区域E1、E2。如果映射以错误的方式进行，例如由于细胞边缘ZRA、ZRB被配设给细胞区域或细胞体ZEA、ZEB，则可能发生的是：两个细胞ZBA、ZBB被理解为一个整体区域，其在图7b中示出为具有子区域E11、E21的区域。

图6中的二元图像BSG然后在图11中的进一步的后处理步骤PX中被处理，以便确定子图像并且将其作为子图像数据TBD提供。现在更详细地论述后处理PX的步骤。首先通过Satoshi Suzuki等人的“Topological structural analysis of digitized binaryimages by border following”(Computer Vision,Graphics,and Image Processing，30(1):32-46，1985)的方法进行后处理，以便在图像BSG中找到相关的轮廓。此外，然后通过来自数据库OpenCV(https://opencv.org)的“Structural analysis and shapedescriptors”这一部分中的函数boundingRect对所谓的边界框进行后处理。在此，边界框的大小为150×150像素。

优选地，可以分析评价图1中的荧光图像SG的品质，其方式为，在确定图6中的二元图像BSG中的轮廓之后，至少十个所识别的细胞区域或子图像必须具有特定形态和一定的最小尺寸。只有在至少十个细胞满足这两个标准的情况下，才会进一步处理荧光图像，而不会在该方法中输出错误。如果少于十个所识别的细胞区域或子图像不满足这两个标准，则该方法优选被中止并输出错误通知。

图30、31、32和33示出子元素CNNA1、CNNA2、CNNA3、CNNA4，它们以相应的顺序共同被考虑，形成了图10或11中的卷积神经网络CNNA。根据图30，荧光图像SG由卷积神经网络的部分CNNA1接收。从图30到33可以明显看出，整个卷积神经网络CNNA由一序列的神经网络的多个步骤或处理操作构成，其中，出现不同类型的步骤。第一步骤INL是所谓的输入层，在该输入层中接收例如维度为1024×1024的荧光图像SG。图1中的荧光图像SG可以优选地具有优选高于分辨率1024×1024的第一维度或分辨率，并且为了预处理的目的被缩小或重新缩放到1024×1024的第二维度或分辨率。优选在缩放步骤SKL中将荧光图像SG的亮度值缩放到取值范围0至1。

为每个单个的随后的步骤详细说明：步骤的输入参量是哪个维度，以及步骤的输出参量是哪个维度。在此，对于每个单独的步骤，输入参量的维度可以在第一行“输入”中在后续括号中通过第二和第三条目得知。此外，通过括号中的第四条目可以得知在单个的步骤中接收到多少输入参量。例如，在步骤CS1中执行二维卷积，从而输出参量“输出”为输入生成16个不同的输出参量，因为16个卷积核用于一个唯一的输入参量，其中，各输出参量分别具有512×512的维度。因此，对于每个处理步骤，本领域技术人员可以从这里给出的参数中清楚地推导出输入和输出参量的维度以及可能必须需要的卷积核的数量有多少。

这样的设计也可以在稍后参考图23、24、25和26的关于第二卷积神经网络CNN2的描述中找到。

具有图30至32的CNNA1至CNNA4的组成部分的卷积神经网络CNNA包括不同类型的处理步骤。处理步骤CONV2D是在特定数量卷积核情况下的二维卷积。函数LR是激活函数，作为泄漏整流线性单元激活函数。函数AP是所谓的平均池化。函数BN是所谓的批标准化。处理步骤或函数ADD是多个输入参量的元素相加，用于生成单个的输出参量。例如，如图31所示，处理步骤US是所谓的上采样。图33中的处理步骤ACT是所谓的激活函数，该激活函数例如可以由Sigmoid函数或所谓的Softmax函数给出。在神经网络CNNA的输出端或子网络CNNA4的输出端则产生三个矩阵MA1、MA2、MA3，这些矩阵已经参考图11进行了详细阐述。

图16a示出第二卷积神经网络CNN2的不同处理层级P1、P2、P3、P4，用于基于多个子图像区域TB1、……、TBN确定总结合量度GBM，如上所述。在这里，CNN2分别处理具有指标N的相应子图像区域TB1、TB2、……、TBN，以便为相应子图像区域TB1、TB2、……、TBN生成相应的单独的结合量度IBM1、IBM2、……、IBMN，如上面参考图14a所阐述的。

在此，图16a示出，在为每个单个的子图像TB1、……确定相应的单独的结合量度的过程中，生成相应的最终特征映射FFM1和优选另外的最终特征映射FFM2。可以将CNN2设计为仅设置和生成唯一的通道的唯一的最终特征映射FFM1。

因此，图16a中的处理层级P3的结果针对具有指标N的子图像TB是最终特征映射FFM1和优选另外的最终特征映射FFM2。针对图8a中的子图像TB的第一最终特征映射FFM1在图8b中示出。针对子图像TB的第二最终特征映射FFM2在图8c中示出。

卷积神经网络CNN2解决了所谓的“单标签分类”问题，即子图像中的动基体是否有染色。最终特征映射FFM1代表第一分类通道中关于“单标签分类”的肯定决策的激活，即动基体区域被染色。优选要设置的最终特征映射FFM2代表与此相对应的关于否定决策的激活，即动基体没有被显著染色。

根据图17，基于第一最终特征映射FFM1和优选第二最终特征映射FFM2，确定关于动基体区域的染色或在所观察的子图像TB的相应动基体区域K中存在自身抗体的结合的正置信量度PK。优选地，基于第一最终特征映射FFM1和优选第二最终特征映射FFM2确定关于动基体区域的染色或在所观察的子图像TB的相应动基体区域K中存在自身抗体的结合的负置信量度NK。

优选地，仅基于第一最终特征映射可以确定关于在相应子图像TB的相应动基体区域中存在自身抗体的结合的置信量度，而不必使用第二最终特征映射FFM2。然后例如可以在步骤S20中将特征映射FFM1供应给所谓的最大池化，该最大池化为最终特征映射FFM1求取最大像素值作为单个的标量值。优选地，所述标量值可以用作置信量度。优选地，基于所述标量值则可以例如通过所谓的Sigmoid函数求取一个值作为置信量度。优选地，基于所述标量值则可以例如通过所谓的修正线性单元激活函数求取一个值作为置信量度。

优选地，在相应的步骤S20中，将两个相应的特征映射FFM1、FFM2分别供应给所谓的最大池化，最大池化针对相应的最终特征映射分别求取最大像素值作为相应的单个的标量值。基于所述标量值，则可以在所谓的Softmax函数中在步骤S21中确定正概率PK作为关于在动基体区域中存在自身抗体的结合的置信量度或关于动基体区域的染色的置信量度。负概率NK也可以由Softmax函数确定。正概率PK和负概率NK优选相加形成值为1的总和。因此，以这种方式，对于相应的子图像TB，通过求取第一最终特征映射FFM1和优选第二最终特征映射FFM2则可以根据图17确定关于在相应子图像的动基体区域中存在自身抗体的结合的相应的置信量度。

替代Softmax函数的函数是例如Sigmoid函数、整流线性单元激活函数或泄漏整流线性单元激活函数。

图18示出基于相应子图像的相应正置信量度来从荧光图像中选择所识别的子图像的子集的步骤。在步骤S30中，N个相应子图像中的具有指标1、...、N的相应正置信量度PK1、PK2、PK3、.....、PKN关于它们的值按升序排序。示例性地，对于29个不同的短膜虫细胞或29个不同的子图像，图28示出各自相配的正置信量度PK，这些正置信量度通过相应的排序指标1、......、29关于其值PKW以升序值绘制。然后在步骤S31中，选择如下置信量度及其各自相配的子图像，所述置信量度的相配的置信量度值为最高的置信量度值PKW的50％。然后通过借助数据记录ID输出相应的子图像指示部来输出或指示相配的子图像的子集。基于来自数据记录ID的指示部，则可以选择相应的子图像及其相配的结合量度来确定总结合量度。

然后基于属于所选子图像的那些结合量度来确定总结合量度。总结合量度的这种确定尤其在第二卷积神经网络的第四处理层级P4内的后处理PP的步骤中发生，如图16a所示。

图19再次示出通过第二卷积神经网络CNN2对单个的子图像TB1的示例性处理。首先，通过第二卷积神经网络的前三个处理层级P1至P3处理子图像TB1，从而提供最终特征映射FFM1并且优选地还提供第二最终特征映射。然后在选择步骤SEL中，基于参考图17和18阐述的指标数据ID，将子图像TB1潜在地选择到子图像的子集中。如果子图像TB1已经被选择到所述子集中，那么接着在第四处理层级P4中作为后处理PP进行进一步处理。在此，在确定正置信量度之后并且在选择子图像的子集之后，然后进行所选择的相应子图像的相应第一特征映射FFM1的相应后处理PI。示例性地，这里针对单独的子图像TB1示出用于确定单独的结合量度IBM1的后处理PI。在此，针对子图像TB1基于最终特征映射FFM1选择相应亚图像。亚图像在子图像中代表相应短膜虫细胞的相应动基体区域。这样的子图像TB示例性地在图8a中示出。然后，在步骤KIN中，图8b中的相配的第一特征映射FFM1通过三次内插在其大小和分辨率方面与图8a中的子图像TB相适配，从而得到图9a中的放大的特征映射VFM。

然后在阈值步骤SB中，求取图9b中示出的二进制值掩码BM。在此，优选将如下值用作阈值，该值是特征映射的最大可能的灰度值强度的一半。因此，如果特征映射VFM的灰度值介于值0和1之间，则使用值0.5作为阈值。

然后在步骤MS中，将图9b的掩码算子BM应用于子图像TB，从而产生图9c中的对应的亚图像SUB。因此，所提出的第二卷积神经网络CNN2能够为每个相应的子图像TB提供最终特征映射FFM1，该最终特征映射借助于其值指示子图像的对应于动基体的亚图像区域。因此，第二卷积神经网络能够从子图像中切出或选择相应的亚图像，然后可以将该亚图像用于确定自身抗体与动基体上的双链DNA结合的结合量度。

根据图19，然后在确定步骤BS中确定子图像TB1的结合量度IBM1。这通过观察亚图像SUB中的像素值并选择如下值来实现，该值定义了亚图像中的像素值的90％分位数。为此，图27针对图9c中的亚图像SUB的像素示出具有对应的排序指标PN的大小升序的对应的像素值PW。指标QN的值QW是如下值，针对该值，来自亚图像SUB的90％的像素值小于值QW。

在接下来的步骤中，基于来自所选择的子集的单独的子图像的多个单独的结合量度IBM1、IBM2……来确定总结合量度GBM。

图16a示出具有多个处理层级P1、P2、P3、P4的第二卷积神经网络CNN2的示例性实施方式，用于分别单独处理具有指标N的子图像TB1、……、TBN。

在第一处理层P1中，卷积神经网络CNN2基于子图像TB1通过至少一个第一卷积层LA1并通过应用多个二维卷积核来生成二维合成特征映射的第一子集RFM1。所述特征映射RFM1不必直接来自卷积层LA1，而是可以通过另外的处理步骤PS2、PS3、PSC生成。

在卷积层LA1中，在步骤PS1中进行处理，该步骤包括一序列的不同的子步骤。步骤PS1是步骤PSA的类型，其在图16b中详细描述。首先通过相应的二维卷积利用多个卷积核进行所输入的子图像的二维卷积CONV2D。随后的批标准化在步骤BN中进行。接下来在步骤ACT中跟着所谓的激活。

在本申请的意义下，第二卷积神经网络CNN2的卷积层包括用于利用一个或多个卷积核对一个或多个特征映射进行卷积的层。然后优选地在卷积层内在这种用于卷积的层之后可以跟随批标准化层和/或激活层。

然后在图16a中的第二处理层级P2中，基于特征映射的第一集合RFM1通过至少一个第二卷积层LA2并通过应用多个三维卷积核来生成二维合成特征映射的第二集合RFM2。

然后基于第二集合RFM2通过至少一个第三卷积层LA3并通过应用多个三维卷积核来生成二维合成特征映射的第三集合RFM3。所述第三集合RFM3直接或间接输入到第三层级P3的进一步的处理中。在第三层级中，基于第三集合RFM3通过另外的卷积层LAX确定第一最终特征映射FFM1和优选第二最终特征映射FFM2。

第二集合RFM2的特征映射数量少于第一集合RFM1。此外，第三集合RFM3比第二集合RFM2具有更多数量的合成特征映射。卷积核也可以称为卷积算子。

通过第二卷积层LA2中特征映射数量的减少而发生所谓的挤压(Squeezing)。第一集合RFM1的特征映射或其特征通过卷积核投影到子空间中，因为三维卷积核响应于各特征映射之间的特征关联性。因此，只有第一集合RFM1的特征映射中最主要的特征被保留并投影到第二集合RFM2的特征映射中。因此，较少主导和说服力较小的特征因此被过滤掉。

由于通过第三卷积层LA3从第二集合RFM2向第三集合RFM3特征映射数量的增加，之前减少的特征或信息分布到不同的特征空间和不同的特征映射中，其中，可以基于第三卷积层LA3中所使用的三维卷积核的自由度来以不同的方式组合所述特征。这对应于所谓的展开(Expand)。

在第一处理层级P1中，另外的卷积层LA11可以跟随于第一卷积层LA1。所述层LA11使用在层LA1中创建的特征映射。优选地，层LA11具有彼此并行布置的处理步骤PS2、PS3。所述处理步骤PS2、PS3分别是图16c中的处理步骤PSB的类型。在步骤PSB的子步骤CONV3D中，利用相应的三维卷积核进行特征映射的三维卷积。然后在进一步的子步骤BN中进行所谓的批标准化。此外，在步骤ACT中跟随所谓的激活。

由层LA11的步骤PS2和PS3产生的特征映射然后在合并步骤PSC中相互合并；换句话说，特征映射被排在一起。

优选地，在第一处理级P1中，在步骤PS4中利用二维卷积核进行子图像TB1的卷积。步骤PS4是图16b中的子步骤CONV2D的类型。

优选地，由层LA11和步骤PS4产生的特征映射能够以如下方式相互关联，即，特征映射的条目分别以元素方式相加。因此，这不会导致特征映射的维度发生变化，而是来自层LA11的特征映射的各个元素以元素方式与来自步骤PS4的特征映射的各个元素相加。

来自第二卷积层LA2的步骤PS5属于图16c中的步骤PSB类型。

优选地，来自卷积层LA2的特征映射在第三卷积层LA3中处理，使得在相应的步骤PS7和PS8中以及在步骤PSC中，以类似于来自卷积层LA11的特征映射的处理方式来处理特征映射，其中，所使用的卷积核的数量和卷积核的维度可能彼此不同。步骤PS7和PS8属于图16c中的步骤PSB的类型。通过将来自相应步骤PS7和PS8的相应特征映射以元素相加，通过步骤PSC生成特征映射的第三集合RFM3。

在第二处理层级P2中，第二卷积层LA2和第三卷积层LA3作为顺序处理路径PF1的子步骤相继跟随。此外，在第二处理层级P2中，与顺序处理路径PF1并行存在另外的处理路径PF2，其中，CNN2基于第一集合RFM1通过至少一个第四卷积层LA4以及通过应用多个三维卷积核而生成二维合成特征映射的第四集合RFM4。这通过步骤PS6实现，该步骤是图16c中的子步骤CONV3D的类型。

然后又通过步骤PSS由特征映射的第三集合RFM3和特征映射的第四集合RFM4生成通过处理层级P2中的步骤PSS确定的特征映射集合RFM5。然后可以在第三处理层级P3中使用所述特征映射集合RFM5，以便通过进一步的步骤LAX生成第一最终特征映射FFM1和优选第二最终特征映射FFM2，稍后将对其进行详细阐述。

在另外的处理层级PS4中，则进行所谓的后处理，如图19中详细阐述的那样。

因此，CNN2基于特征映射的第三集合RFM3和特征映射的第四集合RFM4生成对应于子图像TB的最终特征映射FFM1。在此，并行处理路径PF2中彼此相继的卷积层LA4的数量小于顺序处理路径PF1中彼此相继的卷积层LA2、LA3的数量。因此，并行处理路径PF2比顺序路径PF1具有更少的卷积层。由此，在第二卷积神经网络的训练过程中能实现，在反向传播过程中重新计算卷积核的单个的权重的情况下，避免或减少了所谓的“梯度消失”问题。

如上文关于图16a所述，CNN2可以由四个处理层级组成。

对此，图23示出第一处理层级P1的详细实施方式，其对应于图16a中的第一处理层级P1。

对于每个单个的步骤，详细说明了：呈子图像或特征映射集合形式的输入参量是哪个维度。在此，对于每个单个的步骤，一个或多个输入参量的维度可以在第一行“输入”中在后续括号中通过第二和第三条目得知。例如，子图像数据TB1的维度为150×150像素。对于数据TB1，只有一个唯一的输入参量，其在括号内在第四个/最后一个条目中由元素“1”指示。就它们的取值范围而言，图像数据TB1优选地标准化为从0到1的取值范围。

然后在步骤PS中，例如用卷积核处理所述输入参量TB1，使得产生维度为75×75像素的特征映射。在此，下部的行“输出”中的最后一个条目指示合成特征映射集合的所生成的特征映射的数量。因此，对于每个处理步骤，本领域技术人员可以从这里给出的参数中清楚地推导出，必须对输入的数据TB1或输入的特征映射应用多少卷积核才达到特定数量的输出的特征映射。在步骤PS4的示例中，这些是64个卷积核。此外，本领域技术人员可以根据输入的特征映射的所给出的维度和输出的特征映射的所给出的维度推导出所谓的“跨步(Striding)”有多少，即在利用一个卷积核进行特征映射的卷积过程中的偏移，以便必须实施特定数量的像素。在步骤PS4的示例中，这是值为2的跨步。

本领域技术人员通过图23中的说明得到明确的指令，以便对卷积神经网络CNN2的处理层级P1进行设计。

图24示出图16a中的处理层级P2的第一部分P21。这里，子处理层级P21的结构基本上对应于图16a中的处理层级P2。此外，这里还设置一个所谓的针对训练阶段的“丢弃(Dropout)”步骤，在该步骤中，特征映射的单个的条目在训练期间，而不是在测试阶段的实际分类期间，在其像素值方面被设置为值“0”(零)。这里，丢弃因数优选是50％的值，从而一半的像素值被设置为零。像素值是随机选择的，其方式为，通过随机函数选择它们的指示部。

然后在子处理层级P21中产生特征映射集合RFM5，如之前在图16a中在处理层级P2中所示。

优选地，卷积神经网络CNN2可以具有另外的子处理层级P22，该另外的子处理层级在上文中在图16a中没有描述。在这里，进一步处理特征映射集合RFM5，以生成修改的特征映射集合RFM51。

这里，在图25中也包含针对本领域技术人员的准确说明：如何生成所述修改的特征映射集合RFM51。在这里，所谓的丢弃DRO也发生在训练阶段，而不是测试阶段。

图26示出用于生成第一最终特征映射FFM1和优选第二最终特征映射FFM2的第三处理层级P3的一个实施方式。基于特征映射的第三集合RFM3和特征映射的第四集合RFM4间接生成特征映射FFM1和优选特征映射FFM2。在此，上文在图16a中描述的处理步骤LAX具有子步骤。在第一子步骤SEPC中，发生输入的特征映射RFM51的所谓“深度卷积”，其中，分别利用一个二维卷积核对来自集合RFM51的每个单个的二维特征映射进行卷积，由此产生二维特征映射的集合RFM511。随后紧接着在进一步的子步骤CONV3D中，利用维度为1×1×G的三维卷积核对由步骤SEPC产生的集合RFM511的多个二维特征映射进行卷积，其中，G是该集合中的特征映射的数量，从而由此确定第一最终特征映射FFM1。优选地，在进一步的子步骤CONV3D中，利用维度为1×1×G的另外的三维卷积核对由步骤SEPC产生的集合RFM511的多个二维特征映射进行进一步卷积，其中，G是该集合中的特征映射的数量，从而由此确定第二最终特征映射FFM2。

接着图26中的第三处理层级P3的是所谓的后处理PP，如图16a中在处理层级P4中所示，以及如在图19中详细阐述的。

为了实现这里提出的卷积神经网络CNN1、CNN2的一个或多个示例性实施例，本领域技术人员可以采用名称为“Keras”的所谓开源深度学习库。本领域技术人员可在https://keras.io下找到详细信息。具有图23到26中的处理层级P1、P21、P22和P3以及处理层级P4的所提出的CNN2的实施方式(如图19中详细说明)为了测试目的通过所谓的开源深度学习库“Keras”创建。

不同的荧光图像数据记录被用于训练卷积神经网络CNN1、CNN2。

第一卷积神经网络CNN1的训练基于34000个完整图像或荧光图像，连同三个图像片段类别：细胞体、细胞边缘和背景的相应的标注(Ground-Truth)数据。对于训练，使用34000个荧光图像中的95％，即32300个荧光图像。在训练过程中，这32300个荧光图像被提供给第一卷积神经网络，并通过交叉熵损失进行优化以重现标注掩码。所述训练以1e-3的起始学习率进行100个时期。学习率是可变的并且取决于当前的时期。对于第一卷积神经网络CNN1的后续测试，然后使用34000个荧光图像中剩余的5％，即1700个荧光图像。也存在三个图像片段类别：细胞体、细胞边缘和背景的相应标注数据。图像片段的分类是在像素层级或以像素精度进行。关于3个类别的图像片段或像素的分类精度达到99.6％。另一个评估度规是平均交并比(Miou)，因为它考虑了背景像素和单元像素的频率之间的严重不平衡。实现了80％的Miou。

荧光图像的第一数据记录是这样的数据记录，在该数据记录中，已知用于培育的患者样本具有自身抗体并且动基体区域因此在荧光图像中具有相关染色。荧光图像的第二数据记录是这样的数据记录，在该数据记录中，已知用于培育的患者样本没有抗体并且动基体区域因此在荧光图像中没有相关染色。

第二卷积神经网络CNN2的训练基于代表“肯定”测试情况(肯定结果或肯定患者)的24980个子图像和代表“否定”测试情况(否定结果或否定患者)的15957个子图像。对于训练本身，则使用所有24980个肯定子图像中的17427个肯定子图像和所有15957个否定子图像中的11233个否定子图像，分别具有相应的标注信息。第二卷积神经网络CNN2在使用1e-3的学习率的情况下在100个时期中训练。为了测试，则使用所有24980个肯定子图像中的7543个肯定子图像和所有15957个否定子图像中的4724个否定子图像。在测试情况下由第二卷积神经网络CNN2得出的决策产生了6602个真肯定决策和4623个真否定决策。此外，产生101个假肯定决策和941个假否定决策。这对应于87.52％的灵敏度和97.86％的特异性。

图29示出方法V20，在该方法中执行用于获取荧光图像的优选可执行的步骤。

在步骤S200中，通过至少一个固定预设的获取参数EP1来获取临时的第一荧光图像EVFB2，该获取参数优选地是增益参数。

然后在步骤S201中，形成关于图像EVFB2的像素值的直方图，从而确定并提供直方图数据HD。

然后在步骤S202中，确定在亮度方面超过特定饱和度的像素的数量有多高。对于从0到255的像素值的示例性量化范围，例如确定有多少像素具有255的像素值或灰度值。亮度饱和的像素的数量作为数据AS提供。

然后在步骤S203中，检查在饱和范围内的像素AS的数量是否超过预设阈值TH。如果没有超过阈值(见分支“N”)，则使用临时的第一荧光图像EVFB2作为荧光图像SG；参见图4。如果饱和像素的数量超过阈值TH(参见分支“Y”)，则在步骤S204中在使用至少一个固定预设的第二获取参数EP2的情况下获取临时的第二荧光图像ZVFB2。固定预设的获取参数EP2不同于之前固定预设的第一获取参数EP1。优选地，获取参数EP2是增益参数并且小于第一获取参数EP1，从而图像ZVFB2的曝光弱于图像EVFB2。然后将所获取的临时的第二荧光图像EVFB2用作荧光图像SG；参见图4。优选地，还提供指示数据，所述指示数据指示临时的第一荧光图像EVFB2的亮度已经超过最大亮度，并且荧光图像SG是在亮度降低情况下获取的临时的第二荧光图像ZVFB2。

临时的第二荧光图像EVFB2然后可以在所提出的方法中以通常方式用作荧光图像SG。在此，卷积神经网络CNN2优选地通过置信量度PK确定对于最小数量的子图像区域、优选至少十个子图像区域是否存在动基体区域的染色。如果是这种情况，卷积神经网络CNN2输出最大亮度或最大亮度值、优选255的亮度值作为总结合量度。如果卷积神经网络CNN2确定动基体区域没有真正被染色，则荧光图像SG被分析评价为总体否定的。

虽然已经结合设备描述了一些方面，但不言而喻，这些方面也是对相应方法的描述，从而设备的块或结构元件也应理解为相应的方法步骤或方法步骤的特征。类似地，已经结合方法步骤或作为方法步骤描述的方面也是对相应设备的相应块或细节或特征的描述。

根据具体的实施要求，在本发明的示例性实施例中，计算单元R或数据网络装置能够以硬件和/或软件实现。这里提到的计算单元R在此可以实现为至少一个计算单元或者也可以通过相连接的多个计算单元来实现。可以在使用数字存储介质的情况下实现所述实施，数字存储介质例如是软盘、DVD、蓝光光盘、CD、ROM、PROM、EPROM、EEPROM或闪存、硬盘驱动器或其他磁性或光学存储设备，其存储电子可读控制信号，该控制信号与可编程硬件组件相互作用或能相互作用，使得执行相应的方法。

作为计算单元，可编程硬件组件可以由处理器、中央处理器(CPU)、计算机、计算机系统、专用集成电路(ASIC)、集成电路(IC)、单芯片系统(SOC)、可编程逻辑元件或带有微处理器的现场可编程门阵列(FPGA)形成。

因此，数字存储介质可以是机器可读的或计算机可读的。因此，一些实施例包括具有电子可读控制信号的数据载体，所述控制信号能够与可编程计算机系统或可编程硬件组件如此相互作用，使得执行本文描述的方法之一。

一般而言，本发明的实施例或实施例的部分可被实现为具有程序代码或数据的程序、固件、计算机程序或计算机程序产品，其中，程序代码或数据可在程序在处理器或可编程硬件组件上运行时起作用而执行方法之一或一个方法的一部分。

Claims (16)

1.用于在使用短膜虫细胞的情况下通过荧光显微术并且通过数字图像处理检测患者样本的自身抗体与双链脱氧核糖核酸的结合的方法，所述方法包括：

-提供具有多个短膜虫细胞(CR)的基底(S)，

-将基底(S)与潜在具有自身抗体的患者样本一起培育，

-将基底(S)与次级抗体一起培育，所述次级抗体分别用荧光染料标记，所述荧光染料优选为绿色荧光染料，

-在对应于荧光染料的颜色通道中获取基底(S)的荧光图像(SG)，其中，所述颜色通道优选为绿色通道，

其特征在于，

-通过预训练的第一卷积神经网络(CNN1)在所述荧光图像(SG)中识别相应的子图像(TB)，所述子图像分别代表短膜虫细胞(CR)，

-通过预训练的第二卷积神经网络(CNN2)对相应的子图像(TB)的至少一个子集进行相应处理，以用于确定相应的结合量度(IBM1、IBM2)，所述结合量度指示在相应的子图像(TB)的相应的短膜虫细胞(CR)的相应的动质体区域(K)中自身抗体的结合的相应程度，

-基于相应的结合量度(IBM1、IBM2)确定关于患者样本的自身抗体与双链脱氧核糖核酸的结合的总结合量度(GBM)。

2.根据权利要求1所述的方法，其中，在所述荧光图像(SG)中识别相应的子图像(TB)通过如下方式实现，即，通过预训练的第一卷积神经网络(CNN1)将荧光图像的相应的图像片段配设给图像片段类别组中的相应的图像片段类别，其中，所述图像片段类别组至少包括以下图像片段类别：

-细胞，和

-背景。

3.根据权利要求1所述的方法，其中，在所述荧光图像(SG)中识别相应的子图像(TB)通过如下方式实现，即，通过预训练的第一卷积神经网络(CNN1)将荧光图像的相应的图像片段配设给图像片段类别组中的相应的图像片段类别，其中，所述图像片段类别组至少包括以下图像片段类别：

-细胞体，

-细胞边缘，和

-背景。

4.根据权利要求1所述的方法，所述方法包括：对于相应的子图像(TB)，

-选择相应的子图像(TB)的相应的亚图像(SUB)，其中，相应的亚图像(SUB)代表相应的短膜虫细胞(CR)的相应的动质体区域(K)，

-基于相应的亚图像(SUB)确定相应的结合量度(IBM1)，

并且所述方法还包括：基于相应的结合量度(IBM1、IBM2)确定总结合量度(GBM)。

5.根据权利要求1所述的方法，所述方法包括：

-通过第二卷积神经网络(CNN2)确定相应的子图像(TB)的相应的最终特征映射(FFM1)，

-确定关于在相应的子图像(TB)的相应的动质体区域(K)中存在自身抗体的结合的相应的置信量度(PKN)，

-基于所确定的置信量度(PKN)选择子图像(TB)的子集，

-相应处理相应的所选择的子图像的相应的特征映射，以用于确定相应的结合量度(IBM1、IBM2)，

-基于相应的所选择的子图像的相应的结合量度(IBM1、IBM2)确定总结合量度(GBM)。

6.根据权利要求5所述的方法，所述方法包括：对于来自所选择的子集的相应的子图像(TB)，

-基于对应于相应的子图像(TB)的相应的最终特征映射(FFM1)来选择相应的子图像(TB)的相应的亚图像(SUB)，其中，相应的亚图像(SUB)代表相应的短膜虫细胞(CR)的相应的动质体区域(K)，

-基于相应的亚图像(SUB)确定相应的结合量度(IBM1)，

并且所述方法还包括：

-基于相应的结合量度(IBM1、IBM2)确定总结合量度(GBM)。

7.根据权利要求6所述的方法，所述方法包括：对于来自所选择的子集的相应的子图像(TB)，

-基于相应的最终特征映射(FFM1)求取相应的掩码算子(BM)，

-通过将相应的掩码算子(BM)应用于相应的子图像(TB)来选择相应的子图像(TB)的相应的亚图像(SUB)，

-基于相应的亚图像(SUB)确定相应的结合量度(IBM1)，

并且所述方法包括：

-基于相应的结合量度(IBM1、IBM2)确定总结合量度(GBM)。

8.根据权利要求5所述的方法，其中，在子图像(TB)的处理过程中，第二卷积神经网络(CNN2)，

-在第一处理层级(P1)中，基于子图像(TB)通过至少一个第一卷积层(LA1)并通过应用多个二维卷积核而生成合成特征映射的第一集合(RFM1)，

-在第二处理层级(P2)中，

-基于二维特征映射的第一集合(RFM1)通过至少一个第二卷积层(LA2)并通过应用多个三维卷积核而生成合成特征映射的第二集合(RFM2)，

-并且还基于二维特征映射的第二集合(RFM2)通过至少一个第三卷积层(LA3)并通过应用多个三维卷积核而生成合成特征映射的第三集合(RFM3)，

其中，第二集合(RFM2)具有比第一集合(RFM1)更少数量的合成特征映射，并且第三集合(RFM3)具有比第二集合(RFM2)更多数量的合成特征映射。

9.根据权利要求8所述的方法，

其中，在第二处理层级(P2)中，第二卷积层(LA2)和第三卷积层(LA3)作为顺序处理路径(PF1)的子步骤相继跟随，

其中，在第二处理层级(P2)中，与顺序处理路径(PF1)并行存在有另外的处理路径(PF2)，在所述另外的处理路径中，第二卷积神经网络(CNN2)基于二维特征映射的第一集合(RFM1)通过至少一个第四卷积层(LA4)生成合成特征映射的第四集合(RFM4)，

其中，第二卷积神经网络(CNN2)基于合成特征映射的第三集合(RFM3)和第四集合(RFM4)生成对应于子图像(TB)的最终特征映射(FFM1)，

并且，并行处理路径(PF2)中彼此相继的卷积层的数量小于顺序处理路径(PF1)中彼此相继的卷积层的数量。

10.根据权利要求1所述的方法，所述方法包括：

-在使用固定预设的获取参数(EP1)的情况下在颜色通道中获取临时的第一荧光图像(EVFB2)，

-确定颜色通道的临时的第一荧光图像(EVFB2)的亮度是否超过最大亮度，

-在颜色通道(EVFB2)的临时的第一荧光图像不超过最大亮度的情况下，使用临时的第一荧光图像(EVFB2)作为所述荧光图像(SG)，

-在颜色通道(EVFB2)的临时的第一荧光图像超过最大亮度的情况下，在颜色通道(ZVFB2)中获取临时的第二荧光图像并使用颜色通道(ZVFB2)的临时的第二荧光图像作为所述荧光图像(SG)。

11.用于在使用短膜虫细胞的情况下通过荧光显微术并且通过数字图像处理检测患者样本的自身抗体与双链脱氧核糖核酸的结合的设备(V1)，所述设备包括：

-用于基底(S)的保持装置(H)，所述基底具有多个短膜虫细胞(CR)并且所述基底与具有自身抗体的患者样本以及还与次级抗体一起培育，所述次级抗体分别用荧光染料标记，所述荧光染料优选为绿色荧光染料，

-至少一个图像获取单元(K1、K2)，用于在对应于荧光染料的颜色通道中获取基底(S)的荧光图像(SG)，其中，所述颜色通道优选为绿色通道，

并且所述设备还包括至少一个计算单元(R)，所述计算单元被设计为

-通过预训练的第一卷积神经网络(CNN1)在所述荧光图像(SG)中识别相应的子图像(TB)，所述子图像分别代表至少一个短膜虫细胞(CR)，

-通过预训练的第二卷积神经网络(CNN2)分别处理相应的子图像(TB)的至少一个子集，以用于确定相应的结合量度(IBM1、IBM2)，所述结合量度指示在相应的子图像(TB)的相应的短膜虫细胞(CR)的相应的动质体区域(K)中自身抗体的结合的相应程度，

-并且基于相应的结合量度(IBM1、IBM2)确定患者样本的自身抗体与双链脱氧核糖核酸的结合的总结合量度(GBM)。

12.计算单元(R)，所述计算单元设计为在数字图像处理过程中，

-接收荧光图像(SG)，所述荧光图像代表基底通过荧光染料的染色，所述基底又具有多个短膜虫细胞(CR)，所述荧光染料优选为绿色荧光染料，

-通过预训练的第一卷积神经网络(CNN1)在所述荧光图像(SG)中识别相应的子图像(TB)，所述子图像分别代表至少一个短膜虫细胞(CR)，

-通过预训练的第二卷积神经网络(CNN2)分别处理相应的子图像(TB)的至少一个子集，以用于确定相应的结合量度(IBM1、IBM2)，所述结合量度指示在相应的子图像(TB)的相应的短膜虫细胞(CR)的相应的动质体区域(K)中自身抗体的结合的相应程度，

-并且基于相应的结合量度(IBM1、IBM2)确定患者样本的自身抗体与双链脱氧核糖核酸的结合的总结合量度(GBM)。

13.数据网络装置(DV)，包括：

至少一个数据接口(DS4)，用于接收荧光图像(BI1、SG)，所述荧光图像代表基底通过荧光染料的染色，所述基底又具有多个短膜虫细胞，所述荧光染料优选为绿色荧光染料，

以及至少一个计算单元(R)，所述计算单元设计为在数字图像处理过程中，

-通过预训练的第一卷积神经网络(CNN1)在所述荧光图像(SG)中识别相应的子图像(TB)，所述子图像分别代表至少一个短膜虫细胞(CR)，

-通过预训练的第二卷积神经网络(CNN2)分别处理相应的子图像(TB)的至少一个子集，以用于确定相应的结合量度(IBM1、IBM2)，所述结合量度指示在相应的子图像(TB)的相应的短膜虫细胞(CR)的相应的动质体区域(K)中自身抗体的结合的相应程度，

-并且基于相应的结合量度(IBM1、IBM2)确定患者样本的自身抗体与双链脱氧核糖核酸的结合的总结合量度(GBM)。

14.用于数字图像处理的方法，包括：

-接收荧光图像(SG)，所述荧光图像代表基底通过荧光染料(S)的染色，所述基底又具有多个短膜虫细胞(CR)，所述荧光染料优选为绿色荧光染料，

-通过预训练的第一卷积神经网络(CNN1)在所述荧光图像(SG)中识别相应的子图像(TB)，所述子图像分别代表至少一个短膜虫细胞(CR)，

-通过预训练的第二卷积神经网络(CNN2)分别处理相应的子图像(TB)的至少一个子集，以用于确定相应的结合量度(IBM1、IBM2)，所述结合量度指示在相应的子图像(TB)的相应的短膜虫细胞(CR)的相应的动质体区域(K)中自身抗体的结合的相应程度，

-并且基于相应的结合量度(IBM1、IBM2)确定患者样本的自身抗体与双链脱氧核糖核酸的结合的总结合量度(GBM)。

15.计算机程序产品(CPP)，包括指令，所述指令在通过计算机执行程序时促使所述计算机执行根据权利要求14所述的用于数字图像处理的方法。

16.数据载体信号(SI2)，所述数据载体信号传输根据权利要求15所述的计算机程序产品(CPP)。

Images