CN112240878B - 用于检测不同抗核抗体荧光图案类型的存在的方法和装置 - Google Patents

用于检测不同抗核抗体荧光图案类型的存在的方法和装置 Download PDF

Info

Publication number
CN112240878B
CN112240878B CN202010677726.4A CN202010677726A CN112240878B CN 112240878 B CN112240878 B CN 112240878B CN 202010677726 A CN202010677726 A CN 202010677726A CN 112240878 B CN112240878 B CN 112240878B
Authority
CN
China
Prior art keywords
image
partial
cell
detecting
fluorescent dye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010677726.4A
Other languages
English (en)
Other versions
CN112240878A (zh
Inventor
J·克劳特
C·克劳泽
J·福格特
M·哈恩
C·马察拉
S·格拉赫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Euroimmun Medizinische Labordiagnostika AG
Original Assignee
Euroimmun Medizinische Labordiagnostika AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Euroimmun Medizinische Labordiagnostika AG filed Critical Euroimmun Medizinische Labordiagnostika AG
Publication of CN112240878A publication Critical patent/CN112240878A/zh
Application granted granted Critical
Publication of CN112240878B publication Critical patent/CN112240878B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/1023—Microstructural devices for non-optical measurement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/6486—Measuring fluorescence of biological material, e.g. DNA, RNA, cells
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/50—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
    • G01N33/53—Immunoassay; Biospecific binding assay; Materials therefor
    • G01N33/569—Immunoassay; Biospecific binding assay; Materials therefor for microorganisms, e.g. protozoa, bacteria, viruses
    • G01N33/56966—Animal cells
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/50—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
    • G01N33/53—Immunoassay; Biospecific binding assay; Materials therefor
    • G01N33/574—Immunoassay; Biospecific binding assay; Materials therefor for cancer
    • G01N33/57407—Specifically defined cancers
    • G01N33/5743—Specifically defined cancers of skin, e.g. melanoma
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/50—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
    • G01N33/58—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing involving labelled substances
    • G01N33/582—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing involving labelled substances with fluorescent label
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N2015/1006—Investigating individual particles for cytology
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2469/00—Immunoassays for the detection of microorganisms
    • G01N2469/10—Detection of antigens from microorganism in sample from host
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10064—Fluorescence image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Urology & Nephrology (AREA)
  • Hematology (AREA)
  • Pathology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Cell Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biotechnology (AREA)
  • Medicinal Chemistry (AREA)
  • Food Science & Technology (AREA)
  • Microbiology (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Medical Informatics (AREA)
  • Oncology (AREA)
  • Zoology (AREA)
  • Virology (AREA)
  • Tropical Medicine & Parasitology (AREA)
  • Dispersion Chemistry (AREA)

Abstract

本发明提出一种用于检测在具有人上皮癌细胞的生物细胞基质上的各个不同细胞荧光图案类型的相应的潜在存在的方法，所述方法包括：检测代表通过第一荧光染料对所述生物细胞基质染色的第一图像，以及检测代表通过第二荧光染料对所述生物细胞基质染色的第二图像，基于所述第一图像检测相应地代表至少一个有丝分裂细胞的相应的图像区段，基于所检测的图像区段选择第一图像的部分图像和第二图像的与此相对应的部分图像，以及基于所述第一图像的所选择的部分图像和第二图像的所选择的部分图像，借助卷积神经网络来检测所述细胞荧光图案类型中的各个细胞荧光图案类型的相应的实际存在。

Description

用于检测不同抗核抗体荧光图案类型的存在的方法和装置
技术领域
本发明涉及一种用于检测在具有人上皮癌细胞(HEp细胞)的生物细胞基质上的各个不同的细胞荧光图案类型的相应潜在存在的方法和装置，其中，所述荧光图案类型包括不同的抗核抗体荧光图案类型。本发明还涉及一种用于借助数字图像处理来检测在具有人上皮癌细胞的生物细胞基质上的不同荧光图案类型的潜在存在的方法，以及一种计算单元、一种数据网络装置、一种计算机程序产品以及一种对此的数据载体信号。
背景技术
为了医疗诊断的目的以及尤其是为了检测在液体的患者样品(例如血液或血清)中的自身抗体，已知的方法是将具有人上皮癌细胞的生物基质与液体的患者样品或经稀释的液体的患者样品一起培育。根据患者样品中某些初级自身抗体的存在，得出这些初级抗体在所述细胞的不同区域中的结合。此外，然后将所述生物细胞基质与用所谓的荧光染料标记的次级抗体一起培育。这样的次级抗体又可以连接到结合在所述细胞基质上的初级抗体上。于是，在用激励射线照射基质之后得到所提到的荧光染料的荧光，从而在相应的荧光图像中，患者样品的初级抗体于是可以作为荧光图案被定位在荧光图像中，所述初级抗体与细胞基质的细胞结合并且该初级抗体又与具有荧光染料的次级抗体结合。根据患者的疾病或患者样品中特定的初级抗体的存在得出不同的特定的荧光图案。因此，在这样地检测作为所谓的自身抗体(所述自身抗体针对细胞核或细胞核的抗原)的初级抗体时，在此得到所谓的抗核抗体荧光图案。这也被称为所谓的ANA荧光图案或ANA图案。
在命名这样的自身抗原时，要么取决于生物化学特征(DNA、组织蛋白、核糖核蛋白：RNP)、要么取决于与自身抗体相关的疾病。
因此，在具有人上皮细胞或人上皮癌细胞的间接免疫荧光(IIFT)的过程中，提出对所得出的不同荧光图案类型进行识别和分类的任务。在此，在所述荧光图像中不必绝对存在仅一个单独的图案本身，而是也可以同时存在多个图案。
抵抗核抗原的抗体针对不同的细胞核成分(细胞核的生化基质)。所述细胞核成分包括核酸、细胞核蛋白和核糖核蛋白。
将所得到的不同抗核抗体荧光图案类型以不同的图案类型进行区分。对此的方案在网站www.anapatterns.org上找到，此外在该网站上对不同的核图案进行列举和区分。在图24中示出根据所述方案的示例性分类。
发明内容
本发明的任务在于，借助数字图像处理提供一种自动地检测在荧光图像中各个不同的抗核抗体荧光图案类型的相应的潜在存在的方法。
按照本发明的任务通过所提出的方法、所提出的装置、所提出的方法、所提出的用于数字图像处理的方法、所提出的计算单元、数据网络装置、所提出的计算机程序产品以及根据所提出的数据载体信号来解决。
提出一种用于检测在具有人上皮癌细胞的生物细胞基质上的各个不同的细胞荧光图案类型的相应的潜在存在的方法，其中，所述细胞荧光图案类型包括多个不同的抗核抗体荧光图案类型。该方法包括不同的步骤。将细胞基质与潜在具有初级抗体的液体的患者样品一起培育。所述液体的患者样品优选是经稀释的患者血液、特别优选是患者的经稀释的血清。将所述细胞基质又与第一荧光染料一起培育。此外，将所述细胞基质又与用第二荧光染料标记的次级抗体一起培育。此外优选地，用激励射线照射所述细胞基质。此外，采集第一图像，所述第一图像代表通过第一荧光染料对所述细胞基质染色。此外，检测第二图像，所述第二图像代表通过第二荧光染料对所述细胞基质染色。
由于用第一荧光染料对细胞基质染色，在第一图像中得到所述细胞基质的染色，这能够实现在第一图像中关于所述细胞区域的位置视觉地识别不同的细胞区域。所述第一图像优选在空间上与第二图像相同地定向。将这样的第一荧光染料非特定于患者样品中的初级抗体的存在地结合到细胞区域上，并且因此允许在第一图像中原则上识别出不同的细胞区域。
由于所述次级抗体可以结合到这样的初级抗体上，所述初级抗体来自液体的患者样品并且结合到细胞基质或细胞核的特定的区域上，因此，根据初级抗体的相应不同类型的存在，第二图像中可以存在并且于是识别出各个不同的抗体荧光图案。
在按照本发明的方法中，还基于所述第一图像来检测相应地代表至少一个有丝分裂的细胞的图像区段。然后，还基于所检测的图像区段来选择所述第一图像的部分图像和第二图像的与此相对应的部分图像。最后，还基于所述第一图像的所选择的部分图像和第二图像的所选择的部分图像，借助卷积神经网络检测所述细胞荧光图案类型中的各个细胞荧光图案类型的相应的实际存在。
为了检测不同的ANA图案，原则上可以分析具有大量人上皮癌细胞(HEp细胞)的整个荧光图像或整个第二图像，并且为了识别不同的ANA图案将这样的整个荧光图像输送给单个卷积神经网络以检测各个荧光图案类型的相应的存在。于是，所述卷积神经网络(CNN)必须分析图像的所有HEp细胞的整体，以识别不同的抗核抗体荧光图案类型。为了精确地检测，虽然一方面出于统计学原因有利的是，观察尽可能多的HEp单元。然而在此也存在不同的缺点。一方面，用于处理具有大量HEp细胞的整个荧光图像的计算花费非常高。此外，处理这样大的具有非常多HEp细胞的整个图像将构成抽象图像信息的大的自由度。如果在训练阶段期间利用这样大的整个荧光图像来训练卷积神经网络，则抽象图像信息的数量和变化可能过大，以致卷积神经网络在训练阶段中无法充分收敛至某一状态，以便能够实现可靠地检测不同荧光图案类型或者说荧光图案类别。
因此，按照本发明提出，基于用第一荧光染料非特定于抗体结合的染色的第一图像首先检测确定的图像区段，所述图像区段相应地代表至少一个有丝分裂的细胞，以便然后选择第一图像的如下部分图像和第二图像的如下部分图像，所述部分图像具有包括至少一个有丝分裂的细胞的相应的图像区段。有丝分裂的细胞也称为有丝分裂细胞。尤其是，所述图像区段在其空间延伸尺寸方面小于所述部分图像。
由此，一方面得出如下优点，即，卷积神经网络相应地仅须处理第二图像的用抗体特定性的荧光染料染色的部分图像和第一图像的与此相对应的部分图像，而不是一次处理整个第一图像和整个第二图像。因此，可以根据这种部分图像的尺寸来训练卷积神经网络并且仅须分析具有有限数量的HEp细胞的这样的部分图像，并且因此仅须分析有限数量的抽象图像信息。此外，所提出的方法因此特别是有利的，因为恰好仅选择这样的也包含有丝分裂细胞的部分图像。由于所述部分图像包含有丝分裂细胞，所述部分图像特别良好地适用于区分不同的核图案，因为为了检测确定的核图案，不仅必须在通过荧光染料对分裂间期细胞的染色方面考虑所谓的分裂间期细胞，而且恰好也考虑有丝分裂细胞。这允许在一些荧光图案类型之间的区别。因此，通过确保部分图像具有包括有丝分裂细胞的图像区段，提高对相应抗核抗体荧光图案类型的检测的质量。
尤其是，所提出的方法因此尤其是有利的，因为通过确保部分图像具有包括至少一个有丝分裂细胞的相应区段，所述卷积神经网络为了检测各个荧光图案类型的相应存在还能够识别有丝分裂的细胞的中期板的可能存在的染色，以便在不同的抗核抗体荧光图案类型之间进行区分。
因为在按照本发明的方法中，所述卷积神经网络不仅共同处理第二图像的所选择的部分图像(所述第二图像具有用第二荧光染料的患者特定的染色)，而且恰好也共同处理第一图像的与此相对应的部分图像(所述第一图像具有用第一荧光染料对细胞基质的患者特定的染色)，所述卷积神经网络在此可以适用于存在于第一部分图像中的细胞区域、更确切地说细胞核区域的定位信息，并且同时也检测在第二图像的部分图像中的实际的患者特定的荧光图案。因此，卷积神经网络在此同时分析不同颜色通道的彼此对应的荧光部分图像。
本发明的有利的实施形式在下面的说明中部分地参照附图更详细地阐述。
优选地，该方法还包括：基于所述第一图像检测相应地代表至少一个足够质量的有丝分裂细胞的相应的图像区段，以及基于所检测的相应地代表至少一个足够质量的有丝分裂细胞的图像区段来选择第一图像的部分图像和第二图像的与此相对应的部分图像。按本申请的意义，如果有丝分裂细胞处于正确的或者说有效的有丝分裂阶段，那么该有丝分裂细胞于是具有足够的质量或者说是有效的。正确的或者说有效的有丝分裂阶段是所谓的中期。因此，不处于中期内的有丝分裂细胞是错误的或者说无效的有丝分裂细胞。
优选地，该方法还包括：基于所述第一图像的所选择的部分图像和第二图像的所选择的部分图像，借助卷积神经网络确定对于各个荧光图案类型的相应的实际存在的相应的置信度。优选地，输出所述相应的置信度。
优选地，所述卷积神经网络具有输出层，所述输出层对于相应的细胞荧光图案类型、尤其是对于相应的部分图像元组生成相应的特征图，其中，所述卷积神经网络还基于相应的特征图、尤其是对于相应的部分图像元组确定相应的置信度。所述部分图像元组具有第一图像的部分图像和第二图像的与此相对应的部分图像。
优选地，该方法还包括：将所述第一图像分割成不同的区段类别的图像区段，其中，优选至少一个第一区段类别代表细胞的细胞状态，并且优选至少一个第二区段类别代表在细胞之内的细胞区域，此外基于至少一个确定的区段类别的一个或多个图像区段确定对于至少一种荧光图案类型的亮度值，以及还基于荧光图案类型的亮度值校验所述荧光图案类型的置信度。
优选地，基于所述亮度值并且根据可由用户预先给定的阈值来校验所述置信度。
优选地，该方法还包括：对于具有所述第一图像的部分图像和第二图像的相对应的部分图像的相应的部分图像元组，借助卷积神经网络确定对于各个细胞荧光图案类型的相应的实际的部分图像存在的相应的部分图像置信度，并且基于所述部分图像置信度来确定对于各个荧光图案类型的相应的实际存在的相应的置信度。
优选地，该方法还包括：根据预先给定的划分方案将所述第二图像划分成多个部分图像；基于所检测的图像区段选择所述第二图像的部分图像，以及此外选择所述第一图像的与此相对应的部分图像；并且基于第二图像的所选择的部分图像和基于第一图像的所选择的部分图像，借助卷积神经网络来检测各个细胞荧光图案类型的相应的实际存在。
还提出一种按照本发明的用于借助数字图像处理来检测在具有人上皮癌细胞的生物细胞基质上的各个不同的细胞荧光图案类型的相应的潜在存在的装置。该装置具有：用于生物基质的保持装置，所述生物基质与潜在具有初级抗体的液体的患者样品、还与第一荧光染料以及还与用第二荧光染料标记的次级抗体一起培育。该装置还具有：至少一个图像采集单元，所述图像采集单元用于采集代表通过第一荧光染料对所述细胞基质染色的第一图像，以及用于采集代表通过第二染料对所述细胞基质染色的第二图像。该装置的特征在于至少一个计算单元，所述计算单元构成用于：基于所述第一图像检测相应地代表至少一个有丝分裂的细胞的相应的图像区段，此外基于所检测的图像区段选择第一图像的部分图像和第二图像的与此相对应的部分图像，并且此外基于所述第一图像的所选择的部分图像和第二图像的所选择的部分图像，借助卷积神经网络来检测所述细胞荧光图案类型中的各个细胞荧光图案类型的相应的实际存在。
还提出一种用于借助数字图像处理来检测在具有人上皮癌细胞的生物细胞基质上的各个不同的细胞荧光图案类型的相应的潜在存在的方法。该方法包括：采集代表通过第一荧光染料对所述生物细胞基质染色的第一图像；以及采集代表通过第二荧光染料对所述生物细胞基质染色的第二图像。该方法的特征在于：基于所述第一图像检测相应地代表至少一个有丝分裂的细胞的相应的图像区段，基于检测到的图像区段选择所述第一图像的部分图像和第二图像的与此相对应的部分图像，以及还基于所述第一图像的所选部分图像和第二图像的所选部分图像，借助卷积神经网络来检测各个细胞荧光图案类型的相应的实际存在。
还提出一种用于数字图像处理的方法。该方法包括：接收代表通过第一荧光染料对所述生物细胞基质染色的第一图像，其中，所述生物细胞基质具有人上皮癌细胞，并且接收代表通过第二荧光染料对所述生物细胞基质染色的第二图像。该方法的特征在于：基于所述第一图像检测相应地代表至少一个有丝分裂的细胞的相应的图像区段，还基于检测到的图像区段选择所述第一图像的部分图像和第二图像的与此相对应的部分图像，以及还基于所述第一图像的所选择的部分图像和第二图像的所选择的部分图像，借助卷积神经网络检测各个细胞荧光图案类型的相应的实际存在。
还提出一种计算单元，该计算单元构成用于在数字图像处理过程中接收代表通过第一荧光染料对所述生物细胞基质染色的第一图像，其中，所述生物细胞基质具有人上皮癌细胞，以及接收代表通过第二荧光染料对所述生物细胞基质染色的第二图像。所述计算单元的特征在于，该计算单元还构成用于：基于所述第一图像检测相应地代表至少一个有丝分裂的细胞的相应的图像区段，基于检测到的图像区段选择所述第一图像的部分图像和第二图像的与此相对应的部分图像，以及基于所述第一图像的所选择的部分图像和第二图像的所选择的部分图像，借助卷积神经网络来检测各个细胞荧光图案类型的相应的实际存在。
还提出了一种数据网络装置，所述数据网络装置具有至少一个用于接收第一图像以及用于接收第二图像的数据接口，所述第一图像代表通过第一荧光染料对所述生物细胞基质染色，其中，所述生物细胞基质具有人上皮癌细胞，所述第二图像代表通过第二荧光染料对所述生物细胞基质染色。所述数据网络装置还具有按照本发明的计算单元。
还提出一种计算机程序产品，所述计算机程序产品包括指令，当通过计算机执行程序时，所述指令促使计算机实施按照本发明的用于数字图像处理的方法。
还提出一种数据载体信号，所述数据载体信号传输计算机程序产品。
附图说明
下面借助特定的实施形式在不限制普遍的发明构思的情况下借助各附图更详细地阐述本发明。
图1示出根据一种优选的实施形式的按照本发明的方法的步骤，
图2示出根据一种优选的实施形式通过卷积神经网络来处理部分图像，
图3示出根据一种优选的实施形式通过卷积神经网络来处理多个部分图像，
图4示出根据一种优选的实施形式的用于分割第一图像以及基于所确定的亮度值校验置信度的步骤，
图5示出根据一种优选的实施形式的用于分割第一图像的方法的详细步骤，
图6示出根据一种优选的实施形式的所提出的装置，
图7A示出根据一种优选的实施形式的所提出的计算单元，
图7B示出根据一种优选的实施形式的所提出的数据网络装置，
图7C示出根据一种优选的实施形式的所提出的计算机程序产品以及数据载体信号，
图8示出由两个颜色通道叠加的荧光图像，
图9示出第一颜色通道的第一荧光图像，
图10示出第二颜色通道的第二荧光图像，
图11示出不同示例性的核抗体荧光图案类型，
图12a示出经分割的荧光图像，
图12b示出图12a的图例，
图13示出将荧光图像划分成部分图像以及突出不同的有丝分裂细胞，
图14示出第一部分图像、第二部分图像和经分割的部分图像，
图15示出对于不同荧光图案类型或者说荧光图案类别的不同的特征图，
图16a示出图14的第二部分图像，
图16b示出一个确定的荧光图案类型的特征图以及相关的叠加图像，
图16c示出对于另一个确定的荧光图案类型的特征图以及相关的叠加图像，
图17a示出另一个第一荧光图像，
图17b示出针对图17a中的荧光图像的突出的分裂间期细胞和突出的有丝分裂细胞，
图18示出另一个第二荧光图案图像，
图19a示出针对图18中的荧光图案图像的突出的分裂间期细胞，
图19b示出针对图18中的荧光图案图像的突出的有丝分裂细胞，
图20示出具有突出的部分图像和突出的有丝分裂细胞的另一个第三荧光图案图像，
图21示出针对图20中的荧光图案图像的第一和第二部分图像以及经分割的部分图像，
图22示出对于图21中的所述部分图像的不同的特征图，
图23a示出图21中的第二部分图像，
图23b示出针对图23a中的部分图像的用于确定的荧光图案类型的特征图以及所产生的叠加图像，
图23c示出图23a或图20中的第二部分图像中的有丝分裂细胞的放大的示图，
图24示出用于不同荧光图案类型的分类方案，
图25示出根据一种优选的实施形式的用于识别荧光图案类型的卷积神经网络的层，
图26示出根据一种优选的实施形式的用于图像分割的卷积神经网络，
图27示出具有实验结果的图表。
具体实施形式
图8示出由两个颜色通道叠加的荧光图案图像B，该荧光图案图像具有灰色染色，该灰色染色代表在作为第一颜色通道的所谓红色通道中通过第一荧光染料对细胞基质染色，以及还代表在作为第二颜色通道的所谓绿色通道中通过第二荧光染料对细胞基质叠加的染色。
由于将在此示出的具有HEp细胞的细胞基质与第一荧光染料、优选碘化丙锭一起培育，确定的细胞区域被染色，如图9中的图像B1所示的那样。所述HEp细胞优选是所谓的HEp2细胞。
由于在此示出的细胞基质与经稀释的患者特定的血清一起培育和由此产生的初级自身抗体的结合，由于所述细胞基质又与用第二荧光染料标记的次级抗体一起培育，所以在绿色通道中得出染色，所述染色在图10中作为第二图像B2示出。所述第二荧光染料优选为异硫氰酸荧光素(FITC)。
可以看出，在第一图像B1中通过第一荧光染料的染色允许原则上识别出各细胞结构或细胞区域。此外，在绿色通道的第二图像B2中对各细胞区域的有区别的按图案种类的染色允许区分地识别各荧光图案类型的存在。
在图10的第二图像B2中，不一定必须仅存在某个图案类型的单个有色图案或单个抗核抗体荧光图案，也可以出现多个这样的抗核抗体荧光图案类型。
借助至少一个以图6中的装置V1的一个或多个摄像机K1以及K2的形式的图像采集单元可以采集所述第一图像B1和第二图像B2。在通过第一图像采集单元K1来采集第一颜色通道中的第一图像B1作为图像信息BI1并且此外通过独立的第二图像采集单元K2来采集第二颜色通道中的第二图像B2作为图像信息BI2的情况中，在进一步处理之前可以将图像B1和B2在空间上彼此对齐，以便使第一图像B1的具有其相应像素索引的确定的图像区域对应于第二图像的具有相同像素索引的确定的图像区域。然而，也可以通过在光学组件和滤光器方面相应地设计装置V1借助单个图像采集单元、更确切地说单个摄像机来采集所述两个图像B1和B2，所述摄像机具有可以彼此分开地采集两个颜色通道中的图像的传感器、即例如颜色传感器。
图11示出不同的抗核抗体荧光图案类型BM1、…、BM8。在不存在其它的待检测的抗核抗体荧光图案类型的情况下，图案类型BM1表示所谓的负染色。这对应于图24中的图案AC-0，其中在此示例性使用图案索引n＝1。图24中的示例性图案分类来自源www.anapptterns.org/trees-full.php。
图案BM2是所谓的均匀染色或使图案类型均匀，所述图案类型在图24中被称作AC-1，其中在此示例性使用图案索引n＝2。
图案BM3的图案类型是所谓的着丝粒染色，所述着丝粒染色在图24中被称作AC-3，其中在此示例性使用图案索引n＝3。
图案类型BM4是所谓的密集细斑点，所述密集细斑点在图24中被称作图案类型AC-2，其中在此示例性使用图案索引n＝4。
图案类型BM5是所谓的细斑点或粗斑点图案，所述细斑点或粗斑点图案在图24中被称作AC4或者AC5，其中在此示例性使用图案索引n＝5。
图案类型BM6表示为所谓的核点的图案类型，所述核点在图24中被称作图案类型AC-6、7，其中在此示例性使用图案索引n＝6。
图案类型BM7是所谓的核仁图案类型，所述核仁图案类型在图24中被称作AC-8、9、10，其中在此示例性使用图案索引n＝7。
图案类型BM8是所谓的核边缘或核膜图案类型，所述核边缘或核膜图案类型在图8中被称作图案类型AC-11、12，其中在此示例性使用图案索引n＝8。
因此，不同的抗核抗体荧光图案类型包括均匀图案(AC-1)、斑点图案(AC-2、4、5)、着丝粒图案(AC-3)、核点图案(AC-6、7)、核仁图案(AC-8、9、10)以及核边缘荧光图案类型(AC-11、12)。于是，在患者样品不具有特定的初级抗核抗体的情况下，另一个荧光图案类型类别是所谓的负类别(AC-0)。
图8中的图像B是示例性地选择的荧光图像，对于该荧光图像，图10中绿色通道中的第二图像B2既具有均匀图案(AC-1)的存在、也具有细斑点或粗斑点图案(AC-4、AC-5)的存在。那么以下随后还要探讨，这里所提出的卷积神经网络可以以何种方式检测所述两种图案类型。
图1示出按照本发明的方法V的主要步骤。在第一步骤SC1中，如之前所阐述的那样对细胞基质进行培育。
在步骤SC2中采集第一图像以及第二图像，从而提供第一图像信息BI1和第二图像信息BI2。
在下一个步骤SC3中，基于所述第一图像或第一图像信息BI1来检测相应的图像区段，所述图像区段分别代表至少一个有丝分裂的细胞。由此得到所谓的分割信息SI。
这样的分割信息SI作为图12a中的图像SB示出。为此，图12b对于S＝6的不同区段类别s＝1…S示出不同的灰度值级别，该灰度值级别在此指示图12a中的图像SB中的不同区段类别。第一区段类别s＝1是一个所谓的背景类别。第二类别s＝2指示细胞边缘。第三类别s＝3指示差的有丝分裂细胞或者说质量不足的有丝分裂细胞，备选地也称为无效有丝分裂细胞。按本申请的意义，如果有丝分裂细胞处于错误的或者说无效的有丝分裂阶段，那么该有丝分裂细胞就具有不足的质量或者说于是是无效的。另一个类别s＝4指示分裂间期细胞。另一个类别s＝5指示具有核仁的区域。另一个类别s＝6指示所谓的好的有丝分裂细胞或者说足够质量的有丝分裂细胞，也称为有效的有丝分裂细胞。按本申请的意义，如果有丝分裂细胞处于正确的或者说有效的有丝分裂阶段，那么该有丝分裂细胞就具有足够的质量或者说于是是有效的。正确的或者说有效的有丝分裂阶段是所谓的中期。因此，不在中期内的有丝分裂细胞是错误的或者说无效的有丝分裂细胞。
然后根据图1，在步骤SC4中基于所检测的分别代表至少一个有丝分裂的细胞的图像区段来选择第一图像的部分图像和第二图像的与此相对应的部分图像。
为此，图13又一次示出所述第二图像B2，所述第二图像被划分成部分图像TBA、TBB、TBC、TBD以及另外的部分图像。借助白色方形指示存在的并且优选具有足够质量的有丝分裂细胞VMZ。由于不具有有丝分裂细胞MZ，所以在这里不选择所述部分图像TBD。白色圆形指示质量不足的有丝分裂细胞IMZ。
优选地，可以这样将所述第二图像B2划分成相应的部分图像，使得从图12a的图像SB中的有丝分裂细胞的位置信息中推断出：在第一图像的部分图像和第二图像的与此相对应的部分图像之内是否存在这样的优选足够质量的有丝分裂细胞。基于图9中的第一图像B1检测分别代表至少一个优选足够质量的有丝分裂细胞的图像区段。
为此，图13示出对于所述第二图像B2采用相应地划分成各部分图像和所检测的具有优选足够质量的有丝分裂细胞VMZ的图像区段。
对此优选地，根据预先给定的划分方案将第一图像划分成多个部分图像，并且然后选择第一部分图像的这样的部分图像，该部分图像具有代表优选足够质量的有丝分裂细胞的图像区段，从而然后可以选择与第一图像的所选择的部分图像和第二图像的与此相对应的部分图像。
根据图1，在步骤SC4中选择所述部分图像，从而得出第一图像的所选择的部分图像的第一部分图像信息TBI1和第二图像的所选择的与第一图像的部分图像相对应的部分图像的第二部分图像信息TBI2。
然后在步骤SC5中，基于所述第一图像的所选择的部分图像和第二图像的所选择的部分图像，借助卷积神经网络CNN来检测各个抗核抗体荧光图案类型的相应的实际存在。然后，将检测结果作为检测信息DI输出。
通过优选地针对具有足够质量的有丝分裂的细胞的图像区段和此外通过根据相应地代表至少一个足够质量的有丝分裂的细胞的所检测的图像区段来选择部分图像，确保待观察的有丝分裂细胞或存在于部分图像中的有丝分裂细胞处于正确的阶段，以便作为有效的有丝分裂细胞在所述有丝分裂细胞的中期板的染色方面构成用于检测不同抗核抗体荧光图案类型的有效且可靠的信息。
图2示出在一种用于确定关于第一部分图像TB11和第二部分图像TB12的抗核抗体荧光图案类型的存在的检测信息DI1的实施形式中的卷积神经网络CNN1的主要步骤。因此，所述部分图像TB11和TB12构成部分图像元组。将所述部分图像TB11、TB12优选标准化到0至1的值域、更确切地说灰度值域上。
图14示出第一图像B1中的示例性的第一部分图像TB11以及第二图像B2中与此相对应的第二部分图像TB12。从图13和第二图像B2的附图可看出，所述第二部分图像TB12是部分图像TBA。
在图14中还示出对于在这里所示的部分图像TB11、TB12的经分割的部分图像TBS。能清楚地看出，区域VMZ代表有效的有丝分裂细胞或者说足够质量的有丝分裂细胞。
然后，根据图2通过卷积神经网络CNN1来处理这种部分图像TB11、TB12，以便确定检测信息DI1，该检测信息对于N个不同的类别(在此示例性地具有角标n＝1…N且N＝8)分别输出如下值，所述值在值域Dn∈{0,1}中作为布尔值检测或指示图案的存在。于是，对于具有值D11、…、D1N的所有N个图案类型或者说图案类别的检测信息DI1对应于矢量
Figure GDA0004130995010000141
于是，根据图2，进行在卷积神经网络CNN1的多个层L1、…、LP上的处理，其中，每个层L1、…、LP具有至少一个卷积层。
于是，所述卷积神经网络CNN1为N＝8个类别或者说N＝8个荧光图案类型中的每一个类别或者说荧光图案类型确定一个相应的特征图FM1、…、FMN。然后基于相应的特征图FM1、…、FMN在相应地实际存在角标为n＝1…N的相应的荧光图案类型方面确定相应的置信度P1、…、PN或相应的预测值P1、…、PN。
这优选通过以下方式进行，即，借助优选实施所谓的全局平均池化的池化层PL或池化层函数PL将特征图FM1减小到单个标量值或平均值作为值LO1，该标量值或平均值优选也被称为Logit。
于是，N个类别或荧光图案类型的Logit值LO1、…、LON分别单独经受所谓的S型函数SF，以便对于相应的类别n基于角标为n的相应特征图FMn确定角标为n的相应的预测值或相应的置信度Pn。因此，通过卷积神经网络的这种结构得到如下优点，即，对于每个单独的荧光图案类型存在自身的检测通道，并且不仅可以将单个图案或者说单个图案类型检测为存在，而且同样也可以同时检测多个图案类型。
于是，将相应的置信度Pn确定为预测信息或者存在信息PI1能够实现以如下矢量形式的预测值或者置信度的输出，即
Figure GDA0004130995010000151
其中，值域0≤Pn≤1。
如果确定并且优选也输出这样的置信度Pn，则这是有利的，因为用户在随后最终的诊断中可以将相应的置信度用作对于相应的图案存在的指示。
卷积神经网络CNN1的用于基于部分图像TB11、TB12来确定置信度Pn的部分TCNN1可以如随后还要详细阐述的那样分别单独地应用到各个部分图像元组TB11、TB12上，所述部分图像元组由第一颜色通道的第一部分图像TB11和第二颜色通道的与此相对应的第二部分图像TB12组成。
图2还示出接下来的步骤，借助所述接下来的步骤基于可以综合为预测信息PI1的置信度或预测值并且借助所述预测信息可以确定检测结果或者说检测值D11、…、D1N，所述检测结果或者说检测值又能够综合为检测信息DI1。
于是，通过阈值函数TS1在应用优选可由用户预先给定的阈值或者以其它方式预先给定的阈值T1的情况下可以评估置信度Pn，以便确定相应的检测信息DI1。优选地，如果置信度Pn超过为0.5的阈值T1时，则检测值D11可以采用1，即指示角标为n＝1的图案的存在。
然后，在优选对于各个图案分别使用相应的各个单独的阈值T1、…、TN的情况下应用进一步的阈值运算TS1、…、TSN能够实现查明检测值D11、…、D1N。
图2中的卷积神经网络CNN1具有局部的卷积神经网络TCNN1，所述局部的卷积神经网络随后还应用在图3中。
图15示出对于不同的荧光图案类型或示例图案的示例性特征图FM1、…、FM8，所述荧光图案类型或示例图案在图11中示出并且是图24中具有相应的附图标记的相应的荧光图案类型的示例。特征图FM2表示关于图14中的部分图像TB11和TB12的均匀图案的激活。因此，特征图FM2中的亮度程度指示在部分图像TB12中可能存在均匀荧光图案类型。此外，特征图FM5表示在相应的部分图像TB12中可能存在细斑点或粗斑点图案。对于另外的特征图FM1、FM3、FM4、FM6、FM7、FM8，得出不激活或相对小的激活。图15中的特征图FM1、…、FM8最初确定有8×8像素的分辨率并且然后借助内插法将其内插到第二部分图像TB12的512×512像素的分辨率上。
图16a又一次示出图14中的第二部分图像TB12连同图16b中的所述特征图FM5以及所述特征图FM5在所述部分图像TB12上的叠加作为经叠加的特征图OLM5。在此可以清楚地看出，借助所提出的卷积神经网络成功生成特征图FM5，该特征图突出或识别出具有细斑点或粗斑点的细胞核。
图16c示出图15中用于均匀图案的特征图FM2以及在图16a的部分图像TB12上叠加的特征图OLM2。在此也可以看出，成功的是，借助所提出的卷积神经网络从部分图像TB12中突出或检测出那些代表具有均匀染色或均匀图案类型的细胞核的区域。
如果观察图14和经分割的部分图像TBS，则可看出有效的有丝分裂细胞VMZ恰好是根据图16c在经叠加的特征图OLM2中所检测的用于检测均匀图案的那些细胞。即使原则上在图16b中的经叠加的特征图OLM5中所选择的分裂间期细胞上可能存在均匀染色，然而该均匀染色被所述分裂间期细胞的斑点染色覆盖，从而在经叠加的特征图OLM5中无法可靠地进行对图16b中仅在所述分裂间期细胞上的均匀图案的检测。然而，由于确保了图14中所选择的部分图像TB11和TB12在任何情况下都具有有效的有丝分裂细胞VMZ，或者经分割的图像TBS具有这样的有效的有丝分裂细胞VMZ，因此有利地可以恰好在所述有丝分裂细胞上识别均匀的图案染色或者均匀的荧光图案类型，如通过共同观察图16c中经叠加的特征图OLM2和图14中经分割的部分图像TBS所看出的那样。
图3示出按照本发明的方法的另外的有利的实施方案。这里所示的卷积神经网络CNN2使用图2中的部分卷积神经网络TCNN1，以便对于元组角标为j＝1…J的各个部分图像元组TB11、TB12、…、TBJ1、TBJ确定相应的部分图像置信度PI1、…、PIJ，如之前在图2中示出和详细阐述的那样，以便然后基于所述部分图像置信度作为存在信息或预测信息PI来确定各个荧光图案类型的相应的实际存在和与此相对应的相应的置信度。在此，部分图像置信度PI是角标为j的矢量
Figure GDA0004130995010000171
信息PI在此是具有对于角标为n的各个荧光图案类型的相应的置信度/>
Figure GDA0004130995010000172
的矢量
Figure GDA0004130995010000173
然后，在平均步骤MS中，通过对所有所选择的j＝1…J个部分图像或部分图像元组按照如下求出所得出的角标为j＝1…J的部分图像置信度
Figure GDA0004130995010000174
的平均值
Figure GDA0004130995010000181
于是，所述置信度
Figure GDA0004130995010000182
可以作为预测信息或者置信信息PI输出。
按照本发明的方法的所述实施方案是有利的，因为卷积神经网络CNN2因此不必一次同时处理图9和10中的整个第一图像和整个第二图像B1、B2的所有信息，而是能够在单独的、彼此分开的处理路径中分别单独地分析所述部分图像元组。
然后，在使用优选可预先给定的或以其它方式预先给定的阈值T1、…、TN的情况下可以评估在各个阈值评估步骤TS1、…、TSN中所查明的置信度PI或
Figure GDA0004130995010000183
以便将角标为n＝1…N的具有相应检测值D1、…、DN的相应检测信息DI作为如下输出，即
Figure GDA0004130995010000184
图5示出图1中用于基于所述第一图像BI1检测分别代表至少一个优选足够质量的有丝分裂细胞的图像区段的步骤SC3的细节。这借助分割卷积神经网络SEG-CNN进行。所述分割卷积神经网络SEG-CNN具有步骤或层LA1、…、LAQ，所述步骤或层又可以被理解为卷积神经网络。因此，借助另外的卷积神经网络SEG-CNN进行分割，所述另外的卷积神经网络与用于基于第一图像的所选择的部分图像和第二图像的所选择的部分图像借助卷积神经网络检测相应的细胞荧光图案类型的相应的实际存在的卷积神经网络CNN2不同。将分割任务和检测任务划分到两个不同的卷积神经网络是有利的，因为也不必为了分割的目的而训练用于检测的卷积神经网络，并且因此可以特别有针对性地训练为了分割目的的卷积神经网络。
根据图5，为了分割目的将第一图像(例如图9中的图像B1)或相应的图像信息BI1输送给卷积神经网络CNNS。
在图5中示出分割卷积神经网络SEG-CNN，所述分割卷积神经网络借助多个层LA1、LAQ引起对输入图像的分割。优选在此将图像数据BI1标准化到0至1的值域上。此外优选地，在可选的步骤DWS中进行所谓的下采样。优选地，所述图像数据BI1的第一图像具有2400×1700像素的尺寸。于是，通过所谓的下采样可以将所述第一图像减小到800×800像素的尺寸。在此，对于示例性的情况详细示出其它处理步骤，即，将第一图像下采样DWS到800×800像素的尺寸。但是这不是强制必需的，该分割卷积神经网络SEG-CNN也可以在其尺寸确定方面这样设计，使得该分割卷积神经网络可以在没有下采样的情况下处理尺寸为2400×1700像素的第一图像。
所述卷积神经网络CNNS具有多个层LA1、…、LAQ，其中，这些层中的每个层具有至少一个卷积层。
于是，所述卷积神经网络CNNS对于所述区段类别S＝1…S(其中在此如在图12b中通过图例指示的那样例如为S＝6个类别)的每个区段类别产生相应的激活图M1、…、MS。所述激活图M1、…、MS分别优选具有与在下采样DWS之后的第一图像或第一图像数据BI1相同的尺寸或优选具有800×800像素的分辨率。
用于第一区段类别s＝1的激活图M1在其第一像素PI1中利用存在于那里的值指示第一图像B1或图像信息BI1的与此相对应的像素以何种程度属于所述第一区段类别。激活图M1、…MS的相应的各个像素PI1、…PIS分别指示第一图像B1或第一图像信息BI1的定位在相同位置上的像素以何种程度属于相应的类别。于是，通过借助所谓的Softmax函数SMX关联激活图M1、M2、…、MS的在相同的像素位置上的值或该相应的像素位置PI1、PI2、…、PIS的相应的值，可以建立概率图PM1，以便对于相应的像素位置PIX1生成如下值，该值指示第一图像B1的相应像素以在0至1的值域中的何种概率属于s＝1的第一类别。相应地，这对于其它s＝1…S的S类别可以借助分别单独应用的用于相应的像素的Softmax函数SMX来确定并且输入对于s＝1…S区段类别的相应的概率图PMs。这里所示的轴走向x和y指示对于在概率图PM1、…、PMS之内的相应像素位置的相应索引。所述概率图PM1、…、PMS优选具有与在下采样DWS之后的第一图像或第一图像数据BI1和与激活图M1、…、MS相同的尺寸或优选800×800像素的分辨率。
然后确定分割图SM，该分割图在相应的像素位置PIX1上具有值域s∈{1、…、S}中的值并且指示所述位置PIX1的相应的像素属于哪个区段类别s＝1…S。为此，借助Argmax函数在所有的概率图PM1、…、PMS上进行相应像素位置PIX1的相应像素值的关联。因此，分割图SM的具有索引x、y的像素于是包含在像素位置上相应的概率值最高的那个概率图PM1、…、PMS的那个索引值。这可以根据如下来确定，即
Figure GDA0004130995010000201
因此，分割图SM对于每个单个像素包含值域s＝1…S中的值，该值将相应像素配设给相应的区段类别。
所述分割图SM优选具有与在下采样DWS之后的第一图像或第一图像数据BI1、同样与激活图M1、…、MS以及同样与概率图PM1、…、PMS相同的尺寸或优选800×800像素的分辨率。
在分割之前在可选的步骤DWS中对所述第一图像B1或第一图像信息BI进行所谓的下采样的情况下，于是优选可以在优选要实施的步骤UP中进行对优选800×800像素的所述分割图SM的返回到图像B1的原始的图像分辨率、例如2400×1700像素的所谓的上采样。
于是，为了融合部分面或区段面可以借助数字图像处理在图像处理步骤BV中通过常见的图像处理措施(如腐蚀、膨胀和/或轮廓匹配)来进一步处理所述分割图SM，以便然后达到经调整的分割图SM’，该分割图可以作为分割信息SI输出。在图12a中示出这样的具有分割的信息SI。
图5示出以何种方式可以将第一图像分割成不同的区段类别的图像区段，其中，可以如在图12b中所示的那样选择区段类别。优选地，至少一个第一区段类别代表细胞的细胞状态，并且至少一个第二区段类别还代表细胞内的细胞区域。
于是，如示例性地作为图12a中的分割图像SB示出的所述分割信息SI可以用于基于至少一个确定的区段类别的一个或多个图像区段来确定至少一个荧光图案类型的至少一个亮度值，并且然后用于基于至少一个这样的亮度值来校验荧光图案类型的至少一个置信度。
为此，图5示出基于第二图像B2和基于分割信息SI从第二图像B2中提取对于至少一个荧光图案类型的至少一个亮度值的可能性。这在用于确定亮度的步骤SH中进行。
因此根据图5，基于至少一个确定的区段类别的一个或多个图像区段来确定对于至少一个荧光图案类型的亮度值以及基于所述荧光图案类型的亮度值来校验所述荧光图案类型的置信度。
对于不同的n＝1…N个类别，于是可以将角标为n＝1…N的相应的亮度值hn确定为矢量
Figure GDA0004130995010000211
并且作为亮度信息HI被输出。
如果例如针对图案类型n＝4的图案“密集细斑点”(AC-2)的亮度值，那么可以以如下方式查明亮度值，即，区段类别s＝4的也在图12a中标出的分裂间期细胞使用图10中的图像B2的相应位置上的亮度。于是，对于角标为s＝4的每个分裂间期细胞或每个区段面积例如可以单独确定亮度值的0.65分位数，并且然后再次借助形成平均值对多个分裂间期细胞的所产生的多个分位数亮度值取平均值，以确定对于角标为n＝4的荧光图案的亮度值h4。
对于角标为n＝5的类型AC-4、AC-5的所谓的细斑点或粗斑点图案，于是例如可以调整为类别s＝4的分裂间期细胞或相应区段面积的亮度值的0.65分位数，并且然后通过对所述亮度值取平均值，以用于确定角标为n＝5的荧光图案的亮度值h5。
对于角标为n＝2的、如也在图11中借助示例性图案BM2示出的所谓均匀图案(AC-1)，于是例如可以首先对于类别s＝6的每个有效的有丝分裂细胞或每个相应的区段面积查明0.5分位数，并且然后通过所述分位数取所有有效的有丝分裂细胞的平均值，以便确定角标为n＝2的荧光图案的亮度值h2。
因此，这样查明的亮度值
Figure GDA0004130995010000221
于是可以提供亮度信息HI。
图4为此示出一种示例性的方式，其中基于第一图像B1和第二图像B2借助在图3中指示的部分卷积神经网络TCNN2来查明具有对于相应的n＝1…n类别的相应的置信度的矢量
Figure GDA0004130995010000222
然后，所述置信度作为置信度信息或者预测信息PI提供。
为此，所述部分卷积神经网络TCNN2使用基于第一图像B1以及第二图像B2借助分割步骤SC3和从中获得的分割信息SI所查明的那些部分图像或那些部分图像信息TBI1、TBI2。因此，在部分卷积神经网络TCNN2中涉及从第一图像B1和第二图像B2中通过分割步骤SC3和选择步骤SC4所选择的那些部分图像。
然后，所述分割信息SI在步骤SH中用于确定已经在图5中阐明了的亮度值，以便基于第二图像B2的亮度值来查明和提供亮度信息HI，同样也可以将该亮度信息描述为矢量
Figure GDA0004130995010000231
然后在检验步骤PS中，基于所述亮度信息HI来校验置信度信息PI。
然后，在此所述置信度的值
Figure GDA0004130995010000232
借助一个或多个与以阈值T1、…、TN形式的置信度值相关的阈值来校验，也优选借助应用于亮度值
Figure GDA0004130995010000233
的H1、…、HN中的亮度阈值来校验。
由此，于是因此能够实现输出所校验的置信度值PI*。阈值T1、…、TN是预先给定的。阈值H1、…、HN是预先给定的。优选地，所述阈值T1、…、TN可以由用户预先给定，以便影响分析。优选地，所述阈值H1、…、HN可以由用户预先给定，以便影响分析。所述阈值H1、…、HN是每种荧光图案类型的单独的阈值。于是优选地，根据
Figure GDA0004130995010000234
将所校验的置信度PI*作为如下矢量查明，即
Figure GDA0004130995010000235
这里所提出的方式是有利的，因为虽然首先基于第一图像和第二图像或相应的部分图像来确定所述置信度，在其中卷积神经网络查明置信度PI，但是现在也还明确地从第二图像、更确切地说整个第二图像(尤其是不缩小到部分图像)中查明亮度值HI，以便校验一个置信度或多个置信度PI。由此能够实现对荧光图案类型的更精确的检测。在此，优点尤其是，在相应区段类别中的亮度值方面观察整个第二图像B2，从而由此不仅观察单个部分图像的细胞或区段面的亮度，而且也同样观察在所选择的部分图像之外的区段面。这引起在部分图像的单个细胞或单个区段面上的可能的亮度伪像对确定亮度值和因此对确定所校验的置信度产生较小的影响，因为在所述部分图像之外的区段面的亮度值也应用到部分图像的置信度上，并且对单个区段面积的亮度伪像较小地加权，以便确定所校验的置信度。
图2示出预处理步骤VS、VS1、VS2，所述预处理步骤可用于对第一部分图像TB11和第二部分图像TB12进行预处理。在第一预处理步骤VS1中，利用优选8个不同的卷积核对作为输入特征图的第一部分图像TB11和第二部分图像TB12进行卷积，其中，不实施跨步，并且维持例如尺寸为512×512图像像素的部分图像TB11、TB12的尺寸。八个卷积核的数量的选择不一定必须与N＝8的荧光图案类型或者说荧光图案类别的数量相一致。
然后，在接下来的预处理步骤VS2中进行所谓的批标准化，其中，保留特征图(在此例如八个特征图)的数量。
然后，在一系列P个不同的层L1、…、LP中处理从步骤VS2得到的八个特征图，其中，角标为p＝1…P并且在此示例性地P＝6。在层L1结束时，得到多个角标为r＝1…R的例如R个特征图FMA1、…、FMAR。在该示例中，参数R优选为R＝11。第一层L1的结束时的特征图的数量R可以不同于荧光图案类型N的数量。
详细地，P层L1、…、LP依次相继，其中，图25示出第一层L1的示例性结构。
根据最后的层LP得出例如尺寸为8×8像素的56个特征图。在最后的处理步骤AVS中，于是根据N个类别或N个荧光图案类型的数量利用N个卷积核进行卷积，以便生成N个不同的特征图FM1、…、FMN。
图25为此示出图2的第一层L1的示例性实施方案。在此用虚线表示预处理步骤VS2，因为所述预处理步骤不是该层L1的对象，而是所述预处理步骤仅连接在所述层的上游。
将预处理步骤VS2中的各特征图分别传递到处理步骤PS1、PS2、PS4上。这些处理步骤PS1、PS2、PS4中的每个处理步骤处理从步骤VS2接收的所有特征图本身。
在步骤PS1中，利用8个内核在没有跨步的情况下进行卷积。在步骤PS2中，利用8个内核以跨步因数2进行卷积。在步骤PS4中，利用11个内核以跨步因数2进行卷积。
在步骤PS3中，对于每个特征图，都用值为2的跨步因数进行所谓的最大池化。
在步骤PS5中，将步骤PS3中的8个特征图与步骤PS2中的8个特征图拼接。在步骤PS6中，又利用11个内核在没有跨步的情况下对所接收的16个特征图进行卷积。
在步骤PS7中，对所述11个特征图中的每个特征图进行所谓的批标准化。
在步骤PS8中，优选以RELU激活的形式进行所谓的激活。
在步骤PS9中，优选在训练阶段期间进行随机失活因数为20％的所谓的随机失活。这种随机失活不是在分类阶段期间进行的。
在步骤PS10中，利用11个内核在没有跨步的情况下进行卷积。
在步骤PS11中，将步骤PS10中的所述各特征图、更确切地说11个特征图的结果与步骤PS4中的11个特征图逐元素地相加，从而步骤PS11又生成11个特征图。在此不进行跨步。
在步骤PS12中，又进行所谓的批标准化。
在步骤PS13中，进行优选以RELU激活的形式的所谓的激活。
然后优选地，在步骤PS14中，在训练阶段期间以例如20％的随机失活因数进行随机失活。
返回至图2可以注意到，优选P＝6个这种层依次相继，这样确定所述各层的尺寸，使得P＝6的最后一层LP于是产生具有8×8像素尺寸的特征图。优选地，最后一层LP56(五十六)产生这样的不同的特征图，其中，在图2中示出的后处理步骤AVS中然后利用N＝8个内核对所述56个特征图进行卷积，以便产生N＝8个特征图FM1、…、FMN。
在图5中示出分割卷积神经网络SEG-CNN，所述分割卷积神经网络借助层LA1、LAQ引起对第一图像B1或图像信息BI1的分割。优选地，在可选的步骤DWS中进行所谓的下采样。优选地，以图像数据BI1形式的第一图像具有2400×1700像素的尺寸。于是可以通过所谓的下采样将所述第一图像减小到800×800像素的尺寸。在此，对于示例性的情况详细示出了图26中的其它处理步骤，即，将第一图像下采样DWS到800×800像素的尺寸。但是这不是强制必需的，图26中的卷积神经网络CNNS也可以在其尺寸确定方面这样设计，使得所述卷积神经网络可以在没有下采样的情况下处理尺寸为2400×1700像素的第一图像。
图26示出图5中的卷积神经网络CNNS的细节。在图26中，在第一步骤PS21中进行利用32个内核的卷积，所述内核可以根据参数32在输出层或者说output层上被读取。
由步骤PS21的输入参量具有800×800像素的尺寸并且步骤PS21的输出参量也具有800×800像素的尺寸可以推导出没有进行跨步。对于处理步骤PS21、…、PS37，输入参数的尺寸分别作为“输入”在括号中借助在说明“无”后面的两个数字给出。此外，对于处理步骤PS21、…、PS37，输出参量的尺寸分别作为“输出”在括号中借助在说明“无”之后的两个数字给出。通过不同的步骤PS21至PS37将第一图像或图像数据BI1处理成特征图M1、…、MS，如已经在图5中说明的那样。
在此要注意的是，步骤PS29在此实施所谓的反卷积或者说转置卷积。
其它步骤要么实施如已经在对图25的说明过程中所阐述的卷积、要么实施如也已经在对图25的说明过程中所阐述的最大池化或者拼接。
如果在处理也在图5中示出的图像数据BI1之前对第一图像或图像数据BI1进行的所谓的下采样，则可以在确定分割图SM之后在将分割图SM输送给接下来的图像处理步骤BV之前进行相应的上采样。
图17a示出作为第二颜色通道的荧光图像的或者关于用于混合图案的第二荧光染料的图像BX，在该混合图案中存在类别n＝7的核仁图案(AC-8、9、10)，以及作为类别n＝5的荧光图案类型的细斑点或粗斑点的图案(AC-4、AC-5)。
为此，图17b例如放大地示出分裂间期细胞IZX和有丝分裂细胞MZX。可以清楚地看出，所述有丝分裂细胞MZX的中期板没有被显著染色，更确切地说有丝分裂细胞与所述有丝分裂细胞的中期板的染色体没有被染色。所述信息允许区分：恰好在这里是否存在所谓的细斑点或粗斑点图案(AC-4、AC-5)，亦或是否可能还存在均匀图案(AC-1)。因为具有中期板的有丝分裂细胞MZX在染色体区域内在那里没有被染色，所以可以排除类别n＝2的均匀染色，因为在均匀染色的情况下有丝分裂细胞在中期板的区域内也必须被均匀染色，但在这里不是这种情况。因此，通过在荧光图案类型检测中包含有丝分裂细胞，能够可靠地检测出不是均匀的荧光图案类型，而是n＝5的细斑点荧光图案类型(AC-4)亦或是n＝5的粗斑点荧光图案类型(AC-5)。
图18示出在突出有丝分裂细胞MZY和分裂间期细胞IZY的情况下在第二荧光通道中的或者关于第二荧光染料的图像的另一种示例BY。
为此，图19a以放大的示图示出所述分裂间期细胞IZY，并且在图19b中示出相应的包括中期板MP的有丝分裂细胞MZY。
图18中的图像BY是具有存在的三个荧光图案类型的图像。在所述荧光图案图像中，存在n＝7、也被称为核仁的荧光图案类型(AC-8、9、10)，此外，存在n＝6、也被称为核点的荧光图案类型(AC-6、7)，以及存在n＝5、也被称为细斑点的荧光图案类型(AC-4)作为n＝5的荧光图案类型(AC-4、AC-5)的变型之一。对此，图19a通过区域NU指示对核仁的图案的染色、通过区域DO指示对核仁的点的图案的染色以及通过细胞核的另外的区域FG指示通过细斑点图案的染色。
在此，特别有利的是，根据按照本发明的方法，有丝分裂细胞MZY也必须存在于部分图像中，因为中期板MP恰好没有被染色、更确切地说所述中期板的染色体没有被染色，从而在此细斑点的区域FG被可靠地检测为n＝5的细斑点(AC-4)，而不会被错误地认为是均匀染色(如在n＝2的均匀图案(AC-1)时情况可能如此)，因为在该均匀图案中，中期板MP必须被显著染色。同样，在此可以排除n＝4(AC-2)的“密集细斑点”类型的图案染色，因为在这种荧光图案类型中，有丝分裂细胞MZY的中期板MP必须被显著染色。
由此在这里又一次表明，按照本发明的方法能够实现特别高质量地检测不同的荧光图案类型，在所述方法中根据部分图像是否具有包括至少一个优选足够质量的有丝分裂细胞的图像区段来选择部分图像。
图20示出另一个示例性的荧光图像BZ，在所述荧光图像中部分图像区域TBZ具有有丝分裂细胞MZZ。第二颜色通道或与第二荧光染料有关的所述荧光图像清楚地示出所谓的n＝4类型的密集细斑点图案(AC-2)。
图21为此示出作为第一荧光染料的第一部分图像的示例性部分图像TBZ11以及第二荧光颜色通道中的与第一部分图像TBZ11相对应的第二部分图像TBZ12。图21还示出对此经分割的部分图像TBZS。
为此，图22示出对于参照图21中的部分图像TBZ11、TBZ12的不同荧光图案类型或者说荧光图案类别n＝1…8的相应的特征图FM1、…、FM8。
这里可清楚地看出，对于在此明显占优势的、密集细斑点的图案作为荧光图案类型(AC-2)的在相应的类别n＝4的特征图FM4中的激活。
对此，图23a又一次示出第二部分图像TBZ12，所述第二部分图像具有在图23c中放大示出的有丝分裂细胞MZZ。在图23b中可以看到相应的荧光图案类型n＝4的特征图FM4以及将所述特征图FM4叠加在第二部分图像TBZ12上作为叠加的图像OLM4。可以清楚地看到，特征图FM4针对第二部分图像TBZ12的具有根据荧光图案类型染色的分裂间期细胞以及根据荧光图案类型染色的有丝分裂细胞的图像区域。
此外，图23c又一次以放大的示图示出存在于部分图像TBZ12中的有丝分裂细胞MZZ。有丝分裂细胞MZZ的中期板的明确的染色在这里能够实现对密集细斑点的荧光图案类型n＝4的检测。
在此，通过在图1中的步骤SC2中采集第一和第二图像描述了按照本发明的方法。因此，提出一种借助数字图像处理来检测在具有人上皮癌细胞的生物细胞基质上的各个不同的细胞荧光图案类型的相应的潜在存在的方法，该方法以采集第一图像和第二图像的步骤开始。
替代于采集第一和第二图像的步骤SC2，也可以相应地且以类似的方式实施用于数字图像处理的方法，其中在相应的步骤中提供或接收这样的第一图像和这样的第二图像，并且然后实施接下来的步骤SC3、SC4、SC5。
为此，图7A示出所提出的计算单元R，该计算单元通过接口DS2优选以数据信号SIG的形式接收相应的第一图像或第一图像信息BI1以及相应的第二图像或相应的第二图像信息BI2。所述计算单元R于是可以优选地经由输出接口AS将所查明的置信度PI、经校验的置信度PI*和/或检测信息DI尤其是输出到指示单元AE上。
优选地，也可以将这些信息通过以数据网络接口形式的数据接口DS3以信号SI3的形式输出。
为此，图7B示出所提出的数据网络装置，所述数据网络装置通过接口DS4和相应的数据信号SIG1接收图像或图像信息BI1、BI2。所述数据网络装置还优选具有内部的数据总线IDB，该数据总线将之前描述的计算单元R与优选存储器单元MEM相连接。
图7C示出所提出的计算机程序产品CPP，所述计算机程序产品包括如下指令，当通过计算机执行程序时，所述指令引起计算机执行所提出的用于数字图像处理的方法。所述计算机程序产品例如可以以所提出的方式通过数据信号SIG2来提供或传输。所述传输可以至计算机CO、更确切地说到计算机CO的数据接口DSX上。
图6图示按照本发明的装置V1的一种实施例。该装置V1具有用于基质SU的保持装置HL。通过滤光器F1将激励光源LQ的激励光AL预滤波并且然后借助二向色镜SP1通过光学器件O将其朝向所述基质引导。然后，所形成的荧光射线或者说所形成的荧光FL从所述基质SU返回穿透通过物镜O、通过二向色镜SP1并且通过滤光器F2。所述滤光器F2滤除激励射线或者说激励光AL的波长。然后，将所述荧光FL输送给至少一个以相机K1以及优选以另一个相机K2的形式的图像采集单元。通过二向色镜SP2划分所述荧光FL。通过滤光器FR滤出第一颜色通道、优选红色通道的荧光FR1并且将其输送给图像采集单元K1。所述图像采集单元K1采集基质SU的在第一颜色通道中的第一荧光图像。通过滤光器FG滤出第二颜色通道、优选绿色通道的荧光射线FL2并且将其输送给图像采集单元K2，该图像采集单元采集基质SU的在第二颜色通道中的第二荧光图像。
所述计算单元R构成用于接收以数字图像数据BI1形式的第一荧光图像。所述计算单元R还构成用于接收以数字图像数据BI2形式的第二荧光图像。所述计算单元R还构成用于基于所述第一图像来检测相应地代表至少一个有丝分裂的细胞的相应的图像区段，此外基于所检测的图像区段选择第一图像的部分图像和第二图像的与此相对应的部分图像，并且此外基于所述第一图像的所选择的部分图像和第二图像的所选择的部分图像借助卷积神经网络来检测所述细胞荧光图案类型中的每个荧光图案类型的相应的实际存在。
所述装置V1可以经由数据接口DS1提供以检测信息DI和/或存在信息或预测信息PI、PI*的形式的检测结果。
虽然结合装置描述了一些方面，但是要理解的是，这些方面也表示对相应的方法的描述，从而装置的部件或组件也应理解为相应的方法步骤或方法步骤的特征。类似于此地，结合方法步骤或作为方法步骤描述了的方面也表示对相应的装置的相应的部件或细节或特征的描述。
根据确定的实现要求，本发明的实施例可以在硬件和/或软件中的计算单元R或数据网络装置DV来实现。在此提到的计算单元R的实现在此可以作为至少一个计算单元进行，或者也可以通过多个相连接的计算单元进行。所述实现可以在使用数字存储介质(例如软盘、DVD、蓝光光盘、CD、ROM、PROM、EPROM、EEPROM或闪存存储器、硬盘或其它磁性或光学存储器)的情况下实施，在所述数字存储介质上存储有电子可读的控制信号，所述控制信号与可编程的硬件组件这样配合作用或能够这样配合作用，使得实施相应的方法。
可编程的硬件组件作为计算单元可以由处理器、计算机处理器(CPU＝CentralProcessing Unit)、计算机、计算机系统、应用特定的集成电路(ASIC＝Application-Specific Integrated Circuit)、集成电路(IC＝Integrated Circuit)、片上系统(SOC＝System on Chip)、可编程Logit元件或具有微处理器的现场可编程门阵列(FPGA＝FieldProgrammable Gate Array)形成。
因此，所述数字存储介质可以是机器或计算机可读的。因此，一些实施例包括具有电子可读的控制信号的数据载体，所述控制信号能够与可编程的计算机系统或可编程的硬件组件这样配合作用，使得实施在此所描述的方法之一。
本发明的实施例或实施例的部分大体上可以作为具有程序代码的程序、固件、计算机程序或计算机程序产品或者作为数据实现，其中，所述程序代码或数据如下地有效，即，当所述程序在处理器或可编程的硬件组件上运行时，实施所述方法之一或方法的一部分。
为了实现这里所提出的卷积神经网络的一个或多个实施例，本领域技术人员可以动用所谓的名为“Keras”的开源深度学习库。本领域技术人员从http:keras.io中找到详细的信息。
示例1
预先给定的系统或按照本发明的方法对161个不同的患者样品进行了测试，在此，样品在从1：40开始的线性稀释顺序中被稀释。亦即，从1：40开始以线性增加的顺序对患者样品进行稀释和培育。在这种情况下，样品是以1：40、1：80、1：640、1：1280或以1：40、1：80、1：160、1：320、1：640、1：1280、1：2560、1：5120、1：3280、1：10240的步骤。然而，该系统绝不限于预先给定的稀释顺序。
如果图案在相对于确定的样品的任何稀释或任何荧光图像中被识别为存在，则相对于所述确定的样品所述图案被专家解释为存在。所述图案无须在相对于确定的样品的所有稀释或荧光图像中被专家识别出，以便将其解释为存在。
如果图案在相对于确定的样品的所有稀释或所有荧光图像中被识别为负(不具有图案)，则相对于所述确定的样品所述图案被专家解释为负(不具有图案)。
如果图案在相对于确定的样品的任何稀释或任何荧光图像中被检测为存在，则通过本发明的方法相对于所述确定的样品所述图案被检测为普遍存在。通过按照本发明的方法，无须在相对于确定的样品的所有稀释或所有荧光图像中检测出所述图案，以便普遍将其检测为存在。
如果图案在相对于确定的样品的所有稀释中或所有荧光图像中被检测为负(没有图案)，则通过按照本发明的方法相对于确定的样品所述图案被检测为负(不具有图案)。
当存在例如两个不同的实际存在的图案时，如果专家在相同样品的不同稀释或不同荧光图像中识别出所述两个图案，则所述两个图案也被专家解释为两个都存在。
当存在例如两个不同的实际存在的图案时，如果所述方法在相同样品的不同稀释或不同荧光图像中检测到所述两个图案，则通过根据本发明的方法将所述两个图案也检测为两个都存在。
因此，如果例如在1：40的稀释度中检测到均匀图案，而在另外的稀释度(例如1：80)中检测到另外的图案，则对于该样品输出两个图案。
存在于图27中的表1中的识别率涉及所有稀释度的整个患者样品。表1对于不同图案以及负样品的情况分别示出以下特征值：
——TA：“真接受(True Acceptance)”，这是如下样品的数量，所述样品在任何稀释度中已被专家判断出所述图案存在而在至少一个稀释度中已被系统判断出所述图案存在。
——FA：“假接受(False Acceptance)”，这是如下样品的数量，所述样品在所有稀释度中已被专家判断出所述图案不存在而在至少一个稀释度中已被系统判断出所述图案存在。
——TR：“真拒绝(True Rejection)”，这是如下样品的数量，所述样品在所有稀释度中已被专家判断出所述图案不存在而在所有稀释度中已被系统判断出所述图案不存在。
——FR：“假拒绝(False Rejection)”，这是如下样品的数量，所述样品在任意稀释度中已被专家判断出所述图案存在而在至少所有稀释中已被系统判断出所述图案不存在。
——Sens：系统的灵敏度作为绝对值。
——FAR：“假接受率”作为绝对值。
——Spez：特异性作为绝对值。
——FRR：“假拒绝率”作为绝对值。
所述结果通过应用完整的系统(即分割网络、分类网络)、应用各个图案的概率的阈值以及应用各个图案的亮度的阈值得到。
用于识别图案的存在的卷积神经网络使用了总共5949个部分图像元组以用于训练，其中各个图案类型的25％用于单独的校验。对于用于分割的卷积神经网络，总共6463个图像可供使用，其中4847个在实际的训练集合中，而1616个在校验集合中。

Claims (15)

1.用于检测在具有人上皮癌细胞的生物细胞基质上的相应不同的细胞荧光图案类型的相应的潜在存在的方法，
其中，所述细胞荧光图案类型包括多个不同的抗核抗体荧光图案类型，
所述方法包括：
—将生物细胞基质与下述一起培育，即：
液体的患者样品，所述液体的患者样品潜在包括初级抗体；
第一荧光染料；
和用第二荧光染料标记的次级抗体，
—采集代表通过第一荧光染料对所述生物细胞基质染色的第一图像，以及采集代表通过第二荧光染料对所述生物细胞基质染色的第二图像，
—基于所述第一图像检测在每种情况下代表至少一个有丝分裂细胞的相应的图像区段，
—基于所检测的图像区段选择第一图像的仅部分图像和第二图像的与此相对应的部分图像，第一图像的具有其相应像素索引的确定的图像区域对应于第二图像的具有相同像素索引的确定的图像区域，并且基于所述像素索引选择所述第二图像的与此相对应的部分图像，以及
—基于所述第一图像的部分图像和所述第二图像的部分图像，借助卷积神经网络检测各个细胞荧光图案类型的相应的实际存在。
2.根据权利要求1所述的方法，所述方法还包括：
—基于所述第一图像检测在每种情况下代表至少一个足够质量的有丝分裂细胞的相应的图像区段，
—基于在每种情况下代表至少一个足够质量的有丝分裂细胞的相应的图像区段来选择所述第一图像的部分图像和所述第二图像的与此相对应的部分图像。
3.根据权利要求1所述的方法，所述方法还包括：
—基于所述第一图像的所选择的部分图像和所述第二图像的所选择的部分图像，借助卷积神经网络来确定对于各个细胞荧光图案类型的相应的实际存在的相应的置信度。
4.根据权利要求3所述的方法，其中，所述卷积神经网络具有输出层，所述输出层对于相应的细胞荧光图案类型生成相应的特征图，并且所述卷积神经网络基于相应的特征图确定相应的置信度。
5.根据权利要求3所述的方法，所述方法还包括：
—将所述第一图像分割成不同的区段类别的图像区段，
—基于至少一个确定的区段类别的一个或更多个图像区段确定对于至少一个细胞荧光图案类型的至少一个亮度值，以及
—基于所述至少一个细胞荧光图案类型的至少一个亮度值校验所述至少一个细胞荧光图案类型的置信度。
6.根据权利要求5所述的方法，其中，基于所述至少一个亮度值并且根据可由用户预先给定的阈值来校验所述置信度。
7.根据权利要求3所述的方法，所述方法还包括，
对于具有所述第一图像的部分图像和所述第二图像的部分图像的相应的部分图像元组，借助卷积神经网络确定对于各个细胞荧光图案类型的相应的实际的部分图像存在的相应的部分图像置信度，
并且基于相应的部分图像置信度来确定对于各个细胞荧光图案类型的相应的实际存在的相应的置信度。
8.根据权利要求1所述的方法，其中，所述第一图像的所选择的部分图像和所述第二图像的与此相对应的部分图像分别具有所述至少一个有丝分裂细胞。
9.根据权利要求1所述的方法，其中，所述第一图像和所述第二图像具有相同的空间定向。
10.用于借助数字图像处理来检测在具有人上皮癌细胞的生物细胞基质上的相应不同的细胞荧光图案类型的相应的潜在存在的装置，所述装置具有：
—用于所述生物细胞基质的保持装置，所述生物细胞基质已经与下述一起培育，即，
液体的患者样品，和包括初级抗体；
第一荧光染料；
和用第二荧光染料标记的次级抗体，
—至少一个图像采集单元，所述图像采集单元用于采集代表通过第一荧光染料对所述生物细胞基质染色的第一图像，以及用于采集代表通过第二荧光染料对所述生物细胞基质染色的第二图像，和
—至少一个计算单元，所述计算单元构成用于，
—基于所述第一图像检测在每种情况下代表至少一个有丝分裂细胞的相应的图像区段，
—基于相应的图像区段选择第一图像的仅部分图像和第二图像的与此相对应的部分图像，第一图像的具有其相应像素索引的确定的图像区域对应于第二图像的具有相同像素索引的确定的图像区域，并且基于所述像素索引选择第二图像的与此相对应的部分图像，以及—基于所述第一图像的部分图像和第二图像的部分图像，借助卷积神经网络检测各个细胞荧光图案类型的相应的实际存在。
11.用于借助数字图像处理来检测在具有人上皮癌细胞的生物细胞基质上的各个不同的细胞荧光图案类型的相应的潜在存在的方法，所述方法包括：
—采集代表通过第一荧光染料对生物细胞基质染色的第一图像，
—采集代表通过第二荧光染料对所述生物细胞基质染色的第二图像，
—基于所述第一图像检测在每种情况下代表至少一个有丝分裂细胞的相应的图像区段，
—基于相应的图像区段选择所述第一图像的仅部分图像和所述第二图像的与此相对应的部分图像，第一图像的具有其相应像素索引的确定的图像区域对应于第二图像的具有相同像素索引的确定的图像区域，并且基于所述像素索引选择第二图像的与此相对应的部分图像，以及
—基于所述第一图像的部分图像和所述第二图像的部分图像，借助卷积神经网络检测各个细胞荧光图案类型的相应的实际存在。
12.用于数字图像处理的方法，所述方法包括：
—接收代表通过第一荧光染料对生物细胞基质染色的第一图像，其中，所述生物细胞基质具有人上皮癌细胞，
—接收代表通过第二荧光染料对所述生物细胞基质染色的第二图像，
—基于所述第一图像检测在每种情况下代表至少一个有丝分裂细胞的相应的图像区段，
—基于所检测的图像区段选择所述第一图像的仅部分图像和所述第二图像的与此相对应的部分图像，第一图像的具有其相应像素索引的确定的图像区域对应于第二图像的具有相同像素索引的确定的图像区域，并且基于所述像素索引选择第二图像的与此相对应的部分图像，以及
—基于所述第一图像的部分图像和第二图像的部分图像，借助卷积神经网络检测各个细胞荧光图案类型的相应的实际存在。
13.计算单元，所述计算单元构成用于在数字图像处理的过程中—接收代表通过第一荧光染料对生物细胞基质染色的第一图像，其中，所述生物细胞基质具有人上皮癌细胞，
—接收代表通过第二荧光染料对所述生物细胞基质染色的第二图像，
—基于所述第一图像检测在每种情况下代表至少一个有丝分裂细胞的相应的图像区段，
—基于相应的图像区段选择所述第一图像的仅部分图像和所述第二图像的与此相对应的部分图像，第一图像的具有其相应像素索引的确定的图像区域对应于第二图像的具有相同像素索引的确定的图像区域，并且基于所述像素索引选择第二图像的与此相对应的部分图像，以及
—基于所述第一图像的部分图像和所述第二图像的部分图像，借助卷积神经网络检测各个细胞荧光图案类型的相应的实际存在。
14.数据网络装置，所述数据网络装置具有：用于接收第一图像以及用于接收第二图像的至少一个数据接口，所述第一图像代表通过第一荧光染料对生物细胞基质染色，其中，所述生物细胞基质具有人上皮癌细胞，所述第二图像代表通过第二荧光染料对所述生物细胞基质染色；以及根据权利要求13所述的计算单元。
15.非暂时性机器可读介质，包括存储在其上的机器可读指令，所述机器可读指令可执行，以使机器执行包括根据权利要求12所述的用于数字图像处理的方法的操作。
CN202010677726.4A 2019-07-19 2020-07-14 用于检测不同抗核抗体荧光图案类型的存在的方法和装置 Active CN112240878B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP19187348.8A EP3767587B1 (de) 2019-07-19 2019-07-19 Detektion von präsenzen unterschiedlicher antinukleärer antikörper-fluoreszenzmustertypen und vorrichtung hierfür
EP19187348.8 2019-07-19

Publications (2)

Publication Number Publication Date
CN112240878A CN112240878A (zh) 2021-01-19
CN112240878B true CN112240878B (zh) 2023-05-26

Family

ID=67438205

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010677726.4A Active CN112240878B (zh) 2019-07-19 2020-07-14 用于检测不同抗核抗体荧光图案类型的存在的方法和装置

Country Status (3)

Country Link
US (1) US11367187B2 (zh)
EP (1) EP3767587B1 (zh)
CN (1) CN112240878B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3712618B1 (de) * 2019-03-18 2023-10-04 Euroimmun Medizinische Labordiagnostika AG Verfahren zum detektieren einer bindung von antikörpern einer patientenprobe an doppelsträngige dns unter verwendung von crithidia luciliae zellen und fluoreszenzmikroskopie
EP3876193A1 (de) 2020-03-02 2021-09-08 Euroimmun Medizinische Labordiagnostika AG Bildverarbeitungsverfahren zum anzeigen von zellen mehrerer gesamtbilder
ES2942022T3 (es) * 2020-12-21 2023-05-29 Euroimmun Medizinische Labordiagnostika Ag Procedimiento y dispositivo para detectar la presencia de un tipo de patrón de fluorescencia en una sección de órgano mediante microscopía de inmunofluorescencia
RU2764705C1 (ru) * 2020-12-22 2022-01-19 Общество с ограниченной ответственностью «Аби Продакшн» Извлечение нескольких документов из единого изображения
EP4030340B1 (de) * 2021-01-19 2023-11-01 EUROIMMUN Medizinische Labordiagnostika AG Verfahren zur detektion von präsenzen unterschiedlicher antinukleärer antikörper-fluoreszenzmustertypen ohne gegenfärbung und vorrichtung hierfür
JP2023142064A (ja) * 2022-03-24 2023-10-05 株式会社東芝 微小粒子計測システム、および、微小粒子計測方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014177700A1 (en) * 2013-05-02 2014-11-06 Universite D'aix-Marseille Indirect immunofluorescence method for detecting antinuclear autoantibodies.
CN109313798A (zh) * 2016-06-10 2019-02-05 豪夫迈·罗氏有限公司 用于明场图像模拟的系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006027516B4 (de) 2006-06-09 2021-10-07 Euroimmun Medizinische Labordiagnostika Ag Verfahren zur Optimierung der automatischen Fluoreszenzmustererkennung in der Immundiagnostik
EP1921552A1 (de) 2006-11-13 2008-05-14 Euroimmun Medizinische Labordiagnostika AG Netzplangesteuertes Verfahren zur Sicherstellung der Authentizität und Qualität visuell erhobener Befunde in der Indirekten Immunfluoreszenz
US8160364B2 (en) * 2007-02-16 2012-04-17 Raytheon Company System and method for image registration based on variable region of interest
WO2010140024A1 (en) * 2009-06-03 2010-12-09 Institut National De La Sante Et De La Recherche Medicale (Inserm) Methods for diagnosing and treating a renal disease in an individual
US20150032671A9 (en) * 2010-07-23 2015-01-29 General Electric Company Systems and methods for selecting and analyzing particles in a biological tissue
US8639013B2 (en) * 2011-08-17 2014-01-28 General Electric Company System and methods for generating a brightfield image using fluorescent images
US9536304B2 (en) * 2013-08-30 2017-01-03 Dairy Quality Inc. Determining pathogens based on an image of somatic cells in a fluid sample
JP6703824B2 (ja) * 2015-11-30 2020-06-03 シスメックス株式会社 細胞選択方法、細胞検出方法、細胞選択装置、および細胞検出装置
EP3591406A1 (de) 2018-07-06 2020-01-08 Euroimmun Medizinische Labordiagnostika AG Vorrichtung und verfahren zur antikörperdetektion
EP3712618B1 (de) * 2019-03-18 2023-10-04 Euroimmun Medizinische Labordiagnostika AG Verfahren zum detektieren einer bindung von antikörpern einer patientenprobe an doppelsträngige dns unter verwendung von crithidia luciliae zellen und fluoreszenzmikroskopie
JP7545202B2 (ja) * 2019-11-29 2024-09-04 シスメックス株式会社 細胞解析方法、細胞解析装置、細胞解析システム、及び細胞解析プログラム
JP7475848B2 (ja) * 2019-11-29 2024-04-30 シスメックス株式会社 細胞解析方法、細胞解析装置、細胞解析システム、及び細胞解析プログラム、並びに訓練された人工知能アルゴリズムの生成方法、生成装置、及び生成プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014177700A1 (en) * 2013-05-02 2014-11-06 Universite D'aix-Marseille Indirect immunofluorescence method for detecting antinuclear autoantibodies.
CN109313798A (zh) * 2016-06-10 2019-02-05 豪夫迈·罗氏有限公司 用于明场图像模拟的系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Exploiting Convolutional Neural Networks and Preprocessing Techniques for Hep-2 Cell Classification in Immunofluorescence Images;Roduigues Larissa Ferreira et al.;《2017 30th SIBGRAPI CONFERENCE ON GRAPHICS, PATTERNS AND IMAGES》;20171017;全文 *

Also Published As

Publication number Publication date
EP3767587B1 (de) 2024-10-23
US20210019883A1 (en) 2021-01-21
EP3767587A1 (de) 2021-01-20
US11367187B2 (en) 2022-06-21
CN112240878A (zh) 2021-01-19

Similar Documents

Publication Publication Date Title
CN112240878B (zh) 用于检测不同抗核抗体荧光图案类型的存在的方法和装置
JP7250793B2 (ja) 生体画像における連帯的細胞および領域分類のための深層学習システムならびに方法
JP7233506B2 (ja) 一次染色および免疫組織化学画像に基づくコンピュータ採点
JP6800152B2 (ja) 組織学画像中の核の分類
US11549889B2 (en) Method for detecting a binding of antibodies from a patient sample to double-stranded DNA using Crithidia luciliae cells and fluorescence microscopy
US20230186657A1 (en) Convolutional neural networks for locating objects of interest in images of biological samples
US10657643B2 (en) Medical image analysis for identifying biomarker-positive tumor cells
US20210201536A1 (en) Quality metrics for automatic evaluation of dual ish images
AU2007284207B2 (en) System and methods for scoring images of a tissue micro array
EP3867868A1 (en) Image enhancement to enable improved nuclei detection and segmentation
CN113574534A (zh) 使用基于距离的相似性标签的机器学习
JP2018503906A (ja) イムノスコア計算における共発現解析のためのシステム及び方法
CN115088022A (zh) 用于训练机器学习算法和维护患者隐私的联邦学习系统
US20220012884A1 (en) Image analysis system and analysis method
CN114945941A (zh) 用于支持肿瘤检测和分析的非肿瘤分割
US20220082567A1 (en) Method for detecting a binding of antibodies from a patient sample to double-stranded DNA using Crithidia luciliae cells and fluorescence microscopy
WO2014177700A1 (en) Indirect immunofluorescence method for detecting antinuclear autoantibodies.
CN114858765A (zh) 用于检测不同的抗体荧光图案类型的存在的方法和设备
CN115775223A (zh) 用于检测器官切片上荧光图案类型的存在的方法和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant