CN110806636A - 显微镜分析方法 - Google Patents
显微镜分析方法 Download PDFInfo
- Publication number
- CN110806636A CN110806636A CN201910657496.2A CN201910657496A CN110806636A CN 110806636 A CN110806636 A CN 110806636A CN 201910657496 A CN201910657496 A CN 201910657496A CN 110806636 A CN110806636 A CN 110806636A
- Authority
- CN
- China
- Prior art keywords
- acquisition
- information
- illumination
- sample
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 83
- 238000007431 microscopic evaluation Methods 0.000 title claims abstract description 6
- 238000005286 illumination Methods 0.000 claims abstract description 253
- 238000004458 analytical method Methods 0.000 claims abstract description 96
- 230000003287 optical effect Effects 0.000 claims abstract description 58
- 238000006243 chemical reaction Methods 0.000 claims abstract description 26
- 230000010287 polarization Effects 0.000 claims description 101
- 238000001514 detection method Methods 0.000 claims description 55
- 230000011218 segmentation Effects 0.000 claims description 28
- 238000004590 computer program Methods 0.000 claims description 26
- 239000003086 colorant Substances 0.000 claims description 24
- 230000001419 dependent effect Effects 0.000 claims description 22
- 238000013528 artificial neural network Methods 0.000 claims description 20
- 238000001914 filtration Methods 0.000 claims description 16
- 230000008859 change Effects 0.000 claims description 15
- 230000005540 biological transmission Effects 0.000 claims description 13
- 230000009466 transformation Effects 0.000 claims description 10
- 238000010801 machine learning Methods 0.000 claims description 9
- 238000000386 microscopy Methods 0.000 claims description 9
- 238000013135 deep learning Methods 0.000 claims description 6
- 230000004807 localization Effects 0.000 claims description 5
- 238000013473 artificial intelligence Methods 0.000 claims description 4
- 230000002380 cytological effect Effects 0.000 claims description 4
- 210000004027 cell Anatomy 0.000 description 21
- 238000012549 training Methods 0.000 description 21
- 238000011156 evaluation Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 11
- 230000008901 benefit Effects 0.000 description 10
- 239000011159 matrix material Substances 0.000 description 10
- 230000007246 mechanism Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000002073 fluorescence micrograph Methods 0.000 description 7
- 210000002569 neuron Anatomy 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 6
- FWBHETKCLVMNFS-UHFFFAOYSA-N 4',6-Diamino-2-phenylindol Chemical compound C1=CC(C(=N)N)=CC=C1C1=CC2=CC=C(C(N)=N)C=C2N1 FWBHETKCLVMNFS-UHFFFAOYSA-N 0.000 description 5
- 238000011176 pooling Methods 0.000 description 5
- 238000010191 image analysis Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000004069 differentiation Effects 0.000 description 3
- 238000000799 fluorescence microscopy Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 241000947136 Jarava media Species 0.000 description 2
- 230000004075 alteration Effects 0.000 description 2
- 210000003855 cell nucleus Anatomy 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 210000004940 nucleus Anatomy 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 238000001237 Raman spectrum Methods 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 238000000339 bright-field microscopy Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000003153 chemical reaction reagent Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000001218 confocal laser scanning microscopy Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000006116 polymerization reaction Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012284 sample analysis method Methods 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/008—Details of detection or image processing, including general computer control
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/21—Polarisation-affecting properties
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/645—Specially adapted constructive features of fluorimeters
- G01N21/6456—Spatial resolved fluorescence measurements; Imaging
- G01N21/6458—Fluorescence microscopy
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0032—Optical details of illumination, e.g. light-sources, pinholes, beam splitters, slits, fibers
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/06—Means for illuminating specimens
- G02B21/08—Condensers
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/06—Means for illuminating specimens
- G02B21/08—Condensers
- G02B21/082—Condensers for incident illumination only
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/06—Means for illuminating specimens
- G02B21/08—Condensers
- G02B21/086—Condensers for transillumination only
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/06—Means for illuminating specimens
- G02B21/08—Condensers
- G02B21/12—Condensers affording bright-field illumination
- G02B21/125—Condensers affording bright-field illumination affording both dark- and bright-field illumination
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/06—Means for illuminating specimens
- G02B21/08—Condensers
- G02B21/14—Condensers affording illumination for phase-contrast observation
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/16—Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/361—Optical details, e.g. image relay to the camera or image sensor
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/251—Fusion techniques of input or preprocessed data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/506—Illumination models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/141—Control of illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/693—Acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/698—Matching; Classification
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/645—Specially adapted constructive features of fluorimeters
- G01N2021/6463—Optics
- G01N2021/6471—Special filters, filter wheel
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Optics & Photonics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Biochemistry (AREA)
- Pathology (AREA)
- Immunology (AREA)
- Biodiversity & Conservation Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Computer Graphics (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
Abstract
本发明涉及用于样本(2)尤其是至少一个未染色的对象样本或细胞样本(2)在光学采集系统(1)中的显微镜分析(120)的方法,其中进行如下步骤:尤其通过采集系统(1)提供至少两个不同的关于样本(2)的采集信息(110),尤其通过分析装置(60)依据机器学习的转换信息(200)执行采集信息(110)的分析(120)以确定关于样本(2)的结果信息(140),其中转换信息(200)针对采集信息(110)的不同采集参数化进行学习,在采集参数化中,采集信息(110)至少在采集系统(1)的照明参数方面编码地、尤其是偏振编码和/或颜色编码地相互区分。
Description
技术领域
本发明涉及用于样本显微镜分析的方法。本发明还涉及光学采集系统、计算机程序以及计算机可读介质。
背景技术
从现有技术中知道了,采集系统如显微镜被用于透光显微术(Durchlichtmikroskopie)以分析细胞样本。像透光显微术这样的方法提供了用于细胞样本分析的可靠且经验证的可行方案,并且大多基于技术较简单、因而更廉价的结构。尽管如此,由此获得的与待检样本相关的信息内容或许少于较复杂的显微学技术如荧光显微学或共焦显微学的情况。
同类的显微学技术例如由WO 2017/181044A1公开了。
发明内容
因此,本发明的任务是至少部分减少前述缺点。本发明的任务尤其是改善样本分析,同时应减小为此所需的技术成本。
前述任务通过一种具有权利要求1的特征的方法、一种具有权利要求11的特征的光学采集系统、一种具有权利要求14的特征的计算机程序以及一种具有权利要求15的特征的计算机可读介质完成。本发明的其它的特征和细节来自各从属权利要求、说明书和附图。在此,与本发明的方法相关所描述的特征和细节显然也与本发明的光学采集系统、本发明的计算机程序以及本发明的计算机可读介质相关地是适用的,反之亦然,因此关于各发明方面的公开内容,总是相互参照或可相互参照。
由WO 97/1 1350 A2、DE 10 2014 108044 A1、WO 91/20048 A1、WO 2016/191462A1、US 2015/185459 A1和LITJENS GEERT等人的“A Survey on deep learning inmedical Image analysis",MEDICAL IMAGE ANALYSIS”(MEDICAL IMAGE ANALYSIS,卷42,第60-88页,XP085240547,出版号1361-8415,DOI:10.1016/J.MEDIA.2017.07.05),公开了前言类型的方法。WO 97/11350A2公开了一种神经网络辅助型多谱分割法,在此,针对一个样本记录下不同光学条带的三幅图像。
该任务尤其通过一种在该光学采集系统中显微分析样本(尤其是至少一个未染色的对象样本或细胞样本)的方法来解决。
有利地,在本发明的方法中可以执行以下步骤中的至少一个,这些步骤最好按照所给出的顺序先后进行或按任意顺序进行,或许可以重复一些步骤:
-尤其通过采集系统提供至少两个不同的关于样本的采集信息,
-尤其通过(尤其基于机器学习的)分析装置对该采集信息进行分析,优选依据机器学习的转换信息和/或通过神经网络,以确定关于样本的结果信息。
转换信息在此例如是由学习过程(如根据机器学习)产生的数字非易失地存储的信息。转换信息例如可以具有分类器或模型等。在此,该转换信息的特点是,它自动地通过人工智能等(即尤其在神经网络的学习过程中)产生。
在此可选地可能的是,该转换信息(尤其用于将采集信息转换为结果信息)是针对采集信息的不同采集参数化来学习的。有利地,在不同的采集参数化中,至少在采集系统的照明参数方面可以区分所述采集信息(例如编码的,尤其是偏振编码的和/或颜色编码的)。这有以下优点,与样本相关的信息能以高可靠性且尤其即便在没有准确掌握光学采集系统或者基本模型情况下得以提取。该转换信息可以或许表示任何分类器(如神经网络的权重),只要它是针对采集信息的不同采集参数化来学习的。
尤其可行的是,本发明的方法按照用于透光显微术的透光方法(如具有作为光学采集系统的透光显微镜)来操作。此外可以想到,所述分析至少部分通过使用尤其来自机器学习领域的自学方法进行。
有利地,自学方法可以是指:进行监督学习(机器学习),对此通常产生真实数据(Ground Truth)而无人为干预(如无注释)。为此例如可以使用机动样本台,以便自动移动该样本并且因此可以采集不同的样本区域或也可采集不同样本,用于参考采集。
采集参数化在此优选是指:在光学采集系统中采集时的参数设定,因此通过不同的采集参数化可以获得不同的采集信息。换言之,例如在初次设定(即初次参数化)时可以获得第一采集信息,在不同于初次设定的第二次设定(即第二次参数化)时获得第二采集信息,如此等等。在此,采集信息可以依据各自所用的采集参数化来区分。因此,采集参数化可以是在采集系统上的设定,例如像聚光器的照明光的照射角度和/或照射结构和/或照射图案和/或偏振和/或滤色的设定。
可能可行的是,至少两个不同采集信息的提供是通过分析装置如通过计算机程序或电子装置或至少一个处理器和/或计算机进行的。替代地或附加地,所述提供通过该采集系统进行,其中,该采集信息专属于借助光学采集系统的采集。在此情况下有利的是,所述提供以检测装置(如采集系统相机)之记录的形式进行。为此,检测装置例如设计成具有至少一个传感器,其对准(检测光路的)照明光以便进行采集,在这里,照明光受到样本影响。照明光在此例如通过聚光器产生,和/或通过照明机构被改变,和/或通过样本被如下改变,即,它照射到样本并且因此照亮它。
在本发明范围内还可能可行的是,分析装置被设计成计算机程序尤其是计算机程序产品。计算机程序最好只能以长久非易失(非暂时)形式存在,例如在物理数据存储器如硬盘或闪存器等上。分析装置可能适于通过分析装置来执行以便至少部分执行本发明方法的至少一个方法步骤。该分析装置例如是计算机或电子装置或至少一个处理器,其可以与至少一个数据存储器连接以便运行分析装置。所述连接例如是电连接和/或信号连接,以便分析装置读取数据存储器。另外,分析装置可以具有至少一个处理器以便运行所读取的分析装置。或许为此也可以采用至少一个暂存器,以便例如暂存至少一个采集信息和/或转换信息和/或结果信息。另外,转换信息也可以长期(非易失)存储在分析装置的数据存储器中。可选地,该分析装置还可以为了控制和/或分析和/或提供而电连接至该光学采集系统的至少一个部件,例如电连接至检测装置。通过这种方式,可以让分析装置接收来自检测装置的采集信息并且例如存储在中间存储器或数据存储器中。
有利地,采集信息的提供也可如此进行,即,采集系统的检测装置记录照向检测装置的光,其中,该光专属于照明光被样本之改变和/或取决于照明参数。照明参数例如是照明光的照射角度和/或照明光的照明颜色和/或照明光的偏振和/或照明光的空间性能(结构)的设定。
还可以想到,采集信息至少关于采集系统的照明参数相互按编码、尤其是偏振编码或颜色编码的方式进行区分。例如按如下方式允许按颜色编码方式区分,即,对于不同的照明参数(或不同的照明参数化)采用不同的照明颜色。为此例如采用照明机构,以根据照明参数来获得照明光滤色。照明机构为此可以设计成空间结构化的滤色片。照明参数例如是空间结构或角度,其针对不同的采集信息被设定为不同。该照明参数也可以涉及用于不同采集信息的照明光的不同结构。为了将由此导致的光配属于不同的采集信息,可以相应地利用编码如颜色编码(即滤色)或偏振编码。通过这种方式,针对所述提供,将不同照明性能(如可从检测装置的记录中获得的照明颜色或偏振)配属于不同的采集信息。作为照明颜色(颜色编码)的替代或补充,不同的照明性能也可涉及照明光偏振(偏振编码)。
此外,在本发明方法中可选地可行的是,采集信息专属于通过光学采集系统对样本的采集,在此采集参数化是针对这些采集信息来区分的。替代地或附加地,该采集参数化可以至少通过采集系统的照明参数之变化来区分。所述变化例如是照明光的颜色变化或者不同的偏振,并且尤其通过分析装置和/或照明机构来控制。该照明机构在此可以例如设计成滤色片或偏振滤光器。
在本发明中可以规定,该采集信息至少关于采集系统的照明参数相互按编码方式区分。编码在此尤其通过以预定方式改变照明光的至少一个性能进行,以便在提供(尤其是采集)采集信息时,能将如此改变的照明光与其它照明光区分开。所述改变(即编码)于是例如可以针对照明光的不同空间位置或区域相互不同地且可区分地进行。这样形成不同的照明样式,其至少依据所述编码来相互区分。于是,可以从每个不同照明样式或针对每个不同编码产生至少其中一个采集信息,其接着仅具有来自该照明样式的或来自相应编码的照明光的信息。例如,照明光的不同偏振在此被用作编码。借助如此编码的照明光的样本记录例如针对各不同偏振被分隔开,从而对于每个不同偏振产生一个采集信息。在此,不同偏振(如在聚光器领域)可以在用照明光照亮样本之前进行。采集信息可以因为在采集系统内的照明光的不同路径而具有不同的样本信息。前述说明在此也适用于其它编码类型如颜色编码。
此时在本发明方法中可能有利的是,所述分析利用采集信息差异,尤其是样本专属的和/或样本造成的差异,以获得至少一个由此得到的样本信息如结果信息。在此,被用于不同采集信息之记录的结构差异(即不同照明样式)优选对于出现这种差异是重要的。其次,不同采集信息例如可在被用来记录采集信息的照明光编码方面不同。但在此它或许也是与编码的预定差异,而不是样本造成的差异。编码在此例如可以是颜色编码或偏振。所述分析或提供因此尤其并非按照样本性能信息意义地分析不同编码以获得结果信息,而是或许仅为了解码和提供结果信息。例如检测装置记录的不同颜色作为信息被用于借助分析或提供的解码,且或许未作为由样本造成的照明光光谱变化。
可以想到的是,在时间上在分析之前如下进行采集信息的提供(准备好),即,为了解码而借助采集系统的检测装置优选同时和/或并行地、不同地记录(被样本改变的)照明光,以便分别依据各记录来确定不同的采集信息,其中,这些记录在照明光性能方面是彼此不同的。
尤其是,采集信息的提供按如下方式进行:其中一个单独的采集信息不具有照明光的照明参数和/或性能的差异,即例如仅依据唯一性能(如唯一颜色或偏振)的照明光来产生。尤其是,所述差异只能针对不同的采集信息被识别。
此时也可以想到,组合使用多个编码类型如颜色编码和偏振编码。照明光的不同偏振包括:例如不同的偏振类型(如线性和循环偏振)或不同的偏振方向或不同的偏振样式、或使用偏振和与之不同的非偏振的照明光。除颜色或偏振外的其它照明光性能或许也可以被用于编码。
所述提供例如也可以是采集信息的读取,这通过分析装置从数据存储器或从至采集系统的接口来启动。这样的接口例如可以是与采集系统的检测装置的信号连接和/或电连接。
可能可行的是,为了所述提供而规定如下步骤:
-通过该光学采集系统执行至少一次样本采集,以通过照明参数的改变获得不同的采集信息,
其中,所述改变是作为
-空间照明结构和照明颜色和/或
-空间照明结构和照明偏振
的变化,针对不同的采集信息进行的。可选地,所述照明颜色和(替代或附加)照明偏振可以编码由空间照明结构产生的照明样式。
还可能可行的是,为了该提供而规定如下步骤:
-通过光学采集系统执行样本的至少一次采集,以通过改变照明参数来获得不同的采集信息,
其中,所述改变是作为空间照明结构的和/或照明颜色的和/或照明偏振的改变,针对不同的采集信息进行的,其中,优选为此将照明光空间结构化和/或为了颜色编码而至少是双色的和/或为了偏振编码被不同地偏振化,从而产生尤其与颜色相关地和/或与偏振相关地不同的照明样式,且最好是所述照明样式专属于采集信息。尤其是,被样本改变的照明样式(经过了采集系统和/或样本)可以通过采集信息来获得。它们相应包含样本的相关信息。这有以下优点,通过改变照明参数可提供不同的采集信息,以便通过分析且尤其是采集信息处理来增加样本采集的信息内容。尤其在此进行照明颜色改变以便颜色编码,或进行偏振改变以便对照明光偏振编码,以便能通过这种方式依据照明颜色或偏振提取采集信息。尤其进行照明光的空间结构化以增加信息内容,因为通过这种方式该照明光能以不同方式穿过光学采集系统。通过这种方式例如可以提供(或许颜色的)多路复用,以同时和/或并行记录样本的多个图像。图像在此对应于例如采集信息。
当通过照明结构适当塑造照明样式时,可以用光学采集系统并行地拍摄下例如多个样本图像,而没有时间损失。在此可以想到,光学采集系统的光学性能(即尤其是成像显微系统)与照明光光色相关,例如通过色差。在此原则上可以想到,光学采集系统或者其光学性能被调制并且依据物理模型可以在样本采集时获得附加信息。通过使用所学到的转换信息且尤其也与自学分析方法组合地,或许可以至少部分放弃这种模型形成,在这里,还是可以实现或改善信息获得。或许这种方式也可以克服限制,即,在物理模型中依据采集信息只能提取在物理模型中对此出现相应性的信息。此外,这种方法原则上取决于真实系统在很大程度上对应于模型。所学到的转换信息的使用此时可以或许被理解为自动借助人工智能来产生模型。采集信息的分析或许也可以包含在样本中的自学习细胞分析或自学习对象分析,以结合采集信息差异来获得样本的附加信息。
还可以在本发明的方法中想到,该照明光被编码,例如至少双色或偏振和/或如此空间结构化,即,出现与编码相关地(即例如与颜色相关地和/或与偏振相关地)不同的照明样式。在此,各种颜色的和/或偏振的照明样式或许可以通过不同的方式经过光学采集系统,并由此产生不同的记录,即不同的采集信息。不同的颜色尤其是指不同的波长范围。
有利地,不同的颜色尤其是下述照明光波长:它们相差了至少10纳米或至少20纳米或至少50纳米或至少100纳米或至少200纳米。这样的不同颜色也可以是下述波长范围:它们相互间隔至少10纳米或至少20纳米或至少50纳米或至少100纳米或至少200纳米。因此可以例如将一个至少双色的照明光在空间上如此结构化,即,它具有空间不同的颜色和/或不同的光谱。尤其是,照明光的颜色和/或光谱此时可以垂直于在光学采集系统内的照明光传播方向地在空间上变化。换言之,多色照明光具有许多颜色(即尤其是例如根据上述波长范围间隔的多个不同光谱),它们在空间结构化时或许在照明光中空间不同地设定。根据其它考虑方式,照明光可以被认为是具有不同光色的多个光线,其采取光学采集系统内的相应不同光路。
可以想到的是,在每个采集信息中至少部分掌握相同的空间样本区域。换言之,其中的第一采集信息(仅部分)具有不同于其中的第二采集信息的信息,从而可以总体增加信息内容。采集信息例如是(或许无关的)相同样本部位的记录(如显微图像)。例如各采集信息是专属于和/或取决于各记录,且例如对应于其由检测装置输出的数据。
有利地,不同的采集信息专属于各种颜色的和/或不同偏振的照明样式,其中,尤其这些采集信息在照明样式的颜色或偏振方面是不同的。各种照明样式例如由改变光学采集系统的照明光引起,其中,所述照明光的改变是至少双色的和/或至少三色的和/或如此空间结构化,即,与颜色相关或与偏振相关地出现各种照明样式。因此,(如不同颜色的)照明样式可以不同方式穿过光学采集系统,因此产生不同的记录。检测装置且尤其是相机此时可以是如下类型的,它可在采集系统中产生两个或三个或更多的颜色分隔的照片。尤其是,在采集中将来自不同颜色区或不同偏振的照片保持分开。接着,或许可进行分析,例如经过训练的神经网络被用于这些照片。照片在此尤其对应于不同的采集信息。分析例如能以如下目的进行,即,从照片和/或采集信息中完成像素、对象、样本区域或整个样本的分类或回归。可能可行的是,神经网络在先针对类似的照片被训练,以完成相应的分类或回归。
尤其可能可行的是,分析利用神经网络,其依据类似的图像数据(如采集信息)与物理模型无关地首先监测和/或自主学习如何从现有的一般抽象的图像数据或颜色图像的信息中提取相关信息。为此,或许神经网络可以在第一步骤中不仅呈现所记录的图像数据或颜色图像的抽象信息(即尤其是采集信息)以及该样本部位上的优选对应的相关信息(如相关区域的标记或三维样本结构)。通过这种方式例如可学到一个用于自抽象信息转换到相关信息的抽象模型。例如在此该转换信息专属于所述抽象模型,其可以比真实的物理模型强许多的调整能力和更加灵活,并且也还无需对光学系统的特殊假设就可被学到。或许可以在另一方法步骤中采用所学到的模型,以从含有相似抽象信息的未知图像数据或颜色图像中提取期望的相关信息。
在本发明范围内可行的是,在使用编码如颜色编码或偏振编码时,照明光的每个编码(例如像所用颜色或偏振)被配属给规定的由照明机构的空间结构化造成的照明样式和/或规定的照明光照射角度,其中,该照明样式或照射角度彼此不同。例如照射角度相差至少5°或10°或20°(如关于照射样本的入射角度或离开聚光器或照明机构的出射角度)。此时可以想到,样本照明与全部编码如照明颜色或偏振同时地和/或并行地进行(进而也与全部的不同照明样式和/或照射角度)或依次仅以单独编码(如照明颜色或偏振)或者照射角度先后照亮样本,因而依次获得采集信息。
还可选地规定,分析由分析装置执行,该分析装置设计成基于机器学习和/或深度学习和/或人工智能的计算机程序,优选呈人工神经网络形式。可能的是,分析与光学采集系统的具体物理模型无关地进行,例如依据学习方法且尤其是自学方法。例如,转换信息此时可以基于学习结果如分类器或模型,其因为至少半监督和/或无监督的学习而出现。因此,分析可以基于不必预定而因此可以自动产生的关系和模型。
特别有利的是,在学习中采用深度学习法。相应地,该转换信息可以专属于这种深度学习法。尤其是,该方法是人工神经网络的优化方法,其在输入层和输出层之间具有大量中间层(暗藏层)并由此具有大规模的内结构。
还可能可行的是,采集信息的采集参数化如此相互区分,即,在采集信息的采集中,采集系统的尤其是宽带的照明光对于不同的采集信息具有不同的空间调整和/或编码调整,优选通过照明光的空间结构化和/或颜色编码和/或偏振。尤其是,该改进方案基于如下构想,即,不同编码的光如不同颜色的光彼此无关地经过一个相同的光学系统。在各不同编码适当形成时和/或在各种照明颜色情况下,或许可以只通过光学系统(即采集系统)的色差针对各编码(如颜色或偏振)产生不同的光学图(如采集信息)。通过合适的检测装置如检测器如带有偏振传感器和/或滤色传感器且优选是拜耳传感器的数字彩色相机,于是可以相互无关地或部分相互无关地并行拍摄下具有各编码的多幅图像。一组图像接着例如可以作为偏振图像和/或颜色图像来提供。对于一些特殊的照明状况如以多个不同角度倾斜照明而知道了,一组拍摄图像包含比单独图像更多的信息,并且尤其是如何具体解读所述信息,本发明认为可以采用各种编码如照明颜色,而当所述照明被编码(如颜色)结构化时,实际上总是存在获得信息。因此,通过编码的照明形成且尤其是颜色形成,发生图像信息的最大化,其随后可以在编码图像例如颜色图像中来提供。于是,可以从所述编码图像中例如提取采集信息。
还有利的是,采集信息的不同的采集参数化专属于在采集时借助采集系统的照明机构执行照明光调整,其中,该照明机构具有编码的(优选不同偏振的和/或至少双色的)空间结构,以便提供与编码相关地、优选与颜色相关地和/或颜色编码地和/或与偏振相关地和/或偏振编码地各照明样式用于样本,其中,尤其针对不同的照明样式提供不同的采集信息。所述各个且尤其不同颜色或不同偏振的照明样式以不同方式经过该光学系统,由此产生不同的采集信息(如图像记录)。由此可以产生不同的照片,其中,检测装置(如相机)为此可以产生两个以上的颜色或就编码或偏振而言分隔开的照片。来自不同编码且尤其是颜色区的照片此时可保持分开。
为了获得偏振编码和/或颜色编码,尤其为了获得带有照明样式的偏振编码和/或颜色编码的结构化照明,照明机构例如可设置在照明光光路(照明路径)中。例如该照明机构设计成滤色片。该照明机构或许也可以在照明路径或检测路径内被引入到样本的傅里叶平面中。例如宽带照明光照亮样本,随后才因被样本改变而在检测路径中被颜色编码。照明机构也可以设计成偏振滤光器。
获得颜色编码的结构化(即尤其空间结构化)和颜色的照明的一个可选可能方式是:使用莱茵伯格照明机构或多色立体布置光源(如LED或LED阵列)。或许,光源因此也可以具有该照明机构。对于偏振编码的结构化(即尤其空间结构化)的偏振化照明,例如可以将线性偏振滤光器的扇形布置用作照明机构。其它的可能方式是使用沃拉斯顿棱镜或径向偏振的或方位角偏振的照明机构。
例如,为了提供采集信息,(如宽带和/或未偏振的)照明光透过照明机构,由此被编码(被偏振或滤色)且随后照亮样本,随后才因被样本改变而由检测装置记录下来。
也可选地可行的是,采集信息的不同的采集参数化专属于通过同时和/或并行地以不同照明颜色(如光色或波长)和/或偏振照明来获得采集信息,在此执行至少一个与颜色相关和/或与偏振相关的、尤其是两维或多维的样本记录,以便与颜色和/或偏振相关地提供至少两个采集信息。样本记录例如可以是多维的,为了快速可靠采集而同时和/或并行地通过至少一个滤光器如偏振滤光器和/或滤色片在一个检测装置中产生多个记录。此时,所述记录可以是不同滤光的照明光的采集信息。
另外,在本发明范围内可选地可行的是,为了所述提供,至少一个样本记录通过采集系统的检测装置(尤其是相机)借助偏振滤光和/或滤色来执行,以便从样本记录中获得用于不同的偏振和/或照明颜色的不同的采集信息,其中,优选该检测装置为了偏振滤光而具有至少一个偏振滤光器和/或为了滤色而具有滤色片且尤其是滤色图案和/或RGB滤色图案和/或拜耳滤色片。偏振滤光器和/或滤色片例如可以设置在传感器元件如光电二极管等的阵列上。在此,至少一个滤色片尤其也可以涉及在一个滤色图案中的多次滤色,或许也是不可见光(在不可见光谱内)。这样可以实现与检测装置滤光相关的采集信息的简单可靠之提供。
还可行的是,检测装置具有偏振敏感(偏振灵敏型)传感器,尤其用来记录(被样本改变的)照明光和/或采集(提供)该采集信息。被样本改变的照明光例如因透射样本而改变,例如在空间上被不同削弱。这种改变可以通过传感器来测知。为了还相互区分开在先例如通过照明机构被偏振的不同偏振的照明光,例如偏振敏感传感器可以相互分开和/或可区分地测知不同偏振的照明光。为此,可设有例如偏振滤光器,其分别配属于至少一个像素。该传感器例如可以是CMOS或CCD传感器,其附加地具有至少一个偏振滤光器。至少一个偏振滤光器例如直接固定在传感器芯片上。例如偏振滤光器设置在传感器的至少一个光电二极管与传感器的至少一个微透镜之间,以过滤穿过微透镜的光,随后经过滤光地转送至光电二极管。这样,光电二极管可以仅测知一定偏振的光,该光随后可被用于产生针对该偏振的一定的采集信息。对于其他偏振,其它的偏振滤光器和采集信息可相应地被用在其它的光电二极管中。
还可选地规定,为了提供而执行如下步骤:
-确定样本区域的第一照片,优选以第一照明颜色和/或偏振,以获得根据第一采集参数化的第一采集信息,
-确定样本的至少部分相同区域的至少一个第二照片,优选以不同于第一照明颜色和/或偏振的至少一个第二照明颜色和/或偏振,以获得根据至少一个第二采集参数化的至少一个第二采集信息,
在此,照片之确定优选并行地根据编码的和/或颜色的多路复用进行。通过这种方式例如也可行的是:采用例如呈照明偏振的空间改变形式的空间编码。这可以具有与也与颜色编码的多路复用相关地描述的相同优点。尤其是,可以通过这种方式同时地和/或并行地获得多个编码的样本采集信息,从而针对若干不同编码不需要样本的依次照明。
可选地可能可行的是,前述步骤对于其它(如第三、第四诸如此类)照片和采集信息被重复,其中,或许全部的采集信息例如作为唯一数据组以应用数据形式存在。所述步骤例如可以同时和/或并行或依次进行。
还可以在本发明范围内规定,分析是通过分析装置执行的,该分析装置具有转换信息,其中,为了分析装置的学习(即尤其是训练)而执行如下步骤:
-由一个或其它光学采集系统执行样本区域的采集,以按如下方式获得关于样本的至少两个不同学习信息,即,为了学习信息,改变至少一个采集参数尤其是照明参数,
-依据学习信息确定用于分析装置的应用数据,
-通过这个或其它光学采集系统执行相同的样本区域的参考采集,和/或(自动化)处理,以便确定用于分析装置的真实数据(如作为预定解决方案或结果信息的设定条件),
-该分析装置在使用应用数据和真实数据情况下进行学习,以确定转换信息。
可行的是,为了参考采集而执行荧光显微术和/或为了确定真实数据而执行参考采集记录的分割。例如该采集系统且尤其是显微镜可以被用于获得真实数据。还可能可行的是,该学习信息在内容上对应于采集信息,因此该学习方法适配于呈采集信息形式的信息。另外,该学习方法也可以利用自学方法以执行依据样本专属特征的学习。
可以想到的是,真实数据从依据参考采集所确定的细胞学或组织学分析结果中确定。替代地或附加地可以想到,真实数据也可以计算确定,或许没有执行参考采集。
还可选地规定,样本是染色的对象样本或细胞样本,其中,所述分析为了关于该样本的采集信息而执行所述对象和/或样本细胞的检测、尤其是分割或定位。换言之,颜色采集通过所述分析进行。所述分析也可按针对样本颜色敏感的方式进行。
此外,在本发明方法中可能的是,真实数据通过自动化采集、尤其是自动化执行参考采集来确定。在此情况下,或许也可以进行机动样本定位,例如借助机动化的在三个正交方向上可移动的样本台。样本定位此时例如由计算机程序自动控制地进行。这样可发生快速可靠的真实数据确定。因为这种方法无需通常所需的人工注解就行,故它被描述/理解为自学习。
另外,至少两个不同采集信息的提供也可以如下进行:样本的一个或多个平面得以记录。在此情况下,或许也可以进行自动化的样本定位,例如借助机动化的且在三个正交方向上可移动的样本台。例如可以进行样本和/或采集系统物镜的步进移动,以采集各个样本平面(如在样本的z方向上,尤其在样本的照明光传播方向上)。
有利地规定,本发明的方法设计成是样本专属的,从而该方法仅适用于某种样本的分析运用、尤其是分析(例如用于血液涂片)。通过这种方式,可以有目的地利用样本专属的光学性能。换言之,该方法可以匹配于一种具体样本类型,或针对某种样本(样本类型)来训练。
此外,在本发明方法中可选可能的是,用于训练分析装置的真实数据和/或结果信息涉及到细胞或细胞团随时间发展的预测。为此可行的是,基于样本的暂时发展或初始形貌来预测这种发展。例如为此可以首先从规定时刻起在时间上观察尤其呈细胞样本形式的样本。所述观察例如可以通过在时间上重复地提供采集信息来进行。换言之,原则上在本发明方法中也可以想到,在不同的时刻采集所述采集信息,并且它们在所述时刻方面区分开。借助所述分析,于是或许可以确定该预测。根据所述方法或这种方法(作为学习信息的采集信息的提供和/或所述分析),可以在先或许确定该真实数据。为了分析装置的学习,例如在时间上先后重复地获取并由此提供采集信息,以确定用于分析装置的应用数据。在晚些时刻,于是可以对其中也已确定采集信息的相同样本执行参考采集。接着可通过该参考采集来确定真实数据,其可被用于分析装置的学习和转换信息的确定。由此确定的转换信息接着也可以被用于对同一类型的其它样本的预测。
当用于培训分析装置的真实数据和/或结果信息是如下样本信息之一时,可以在本发明范围内获得另一优点:
-对象和/或样本细胞的检测,尤其是分割或定位,尤其是分割掩模,
-估计像素或对象或样本的样本区域的分类或回归,
-细胞学或组织学分析结果(如对于真实数据,其是借助经验证的样本分析法如高内涵细胞成像分析而获得的),
-相位信息(如对于真实数据,其来自互补、经验证的相位测量法),
-关于样本空间结构的三维信息(如真实数据是z层叠照片),
-样本的至少一个荧光特性(如真实数据是样本的至少一个荧光图像),
-样本记录的扩展景深区(如真实数据是具有样本扩展景深区的相应图像)。
这样可以实现本发明方法的多种多样的灵活使用。
在另一可能方式中可以规定,尤其在提供时,为了采集信息的编码区分,优选通过照明机构在采集系统中进行照明光的改变,优选照明光的照明颜色和/或照明偏振的空间变化,最好对应于照明光的不同照明结构;和/或该转换信息对所述区分而言是专属的。因此可以想到多路复用,此时可以同时执行照明以获得多个采集信息。
本发明主题也是一种光学采集系统。在此规定该采集系统有以下部件:
-用于采集至少两个不同样本采集信息的检测装置,所述采集信息在采集时至少在照明参数方面尤其按编码方式区分开,
-尤其带有至少一个处理器的分析装置如计算机,其适于结合机器学习的转换信息从采集信息中确定关于样本的结果信息。
这样,本发明的光学采集系统带来了与关于本发明方法所明确描述的一样的优点。另外,该光学采集系统可能适于执行本发明方法。
此外,该分析装置可以具有输入装置如触屏或至少一个按键,以便例如启动分析。在分析装置中还可以设有存储器单元,用于例如以至少一个计算机程序形式非易失地存储至少该分析装置,和/或用于至少暂存该采集信息。分析装置的一个或多个处理器可能适用于执行计算机程序如该分析装置,以便执行本发明方法的至少一个方法步骤。
可以进一步有利地规定,设有照明机构,其为了至少两个不同的照明参数设定具有不同偏振的和/或至少双色的空间结构,优选具有至少两个(尤其是在垂直于照明装置的光传播方向的平面内)相邻布置的偏振滤光器和/或滤色片,以提供偏振相关地和/或颜色相关地各照明样式。照明机构例如设计用于与照明机构位置相关地进行照明光编码,以简单改变照明参数。
下述情况下在本发明范围内可获得另一优点:照明机构被设计成聚光器插入件,为了过滤照明光被装入光学采集系统的聚光器单元中以提供照明光编码尤其是偏振编码和/或颜色编码。这样,该照明光可以通过简单扩展采集系统被编码且被空间结构化。可能有利的是,采用如下采集系统,其设计成至少主要与所用分析无关。在此,仅照明机构的使用和/或检测装置和/或分析装置的调整此时或许可以足以利用根据本发明方法之分析。这带来了技术成本的显著降低。
在本发明中可以有利地规定,该检测装置具有至少一个相机传感器、优选是RGB相机传感器(RGB在此代表红绿蓝,例如以可能的相机传感器滤色片形式),和/或设计成偏振敏感型相机,以便优选执行照明光解码。可以想到的是,通过该检测装置在采集系统中进行透射模式的采集,以提供采集信息。替代地或附加地,该检测装置可以由此设计用于照明光解码,即,该检测装置具有解码机构如滤色片或偏振滤光器。
在本发明范围内也可能有利的是,采集系统的数值孔径(如在聚光器侧)被增大,尤其通过使用物镜。尤其在稀薄样本的情况下,这有以下优点,可从样本中提取更多信息并且更高的信息密度可供使用。
另外在本发明范围内可以规定,该光学采集系统被设计成用于透光显微术的显微系统,尤其用于以透射模式执行样本分析。
本发明的主题也是一种计算机程序且尤其是计算机程序产品,其所包含的指令在计算机运行该计算机程序时促使它至少部分执行本发明方法的步骤。为此,本发明的计算机程序带来了与关于本发明方法和/或本发明采集系统所明确描述的一样的优点。另外,该计算机程序可能适于通过本发明采集系统的控制执行本发明方法的至少一个方法步骤。该计算机程序此时能可选地也设计成可下载的数字信号。
本发明的主题也是一种计算机可读介质,其上可以存储本发明的计算机程序。为此,本发明的计算机可读介质带来了与关于本发明的计算机程序所明确描述的一样的优点。计算机可读介质例如被设计成(长期的或非暂时的)数据存储器,如闪存器或硬盘等。计算机可读介质此时可以可选地也设计成可下载的数字信号。
有利地,计算机程序和/或计算机程序产品和/或计算机可读介质可以具有分析装置,其所包含的指令造成本发明的光学采集系统执行本发明方法的至少其中一个方法步骤。
附图说明
本发明的其它优点、特征和细节来自以下参照附图对本发明实施例详加描述的说明。在此,在权利要求书和说明书中提到的特征可能分别本身单独地或以任何组合方式对于本发明是重要的,其中:
图1示出本发明的采集系统、尤其是用于未染色细胞样本的显微镜检装置的示意图,
图2示出照明机构的示意图,
图3示出用于显示本发明方法的示意图,
图4示出用于显示本发明方法的另一示意图,
图5示出分析装置部分的可选实施方式。
具体实施方式
在以下的图中,对于即便不同的实施例的相同的技术特征也采用了相同的附图标记。
图1示意性示出本发明的光学采集系统1,其具有检测装置40和分析装置50。在此,光学采集系统1可以(或许除了分析装置50外)被设计成用于透光显微术的显微镜。例如可以采用宽带(例如白)光源30作为照明机构(即用于产生照明光)。为了在采集时提供编码不同的照明参数,在采集系统1中可以设有照明机构10。照明机构10例如被装入采集系统1中的显微镜聚光器中,以便在照明光照亮样本2之前,对所述照明光进行编码和/或空间改变。通过这种方式,照明机构10能提供各种照明样式,例如每种编码对应一种照明样式。例如照明机构10可以设计用于在照明光的不同位置添加红、绿、蓝颜色信息。借助该编码的照明光,于是例如可以按照常见的透光模式来照亮样本2并且通过光学系统(如成像光学工具20)在检测装置40尤其相机40上产生放大图像。检测装置40例如是带有滤色传感器尤其是拜耳传感器的彩色相机,以便从图像中同时拍摄下在红、绿、蓝光谱范围内的三幅独立图像。替代地或附加地,相机可以具有至少一个偏振滤光器,以依据所述成像拍摄下用于不同偏振的独立图像。独立图像在此例如对应于采集信息。可选地,相机40可以设计成偏振相机(偏振图像传感器)或偏振敏感行列传感器。也可以想到多个相机40作为检测装置40,例如分别具有偏振分光器或偏振滤光器。
还可以规定,每个不同编码的照明光不同地且彼此无关地经过光学采集系统,从而通过与编码相关的采集信息记录来提供不同的样本信息。独立图像和/或采集信息110接着可以从检测装置40被传输至分析装置50,以便例如借助处理器51和数据存储器52执行采集信息110的分析。为此,数据存储器52例如具有分析装置60如计算机程序。
图2示出照明机构10的示例性配置。照明机构10例如设计成空间结构化的滤光器、尤其是偏振滤光器和/或滤色片。此外,照明机构10可以是透射滤光器,它例如能被装入透射显微镜的显微镜聚光器中。当照明机构10具有至少一个滤光片时,其可以针对颜色编码产生合适的宽带(白)照明光调整。当编码例如通过不同的偏振产生时,可以相应地改变照明光偏振以用于编码。为此,规定了例如照明机构10的不同的分段11、12、13以便通过分段产生不同的编码如滤色或偏振滤光。例如第一分段11可以设计为红色滤色片,第二分段12可以设计为绿色滤色片,第三分段13可以设计成蓝色滤色片。在此,照明机构10被装入采集系统1中,使得照明光(如来自聚光器和/或光源30)抵达如图2的俯视图所示的表面,在空间上通过分段11、12、13被改变,接着在根据图2的背侧面又射出。
图3示意性示出了分析装置60的学习过程,其可以是本发明方法的可选部分。首先,在此情况下,通过这个或其它光学采集系统1执行样本2区域的采集101,以便按如下方式获得关于样本的至少两个不同的学习信息110,即,对于学习信息110,至少一个采集参数尤其是照明参数改变。为了采集参数的改变,例如通过照明机构10产生若干照明样式,尤其通过空间结构化的照明光滤光。学习信息110例如被设计成数据组,其例如可以对应于采集信息110。接着,可以从学习信息110产生用于分析装置60的应用数据。接着可执行参考采集102或参考分析102。优选地,参考采集102在与采集101相同的样本2区域上进行。通过这种方式,可以通过参照处理111且尤其是分割111来确定一个真实数据112。因此,真实数据例如可以是分割掩模,其遮掩样本2的样本部位的相关区域。相关样本区域的自动化标记例如可以如此进行,即,在同一样本部位上执行荧光拍摄,在此检测发现该样本的相关荧光标记,接着在该荧光图像中通过数字图像处理完成分割。在分析装置60的随后的学习130中,可以在采用应用数据和真实数据112的情况下确定一个转换信息200。换言之,可以结合学习信息和分割掩模来执行分析装置60如神经网络的训练。分析装置60在此或许可以自动知晓要识别样本部位的相关区域。学习130的结果可以相应地是转换信息200,换言之,作为经过训练的神经网络等。它还可以具有模型,用于估计学习信息101中的相关区域的位置和/或轮廓。
图4示出了:基于如此机器学习的转换信息,可自动确定结果信息如在一个样本部位上的相关区域的估计。在此情况下,可以首先提供且尤其是采集101关于样本2的至少两个不同的采集信息110,尤其是通过采集系统1。接着,可以尤其通过分析装置60依据机器学习的转换信息200进行采集信息110的分析120,以确定关于样本2的结果信息140。此时可行的是,针对采集信息的不同采集参数化来学习转换信息,在此,采集信息110至少就采集系统的照明参数而言编码地、尤其是偏振编码地和/或颜色编码地相互区分。尤其是,转换信息200和/或分析装置60在此可以是转换信息200或根据图3所述的学习方法的分析装置60。通过使用编码照明,采集信息110可以包含明显更多的关于样本2的信息,其接着可被分析装置60(如神经网络)用来例如以很高精度获得相关样本区域的估计。分析装置60在此可以与光学采集系统1的具体物理模型无关地执行该信息从采集信息110至结果信息140的转换,因而相对于光学采集系统1的未知性能和与可能现有的理想化物理模型的偏差非常稳健。此时可行的是,为了执行本发明方法,绝不需要和/或利用对光学采集系统1的了解。也可能可行的是,结果信息140且尤其是样本2的相关样本区域的估计从样本2的唯一照片中来确定。该照片例如具有许多不同的采集信息110,即根据采集系统1的不同照明参数和/或不同编码的相同样本部位的并行获得的照片。相关样本区域尤其是细胞和/或细胞核的定位和/或细胞分割和/或关于样本2对象的空间信息。
以下说明结合图5描述了本发明的单纯可选的其它实施例和改进方案,因此应不限制本发明教导地来理解。
分析装置60即尤其神经网络可设计成卷积神经网络(CNN或卷积神经网络),优选所谓的“全卷积网络”,就像在Long,J.、Shelhamer,E.、Darrell,T.(2014)的“Fullyconvolutional networks for semantic segmentation”(arXiv:1411.4038,参考文献1)所描述的那样,优选是U网络,就像在Ronneberger、Olaf、Fischer、Philipp、Brox、Thomas(2015)的“U-Net:Convolutional Networks for Biomedical Image Segmentation”(MICCAI 2015:Medical Image Computing and Computer-Assisted Intervention-MICCAI,2015,第234-241页,亦见arXiv:1505.04597,参考文献2)中描述的那样。本发明中的网络结构和/或训练和/或网络应用的一个可能实施方式因此可基本对应于前述文献或与此相关地由作者进行的完成方式公开(尤其亦见https://lmb.informatik.uni-freiburg.de/people/ronneber/u-net/)。换言之,根据本发明,可至少基本不变地使用已知的神经网络,因而训练数据组(即学习信息或应用数据)的创建和/或借助训练数据组的神经网络训练(即学习130)和/或以常见方式进行。关于本发明的解决方案,本说明书因此公开这样的步骤,其不同于机器学习的已知训练和应用步骤。图5示出了根据U网络的可能网络结构。
以下,应该指出其它可能的网络结构和可能的应用。例如可以采用U网络(尤其是用于语义分割应用,见Sevastopolsky的“Optic Disc and Cup Segmentation Methodsfor Glaucoma Detection with Modification of U-Net Convolutional NeuralNetwork”https://arxiv.org/abs/1704.00979),为了图像分类,例如采用Szegedy等人的“Rethinking the Inception Architecture for Computer Vision”(https://arxiv.org/abs/1512.00567)所述的网络结构(也见Gulshan等人的“Development andValidation of a Deep Learning Algorithm for Detection of Diabetic Retinopathyin Retinal Fundus Photographs”(JAMA.2016;316(22):2402-2410.doi:10.1001/jama.2016.17216,https://jamanetwork.com/journals/jama/article-abstract/2588763),和Esteva等人的“Dermatologist-level classification of skin cancerwith deep neural networks”(自然卷542,第115-118页,2017.02.02,http://www.nature.com/nature/journal/v542/n7639/full/nature21056.html),以及对于实例分割用网络结构,Ronneberger的“U-Net:Convolutional Networks for BiomedicalImage Segmentation”(https://rd.springer.com/chapter/10.1007/978-3-319-24574-4_28),He等人的“Mask R-CNN”(https://arxiv.org/abs/1703.06870),Bai等人的“DeepWatershed Transform for Instance Segmentation”(https://arxiv.org/abs/1611.08303)。
用于网络结构的其它可能性可在以下各项找到:Redmon等人的“YOLOv3:AnIncremental Improvement”(https://arxiv.org/abs/1804.02767)(尤其用于检测)和(尤其用于图像回归),Ounkomol等人的“Label-free prediction of three-dimensionalfluorescence images from transmitted-light microscopy”(https://europepmc.org/articles/pmc6212323),Christiansen等人的“In Silico Labeling:PredictingFluorescent Labels in Unlabeled Images”(https://www.ncbi.nlm.nih.gov/pmc/articles/PMC6309178/)以及Weigert等人的“Content-aware image restoration:pushing the limits of fluorescence microscopy”(https://www.nature.com/articles/s41592-018-0216-7)。另外,对于可能的网络结构,应该参见Jing等人的“On theAutomatic Generation of Medical Imaging Reports”(https://arxiv.org/abs/1711.08195,用于文本预测)和Veta等人的“Cutting out the middleman:measuringnuclear area in histopathology slides without segmentation”(https://arxiv.org/abs/1606.06127,用于多像素回归)。
以下将更详细地描述用于神经网络的可选的网络架构。在此被证明特别合适的是CNN。它可能适合处理呈矩阵形式的输入和进而也以矩阵形式示出的图像。各图像例如可以作为图像数据由多个像素限定。在各图像宽度上的像素数量例如可以在8至2048、优选是16至1024、最好是32至512范围内。在高度上的像素数量也可以在上述范围内,并且还可以设有一个或多个颜色通道。输入层(Input Layer)的神经元数量可以对应于图像像素的数量,其作为输入被转交至网络。网络神经元的总数还可以来自分别作为输入被用于网络的其它层的像素数量。具体说,该网络可以具有一个或多个卷积层(简称过滤层),其后可以跟随着一个池化层(也称为聚合层)。卷积层和池化层在此也可以交替重复布置。随后,可选地可以接上一个全连接层,但也可以放弃它(就像在全卷积网络且尤其是U网络中那样)。对于每个卷积层,可分别设有一个或多个过滤内核(卷积矩阵),分别具有规定的矩阵大小(像素大小)如2x2或3x3。
每个神经元的活动可以通过一个独立的卷积来计算,做法是例如过滤内核被逐步经过所述输入。在此,过滤内核的内部产物可用当前在下方的图像部段来计算。过滤内核的使用总是导致一个结果矩阵(或也称为“特征通道”或“特征映射”)。结果矩阵大小可以与过滤器尺寸(内核尺寸)、或许所用的填充和所用步幅相关。所述参数可以也依据期望参数值来确定。结果矩阵(或特征通道)的数量可以来自过滤内核的数量或与之对应。结果矩阵的大小可以针对下一层也借助池化层被改变(所谓的上采样或下采样)。在最大池化层情况下,采用例如结果矩阵的最大值,抛弃所有其它值。最大池化很广阔,其中例如从卷积层神经元的每个2×2平方仅保持最活跃(因而最大)神经元的活性用于进一步的计算步骤。过滤内核数量也可以变化。每一层的结果也可以通过一个激活函数如ReLu(修正线性单元)函数被激活。ReLU函数可以被限定为如下函数,在此,每个小于零的值变为零,大于零的其它值保持不变。
根据另一个具体例子,采集信息如输入记录可以被用作输入,其分别设计成两维图像。在输入记录有多个颜色通道情况下,可以从输入记录中确定一个3D矩阵。根据第一卷积层的第一卷积可以被用到所述矩阵。在该步骤中所用的神经元数量可以对应于矩阵像素数量。
网络结构70的一个可选改进方案可以如图5所示且如下所述地构成。为了更好概览,以下所述的零部件仅部分带有附图标记。网络结构70可以具有收缩路径(contractingpath,见图5中的网络结构70的左半部)和扩展路径(expansive path,见图5中的网络结构70的右半部)。因为在扩展路径中有大量的特征通道71,故得到网络结构70的U形(见对比文献2)。收缩路径可以对应于CNN的典型架构。它可以首先包括重复使用两个3x3卷积72,尤其是未填充(未填)和/或带有64个过滤内核和/或各自跟随有一个激活函数如ReLu(修正线性单元,如f(x)=max(0,x),其中x为人工神经元输入值),接着是在随后的下采样步骤中的2x2最大池运算74。在图5中,指向右侧的箭头示出了卷积72、73,指向下的箭头示出了最大池74。每个卷积72、73除了最后卷积73外此时都能以3x3卷积72形式构成。所述过程接着可被重复,在这里,伴随随后的下采样步骤74分别加倍特征通道71的数量。此时用方块(有时用71标示)分别仅示出一个代表多个特征通道的特征通道71。因此,可以在每次下采样74后加倍该特征通道71(如先是用于前两个卷积的64个,随后是用于另外两个卷积的128个,接着是用于另外两个卷积的256个,接着是用于另外两个卷积的512个,最终是1024个)。接着,在扩展路径中可首先进行上采样(如通过初始2x2卷积75(上卷积)或通过内插)。上采样步骤75分别由向上箭头表示。接着,重新进行两个3x3卷积72,分别随后是激活函数或ReLU。此过程也可以被重复,在这里,对于每次上采样75可以将特征通道数量减半。总体上,网络23可以具有卷积层。随后,可以从最后两个结果矩阵中得到分割(或其它受训结果,即结果信息140)。在其它应用中可以想到也可设有超过两个的结果矩阵。图5示出了网络结构70的示意图,在此可以规定一些操作(如拷贝-裁剪),即便它们未被明确表明。
此外,根据可选的变型实施方式而证明了,如果采用相对大量的训练数据组的话,则具体的网络架构是次要的。换言之,网络结构是可换的,并且如果使用大量数据组(即图像),则无需进一步调整。在此情况下也可以放弃增强。训练也又可以通过常见的方式进行。例如为此采用反向传播法。具体说,训练例如可以就像也在参考2中描述的那样进行。作为输入,此时可以利用拍摄图像和对应分割图。在此可以采用优化方法如梯度法(随机梯度下降法)。惯性项(动量)此时可以被选择高值(如0.99)。能量函数例如可以通过依据像素的soft-max加权经由特征图进行。作为损耗函数,考虑交叉熵函数。通过训练,可以确定用于过滤内核的权重并且由转换信息200代表。
可选地可与本发明连用的另一损耗函数,在Geert Litjens等人的文献(2017)“Asurvey on deep learning in medical image analysis”(Medical Image Analysis,卷42,2017,第60-88页,出版号:1361-8415,https://doi.org/10.1016/j.media.2017.07.05,arXiv:1702.05747)中有所描述(参考文献3)。参考文献3中提到的训练策略也可以被用于本发明。作为网络输入,例如可以采用RGB图像,从而作为输入采用图像的各红、绿、蓝分量。在参考文献3中的增加且尤其是回转增加或许可被放弃,如果作为输入采用的不同图像的数量足够多的话(如至少100或至少500或至少1000)。因此,原则上可以放弃每个人为增加,只要作为输入创建了较大数据量的应用数据。在参考文献2中可以找到对其它可能网络架构的概览,其可被用于真实数据的其它输入类型(如用于分类、3D分割等类似手段)。
根据学习130的另一个可选设计,根据第一训练步骤,可以提供至少一个细胞样本。细胞样本可被荧光标记并且尤其具有通过DAPI(4′,6-二脒基-2-苯基吲哚)标记的细胞核。根据第二训练步骤,在DAPI通道内的细胞样本的许多图像且优选是荧光图像(通过作为采集系统的荧光显微镜)在采用白色光源作为带有照明机构10的光源情况下例如以3重空间颜色编码滤光器的形式可用于采集101学习信息并且作为在DAPI通道内的荧光图像逐步拍摄相同位置用于参考采集102。换言之,对于学习信息的采集101,不同于参考采集102地使用空间和颜色编码。为此,学习信息专属于具有不同采集参数化的采集信息110。在此情况下,照明机构10可以设置在显微聚光器中。根据第三训练步骤,可以进行参考采集102的在DAPI中拍摄的荧光图像的分割以产生真实数据112。这可以通过人工方式或替代地以自动方式通过通常适用于此的算法进行。在最简单情况下,例如可以将阈值用于图像中的一些像素,以便作为细胞核一部分地识别这种超出阈值的像素。在第四训练步骤中可以进行分析装置60的借助真实数据112和学习信息的学习。学习信息可以为此以应用数据形式被数字存储。分析装置60在此情况下可以包含神经网络,例如根据前述实施方式。学习130的结果可以是转换信息200,换言之,作为经训练的神经网络,尤其是作为分类器,具有用于过滤内核等的权重。通过这种方式,转换信息200可被学习以用于采集信息110的不同的采集参数化,在此该采集信息110至少在采集系统1的照明参数方面被相互编码、尤其偏振编码和/或颜色编码地相互区分。接着可以采用通过这种方式训练的分析装置60。
例如如此进行经过训练的分析装置的使用,即,另一样本或样本部位基于在第二训练步骤中描述的方法唯一地利用空间颜色(或偏振)编码的照明在变换中被采集,以获得相应空间和颜色编码(或偏振编码)地照亮的采集信息110。接着,分析120(或推断)通过用于确定结果信息140的所学到的分析装置60(如模型或网络)进行,例如通过估计细胞核分割掩模。这样,结果信息140可以是细胞核分割。训练和/或应用的分割也可以设计成2D或3D分割。另一个应用可能性是,代替分割地执行图像或图像区的分类或对象定位(如为了计数)或对象尤其是样本细胞的其它检测。此外,可以通过分割例如在胞室区域内测量荧光信号。
另一种可能应用是像素或对象或样本的样本区的分类或回归的估计。例如可以进行一些像素的分类或整个细胞或组织区的分类或一些像素例如荧光特性或相位信息的回归或整个细胞或组织区的回归。细胞学或组织学分析结果的提供也是一项潜在应用。还可以确定关于样本空间结构(例如用于不同散焦平面的z层叠)或样本的至少一个荧光特性或样本记录的扩展景深区(如根据扩展焦面像)的例如相位信息或三维信息。可以针对学习130规定用于真实数据112的相应分类或其它应用结果(如分割结果或检测结果)。
用于确定真实数据12的一个可选的可能性可以是使用荧光图像(来自远场或共焦拍摄)或来自数字全息方法的相位图像或用于分类细胞或荧光寿命成像系统图像或信息的拉曼光谱,其分别可以通过参考采集来确定。
以上对实施方式的说明仅在例子范围内描述了本发明。显然,实施方式的一些特征只要在技术上有意义就可相互自由组合而没有脱离本发明范围。
附图标记列表
1 采集系统;
2 样本;
10 照明机构,空间结构化的滤色片;
11 第一段,第一颜色区;
12 第二段,第二颜色区;
13 第三段,第三颜色区;
20 成像光学工具;
30 光源;
40 检测装置,相机;
50 分析装置,计算机;
51 处理器;
52 数据存储器;
60 分析装置;
70 网络结构;
71 特征通道,特征图;
72 卷积3x3,ReLu;
73 卷积1x1;
74 下采样,最大池2x2;
75 上卷积2x2;
101 采集;
102 参考采集;
110 采集信息,颜色图像;
111 参考处理,分割;
112 真实数据;
120 分析,机器学习界面;
130 学习,机器学习训练;
140 结果信息;
200 转换信息,经训练的模型。
Claims (15)
1.一种用于样本(2)尤其是至少一个未染色的对象样本或细胞样本(2)在光学采集系统(1)中的显微镜分析(120)的方法,在此执行如下步骤:
-通过该采集系统(1)提供关于样本(2)的至少两个不同的采集信息(110),
-尤其通过分析装置(60)依据机器学习的转换信息(200)执行该采集信息(110)的分析(120),以确定关于样本(2)的结果信息(140),
其中,该转换信息(200)针对该采集信息(110)的不同采集参数化进行学习,在该采集参数化中该采集信息(110)至少在该采集系统(1)的照明参数方面按编码、尤其偏振编码和/或颜色编码的方式相互区分,
其中,为所述提供而规定以下步骤:
-通过该光学采集系统(1)执行至少一次样本(2)采集(101),以便通过改变照明参数来获得不同的采集信息(110),
其中,所述改变是针对不同采集信息(110)作为空间照明结构和照明颜色之变化和/或空间照明结构和照明偏振之变化来进行的。
2.根据权利要求1的方法,其特征是,所述改变是针对不同采集信息(110)作为空间照明结构和/或照明颜色和/或照明偏振之变化来进行的,其中,为此照明光被空间结构化和/或至少是两种颜色的以便颜色编码和/或是不同偏振的以偏振编码,从而产生尤其与颜色相关和/或与偏振相关地各种照明样式,最好这些照明样式专属于所述采集信息(110)。
3.根据权利要求1或2的方法,其特征是,所述分析(120)由分析装置(60)执行,该分析装置(60)设计成基于机器学习和/或深度学习和/或人工智能的计算机程序,优选为人工神经网络。
4.根据前述权利要求之一的方法,其特征是,所述采集信息(11)的采集参数化如此相互区分,即,在所述采集信息(110)的采集(101)中,所述采集系统(1)的尤其是宽带的照明光对于不同的所述采集信息(110)具有不同的空间和/或编码的调整,优选通过所述照明光的空间结构化和/或颜色编码和/或偏振。
5.根据前述权利要求之一的方法,其特征是,所述采集信息(110)的不同的采集参数化专属于在采集(101)时借助所述采集系统(1)的照明机构(10)调整照明光,其中,该照明机构(10)具有编码的、优选不同偏振化和/或至少双色的空间结构(11,12,13),以便与编码相关地、优选与颜色相关地和/或颜色编码地和/或与偏振相关地和/或偏振编码地提供各种照明样式用于样本(2),其中,尤其对于不同的照明样式提供不同的采集信息(110)。
6.根据前述权利要求之一的方法,其特征是,所述采集信息(110)的不同的采集参数化专属于所述采集信息(110)的采集(101)通过同时以各种照明颜色和/或偏振的照明来进行,其中,进行至少一个与颜色相关和/或与偏振相关的尤其两维或多维的样本记录,以与颜色相关地和/或与偏振相关地提供至少两个采集信息(110)。
7.根据前述权利要求之一的方法,其特征是,为了所述提供,至少一个样本记录通过所述采集系统(1)的检测装置(40)尤其是照相机(40)借助偏振滤光和/或滤色来进行,以从样本记录中获得不同的采集信息(110)用于不同的偏振和/或照明颜色,其中,优选该检测装置(40)为了偏振滤光具有至少一个偏振滤光器和/或为了滤色具有滤色图案。
8.根据前述权利要求之一的方法,其特征是,为了提供,执行如下步骤:
-确定该样本(2)的一个区域的第一记录,优选以第一照明颜色和/或偏振,以获得根据第一采集参数化的第一采集信息(110),
-确定该样本(2)的同一区域的至少一个第二记录,优选以不同于第一照明颜色和/或偏振的至少一个第二照明颜色和/或偏振,以获得根据至少一个第二采集参数化的至少一个第二采集信息(110)。
9.根据前述权利要求之一的方法,其特征是,所述分析(120)由分析装置(60)执行,该分析装置(60)具有转换信息(200),其中,为了该分析装置(60)的学习(130)而执行如下步骤:
-通过这个或另一个光学采集系统(1)执行该样本(2)的一个区域的采集(101),以便按如下方式获得至少两个不同的关于样本(2)的学习信息,即,针对所述学习信息,改变至少一个采集参数尤其是照明参数,
-依据所述学习信息,确定用于该分析装置(60)的应用数据,
-通过所述这个或另一个光学采集系统(1)执行该样本(2)的同一区域的参考采集(102),以确定用于该分析装置(60)的真实数据(112),
-在使用应用数据和真实数据(112)的情况下,进行分析装置(60)的学习(130),以确定所述转换信息(200)。
10.根据前述权利要求之一的方法,其特征是,该结果信息(140)和/或用于分析装置(60)的学习(130)的真实数据(112)是以下关于样本(2)的信息之一:
-对象和/或样本(2)细胞的检测,尤其是分割(111)或定位,尤其是分割掩模,
-像素或对象或样本(2)的样本区域的分类或回归之估计,
-细胞学或组织学分析结果,
-相位信息,
-与样本(2)的空间结构相关的三维信息,
-样本(2)的至少一个荧光特性,
-样本记录的扩展的景深区。
11.一种光学采集系统(1),具有:
-检测装置(40),用于采集(101)至少两个不同的关于样本(2)的采集信息(110),所述采集信息(110)至少在采集时(101)的照明参数方面按编码方式区分,
-分析装置(50),其适于依据机器学习的转换信息(200)从采集信息(110)确定关于样本(2)的结果信息(140),
其中,设有照明机构(10),它为了照明参数的至少两个不同的设定而具有不同偏振化和/或至少双色的空间结构。
12.根据权利要求11的光学采集系统(1),其特征是,该照明机构(10)具有至少两个相邻设置的偏振滤光器和/或滤色片(110),以提供与偏振相关和/或与颜色相关地各异的照明样式;和/或
该照明机构(10)被设计成聚光器部件,且为了过滤照明光而被装入该光学采集系统(1)的聚光器单元中以提供照明光的编码,尤其是偏振编码和/或颜色编码;和/或
该检测装置(40)具有至少一个相机传感器且最好是RGB相机传感器和/或被设计成偏振敏感型相机,以最好完成照明光的解码。
13.根据权利要求11或12的光学采集系统(1),其特征是,该光学采集系统(1)被设计成用于透光显微术的显微镜系统和/或被设计用于执行根据权利要求1至10之一的方法。
14.一种计算机程序,包括指令,所述指令在计算机(50)运行计算机程序执行时促使计算机执行根据权利要求1至10之一的方法的步骤。
15.一种计算机可读介质,其存储有根据权利要求14的计算机程序。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP18184823.5 | 2018-07-20 | ||
EP18184823.5A EP3598194A1 (de) | 2018-07-20 | 2018-07-20 | Verfahren zur mikroskopischen auswertung |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110806636A true CN110806636A (zh) | 2020-02-18 |
CN110806636B CN110806636B (zh) | 2024-01-23 |
Family
ID=63035867
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910657496.2A Active CN110806636B (zh) | 2018-07-20 | 2019-07-19 | 显微镜分析方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11199689B2 (zh) |
EP (2) | EP3598194A1 (zh) |
CN (1) | CN110806636B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111551117A (zh) * | 2020-04-29 | 2020-08-18 | 湖南国科智瞳科技有限公司 | 显微图像焦点漂移距离的测量方法及系统、计算机设备 |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3608701A1 (de) * | 2018-08-09 | 2020-02-12 | Olympus Soft Imaging Solutions GmbH | Verfahren zur bereitstellung wenigstens einer auswertemethode für proben |
US10929716B2 (en) * | 2018-09-12 | 2021-02-23 | Molecular Devices, Llc | System and method for label-free identification and classification of biological samples |
US11301980B2 (en) * | 2020-04-21 | 2022-04-12 | GM Global Technology Operations LLC | System and method to evaluate the integrity of spot welds |
EP3910399A1 (de) * | 2020-05-12 | 2021-11-17 | Siemens Healthcare Diagnostics, Inc. | Verfahren zur virtuellen annotation von zellen |
US11700361B2 (en) * | 2021-05-03 | 2023-07-11 | Microsoft Technology Licensing, Llc | Systems and methods for ground truth generation using single photon avalanche diodes |
EP4400894A1 (en) * | 2023-01-12 | 2024-07-17 | CellaVision AB | Construction of digital extended focus images |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1991020048A1 (en) * | 1990-06-21 | 1991-12-26 | Applied Electronic Vision, Inc. | Cellular analysis utilizing video processing and neural network |
US20020042785A1 (en) * | 1995-09-19 | 2002-04-11 | Ryan S. Raz | Neural network assisted multi-spectral segmentation system |
CN103210336A (zh) * | 2010-10-20 | 2013-07-17 | 株式会社尼康 | 显微镜系统 |
US20150185459A1 (en) * | 2013-12-03 | 2015-07-02 | Lloyd Douglas Clark | Electronically Variable Illumination Filter for Microscopy |
CN104765138A (zh) * | 2015-04-17 | 2015-07-08 | 南京理工大学 | 基于led阵列的多模式显微成像系统及其方法 |
DE102014108044A1 (de) * | 2014-06-06 | 2015-12-17 | Carl Zeiss Microscopy Gmbh | Lichtmikroskop mit einer rotierbaren Scheibe und Verfahren zum Mikroskopieren mit diesem |
CN107646115A (zh) * | 2015-05-28 | 2018-01-30 | 脱其泰有限责任公司 | 图像分析系统及相关方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102012007045B4 (de) * | 2012-04-05 | 2023-03-16 | Carl Zeiss Microscopy Gmbh | Vorrichtung und Verfahren zur Mikroskopie |
WO2017181044A1 (en) | 2016-04-15 | 2017-10-19 | The Regents Of The University Of California | Optical phase retrieval systems using color-multiplexed illumination |
KR102117050B1 (ko) * | 2017-09-08 | 2020-05-29 | 삼성전자주식회사 | 이미지 내 휴먼 분리를 위한 전자 장치 및 방법 |
-
2018
- 2018-07-20 EP EP18184823.5A patent/EP3598194A1/de not_active Withdrawn
-
2019
- 2019-07-12 EP EP19185963.6A patent/EP3598195A1/de active Pending
- 2019-07-19 CN CN201910657496.2A patent/CN110806636B/zh active Active
- 2019-07-19 US US16/516,806 patent/US11199689B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1991020048A1 (en) * | 1990-06-21 | 1991-12-26 | Applied Electronic Vision, Inc. | Cellular analysis utilizing video processing and neural network |
US20020042785A1 (en) * | 1995-09-19 | 2002-04-11 | Ryan S. Raz | Neural network assisted multi-spectral segmentation system |
CN103210336A (zh) * | 2010-10-20 | 2013-07-17 | 株式会社尼康 | 显微镜系统 |
US20150185459A1 (en) * | 2013-12-03 | 2015-07-02 | Lloyd Douglas Clark | Electronically Variable Illumination Filter for Microscopy |
DE102014108044A1 (de) * | 2014-06-06 | 2015-12-17 | Carl Zeiss Microscopy Gmbh | Lichtmikroskop mit einer rotierbaren Scheibe und Verfahren zum Mikroskopieren mit diesem |
CN104765138A (zh) * | 2015-04-17 | 2015-07-08 | 南京理工大学 | 基于led阵列的多模式显微成像系统及其方法 |
CN107646115A (zh) * | 2015-05-28 | 2018-01-30 | 脱其泰有限责任公司 | 图像分析系统及相关方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111551117A (zh) * | 2020-04-29 | 2020-08-18 | 湖南国科智瞳科技有限公司 | 显微图像焦点漂移距离的测量方法及系统、计算机设备 |
CN111551117B (zh) * | 2020-04-29 | 2021-07-20 | 湖南国科智瞳科技有限公司 | 显微图像焦点漂移距离的测量方法及系统、计算机设备 |
Also Published As
Publication number | Publication date |
---|---|
EP3598195A1 (de) | 2020-01-22 |
US11199689B2 (en) | 2021-12-14 |
EP3598194A1 (de) | 2020-01-22 |
US20200026057A1 (en) | 2020-01-23 |
CN110806636B (zh) | 2024-01-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110806636B (zh) | 显微镜分析方法 | |
JP7261414B2 (ja) | 分析方法 | |
US10944896B2 (en) | Single-frame autofocusing using multi-LED illumination | |
JP2023093434A (ja) | 予測タグ付けを有する画像を生成するための画像処理のためのシステム、デバイス、および方法 | |
US9568723B2 (en) | On-chip 4D lightfield microscope | |
KR102122068B1 (ko) | 이미지 분석 시스템 및 분석 방법 | |
CN109490223A (zh) | 一种基于可编程高光谱成像的目标探测识别系统及方法 | |
Murillo et al. | Comparison between CNN and Haar classifiers for surgical instrumentation classification | |
WO2022183078A1 (en) | Computational refocusing-assisted deep learning | |
CN115131503A (zh) | 一种虹膜三维识别的健康监测方法及其系统 | |
KR20220033940A (ko) | 기계학습을 이용한 미세플라스틱 분석 방법 | |
Yang et al. | A generalized deep learning-based framework for assistance to the human malaria diagnosis from microscopic images | |
EP4235255A2 (en) | An optical arrangement and method for imaging a sample | |
Rai Dastidar | Automated focus distance estimation for digital microscopy using deep convolutional neural networks | |
Wang et al. | SSTU: Swin-Spectral Transformer U-Net for hyperspectral whole slide image reconstruction | |
CN117269193A (zh) | 合成革表观质量智能化检测方法 | |
JP2022539281A (ja) | 検出対象物質のスペクトル情報を抽出する方法 | |
Lv et al. | Turn a silicon camera into an ingaas camera | |
CN114076637B (zh) | 高光谱获取方法及其系统、电子设备和编码宽光谱成像装置 | |
CN114972547A (zh) | 用于确定牙齿颜色的方法 | |
TWI831078B (zh) | 應用影像還原的光學系統及光學影像處理方法 | |
Moreschini et al. | Volumetric segmentation for integral microscopy with fourier plane recording | |
Raj et al. | A Pioneering and Streamlined Pixel Based Approach of Hyperspectral Image Classification for White Blood Cell Using Convolution Neural Network | |
Iyer | Machine vision assisted in situ ichthyoplankton imaging system | |
Lin et al. | Fast full resolution saliency detection based on incoherent imaging system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |