CN112236705A - 借助于光场相机对医学样本进行三维分析的分析仪 - Google Patents
借助于光场相机对医学样本进行三维分析的分析仪 Download PDFInfo
- Publication number
- CN112236705A CN112236705A CN201980036043.6A CN201980036043A CN112236705A CN 112236705 A CN112236705 A CN 112236705A CN 201980036043 A CN201980036043 A CN 201980036043A CN 112236705 A CN112236705 A CN 112236705A
- Authority
- CN
- China
- Prior art keywords
- cells
- microscope
- camera
- light field
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004141 dimensional analysis Methods 0.000 title description 2
- 230000003287 optical effect Effects 0.000 claims abstract description 41
- 238000003384 imaging method Methods 0.000 claims abstract description 23
- 210000004027 cell Anatomy 0.000 claims description 293
- 238000010186 staining Methods 0.000 claims description 89
- 238000000034 method Methods 0.000 claims description 68
- 210000004369 blood Anatomy 0.000 claims description 25
- 239000008280 blood Substances 0.000 claims description 25
- 238000002360 preparation method Methods 0.000 claims description 21
- 210000000601 blood cell Anatomy 0.000 claims description 19
- 238000005286 illumination Methods 0.000 claims description 15
- 230000008859 change Effects 0.000 claims description 7
- 238000010817 Wright-Giemsa staining Methods 0.000 claims description 3
- 238000002738 Giemsa staining Methods 0.000 claims description 2
- 239000000523 sample Substances 0.000 description 60
- 230000008569 process Effects 0.000 description 22
- 230000000875 corresponding effect Effects 0.000 description 21
- 230000008901 benefit Effects 0.000 description 15
- 238000005259 measurement Methods 0.000 description 15
- 230000010287 polarization Effects 0.000 description 13
- 238000004458 analytical method Methods 0.000 description 12
- 230000000694 effects Effects 0.000 description 10
- 238000011156 evaluation Methods 0.000 description 10
- 238000001514 detection method Methods 0.000 description 9
- 238000000926 separation method Methods 0.000 description 8
- 210000003743 erythrocyte Anatomy 0.000 description 6
- 230000011218 segmentation Effects 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 238000003745 diagnosis Methods 0.000 description 5
- 238000009826 distribution Methods 0.000 description 5
- 238000007654 immersion Methods 0.000 description 5
- 210000000265 leukocyte Anatomy 0.000 description 5
- 230000001575 pathological effect Effects 0.000 description 5
- 230000003595 spectral effect Effects 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 239000000126 substance Substances 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 239000003086 colorant Substances 0.000 description 4
- 230000007170 pathology Effects 0.000 description 4
- 230000005855 radiation Effects 0.000 description 4
- 210000001519 tissue Anatomy 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 3
- 230000006399 behavior Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 239000003814 drug Substances 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 238000000917 particle-image velocimetry Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 238000011144 upstream manufacturing Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 239000000969 carrier Substances 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 239000006059 cover glass Substances 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000009647 digital holographic microscopy Methods 0.000 description 2
- 239000000975 dye Substances 0.000 description 2
- 238000004043 dyeing Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003834 intracellular effect Effects 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000003921 oil Substances 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000000862 absorption spectrum Methods 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000011511 automated evaluation Methods 0.000 description 1
- 239000012472 biological sample Substances 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004820 blood count Methods 0.000 description 1
- 210000001124 body fluid Anatomy 0.000 description 1
- 239000010839 body fluid Substances 0.000 description 1
- 239000006285 cell suspension Substances 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000000701 chemical imaging Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000003748 differential diagnosis Methods 0.000 description 1
- 239000003085 diluting agent Substances 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 238000013467 fragmentation Methods 0.000 description 1
- 238000006062 fragmentation reaction Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000005470 impregnation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000005305 interferometry Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 208000032839 leukemia Diseases 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000002906 microbiologic effect Effects 0.000 description 1
- 244000005700 microbiome Species 0.000 description 1
- 239000013081 microcrystal Substances 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 238000000399 optical microscopy Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 210000003463 organelle Anatomy 0.000 description 1
- 239000013610 patient sample Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 210000001995 reticulocyte Anatomy 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000028327 secretion Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000010008 shearing Methods 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
- G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/361—Optical details, e.g. image relay to the camera or image sensor
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
- G02B30/10—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images using integral imaging methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/698—Matching; Classification
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/957—Light-field or plenoptic cameras or camera modules
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10052—Images from lightfield camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Optics & Photonics (AREA)
- Signal Processing (AREA)
- Analytical Chemistry (AREA)
- Chemical & Material Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Microscoopes, Condenser (AREA)
- Automatic Analysis And Handling Materials Therefor (AREA)
- Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)
Abstract
本发明涉及一种用于分析医学样本的分析仪。该分析仪包括光学显微镜,该光学显微镜用于对物体区域中的光场成像以对样本成像。该显微镜包括:用于照亮样本的光源;包括用于集中和聚焦来自被照亮的样本的光束的会聚透镜的物镜;以及用于记录光束的数字记录装置。在显微镜上设置用于采集来自物体区域的光场的光场相机,该光场在显微镜中成像。
Description
技术领域
本发明属于自动分析仪领域,并且涉及一种使用具有光场相机的显微镜装置来分析样本中的细胞的血液分析仪。
背景技术
所谓的“自动细胞计数器”用于细胞的自动分析越来越成功。其示例是Advia2120、Sysmex XE-2100、CellaVision DM96和CellaVision DM1200设备。这些自动化设备除了具有很高的吞吐量外,还提供一些优势,诸如高度的客观性(不会因观察者而异),消除了通常与人工计数(大细胞数的计数)相关的统计变化,并且确定了在人工计数的情况下将不可用的多个参数,以及如上所述,自动化设备是更有效且更具成本效益的处理方式。这些设备中的一些每小时可以处理120个至150个患者样本。
自动单细胞计数的技术原理通常基于阻抗(电阻)测量或光学系统(散射光或吸收测量)。此外,已经建立了例如对血液涂片的细胞进行自动成像和评估的成像系统。
在阻抗方法中,对细胞进行计数,并基于由移动通过小开口的粒子引起的电导率(电阻)的变化的检测和测量来确定细胞的大小。粒子诸如血细胞本身不导电,但悬浮在导电稀释剂中。如果将这样的细胞悬浮液引导通过开口,则在单个个体细胞通过期间,位于开口的每侧上的两个电极之间的电路径的阻抗(电阻)会短暂地增加。
与阻抗方法相反,光学方法包括使激光束或LED光束通过稀释的血液样本,激光束或LED光束以连续流动的方式检测该稀释的血液样本。在此,对应的光束可以例如借助于光波导被引导至流动池。通过流动池的检测区的每个细胞都会散射聚焦的光。然后,散射光被光电探测器检测并转换为电脉冲。在此生成的脉冲的数量与在特定时间间隔内通过检测区的细胞的数量成正比。
在光学方法中,以不同的角度测量从各个细胞散射的通过检测区的光。以这种方式,检测相应单元相对于光学辐射的散射行为;这可以得出例如关于细胞结构、形状和反射率的结论。该散射行为可以用于区分不同类型的血细胞,并且可以使用导出的参数来诊断该样本的血细胞与标准的偏差,该标准从例如分类为标准的多个参考样本中获得。
在自动评估血液涂片中的细胞时,电流分析仪使用具有高数值孔径以及在物体载体与物镜之间具有浸渍介质的显微镜进行操作,以便能够实现高分辨率。然而,这导致相对小的视野深度,该视野深度明显小于垂直于带有血液涂片的物体载体表面的细胞的厚度。因此,不能通过仅具有一个焦点设置的二维成像来对细胞的整个深度信息进行焦点成像。
因此,经常存在分类不明确的血细胞,随后必须由专业人员例如实验室医师对其进行手动分类。为此,将带有血液涂片的物体载体再次置于显微镜下,必须花费大量的费用寻找对应的细胞并由实验室医师对其进行检查。为了进行可靠的分类,在这种情况下,实验室医师通常还会对细胞进行聚焦,以便能够更好地识别和评估沿聚焦方向的细胞结构。
Bahram J.等人的WO 2007/044725 A2:在《光学快报》第14卷第25号第12096-566页中的“Three-dimensional identification of biological microorganism usingintegral imaging(使用积分成像对生物微生物进行三维识别)”;Kim J.等人:在《视觉通信和图像处理》第9655卷第9655101-9655104页中的“A single-shot 2D/3D simultaneousimaging microscope based on light field microscopy(基于光场显微镜的单镜头2D/3D同步成像显微镜)”,以及WO 2010/121637 A1描述了光学成像装置。
关于光学系统,当前在血液学中使用的测量设备包括显微镜,该显微镜具有大约100倍的放大倍率,并且传感器元件的有效横向分辨率在物体平面中为100nm=0.1μm。普通相机的像素数不超过30万到100万像素。因此,物体中的视场只有几百微米的大小。为了能够采集和分析血液样本的染色涂片(该涂片的宽度可以为几毫米,长度可以为几十毫米),就必须借助于位移单元使用曲折扫描方法来扫描待分析的涂片的区域。为了稍微加快该过程,以较低的放大倍率(例如,以10倍的放大倍率,以及10倍大的对应视场)进行第一次区域类型扫描,并在进行第一次图像评估以找到要测量的细胞之后,随后,仅以较高的放大倍率针对性地接近具有细胞的目标区域(RoI)。这意味着在高放大倍率下无法对样本进行完整的全区域分析。为了使细胞足够清晰可见,以便能够使用高分辨率光学显微镜对其进行分析,在先前的步骤中将血液涂片染色。在全球范围内已经建立了多种染色协议,从全球的角度来看,每个区域之间的染色协议部分地不同。因此,血液涂片分析的可比性仅限于区域,因为只能对已经按照相同方案染色的细胞图像进行良好的比较。
发明内容
因此,本发明的目的在于提供一种用于分析样本中的细胞的自动分析仪以及一种用于确定关于该细胞的二维或三维信息的方法,其中在图像采集并且因此进行分析之前,应当最大程度地省略该细胞的化学预处理,以便能够在尽可能接近原始状态并且仅进行很小程度的改变或根本没有改变的状态下检查细胞。
该目的通过根据本发明的分析仪和根据本发明的方法来实现,如独立权利要求所述。本发明的有利发展还特别地由从属权利要求给出。
本发明的主题特别地包括一种用于分析样本中的细胞的分析仪,所述分析仪包括光学显微镜,该光学显微镜用于对物体区域和/或物体平面中的光场成像,以对样本的细胞成像,该显微镜包括:用于照亮样本的光源;以及用于使从被照亮的样本发出的光束会聚和聚焦的会聚透镜;以及用于记录光束的数字记录设备,其中,用于采集来自在显微镜中成像的物体区域的光场的光场相机设置在显微镜上,并且其中,光场相机包括数字记录装设备。
该数字记录设备优选地包括用于光束的检测器具,并且有助于将检测器具的检测信号转换成数字数据。
根据本发明的分析仪的优点在于,可以完全或部分省去直到现在所需的用于随后的显微镜检查过程的样本染色。根据本发明的分析仪提供具有对应的大信息量的最高质量的图像数据,该图像数据例如可以用于自动评估和分类。在这种情况下,所采集的图像数据具有很高的质量,以至于不再需要在显微镜下通过另外的观察对样本进行随后的检查。因此,本发明提供了一种完整的用于细胞的数字化站,即使在相应细胞深度的整个范围内,也具有高分辨率的横向结构,特别是还不需要血细胞的染色和/或标记以用于采集图像。
优选地,根据本发明的分析仪是自动分析仪,特别优选地是部分自动或全自动分析仪。优选地,显微镜包括光场相机。优选地,光场相机包括数字记录设备,该数字记录设备被实现为采集在显微镜中成像的光场。优选地,数字记录设备包括电荷耦合设备(CCD)芯片或多个CCD芯片。特别优选地,数字记录设备基于互补金属氧化物半导体(CMOS)技术和/或包括CMOS芯片。
优选地,例如通过适当的流动系统和/或样本载体在分析仪内的位移,以全自动的方式将样本引入到自动分析仪中,优选地,借助于适当控制的致动器或机器人系统。
优选地,光场相机包括具有不同焦距的透镜的微透镜阵列,其中该微透镜阵列可以将在显微镜中成像的光场的中间图像成像到数字记录设备上。在此,微透镜阵列与中间图像的距离为一焦距的最小距离,并且存在真实的成像。因此,根据本发明,不是出现孔径图像而是在物体或样本的较小部分图像的意义上的真实的小图像节段。然后通过光学单元将图像信息投影回去,直到不同部分图像的对应图像点的光束相遇为止。因此,在当前情况下,没有采集到定向图像,而是采集了小的物体图像。
本发明基于光学显微镜,该光学显微镜配备有例如用于微分干涉对比的装置。关于分裂,此类显微镜可以适应血液学的要求。这种适应性基本上通过针对性地选择穿过测试物体的光束路径上的光束偏移来实现。例如,测试物体是涂血样本。
光束偏移由照明模块和分析仪模块中的DIC棱镜的厚度确定。在此,两个棱镜的光学厚度和光束偏移的方向必须彼此匹配,使得分析仪模块可以再次完全反转来自照明模块的光束偏移,并且因此能够对此进行补偿。由于不同的成像比例,这允许棱镜的物理厚度彼此偏离。显微镜中的物镜可以有多对DIC棱镜,这些棱镜可以允许不同的分裂。
此外,在显微镜处设置有光场相机,也称为全光相机;该全光相机从在显微镜中成像的物体平面采集光场。
优选地,光场相机具有在10至30范围内的有效焦距比数(工作f#);并且特别优选地为26。根据使用传感器元件对测试物体进行的搜寻扫描,为此选择了适当的放大倍率,后者考虑了实际传感器元件之间的尺寸关系(通常在1μm至10μm的范围内),并且考虑到测量期间的高分辨率要求,物体的扫描范围在0.05μm至0.5μm之间,因此优选地在0.05μm至0.15μm之间的范围内。然后,这产生从物体到检测设备的有效系统放大倍率,其范围在10倍至100倍之间,优选地在20倍至65倍之间,并且特别优选地在40倍至65倍之间。如果将浸渍液体用于所需的高分辨率,则数值孔径可以采用接近1.4的值。如果样本被空气包围,则数值孔径被限制为不大于1的值,技术上不大于0.95或0.9。
图像侧NA得自物体侧NA除以放大倍率,即NA_image=NA_obj/M。
数值孔径NA和光学单元的焦距比数(f#)通过f#=1/(2*NA)链接。
对于40和63的放大倍率以及0.95和1.4的数值孔径,在14和33之间的范围内出现相应的f#。
优选地,光场相机是例如来自基尔的Raytrix GmbH的Raytrix R12Micro系列光场相机。
可以从光场重建不同深度的物体图像,对应于显微镜的不同焦点设置。可以在稍后的阶段在采集的数据记录中执行这种纯数字重新聚焦。
根据本发明的分析仪的优点在于,除了颜色信息RGB之外,还可以使用深度信息D(深度);在随后的基于计算机的评估期间,该深度信息可以类似于颜色通道的方式用作其他功能。
例如,细胞可以基于附加深度信息更容易地分割,即,被识别以用于进一步的分析并剪切图像。除了颜色对比度过渡之外,还可以在高度的轮廓中在细胞的边缘处出现过渡,这些过渡能够轻松而准确地检测到。
迄今为止,常规系统中存在的问题是仅基于彩色图像可靠地确定细胞的边缘,这是因为通常为此目的使用阈值并且由于系统原因该阈值已经位于细胞内,必须已经做出某些更改才能达到所述阈值。因此,通常系统地测量细胞以使其小于实际尺寸。在体积测量的情况下这很麻烦,然后尝试例如通过内插算法对其进行校正。深度信息的提供和使用允许容易且可靠地解决这些问题,因为物体载体的背景表示轮廓落在其上的平面。然后,可以相应地应用用于根据高度轮廓在几何上确定细胞边缘的已知方法。
通过使用光场相机采集光场,在图像采集之后仍可以离线地重新聚焦例如血液涂片或细胞的记录图像。首先,这可以用于将细胞聚焦到最大可能的程度,以出于分类的目的进行分割和识别,或者用于平行地对多个焦平面进行分割和分类。另选地,也可以使用体数据或3D点云。因此,可以以更高精度实现分割和分类。
如果已经使用光场相机采集了例如细胞的图像,则可以选择在稍后的阶段(即离线)以纯数字方式聚焦图像。在计算机对细胞的分类或评估不清楚的情况下,这将使医师可以选择直接在数字图像中查看细胞,而不必首先再次在显微镜下返回物体载体,搜索细胞,然后通过更改焦点来进行更准确的评估和分类。由于细胞分析仪和显微镜的坐标系彼此不匹配,因此医师以前只能将要在显微镜下检查的细胞定位在近似位置,并且必须最终用显微镜搜索细胞。这很耗时,并且必须在实验室中实施。然而,如果根据本发明可获得光场相机的数字图像,则医师可以直接在数字图像中聚焦所讨论的细胞或结构。
如果在医师与图像或图像数据库之间存在数据链接,使得所述医师不再需要转到实验室中的物体载体,则这种评估和分类在远程医疗的意义上也是可能的。
在检查结果不清楚的情况下,这也有利于向出于分析的目的向其发送图像或者例如通过电子网络向其提供所述图像的同事进行咨询;在数字数据传输的情况下,这实际上可以实时实施。为了对所采集的血细胞光场图像进行评估和分类,相应的医师仅需要在其数字终端上的适当的分析软件,否则,在云解决方案的意义上,不仅可以将光场相机的图像存储在云中,而且评估也可以在基于云的应用中实施,例如通过网页浏览器界面。
优选地,放大倍率是根据用于扫描测试物体的光学分辨率的要求来确定的,放大倍率的选择通常与所需的有效焦距比数或数值孔径相关联。
在物体平面中的横向分辨率优选为100nm。然后,放大倍率与传感器元件的横向尺寸一起如下表示:
M=传感器元件的横向尺寸/100nm。
例如,该放大倍率对于对血细胞进行成像特别有利。
在水、油或甘油浸渍的情况下,光学显微镜的典型分辨率极限约为100nm。在相机的已知像素尺寸为例如4.5μm的情况下,因此所需的放大倍率将为45倍。然后,该孔径得自物体平面中的孔径-在浸渍的情况下范围大于1,通常为1.2至1.4-除以放大倍率,即NA相机=1.4/M,例如1.4/45=0.031。然后,焦距比数从f#=1/2*NA变为f#16。优选地,相机的焦距比数是2.4、2.8、5.6、7.0或26.0。特别优选地,相机的焦距比数f#为26,并且放大倍率为63倍。
在相机的像素尺寸为2μm的情况下,对于物体平面中所搜寻的分辨率优选的是20倍的放大倍率。因此,NA相机=1.4/20=0.07,因此,焦距比数f#为7。这是有利的,因为具有大量像素的高分辨率相机芯片可以覆盖大的视野,并且此外,光学系统可以最小化。
优选地,分析仪是血液分析仪,特别优选地是自动血液分析仪。
优选地,医学样本包括细胞和/或医学制备物。优选地,所述医学制备物涉及组织切片、身体分泌物和/或体液和/或微晶的沉积物。
特别优选地,样本是血液样本并且/或者细胞是血细胞。
代替血细胞,样本可以优选地为任何类型的人、动物或植物细胞。这是有利的,因为可以检查和表征迥然不同的样本类型,包括非常不同的细胞类型。
光场相机与用于血液学的显微镜的根据本发明的组合仍然通过扩展的对比过程诸如例如相衬或微分干涉对比(DIC)得到显著补充。
优选地,显微镜是幅衬显微镜和/或相衬显微镜和/或微分干涉对比(DIC)显微镜。
优选地,显微镜是微分数字全息显微镜。
扩展的对比过程,特别是其DIC,允许在通过样本(即例如在这种情况下为细胞)的光路中的相位差变得可见。然后,不同的相位值可以用不同的颜色表示,例如,特别是在相位对比(Phase contrast)的情况下,因此可以使用彩色相机进行测量。因此,可以省去样本的染色,但是仍然以良好的对比度对细胞成像。用于自动细胞分类的先前系统仅使用振幅对比度(amplitude contrast),该振幅对比度是由于对细胞染色以及光在细胞或周围介质中的不同路径而产生。
作为显微镜和光场相机的根据本发明的组合的结果,获得了关于细胞的附加3D信息,并且可以将该信息用于对细胞进行分类。因此,根据所选择的显微镜中的对比过程,获得了下文阐述的用于细胞分类的数据。例如,分类可以由专业医务人员和/或基于计算机的系统来执行。在振幅对比的情况下,可以使用关于细胞的常规图像信息和附加3D信息。在相位对比的情况下,获得关于细胞的相位图像和附加3D信息。在DIC的情况下,获得关于细胞的与微分相位图像相关的DIC图像和附加3D信息。
根据本发明,关于所获得的细胞的3D信息可以有利地以不同的方式表示,例如如下文所述。
有利地,细胞的3D信息由RGB图像表示。有利地,RGB图像在光场相机的整个视野深度范围内聚焦成像,即所谓的全聚焦图像。因此,与常规的2D相机相比,由于视野深度范围的增加,采集了更多的深度信息。根据类型和排列的不同,血细胞的厚度约为1μm-2μm,最大约为20μm。在NA为1.3且波长为500nm的情况下,图像的视野深度仅为d=±λ/NA^2=±500nm/1.69=±300nm。因此,在常规2D图像中,没有一个细胞在其整个深度上聚焦成像。借助于光场相机的全光效果,视野深度至少增加了四倍。因此,细胞,特别是红细胞(RGB),被完全聚焦成像。另外,较大的细胞,诸如例如白细胞(WBC),在基本上较大的细胞体积部分上聚焦成像。
在另一有利的配置中,细胞的3D信息表示为RGB D信息。每个图片点都包含称为D的深度信息。例如,如果将血细胞作为样本应用于物体载体,则D为血细胞的厚度。该信息补充了颜色信息,并且还被称为3D点云。
在另一有利的配置中,细胞的3D信息表示为体积3D信息。以类似于计算机断层扫描设备(CT)的图像的方式,空间图像信息因此以体素的形式出现。由于细胞例如血细胞对于辐射至少是部分透明的,因此细胞中的不同点可生成散射的辐射,该辐射被相机采集并分配给不同的深度。
在另一有利的配置中,可以从光场相机的数据记录中计算出图像栈,该图像栈在不同的焦平面上被计算并且因此包含体积信息。在光场相机的评估算法中,所谓的虚拟深度适合作为这些平面的间距。另选地,还可以以不同的间距值来计算焦平面,例如,将其选择为等距的,其中所述平面中的一个与细胞的最大横截面一致。
在使用相位对比度进行对比的情况下,光场相机的图像仅基于由相位效应生成的强度调制,因为来自物体本身的振幅调制和强度调制在相位环中被滤除。相对于具有纯振幅对比度的图像,这是一个很大的真彩色图像。
在DIC对比的情况下,光场相机的图像基于细胞的图像,该细胞的图像通过微分干涉对比,包含关于通过细胞的光的不同路径并且因此包含光的相移作为颜色编码的信息。这是有利的,因为细胞的颜色表示叠加了精细的结构,这在计算深度信息时就较高的横向分辨率而言极大地有助于光场相机的评估算法。
在有利的配置中,使用多达四个具有RGB和白色的颜色通道。
有利地,照明的光谱包括可见范围和/或接近IR波长。
优选地,在光源与相机(例如,光场相机)之间存在颜色平衡。此外,曝光时间和增益优选地适合于用于2D图像的三芯片式(3-chips)RGB彩色相机。特别优选地,光源包括具有RGB和W以及共同的亮度控制的4LED光源。
在本发明的另一优选实施例中,在分析仪中的显微镜上设置有用于在物体区域的物体平面中采集图像的另一相机,其中该另一相机的横向分辨率等于或优选地高于光场相机的横向分辨率,其中另一相机的分辨率是光场相机的分辨率的两倍,优选地为三倍,特别优选地为四倍。
另一相机优选地具有比光场相机大的视野。这有助于更好更快地覆盖样本。
优选地,另外的相机,优选地2D相机的焦平面耦合到光场相机的标记平面。例如,这可以根据虚拟深度来测量。这可以有利地实现的是,两个相机同时提供良好的图像。
在本发明的另一优选实施例中,另一相机是彩色相机,优选地为多芯片彩色相机,特别优选地为三芯片相机。
这是有利的,因为通过高分辨率彩色相机(例如高分辨率RGB相机)确保了高分辨率。这是特别有利的,因为原则上光场相机在横向分辨率方面损失了两倍,在二维分辨率方面损失了四倍,以获得用于计算深度分辨率的信息。因此,可以有利地完全补偿分辨率的损失。
使用多芯片彩色相机(例如3芯片彩色相机)是有利的,因为在无需插值的情况下,更好的颜色测量,特别是逐像素颜色确定是可能的,并具有较大的动态范围,从而为细胞分类带来另外的优势。有利地,针对优化的S/N比,颜色通道是平衡的。例如,在染色样本的情况下,优选地针对每种染色协议分别进行平衡。有利地,三芯片式(3chips)彩色相机是每芯片3.2兆像素的三芯片式CMOS相机。
三芯片式彩色相机优于例如一芯片彩色相机,因为一芯片彩色相机通常使用拜耳模式。由于在血液分析仪中对例如血细胞的分析特别地取决于例如良好的颜色分辨率和颜色保真度以及还取决于良好的横向结构分辨率,因此在这种情况下优选三芯片式相机。如果针对每个彩色通道分别优化曝光,则高分辨率彩色相机提供例如具有更高分辨率并且通常具有更好的色调(即,更准确的色调)和更低的噪声的RGB图像。在三芯片式彩色相机的情况下,将立即分别确定色调,而无需为每个像素进行插值。
优选地,随后仍然将彩色相机的色调从RGB表示转移到例如用于色调、饱和度和亮度(值)的HSV表示;作为另外的或互补的过程,这允许例如在红色均匀分布在细胞中的情况下,通过色调容易地分割红细胞。该方法对于所有均一具有相同色调或被相同颜色染色的细胞和结构都适用。有利地,该分割可以与通过深度值(D)执行的分割结合,以便具有尽可能精确的剪切细胞的标准。
如果图像中的有效像素尺寸不能适当地适配在一起或无法与例如1、2、3等的整数因子相称,则通过缩放和/或像素插值有利地将两个相机的图像彼此配准。为此,原则上应当有利地校正图像中的横向位移、扭曲、倾斜、变形和/或光学变形和/或散焦。一旦已经将图像配准到所需范围,就计算新的图像数据;这些将较高的横向颜色分辨率与来自光场相机图像的深度信息结合。为此,可以将彩色相机的图像放置在光场相机的评估深度图像中的相关焦点位置上,并且从那里,颜色表示和横向分辨率还可以通过光场的传播转移到相邻的焦平面上,从光场相机采集的信息可以了解光场的传播。
在此,例如可以通过在横向方向上的插值以及通过例如颜色的对应表来实现转移。另选地,还可以基于光场相机所测量的数据与例如相位复原一起通过真实的传播计算来执行更复杂的转移。在此,光场相机的评估的图像平面用作采样点,并且通过相邻点支持其他附加点。基于标记平面与用于光场和相关联的计算出的光波阵面的合适的连续性条件一起,可进行比较准确和全面的内插处理。
有利地,这种更精确的通常计算非常密集的解决方案用于精细诊断,例如在明显的图像区域中,用于检查结果不清楚的细胞和/或用于病理学细胞,其中实时能力不太重要或不重要。例如,还可以例如在可能在其周围通过某些边缘区域扩展的整个图像上或者仅在图像节段中例如在单个分割的细胞上来实施精细诊断。
根据光束路径中的布置,根据本发明提供下文阐述的布置设置的不同的有利变型。
两个相机可以同时在显微镜上使用和操作,以用于测量染色的或在图像中提供良好对比度而无需扩展对比过程的细胞或制备物。在活的或移动的细胞或样本的情况下,或者在使用微流体细胞进行检查的情况下,两个相机还以时间同步的方式记录图像,则可以是有利的。
在此,例如可以使用可商购的显微镜管,其在机械上促进两个相机在一台显微镜中的并行操作。在此,例如在分光比或分光过程诸如光谱分离、偏振光分离等方面存在不同的分光方法,可以适当地选择这些不同的分光方法。
在需要扩展的光学对比过程的非染色细胞的情况下,根据本发明,系统的结构可选地提供系统的其他优选技术实施例案。
优选地,仅一个偏振方向用于彩色图像。为此,在物镜与DIC分析仪之间,或者另选地,在物镜与物镜侧DIC棱镜的上游之间,设置了用于彩色相机和光场相机的光束路径的分离。
优选地,当在分割之前对准偏振时,在照明模块中已经考虑了成像侧上的光场的分割,使得两个偏振分量具有期望的强度比,诸如例如,在DIC棱镜和DIC分析仪的下游,最大对比度为1:1。这允许光损失最小化,以便因此优化整个结构的效率,并最小化快速测量所需的曝光时间。
优选地,使用偏振中性分束器在两个相机的成像物镜与DIC分析仪之间分离光束路径。然后,仍应将偏振器布置在通往高分辨率彩色相机的光束路径中,使所述偏振器尽可能完全阻挡DIC光束路径的一个偏振方向,并允许另一偏振方向以尽可能少的衰减通过相机。该偏振器可以透射或反射方式操作,或者可以导致不同偏振光束的空间分离。这提供以下优势:结构具有不太复杂的设计,不需要特殊的偏振相关调整;然而,由于该原理,损失了大约25%的光能。
有利地,以彼此适配的方式对准和缩放光场相机和彩色相机的图像,使得光场相机的3D信息或高度信息可以用于例如地形图像中,并且同时,可以使用和利用来自彩色相机的颜色信息。
优选地,光场相机和彩色相机同时进行采集。例如,这可以通过适当的触发来实现。触发可以通过硬件或软件实施。触发也可以从所选择的第一相机到第二相机实施,这也称为主从耦合。在功能上有必要确保理想上同时地以指定的时间参考记录图像。由于相机的硬件和软件及其相应的致动中可能的延迟时间,触发信号本身可具有时间间距。当采集例如流动池中的移动细胞和/或活细胞或测试物体时,同时采集特别有利。
有利地,光场相机和高分辨率的另外的相机的图像仅在图像区域的节段中组合,例如仅在自动测量过程已经识别或检测到待检查的测试物体的区域中。这是有利的,因为可以相应地节省计算费用和计算时间,因此可以提高测量速度。
根据光束路径中的布置,不同的配置可以是有利的。
在一种有利的配置中,仅一个偏振方向用于彩色图像,并且彩色相机和光场相机的光束路径的分离仍然在DIC分析仪的上游或者已经在物镜侧的DIC棱镜的上游实施。当在偏振分割之前对准偏振时,可以有利地在照明模块中考虑光场的分割,使得DIC棱镜和DIC分析仪下游的两个偏振分量具有期望的强度比,诸如例如,最大对比度为1:1。如果特别地应该对染色的细胞进行成像和分析,则这是特别有利的。
在另一有利的配置中,彩色相机用于高分辨率DIC,而全光单元用于扩展的深度测量范围,以用于颜色区域的唯一展开,从而测量相对厚的细胞或细胞团。因此,借助于DIC,通过例如积分的微分对比信息,可以实施高分辨率的相对厚度测量,并且借助于全光单元可以实现相对大的区域分配。
在未染色的样本(例如细胞)的情况下,振幅对比几乎不包含任何信息,或者不包含信息,并且彩色图像有利地仅用于相位或DIC对比,但是具有很高的横向分辨率,并且每个像素具有真实的颜色分离。
在一种有利的配置中,光场相机和有利地包括彩色相机的高分辨率相机沿阵列的轴方向和/或方向相关的比例因子(例如x轴和/或y轴)关于传感器阵列的轴方向并且还有利地关于子像素精确的偏移相对于彼此对准。
在一种有利的配置中,高分辨率相机的焦点位置设置在光场相机的中央测量区域上。这是有利的,因为在程序上也可以以类似于自动聚焦系统的方式来使用光场相机。
光场相机可达到的深度分辨率随着工作焦距比数f#的减小而增加。因此,焦距比数7可以比焦距比数26明显更有利。焦距比数越小意味着图像侧孔径越大。由于在典型的生物样本浸渍的情况下,物体侧的孔径被限制为1.4,因此相对于NA相机的最大图像侧孔径为1.4/M。
有利地,显微镜上的物体已经被整个成像孔径照亮,以便在图像侧上照亮工作f#的整个孔径,使得光场相机工作良好并能够提供详细的横向扫描。最有利的情况是NA照明=NA物镜。这也称为非相干照明,其中Sigma=σ=NA照明/NA物镜=1。
在根据本发明的自动分析仪的有利配置中,显微镜上的非相干照明Sigma大于0.8,优选地大于0.9,特别优选1.0,其中Sigma给出为样本照明的数值孔径和物镜的数值孔径的比率,其中显微镜优选地为微分干涉对比(DIC)显微镜。
在血液学中,该σ=1,或σ>0.8或更理想的σ>0.9,非常重要,因为血细胞为微弱地散射的物体,并且因此即使对于光场相机中的微透镜阵列,孔径也能被光充分填充。
在以前,通常在光学显微镜中使用照明(Sigma=0.7)来达到优化对比度的目的-特别是用于视觉观察,甚至在相机的情况下。然而,在这种情况下,这将导致孔径没有被光充分填充,并且因此不能进行非常精确的深度确定。此外,由于未完全照亮的像素,将损失大部分空间分辨率。这与以下事实有关:像素的使用数量随着用于计算图像的Sigma值近似平方地增加,并且在σ=1时达到接近完整检测器分辨率的最大值。
在根据本发明的分析仪的有利配置中,分析仪包括用于物体载体的样本供应器具,借助于该样本供应器具,可以将物体载体上的样本供应到分析仪。
在根据本发明的分析仪的有利配置中,分析仪包括用于供应样本的流动池,显微镜的物体平面优选地位于流动池中。优选地,流动池是微流体流动池。
这是有利的,特别地,可以在自然环境中对细胞或血细胞进行成像和分析。特别地,可以避免将频繁地干燥和/或染色的涂片形式的细胞应用到物体载体的需要,频繁地干燥和/或染色可以显著改变细胞的原始自然特性,诸如例如形状。此外,可以省去用于产生涂片和染色的相应的准备费用,并且由于不再消耗例如用于涂片的物体载体和盖玻片而避免了大量的浪费。同样地,不再需要关于涂片和消耗品的存储容量。在分析仪的系统水平上,可以省去用于自动改变涂片的装置,这尤其是极大地简化了设备结构。
由于流动池中的可用层通常具有多个微米的厚度,有时甚至是几十微米,因此难以将细胞准确地定位在用于检查的显微镜光学单元的物体平面中。在这方面,一方面存在对更高分辨率的期望的利益冲突,另一方面,细胞在光轴方向上的定位不够精确。
优选地,光场相机的深度测量然后可以在此用于优化微流体系统的致动参数,以便例如从而适当地设置焦点,使得即使是二维高分辨率图像也可以焦点对准。像DHM的情况一样,曝光和3D图像也在无需干涉仪的情况下提供附加值,其中DHM既繁琐又复杂,并且由于时间和/或空间相干辐射的影响而部分受到干扰。
通过关系δ=0.5λ/NA,横向分辨率随着光学单元数值孔径NA的增加而提高。其次,视野深度随着数值孔径的减小而减小,如d=±λ/NA^2所示。然后,500nm波长和NA=0.7产生2μm的总的视野深度,例如,该视野深度大约相当于红细胞的厚度。
在当前的常规设备中,使用具有NA=0.5的孔径的光学单元来进行工作,该孔径然后对应于在500nm处总的视野深度d=4μm。根据NA=0.5,可达到的横向分辨率被限制为δ=0.5μm。因此,在以前必须通过选择数值孔径做出相应的折衷,以平衡横向分辨率和视野深度。前述关系描述了根据当前理论的光学仪器的分辨率。
根据本发明的带有对应光场相机的自动分析仪允许深度测量范围,即焦点对准地记录图像的区域,以约4到约6的倍数增加。与此相反,光场相机的横向分辨率降低了2倍。
由于在选择所使用的光学单元时,可以在很大程度上彼此独立地选择放大倍率和孔径,因此可以很好地补偿这种影响。例如,如果选择较高的放大倍率和较大的孔径,则可以以对应的积极方式使用该影响。
例如,如果选择60倍至80倍的放大倍率和NA=0.7的孔径,则对于500nm波长大约会出现以下值:NA=0.7,δ=0.36μm,视野深度d=1.05μm。在增加全光相机的深度工作范围的影响下,在增加大约5倍的假设下,出现d=5.25μm的视野深度增加值。
例如,如果选择60倍至80倍的放大倍率和NA=0.9的孔径,则对于500nm波长大约会出现以下值:NA=0.9,δ=0.28μm,视野深度d=0.62μm。在增加全光相机的深度工作范围的影响下,在增加大约5倍的假设下,出现d=3.10μm的视野深度增加值。
因此,根据本发明的光场相机在细胞分析仪中的使用允许深度工作范围大大增加,这因此相应地促进了流动池的使用。特别地,在流动池中的流动的整个高度上,促进了对细胞范围的更完全或完全的检测。特别地,这有助于对通常未染色的细胞进行精确检查。然而,对于某些检查,对微流体系统的介质中的细胞进行染色也可以是有利的或必要的。
另一个优点是,关于细胞的聚焦和/或相对位置的流动池的参数可以位于另一个参数范围内,并且例如可以能够省去对应的特殊优化。
在优选的配置中,显微镜的视野包括细胞可以流动的流动池的整个宽度。有利地,该范围具有零点几毫米至几毫米的宽度。
在自动分析仪的优选实施例中,分析仪包括能够查看具有细胞的物体载体和/或能够查看流动池中的细胞的两种部件。在此,流动池的尺寸有利地与物体载体的尺寸,特别是厚度以及因此与其光学效果匹配。流动池的盖板-即盖玻片,以及可选地位于细胞的区域或平面与流动池的外表面之间的流体介质-有利地例如在光路长度、色散和/或折射率方面同样具有相同的光学效果,从而可以使用相同的光学单元,并保持相同的最佳可能成像质量。优选地,可以进行重新聚焦,例如以适应制造公差。典型的盖玻璃厚度在0.2mm以下的范围内,通常在0.15mm到0.17mm之间。例如,根据DIN ISO 8037-1,物体载体的横向尺寸例如为76mm x 26mm或75mm x 25mm,厚度范围在1mm至1.5mm之间。因此,流动池的尺寸相应有利地出现。
在优选的配置中,在显微镜的成像区域中的流动池中的细胞的移动速度与所采用的图像采集系统的曝光时间匹配。在此,移动通常小于1/2像素(pxl),优选地小于1/5pxl,特别优选地小于1/10pxl。这是有利的,因为可以减少或完全避免运动模糊效果。
在根据本发明的分析仪的另一有利配置中,分析仪包括用于物体载体的样本供应器具。如果例如打算检查组织切片或其他医学制备物,则这可以特别有利。
本发明的另一主题涉及一种借助于根据本发明的分析仪确定关于细胞的二维或三维信息的方法,该方法包括以下步骤:
a)向显微镜供应具有细胞的样本,
b)借助于数字记录设备记录从被照亮样本中的细胞发出的光束,
c)借助于光场相机对从物体区域在显微镜中成像的光场进行成像,其中,光场相机包括数字记录设备,
d)从步骤b)中记录的光束信息和/或步骤c)中成像的光场信息中确定关于细胞的二维或三维和/或体积信息。
有利地,步骤b)和c)也可以链接形成一个步骤,该步骤然后包括:
-借助于光场相机对从物体区域在显微镜中成像的光场进行成像,并且
-借助于数字记录设备记录从被照亮样本中的细胞发出的光束,其中,光场相机包括数字记录设备。
在步骤b)中,优选地,由被照亮样本中的细胞发出的光束首先被聚焦,然后借助于数字记录设备被记录。优选地,光子被转换成电荷,随后确定电荷量并且将该电荷量的值数字化。
代替细胞,也可以优选地相应地确定关于医学制备物的二维或三维信息。
优选地,在步骤a)中借助于流动池将样本供应到分析仪,其中显微镜的物体平面位于流动池中。优选地,流动池包括通过流动池的适当致动而允许细胞在流动池中的标记平面中累积的部件。优选地,将物体平面设置在标记平面上,使得物体平面和标记平面有利地重合。
优选地,在步骤a)中,借助于用于物体载体的样本供应器具将样本在物体载体上供应到分析仪。
优选地,该方法还包括以下步骤:在该步骤中,借助于另一相机来提供物体区域中的躯体平面中的图像,该另一相机用于在物体区域中的物体平面中记录图像,其中,该另一相机的横向分辨率比光场相机的横向分辨率高,其中,该另一相机的分辨率优选地为光场相机的分辨率的两倍,特别优选地为四倍,并且其中该另一相机的视野比光场相机的视野大。
优选地,该另一相机是彩色相机,优选地为三芯片彩色相机。
优选地,细胞和/或医学制备物不被染色。在这种情况下,特别是对于成像细胞,扩展的对比过程例如相衬和/或微分干涉对比特别有利。可选地,在例如沉积物或其他样本的情况下,幅衬也可以是有利的。
在该方法的优选配置中,该方法还包括以下步骤:
e)借助于在步骤d)中确定的细胞的二维和/或三维和/或体积信息,沿显微镜的光轴进行数字重新聚焦或焦点变化,其中,优选地,数字重新聚焦以计算机辅助和/或数字方式实施。
这是有利的,因为根据本发明首次提供的重新聚焦或聚焦变化有利于血液学的遥测检查结果。因此,通过协商的方式,有助于例如由其他位置处的专家获取的检查结果,或者随后的检查结果。为了能够按照护理标准以既定的高质量检查结果执行此操作,必须为随后进行检查或咨询的医师提供通过细胞平面聚焦的选项。
在现有技术中,预先从例如架子、储物箱或档案库中物理取回具有讨论中的相关细胞的对应物体载体,然后将其置于显微镜下,并且在不同情况下将图像聚焦在相应细胞中。然后尝试基于关于相应细胞在物体载体上的位置的相对不精确的空间信息再次找到相应细胞。如果再次发现细胞,则获得检查结果。对于检查结果本身,医师分析细胞的光学图像,通常还会聚焦在细胞上。因此,先前已知的系统和过程不适合或仅仅非常有限地适合详细的后续检查结果,因为一旦采集了细胞图像,医师就无法再聚焦在细胞图像上,并且因此对于检查结果很重要的深度信息不再可用。
因此,本发明的优点在于将细胞图像采集为三维图像,以便为医师提供在不同焦平面上的可自由调节的聚焦,该聚焦可以在任何时间甚至随后在数字存储的图像中选择。图片。在这种情况下,医师不再需要自己坐在显微镜下;相反,该过程可以在空间和时间上独立于样本进行。由于可以以纯数字形式获取图像,因此与以前最常见的过程(其中存档的样本随时间劣化并且它们的状态恶化)相比,数据不会随自从采集图像以来经过的时间发生劣化。为了获得随后的每个检查结果,必须将样本重新插入显微镜,并且必须使用浸渍油。获得检查结果后,再次清洁样本,这也可导致损坏,并且总体上代表一定的时间支出。
另一优点在于以下事实,如果多个细胞位于图像中,则可以随后设置焦点,并相对于相应成像的细胞的单个个体细胞改变焦点。
在该方法的另一优选配置中,该方法还包括以下步骤:
f)基于预定信息以及在步骤d)中确定的关于细胞的二维、三维和/或体积信息,将细胞关联于(zuordnen,归属)细胞类型。
这是有利的,因为可以以不易出错的特别可靠的方式进行细胞到细胞类型的自动分配。
本发明的另一主题涉及一种用于将细胞关联于细胞类型的方法,包括根据本发明的用于确定关于细胞的二维和/或三维和/或体积信息的方法,其中步骤a)至步骤d)在第一位置处执行,并且其中步骤d)中确定的信息经由数据和/或网络连接被数字地转移到第二位置,并且其中步骤e)和f)在第二位置处执行。
本发明的主题还涉及一种用于将细胞关联于细胞类型的对应方法,但是其中,基于用于确定关于细胞的二维或三维和/或体积信息的任何其他合适方法来确定关于该细胞的二维或三维或体积信息。
这是有利的,因为这使得能够进行用于血液学的远程医疗。例如,这允许其他位置处的专家通过协商获得检查结果。因此,也可以通过远程聚焦对所记录的细胞进行精细的诊断。此外,这允许第二医师就随后的分类或计数分类进行咨询,以验证数据库中的诊断。例如,这还可以导致建立具有特殊的并且特别是罕见的病理的基础真实数据记录,医师可以通过远程功能更轻松、更高效地在全球范围内编译这些数据,并使用3D图像获得检查结果。
有利地,在云服务器数据记录中的已验证的检查结果用于自动扩展训练数据记录,特别是对于病理情况。
有利地,建立了全球学习系统。即使对于非常罕见的临床图片,这也允许尽快编译相对大的数据记录。然后,这些数据记录还可以有利地用于自动化计算机学习算法,从而最终,更广泛且已验证的基础也可用于细胞的自动化评估和/或分配。
有利地,患者数据也保持在数据库中可用。这是有利的,因为还可以分析与采集的血球计数相关的较早的数据记录,以获取在较晚阶段发生的临床图像,并且这允许检查明显的问题;例如,在血液学的情况下,这允许发现或识别白血病的非常早期的发展阶段或适应症。一旦系统已经掌握了这些数据,就可以以自动化的方式将该分析应用于图像,而无需额外的费用,因为细胞图像可以通过计算机方便地进行预先评估。
优选地,细胞和/或样本借助于3D显示设备,例如优选地自动立体3D显示器来呈现。这允许向医师提供待检查的细胞和/或样本的新颖的3D视觉印象。特别地,根据本发明,在远程医疗中也获得了该优点。
有利地,紧凑的数据格式用于来自光场相机的图像数据。图像数据优选地被压缩。这允许所需的存储空间保持尽可能小,从而允许存储许多患者数据记录;然后,这些记录可以用作基础事实,例如,也可以用于自动化医学意义上的计算机学习系统和/或用作用于医师的有价值的辅助系统。
有利地,使用云解决方案和/或服务器解决方案来存储检查结果的图像和数据,并且有利地还用于保存与人(例如医师)、时间和系统有关的扩展数据,包括支持相关细胞的检查结果的配置或其他软件版本,或者何时何地从患者那里获取相关样本以及关于运送到实验室的信息。另选地,该信息优选地也可以经由到不同的存储系统的链接来提供。有利地,还对应地存储检查结果的时间。
本发明的另一主题涉及一种用于对细胞进行数字染色的方法,该方法包括一种用于借助于根据本发明的分析仪以及另外的以下步骤来确定关于细胞的二维或三维信息的根据本发明的方法:
g)根据关于细胞的二维或三维和/或体积信息与借助于染色协议的对应细胞和/或细胞内结构的染色之间的预定分配,对细胞进行数字化染色,
h)显示数字染色细胞的图像。
优选地,相应地对医学制备物染色而不是对细胞染色。
有利地,关于细胞的二维或三维和/或体积信息是关于细胞或医学制备物的结构的几何信息。
在此,二维信息被理解为是指,例如,图像信息,该图像信息对在X方向和Y方向上具有横坐标的平面图像中的物体区域成像,该平面图像描述并跨越了该区域。二维图像的各个图像点也称为像素。
在此,三维图像信息被理解为是指,例如,除了平面图像信息之外,图像还另外包括针对至少一个图像点的在成像光束路径的轴向方向上的深度信息,即,例如,在Z方向上的深度信息线性地独立于X方向和Y方向。三维图像信息的示例可以是轮廓图像,例如,轮廓图像在z方向上产生物体的形貌。
例如,体积信息是指图像还包含在X方向和Y方向的平面区域上在Z方向上的不同Z值的信息。例如,X轴、Y轴和Z轴可以分别除以相同大小的增量,从而产生小的体积元素,也称为体素。通过体素描述的图像信息是一种体积信息。例如,在断层扫描中使用体积图像数据。如果体素信息仅可用于少数几个图像点或体素,则该信息也可以以所谓的点云的形式表示,其中点中的每个都通过例如其X坐标、Y坐标和Z坐标表示。体积信息是用于三维图像信息的扩展表示,这是有利的,特别是在结构更复杂的物体的情况下。
为了用二维、三维和体积信息清楚地解释图像数据,通常需要知道坐标系例如笛卡尔或圆柱,以及坐标轴的定向,义用于定义基础坐标系。
在另一有利的配置中,二维或三维和/或体积信息是关于细胞内结构的信息,诸如例如细胞切片的细胞器和/或组织切片的几何结构。关于光路长度的信息通常不容易对应于几何信息,并且因此,在这方面,光路长度不是几何信息。
优选地,染色协议是May-Grünwald-Giemsa染色协议、改良的Wright染色、Wright-Giemsa染色和/或Romanowsky染色。
优选地,在细胞的数字染色期间应用根据前述染色协议中的任一种的颜色分布。优选地,技术对比的图像从黑色/白色或根据扩展的对比方法通过经由计算机学习确定的颜色特性来重新着色。为此,优选地使用3D和/或体积信息,因为这相对于使用纯2D颜色映射是有利的。
根据本发明的用于对细胞进行数字染色的方法的优点在于,可以在稍后阶段在数字图像中对细胞进行数字染色。这省去了在样本制备范围内对载玻片染色的附加步骤。这样可以节省大量的时间和成本。此外,这避免了各个实验室或区域之间的差异。
在数字染色的范围内,这使得在实施针对所需颜色的染色协议或不同区域习惯使用的不同染色协议时,可以首次考虑实验室之间的差异,并且可以根据相应医生的习惯实施这些染色协议,与实际血液或组织检查的位置无关。
另一优点在于以下事实:可以在不同的染色模型之间进行切换,例如,对于某些病理更加特定。
有利地,染色协议是人工的颜色模型,其例如强调某些关键特征,以便使检查结果对于医师而言更容易,或者甚至允许没有经验的医师例如进行诊断。在此,可以以类似于用于技术图像的假彩色表示的方式来配置人造颜色模型,所述技术图像例如为表示为彩色图像的热图像或IR图像。因此,即使在一个或同一细胞的调查结果内,也可以轻松切换染色模型。在常规化学染色的情况下这是不可能的。
优选地,关联于各个类别的细胞以不同方式进行数字染色。有利地,将当前不应该考虑的所有细胞从图像中屏蔽掉。优选地,另选地,仅呈现一组所选择的不同细胞组。
优选地,关于细胞的3D信息,可能还与扩展对比过程诸如相衬或DIC结合,用于用3D信息替换被省去的立即染色的被省去的颜色信息。这允许关于未染色图像的对应学习的信息被尽可能稳健地并且以较少的错误敏感方式被转换为颜色信息。
优选地,在学习阶段中确定关于细胞的二维或三维信息或体积信息与借助于染色协议的对应细胞和/或细胞内结构的染色之间的预定分配,如下文所阐述。
为此,将一个或多个细胞首先在第一图像中成像而不染色。随后,根据相应所需的染色协议对细胞进行染色。然后,将一个或多个染色的细胞在第二图像中成像。然后,识别(一个或多个)细胞并在第一图像和第二图像中进行分割,并分别相应地分配未染色和染色的细胞。
有利地,根据细胞类型对细胞进行分组,例如红细胞(RBC)、白细胞(WBC)(可选地包括5部分差异)并且/或者例如借助于计算机学习和/或神经网络进行分类。
在下一步中,计算机学习彼此分开的细胞组中的每个的染色特性,随后,为未染色的细胞创建特定的数字染色处方,有利地以分开的方式为每个细胞组创建数字染色处方。
为了验证数字染色处方,然后将染色应用于未染色的细胞,并进行比较,包括相对于实际染色样本的数字染色结果的评估,其中搜寻的染色与数字染色的细胞之间的外观看起来尽可能相似。有利地,然后基于预定的质量标准和/或根据最大允许的残余偏差来评估结果。由于在医学范围内始终是非常关键的颜色保真度的问题,因此还可以根据外部参考标准评估颜色偏差,例如在用于显示器和显示设备的DICOM中所述。由于尚未为此应用编写标准,因此评估可能只能以类似的方式进行转移和应用。因此,针对每个染色协议和每个细胞组,分别或以针对性的方式创建、检查和存储染色模型。
优选地,进行以下阐述的程序以对细胞进行数字染色。最初,选择所需的染色协议,并将未染色的细胞成像在第一图像中。在第一图像中分割一个或多个细胞。然后,将细胞关联于细胞组和/或确定细胞类型,以选择特定于细胞的染色模型。在下一步中将一个或多个细胞染色。随后,在输出单元上显示例如血液涂片的数字染色图像。
有利地,使用在各个区域中常规的适当染色来对相同的未染色图像进行染色。这允许习惯于不同染色形式的专家获得样本的共同检查结果。
不管是否仍然存在原始血样,始终都可以互换相应的染色协议,例如以便创建另外的血液涂片。数字重染色的另一巨大优点在于,可以对一个和同一个细胞进行不同的染色,这在真实细胞的化学染色的情况下是不可能的。例如,这还允许进行超出染色协议应用的先前范围的区域总体咨询。由于可以以完全数字化的方式获得信息,因此先前的问题区域也变得多余,诸如例如样本随着时间的流逝而褪色。
此外,这允许在原始检查结果的情况下未知或不可用的特定患者的可能后续检查范围内应用染色协议。这使得就护理标准而言的医学进步也可适用于现有样本或其图像,并且这可导致对应的更高质量的发现。
在以前,在先前的复杂步骤中对血涂片进行染色,以使血涂片中的细胞对于显微镜和医师的观察而言足够良好可见,因此可以使用高分辨率光学显微镜对所述细胞进行分析。该过程是常规的并且已经建立了数十年。在世界范围内,在这方面已经建立了不同的染色协议,诸如例如May-Grünwald-Giemsa、改良的Wright染色、Wright-Giemsa染色和/或Romanowsky染色,其中,即使在一种协议内也可出现实验室特定的差异,因为一些实验室根据自己的需要对染色进行了些许改动。这导致血液涂片分析的可比性受到限制,特别是因为在血液涂片的自动分析和分类的范围内,只有根据同一方案染色的细胞才能容易地进行相互比较。先前使用的程序的另一缺点是,染色剂在涂抹的血液样本上需要约10分钟-15分钟的应用时间。对于急性临床图像的分析,这可以是非常不利的。
根据本发明的细胞的数字染色优选地涉及在根据本发明的分析仪中数字采集的优选未染色的细胞的图像。然后,该细胞的图像在后处理范围内以医师习惯于根据不同常规染色协议对细胞进行染色的方式进行染色。
优选地,至少在所述样本已经成像一次之前,应尽可能避免向样本提供染色剂以使细胞染色。
优选地,根据本发明,可以使用新颖的数字染色针对不同的细胞类型选择不同的染色协议,例如,因为所述染色协议的细节特别适合于相应细胞类型。因此,医师或血液学家或病理学家可以创建个人染色计划,其中将某些染色关联于细胞类型,并且完全打破和消除了每个载玻片仅一种染色剂的限制。作为这种“个体”染色的扩展,还可以有利地出现通用数字染色协议,所述染色协议进一步利用技术颜色空间以更好地识别特征和结构。在每个染色步骤中,化学染色通常基本上通过一种染色剂来进行,该染色剂以不同的量累积在合适的具有结合能力的细胞结构处。累积的染色剂越多,根据相应染色剂的吸收光谱吸收的照明光光谱中的光就越多。因此,传输图像对于染色剂(V)的颜色值包含更高的颜色饱和度(S)。如果在染色协议内同时或顺序施加多种结合到细胞结构不同部分的染色剂,则效果会叠加。然后,每种染色剂根据累积的染色剂的量将饱和度值S更改为其特定的颜色值V。变化的颜色值V的数量受染色剂数量及其特定光谱特性的限制。药物中的典型染色剂位于红蓝色范围内,因此,例如,绿色或黄色光谱范围内的颜色值实际上保持不变。有利地,数字染色可以以更清晰的分色并在更广的光谱范围内操作。
然而,在某些检查中不完全省去添加染色剂和/或药物和/或化学添加剂可以是有利的。例如,在网织细胞的情况下,该染色剂除了具有纯色效果外,还具有将细胞中仍然可用的RNA聚集在一起并仅使后者在显微镜下可成像和可对比的期望副作用。非聚集的RNA在尺寸上比使用常规光学显微镜可分辨的尺寸小。
本发明的主题基于光学显微镜,该光学显微镜有利地被配备成用于利用扩展的光学对比过程来采集图像。这些扩展的对比过程可以包括例如相位对比(PC)、微分干涉对比(DIC)、偏振对比(POL),干涉测量法(在该实施例中优选为数字全息显微镜(DHM))、高光谱成像(在扩展的光谱范围内的纯色对比,例如UV、VIS、NIR、MIR和/或FIR或从中选择的部分),和/或结构化的照明(例如,具有预定的强度分布和/或相位分布,优选地设置光瞳平面)。
优选地,在显微镜系统上可以并行地使用不同的对比过程,特别是如果可以例如在彼此不相互作用来使用它们的情况下。否则,优选在时间上相继进行不同的对比过程。如果在时间上连续地进行不同的对比过程,则优选地根据本发明提供粒子图像测速法(PIV),以便跟踪相应的轨迹,因为在与微流体系统结合的情况下细胞在图像之间移动。这允许以不同的方式获得的颜色信息再次正确地组合到每个细胞中。优选地,PIV还包括细胞的旋转,并且有利地还包括散焦。
通过扩展的对比过程,为样本提供例如来自干涉的颜色对比,例如DIC或偏振,该颜色对比然后确保数字图像中细胞中的结构的良好分辨率和/或有助于细胞的良好对比。
根据本发明,如果除了振幅或强度信息以及可能还有颜色信息之外还可获得3D信息,则是特别有利的。用于3D采集的光场相机的图像还可以作为体积和/或断层数据使用。根据本发明,该3D信息还允许随后在采集的图像中进行纯数字散焦。在这种情况下,这对于允许医师检查自动分类以及对病理或明显细胞进行特定而可靠的评估特别有利。
根据本发明,优选地在数字染色的范围内提供新的染色模式,其中当前显示的染色仅取决于例如位于焦平面下方的细胞的区域。这还可以改善医师的3D深度感知。另选地,还可以仅使用当前焦平面上方的区域,或者围绕特定焦平面的一定的可调节层厚度内的区域。
因此,对于根据本发明的数字染色,然后对使用根据本发明的系统中的一个在显微镜下采集的图像进行后处理,使得如果使用常规显微镜记录染色的细胞,则该图像看起来可能是这样的。出于实施的目的,对于每种染色协议,在新颖系统中采集一定数量的具有多个细胞的未染色样本。可以手动或自动在图像中识别和分割细胞,以进行比较。然后,使用期望的染色协议对相同的样本进行染色,随后使用显微镜再次采集相同的细胞。在此,重要的是显微镜具有良好的颜色保真度和彩色相机,特别优选地是针对最佳可能的真彩色图像采集而优化的彩色相机,所述彩色相机可选地还已经使用特定的样本或校准程序进行了校准,例如,按照医学上的DICOM标准。
典型的彩色相机具有拜耳模式,其中50%的像素主要对绿色敏感,25%的像素主要对蓝色敏感,其余25%的像素主要对红色敏感。为了获得关于每个像素的RGB值的完整颜色信息,例如,对待确定的颜色值内插对应颜色的相邻像素的颜色值。可选地,还考虑并使用来自其他颜色值的像素的连续性信息。优选的彩色相机是例如三芯片式彩色相机,其直接针对每个图像点并行地测量红色、绿色和蓝色的强度值。因此,这些优选的彩色相机应该是直接测量每个像素所需颜色值的相机。
由于未染色细胞和染色细胞的信息可用于每个细胞,因此颜色信息可以链接在两个样本之间,例如,优选地通过计算机学习的过程。优选地,对于每种类型的细胞,单独地实施该链接,以便最大程度地采集特定的染色行为。为了简化学习的费用和学习范围,学习例如处于不同开发阶段的相同细胞类型是另外有利的。有利地,这可以例如在红细胞的情况下实施,该红细胞在不同的衰老状态下可用,其几何形状略有不同。同样有利的是,在白细胞的情况下可以一起训练5部分微分诊断中区分的5个主要组。然后,可以有利的是在第二步中学习此类组中特定特征的染色剂,以获得最佳的并且尽可能全面的颜色对比。
特别优选地,在学习的范围内,除了纯2D信息之外,还处理例如地形信息形式或体积或断层信息形式的3D信息,如可从当前系统中的普通相机图像获得的那样。为了学习,该3D信息以及有利地从其获得的例如有效3D轮廓的信息既可以用于未染色的图像,也可以优选地用于染色的图像。原则上,所有已知的计算机学习方法都适用于学习,诸如例如PLS、PLS-DA、PCA或神经网络(CNN)或深度CNN。
为了获得良好的学习结果并为了实现尽可能逼真的数字染色,如果按照要学习的细胞类型和/或按照一起学习的每个细胞组的分类至少以尽可能多的在原始样本中可区分和/或在显示设备上可表示的颜色值实施,则是有利的。在计算机的情况下,颜色空间是用于颜色表示的常规颜色空间,其中,例如256个颜色值(即8位或1字节的颜色深度)或65536个颜色值(即16位或2字节或1双字节)用于每个像素的每种颜色。
为了有效地节省数据量,选择与RGB不同的颜色空间和/或颜色值表示可以是有利的。由于有效颜色值在细胞类型之间可以不同,并且以理想化的方式,仅在一种单元类型内的饱和度或亮度方面不同,因此有利地存储了颜色值和亮度值。这是有利的,因为不必针对每个图像点将全色信息存储在RGB中。该有利表示将与例如HSV或HSL颜色表示相当。由于在图像中通常比较相似的颜色,在此节省存储空间和/或数据量的可能性特别高。
根据本发明的数字染色的现有优点在于,现在还可以在不同区域之间比较样本,其中通常使用不同的染色协议并因此以不同的细胞染色效果进行工作。如果要记录待检查的未染色的样本,则可以根据本发明用不同的所学到的颜色结构对后者进行选择性染色,所述颜色结构对应于相应的区域染色协议。首先,这提供了以下优点,即优选的或有利的染色协议现在可以用于不同的病理。其次,这还允许医师咨询另一位医师的意见,因为第一位医师可以用第二位医师所习惯的染色向第二位医师显示图像。数字染色可以避免由于染色协议而产生的障碍,因为每个医师现在都可以选择他们的常规染色来建立检查结果。然后,这还将允许例如来自欧洲和美国的医师更好地合作以使患者受益。因此,这在远程医疗意义上促进了医师和/或血液学家的全球合作。
因此,对于远程医疗或通过远程医疗,数字化地适当染色的3D图像和/或数据记录允许全世界的任何医师为已验证的检查结果做出贡献。因此,例如通过数据库(特别是针对所观察的和/或测量细胞的罕见病理学病例的数据库),通过借助于远程医疗的全球链接,可以有利地产生可靠评估的“基础真实”数据记录,该数据记录包括图像和/或3D信息以及至少两个医师验证的检查结果的组合。该程序的重要组成部分还在于根据本发明的选项,该选项能够针对每个采集的细胞并以适应的方式分别改变数字数据记录中焦点处的图像,而无需医师必须坐在显微镜前自己做出检查结果。
然后,只要存在对应的检查结果,就可以使用该数据记录,其检查结果由多个医师彼此独立地进行,例如,用于对计算机模型进行进一步的训练,然后将所述计算机模型恢复到在全球范围内安装的设备上,以便根据某些细胞的识别质量或能够自动识别特定病理的能力来开发每种设备。
根据设备,也可以有利的是,根据本发明的分析仪采集图像,然后将这些图像转移到例如基于云的应用中,或更一般地转移到另一个计算单元,在该计算单元中例如在对一类细胞类型或检查结果进行分配的意义内进行细胞识别、细胞分割和自动评估,作为对某些临床图片的识别和/或对疑似的某些临床图片的确定。
医师具有用于显示根据本发明采集的关于细胞的图像数据的各种选项。
有利地,可以使用例如常规的2D监视器、移动终端和/或平板PC。有利地,平衡颜色表示,使得医师可以采取全彩颜色表示。这在血液学中尤其重要,因为,特别是在病理或明显细胞的情况下,细胞图像中小的色差和结构差异可指示异常。有利地,颜色再现,特别是关于稳定的颜色再现满足例如用于医疗设备的DICOM标准(dicom.nema.org/)。
有利地,操作者和/或用户然后可以通过操作软件聚焦在物体载体或流动池的细胞图像和/或平面图像上。有利地,对应安全的数据链路或满足可能的规范的数据链路可用于例如在医院和/或云中的本地数据存储器、总体数据存储器上的数据。优选地,可以使医师可以立即访问数据以进行例如咨询检查。
优选地,使用具有3D能力的显示器,该显示器可以在有或特别优选地没有其他光学辅助的情况下被观看,并且为用户产生3D视觉印象。优选地,具有3D能力的显示器是计算机和/或移动终端(例如,平板电脑)的一部分。优选地,在这种情况下,可以激活和去激活3D效果。
优选地,数据护目镜,也称为智能眼镜或VR眼镜,用于数据记录的3D表示。
优选地,根据本发明,如果当例如在医学会议的范围内由多个医师同时诊断图像时,则提供用于远程医疗中的远程检查结果的主/从工作模式,所述医师中的一个作为主人领导细胞和/或物体载体和/或流动池的图像导航,其他医师无需独立控制系统就可以遵循该操作。
优选地,医师中的每个还可以独立于其他医师聚焦在他们的图像上并且/或者根据他们习惯的染色协议对图像染色。
附图说明
将基于附图通过具体的示例性实施例再次详细解释本发明。所示的示例代表本发明的优选实施例。详细地:
图1示出用于分析样本中的细胞的自动分析仪。
具体实施方式
如图1所示,用于分析样本中的细胞的自动分析仪包括光学显微镜(1),该显微镜包括用于照亮样本(2)的光源(4)和用于会聚和聚焦从被照亮的样本(2)发出的光束(6)的会聚透镜。样本(2)是含有血细胞(3)的血液样本。样本(2)位于微流体流动池(10)中。此外,显微镜(1)包括具有数字记录设备的光场相机(8),所述记录设备包括用于采集在显微镜(1)中成像的光场的CCD芯片或CMOS芯片。此外,显微镜(1)包括用于在物体平面中采集图像的另一相机,所述另一相机被实现为高分辨率3芯片彩色相机(9)。彩色相机(9)的横向分辨率是光场相机(8)的有效横向分辨率的四倍。彩色相机(9)的焦点设置在光场相机(8)测量范围的中心区域上,例如,虚拟深度范围在3-5之间。显微镜(1)上的非相干照明Sigma是1.0。显微镜(1)是还可以用作微分干涉对比(DIC)显微镜(1)的显微镜。
参考标记列表
1 显微镜
2 样本
3 血细胞
4 光源
6 光束
8 光场相机
9 彩色相机
10 流动池。
Claims (16)
1.一种用于分析医学样本的分析仪,所述分析仪包括光学显微镜,所述光学显微镜用于对物体区域中的光场成像,以对所述样本成像,所述显微镜包括:用于照亮所述样本的光源,和包括用于会聚和聚焦从被照亮的所述样本发出的光束的会聚透镜,以及用于记录所述光束的数字记录设备,
其特征在于,
在所述显微镜上设置有用于采集来自所述物体区域的在所述显微镜中成像的所述光场的光场相机,其中,所述光场相机优选地包括所述数字记录设备。
2.根据权利要求1所述的分析仪,其中,所述光场相机包括具有不同焦距的透镜的微透镜阵列,其中,所述微透镜阵列能够将在所述显微镜中成像的所述光场的中间图像成像到所述数字记录设备上。
3.根据前述权利要求中任一项所述的分析仪,其中,所述分析仪是自动分析仪,优选地是自动血液学分析仪,并且其中,所述样本优选是包括血细胞的血液样本。
4.根据前述权利要求中任一项所述的分析仪,其中,所述显微镜是幅衬显微镜和/或相衬显微镜和/或微分干涉对比(DIC)显微镜。
5.根据前述权利要求中任一项所述的分析仪,其中,在所述显微镜上设置有用于在所述物体区域中的物体平面中采集图像的另一相机,其中,所述另一相机的横向分辨率比所述光场相机的所述横向分辨率高,其中,所述另一相机的分辨率优选地为所述光场相机的分辨率的两倍,特别优选地为四倍,并且其中,所述另一相机优选地具有比所述光场相机大的视场。
6.根据权利要求5所述的分析仪,其中,所述另一相机是彩色相机,优选地是三芯片式彩色相机。
7.根据前述权利要求中任一项所述的分析仪,其中,在所述显微镜上,所述非相干照明Sigma大于0.8,优选地大于0.9,特别优选为1.0,其中,Sigma给出为所述样本的所述照明的数值孔径与所述物镜的数值孔径的比率,并且其中,所述显微镜优选是微分干涉对比(DIC)显微镜。
8.根据前述权利要求中任一项所述的分析仪,其中,所述分析仪包括用于供应样本的流动池,并且其中,所述显微镜的物体平面位于所述流动池中。
9.一种用于借助于根据权利要求1至8中任一项所述的分析仪来确定关于细胞和/或医学制备物的二维或三维信息的方法,所述方法包括以下步骤:
a)向所述显微镜供应具有细胞和/或所述医学制备物的样本,
b)借助于所述数字记录设备记录从被照亮的所述样本中的所述细胞和/或所述医学制备物发出的光束,
c)借助于光场相机对来自所述物体区域在所述显微镜中成像的所述光场进行成像,
d)由在步骤b)中记录的所述光束的信息和/或在步骤c)中成像的所述光场的信息来确定关于所述细胞和/或所述医学制备物的二维和/或三维和/或体积信息。
10.根据权利要求9所述的方法,其中,借助于流动池将步骤a)中的所述样本供应给所述分析仪,并且其中,所述显微镜的物体平面位于所述流动池中,或者其中,借助于用于物体载体的样本供应器具将步骤a)中的所述样本在所述物体载体上供应到所述分析仪。
11.根据权利要求9和10中任一项所述的方法,其中,所述细胞和/或医学制备物不被染色。
12.根据权利要求9至11中任一项所述的方法,还包括以下步骤:
e)借助于在步骤d)中确定的所述细胞的所述二维和/或三维和/或体积信息,沿所述显微镜的所述光轴进行数字重新聚焦或焦点变化,其中,优选地,数字重新聚焦以计算机辅助和/或数字方式实施。
13.根据权利要求9至12中任一项所述的方法,还包括以下步骤:
f)基于预定信息以及在步骤d)中确定的关于所述细胞的所述二维和/或所述三维和/或所述体积信息,将所述细胞关联于细胞类型。
14.一种用于将细胞关联于细胞类型的方法,包括根据权利要求13所述的用于确定关于所述细胞的二维和/或三维和/或体积信息的方法,其中,在第一位置处执行步骤a)至步骤d),并且其中,在步骤d)中确定的所述信息经由网络连接被数字传输至第二位置,并且其中,在所述第二位置处执行步骤e)和步骤f)。
15.一种用于对细胞和/或医学制备物进行数字染色的方法,所述方法包括根据权利要求9至14中任一项所述的方法,并且还包括以下步骤:
g)根据所述细胞和/或所述医学制备物的所述二维和/或所述三维和/或所述体积信息与借助于染色协议对细胞和/或医学制备物和/或细胞和/或医学制备物内的结构进行的染色之间的预定关联,对所述细胞和/或所述医学制备物进行数字染色,
h)显示被数字染色的细胞和/或制备物的图像。
16.根据权利要求15所述的方法,其中,所述染色协议是May-Grünwald-Giemsa染色协议、改良的Wright染色、Wright-Giemsa染色和/或Romanowsky染色。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP18000484.8A EP3575848A1 (de) | 2018-05-30 | 2018-05-30 | Analyzer zur dreidimensionalen analyse einer medizinischen probe mittels einer lichtfeldkamera |
EP18000484.8 | 2018-05-30 | ||
PCT/IB2019/054051 WO2019229573A1 (de) | 2018-05-30 | 2019-05-16 | Analyzer zur dreidimensionalen analyse einer medizinischen probe mittels einer lichtfeldkamera |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112236705A true CN112236705A (zh) | 2021-01-15 |
Family
ID=62715791
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980036043.6A Pending CN112236705A (zh) | 2018-05-30 | 2019-05-16 | 借助于光场相机对医学样本进行三维分析的分析仪 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20210217190A1 (zh) |
EP (2) | EP3575848A1 (zh) |
JP (1) | JP2021525866A (zh) |
CN (1) | CN112236705A (zh) |
WO (1) | WO2019229573A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114152557A (zh) * | 2021-11-16 | 2022-03-08 | 深圳元视医学科技有限公司 | 基于图像分析的血细胞计数方法和系统 |
CN114326075A (zh) * | 2021-12-10 | 2022-04-12 | 肯维捷斯(武汉)科技有限公司 | 一种生物样品的数字显微成像系统及镜检方法 |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020030841A1 (es) * | 2018-08-08 | 2020-02-13 | Universitat De Valencia | Dispositivo ocular plenóptico |
DE102018222300A1 (de) * | 2018-12-19 | 2020-06-25 | Leica Microsystems Cms Gmbh | Skalierende Detektion |
DE102021204805A1 (de) * | 2021-05-11 | 2022-11-17 | Carl Zeiss Microscopy Gmbh | Bewertungsverfahren für Simulationsmodelle in der Mikroskopie |
EP4134670A1 (en) | 2021-08-09 | 2023-02-15 | Siemens Healthcare Diagnostics Inc. | A hematology analyzer comprising a single hardware module and integrated workflow |
EP4137863A1 (en) * | 2021-08-19 | 2023-02-22 | Siemens Healthcare GmbH | Device and method for observing a biological probe |
EP4148376A1 (de) * | 2021-09-09 | 2023-03-15 | Siemens Healthcare Diagnostics Inc. | Verfahren zum abbilden eines messobjekts mit einer kamera mittels differenzialinterferenzkontrastmikroskopie |
WO2023154925A1 (en) * | 2022-02-14 | 2023-08-17 | Genetic Innovations, Inc. | Medical spectroscopy and imaging analysis |
WO2024108104A1 (en) * | 2022-11-18 | 2024-05-23 | Siemens Healthcare Diagnostics Inc. | Systems and methods for classifying blood cells |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040156109A1 (en) * | 2003-02-07 | 2004-08-12 | Hoover Rex A. | Light diffuser for optical microscopes replacing condenser with opal glass to produce near-koehler illumination |
DE102006007172A1 (de) * | 2006-02-08 | 2007-08-16 | Universität Stuttgart | Verfahren und Anordnung zur schnellen, ortsaufgelösten, flächigen, spektroskopischen Analyse, bzw. zum Spectral Imaging oder zur 3D-Erfassung mittels Spektroskopie |
US20080266655A1 (en) * | 2005-10-07 | 2008-10-30 | Levoy Marc S | Microscopy Arrangements and Approaches |
US20110080487A1 (en) * | 2008-05-20 | 2011-04-07 | Pelican Imaging Corporation | Capturing and processing of images using monolithic camera array with heterogeneous imagers |
US20120050562A1 (en) * | 2009-04-22 | 2012-03-01 | Raytrix Gmbh | Digital imaging system, plenoptic optical device and image data processing method |
CN102575928A (zh) * | 2009-05-15 | 2012-07-11 | 德固萨有限责任公司 | 用于对对象进行三维测量的方法以及测量装置 |
CN104094099A (zh) * | 2011-04-15 | 2014-10-08 | 体质医学股份有限公司 | 测量细胞体积和成份 |
CN106462746A (zh) * | 2014-06-16 | 2017-02-22 | 西门子医疗保健诊断公司 | 分析数字全息显微术数据以用于血液学应用 |
CN206311061U (zh) * | 2016-12-05 | 2017-07-07 | 苏州大学 | 一种多波长可调谐显微干涉的测量装置 |
JP2018000048A (ja) * | 2016-06-29 | 2018-01-11 | オリンパス株式会社 | 多能性幹細胞の無染色評価支援方法、プログラム、演算装置 |
CN107850767A (zh) * | 2015-07-17 | 2018-03-27 | 徕卡显微系统复合显微镜有限公司 | 用于使多个物面同时成像的光片显微镜 |
EP3312605A1 (en) * | 2015-06-16 | 2018-04-25 | Konica Minolta, Inc. | Image processing device, image processing method and image processing program |
WO2018081452A1 (en) * | 2016-10-26 | 2018-05-03 | Board Of Regents, The University Of Texas System | High throughput, high resolution optical metrology for reflective and transmissive nanophotonic devices |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7450229B2 (en) * | 1999-01-25 | 2008-11-11 | Amnis Corporation | Methods for analyzing inter-cellular phenomena |
WO2014024745A1 (ja) * | 2012-08-06 | 2014-02-13 | 富士フイルム株式会社 | 撮像装置 |
AT513560A1 (de) * | 2012-11-08 | 2014-05-15 | Berndorf Band Gmbh | Vorrichtung zur Untersuchung von Oberflächen von Metallblechen |
EP2835613B1 (de) * | 2013-08-08 | 2019-01-16 | Hexagon Technology Center GmbH | Geodätisches Vermessungsgerät mit Mikrolinsenarray |
-
2018
- 2018-05-30 EP EP18000484.8A patent/EP3575848A1/de not_active Ceased
-
2019
- 2019-05-16 WO PCT/IB2019/054051 patent/WO2019229573A1/de unknown
- 2019-05-16 US US17/059,420 patent/US20210217190A1/en not_active Abandoned
- 2019-05-16 EP EP19728133.0A patent/EP3803495A1/de active Pending
- 2019-05-16 CN CN201980036043.6A patent/CN112236705A/zh active Pending
- 2019-05-16 JP JP2020566589A patent/JP2021525866A/ja active Pending
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040156109A1 (en) * | 2003-02-07 | 2004-08-12 | Hoover Rex A. | Light diffuser for optical microscopes replacing condenser with opal glass to produce near-koehler illumination |
US20080266655A1 (en) * | 2005-10-07 | 2008-10-30 | Levoy Marc S | Microscopy Arrangements and Approaches |
DE102006007172A1 (de) * | 2006-02-08 | 2007-08-16 | Universität Stuttgart | Verfahren und Anordnung zur schnellen, ortsaufgelösten, flächigen, spektroskopischen Analyse, bzw. zum Spectral Imaging oder zur 3D-Erfassung mittels Spektroskopie |
US20110080487A1 (en) * | 2008-05-20 | 2011-04-07 | Pelican Imaging Corporation | Capturing and processing of images using monolithic camera array with heterogeneous imagers |
US20120050562A1 (en) * | 2009-04-22 | 2012-03-01 | Raytrix Gmbh | Digital imaging system, plenoptic optical device and image data processing method |
CN102575928A (zh) * | 2009-05-15 | 2012-07-11 | 德固萨有限责任公司 | 用于对对象进行三维测量的方法以及测量装置 |
CN104094099A (zh) * | 2011-04-15 | 2014-10-08 | 体质医学股份有限公司 | 测量细胞体积和成份 |
CN106462746A (zh) * | 2014-06-16 | 2017-02-22 | 西门子医疗保健诊断公司 | 分析数字全息显微术数据以用于血液学应用 |
JP2017519985A (ja) * | 2014-06-16 | 2017-07-20 | シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレーテッドSiemens Healthcare Diagnostics Inc. | 血液学用デジタルホログラフィ顕微鏡検査データ分析 |
EP3312605A1 (en) * | 2015-06-16 | 2018-04-25 | Konica Minolta, Inc. | Image processing device, image processing method and image processing program |
CN107850767A (zh) * | 2015-07-17 | 2018-03-27 | 徕卡显微系统复合显微镜有限公司 | 用于使多个物面同时成像的光片显微镜 |
JP2018000048A (ja) * | 2016-06-29 | 2018-01-11 | オリンパス株式会社 | 多能性幹細胞の無染色評価支援方法、プログラム、演算装置 |
WO2018081452A1 (en) * | 2016-10-26 | 2018-05-03 | Board Of Regents, The University Of Texas System | High throughput, high resolution optical metrology for reflective and transmissive nanophotonic devices |
CN206311061U (zh) * | 2016-12-05 | 2017-07-07 | 苏州大学 | 一种多波长可调谐显微干涉的测量装置 |
Non-Patent Citations (2)
Title |
---|
JONGHYUN KIM ET AL.: "《A single-shot 2D/3D simultaneous imaging microscope based on light field microscopy》", 《VISUAL COMMUNICAITONS AND IMAGE PROCESSING》 * |
JONGHYUN KIM ET AL.: "《A single-shot 2D/3D simultaneous imaging microscope based on light field microscopy》", 《VISUAL COMMUNICAITONS AND IMAGE PROCESSING》, 1 July 2015 (2015-07-01), pages 1 - 4 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114152557A (zh) * | 2021-11-16 | 2022-03-08 | 深圳元视医学科技有限公司 | 基于图像分析的血细胞计数方法和系统 |
CN114152557B (zh) * | 2021-11-16 | 2024-04-30 | 深圳元视医学科技有限公司 | 基于图像分析的血细胞计数方法和系统 |
CN114326075A (zh) * | 2021-12-10 | 2022-04-12 | 肯维捷斯(武汉)科技有限公司 | 一种生物样品的数字显微成像系统及镜检方法 |
CN114326075B (zh) * | 2021-12-10 | 2023-12-19 | 肯维捷斯(武汉)科技有限公司 | 一种生物样品的数字显微成像系统及镜检方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2019229573A1 (de) | 2019-12-05 |
EP3803495A1 (de) | 2021-04-14 |
US20210217190A1 (en) | 2021-07-15 |
JP2021525866A (ja) | 2021-09-27 |
EP3575848A1 (de) | 2019-12-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112236705A (zh) | 借助于光场相机对医学样本进行三维分析的分析仪 | |
US10025271B2 (en) | Method and system for detecting and/or classifying cancerous cells in a cell sample | |
Bolte et al. | A guided tour into subcellular colocalization analysis in light microscopy | |
CA2663744C (en) | Focal plane tracking for optical microtomography | |
ES2301706T3 (es) | Metodo de videomicroscopia cuantitativa y sistema asociado asi como el producto de programa informatico de sofware. | |
US9002077B2 (en) | Visualization of stained samples | |
ES2292973T3 (es) | Metodo para video-microscopia y sistema asociado, y producto de programa de soporte logico informatico. | |
JP5775069B2 (ja) | 細胞観察装置および細胞観察方法 | |
JP2022528693A (ja) | アッセイ精度及び信頼性の向上 | |
US20220334371A1 (en) | Intelligent automated imaging system | |
WO2005114147A1 (ja) | 着色された光透過性の試料を撮像して得られた画像を処理する画像処理装置 | |
US20230062698A1 (en) | Method for digitally staining cells | |
CN108387553B (zh) | 针对白细胞与血小板共存全息图的分块重建与分类计数方法 | |
US20220366709A1 (en) | Label-Free Hematology and Pathology Analysis Using Deep-Ultraviolet Microscopy | |
US20200355902A1 (en) | Microscopy device | |
EP4235568A1 (en) | Analysis method and analysis apparatus | |
EP3910399A1 (de) | Verfahren zur virtuellen annotation von zellen | |
Liao | Imaging Innovations for Whole-Slide and Hyperspectral Microscopy | |
Hu et al. | Deep-learning assisted label-free hematology analysis through defocusing a regular microscope | |
CN116224268A (zh) | 一种用于无标记肿瘤组织的高光谱显微成像分析系统 | |
Lerner et al. | Automatic signal classification in fluorescence in-situ hybridization images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |