CN106605162A - 用于修正数字显微镜的颜色重现的方法和数字显微镜 - Google Patents
用于修正数字显微镜的颜色重现的方法和数字显微镜 Download PDFInfo
- Publication number
- CN106605162A CN106605162A CN201580045651.5A CN201580045651A CN106605162A CN 106605162 A CN106605162 A CN 106605162A CN 201580045651 A CN201580045651 A CN 201580045651A CN 106605162 A CN106605162 A CN 106605162A
- Authority
- CN
- China
- Prior art keywords
- microscope
- state
- illumination mechanism
- microscope illumination
- correction value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000005286 illumination Methods 0.000 claims abstract description 132
- 238000012937 correction Methods 0.000 claims abstract description 64
- 230000007246 mechanism Effects 0.000 claims description 97
- 230000003287 optical effect Effects 0.000 claims description 73
- 238000012545 processing Methods 0.000 claims description 7
- 238000007811 spectroscopic assay Methods 0.000 claims description 3
- 239000003086 colorant Substances 0.000 abstract description 13
- 230000001419 dependent effect Effects 0.000 abstract 1
- 238000001228 spectrum Methods 0.000 description 30
- 230000003595 spectral effect Effects 0.000 description 19
- 230000008569 process Effects 0.000 description 9
- 239000011159 matrix material Substances 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 4
- 238000004088 simulation Methods 0.000 description 4
- 238000012790 confirmation Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 238000004452 microanalysis Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000007689 inspection Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000013213 extrapolation Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000003760 hair shine Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000004899 motility Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000004611 spectroscopical analysis Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
- G01J3/52—Measurement of colour; Colour measuring devices, e.g. colorimeters using colour charts
- G01J3/524—Calibration of colorimeters
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/06—Means for illuminating specimens
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
Landscapes
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Optics & Photonics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Microscoopes, Condenser (AREA)
- Color Television Image Signal Generators (AREA)
- Spectrometry And Color Measurement (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本发明涉及一种用于修正数字显微镜的颜色重现的颜色的方法以及一种数字显微镜，在根据本发明的方法的第一步骤中，拍摄要以显微镜来检验的试样的有颜色的图像。在拍摄时，通过采集在显微镜照明机构上所选择的设置来获知对试样进行照明的显微镜照明机构的与波长有关的特性(02；03)，用以描述显微镜照明机构的状态。在进一步的步骤中，确定修正值(08)集合，其配属于显微镜照明机构的状态，该状态根据显微镜照明机构的在拍摄时所获知的状态来选择。在进一步的步骤中，通过应用先前确定的集合的修正值(08)来修正所拍摄的有颜色的图像的颜色。
Description
技术领域
本发明首先涉及一种用于修正数字显微镜的颜色重现的颜色的方法。通过该方法能够实现要以显微镜来检验的试样的颜色准确(Farbgetreu)的重现。因此，该方法指的是用于对数字显微镜进行颜色管理的方法。此外，本发明还涉及一种具有图像处理单元的数字显微镜，该图像处理单元被构造成用于颜色修正。
背景技术
US 2013/0044200 A1示出了一种用于在显微镜的载玻片中进行颜色修正的系统。承载试样的载玻片附加地具有多个颜色基准。颜色基准与试样一起被照明并且被显微镜拍摄。借助所拍摄的颜色基准来对所拍摄的图像进行颜色修正。
US 8,238,534 B2教导了一种用于显微镜的设备，该设备包括用于对承受显微镜照明的光学元件进行采集的单元。根据分别采集到的光学元件，从存储器中读取用于颜色修正的参数，以便因此执行对利用显微镜的图像拍摄单元来拍摄的图像进行的颜色修正。
由US 2014/0055592 A1公知了一种在透射光显微镜的载玻片中用于颜色修正的系统，其中，在载玻片上布置有滤色器阵列(Farbfilterfeld)。显微镜照明机构透射滤色器阵列并拍摄滤色器阵列，以便执行对所显出的图像的颜色修正。
JP 4311945 B2示出了一种用于显微镜的电子相机，其中，对所拍摄的视频信号的色调和色度的修正通过与预先确认的系数相乘来实现。
由JP 4217494 B2公知了一种用于显微镜的电子相机，其中，借助处理器从多个可能的色阶中选定合适的色阶。
EP 2 204 980 B1示出了一种用于显微镜的图像处理系统，其中，利用图像拍摄设备采集第一和第二图像数据。借助RGB插值单元从中产生经插值的第一RGB图像数据和经插值的第二RGB图像数据。对经插值的第一RGB图像数据进行颜色修正，以便计算出颜色矩阵和色阶参数，它们被用于对经插值的第二RGB图像数据进行颜色修正。
US 2012/0050727 A1示出了一种成像系统，其例如被构造为显微镜并且包括修正单元，该修正单元被用于对所要成像的试样的图像进行修正。该修正基于光谱信息，这些信息利用光谱传感器来采集。
US 2011/0249155 A1示出了一种图像拍摄系统，其尤其被构造为显微镜并且包括色调修正单元，色调修正单元被用于对所要成像的试样的利用行传感器拍摄的图像进行修正。该修正基于光谱信息，这些信息利用光谱传感器来采集。
US 2008/0018735 Al教导了一种以显微镜来检验的拍摄装置，其中应用到颜色修正矩阵，颜色修正矩阵从相机特性曲线计算出。相机特性曲线被保存在存储器中并且包含了关于图像转换器的光谱敏感度的说明，这些说明由所拍摄的图像的背景来确定。
由DE 10 2005 031 104 A1公知了一种用于对自动显微镜进行颜色准确的图像重现的方法。在该方法中，采集用于驱控光源的参数，以便在初始调试时能够将这些参数配属于光源的测量到的光谱分布，并且以便将这些配属信息在之后的正常运行中用于对光源进行受调节的驱控。此外，通过使显示器图像的光谱分布匹配于光源的光谱分布来对已确认的光谱偏差进行补偿。
发明内容
由现有技术出发，本发明的任务在于，改进对数字显微镜的颜色重现的颜色的修正，以便能够实现对以显微镜来检验的试样的颜色准确的重现。
所提及的任务通过根据所附的权利要求1的方法以及通过根据所附的并列权利要求10的数字显微镜来解决。
根据本发明的方法被用作对数字显微镜的颜色重现的颜色进行修正。在数字显微镜中进行电子图像转换，其中，所拍摄的形式为数字数据的图像被进一步处理并在电子图像重现装置上显示。
在根据本发明的方法的第一步骤中，利用数字显微镜拍摄要以显微镜来检验的试样的有颜色的图像。这个有颜色的图像是颜色修正的对象。在拍摄时，通过采集在显微镜照明机构上所选择的设置来获知对试样进行照明的显微镜照明机构的与波长有关的特性，用以描述显微镜照明机构的状态。该方法步骤考虑到了能改变显微镜照明机构来匹配所要达到的拍摄。例如，可以改变照明强度或可以选定确定类型的照明，如明场照明和暗场照明，或可以选定不同的单个光源并对其进行定向。因此，在显微镜照明机构上所选择的设置包括参数设置和/或配置的选定。显微镜照明机构的设置和/或与波长有关的特性优选被存储在一个或多个存储器中，从而采集设置包括对存储器的读取。也可以间接地通过如下方式采集设置，即，对从显微镜照明机构发出的照明光进行光谱测定；例如，利用微型分光计或利用微型多波长图像传感器来进行。这些设置整体上导致显微镜照明机构的某一状态，该状态根据本发明通过采集设置被记录下来。显微镜照明机构的不同状态的特征在于，它们导致显微镜照明机构的不同的与波长有关的特性。尤其地，电磁辐射的由显微镜照明机构作用在试样上的辐射强度与波长有关。
在根据本发明的方法的另一步骤中，确定修正值集合。该修正值集合例如由修正值域，优选由一个或多个修正值向量或由一个或多个修正值矩阵形成。修正值表示修正因子。要确定的修正值集合配属于显微镜照明机构的根据显微镜照明机构的在拍摄时所获知的状态来选择的状态，也就是说，要确定的修正值集合根据显微镜照明机构的在拍摄时所获知的状态来选择，为此，配属的状态被当作标准。要确定的修正值集合适用于执行对在显微镜照明机构的配属的状态下被拍摄的图像进行的颜色修正。利用要确定的修正值集合能够对试样的先前所拍摄的有颜色的图像进行颜色修正。
在根据本发明的方法的另一步骤中，通过应用先前确定的集合的修正值来修正试样的所拍摄的有颜色的图像的颜色。其结果是得到所拍摄的试样的颜色经修正的图像。颜色修正优选也包括白平衡。
根据本发明的方法的特别的优点在于，为了对利用数字显微镜来拍摄的图像进行颜色修正，分别在显微镜照明机构的当前所设置的状态中考虑显微镜照明机构的与波长有关的光谱特性。
在根据本发明的方法的一些优选实施方式中还考虑到显微镜的光学拍摄装置的与波长有关的特性。该光学拍摄装置包括光学系统和电子图像转换器。光学系统例如包括物镜、光圈和变焦光学系统。图像转换器也可以被称为传感器或图像传感器。在这些优选的实施方式中，在拍摄要以显微镜来检验的试样的有颜色的图像时，还通过采集在光学拍摄装置上所选择的设置来获知光学拍摄装置的与波长有关的特性，用以描述光学拍摄装置的状态。通过不同的设置，例如通过不同的参数设置或通过对光学系统的不同配置，提供了光学拍摄装置的不同状态，在其中，光学拍摄装置具有不同的与波长有关的特性。这些在光学拍摄装置上所选择的设置与在显微镜照明机构上所选择的设置一起被采集。光学拍摄装置的设置和/或与波长有关的特性优选被存储在一个或多个存储器，从而采集设置包括对存储器的读取。此外，在这些优选的实施方式中，要确定的修正值集合配属于光学拍摄装置的状态。因此，要确定的修正值集合配属与显微镜照明机构的状态和光学拍摄装置的状态。光学拍摄装置的配属于要确定的修正值集合的状态根据光学拍摄装置的在拍摄时所获知的状态来选定。要确定的修正值集合适用于执行对如下这样的所拍摄的图像进行的颜色修正，这些图像在显微镜照明机构的配属的状态下并且在光学拍摄装置的配属的状态下被拍摄。要确定的修正值集合适用于因此修正试样的先前所拍摄的有颜色的图像。这些优选实施方式的优点在于，考虑到了数字显微镜的所有影响颜色重现的部件的与波长有关的特性。接下来，对如下优选的实施方式进行描述，其中，优选要考虑光学拍摄装置的与波长有关的特性，但不是强制性的。
确定修正值集合优选包括以下分步骤，其中，从配属于显微镜照明机构的所存储的且不同的状态并且必要时还有配属于光学拍摄装置的不同的状态的多个修正值集合中选定至少一个修正值集合。在此，显微镜照明机构的配属于所选定的修正值集合的状态最接近显微镜照明机构的在拍摄时所获知的状态。如果还考虑到光学拍摄装置的与波长有关的特性，那么光学拍摄装置的配属于所选定的修正值集合的状态也最接近光学拍摄装置的在拍摄时所获知的状态。因此，将显微镜照明机构的所获知的状态并且必要时还有光学拍摄装置的所获知的状态与显微镜照明机构的配属于所存储的集合的状态并且必要时还有光学拍摄装置的配属于所存储的集合的状态作比较，以便找到彼此匹配的状态，从而选择出适用于对所拍摄的图像的颜色修正的至少一个修正值集合。
在第一组优选实施方式中，所选定的修正值集合直接被当作要确定的修正值集合，从而使所选定的修正值集合被直接用于对所拍摄的图像进行颜色修正。于是当显微镜照明机构的配属于所选定的修正值集合的状态与显微镜照明机构的在拍摄时所获知的状态相同时，并且如果考虑到光学拍摄装置的与波长有关的特性的话，当光学拍摄装置的配属于所选定的修正值集合的状态与光学拍摄装置的在拍摄时所获知的状态相同时，第一组优选实施方式是尤其适合的。
在第二组优选实施方式中，确定修正值集合还包括以下分步骤，其中，对所选定的集合的修正值进行匹配，以便从中获得要确定的修正值集合。该匹配优选由外推法形成。于是当显微镜照明机构的配属于所选定的修正值集合的状态仅近似于显微镜照明机构的在拍摄时所获知的状态时，并且/或者如果考虑到光学拍摄装置的与波长有关的特性的话，当光学拍摄装置的配属于所选定的修正值集合的状态仅近似于光学拍摄装置的在拍摄时所获知的状态时，第二组优选实施方式是尤其适合的。
在第三组优选实施方式中，从配属于显微镜照明机构的所存储的且不同的状态并且必要时还有配属于光学拍摄装置的不同的状态的多个修正值集合中选定其中至少两个修正值集合，以便从中间接地获得要确定的修正值集合。为此，确定修正值集合还包括以下分步骤，在其中，对两个所选定的集合的修正值进行插值，其中，插值的结果表示要确定的修正值集合。当显微镜照明机构的在拍摄时所获知的状态定量地位于它们的两个所选定的修正值集合之间时，或者当光学拍摄装置的采集到的状态定量地位于它们的两个所选定的修正值集合之间时，该第三组优选实施方式尤其是适合的。两个所选定的修正值集合可以例如配属于显微镜照明机构的或光学拍摄装置的与在显微镜照明机构上或在光学拍摄装置上所选择的设置的极值相应的状态。
根据本发明的方法优选在应用色系(Farbfamilie)的情况下执行。色系分别包括对能够由颜色重现表示的颜色的选定。在这些实施方式中，为了确定修正值集合，首先确定出现在所拍摄的图像中的色值，并且将该色值配属于多个预先确认的色系中的一个色系。配属于显微镜照明机构的所存储的且不同的状态并且必要时还有配属于光学拍摄装置的不同的状态的修正值集合分别配属于预先确认的色系中的一个色系。所选定的修正值集合配属于色系中的也配属于所拍摄的图像的那个色系。在此，所选定的修正值集合尤其仅获得适用于对该色系的颜色进行修正的修正值。这些实施方式具有的优点是，修正值仅针对所有可能颜色的有限的选定，从而可以处理较少量的数据。
在另外一些优选实施方式中假设，配属于修正值集合的色系并不完整。在这些实施方式中，为了确定修正值集合，首先再次确定在所拍摄的图像中出现的色值，并且将该色值配属于多个预先确认的色系中的一个色系。这些色系分别包括对能够通过颜色重现表示的颜色的选定。配属于显微镜照明机构的所存储的且不同的状态并且必要时还有配属于光学拍摄装置的不同的状态的修正值集合分别配属于所选定的色系中的一个色系，其中，所选定的修正值集合配属于色系中的最接近配属于所拍摄的图像的色系的那个色系。
配属于显微镜照明机构的所存储的且不同的状态并且必要时还有配属于光学拍摄装置的不同的状态的修正值集合优选被事先获知，也就是说在拍摄要以显微镜来检验的试样的图像之前进行获知。对修正值集合的这样的获知优选在校准过程中进行，该校准过程在以显微镜来检验试样之前发生。
对修正值集合的获知，也就是说，校准过程，优选包括多个分步骤。在一个分步骤中，在配属显微镜照明机构上所选择的设置的情况下，在显微镜照明机构的多个状态中采集显微镜照明机构的与波长有关的特性。如果还考虑到光学拍摄装置的与波长有关的特性，也进行以下分步骤，其中，在配属光学拍摄装置上所选择的设置的情况下，在光学拍摄装置的的多个状态中采集光学拍摄装置的与波长有关的特性。在进一步的步骤中，在显微镜照明机构的多个状态中的每个状态中，并且必要时也在光学拍摄装置的多个状态中的每个状态中，利用数字显微镜分别拍摄颜色基准的至少一个有颜色的图像。颜色基准是用于进行标准化的颜色重现的装置，例如是布置在颜色基准卡上的颜色场(Farbfeld)。也可以同时拍摄多个颜色基准。在进一步的分步骤中，针对显微镜照明机构的多个状态中的每个状态，并且必要时也针对光学拍摄装置的多个状态中的每个状态，都确定修正值集合，其描述了对在显微镜照明机构的相应状态中的并且必要时还在光学拍摄装置的相应状态中所拍摄的图像的修正，用以对颜色基准进行颜色准确的重现。因此，在考虑显微镜照明机构的与波长有关的特性并且必要时还有在考虑光学拍摄装置的与波长有关的特性的情况下来确定修正值。将其中每个修正值集合都配属于显微镜照明机构的状态中的一个状态并且必要时还配属于光学拍摄装置的状态中的一个状态。
在校准过程中，图像，也就是说图像的颜色，优选以RGB格式进行处理。
在一个替选的优选实施方式中，不进行在其中预先确定多个修正值集合的校准过程。取而代之的是，在以显微镜来检验试样期间确定修正值集合。这样的对修正值集合的确定通过如下方式来实现，即，在考虑到对试样进行照明的显微镜照明机构的与波长有关的特性的情况下，并且必要时还有在考虑到拍摄试样的光学拍摄装置的与波长有关的特性的情况下，计算出该修正值集合。因此，对与波长有关的照明并且必要时还有对与波长有关的光学处理进行了模拟。所以，通过模拟获得修正值集合。修正值描述了对在对试样进行照明的显微镜照明机构的与波长有关的特性占优的情况下并且必要时还有在拍摄试样的光学拍摄装置的与波长有关的特性占优的情况下所拍摄的图像进行的修正，用以对试样的颜色进行颜色准确的重现。
在以显微镜来检验试样期间通过模拟来对修正值集合进行确定时，颜色优选分别通过它们的光谱来描述。
在考虑到对试样进行照明的显微镜照明机构的与波长有关的特性的情况下并且必要时还有在考虑到拍摄试样的光学拍摄装置的与波长有关的特性的情况下，对修正值集合的确定可以不在以显微镜来检验的期间而是在时间上间隔开地在以显微镜来检验之前进行，为此预先存储至少一个修正值集合。在此，优选事先计算并存储其中多个修正值集合。
显微镜照明机构的与波长有关的特性优选通过显微镜照明机构的光谱来描述。相应地，必要时光学拍摄装置的与波长有关的特性也通过光学拍摄装置的至少一个光谱来描述。
所提到的光谱优选分别通过光谱曲线的大量网格点来描述，例如通过200个网格点来描述。
在显微镜照明机构的不同状态下，该显微镜照明机构具有不同的与波长有关的特性，尤其是在各个光谱范围中的不同的强度。此外，显微镜照明机构在其多个状态下尤其还具有不同的照明强度值。此外，显微镜照明机构在其多个状态下优选还具有被投射到试样上的光的不同的辐射方向。
光学拍摄装置在其多个状态下优选具有不同的焦距。此外，光学拍摄装置在其多个状态下优选具有不同的物镜配置，例如具有不同的可更换物镜。此外，光学拍摄装置在其多个状态下优选还具有不同的图像转换器配置，例如具有不同的可替换图像转换器。
优选通过如下方式采集在显微镜照明机构上所选择的设置，即，对从显微镜照明机构发出的照明光进行光谱测定。为此，利用至少一个对波长敏感的传感器，其优选由微型分光计或由微型多波长图像传感器形成。一个对波长敏感的传感器或多个对波长敏感的传感器优选被整合到数字显微镜中；例如被整合到显微镜照明机构、物镜或光学模块中。此外，一个对波长敏感的传感器或者说多个对波长敏感的传感器中的一个或多个传感器优选布置在试样载体上或显微镜的支架上，以便尤其能够测量形式为从外部作用的光、例如发光体或日光的显微镜照明。借助至少一个对波长敏感的传感器能够获知照明光在提出请求时或在初始化期间或在校准期间或在预定时间点的光谱数据，以便能够将这些数据暂时例如存储在PC中或数字显微镜的EPROM或存储器中或物镜的EPROM或存储器中。如果将多个对波长敏感的传感器中的一个或多个传感器布置在试样载体上或显微镜的支架上，那么即使当显微镜照明例如由日光或由其他照到试样上的光源形成时，这也能够与用于布置多个对波长敏感的传感器的其他选择可能性一起实现获知修正值。在这方面，在显微镜照明机构上所选择的设置还包括显微镜相对于日光或另外的照到试样上的光源的定向。优选事先对至少一个对波长敏感的传感器进行校准，例如借助已校准的外部光源。
显微镜照明机构的与波长有关的特性优选存储在布置于数字显微镜上的存储器中并能被调取。尤其是当物镜指的是可更换物镜时，物镜的与波长有关的特性优选存储在布置于物镜上的存储器中。图像转换器的与波长有关的特性优选存储在布置于数字显微镜上的存储器中。
在显微镜照明机构上所选择的设置优选通过对照明强度的设置、通过选定各个光源、通过对显微镜照明机构或各个光源的定向、通过对照明光圈的设置和/或通过选定光照类型，如暗场照明或明场照明来形成。在显微镜照明机构上所选择的设置可以替选地优选通过如下方式进行采集，即，读取用于设置显微镜照明机构的设置元件，也就是说，这些设置元件也被直接用于采集在显微镜照明机构上所选择的设置。这些实施方式具有的优点是，在拍摄要以显微镜来检验的试样时不必对显微镜照明机构进行度量(vermessen)。
在光学拍摄装置上所选择的设置优选通过选定可更换物镜、通过选定可替换图像转换器、通过设置拍摄光圈和/或通过设置焦距来形成。
根据本发明的数字显微镜包括至少一个光学拍摄装置、显微镜照明机构和被配置成用于实施根据本发明的方法的图像处理单元。图像处理单元优选被配置成用于实施根据本发明方法的优选的实施方式。此外，根据本发明的数字显微镜也示出了结合根据本发明的方法及其优选的实施方式来描述的这些特征。尤其地，数字显微镜优选包括用于光谱地测出由显微镜照明机构发出的照明光的对波长敏感的传感器。
附图说明
本发明的另外的优点、细节和改进方案在参照附图的情况下将由下面的对本发明的优选的实施方式的描述得到。其中：
图1示出按照根据本发明的方法的第一优选实施方式的用于确定修正值的原理图；
图2示出按照根据本发明的方法的第二优选实施方式的用于确定修正值的原理图；
图3示出根据一般的实施方式的根据本发明的修正值获知的流程图；
图4示出根据一个典型的实施方式的根据本发明的修正值获知的流程图；并且
图5示出根据另一典型的第二实施方式的根据本发明的修正值获知的流程图。
具体实施方式
图1示出了按照根据本发明的方法的第一优选实施方式的用于确定修正值的原理图。
在数字显微镜中，各种设置和配置都是能改变的。例如可以选择暗场照明或明场照明，这分别通过暗场照明的光谱01和明场照明的光谱02象征性表示。此外，还可以改变光谱范围，例如在可见光波长范围内，或在近红外范围内，这特别可以通过不同的光源，如发白光的LED或氙灯产生。此外，通过光学元件或数字显微镜的光学系统来改变传输和/或反射的光谱特性。也可以改变图像转换器的光谱敏感度，也就是说传感器的光谱敏感度。光学系统和图像传感器的光谱特性通过光谱03来象征性表示。
光谱01、02、03在所示的示例中分别通过200个网格点来说明。
根据本发明的方法利用到颜色基准04，其在物理上例如可以按颜色基准盘的形式存在并利用数字显微镜进行拍摄(参见图2)或如在所示的实施方式中对其进行模拟。例如可以使用N＝24种基准色。在示例性示出的模拟的情况下，这N＝24种颜色分别作为例如具有M＝200个网格点的光谱来表示。替选地，也可以选择减少了的数量，例如N＝3和M＝3；例如是针对RGB的三个值。基准色通过第一方格06来象征性表示。
照明机构、光学系统和图像传感器的光谱特性01、02、03通过第二方格07来象征性表示。这些光谱特性01、02、03确定了如何表示颜色基准04的未经修正的颜色以及因此遭受失真。这需要进行颜色修正CC，颜色修正包含白平衡WB，以便修正失真的颜色，这通过第三方格08来象征性表示。其结果导致颜色基准的修正后的颜色09，这通过第四方格11来象征性表示。
根据本发明获知通过第三方格08来象征性表示的修正值，以便随后将其用于对所拍摄的试样图像进行颜色修正。
因为照明机构、光学系统和图像传感器的通过第二方格07来象征性表示的光谱特性01、02、03是已知的，所以在所示的实施方式中完全以数学的方式确定了通过第三方格08象征性表示的修正值，这相应于数字显微镜的模拟。当需要具有中间参考数据的中间步骤时，对通过第三方格08象征性表示的修正值的确定也可以被划分成两个或更多个步骤。这样的中间参考数据可以通过附加的要求来限定，以便能够动用不同的颜色空间，例如CIE1931XYZ。
在考虑到照明机构、光学系统、传感器的光谱特性01、02、03的情况下对通过第三方格08来象征性表示的修正值进行完全以数学的方式的确定可以作为实时解决方案来执行，这是因为在以显微镜来检验期间每次对光谱特性的改变(例如通过改变照明强度)都导致完全重新计算修正值。然而，该实施方式也可以在时间上间隔开地在以显微镜来检验之前执行，为此要相应地存储所获知的修正值。对修正值的计算可以通过软件来进行，该软件例如在PC上、在平板电脑上或智能手机上运行。对修正值的计算也可以通过硬件来实现，例如通过确定的算法在现场可编程的门阵列(FPGA)中或在媒体处理器中来实现。
图2示出了按照根据本发明的方法的第二优选实施方式的用于确定修正值的原理图。
在该实施方式中，颜色基准04在物理上按颜色基准盘的形式被利用，其利用数字显微镜来拍摄。在此，示例性地使用N＝24种基准色，从而存在有颜色基准盘04的24种被拍摄的基准色的N＝24个RGB色值。所拍摄的基准色指的是通过第一方格06来象征性表示的基准色，照明机构、光学系统、传感器的通过第二方格07来象征性表示的光谱特性01、02、03作用到这些基准色上，这通过共同的方格06、07来象征性表示。
所示的实施方式表现了校准，其中，颜色基准盘04利用数字显微镜来拍摄，并且对在数字显微镜上执行的设置进行采集，这些设置确定了照明机构、光学系统、传感器的光谱特性01、02、03。由于设置发生变化而出现了不同的光谱特性01、02、03，也就是说数字显微镜的不同状态，其中，给每个状态都配属了修正值集合，也就是说配属了修正矩阵。补充地，可以利用无色的颜色基准来确定用于白平衡的修正值。
对修正值的确定可以在利用最小二乘法的情况下来进行，其中，在相同加权的情况下可以实现针对所有基准色的优化。替选地，可以在确保白色色点的情况下应用最小二乘法，也就是说进行针对所有基准色的优化，其中，对无色的基准色进行更高加权。替选地，也可以执行其他加权。
因此，在应用数字显微镜之前存在有多个修正值集合，它们分别配属于数字显微镜的状态。在进行以显微镜来检验期间可以动用事先确定的修正值集合，然而其中，优选执行因参数而异的插值，这是因为事先确定的修正值集合仅配属于数字显微镜的有限地选定的可能的状态。在简单的情况下，例如关于照明强度仅针对最小和最大的照明强度的两个极值分别事先确定一个修正值集合。在数字显微镜上设置的照明强度在大多数情况下位于这两个极值之间，从而在两个事先确定的修正值集合之间进行插值。
代表数字显微镜的部件的特性的参数，例如序列号、参考说明、照明以及光谱可以以不同的方式进行存储。第一可行方案是将这些参数存储在PC中、平板电脑中或智能手机中。替选地，这些数据也可以集中地存储。另一优选的可行方案是将这些参数存储在各个部件的硬件中。对代表数字显微镜的部件的特性的参数的存储能够实现指定的颜色管理算法，用以在需要的情况下应用必要的参数。由此，可以与分别所选定的部件无关地确保所拍摄的图像的恒定的颜色质量。不同的部件，例如显微镜照明机构的不同的光源或各种替换物镜导致完全不同的特性，这通过读取各自的参数并使用这些参数被考虑到。不同的显微镜照明机构会导致完全不同的光谱。例如，布置在物镜中的暗场照明源的光谱和颜色修正值存储在可更换物镜中的存储器元件中。例如，明场照明源的光谱和颜色修正值与传感器的光谱特性一起存储在数字显微镜中的存储元件中。
图3示出了按照根据本发明的方法的一般的实施方式的修正值获知的流程图。在形成数字显微镜的图像处理单元的PC上执行计算。首先检查，所需的参数或修正值是否存储在PC中。如果是的话，读取用于颜色修正的修正值或参数，例如光谱。它们涉及到所选择的光学引擎(Optical Engine)OE的色系。光学引擎描述了在数字显微镜当前状态下通过数字显微镜进行的光学拍摄。光学引擎尤其描述了显微镜照明机构和图像传感器的特性。色系是对可能的颜色进行的选定。此外，从物镜数据库中读取所选定的物镜的参数。用于颜色修正的修正值或参数通过与存储在分配到数字显微镜的硬件部件HW中的存储器中的修正值和参数的比较进行查核。随后，例如通过对读取的修正值进行插值来实现对修正值的近似。如果必要的参数或修正值没有被存储在PC中，那么它们就在利用存储在硬件部件HW中的参数的情况下通过模拟计算出。
图4示出了按照根据本发明的方法的一个典型的实施方式的修正值获知的流程图。该过程首先与图1中所示的过程相同。然而，这里假定的是，不是所有必需的参数都可用。相应地要询问的是，光学引擎的或物镜的相应的色系是否可用。在不可用的情况下，将分别动用最接近的色系。
图5示出了按照根据本发明的方法的另一典型的实施方式的修正值获知的流程图。与图1和图3中所示的进程有区别地，示例性地确定用于光学引擎的唯一的色系D和用于物镜的三个色系A、B、F。用于光学引擎的唯一的色系D示例性地涉及确定的明场照明和图像传感器的确定的敏感度。关于色系并关于颜色修正值的信息被存储在PC上的数据库中。此外，这些数据被存储在数字显微镜的部件中的存储器EPROM中。首先在PC上搜索所需的值。如果没有存储所需的值，则搜索最接近的色系的值。如果这些值也没有被存储，那么就在布置于数字显微镜的部件中的存储器中搜索所需的数据。如果所需的数据也没有被存储在那里，那么就使用辨识状态的矩阵，并且发出关于缺失的颜色修正值的报告。
如上面已经阐述的那样，所需的颜色修正值可以通过插值来获得。为此，可以依赖于当前的参数使用不同的插值算法。
例如，可以在两个强度值之间进行插值。在两个参数par.min与par.max之间进行假定的线性插值的情况下得到了用于颜色修正矩阵的或白平衡矩阵的第i个元素的如下算式：
该算式可以针对更高的阶或针对非线性插值来相应地进行扩展。
例如，在两种照明类型之间可以插值得到混合式的照明。在明场照明IBF的强度与暗场照明IDF的强度之间的假定的线性插值的情况下得到了用于颜色修正矩阵的或白平衡矩阵的第i个元素的如下算式：
其中，和仅有暗场照明的或仅有明场照明的矩阵的第i个元素，并且其中，a是针对各个照明的最大的绝对强度来说的归一化参数，例如a＝IDF.max/IBF.max。
此外，也可以在强度与照明类型之间执行组合化的插值。
如上面阐述的那样，数字显微镜的各种特性可以通过光谱进行描述。光谱曲线可以通过具有至少两个高斯钟形曲线的复杂的光谱曲线来参数化。由此，减少了所需的数据量，并且能够提高在各种因参数而异的解决方案之间对颜色修正值进行插值时的灵活性。在该情况下执行针对通过光谱参数化得到的值进行的插值。
附图标记列表
01 暗场照明的光谱
02 明场照明的光谱
03 光学系统的和图像转换器的光谱
04 颜色基准值
05 -
06 基准色
07 光学系统和传感器的光谱特性
08 修正因子
09 修正后的颜色
10 -
11 修正后的色值
Claims (10)
1.用于修正数字显微镜的颜色重现的颜色的方法，所述方法包括以下步骤：
-拍摄要以显微镜来检验的试样的有颜色的图像，其中，通过采集在显微镜照明机构上所选择的设置来获知对所述试样进行照明的显微镜照明机构的与波长有关的特性(01；02)，用以描述所述显微镜照明机构的状态；
-确定修正值(08)集合，所述修正值集合配属于所述显微镜照明机构的状态，其中，所述显微镜照明机构的配属于要确定的修正值集合的状态根据所述显微镜照明机构的所获知的状态来选择；并且
-通过应用先前确定的集合的修正值(08)来修正所拍摄的有颜色的图像的颜色。
2.根据权利要求1所述的方法，其特征在于：
-在拍摄所述要以显微镜来检验的试样的有颜色的图像时，还通过采集在光学拍摄装置上所选择的设置来获知显微镜的包括光学系统和图像转换器的光学拍摄装置的与波长有关的特性(03)，用以描述所述光学拍摄装置的状态；并且
-所述要确定的修正值(08)集合还配属于所述光学拍摄装置的状态，其中，所述光学拍摄装置的配属于所述要确定的修正值(08)集合的状态根据所述光学拍摄装置的所获知的状态来选择。
3.权利要求1或2所述的方法，其特征在于，确定修正值(08)集合包括以下分步骤，在该分步骤中，从多个配属于光学显微镜照明机构的所存储的且不同的状态的修正值集合中选定至少一个修正值(08)集合，其中，所述显微镜照明机构的配属于所选定的修正值(08)集合的状态最接近所述显微镜照明机构的所获知的状态。
4.根据权利要求3所述的方法，其特征在于，所述所选定的修正值(08)集合被用作所述要确定的修正值(08)集合。
5.根据权利要求3所述的方法，其特征在于，确定修正值(08)集合还包括以下分步骤，在该分步骤中，当所述显微镜照明机构的配属于所述所选定的修正值集合的状态不完全与所述显微镜照明机构的所获知的状态相同时，对所选定的集合的修正值进行匹配。
6.根据权利要求3所述的方法，其特征在于，从所述多个配属于所述显微镜照明机构的所存储的且不同的状态的修正值集合中选定其中至少两个修正值集合，其中，确定修正值(08)集合还包括以下分步骤，在该分步骤中，对两个所选定的集合的修正值进行插值。
7.根据权利要求3至6中任一项所述的方法，其特征在于，通过以下分步骤来获知所述配属于所述显微镜照明机构的所存储的且不同的状态的修正值集合：
-在对所述显微镜照明机构上所选择的设置进行配属的情况下，在所述显微镜照明机构的多个状态中采集所述显微镜照明机构的与波长有关的特性；
-在所述显微镜照明机构的多个状态中的每个状态中，利用所述数字显微镜分别拍摄颜色基准的有颜色的图像；并且
-针对所述显微镜照明机构的多个状态中的每个状态分别确定如下修正值集合，所述修正值集合描述了对在所述显微镜照明机构的相应的状态中所拍摄的图像的修正，用以对所述颜色基准进行颜色准确的重现。
8.根据权利要求1或2所述的方法，其特征在于，通过如下方式确定修正值(08)集合，即，在考虑对所述试样进行照明的显微镜照明机构的与波长有关的特性(01、02)的情况下，计算出所述修正值集合。
9.根据权利要求1至8中任一项所述的方法，其特征在于，通过如下方式采集在所述显微镜照明机构上所选择的设置，即，利用对波长敏感的传感器对从所述显微镜照明机构发出的照明光进行光谱测定。
10.数字显微镜，其包括被配置成用于实施根据权利要求1至9中任一项所述的方法的图像处理单元、光学拍摄装置和显微镜照明机构。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102014112285.2A DE102014112285A1 (de) | 2014-08-27 | 2014-08-27 | Verfahren zum Korrigieren einer Farbwiedergabe eines digitalen Mikroskops sowie digitales Mikroskop |
| DE102014112285.2 | 2014-08-27 | ||
| PCT/EP2015/069435 WO2016030366A1 (de) | 2014-08-27 | 2015-08-25 | Verfahren zum korrigieren einer farbwiedergabe eines digitalen mikroskops sowie digitales mikroskop |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106605162A true CN106605162A (zh) | 2017-04-26 |
| CN106605162B CN106605162B (zh) | 2020-07-14 |
Family
ID=54065859
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201580045651.5A Active CN106605162B (zh) | 2014-08-27 | 2015-08-25 | 用于修正数字显微镜的颜色重现的方法和数字显微镜 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US10567719B2 (zh) |
| EP (1) | EP3186673B1 (zh) |
| JP (1) | JP6552604B2 (zh) |
| CN (1) | CN106605162B (zh) |
| DE (1) | DE102014112285A1 (zh) |
| WO (1) | WO2016030366A1 (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102017208615A1 (de) | 2017-05-22 | 2018-11-22 | Carl Zeiss Microscopy Gmbh | Verfahren und Adapter zur Adaption eines Mikroskopobjektivs an ein Digitalmikroskop |
| EP3882681A1 (en) | 2020-03-10 | 2021-09-22 | Leica Instruments (Singapore) Pte. Ltd. | A concept for a microscope system with an led-based illumination system |
| US11006088B1 (en) * | 2020-11-03 | 2021-05-11 | Grundium Oy | Colour calibration of an imaging device |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1056354A (zh) * | 1989-10-31 | 1991-11-20 | 斯皮拉尔研究发展公司 | 由受抑衰减场扫描光学显微镜获得透明物体光学轮廓的鉴别分光方法 |
| US20080018735A1 (en) * | 2006-07-24 | 2008-01-24 | Olympus Corporation | Microscope color image pickup apparatus, microscope color image pickup program product, and microscope color image pickup method |
| US20090141127A1 (en) * | 2007-07-03 | 2009-06-04 | Olympus Corporation | Image processing system, imaging system, and microscope imaging system |
| US20130044200A1 (en) * | 2011-08-17 | 2013-02-21 | Datacolor, Inc. | System and apparatus for the calibration and management of color in microscope slides |
| CN103140789A (zh) * | 2010-08-20 | 2013-06-05 | 美国樱花检验仪器株式会社 | 数字显微镜 |
| US20140055592A1 (en) * | 2012-08-24 | 2014-02-27 | Datacolor, Inc. | System and apparatus for color correction in transmission-microscope slides |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4311945B2 (ja) | 2003-01-29 | 2009-08-12 | オリンパス株式会社 | 電子的撮像装置及び顕微鏡システム |
| JP4217494B2 (ja) | 2003-01-29 | 2009-02-04 | オリンパス株式会社 | 電子的撮像装置 |
| US7013002B2 (en) | 2004-03-15 | 2006-03-14 | Sbc Knowledge Ventures, L.P. | Credit card collect call system and method |
| DE102005031104A1 (de) | 2005-06-29 | 2007-01-18 | Carl Zeiss Jena Gmbh | Automatisches Mikroskop und Verfahren zur farbgetreuen Bildwiedergabe bei automatischen Mikroskopen |
| WO2010002070A1 (en) * | 2008-06-30 | 2010-01-07 | Korea Institute Of Oriental Medicine | Method for grouping 3d models to classify constitution |
| EP2204980B1 (en) | 2009-01-02 | 2011-05-18 | Olympus Corporation | Image processing system, imaging system, and microscope imaging system |
| JP2011220932A (ja) | 2010-04-13 | 2011-11-04 | Olympus Corp | 撮像装置 |
| JP2012052921A (ja) | 2010-09-01 | 2012-03-15 | Olympus Corp | 撮像システム |
| JP5806504B2 (ja) * | 2011-05-17 | 2015-11-10 | オリンパス株式会社 | 撮像装置およびこれを備える顕微鏡システム |
| JP2013225081A (ja) * | 2012-04-23 | 2013-10-31 | Canon Electronics Inc | 光走査装置及び画像形成装置 |
| US20150103401A1 (en) * | 2013-10-11 | 2015-04-16 | Datacolor Holding Ag | Reference color slide for use in color correction of transmission-microscope slides |
| US20150124072A1 (en) * | 2013-11-01 | 2015-05-07 | Datacolor, Inc. | System and method for color correction of a microscope image |
-
2014
- 2014-08-27 DE DE102014112285.2A patent/DE102014112285A1/de active Pending
-
2015
- 2015-08-25 CN CN201580045651.5A patent/CN106605162B/zh active Active
- 2015-08-25 US US15/507,126 patent/US10567719B2/en active Active
- 2015-08-25 WO PCT/EP2015/069435 patent/WO2016030366A1/de active Application Filing
- 2015-08-25 JP JP2017511316A patent/JP6552604B2/ja not_active Expired - Fee Related
- 2015-08-25 EP EP15760406.7A patent/EP3186673B1/de active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1056354A (zh) * | 1989-10-31 | 1991-11-20 | 斯皮拉尔研究发展公司 | 由受抑衰减场扫描光学显微镜获得透明物体光学轮廓的鉴别分光方法 |
| US20080018735A1 (en) * | 2006-07-24 | 2008-01-24 | Olympus Corporation | Microscope color image pickup apparatus, microscope color image pickup program product, and microscope color image pickup method |
| US20090141127A1 (en) * | 2007-07-03 | 2009-06-04 | Olympus Corporation | Image processing system, imaging system, and microscope imaging system |
| CN103140789A (zh) * | 2010-08-20 | 2013-06-05 | 美国樱花检验仪器株式会社 | 数字显微镜 |
| CN103140789B (zh) * | 2010-08-20 | 2017-05-24 | 美国樱花检验仪器株式会社 | 数字显微镜 |
| US20130044200A1 (en) * | 2011-08-17 | 2013-02-21 | Datacolor, Inc. | System and apparatus for the calibration and management of color in microscope slides |
| US20140055592A1 (en) * | 2012-08-24 | 2014-02-27 | Datacolor, Inc. | System and apparatus for color correction in transmission-microscope slides |
Also Published As
| Publication number | Publication date |
|---|---|
| US10567719B2 (en) | 2020-02-18 |
| EP3186673A1 (de) | 2017-07-05 |
| WO2016030366A1 (de) | 2016-03-03 |
| JP2017528762A (ja) | 2017-09-28 |
| US20170264876A1 (en) | 2017-09-14 |
| JP6552604B2 (ja) | 2019-07-31 |
| EP3186673B1 (de) | 2024-04-03 |
| DE102014112285A1 (de) | 2016-03-03 |
| CN106605162B (zh) | 2020-07-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106683140B (zh) | 一种颜色识别方法及系统 | |
| CN103636201B (zh) | 用于确定摄影机的成像偏差的装置和方法 | |
| CN102650720B (zh) | 红外线镜头单元及具备其的红外线摄像机系统 | |
| US9137526B2 (en) | Image enhancement via calibrated lens simulation | |
| US10514335B2 (en) | Systems and methods for optical spectrometer calibration | |
| Nixon et al. | Accurate device-independent colorimetric measurements using smartphones | |
| CN104349150B (zh) | 相机调优电路和相机校正方法 | |
| CN106605162A (zh) | 用于修正数字显微镜的颜色重现的方法和数字显微镜 | |
| WO2018021048A1 (ja) | 色校正装置、色校正システム、色校正用ホログラム、色校正方法及びプログラム | |
| JP5599849B2 (ja) | レンズ検査装置及びその方法 | |
| US20140204221A1 (en) | Imaging Unit, Apparatus Comprising an Imaging Unit, a System, and Methods for Calibrating an Imaging Apparatus Optimization | |
| CN108055532A (zh) | 自动化匹配测试卡的方法与装置 | |
| JPWO2019225682A1 (ja) | 三次元再構成方法および三次元再構成装置 | |
| Tedla et al. | Analyzing color imaging failure on consumer-grade cameras | |
| CN102998026A (zh) | 玻璃液体温度计自动检定装置 | |
| JP2007271567A (ja) | カラーフィルタの色差安定波長特定方法及びプログラム | |
| JP2017528762A5 (zh) | ||
| JP5121998B2 (ja) | 画像処理装置及び画像処理プログラム | |
| CN110174351B (zh) | 颜色测量装置及方法 | |
| Krüger et al. | 71‐4: Imaging Luminance Measuring Devices (ILMDs)‐Characterization and Standardization with Respect to Display Measurements | |
| Krüger et al. | Critical considerations for characterizing and standardizing ILMDs | |
| CN113379835B (zh) | 检测设备的校准方法、装置、设备及可读存储介质 | |
| CN110332991A (zh) | 一种光谱的重构方法、装置和电子设备 | |
| JP2019079283A (ja) | 画像処理装置、撮像装置、画像処理方法、および、プログラム | |
| Chong et al. | Near infrared photography for craniofacial anthropometric landmark measurement |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |