CN106375673A - 用于由物体的多个单独图像生成结合图像的显微镜和方法 - Google Patents

用于由物体的多个单独图像生成结合图像的显微镜和方法 Download PDF

Info

Publication number
CN106375673A
CN106375673A CN201610592240.4A CN201610592240A CN106375673A CN 106375673 A CN106375673 A CN 106375673A CN 201610592240 A CN201610592240 A CN 201610592240A CN 106375673 A CN106375673 A CN 106375673A
Authority
CN
China
Prior art keywords
image
independent
region
illumination
independent image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610592240.4A
Other languages
English (en)
Other versions
CN106375673B (zh
Inventor
H·施尼茨勒
R·保罗斯
G·格拉柏赫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leica Instruments Singapore Pte Ltd
Original Assignee
Leica Instruments Singapore Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leica Instruments Singapore Pte Ltd filed Critical Leica Instruments Singapore Pte Ltd
Publication of CN106375673A publication Critical patent/CN106375673A/zh
Application granted granted Critical
Publication of CN106375673B publication Critical patent/CN106375673B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G02B21/08—Condensers
    • G02B21/082—Condensers for incident illumination only
    • G02B21/084—Condensers for incident illumination only having annular illumination around the objective
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

用于由物体(30；50；60)的多个单独图像(28a至28d；52a至52d；62a至62d)生成结合图像(34；54；64)的显微镜(10)，包括：至少一个用于从至少两个不同的照明方向(24a、24b)照明物体(30；50；60)的照明装置(22)；用于记录从至少两个不同照明方向(24a、24b)照明的物体(30；50；60)的多个单独图像(28a至28d；52a至52d；62a至62d)的图像记录单元(26)；以及用于结合单独图像(28a至28d；52a至52d；62a至62d)从而获得结合图像(34；54；64)的图像结合单元(32)。图像结合单元(32)构造成结合单独图像(28a至28d；52a至52d；62a至62d)使得通过在结合图像(34；54；64)中使用至少另一个单独图像(28a至28d；52a至52d；62a至62d)的图像信息来补偿与其中一个单独图像(28a至28d；52a至52d；62a至62d)的图像缺陷相关联的图像信息损失。

Description

用于由物体的多个单独图像生成结合图像的显微镜和方法
技术领域
本发明涉及一种用于由物体的多个单独图像生成结合图像的显微镜。本发明还涉及一种用于由物体的多个单独图像生成结合图像的方法。
背景技术
在显微镜中记录图像时，通常在图像中出现含图像缺陷的区域，这些区域由于曝光不足或过度曝光而不含有信息或含有很少信息并且因此不能重现出存在的物体细节。该特性取决于表面特性、试样形貌、试样材料和照明方案。
现有技术已知所谓的“高动态范围”(HDR)算法，该算法用于放大动态范围。在此，记录多个具有不同照明亮度和/或不同曝光时间的图像并且随后将这些图像结合成一个图像。但是曝光时间的变化导致图像亮度方面的限制。该限制对图像刷新率具有影响，图像刷新率应该优选在利用过程是高的。特别是对于图像记录的曝光时间的增大导致了图像刷新率的改变或降低。然而在使用已知的HDR算法时，不能够充分地抑制前述的图像缺陷。
发明内容
基于已知的现有技术，本发明的目的在于提供一种由物体的多个单独图像生成结合图像的显微镜，其中该显微镜具有简单的构造并且实现了结合图像的高的图像质量。
该目的通过具有权利要求1特征的显微镜以及具有权利要求17特征的方法得以实现。有利的扩展方案在从属权利要求中给出。
通过具有权利要求1特征的显微镜实现了简单的构造以及结合图像的高图像质量，因为特别是对该物体从至少两个不同的照明方向进行照明。另外，记录从至少两个不同照明方向照明的物体的多个单独图像。此外，通过结合这些单独图像而生成结合图像。在此，在结合单独图像的过程中，通过在结合图像中采用至少一个其他单独图像的图像数据而对图像信息损失进行补偿，该图像信息损失与单独图像的图像缺陷相关联。由此能够在图像生成过程中避免由于图像缺陷而出现的图像信息损失。这实现了简单的构造和结合图像的高的图像质量，该结合图像比各个单独图像具有更多的信息含量。在此，为图像结合而使用的单独图像既能够通过具有反射光照明装置(Auflichtbeleuchtungseinrichtung)的显微镜生成也能够通过具有透射光照明装置(Durchlichtbeleuchtungseinrichtung)的显微镜生成。
根据本发明的显微镜由物体的多个单独图像生成一个结合的图像。为此，通过至少一个照明装置从至少两个不同的照明方向对物体进行照明。图像记录单元记录从至少两个不同的照明方向照明的物体的多个单独图像，通过图像结合单元结合这些单独图像并且由此生成结合图像。图像结合单元构造成，在单独图像的结合过程中，通过在结合图像中利用至少一个其他单独图像的图像数据而补偿与单独图像的图像缺陷相关联的图像信息损失。
优选地，图像结合单元构造成，由单独图像的自动评估来确定单独图像的图像缺陷。
根据本发明，显微镜包括用于从至少两个不同照明方向的第一照明方向和第二照明方向照明物体的单个照明装置。可替代地，根据本发明，显微镜包括至少一个第一照明装置和第二照明装置。在此，第一照明装置构造成，从至少两个不同照明方向的第一照明方向照明物体。另外，第二照明装置构造成从至少两个不同照明方向的第二照明方向照明物体。由此，能够通过使用一个或多个照明装置比较灵活地提供至少两个不同的照明方向。
图像缺陷例如包括高光区域、曝光不足的区域和/或低对比度的区域。这些图像区域可能包括单独的像素，但是通常涉及多个有关的像素。在此，高光区域例如对应于过度曝光的区域，该过度曝光的区域由于在物体的光泽表面上的反射而产生。物体例如是具有光泽的弯曲表面的三维物体，结果可能形成高光区域和曝光不足的区域。图像结合单元构造成，通过将单独图像的各个像素的强度值与上阈值和/或预设的下阈值进行比较和/或通过图像缺陷区域的对比度评估来确定至少一个这样的图像缺陷区域。在此应注意，仅能够在具有多个像素的有关区域中进行对比度评估。通过研究单独的像素不能经对比度而得出结论。
由此能够例如通过结合地使用上阈值和下阈值来限定对于单独图像的评估像素的可允许强度的公差范围。随后，强度值位于公差范围以内的像素用于生成结合的图像。
在确定图像缺陷区域的过程中，高光区域分别对应于各个单独图像的至少一个过度曝光的区域，其中该高光区域包括强度高于预设阈值的像素。因此高光区域包括过度曝光的像素，该像素与图像信息的损失相关联。
相应地，曝光不足的区域包括强度低于预设的阈值的像素。其也与图像信息的损失相关联。
低对比度的区域包括其对比度小于预设的对比度值的像素。由此也与图像信息的损失相关联。
图像记录单元构造成记录分别具有以高光区域形式存在的图像缺陷的不同的各个单独图像并且使各个高光区域对应于至少两个不同的照明方向。因此，可以提供一系列的分别具有不同高光区域的单独图像用于图像生成。
在此，与至少两个不同的照明方向对应的高光区域分别对应于各个单独图像的过度曝光的区域。因此，不同的高光区域例如对应于在从至少两个不同照明方向照明的三维物体的光泽凸表面上的不同反射。
图像结合单元构造成，确定一个高光区域作为所选单独图像的缺陷并且由此使所选单独图像的确定的高光区域由来自不同于所选单独图像的至少一个单独图像的相应非过度曝光区域的图像数据所代替。对此，例如将其他单独图像的与待校正的高光区域相应的像素相关，从而由此获得用于各个待替换像素的替换值。可替代地，通过评估其他图像的包括多个像素的区域、例如对比度，可以确定相应最佳、例如对比度最强区域。其他评估当然能够考虑并且包含在本发明构思中。由此，通过分别将各个确定的替换像素的值插入到图像缺陷中、即在此情况下高光区域中，能够实现用于图像结合的所谓的“挑选和更换”算法。借助于该算法，可以提高结合图像中的图像质量。
优选用于校正图像缺陷的非过度曝光的区域包括这样的像素，该像素的强度不高于预设的阈值。因此可以在“挑选和更换”算法中使用适当的像素强度值作为用于待替换高光区域的图像信息。
可选地，图像结合单元同样构造成，识别所选单独图像的曝光不足的区域并且使所选单独图像的识别的曝光不足的区域由来自至少一个与所选单独图像不同的单独图像的相应非曝光不足的区域的图像信息所替换。在此，非曝光不足的区域例如包括这样的像素，该像素的强度至少等于预设的阈值。
优选地，照明装置构造成，调节至少两个不同照明方向的方位角和/或仰角。由此能够灵活地调节用于照明物体的该至少两个不同的照明方向。
在一个有利的设计中，图像记录单元构造成，记录单独图像作为一系列的四个时间上相继的单独图像。在此，这四个时间上相继的单独图像包括第一至第四高光区域。此外，第一至第四高光区域进一步对应于第一至第四照明方向。例如第一至第四照明方向具有0°、90°、180°或270°的方位角和相同的仰角。因此可以提供用于图像生成的特殊系列的四个单独图像。在此高光区域例如对应于从北边、东边、南边或西边始终以相同的仰角对物体的照明。
另外，照明装置可以构造成，通过在显微镜的照明光路中使用能够调节的孔径光阑而生成至少两个不同的照明方向。由此能够更加灵活地生成用于照明物体的至少两个不同的照明方向。
照明装置例如包括环形灯照明装置、弧形灯照明装置和/或在灵活的鹅颈式载体上能够变化布置的鹅颈式照明装置。由此能够为物体的照明提供不同的变型。
在一个有利的实施例中，照明装置包括具有多个集成在其中的LED的环形灯。在此，这些LED能够单独地控制。另外，也可以单独地控制LED区段。由此能够实现基本上物体的点状照明或者区段方式的照明。特别是，能够借助分别控制的LED或LED区段而生成至少两个不同的照明方向。
优选地，显微镜的特征在于用于控制照明装置的控制系统。在此该控制系统设置成，在至少两个不同的照明方向的第一照明方向和第二照明方向之间进行切换。由此能够以控制的方式切换到当前相应的照明方向。
优选地，显微镜的特征在于控制图像记录单元的控制系统。控制系统构造成，以恒定的图像刷新率记录单独图像并且由此生成多个结合图像的实况流。因此能够实现高质量合成图像的实况流和近乎实时传递。
根据本发明的一个示例性实施例，提供了一种用于由物体的多个单独图像生成结合图像的方法。该方法包括：从至少两个不同的照明方向对物体进行照明、记录从至少两个不同的照明方向照明的物体的多个单独图像以及通过结合单独图像而生成结合的图像。在此，在单独图像的结合过程中，通过在结合图像中使用至少一个其他单独图像的图像数据来补偿图像信息损失，该图像信息损失与其中一个单独图像的图像缺陷相关联。
本发明的变型方案的优点在于，通过使用不同的照明方向能够实现图形信息中的预期增益。这种图像信息中的增益特征在于，在结合的图像中能够看见比单独图像更多的物体细节。在此特别注意，例如通过为一系列中的所有单独图像使用相同的对焦位置能够实现这种图像信息中的增益，不需要应用所谓的“Z-堆叠算法”(该算法需要具有不同对焦设置的图像记录)。
由此根据本发明的方法，通过将单独图像的单独像素的强度值与上阈值和/或预设的下阈值相比较和/或对图像区域进行对比度评估，确定高光区域、曝光不足的区域和/或低对比度的区域作为图像缺陷区域。
在该方法的一个实施例中，记录分别具有一个高光区域的不同的单独图像并且使各个高光区域对应于至少两个不同的照明方向，其中对应于至少两个不同的照明方向的高光区域分别相应于各个单独图像的过度曝光的区域。
例如通过确定强度大于预设阈值的像素来识别高光区域。
为了结合单独图像，识别所选单独图像的高光区域并且由来自至少一个与所选单独图像不同的单独图像的相应非过度曝光的区域的图像数据所替换。
这可以这样进行，即非过度曝光区域具有这样的像素，该像素的强度不高于预设的阈值。
为了结合单独图像，识别所选单独图像的曝光不足的区域并且由来自至少一个与所选单独图像不同的单独图像的相应非曝光不足的区域的图像数据来替换所选单独图像的由此识别的曝光不足区域。在此，非曝光不足区域包括这样的像素，该像素的强度至少等于预设的阈值。
在该方法的另一个实施例中，将至少两个不同的照明方向的方位角β和/或仰角α设置为特定值。
随后可以有利地记录一系列的多个时间上相继的单独图像，其中这些多个时间上相继的单独图像具有不同的图像缺陷。在此，不同的图像缺陷对应于不同的照明方向，这些不同的照明方向通过照明方向的不同方位角β和/或不同仰角α而实现。
在该方法的另一个实施例中，通过在显微镜的照明光路中使用能够调节的孔径光阑而生成至少两个不同的照明方向。
该方法的另一个实施例的特征在对照明装置的控制，其中在至少两个不同照明方向的第一照明方向和第二照明方向之间进行切换。
在此可以这样实施图像记录单元的控制，即，以恒定的图像刷新率fr记录单独图像并且由此生成多个结合图像的实况流。
附图说明
本发明的其他特征和优点从下面的说明变得更明显，下面的说明结合附图参考示例性的实施例来进一步解释本发明。
其中：
图1a是根据本发明一个示例性实施例的数字显微镜的立体示意图；
图1b是图1a中所示的数字显微镜的照明装置的放大图；
图1c是根据本发明一个示例性实施例的数字显微镜的立体示意图；
图2a至2d示出了具有第一至第四高光区域的三维物体的示例性的第一系列的四个时间上相继的单独图像；
图2e示出了基于图2a至2d所示第一系列的单独图像而生成的示例性的结合图像；
图3a至3d示出了具有第一至第四高光区域以及一个曝光不足区域的三维物体的示例性的第二系列的四个时间上相继的单独图像；
图3e示出了基于图3a至3d所示第二系列的单独图像而生成的示例性的结合图像；
图4a至4d示出了具有第一至第四高光区域以及一个曝光不足区域的三维物体的示例性的第三系列的四个时间上相继的单独图像；
图4e示出了基于图4a至4d所示第三系列的单独图像而生成的示例性的结合图像；
图5a是图1a中所示的具有控制系统和照明装置的数字显微镜的部件的框图；
图5b是图1c中所示的具有控制系统、第一照明装置和第二照明装置的数字显微镜的部件的框图；
图5c是图1a中所示的具有控制系统、图像记录单元和图像结合单元的数字显微镜的部件的框图；
图6是根据本发明的一个示例性实施例的能够通过图1a中所示的数字显微镜实施的方法的流程图；
图7示出了用于生成结合图像的结合原理的示意图。
具体实施方式
图1a示出了根据本发明的一个示例性实施例的数字显微镜10的立体示意图。图1a中所示的数字显微镜10包括固定的台架基座12和相对于该台架基座12能够枢转的枢转单元14。
枢转单元14包括图像记录单元、物镜系统和变焦系统。在图1a中不能看出这些部件，因为这些部件被枢转单元14的壳体16遮盖。
如图1a中所示，在台架基座12上设有载物台18，在该载物台18上放置待观测的三维物体。该载物台18能够借助调节轮20相对于台架基座12沿双箭头P1的方向移动，使得可以实现待观测三维物体的对焦。
另外，在图1a中示意性地示出了数字显微镜10的照明装置22。照明装置22的详细细节接下来还会参考图1b说明。图1a中所示的数字显微镜10还包括耦合到图像记录单元的图像结合单元。该数字显微镜10另外包括控制系统，该控制系统耦合到照明装置和/或图像记录单元。这些部件40、22和26还会参考图5a和5c分别进行详细说明。在图1a中没有示出图像结合单元和控制系统。这些各个部件32和40例如是图1a中所示的数字显微镜10的内部部件或外部部件。
图1b是图1a中所示的数字显微镜10的照明装置22的放大图。该照明装置22用于从至少两个不同的照明方向24a、24b来照亮物体。在图1a和1b中没有示出置于载物面中待观测的三维物体。如图1b中所示，载物面包括第一轴线46、例如X轴线以及第二轴线48、例如Y轴线。借助照明装置22所产生的不同照明方向24a、24b能够分别相对于由第一轴线和第二轴线46、48展开(aufgespannte)的坐标系统而限定。特别是，至少两个不同的照明方向24a、24b包括第一照明方向24a和第二照明方向24b，这两个照明方向的方位角和/或仰角能够相对于坐标系统调节。方位角例如是相对于载物面中第一轴线46的角。另外，仰角例如是相对于由第一和第二轴线46、48展开的坐标系统的角。如图1b中所示，第一和第二照明方向24a、24b相交于载物面中的一个共同点P。另外，第一和第二照明方向24a、24b分别代表对应于光锥的优先方向。从照明装置22发出的、具有第一和第二照明方向24a、24b的光锥基本上在载物面中基本重叠。由此完全照亮位于载物面中的物体。
根据图1b，第一和第二照明方向24a、24b分别相应于从上方倾斜地照亮在物体上，即相对于数字显微镜10的光学轴线以特定的角度照亮在物体上。另外根据图1b所示，第一和第二照明方向24a、24b的仰角同样大，而第一和第二照明方向24a、24b的方位角彼此不同。由此可在物体表面上的不同位置处形成高光区域。但是根据图1b总是从同一个观测方向进行图像记录。
图1b中所示的照明装置22特别包括具有多个集成在其中的LED的环形灯。通过对各个LED的单独控制或者通过对多个LED区段的单独控制能够生成具有其相应优先方向的光锥，其中每个区段包括环形灯的多个LED。根据图1b所示，通过在第一时间点对第一LED或者第一区段的LED进行控制生成具有第一照明方向24a的光锥，而通过在之后的第二时间点对第二LED或者第二区段的LED进行控制生成具有第二照明方向24b的光锥。由此能够顺序地提供至少两个不同的照明方向24a、24b。各个照明方向24a、24b相应于沿着从对应的控制光源到物体的连接线的方向。
可选地，也能够由多个LED或者多个区段的LED同时提供至少两个不同的照明方向24a、24b。
在其他示例性实施例中，代替产生环形照明，照明装置22用于生成弧形照明(未示出)。替代性或额外地，也可以在灵活的鹅颈式载体上提供能够变化布置的鹅颈式照明装置(未示出)。在这些情况下，照明方向的方位角和仰角都能够调节。
可选地这样形成照明装置22，即，通过在显微镜10的照明光路中使用能够调节的孔径光阑来生成至少两个不同的照明方向24a、24b。这实现了对物体更加灵活的照明。
图1c是根据本发明的一个示例性实施例的数字显微镜10的立体示意图。图1c中所示的数字显微镜10包括固定的台架基座12、垂直于台架基座12布置的台架柱13以及相对于台架柱13能够移动的载臂15。
载臂15包括变焦镜头和图像记录单元、例如影像芯片。这些部件在图1c中不可见，因为这些部件被载臂15的壳体17遮盖。
如图1c中所示，待观测的三维物体放入的载物面位于台架基座12上。载臂15能够借助调节轮21a、21b相对于台架基座12沿双箭头P1的方向移动，由此可以对待观测三维物体进行对焦。
另外，在图1c中示意性地示出了数字显微镜10的第一和第二照明装置22a、22b。图1c中所示的数字显微镜10还包括耦合到图像记录单元的图像结合单元。该数字显微镜10还包括控制系统，该控制系统耦合到第一和第二照明装置和/或图像记录单元。这些部件40、22a、22b和26还会参考图5b和5c进一步详细描述。在图1c中没有示出图像结合单元和控制系统。
参照图1c，第一照明装置22a用于从至少两个不同的照明方向24a、24b中的第一照明方向24a照亮物体，而第二照明装置22b用于从至少两个不同的照明方向24a、24b中的第二照明方向24b照亮物体。位于载物面中待观测的三维物体没有在图1c中示出。图1c中所示的第一和第二照明方向24a、24b基本上相应于在图1b中所示的第一和第二照明方向24a、24b。但是图1c中所示的示例性实施例的优点在于，第一照明方向24a和第二照明方向24b的仰角和方位角能够可以设定成彼此不同。
在图1c的示例性实施例中，第一照明装置22a包括四个LED，这四个LED以相同的角间隔绕数字显微镜10的光学轴线而布置。另外，第二照明装置22b包括三个LED，这三个LED设置在上下不同高度上。由此能够借助第一照明装置22a从具有不同方位角的四个照明方向来照亮物体。还能够借助第二照明装置22b从具有不同仰角的三个照明方向来照亮物体。
如图1c所示，在竖直的台架柱13上附接有向前朝使用者的方向突出的载臂15，在该载臂15上安装第一照明装置22a。第一照明装置22a具有四个单独的LED，这四个单独的LED能够分开地或者成组地开关，并且由此实现了从四个照明方向的照明。在第一照明装置22a上从上方放置变焦镜头，在该变焦镜头的顶端部集成有影像芯片。
图2a至2d示出了具有第一至第四高光区域36a至36d的三维物体30的示例性的第一系列的四个时间上相继的单独图像28a至28d。图2a至2d中所述示的三维物体30特别是具有不规则的光亮表面的金属球。不规则的表面例如由金属球上的腐蚀位置所生成。反射定律在图2a至2d所示的金属球的表面上有效，即，照明装置22的光在该表面上等角地反射。由此在金属球的表面上形成反射。这些反射造成在借助图像记录单元26记录的第一系列的单独图像28a至28d中的高光区域或过度曝光的区域。
优选物体30为球轴承、即滚动轴承的轴承滚珠。
图2a示出了物体30的具有第一高光区域36a的记录的第一单独图像28a。第一单独图像28a的第一高光区域36a对应于第一照明方向24a。第一照明方向24a具有0°(β＝0°)的方位角。这个角度例如相应于图1b中所示的坐标系统的第一轴线46。另外，第一照明方向24a具有在0°至90°的角度范围中任意预设的仰角(α＝常数)。
图2a中所示的第一单独图像28a还包括曝光不足的区域59。如图2a中所示，曝光不足的区域59位于第一高光区域36a的侧边。该曝光不足的区域59特别是相应于没有可识别物体细节的阴暗区域。
图2b示出了物体30的具有第二高光区域36b的记录的第二单独图像28b。第二单独图像28b的第二高光区域36b对应于第二照明方向24b。第二照明方向24b具有90°(β＝90°)的方位角。另外，第二照明方向24b另外具有在0°至90°的角度范围内任意预设的仰角(α＝常数)。
图2d示出了物体30的具有第三高光区域36c的记录的第三单独图像28c。第三单独图像28c的第三高光区域36c对应于第三照明方向24c。在此，第三照明方向24c具有180°(β＝180°)的方位角。另外，第三照明方向24c另外具有在0°至90°的角度范围内任意预设的仰角(α＝常数)。
图2c示出了物体30的具有第四高光区域36d的记录的第四单独图像28d。第四单独图像28d的第四高光区域36d对应于第四照明方向24d。在此，第四照明方向24d具有270°(β＝270°)的方位角。另外，第四照明方向24d具有在0°至90°的角度范围内任意预设的仰角(α＝常数)。
在图2a至2d中，第一至第四高光区域36a至36d分别相应于从北边、东边、南边或西边(β＝0°、...、270°)对物体30的照明。在此总是以相同的仰角(α＝常数)进行照明。另外，对应第一至第四照明方向24a至24d的高光区域36a至36d进一步分别相应于各个单独图像28a至28d的过度曝光的区域。特别是，高光区域36a至36d具有的像素的强度大于预设的第一阈值。高光区域36a至36d例如相应于强度大于预设的第一阈值的过度曝光像素的二维分布。例如，各个高光区域36a至36d具有在二维分布的每一维中预设数量的像素。二维分布例如相应于方形或环形的区域。
图2e示出了基于图2a至2d所示第一系列的单独图像28a至28d所生成的示例性的结合图像34。图2e中所示的结合图像34是相比于图2a至2d中的单独图像28a至28d具有更高图像质量的图像。特别是，图2e的结合图像34为物体30的这样一个图像，该图像不包括与图像信息损失相关联的高光区域或过度曝光的区域。例如，结合图像34的所有像素的强度不高于预设的第一阈值。
因此，图2a至2d特别示出了金属球的表面，该表面以借助环形灯的LED区段从具有相应不同的方位角(β＝0°、90°、180°、270°)的四个不同的方向以及恒定的仰角(α＝常数)照亮。图2e示出了由此算出的结合图像34。特别明显地，图2a至2d中的高光区域36a至36d或者过度曝光的区域基本上能够被消除，由此提高了结合图像34中的信息含量。
也能够基本上消除图2a中与图像信息损失相关联的曝光不足的区域59。这导致了图2e中所示的结合图像34相比于图2a至2d中所示的单独图像28a至28d具有更高的图像质量。由此，可以在结合图像34中获得物体细节的更好的可识别性所表征的图像信息的增益。
下面通过示例描述“选择和更换(pick and replace)”算法，基于该算法获得图2e中所示的结合图像34。根据该示例性的算法，例如确定出图2a中所示第一单独图像28a的第一高光区域36a，从图2a至2d中所示的第一系列的单独图像28a至28d中选择第一单独图像28a。此外，第一单独图像28a的确定的第一高光区域36a例如由来自第一系列的单独图像28a至28d的第二单独图像28b的相应没有过度曝光的区域38的图像信息所替代。此外，第一单独图像28a的确定的第一高光区域36a也能够由来自第一系列的单独图像28a至28d的另一单独图像28c、28d的相应没有过度曝光的区域的图像信息所替代。特别是，第二单独图像28b的没有过度曝光的区域38所导出的图像数据相应于用来替代第一单独图像28a的第一高光区域36a的像素强度值的像素强度值。
第二单独图像28b的没有过度曝光的区域38在第二单独图像28b中的特定位置上具有二维分布的像素。第二单独图像28b中没有过度曝光的区域38的二维分布的像素的尺寸和位置相应于第一单独图像28a中第一高光区域36a的二维分布的像素的尺寸和位置。另外，第二单独图像28b的没有过度曝光的区域38具有这样的像素，该像素的强度不高于预设的第一阈值。
图3a至3d示出了具有第一至第四高光区域56a至56d和曝光不足的区域58的三维物体50的示例性的第二系列的四个时间上相继的单独图像52a至52d。图4a至4d示出了具有第一至第四高光区域66a至66d和曝光不足的区域68的三维物体60的示例性的第三系列的四个时间上相继的单独图像62a至62d。图3a至3d中所示的三维物体50例如是具有槽的螺栓头，该槽具有不规则的光泽表面。另外，图4a至4d中所示的三维物体60例如是螺栓的前端部，该端部没有中心的尖端并具有不规则的光泽表面。图3a至3d中所示的第二系列的单独图像52a至52d中的高光区域56a至56d以及图4a至4d中所示的第三系列的单独图像62a至62d的高光区域66a至66d在其与各个照明方向24a至24d的对应方面相应于在图2a至2d中所示的第一系列的单独图像28a至28d中的高光区域36a至36d。但是高光区域56a至56d和66a至66d是具有这种像素的区域，该像素的强度既不在预设第一阈值以上也不在预设第二阈值以下，预设的第二阈值小于预设的第一阈值。也就是说，高光区域56a至56d和66a至66d既不包括过度曝光的像素也不包括曝光不足的像素。
另外，图3a中所示的第二系列的第一单独图像52a以及在图4a中所示的第三系列的第一单独图像62a分别包括曝光不足的区域58或68。特别是各个曝光不足的区域58、68具有这样的像素，该像素的强度小于预设的第二阈值。曝光不足的区域58、68例如相应于具有低于预设第二阈值的强度的曝光不足的像素的二维分布。因此，各个高光区域56a至56d和66a至66d是比较亮的区域，而曝光不足的区域58、68是比较暗的区域。
图3e示出了基于图3a至3d中所示的第二系列的单独图像52a至52d所生成的示例性的结合图像54。图4e示出了基于图4a至4d中所示的第三系列的单独图像62a至62d所生成的示例性的结合图像64。图3e中所示的结合图像54以及图4e中所示的结合图像64分别是比图3a至3d的单独图像52a至52d以及图4a至4d的单独图像62a至62d具有更高图像质量的图像。图3e的结合图像54和图4e的结合图像64分别特别是物体50、60的这样一个图像，该图像不包括与图像信息损失相关联的曝光不足的区域。例如各结合图像54或64的所有像素的强度至少与预设的第二阈值一样高。
在图3e或4e中特别明显地，可以基本上消除源自图3a或4a的各个曝光不足的区域58、68。由此提高了结合图像54、64中的信息含量。
在记录图2a至2d、3a至3d或4a至4d中所示的第一至第三系列的单独图像28a至28d、52a至52d和62a至62d的过程中分别采用相同的对焦设置。特别是，在记录第一系列的过程中，相应对焦在球体30中心中的球体30表面上。另外，在记录第二系列的过程中，相应对焦在螺栓头50的顶端部，而在记录第三系列的过程中，相应对焦在螺栓60的前端部的顶边缘的表面上。在该对焦情况下，子区域(例如由螺栓头50的槽所包围的区域)位于焦深范围以外。尽管如此，如根据图3e所示，结合图像(例如结合图像54)的位于焦深范围外部的相应部分区域含有更多的物体细节。由此在结合图像34、54、64的位于焦深范围外部的子区域也获得了图像信息。该图像信息的获得另外能够用于进一步改善对焦调整。
图3e和4e中所示的结合图像54、64通过使用“挑选和更换”算法而生成。根据该示例性的算法，确定图3a和4a中所示的第一单独图像52a、62a的各个曝光不足的区域58、68。在此，从图3a至3d中所示的第二系列的单独图像52a至52d中选择第一单独图像52a。另外，从图4a至4d所示的第三系列的单独图像62a至62d中选择第一单独图像62a。例如第一单独图像52a、62a的确定的曝光不足区域58、68由分别来自第二和第三系列的单独图像52a至52d、62a至62d的第二单独图像52b、62b的相应高光区域56b、66b的图像数据来替换。在此，由第二单独图像52b、62b的高光区域56b、66b导出的图像数据相应于用于替换第一单独图像52a、62a的曝光不足区域58、68的像素强度值的像素强度值。
优选地，第二单独图像52b、62b的高光区域56b、66b在第二单独图像52b、62b的特定位置上具有像素的二维分布。第二单独图像52b、62b中高光区域56b、66b的像素二维分布的尺寸和位置例如相应于在第一单独图像52a、62a中曝光不足区域58、68的像素二维分布的尺寸和位置。
参考图2a至2e、3a至3e和4a至4e描述的“挑选和更换”算法借助于图像结合单元32进行。
图5a是图1中所示的具有控制系统40和照明装置22的数字显微镜10的部件的框图。如图5b中所示，照明装置22耦合到控制系统40。控制系统40用于通过采用控制信号42来控制照明装置22。如图5a中所示，这样借助控制信号42来控制照明装置22，从而在第一照明方向24a和第二照明方向24b之间进行切换。由此，能够在图1b所示的第一和第二照明方向24a、24b之间自动地切换。
变型的图像记录操作可以包括，连续记录和组合图像以及在此例如通过改变鹅颈式照明装置的位置而手动地改变照明方向。替换性地，也可以以自动控制的方式进行切换，例如通过对于弧形照明系统的切换。
图5b是图1c中所示的具有控制系统40、第一照明装置22a和第二照明装置22b的数字显微镜10的部件的框图。如图5b中所示，第一和第二照明装置22a、22b耦合到控制装置40。控制装置40用于通过使用控制信号42来控制第一和第二照明装置22a、22b。如图5b中所示，例如这样借助控制信号42来控制第一和第二照明装置22a、22b，从而在第一照明方向24a和第二照明方向24b之间进行切换。由此，能够在图1c中所示的第一和第二照明方向24a、24b之间进行自动的切换。
图5c是图1a中所示的具有控制系统40、图像记录单元26和图像结合单元32的数字显微镜10的其他部件的框图。如图5c中所示，图像记录单元26耦合到控制装置40。另外，图像结合单元32耦合到图像记录单元26。控制系统40用于通过使用控制信号42来控制图像记录单元26。图像记录单元26这样借助控制信号42来控制，使得以恒定的图像刷新率(即fr＝常数)记录图2a至2d、3a至3d和4a至4d中分别所示的示例性的第一至第三系列的单独图像28a至28d、52a至52d、62a至62d。第一至第三系列的单独图像28a至28d、52a至52d、62a至62d借助于图像结合单元32通过使用适当的算法而以此方式结合，使得获得具有比较高图像质量的结合图像34、54、64。另外，通过使用恒定的图像刷新率也可以生成多个结合图像的实况流44。
图6是根据本发明的一个示例性实施例的能够通过图1a中所示的数字显微镜10实施的方法100的流程图。方法100用于由物体30、50、60的第一至第三系列的单独图像28a至28d、52a至52d、62a至62d生成结合图像34、54、64。如图6所示，方法100包括从至少两个不同的照明方向24a、24b对物体30、50、60进行照明102。在此，例如仰角是恒定的，即α＝常数，而方位角相应于对物体30、50、60的来自北边、东边、南边或西边，即β＝0°、90°、180°、270°的照明。另外，方法100包括对从至少两个不同的照明方向24a、24b照明的物体30、50、60的第一至第三系列的单独图像28a至28d、52a至52d、62a至62d进行记录104以及对第一至第三系列的单独图像28a至28d、52a至52d、62a至62d进行结合106，从而获得结合图像34、54、64。对第一至第三系列的单独图像28a至28d、52a至52d、62a至62d例如通过使用参考图2a至2d、3a至3d和4a至4d所描述的算法而进行结合106。
本发明利用这样一个事实，即，显微镜中的照明能够主动地设置并影响。根据本发明，能够建立不同的照明模式和照明方案。接下来说明本发明的一些优点。
根据现有技术，通常仅针对图像区的部分区域而非如所期望地同时在整个图像区上建立最佳照明。根据本发明，相对于现有技术重要的改进在于图像的结合，这些图像通过不同的照明方案记录。在此例如结合所使用的是图像28a至28d的这些区域(例如图2b中所示的区域38)，该区域局部地产生相应最佳的图像印记并且不受局部缺陷(例如反射、曝光不足、过度曝光或低对比度)的影响。例如能够通过参考图2a至2d描述的“挑选和更换”算法将图像28a至28d结合成结合图像34。
已发现，在传统的HDR算法和根据本发明的“挑选和更换”算法之间存在显著区别。传统的HDR算法预期到其中通过图像记录单元所记录的光量已经发生变化的图像数据。由此捕获扩大的动态范围(HDR)。与之不同，根据本发明改变的是照明方向24a、24b、即照明方案。由此特别地直接避免了图像伪影，例如LED光源在试样或物体上的直接反射。与传统HDR图像相比，这允许更有效率的捕捉、特别是反射方面。
本发明的示例性实施例实现了用于数字显微镜10的成像系统，其中该成像系统包括照明装置22、图像记录单元26和具有软件单元的图像结合单元32。照明装置22用于生成至少两个照明方案。图像记录单元26用于将时间上相继的、按照不同照明方案记录的图像28a至28d、52a至52d、62a至62d数字化。图像结合单元32的软件单元用于由单独图像28a至28d、52a至52d、62a至62d生成合成的图像，即结合图像34、54、64。
根据示例性实施例，至少两个照明方案的差异在于照射到试样上的照明方向或光线方向。用于生成合成图像34、54、64的算法例如可以是这样一种算法，该算法将单独图像28a至28d、52a至52d、62a至62d的各个区域组合成合成图像34、54、64(“挑选和更换”算法)。
根据示例性实施例，能够实现以恒定的图像刷新率生成没有或具有严重减少的过度曝光区域或曝光不足区域的合成图像的实况流44。
另外，根据示例性实施例，能够显示出具有例如3*3个合成图像的预览，这些合成图像借助不同的算法或照明方案生成。该预览用于由使用者简单地选择最佳适合的变型。
本发明实现了生成没有或具有严重减少的曝光不足区域或过度曝光区域的图像。对此需要的单独图像28a至28d通过使用不同的照明方案记录。根据本发明实现了下述变型：能够改变方位角的照明方向，例如从北边、南边、东边、西边。另外能够改变用于照明的仰角(例如同轴线的、近乎垂直的、斜侧照明、侧光或者暗场特性)。另外，能够选择光源的类型，例如点形、线形、面形、环形、环段形或漫射式。此外能够以变化的方式调整照明孔径。
具有成像系统的显微镜也可以实现用于记录彩色图像。
根据示例性实施例，显微镜10是数字显微镜，其没有目镜。也就是说，图像仅显示在(未示出的)显示屏上。
根据示例性实施例，可以仅通过采用不同的照明方向来获取图像信息，但是其中物镜或成像系统(例如变焦镜头)的焦点保持不变。这例如可以从图2a至2d中所示的图像28a至28d边缘处的球体30的钝化区域可以看出，这些区域位于成像镜头的焦深范围之外。
另外，还可以在Z方向、即光学轴线方向上的不同焦点实现这种图像系列，这随后不仅通过照明状况的变化而提高了图像细节，而且也实现了具有扩大的焦深范围的物体(球体等)图像，其中对于各个根据本发明生成的图像系列(焦距的每个Z位置例如四张具有不同照明方向的图像)作为Z图像堆叠而进行相关，以形成具有完全焦深的图像。
图7是用于生成结合图像的结合原理的示意图。其示出了由三个单独图像构成的图像系列，即单独图像1、单独图像2和单独图像3。在焦点不变的条件下分别以不同的照明情况在试样的同一个位置上记录这些单独图像，其中单独图像到单独图像之间的照明方向发生变化。由此相同的试样位置分别以不同的方式照明并且在各个单独图像中表现出不同亮度或暗度。
在这三个单独图像中生成较强照亮的区域，这些区域示出为不同亮度的圆环。过度曝光的区域示出为亮圆环，其通过“X”划去。它们代表图像缺陷或图像缺陷区域。
较弱照亮的区域也记录在这三个图像中。这些区域示出为不同灰度的圆环。曝光不足的区域示出为黑色的圆环，其通过“X”划去。它们同样代表图像缺陷或图像缺陷区域。
如清楚可见地，由于图像系列的三个单独图像中的不同照亮设置，用于不同亮度照亮的区域分别位于图像的不同位置上。
下方中间示出了结合图像。通过利用各个其他单独图像的可用区域来补偿这三个单独图像的图像缺陷而形成该结合图像。
这三个单独图像1、2和3的箭头示出了，结合图像中的哪个缺陷区域通过接收来自其中一个单独图像的像素区域而得到补偿。由此在单独图像1中的两个上方区域都分别是过度曝光区域形式的图像缺陷区域并且通过来自单独图像2和3的相应区域而替代。在单独图像1中位于中间的区域过亮并且通过像素结合、即借助利用像素结合的算法对强度的计算(在图7中称为PK)通过结合单独图像1和2中的中间区域而获得。
虽然有些方面是结合装置而描述的，但应理解成，这些方面也是对相应方法的描述，从而装置的方框或构件也理解为相应的方法步骤或者理解为方法步骤的特征。与之相似地，结合或作为方法步骤描述的方面也是对相应装置的相应方框或细节或特征的描述。
附图标记列表
10 显微镜
12 台架基座
14 枢转单元
16 壳体
18 载物台
20 调节轮
22、22a、22b 照明装置
24a至24d 照明方向
26 图像记录单元
28a至28d、52a至52d、62a至62d 单独图像
30、50、60 物体
32 图像结合单元
34、54、64 结合图像
36a至36d、56a至56d、66a至66d 高光区域
38 没有过度曝光的区域
40 控制系统
42 控制信号
44 实况流
46、48 坐标系统的轴线
58、59、68 曝光不足的区域
102、104、106 方法步骤
P 载物面中的点
P1 方向

Claims (29)

1.一种显微镜(10)，所述显微镜由物体(30；50；60)的多个单独图像(28a至28d；52a至52d；62a至62d)生成结合的图像(34；54；64)，所述显微镜包括：
从至少两个不同的照明方向(24a、24b)照明所述物体(30；50；60)的至少一个照明装置(22；22a、22b)；
记录从所述至少两个不同的照明方向(24a、24b)照明的所述物体(30；50；60)的多个所述单独图像(28a至28d；52a至52d；62a至62d)的图像记录单元(26)；以及
结合所述单独图像(28a至28d；52a至52d；62a至62d)并从而生成所述结合图像(34；54；64)的图像结合单元(32)，
其中，所述图像结合单元(32)构造成，在结合所述单独图像(28a至28d；52a至52d；62a至62d)的过程中，通过在所述结合图像(34；54；64)中使用至少一个其他所述单独图像(28a至28d；52a至52d；62a至62d)的图像数据来补偿与其中一个所述单独图像(28a至28d；52a至52d；62a至62d)的图像缺陷相关联的图像信息损失。
2.根据权利要求1所述的显微镜(10)，其特征在于，所述图像结合单元(32)构造成，通过自动地评估所述单独图像(28a至28d；52a至52d；62a至62d)来确定一个所述单独图像(28a至28d；52a至52d；62a至62d)的所述图像缺陷。
3.根据权利要求1或2所述的显微镜(10)，其特征在于，所述图像缺陷包括由于过度曝光而产生的高光区域(36a)、曝光不足的区域(58；68)和/或低对比度的区域，并且所述图像结合单元(32)构造成，通过将所述单独图像(28a至28d；52a至52d；62a至62d)的单独像素的强度值与上阈值和/或预设的下阈值进行比较和/或通过对所述图像区域进行对比度评估来确定至少一个这样的图像缺陷区域。
4.根据权利要求3所述的显微镜(10)，其特征在于，所述高光区域(36a至36d)分别相应于各个所述单独图像(28a至28d)的至少一个过度曝光的区域，其中所述高光区域(36a至36d)包括其强度高于预设阈值的像素。
5.根据权利要求3所述的显微镜(10)，其特征在于，所述曝光不足的区域(58；68)包括其强度小于预设阈值的像素。
6.根据权利要求3所述的显微镜(10)，其特征在于，所述低对比度的区域(58；68)包括其对比度值小于预设对比度值的像素。
7.根据权利要求1至3中任一项所述的显微镜(10)，其特征在于，所述图像记录单元(26)构造成，记录分别具有作为图像缺陷的高光区域(36a至36d)的不同的单独图像(28a至28d)并且使各个所述高光区域(36a至36d)对应于所述至少两个不同的照明方向(24a、24b)。
8.根据权利要求1至3中任一项所述的显微镜(10)，其特征在于，所述图像结合单元(32)构造成，识别所选单独图像(28a)的高光区域(36a)作为图像缺陷并且使所选单独图像(28a)的识别的高光区域(36a)由来自与所选单独图像(28a)不同的至少一个单独图像(28b)的相应非过度曝光的区域(38)的图像数据替换，其中所述非过度曝光的区域(38)包括其强度不高于预设阈值的像素。
9.根据权利要求1至3中任一项所述的显微镜(10)，其特征在于，所述图像结合单元(32)构造成，识别所选单独图像(52a、62a)的曝光不足的区域(58；68)作为图像缺陷并且使所选单独图像(52a、62a)的识别的曝光不足的区域(58；68)由来自与所选单独图像(52a、62a)不同的至少一个单独图像(52b；62b)的相应非曝光不足的区域(56b；66b)的图像数据替换，其中所述非曝光不足的区域(56b；66b)具有其强度至少等于预设阈值的像素。
10.根据权利要求1至9中任一项所述的显微镜(10)，其特征在于，所述照明装置(22)构造成，调节所述至少两个不同的照明方向(24a、24b)的方位角(β)和/或仰角(α)。
11.根据权利要求10所述的显微镜(10)，其特征在于，所述图像记录单元(26)构造成，记录所述单独图像(28a至28d)作为一系列的时间上相继的四个单独图像(28a至28d)，其中所述时间上相继的四个单独图像(28a至28d)包括第一至第四高光区域(36a至36d)，并且其中所述第一至第四高光区域(36a至36d)对应于第一至第四照明方向(24a至24d)，并且其中所述第一至第四照明方向(24a至24d)具有0°、90°、180°或270°的方位角(β)和相同的仰角(α)。
12.根据权利要求1至11中任一项所述的显微镜(10)，其特征在于，所述照明装置(22)构造成，通过在所述显微镜(10)的照明光路中使用能够调节的孔径光阑而生成所述至少两个不同的照明方向(24a、24b)。
13.根据权利要求1至12中任一项所述的显微镜(10)，其特征在于，所述照明装置(22)包括环形灯照明装置、弧形灯照明装置和/或在灵活的鹅颈式载体上能够变化布置的鹅颈式照明装置。
14.根据权利要求1至13中任一项所述的显微镜(10)，其特征在于，用于控制所述照明装置(22)的控制系统(40)，其中所述控制系统(40)构造成，在所述至少两个不同的照明方向(24a、24b)的第一照明方向(24a)和第二照明方向(24b)之间进行切换。
15.根据权利要求1至14中任一项所述的显微镜(10)，其特征在于，用于控制所述图像记录单元(26)的控制系统(40)，其构造成，以恒定的图像刷新率(fr)记录所述单独图像(28a至28d；52a至52d；62a至62d)并因此生成多个结合图像的实况流(44)。
16.根据权利要求1至15中任一项所述的显微镜(10)，其特征在于，用于从所述至少两个不同照明方向(24a、24b)的第一照明方向(24a)和第二照明方向(24b)照明所述物体(30；50；60)的单个照明装置(22)。
17.根据权利要求1至15中任一项所述的显微镜(10)，其特征在于，至少一个第一照明装置(22a)和第二照明装置(22b)，其中所述第一照明装置(22a)构造成从所述至少两个不同照明方向(24a、24b)的第一照明方向(24a)照明所述物体(30；50；60)，并且其中所述第二照明装置(22b)构造成从所述至少两个不同照明方向(24a、24b)的第二照明方向(24b)照明所述物体(30；50；60)。
18.一种用于由物体(30；50；60)的多个单独图像(28a至28d；52a至52d；62a至62d)生成结合图像(34；54；64)的方法(100)，所述方法包括下述步骤：
从至少两个不同的照明方向(24a、24b)对所述物体(30；50；60)进行照明(102)，
记录(104)从所述至少两个不同的照明方向(24a、24b)照明的所述物体(30；50；60)的多个单独图像(28a至28d；52a至52d；62a至62d)，以及
通过结合(106)所述单独图像(28a至28d；52a至52d；62a至62d)而生成结合图像(34；54；64)，
其中，在所述单独图像(28a至28d；52a至52d；62a至62d)的结合(106)过程中，通过在所述结合图像(34；54；64)中使用至少一个其他所述单独图像(28a至28d；52a至52d；62a至62d)的图像数据来补偿图像信息损失，所述图像信息损失与一个所述单独图像(28a至28d；52a至52d；62a至62d)的图像缺陷相关联。
19.根据权利要求18所述的方法(100)，其特征在于，通过将所述单独图像(28a至28d；52a至52d；62a至62d)的所述单独像素的强度值与上阈值和/或预设的下阈值进行比较和/或通过对所述图像区域进行对比度评估来确定高光区域(36a)、曝光不足的区域(58；68)和/或低对比度的区域作为图像缺陷区域。
20.根据权利要求19所述的方法(100)，其特征在于，记录分别具有高光区域(36a至36d)的不同的所述单独图像(28a至28d)并且各个所述高光区域(36a至36d)对应于所述至少两个不同的照明方向(24a、24b)，其中与所述至少两个不同的照明方向(24a、24b)对应的高光区域(36a至36d)分别相应于各个所述单独图像(28a至28d)的过度曝光的区域。
21.根据权利要求20所述的方法(100)，其特征在于，通过确定其强度大于预设阈值的像素来识别所述高光区域(36a至36d)。
22.根据权利要求18至21中任一项所述的方法(100)，其特征在于，为了结合(106)所述单独图像(28a至28d)，识别所选单独图像(28a)的高光区域(36a)并且使其由从与所选单独图像(28a)不同的至少一个单独图像(28b)的相应非过度曝光的区域(38)所获得的图像数据替换。
23.根据权利要求22所述的方法(100)，其特征在于，通过确定其强度不高于预设阈值的像素来识别所述非过度曝光的区域(38)。
24.根据权利要求18至22中任一项所述的方法(100)，其特征在于，为了结合(106)所述单独图像(52a至52d；62a至62d)，识别所选单独图像(52a；62a)的曝光不足的区域(58；68)并且使所选单独图像(52a；62a)的识别的曝光不足的区域(58；68)由从与所选单独图像(52a；62a)不同的至少一个单独图像(52b；62b)的相应非曝光不足的区域(56b；66b)所获得的图像数据替换，其中所述非曝光不足的区域(56b；66b)包括其强度至少等于预设阈值的像素。
25.根据权利要求17至24中任一项所述的方法(100)，其特征在于，设定所述至少两个不同的照明方向(24a、24b)的方位角(β)和/或仰角(α)。
26.根据权利要求18至19中任一项所述的方法(100)，其特征在于，记录一系列的时间上相继的多个单独图像(28a至28d)，其中所述时间上相继的多个单独图像(28a至28d)包括不同的图像缺陷(36a至36d；58；68)，并且其中所述不同的图像缺陷(36a至36d；58；68)对应于不同的照明方向(24a至24d)，所述不同的照明方向通过所述照明方向的不同方位角(β)和/或不同仰角(α)而实现。
27.根据权利要求17至26中任一项所述的方法(100)，其特征在于，通过在所述显微镜(10)的照明光路中使用能够调节的孔径光阑而生成所述至少两个不同的照明方向(24a、24b)。
28.根据权利要求17至27中任一项所述的方法(100)，其特征在于，对照明装置(22)进行控制，其中在所述至少两个不同的照明方向(24a、24b)的第一照明方向(24a)和第二照明方向(24b)之间进行切换。
29.根据权利要求17至28中任一项所述的方法(100)，其特征在于，对图像记录单元(26)进行控制，其中以恒定的图像刷新率(fr)记录单独图像(28a至28d；52a至52d；62a至62d)并且因此生成多个结合图像的实况流(44)。
CN201610592240.4A 2015-07-24 2016-07-25 用于由物体的多个单独图像生成结合图像的显微镜和方法 Active CN106375673B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP15178228.1A EP3121637B1 (de) 2015-07-24 2015-07-24 Mikroskop und verfahren zum erzeugen eines kombinierten bildes aus mehreren einzelbildern eines objekts
EP15178228.1 2015-07-24

Publications (2)

Publication Number Publication Date
CN106375673A true CN106375673A (zh) 2017-02-01
CN106375673B CN106375673B (zh) 2020-01-07

Family

ID=53724063

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610592240.4A Active CN106375673B (zh) 2015-07-24 2016-07-25 用于由物体的多个单独图像生成结合图像的显微镜和方法

Country Status (4)

Country Link
US (1) US10269097B2 (zh)
EP (1) EP3121637B1 (zh)
JP (1) JP6490029B2 (zh)
CN (1) CN106375673B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109656011A (zh) * 2017-10-10 2019-04-19 卡尔蔡司显微镜有限责任公司 数码显微镜和用于采集样本的显微图像的栈的方法
CN110320657A (zh) * 2018-03-28 2019-10-11 卡尔蔡司显微镜有限责任公司 利用角度可变照明的自动对焦

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017067632A (ja) * 2015-09-30 2017-04-06 キヤノン株式会社 検査装置および物品製造方法
WO2017110653A1 (ja) * 2015-12-22 2017-06-29 オリンパス株式会社 顕微鏡システム
DE102015122712B4 (de) * 2015-12-23 2023-05-04 Carl Zeiss Microscopy Gmbh Vorrichtung und Verfahren zur Bildaufnahme
DE102017115658A1 (de) * 2017-07-12 2019-01-17 Carl Zeiss Microscopy Gmbh Flackern bei Winkel-variabler Beleuchtung
DE102018127754A1 (de) * 2018-11-07 2020-05-07 Carl Zeiss Industrielle Messtechnik Gmbh Verfahren und Vorrichtung zum Inspizieren einer Objektoberfläche, insbesondere zum Inspizieren der Oberfläche eines Pulverbettes mit einer Vielzahl von Pulverpartikeln
JP7280107B2 (ja) * 2019-05-10 2023-05-23 株式会社エビデント 画像処理方法、プログラム、画像処理装置、画像処理システム、及び、顕微鏡システム
KR102243079B1 (ko) * 2019-06-28 2021-04-21 주식회사 스몰머신즈 광원 위치를 보정하기 위한 현미경 장치 및 그 방법
EP4254936A4 (en) * 2020-11-27 2024-05-22 Panasonic Ip Man Co Ltd DENTAL IMAGING SYSTEM AND DENTAL IMAGING METHODS

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009134100A (ja) * 2007-11-30 2009-06-18 Sunx Ltd 拡大観察装置
US20100103511A1 (en) * 2007-02-09 2010-04-29 Leica Microsystems (Schweiz) Ag Illumination device for a microscope
US20110115895A1 (en) * 2008-07-30 2011-05-19 Jan Huisken Multidirectional selective plane illumination microscopy
US20120007839A1 (en) * 2010-06-18 2012-01-12 Vantage Surgical Systems, Inc. Augmented Reality Methods and Systems Including Optical Merging of a Plurality of Component Optical Images
CN102998784A (zh) * 2011-09-15 2013-03-27 徕卡显微系统(瑞士)股份公司 具有鹅颈式操作单元的显微镜装置
WO2014036120A1 (en) * 2012-08-28 2014-03-06 Kla-Tencor Corporation Multi directional illumination for a microscope and microscope

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3527426C1 (de) * 1985-07-31 1986-07-10 Dietmar 4290 Bocholt Enk Opakilluminator für ein Mikroskop
JPH05182026A (ja) 1992-01-07 1993-07-23 Seiko Instr Inc 記号等の認識装置及び方法
JP3281691B2 (ja) 1993-10-27 2002-05-13 三洋電機株式会社 画像認識装置
JPH0946557A (ja) 1995-07-26 1997-02-14 Mitsubishi Heavy Ind Ltd 画像取り込み装置
JPH09197289A (ja) 1996-01-23 1997-07-31 Nikon Corp 顕微鏡
US6088612A (en) * 1997-04-04 2000-07-11 Medtech Research Corporation Method and apparatus for reflective glare removal in digital photography useful in cervical cancer detection
DE10112639A1 (de) * 2001-03-16 2002-09-19 Zeiss Carl Jena Gmbh Mikroskop mit Autofokussiereinrichtung
US6885492B2 (en) * 2001-11-08 2005-04-26 Imaginative Optics, Inc. Spatial light modulator apparatus
JP4538633B2 (ja) * 2005-03-29 2010-09-08 国立大学法人浜松医科大学 Ｄｌｐ式スリット光走査顕微鏡
JP4860551B2 (ja) * 2007-06-01 2012-01-25 株式会社キーエンス 拡大観察装置、高階調画像ファイル作成方法、高階調画像ファイル作成方法、高階調画像ファイル作成プログラム及びコンピュータで読み取り可能な記録媒体
JP2009258436A (ja) 2008-04-17 2009-11-05 Hitachi Kokusai Electric Inc ３次元測定装置
EP2197018A1 (en) * 2008-12-12 2010-06-16 FEI Company Method for determining distortions in a particle-optical apparatus
DE102010042351B4 (de) * 2010-10-12 2014-02-13 Leica Microsystems Cms Gmbh Mikroskopbeleuchtungssystem, Mikroskop und Verfahren zur schrägen Auflichtbeleuchtung
JP5751986B2 (ja) * 2010-12-08 2015-07-22 キヤノン株式会社 画像生成装置
WO2012110894A1 (en) * 2011-02-18 2012-08-23 DigitalOptics Corporation Europe Limited Dynamic range extension by combining differently exposed hand-held device-acquired images
US8948007B2 (en) * 2011-06-13 2015-02-03 Verizon Patent And Licensing Inc. Interoperable quality of service pre-negotiation
DE102013106556A1 (de) * 2013-06-24 2014-12-24 Qioptiq Photonics Gmbh & Co. Kg Verfahren zum Betreiben einer Dentalkamera
KR102149453B1 (ko) * 2014-02-21 2020-08-28 삼성전자주식회사 이미지를 획득하기 위한 전자 장치 및 방법
JP6487156B2 (ja) 2014-06-23 2019-03-20 株式会社キーエンス 拡大観察装置、拡大画像観察方法、拡大画像観察プログラム及びコンピュータで読み取り可能な記録媒体

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100103511A1 (en) * 2007-02-09 2010-04-29 Leica Microsystems (Schweiz) Ag Illumination device for a microscope
JP2009134100A (ja) * 2007-11-30 2009-06-18 Sunx Ltd 拡大観察装置
US20110115895A1 (en) * 2008-07-30 2011-05-19 Jan Huisken Multidirectional selective plane illumination microscopy
US20120007839A1 (en) * 2010-06-18 2012-01-12 Vantage Surgical Systems, Inc. Augmented Reality Methods and Systems Including Optical Merging of a Plurality of Component Optical Images
CN102998784A (zh) * 2011-09-15 2013-03-27 徕卡显微系统(瑞士)股份公司 具有鹅颈式操作单元的显微镜装置
WO2014036120A1 (en) * 2012-08-28 2014-03-06 Kla-Tencor Corporation Multi directional illumination for a microscope and microscope

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109656011A (zh) * 2017-10-10 2019-04-19 卡尔蔡司显微镜有限责任公司 数码显微镜和用于采集样本的显微图像的栈的方法
CN110320657A (zh) * 2018-03-28 2019-10-11 卡尔蔡司显微镜有限责任公司 利用角度可变照明的自动对焦
CN110320657B (zh) * 2018-03-28 2022-06-14 卡尔蔡司显微镜有限责任公司 利用角度可变照明的自动对焦

Also Published As

Publication number Publication date
US10269097B2 (en) 2019-04-23
EP3121637A1 (de) 2017-01-25
EP3121637B1 (de) 2021-09-01
US20170024859A1 (en) 2017-01-26
JP2017027055A (ja) 2017-02-02
JP6490029B2 (ja) 2019-03-27
CN106375673B (zh) 2020-01-07

Similar Documents

Publication Publication Date Title
CN106375673A (zh) 用于由物体的多个单独图像生成结合图像的显微镜和方法
US20120105612A1 (en) Imaging apparatus, endoscope apparatus, and image generation method
CN101241590B (zh) 图像处理设备和方法、程序和记录介质
EP1515174A3 (en) Three dimensional microscope system and image display method thereof
JP2006238802A (ja) 細胞観察装置、細胞観察方法、顕微鏡システム、及び細胞観察プログラム
CN106415357A (zh) 功能集成的激光扫描显微镜
JP5532459B2 (ja) 顕微鏡システム
US20070064101A1 (en) Observation apparatus
CN107144516A (zh) 一种拍摄装置
CN109031642A (zh) 一种通用的体视显微裸眼可视化的显示方法和系统装置
CN110060214A (zh) 一种用于傅里叶叠层显微成像技术的图像增强方法
JP2008046305A (ja) 自動合焦装置、顕微鏡および自動合焦方法
JP2011237713A (ja) 画像撮影装置、及び画像撮影方法
JPH10513287A (ja) 物体のイメージ、画像を記録、撮像のための方法及び装置
US11061215B2 (en) Microscope system
JP2001285762A (ja) 画像印刷装置
JP2009134100A (ja) 拡大観察装置
US3889114A (en) Electron microscope for dark-field illumination
JP3783813B2 (ja) 共焦点顕微鏡装置
WO2007055082A1 (ja) 共焦点顕微鏡装置
JP4136635B2 (ja) 分析装置
CN104469135B (zh) 图像处理系统
JP3639869B2 (ja) 対象物表面の色を再現した立体画像を作成する立体観察装置および方法
CN107806855B (zh) 一种复合目标源及光电经纬仪成像质量测试系统
CN106102553B (zh) 内窥镜系统、内窥镜系统的工作方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant