CN102073133A - 虚拟显微镜系统 - Google Patents

虚拟显微镜系统 Download PDF

Info

Publication number
CN102073133A
CN102073133A CN201010540079.9A CN201010540079A CN102073133A CN 102073133 A CN102073133 A CN 102073133A CN 201010540079 A CN201010540079 A CN 201010540079A CN 102073133 A CN102073133 A CN 102073133A
Authority
CN
China
Prior art keywords
spectrum
unit
virtual
image
pixel value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201010540079.9A
Other languages
English (en)
Inventor
大塚武
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN102073133A publication Critical patent/CN102073133A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/0248—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using a sighting port, e.g. camera or human eye
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/027—Control of working procedures of a spectrometer; Failure detection; Bandwidth calculation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/08—Beam switching arrangements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/30—Measuring the intensity of spectral lines directly on the spectrum itself
    • G01J3/32—Investigating bands of a spectrum in sequence by a single detector
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/42—Absorption spectrometry; Double beam spectrometry; Flicker spectrometry; Reflection spectrometry
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Sampling And Sample Adjustment (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

提供一种虚拟显微镜系统，其能够在短时间内获取染色样品图像和光谱的统计数据，该虚拟显微镜系统包括：图像获取单元，其用于获取染色样品图像；光谱获取单元，其用于获取染色样品图像的光谱；光路设定单元，其用于设定透过染色样品的光通量相对于图像获取单元和光谱获取单元的光路；以及控制单元，其用于在染色样品的观察场中进行控制以重复通过图像获取单元获取染色样品图像和通过光谱获取单元获取染色样品图像的光谱，以制作染色样品的虚拟切片和光谱表。

Description

虚拟显微镜系统
相关申请的交叉引用
本申请要求2009年11月9日递交的日本申请No.2009-256312的优先权，其内容通过引用包含于此。
技术领域
本发明涉及用于估算通过拍摄染色样品(stained sample)获得的染色样品图像的光谱的虚拟显微镜系统。
背景技术
光谱透射率光谱(spectral transmittance spectrum)是代表成像目标特有的物理性能的物理量之一。光谱透射率是代表各个波长的透射光与入射光的比率的物理量，并且与取决于照射光的变化的诸如RGB值等色彩信息不同，光谱透射率是目标的特有的信息，其值不随外界的影响而变化。因此，光谱透射率作为再现目标自身色彩的信息被用在各种领域。例如，在使用人体组织样品尤其是病理标本的病理学诊断的领域中，光谱透射率作为光谱特性值的示例被用于分析通过拍摄样品而获得的图像。下面将具体说明光谱透射率用于病理学诊断的使用示例。
作为病理学诊断用的一种病理检查，已知利用显微镜观察取自病变部位的组织用于诊断疾病或病变的扩散程度的组织诊断。该组织诊断也被称为“活组织检查”，其将通过摘取器官获得的大块样品或通过穿刺活检获得的病理标本切成几微米厚，并且利用显微镜进行放大以获得各种发现，该诊断已经被广泛使用。因为设备和材料相对便宜并且易于操作，因此使用光学显微镜的透射观察是最普通的观察方法之一，并且该方法已经使用多年。在透射观察的情形中，切片样品几乎不吸收和散射光，并且几乎是透明和无色的。因此，通常在观察之前通过染色剂(dye)给样品染色。
已经提出了多种染色方法，并且总共已经提出了上百种染色方法。特别地，对于病理标本，采用蓝紫色的苏木精和红色的曙红作为颜料的苏木精-曙红染色法(下文中称为“HE染色法”)已被用作标准染色方法。
苏木精是从植物中提取的自然物质，并且本身不具有可染性。但是，作为苏木精的氧化产物的血色素是嗜碱性染色剂并且结合到带负电荷的物质。包含在细胞核中的脱氧核糖核酸(DNA)通过作为组分包含的磷酸基团而带负电，因此当脱氧核糖核酸与血色素结合时被染成蓝紫色。如上所述，具有可染性的物质是苏木精的氧化产物血色素，而不是苏木精。但是，普遍地用苏木精作为染色剂的名称，并且这也适用于后面的说明。
另一方面，曙红是嗜酸性染色剂并且结合到带正电的物质。氨基酸和蛋白质根据它们的pH环境而带负电或带正电，并且在酸性环境下具有很强的带正电的趋势。因此，在一些情况下乙酸被加入到曙红溶液中。包含在细胞质中的蛋白质当与曙红结合时被染成红色或浅红色。
被HE染色后(染色样品)，样品中的细胞核、骨组织等被染成蓝紫色，并且细胞质、结缔组织、血细胞等被染成红色，这提供了可见性。于是观察者获知诸如细胞核等构成组织的元素的大小和位置关系等，由此能够使观察者从形态上确定样品的状态。
除了通过观察者目视检查外，还可以通过显示在外部装置的显示屏上的多谱带(multiband)成像观察染色样品。在图像被显示在屏幕上的情况下，进行用于从所获得的多谱带图像估算样品各点处的光谱透射率的处理和用于基于所估算的光谱透射率而估算给样品染色的染色剂的量的处理，等等，并且组成将显示的图像，该图像是样品的用于显示的RGB图像。
从样品的多谱带图像估算样品各点处的光谱透射率的方法包括，例如，主成分分析、维纳估算法(wiener estimation method)等。维纳估算法被熟知为一种用于从所观察的混有噪声的信号估算原始信号的线性过滤方法，并且维纳估算法是用于使所观察的目标和噪声(观察的噪声)的统计特性方面的误差最小化的方法。来自照相机的信号包含某些种类的噪声。因此维纳估算法是用于估算原始信号的非常有用的方法。
下面说明通过从样品的多谱带图像组成显示图像而制作虚拟切片(virtual slide)的方法。虚拟切片是通过拼接(patch)由显微镜装置拍摄的一个或多个多谱带图像而制作的图像，例如是通过拼接由高倍显微镜物镜拍摄的染色样品的各部分的多个高分辨率图像而制作的图像。虚拟切片是指染色样品的整个视图的广视野且高清晰度的多谱带图像。
首先，在转动滤波器轮以切换16件带通滤波器的同时，例如，基于帧顺序法(frame sequential method)拍摄样品的多谱带图像。通过这种方式，能够在样品的各点处获得具有16条谱带的像素值的多谱带图像。虽然染色剂初始被三维地分布到待观察的样品中，但是因为是使用普通的透射观察系统，所以染色剂不能作为三维图像被拍摄，并且通过样品的照射光作为投射在照相机的成像元件上的二维图像被观察。因此，这里所说的各点是指样品的与投射到成像元件的各像素对应的点。
对于所拍摄的多谱带图像的任意点(像素)x，基于照相机的响应系统在谱带b中的像素值g(x，b)和样品的对应点处的光谱透射率t(x，λ)之间建立由下面的式(1)表示的关系：
g(x，b)＝∫λf(b，λ)s(λ)e(λ)t(x，λ)dλ+n(b)    ...(1)
在式(1)中，λ表示波长，f(b，λ)表示第b滤波器的光谱透射率，s(λ)表示照相机的光谱灵敏度特性，e(λ)表示照射光的光谱发光特性，并且n(b)表示谱带b中的观察噪声。b表示用于区分谱带的序号，并且是满足1≤b≤16的整数。在实际计算中，使用通过将式(1)沿波长方向离散而获得的下面的式(2)。
G(x)＝FSET(x)+N    ...(2)
在式(2)中，当沿波长方向的样品点的数量被表示为D并且谱带的数量被表示为B(在该情形下，B＝16)时，G(x)表示与点x处的像素值g(x，b)对应的B行1列的矩阵。以同样的方式，T(x)表示与t(x，λ)对应的D行1列的矩阵，而F表示与f(b，λ)对应的B行D列的矩阵。另一方面，S表示D行D列的对角矩阵，并且对角元素与s(λ)对应。以同样的方式，E表示D行D列的对角矩阵，并且对角元素与e(λ)对应。N表示与n(b)对应的B行1列的矩阵。在式(2)中，因为利用矩阵将多个谱带的等式放在一起，所以不表述代表谱带的变量b。另外，波长λ的积分被矩阵的乘积代替。
为了简化说明，引入由式(3)限定的矩阵H。矩阵H也被称为系统矩阵。
H＝FSE    ...(3)
于是，式(2)可被下面的式(4)代替。
G(x)＝HT(x)+N    ...(4)
接着，使用维纳估算法从所拍摄的多谱带图像估算样品的各点处的光谱透射率。可通过下面的式(5)计算光谱透射率的估算值(光谱透射率数据)
Figure BSA00000342990100041
Figure BSA00000342990100042
表示代表估算值的“^(尖号)”位于T的上面。
T ^ ( x ) = WG ( X ) . . . ( 5 )
W由下面的式(6)表示，并且被称为“维纳估算矩阵”或者“用于维纳估算的估算算子”。
W＝RssHt(RssHt+RNN)-1    ...(6)
这里，()t：转置矩阵，和()-1：逆矩阵。
在式(6)中，Rss是D行D列的矩阵并且代表样品的光谱透射率的自相关矩阵，和RNN是B行B列的矩阵并且代表用于拍摄的照相机的噪声的自相关矩阵。
为了计算估算算子W，通过该估算算子能够适当地估算诸如细胞核、细胞质、血细胞、空腔(cavum)等各主要元素，事先需要诸如细胞核、细胞质、血细胞、空腔等各主要元素的光谱。因此，在移动测量位置时，使用者需要利用分光仪事先测量样品的各主要元素的光谱，这将是麻烦的。
为了解决上述问题，例如，日本未审查的专利申请No.2009-014354公开了图像处理装置，其中，自动地计算适当的估算算子W。在该图像处理装置中，当移动估算位置时，利用分光仪自动地测量样品的各主要元素的光谱，并且从所测量的光谱计算估算算子W。然后评价该估算算子W，如果其不适当，则再次测量样品的各主要元素的光谱，因此自动地计算适当的估算算子W。
根据上述文件中公开的图像处理装置，自动地计算适当的估算算子W，由此减轻使用者的负担。但是，本发明的发明人认为：在上述的图像处理装置中，在移动测量位置时，需要利用分光仪事先测量样品的多种元素的光谱。因此，该处理需要大量的时间，结果，样品的光谱的估算将是费时的。
发明内容
针对上述问题，本发明的目的是提供一种虚拟显微镜系统，通过该虚拟显微镜系统能够通过拍摄染色样品而获得染色样品图像并且能够在短时间内获得光谱的统计数据。
实现上述目的的本发明的第一方面是一种虚拟显微镜系统，其用于拍摄染色样品，以估算光谱，所述虚拟显微镜系统包括：
图像获取单元，其用于获取所述染色样品的一个以上谱带的染色样品图像；
光谱获取单元，其用于获取所述染色样品图像的一个以上的预定部分的光谱；
光路设定单元，其用于设定透过所述染色样品的光通量相对于所述图像获取单元和所述光谱获取单元的光路，从而每次所述图像获取单元获取所述染色样品图像时，能够通过所述光谱获取单元获取所述染色样品图像的光谱；以及
控制单元，其用于在所述染色样品的两个以上的观察场中进行控制以重复通过所述图像获取单元获取所述染色样品图像和通过所述光谱获取单元获取所述染色样品图像的光谱，从而制作所述染色样品的虚拟切片和光谱表。
本发明的第二方面从属于根据第一方面的虚拟显微镜系统，其中，所述光路设定单元具有用于切换所述光通量的光路的光路切换镜，从而透过所述染色样品的所述光通量选择性地入射到所述图像获取单元或所述光谱获取单元。
本发明的第三方面从属于根据第一方面的虚拟显微镜系统，其中，所述光路设定单元具有配置切换机构，其用于选择性地将所述图像获取单元或所述光谱获取单元置于透过所述染色样品的所述光通量的光路上。
本发明的第四方面从属于根据第一方面的虚拟显微镜系统，其中，所述光路设定单元具有分束器，该分束器用于将所述光通量的光路分开，从而使透过所述染色样品的所述光通量同时入射到所述图像获取单元和所述光谱获取单元。
本发明的第五方面从属于根据第一方面的虚拟显微镜系统，其中，所述图像获取单元是设置有照相机和光学滤波器的RGB照相机、黑白照相机、两个以上谱带的照相机和多谱带照相机中的任一种。
本发明的第六方面从属于根据第一方面的虚拟显微镜系统，其中，所述光谱获取单元具有用于放大所述染色样品图像的光学倍率增大单元，并且所述光谱获取单元从由所述光学倍率增大单元放大的所述染色样品图像获取光谱。
本发明的第七方面从属于根据第一方面的虚拟显微镜系统，所述虚拟显微镜系统还包括：光谱获取位置像素值计算单元，其用于从由所述图像获取单元获得的所述染色样品图像获取由所述光谱获取单元获得光谱的位置处的像素值，
其中，制作至少包含所述光谱和所述像素值的光谱表作为光谱表。
本发明的第八方面从属于根据第一方面的虚拟显微镜系统，所述虚拟显微镜系统还包括：
估算算子计算单元，其用于由所述光谱表计算估算算子；和
光谱估算单元，其用于通过使用所述估算算子估算构成所述虚拟切片的像素的光谱。
本发明的第九方面从属于根据第八方面的虚拟显微镜系统，所述虚拟显微镜系统还包括：
光谱选择单元，其用于从所述光谱表中选择与构成所述虚拟切片的像素的像素值对应的多个光谱，
其中，所述估算算子计算单元从由所述光谱选择单元选择的所述多个光谱计算用于各像素值的估算算子；以及
所述光谱估算单元通过使用用于各像素值的估算算子估算构成所述虚拟切片的像素的光谱。
本发明的第十方面从属于根据第八方面的虚拟显微镜系统，所述虚拟显微镜系统还包括：
光谱选择单元，其用于从所述光谱表中选择与构成所述虚拟切片的像素的像素值对应的光谱，
其中，由所述光谱选择单元选择的光谱是光谱估算值。
本发明的第十一方面从属于根据第七方面的虚拟显微镜系统，其中，存储在所述光谱表中的像素值是所获得的像素值、转换成色彩空间的像素值以及从所述像素值计算的特征值中的任一种。
本发明的第十二方面从属于根据第七方面的虚拟显微镜系统，其中，所述光谱表由包含至少所述光谱、所述像素值和获得所述光谱的像素位置的信息的数据集构成。
本发明的第十三方面从属于根据第七方面的虚拟显微镜系统，其中，所述光谱获取位置像素值计算单元计算光谱获取区域中的中央像素的像素值、所述获取区域中的像素的像素值的统计值以及通过对所述获取区域中的像素值和所述光谱获取单元的光接收特性进行卷积而计算出的值中的一种。
根据本发明的虚拟显微镜系统能够几乎同时地制作光谱的统计数据和虚拟切片。因此能够高速地估算染色样品的光谱。
附图说明
图1是用于说明根据本发明的第一实施方式的虚拟显微镜系统的原理的图；
图2是用于说明根据本发明的第一实施方式的虚拟显微镜系统的原理的图；
图3是示出图1所示的光谱获取单元的变型例的图；
图4是示出图1所示的光路设定单元的另一构造的图；
图5是示出根据第一实施方式的虚拟显微镜系统的构造的功能方块图；
图6是示出图5所示的图像获取单元的主要部件的构造的方块图；
图7是示出图6所示的RGB照相机的光谱灵敏度特性的图；
图8是示出组成图6所示的滤波器单元的两个光学滤波器的光谱透射率特性的图；
图9是示出图5所示的显微镜设备的具体构造的图；
图10是示出通过图5所示的虚拟显微镜系统制作虚拟切片和光谱表的处理的流程图；
图11是示出通过图5所示的虚拟显微镜系统估算光谱的处理的流程图；
图12是用于说明根据本发明的第二实施方式的虚拟显微镜系统的原理的图；
图13是示出根据第二实施方式的虚拟显微镜系统的构造的功能方块图；
图14是示出通过图13所示的虚拟显微镜系统制作虚拟切片和光谱表的处理的流程图；
图15是示出通过图14所示的处理所制作的光谱表的示例的图；
图16是示出通过图13所示的虚拟显微镜系统估算光谱的处理的流程图；
图17是示出具有多个组织的目标样品的图；以及
图18是示出图1所示的光路设定单元的其它构造的图。
具体实施方式
现在将参照附图具体说明本发明的优选实施方式。应注意，本发明不限于下面示出的实施方式，并且图中相同的附图标记表示相同的部分。
(第一实施方式)
图1和图2是用于说明根据本发明的第一实施方式的虚拟显微镜系统的原理的图。在根据本实施方式的虚拟显微镜系统中，放置在显微镜设备的镜台(stage)上的染色样品(下文中称为“目标样品”)11通过照射光学系统13被光源12照射，并且透过染色样品的透射光通过观察光学系统14入射到光路设定单元15，其中观察光学系统14包括显微镜物镜。例如，光路设定单元15由光路切换镜15a构成。例如，光路切换镜15a由可相对于入射光的光路撤出的反射镜构成。通过从入射光路中撤出光路切换镜15a而使来自观察光学系统14的入射光的光路指向图像获取单元16，通过将光路切换镜15a插入到入射光路中而使来自观察光学系统14的入射光的光路指向光谱获取单元17。
如图2(a)所示，在从入射光路中撤出光路切换镜15a的状态下，通过图像获取单元16获取目标样品11的一个或多个谱带(band)的目标样品图像21，并且所获得的目标样品图像21被存储在未示出的存储单元中作为虚拟切片22的一部分。之后，在将光路切换镜15a插入到入射光路中的状态下，通过光谱获取单元17获取由图像获取单元16获得的目标样品图像21的一个或多个预定部分23(见图1)的光谱24(见图2(b))，并且所获得的预定部分23的各光谱24被寄存在图2所示的光谱表中。图1示出了获取目标样品图像21的两个预定部分23的每个部分的光谱24的示例。在移动目标样品11的同时，重复获取目标样品图像21和获取目标样品图像21的光谱24，由此几乎同时制作m×n张切片22和光谱表25。
在上述说明中，在获得目标样品图像21之后，获取其预定部分23处的光谱24。但是，顺序可以颠倒。另外，光谱获取单元17可构造成不仅获取目标样品图像21的两个预定部分23的每个部分处的光谱24；而且还获取一个预定部分23处的光谱24；或者如图3所示，通过利用放大光学系统27使从观察光学系统14输出并且通过光路切换镜15a的入射光放大，获取三个以上的预定部分23的每个部分处的光谱24。
另外，如图4所示，光路设定单元15也可构造成通过使用诸如半透明反射镜(half mirror)等分束器15b将来自观察光学系统14的入射光的光路分开，并且分别设定用于图像获取单元16的光路和用于光谱获取单元17的光路。在该情形下，可同时进行通过图像获取单元16获取目标样品图像21和通过光谱获取单元17获取目标样品图像21的光谱24。
另外，当通过使用图1和图3所示的可撤出的光路切换镜15a构成光路设定单元15时，可有效地使用目标样品11的透射光，从而与图4所示的示例相比可以减少照射光的光量。另外，如图4所示，当通过使用分束器15b构成光路设定单元时，与图1和图3所示的示例相比可在较短的时间内制作虚拟切片22和光谱表25。
图5是示出基于上述原理、根据本实施方式的虚拟显微镜系统的构造的功能方块图。虚拟显微镜系统由显微镜设备100和主机系统200组成，主机系统200控制显微镜设备100并且进行虚拟切片制作、光谱估算等。显微镜设备100包括图像获取单元110、光谱获取单元130、光路设定单元150和镜台170。
图像获取单元110(与图1中的图像获取单元16相当)获取通过显微镜拍摄的目标样品的一个或多个谱带的目标样品图像(在本情形中为六个谱带图像)，例如，如示出主要部件的典型构造的图6所示，图像获取单元110包括RGB照相机111以及滤波器单元113，其中，RGB照相机111具有诸如CCD(电荷耦合器件)和CMOS(互补金属氧化物半导体)等成像元件，滤波器单元113将形成图像的光的波段限制到预定范围。
如图7所示，RGB照相机111具有例如R(红)、G(绿)、B(蓝)谱带中的每一者的光谱灵敏度特性。滤波器单元113包括转动滤波器切换单元115，具有不同的光谱透射率特性的两个光学滤波器117a和117b被保持于该转动滤波器切换单元115，从而R、G、B谱带中的每一者的可透过的波长区域被分为二。图8(a)示出了光学滤波器117a的光谱透射率特性，图8(b)示出了另一光学滤波器117b的光谱透射率特性。
首先，例如，光学滤波器117a位于从光源119(与图1中的光源12相当)延伸到RGB照相机111的光路上，从而光源119照射放置在镜台170上的目标样品11，并且透射光通过图像形成光学系统121(与图1中的观察光学系统14相当)和光学滤波器117a形成在RGB照相机上。通过该方式，进行第一拍摄。然后，转动滤波器切换单元115使得光学滤波器117b位于从光源119延伸到RGB照相机111的光路上。于是，以同样的方式，进行第二拍摄。
以这种方式，通过第一拍摄和第二拍摄分别获取互不相同的三个谱带的图像，由此获得总共六个谱带的多谱带图像。应注意，设置于滤波器单元113的光学滤波器的数量不限于两个，可以使用三个以上的光学滤波器以获取更多谱带的图像。所获得的目标样品11的目标样品图像作为虚拟切片的一部分被存储在后述的主机系统200的存储单元230中。图像获取单元110可以使用RGB照相机111仅获得RGB图像。
在图5中，光谱获取单元130(与图1中的光谱获取单元17相当)获取通过图像获取单元110所获得的目标样品图像的一个或多个预定部分的光谱，并且光谱获取单元130设置有与上述预定部分对应的分光仪(spectrometer)，该分光仪使用硅检测器和光纤。因此，如果设定多个预定部分，则设置多个分光仪。
光路设定单元150相对于图像获取单元110和光谱获取单元130设定由显微镜物镜会聚的光通量的光路，从而每次图像获取单元110获取目标样品图像时，光谱获取单元130能够获取目标样品图像的预定部分的光谱，并且如图1或图4所示，光路设定单元150由光路切换镜15a或分束器15b构成。
镜台170用于在其上放置目标样品和相对于显微镜物镜定位该目标样品，并且镜台170例如由可在与显微镜物镜的光轴垂直的平面内沿二维方向移动的电镜台(electrical stage)构成。
另一方面，主机系统200包括控制单元210、存储单元230、计算单元250、输入单元270和显示单元290。
输入单元270通过诸如键盘、鼠标、触摸面板和各种开关等输入设备实现，并且输入单元270响应于操作输入而将输入信号输出到控制单元210。
显示单元290通过诸如LCD(液晶显示器)、EL(电发光)显示器、CRT(阴极射线管)显示器等显示设备实现，并且基于从控制单元210输入的显示信号而显示各种屏幕(screen)。
计算单元250包括估算算子(estimation operator)计算单元255、光谱估算单元257和虚拟切片制作单元259。虚拟切片制作单元259处理多个目标样品图像中的每一个，由此制作虚拟切片图像，其中多个目标样品图像通过利用显微镜设备100多谱带拍摄目标样品11的一部分而获得。
存储单元230通过诸如ROM和RAM等各种IC存储器、能够更新和存储的闪存、诸如集成的或通过数据通信端子连接的硬盘和CD-ROM等数据存储介质以及其读取器等实现。存储单元230存储用于处理通过图像获取单元110获得的图像的图像处理程序231、用于制作虚拟切片的虚拟切片制作程序233、制作好的虚拟切片235、通过光谱获取单元130获得的光谱表237(与图2中的光谱表25相当)、在程序运行过程中将使用的数据等。
控制单元210包括用于控制图像获取单元110的操作以获取目标样品的图像的图像获取控制单元211、用于控制光谱获取单元130的操作以获取目标样品的光谱的光谱获取控制单元213、用于控制光路设定单元150的操作以切换光路的光路设定控制单元215以及用于控制镜台170以移动观察场的镜台控制单元217。控制单元210基于从输入单元270输入的输入信号、从图像获取单元110输入的目标样品图像、存储在存储单元230中的程序或数据等给出指令或传送数据到构成虚拟显微镜系统的各单元，由此控制整个操作。控制单元210通过诸如CPU等硬件实现。当光路设定单元150由如图4所示的分束器15b构成时，不需要光路设定控制单元215。
尽管图5示出了主机系统200的功能构造，实际的主机系统200能够通过公众所知的硬件构造实现，其设置有：CPU、显示板(video board)、诸如主存储器(RAM)等主存储单元、用于连接诸如硬盘和各种存储介质等外部存储单元的接口装置、通信装置、外部输入等。因此，例如工作站和个人电脑等通用计算机可以用作主机系统200。
图9是示出图5所示的显微镜设备100的具体构造的图。显微镜设备100包括：镜台170，其上放置目标样品11；从侧面看为大致U形的显微镜主体127，其支撑镜台170并且通过转动器123保持物镜125(与图1中的观察光学系统14相当)；光源119，其设置在显微镜主体127的底部的后方；以及透镜镜筒129，其放置在显微镜主体127的顶部。另外，用于视觉地观察目标样品11的样品图像的双目镜单元(binocular unit)131和用于拍摄目标样品11的样品图像并且获取目标样品图像的TV照相机133(与图6中RGB照相机111相当)安装到透镜镜筒129。应注意，如图9所示，物镜125的光轴方向被定义为Z方向，并且与Z方向垂直的平面被定义为XY平面。
镜台170被构造成可沿X、Y和Z方向移动。换句话说，可通过马达135和控制马达135的驱动的XY驱动控制单元137使镜台170在XY平面内移动。XY驱动控制单元137通过XY位置用的原始位置传感器(未示出)检测镜台170在XY平面中的预定的原始位置，并且基于该原始位置控制马达135的驱动量，由此移动目标样品11的观察场。
另外，可通过马达139和控制马达139的驱动的Z驱动控制单元141使镜台170沿Z方向移动。Z驱动控制单元141通过Z位置用的原始位置传感器(未示出)检测镜台170的Z方向上的预定的原始位置，并且基于该原始位置控制马达139的驱动量，由此将目标样品11的焦点移动到预定的高度范围内的任意的Z位置。
转动器123相对于显微镜主体127被可转动地保持，并且将物镜125布置在目标样品11的上方。物镜125被以可与具有不同倍率(观察倍率)的其它物镜更换的方式相对于转动器123安装，并且物镜125响应于转动器123的转动而被插入观察光的光路中，以允许用于观察目标样品11的物镜125可选地切换。
显微镜主体127中包括位于其底部的用于进行目标样品11的透过照射的照射光学系统(与图1中的照射光学系统13相当)。在照射光学系统中，用于收集从光源119输出的照射光的收集透镜143、照射系统滤波器单元145、场阑(field stop)147、孔径光阑(aperture stop)149、用于沿物镜125的光轴偏转照射光的光路的折叠式反射镜151、聚光元件单元(condenser optical element unit)153、上部透镜单元155等沿照射光的光路被布置在适当的位置。从光源119输出的照射光通过照射光学系统照射目标样品11，并且从目标样品11透过的透射光作为观察光入射到物镜125上。
另外，显微镜主体127包括光谱获取单元130和位于物镜125和透镜镜筒129之间的光路上的光路设定单元150，从而光路被设定在光谱获取单元130和透镜镜筒129上。通过使用图1所示的光路切换镜15a或图4所示的分束器15b而构成光路设定单元150。
另外，显微镜主体127中包括位于光路设定单元150和透镜镜筒129之间的光路上的滤波器单元157。滤波器单元157与图7中示出的滤波器单元113相当，并且可转动地保持两个以上的光学滤波器159以将作为样品图像聚焦的光的波段限制到预定的范围，并且适当地将光学滤波器159插入物镜125之后的观察光的光路中。
透镜镜筒129中包括用于切换通过滤波器单元157的观察光的光路以将光导向双目镜单元131或将光导向TV照相机133的分束器161。目标样品11的样品图像通过分束器161被引入双目镜131中，并且被使用显微镜的技术人员通过目镜163视觉地观察到，或者被TV照相机133拍摄。TV照相机133通过包括诸如CCD或CMO S等形成样品图像(更具体地，在物镜125的视野范围内的样品图像)的成像元件而构成，TV照相机133拍摄样品图像并且将样品图像(目标样品图像)的图像数据输出到主机系统200。
显微镜设备100还包括显微镜控制器165、TV照相机控制器167和光谱获取控制器169。显微镜控制器165在主机系统200的控制下控制构成显微镜设备100的各部件的整体操作。例如，显微镜控制器165通过使转动器123转动而切换布置在观察光的光路上的物镜125，并且进行显微镜设备100的各部件的与目标样品11的观察相关诸如光源119的与切换后的物镜125的倍率等对应的变暗控制等调节、切换各种光学元件或者将用于移动镜台170的指令给到XY驱动控制单元137和Z驱动控制单元141，等等，同时显微镜控制器165适当地将各单元的状态报告给主机系统200。
TV照相机控制器167在主机系统200的控制下，进行自动增益控制的ON/OFF切换、增益的设定、自动曝光控制的ON/OFF切换、曝光时间的设定等，以驱动TV照相机133并且控制TV照相机133的拍摄操作。另外，光谱获取控制器169在主机系统200的控制下，控制通过光谱获取单元130来获取光谱并且将所获得的光谱提供给主机系统200。
以下参照图10和图11中示出的流程图说明根据本实施方式的虚拟显微镜系统的主要部件的操作。
图10是示出虚拟切片和光谱表的制作过程的流程图。首先，在控制单元210中，镜台控制单元217控制镜台170的操作，以移动目标样品11的观察场(步骤S101)。接着，光路设定控制单元215控制光路设定单元150的操作，以将光路指向图像获取单元110(步骤S103)。
然后，控制单元210的图像获取控制单元211控制图像获取单元110的操作，以获取目标样品11的目标样品图像(步骤S105)，并且将所获得的目标样品图像存储在存储单元230中作为虚拟切片235的一部分(步骤S107)。
然后，控制单元210的光路设定控制单元215控制光路设定单元150的操作，以将光路指向光谱获取单元130(步骤S109)。然后，控制单元210的光谱获取控制单元213控制光谱获取单元130的操作，以获取目标样品11的光谱(步骤S111)，并且将所获得的目标样品11的光谱存储在存储单元230的光谱表237中(步骤S113)。当光谱获取单元130获取目标样品图像的多个部分的光谱时，从所有部分获得光谱(步骤S115)。
然后，控制单元210重复步骤S101至S115，直到目标样品11的所需场被获得，以制作整个目标样品11或部分目标样品11的切片235和光谱表237(步骤S117)。当光路设定单元150如图4所示地由分束器15b构成时，则不需要步骤S103和S109。在该情形下，通过图像获取单元110获取目标样品图像的处理和通过光谱获取单元130获取光谱的处理同时进行或者顺序进行。
通过这种方式，每次通过图像获取单元110获取目标样品图像时，通过光谱获取单元130获取目标样品图像的光谱，由此高速地制作虚拟切片235和光谱表237。特别地，当光路设定单元150如图4所示地由分束器15b构成时，不需要用于切换光路切换镜15a的时间，而当使用可动的光路切换镜15a时该时间是需要的，因此，能够更高速地制作虚拟切片235和光谱表237。
另外，当光谱获取单元130获取目标样品图像的多个部分的光谱时，能够制作包含更丰富的信息的光谱表237。另外，存储在光谱表237中的光谱是从目标样品11获得的光谱，因此，它们是用于计算估算算子W的合适的统计数据，估算算子W用于估算目标样品11的光谱。
图11是示出光谱的估算处理的流程图。首先，在控制单元210中，估算算子控制单元225基于存储在光谱表237中的多个光谱计算式(6)中表示的估算算子W(步骤S201)。为此，首先，估算算子控制单元225基于存储在光谱表237中的多个光谱找到平均矢量(vector)V，并且基于该平均矢量V通过下面示出的式(7)计算自相关矩阵Rss。这里，上标T表示行列式的转置。
Rss＝∑V·VT    ...(7)
然后，估算算子计算单元255基于该自相关矩阵Rss通过式(6)计算出估算算子W。式(6)再次在下面示出。
W＝RssHt(RssHt+RNN)-1    ...(6)
这里，()t：转置矩阵，和()-1：逆矩阵。
由此获得适合用于估算目标样品图像的光谱的估算算子W。所获得的估算算子W被存储在存储单元230中。至于用于计算自相关矩阵用的光谱，可以使用存储在光谱表237中的所有光谱或者使用为了某一目的通过去除特定的数据而提取的部分光谱。另外，当数据量不充足时，可与其它样品的光谱或通用光谱一起使用。另外，可使用协方差矩阵代替自相关矩阵。
然后，在控制单元210中，光谱估算单元257基于包含在虚拟切片235中的待估算的像素的像素值估算目标样品11的光谱(步骤S203)。换句话说，在光谱估算单元257中，基于待估算的像素的像素值G(x)通过使用上述式(5)的估算算子W来估算目标样品11的对应的样品点处的光谱透射率的估算值
Figure BSA00000342990100191
式(5)再次在下面示出。
T ^ ( x ) = WG ( X ) . . . ( 5 )
通过这种方式，能够通过估算光谱透射率的估算值
Figure BSA00000342990100193
而减小光谱估算误差。光谱透射率的估算值
Figure BSA00000342990100194
被存储在存储单元230中。
如上所述，根据本实施方式的虚拟显微镜系统，能够几乎同时地制作光谱表237和虚拟切片235，由此高速地估算光谱。另外，当光路设定单元150由分束器15b构成时，能够以更快的速度估算光谱。另外，由于能够计算出适合于目标样品的估算算子，所以能够减小光谱估算中的估算误差。而且，当光谱获取单元130获取目标样品图像的多个部分的光谱时，能够进一步减小光谱估算中的估算误差。
(第二实施方式)
图12(a)和图12(b)是用于说明根据本发明的第二实施方式的虚拟显微镜系统的原理的图。在根据本实施方式的虚拟显微镜系统中，除由图2(a)和图2(b)描述的第一实施方式的操作原理之外，当从目标样品图像获得的光谱24被寄存在光谱表25中时，从目标样品图像21获取测量光谱24的部分23处的像素的像素值和位置信息，并且该像素值和位置信息被存储在光谱表25中作为数据集26，由此几乎在制作虚拟切片的同时制作包含像素值的光谱表。除此以外，其原理与图2(a)和图2(b)中示出的原理相同。
图13是示出基于上述原理的根据本实施方式的虚拟显微镜系统的构造的功能方块图。在虚拟显微镜系统中，主机系统200的计算单元250的构造与图5所示的计算单元的构造不同。换句话说，除图5示出的估算算子计算单元255、光谱估算单元257和虚拟切片制作单元259之外，计算单元250还包括用于从目标样品图像计算光谱获取区域中的像素值的光谱获取区域像素值计算单元251和用于从光谱表237选择光谱的光谱选择单元253。除此以外，构造与图5中示出的构造相同，因此具有相同功能的组件被以相同的附图标记表示，并且略去其说明。
下面说明根据本实施方式的虚拟显微镜系统的主要部件的操作。
图14是示出虚拟切片和光谱表的制作过程的流程图。首先，如图10中示出的第一实施方式中的情形那样，控制单元210执行步骤S101至S111。然后，控制单元210的光谱获取区域像素值计算单元251从对应的目标样品图像计算光谱获取区域中的像素值(步骤S112)。在该情形下，通过光路设定单元150使图像获取单元110和光谱获取单元130的光轴一致，由此使得光谱获取区域像素值计算单元251能够获取获得光谱的区域中的像素。
通常，光谱获取单元130的空间分辨率低于图像获取单元110的空间分辨率。因此，光谱获取区域像素值计算单元251通过式(8)对获取光谱的区域中的像素的像素值G和光谱获取单元130的光接收特性A进行卷积，由此基于获取光谱的区域中的像素的像素值计算与光谱对应的像素值。
G ^ ( x , y ) = Σ j = y - D y + D Σ i = x - D x + D G ( i , j ) A ( i , j ) . . . ( 8 )
与光谱对应的像素值不限于上述值，并且可以是获取光谱的区域中的中央像素的像素值或者是诸如获取光谱的区域中的像素的像素值的平均值、众数值(mode value)、中值(median value)等统计值。另外，像素值可以是所获得的像素值、转换成诸如L*a*b空间(space)等色彩空间的像素值或者从像素值计算出的特征值。
步骤S111中获得的光谱和步骤S112a中计算的像素值与获取光谱处的位置信息一起被存储在光谱表237中作为数据集(步骤S112b)。后面的从S115至S117的步骤与第一实施方式的步骤相同。
通过这种方式，如图15所示，例如，能够获得如下光谱表237：其中，像素值、光谱值和像素位置相关联为数据集。于是，能够获得更适于用于计算估算目标样品的光谱用的估算算子W的统计数据。
图16是示出光谱的估算处理的流程图。首先，在控制单元210中，光谱选择单元253基于包括在虚拟切片235中的待估算的像素的像素值从光谱表237中选择光谱(步骤S202a)。于是，光谱选择单元253首先计算待估算的像素的像素值和光谱表237中各数据集的像素值的相似性d。
对于相似性d，例如使用诸如两个像素值之间的欧几里德距离等统计值。在该情形下，已经被转换成L*a*b空间的两个像素值之间的欧几里德距离表示色差。另外，可以对每个谱带计算相似性d，使得所有谱带满足条件或部分谱带满足条件。另外，光谱表237中待比较的数据集可以限制为如下数据集：其中两个像素值之间的差在任意阈值范围内。因此能够实现高速搜索。
当相似性d是两个像素值之间的欧几里德距离时，相同值之间的欧几里德距离是零。因此，该值随着相似性的增加而趋近于零。由此，从小的相似性中依次选择预定数量的数据集。在该情形下，该预定数量可以根据经验确定。另外，可以选择具有小于预定阈值的相似性的数据集。在该情形下，该预定阈值可以根据经验确定。于是，能够选择与待估算的像素的像素值相似的统计数据。通过这种方式，能够选择最适合用于计算估算算子W的统计数据，估算算子W用于估算待估算的像素的光谱。所选择的数据集和所计算的相似性d被存储在存储单元230中。
然后，控制单元210的估算算子计算单元255基于所选择的数据集通过前述的式(6)计算估算算子W(步骤S202b)。由此，估算算子计算单元255首先基于所选择的数据集和相似性d通过下面示出的式(9)找到加权平均矢量V’。
V ′ = Σ i = 1 N 1 d i · T i Σ i 1 d i . . . ( 9 )
然后，估算算子计算单元255基于加权平均矢量V’通过下面的式(10)计算自相关矩阵Rss。这里，上标T表示行列式(矩阵)的转置。
Rss＝∑V′·V′T    ...(10)
然后，估算算子计算单元255基于该自相关矩阵Rss通过前述的式(6)计算出估算算子W。式(6)再次在下面示出。
W＝RssHt(RssHt+RNN)-1    ...(6)
这里，()t：转置矩阵，和()-1：逆矩阵。
通过这种方式，获得最合适用于估算待估算的像素的光谱的估算算子W。所获得的估算算子W被存储在存储单元230中。然后，如图11所示的第一实施方式的情形那样，在步骤S203中通过使用所计算出的估算算子估算待估算的像素的光谱，由此减小各像素的光谱的估算误差。
由此，根据本实施方式的虚拟显微镜系统，几乎与制作虚拟切片同时地获得包含数据集的光谱表237，所述数据集为光谱、获取光谱的部分的像素值和位置信息。因此，除第一实施方式的效果以外，能够更精确地估算光谱。
例如，在通过在单次拍摄中从具有多个组织的目标样品11获取图17所示的尺寸的目标样品图像21(切片，tile)并且连续地获得其它切片的样品图像而制作虚拟切片235的情形中，邻近的切片很可能包含相同的组织或具有相似特性的组织。由此，在该情形下，当估算光谱时，更优选使用相同的组织中或具有相似特性的组织中测量的光谱作为教练数据(teacher data)。根据本实施方式，如上所述，获得包含光谱、获取光谱的部分的像素值和位置信息的数据集的光谱表237。然后，基于该位置信息，待估算的像素的邻近位置的教练数据能够用于估算光谱。由此，能够从相同组织或者从很可能是具有相似特性的组织的组织的教练数据估算光谱，因此能使估算更精确。
本发明不限于上述的实施方式，并且可以进行很多修改和变型。例如，如图18(a)和图18(b)所示，图1、图3和图4中示出的光路设定单元15可以由配置切换机构15c构成，通过该配置切换机构15c可相对于观察光学系统14的光路机械地切换图像获取单元16和光谱获取单元17的配置，以允许观察光在图18(a)的状态下入射到图像获取单元16并且允许观察光在图18(b)的状态下入射到光谱获取单元17。另外，不仅可以通过移动镜台还可以通过移动显微镜物镜或者通过移动镜台和显微镜物镜二者来切换目标样品的观察场。
另外，在第二实施方式中，可以使用具有最小相似性d的光谱作为光谱估算值。在该情形下，虽然光谱估算误差比估算光谱的情形下的光谱估算误差大，但是由于不进行光谱估算，所以实现可以高速处理。另外，可以通过式(9)设定加权平均矢量V’的权重，另外，也可适当地设定该权重。此外，可以不进行该加权而使用其它样品的光谱或通用光谱来计算估算算子。另外，可以采用协方差矩阵代替自相关矩阵来计算估算算子。此外，包含光谱的数据集可以是光谱和获取光谱的位置的像素值的数据集或者光谱和获取光谱处的像素位置的数据集。

Claims (13)

1.一种虚拟显微镜系统，其用于拍摄染色样品，以估算光谱，所述虚拟显微镜系统包括：
图像获取单元，其用于获取所述染色样品的一个以上谱带的染色样品图像；
光谱获取单元，其用于获取所述染色样品图像的一个以上的预定部分的光谱；
光路设定单元，其用于设定透过所述染色样品的光通量相对于所述图像获取单元和所述光谱获取单元的光路，从而每次所述图像获取单元获取所述染色样品图像时，能够通过所述光谱获取单元获取所述染色样品图像的光谱；以及
控制单元，其用于在所述染色样品的两个以上的观察场中进行控制以重复通过所述图像获取单元获取所述染色样品图像和通过所述光谱获取单元获取所述染色样品图像的光谱，从而制作所述染色样品的虚拟切片和光谱表。
2.根据权利要求1所述的虚拟显微镜系统，其特征在于，
所述光路设定单元具有用于切换所述光通量的光路的光路切换镜，从而透过所述染色样品的所述光通量选择性地入射到所述图像获取单元或所述光谱获取单元。
3.根据权利要求1所述的虚拟显微镜系统，其特征在于，
所述光路设定单元具有配置切换机构，其用于选择性地将所述图像获取单元或所述光谱获取单元置于透过所述染色样品的所述光通量的光路上。
4.根据权利要求1所述的虚拟显微镜系统，其特征在于，
所述光路设定单元具有分束器，该分束器用于将所述光通量的光路分开，从而使透过所述染色样品的所述光通量同时入射到所述图像获取单元和所述光谱获取单元。
5.根据权利要求1所述的虚拟显微镜系统，其特征在于，
所述图像获取单元是设置有照相机和光学滤波器的RGB照相机、黑白照相机、两个以上谱带的照相机和多谱带照相机中的任一种。
6.根据权利要求1所述的虚拟显微镜系统，其特征在于，
所述光谱获取单元具有用于放大所述染色样品图像的光学倍率增大单元，并且所述光谱获取单元从由所述光学倍率增大单元放大的所述染色样品图像获取光谱。
7.根据权利要求1所述的虚拟显微镜系统，其特征在于，所述虚拟显微镜系统还包括：
光谱获取位置像素值计算单元，其用于从由所述图像获取单元获得的所述染色样品图像获取由所述光谱获取单元获得光谱的位置处的像素值，
其中，制作至少包含所述光谱和所述像素值的光谱表作为光谱表。
8.根据权利要求1所述的虚拟显微镜系统，其特征在于，所述虚拟显微镜系统还包括：
估算算子计算单元，其用于由所述光谱表计算估算算子；和
光谱估算单元，其用于通过使用所述估算算子估算包括在所述虚拟切片中的像素的光谱。
9.根据权利要求8所述的虚拟显微镜系统，其特征在于，所述虚拟显微镜系统还包括：
光谱选择单元，其用于从所述光谱表中选择与包括在所述虚拟切片中的像素的像素值对应的多个光谱，
其中，所述估算算子计算单元从由所述光谱选择单元选择的所述多个光谱计算用于各像素值的估算算子；以及
所述光谱估算单元通过使用用于各像素值的估算算子估算构成所述虚拟切片的像素的光谱。
10.根据权利要求8所述的虚拟显微镜系统，其特征在于，所述虚拟显微镜系统还包括：
光谱选择单元，其用于从所述光谱表中选择与包括在所述虚拟切片中的像素的像素值对应的光谱，
其中，由所述光谱选择单元选择的光谱是光谱估算值。
11.根据权利要求7所述的虚拟显微镜系统，其特征在于，
存储在所述光谱表中的像素值是所获得的像素值、转换成色彩空间的像素值以及从所述像素值计算的特征值中的任一种。
12.根据权利要求7所述的虚拟显微镜系统，其特征在于，
所述光谱表由包含至少所述光谱、所述像素值和获得所述光谱的像素位置的信息的数据集构成。
13.根据权利要求7所述的虚拟显微镜系统，其特征在于，
所述光谱获取位置像素值计算单元计算光谱获取区域中的中央像素的像素值、所述获取区域中的像素的像素值的统计值以及通过对所述获取区域中的像素值和所述光谱获取单元的光接收特性进行卷积而计算出的值中的一种。
CN201010540079.9A 2009-11-09 2010-11-09 虚拟显微镜系统 Pending CN102073133A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009256312A JP5498129B2 (ja) 2009-11-09 2009-11-09 バーチャル顕微鏡システム
JP2009-256312 2009-11-09

Publications (1)

Publication Number Publication Date
CN102073133A true CN102073133A (zh) 2011-05-25

Family

ID=43973890

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201010540079.9A Pending CN102073133A (zh) 2009-11-09 2010-11-09 虚拟显微镜系统

Country Status (3)

Country Link
US (1) US8780191B2 (zh)
JP (1) JP5498129B2 (zh)
CN (1) CN102073133A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104902204A (zh) * 2015-05-25 2015-09-09 高利通科技（深圳）有限公司 一种具有照像功能的光谱显示方法及系统

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010103389A1 (de) 2009-03-11 2010-09-16 Sensovation Ag Autofokusverfahren und autofokuseinrichtung
US10139613B2 (en) 2010-08-20 2018-11-27 Sakura Finetek U.S.A., Inc. Digital microscope and method of sensing an image of a tissue sample
US20140193052A1 (en) * 2011-08-23 2014-07-10 Yoshiko Yoshihara Information processing system, information processing method, information processing apparatus, control method thereof and control program
JP5826561B2 (ja) * 2011-08-24 2015-12-02 オリンパス株式会社 顕微鏡システム、標本画像生成方法及びプログラム
US8977017B2 (en) * 2011-09-15 2015-03-10 The General Hospital Corporation System and method for support of medical diagnosis
US9715099B2 (en) * 2011-11-07 2017-07-25 The Regents Of The University Of California Maskless imaging of dense samples using multi-height lensfree microscope
JP2013152454A (ja) * 2011-12-27 2013-08-08 Canon Inc 画像処理装置、画像処理システム、画像処理方法および画像処理プログラム
WO2013142366A1 (en) * 2012-03-19 2013-09-26 Genetic Innovations, Inc. Devices, systems, and methods for virtual staining
DE102013103971A1 (de) 2013-04-19 2014-11-06 Sensovation Ag Verfahren zum Erzeugen eines aus mehreren Teilbildern zusammengesetzten Gesamtbilds eines Objekts
JP6127926B2 (ja) * 2013-11-11 2017-05-17 ソニー株式会社 画像処理装置及び画像処理方法
US10007102B2 (en) 2013-12-23 2018-06-26 Sakura Finetek U.S.A., Inc. Microscope with slide clamping assembly
US9846077B2 (en) * 2015-01-26 2017-12-19 H2Optx Inc. Devices and methods for analyzing granular samples
CN109154569A (zh) * 2016-02-12 2019-01-04 麻省理工学院 用于对未切片组织样本成像的方法和装置
EP3446083B1 (en) * 2016-04-20 2023-09-13 Leica Biosystems Imaging Inc. Digital pathology color calibration
US11280803B2 (en) 2016-11-22 2022-03-22 Sakura Finetek U.S.A., Inc. Slide management system
KR102202861B1 (ko) * 2019-04-09 2021-01-18 이준석 스크린 교환 장치, 이를 포함하는 생체조직 미세화 시스템, 이를 이용하는 생체조직 미세화 방법 및 이와 관련된 생체조직으로부터 타겟 물질을 분리하는 방법

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04138341A (ja) * 1990-09-29 1992-05-12 Shimadzu Corp 顕微分光装置
JP2000346802A (ja) * 1999-03-26 2000-12-15 Sony Corp 素子内部検査装置および方法
US7099005B1 (en) * 2000-09-27 2006-08-29 Kla-Tencor Technologies Corporation System for scatterometric measurements and applications
US6950109B2 (en) * 2000-10-23 2005-09-27 Sun Microsystems, Inc. Multi-spectral color correction
US6870612B2 (en) * 2002-01-22 2005-03-22 Spectracode, Inc. Portable spectral imaging microscope system
US7016525B2 (en) * 2002-05-02 2006-03-21 Mitutoyo Corporation Systems and methods for continuously varying wavelength illumination
US8634607B2 (en) * 2003-09-23 2014-01-21 Cambridge Research & Instrumentation, Inc. Spectral imaging of biological samples
JP2006171024A (ja) * 2004-12-10 2006-06-29 Olympus Corp 多点蛍光分光測光顕微鏡および多点蛍光分光測光方法
JP4847101B2 (ja) * 2005-10-31 2011-12-28 オリンパス株式会社 顕微鏡システム
AU2007281932B2 (en) * 2006-08-11 2013-07-25 Northshore University Healthsystem Method for identifying refractive-index fluctuations of a target
JP2009014354A (ja) * 2007-06-29 2009-01-22 Olympus Corp 画像処理装置および画像処理プログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104902204A (zh) * 2015-05-25 2015-09-09 高利通科技（深圳）有限公司 一种具有照像功能的光谱显示方法及系统
CN104902204B (zh) * 2015-05-25 2016-07-20 高利通科技（深圳）有限公司 一种具有照像功能的光谱显示方法及系统

Also Published As

Publication number Publication date
JP2011099823A (ja) 2011-05-19
US8780191B2 (en) 2014-07-15
US20110109735A1 (en) 2011-05-12
JP5498129B2 (ja) 2014-05-21

Similar Documents

Publication Publication Date Title
CN102073133A (zh) 虚拟显微镜系统
JP5161052B2 (ja) 顕微鏡システム、標本観察方法およびプログラム
US8306317B2 (en) Image processing apparatus, method and computer program product
Haaland et al. Hyperspectral confocal fluorescence imaging: exploring alternative multivariate curve resolution approaches
US9031304B2 (en) Image processing system
JP2011022131A (ja) 医療診断支援装置、画像処理方法、画像処理プログラム、およびバーチャル顕微鏡システム
US9406118B2 (en) Stain image color correcting apparatus, method, and system
US20100195903A1 (en) Image processing device, data-set generating device, computer readable storage medium storing image processing program and computer readable storage medium storing data-set generating program
JP2024019639A (ja) 顕微鏡システム、プログラム、及び、投影画像生成方法
JP2010156612A (ja) 画像処理装置、画像処理プログラム、画像処理方法およびバーチャル顕微鏡システム
JP5752985B2 (ja) 画像処理装置、画像処理方法、画像処理プログラムおよびバーチャル顕微鏡システム
JP2008304205A (ja) 分光特性推定装置および分光特性推定プログラム
US11378515B2 (en) Image processing device, imaging system, actuation method of image processing device, and computer-readable recording medium
US20210174147A1 (en) Operating method of image processing apparatus, image processing apparatus, and computer-readable recording medium
WO2018131091A1 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
US20200074628A1 (en) Image processing apparatus, imaging system, image processing method and computer readable recoding medium
JP5687541B2 (ja) 画像処理装置、画像処理方法、画像処理プログラムおよびバーチャル顕微鏡システム
WO2021166089A1 (ja) 評価支援装置、評価支援システム、評価支援方法およびプログラム
Liao Imaging Innovations for Whole-Slide and Hyperspectral Microscopy
WO2018193635A1 (ja) 画像処理システム、画像処理方法、及び画像処理プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20110525