CN102539341A - 标本区域检测方法、装置以及程序 - Google Patents
标本区域检测方法、装置以及程序 Download PDFInfo
- Publication number
- CN102539341A CN102539341A CN2011103992325A CN201110399232A CN102539341A CN 102539341 A CN102539341 A CN 102539341A CN 2011103992325 A CN2011103992325 A CN 2011103992325A CN 201110399232 A CN201110399232 A CN 201110399232A CN 102539341 A CN102539341 A CN 102539341A
- Authority
- CN
- China
- Prior art keywords
- sample
- area
- image
- zone
- microscope
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000001514 detection method Methods 0.000 title claims description 46
- 230000005855 radiation Effects 0.000 claims description 20
- 238000009281 ultraviolet germicidal irradiation Methods 0.000 claims description 14
- 150000001413 amino acids Chemical class 0.000 claims description 6
- 238000011532 immunohistochemical staining Methods 0.000 claims description 4
- 238000005286 illumination Methods 0.000 abstract 2
- 102000004190 Enzymes Human genes 0.000 description 40
- 108090000790 Enzymes Proteins 0.000 description 40
- 239000003550 marker Substances 0.000 description 39
- 238000004043 dyeing Methods 0.000 description 37
- 238000003384 imaging method Methods 0.000 description 31
- 238000003364 immunohistochemistry Methods 0.000 description 31
- 102100036912 Desmin Human genes 0.000 description 16
- 108010044052 Desmin Proteins 0.000 description 16
- 102000013127 Vimentin Human genes 0.000 description 16
- 108010065472 Vimentin Proteins 0.000 description 16
- 210000005045 desmin Anatomy 0.000 description 16
- 210000005048 vimentin Anatomy 0.000 description 16
- 210000001519 tissue Anatomy 0.000 description 14
- 238000010586 diagram Methods 0.000 description 12
- 235000015277 pork Nutrition 0.000 description 9
- 210000003165 abomasum Anatomy 0.000 description 8
- 241000282894 Sus scrofa domesticus Species 0.000 description 7
- 210000004185 liver Anatomy 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 7
- 241000283690 Bos taurus Species 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000001575 pathological effect Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 206010006187 Breast cancer Diseases 0.000 description 3
- 208000026310 Breast neoplasm Diseases 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000010186 staining Methods 0.000 description 3
- 101150029707 ERBB2 gene Proteins 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 239000000427 antigen Substances 0.000 description 2
- 102000036639 antigens Human genes 0.000 description 2
- 108091007433 antigens Proteins 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 210000004027 cell Anatomy 0.000 description 2
- 210000004748 cultured cell Anatomy 0.000 description 2
- 239000000975 dye Substances 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 241000282898 Sus scrofa Species 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000003750 conditioning effect Effects 0.000 description 1
- 239000006059 cover glass Substances 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000010827 pathological analysis Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000001915 proofreading effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000009958 sewing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/16—Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/174—Segmentation; Edge detection involving the use of two or more images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Optics & Photonics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Microscoopes, Condenser (AREA)
Abstract
本发明公开了标本区域检测方法、装置以及程序。一种用于检测标本区域的方法包括：用于由第一区域检测单元检测第一区域的第一步骤，第一区域是在可见光照射下拍摄的观察对象的第一图像中的具有对比度的区域，用于由第二区域检测单元检测第二区域的第二步骤，第二区域是在紫外光照射下拍摄的观察对象的第二图像中的具有对比度的区域，以及用于由标本区域定义单元基于第一区域和第二区域来定义观察对象中存在标本的标本区域的第三步骤。
Description
技术领域
本公开涉及意图从观察对象的图像中检测出存在用于进行显微镜观察的标本(specimen)的标本区域的标本区域检测方法、标本区域检测装置和标本区域检测程序。
背景技术
在病理诊断领域中在染色(staining)后在显微镜下观察标本(例如，组织结构)是常见的。染色通常是通过将标本沉浸在专用于特定组织结构的染料溶液中来实现的。某种类型的染料与免疫组织结构(如果其存在于标本中的话)相组合来形成颜色，从而使得观察者能够确定标本中是否存在该免疫组织结构。
该领域中的最近发展包括显微镜图像的自动拍摄。该技术采用按两个阶段来工作的系统。在第一阶段中，该系统拍摄以低放大倍率进行观察的对象(例如显微镜用标本(preparation))，从而获得低倍率图像。然后，使该低倍率图像经过用于轮廓检测的图像处理。以这种方式，该系统提取存在标本的显微镜观察区域。在第二阶段中，该系统通过高放大倍率显微镜来拍摄显微镜观察区域，从而自动地给出标本的高倍率图像。前面的技术避免了不经济地对不存在观察标本的大多数区域进行高倍率拍摄。
前述系统的一个示例在日本专利早期公开No.2009-175040(第[0026]段和图2)(下面称为专利文献1)中被公开。所公开系统如此被设计来从所拍摄病理图像中检测“关注区域”并且以高放大倍率来拍摄该区域，从而在该区域中自动获取高倍率病理图像。该系统通过利用病理图像的像素值(RGB值)差异来检测关注区域。
发明内容
不幸的是，专利文献1中公开的标本观察方法具有如下缺点(利用像素差来检测关注区域所固有的缺点)：在低对比度图像(其中病理图像具有小的像素值差异)的情况中检测关注区域时存在困难。例如，上面提到的染色方法可能能够对阳性组织染色但是不能对阴性组织染色。在此实例中，前面的系统不会检测到阴性组织。
本公开是鉴于前面的状况而完成的。希望提供意图检测标本存在的区域而不管该区域是否具有低对比度的标本区域检测方法、标本区域检测装置和标本区域检测程序。
将通过下面的三个实施例来实现本公开。第一实施例关于用于检测标本区域的方法。该方法采用两个区域检测单元。第一区域检测单元检查在可见光照射下拍摄的观察对象的第一图像。其检测第一图像中的高对比度区域，并且该区域被指定为第一区域。
第二区域检测单元检查在紫外光照射下拍摄的观察对象的第二图像。其检测第二图像中的高对比度区域，并且该区域被指定为第二区域。
该方法还采用标本区域定义单元，其基于上述第一和第二区域来定义观察对象中存在标本的区域。
当第一区域检测单元检查在可见光照射下拍摄的观察对象的第一图像时，其能够检测具有高对比度(其表示视觉特性性质，例如照明度和颜色)的区域，但是不能检测难以与背景区别开的低对比度区域。这里假设标本包含在紫外光照射下发出荧光的区域，第二区域检测单元检测在紫外光照射下拍摄的观察对象的第二图像中的具有高对比度的区域。以这种方式，前面的方法允许检测在可见光照射下产生低对比度但是在紫外光照射下发出荧光的标本。因此，基于分别由第一和第二区域检测单元检测到的第一和第二区域，标本区域定义单元检测在可见光照射下产生低对比度但是在紫外光照射下发出荧光的标本的区域。
定义标本区域的步骤可以以这样的方式来完成：由标本区域定义单元通过将第一区域和第二区域组合在一起来定义该标本区域。
通过将第一区域和第二区域组合起来以具有完整的标本区域，标本区域定义单元完整地定义存在在可见光照射下产生对比度的标本的区域以及存在在紫外光照射下产生对比度的标本的区域。
用于检测标本区域的上述方法可以采用显微镜拍摄范围设置单元。通过该单元，该方法可以具有用于建立显微镜拍摄范围的附加步骤，在该显微镜拍摄范围中，观察对象在显微镜下被拍摄。
将标本区域限制到显微镜成像区域避免了对不存在标本的区域进行拍摄，并且排除不必被拍摄的区域，从而允许快速显微镜拍摄并且节约图像存储器。
上述标本可以是包含氨基酸的活体组织。
包含氨基酸的活体组织在紫外光照射下发出荧光。因此，即使其在可见光照射下仅产生低对比度，其也可被根据本公开的标本检测方法检测到。
上述标本可以是经免疫组织化学染色的标本。
免疫组织化学染色意图用于在利用酶被标记的抗体的辅助下检测抗原。经免疫组织化学染色的标本给出了阳性区域和阴性区域，它们在可见光照射下分别展示出和不展示出对比度。“阳性”和“阴性”分别是指该标本具有或不具有与标记酶结合的结构。因此，利用对比度的检测方法在被应用于在可见光照射下拍摄的图像时，不能检测阴性区域。与前面的方法不同，根据本公开实施例的方法能够检测阴性区域，因为其不仅处理第一图像(在可见光照射下拍摄的图像)而且处理第二图像(在紫外光照射下拍摄的图像)。
根据本公开的一个实施例，用于检测标本区域的装置具有第一区域检测单元、第二区域检测单元和标本区域定义单元。
该第一区域检测单元检测示出了在可见光照射下拍摄的观察对象的第一图像中的具有对比度的区域。如此检测到的区域被指定为第一区域。
该第二区域检测单元检测示出了在紫外光照射下拍摄的观察对象的第二图像中的具有对比度的区域。如此检测到的区域被指定为第二区域。
该标本区域定义单元基于观察对象的第一区域和第二区域来定义存在标本的标本区域。
根据本公开的一个实施例，用于检测标本区域的程序控制第一区域检测单元、第二区域检测单元和标本区域定义单元，以使得它们适当地起作用。
该第一区域检测单元检测示出了在可见光照射下拍摄的观察对象的第一图像中的具有对比度的区域。如此检测到的区域被指定为第一区域。
该第二区域检测单元检测示出了在紫外光照射下拍摄的观察对象的第二图像中的具有对比度的区域。如此检测到的区域被指定为第二区域。
该标本区域定义单元基于观察对象的第一区域和第二区域来定义存在标本的标本区域。
如上，本公开提供了即使在存在标本的区域具有低对比度时也能够检测该区域的标本区域检测方法、标本区域检测装置和标本区域检测程序。
附图说明
图1是示出关于本公开一个实施例的显微镜系统的配置的示意图；
图2是示出上述显微镜系统中的标本区域检测装置的配置的框图；
图3是示出上述显微镜系统的动作的流程图；
图4是示出上述显微镜系统中的标本区域检测装置的动作的流程图；
图5是由上述显微镜系统拍摄的第一图像的示例；
图6是由上述显微镜系统拍摄的第二图像的示例；
图7A和图7B是示出由上述显微镜系统中的第一区域检测单元检测到的第一区域的示意图；
图8A和图8B是示出由上述显微镜系统中的第二区域检测单元检测到的第二区域的示意图；
图9是示出由上述显微镜系统中的标本区域定义单元定义的标本区域的示意图；
图10是示出由上述显微镜系统建立的显微镜视野的示意图；
图11A和图11B是关于本公开一个示例的标本(猪里脊肉：经IHC染色(标记酶＝波形蛋白(Vimentin)))的图像；
图12A和图12B是关于本公开一个示例的标本(猪里脊肉：经IHC染色(标记酶＝肌间线蛋白(Desmin)))的图像；
图13A和图13B是关于本公开一个示例的标本(猪里脊肉：经IHC染色(标记酶＝AE1/AE3))的图像；
图14A和图14B是关于本公开一个示例的标本(猪里脊肉：经IHC染色(标记酶＝LCA))的图像；
图15A和图15B是关于本公开一个示例的标本(猪肚：经IHC染色(标记酶＝波形蛋白))的图像；
图16A和图16B是关于本公开一个示例的标本(猪肚：经IHC染色(标记酶＝肌间线蛋白))的图像；
图17A和图17B是关于本公开一个示例的标本(猪肚：经IHC染色(标记酶＝AE1/AE3))的图像；
图18A和图18B是关于本公开一个示例的标本(猪肚：经IHC染色(标记酶＝LCA))的图像；
图19A和图19B是关于本公开一个示例的标本(猪肾脏：经IHC染色(标记酶＝波形蛋白))的图像；
图20A和图20B是关于本公开一个示例的标本(猪肾脏：经IHC染色(标记酶＝肌间线蛋白))的图像；
图21A和图21B是关于本公开一个示例的标本(猪肾脏：经IHC染色(标记酶＝AE1/AE3))的图像；
图22A和图22B是关于本公开一个示例的标本(猪肾脏：经IHC染色(标记酶＝LCA))的图像；
图23A和图23B是关于本公开一个示例的标本(牛皱胃：经IHC染色(标记酶＝波形蛋白))的图像；
图24A和图24B是关于本公开一个示例的标本(牛皱胃：经IHC染色(标记酶＝肌间线蛋白))的图像；
图25A和图25B是关于本公开一个示例的标本(牛皱胃：经IHC染色(标记酶＝AE1/AE3))的图像；
图26A和图26B是关于本公开一个示例的标本(牛皱胃：经IHC染色(标记酶＝LCA))的图像；
图27A和图27B是关于本公开一个示例的标本(牛心脏：经IHC染色(标记酶＝波形蛋白))的图像；
图28A和图28B是关于本公开一个示例的标本(牛心脏：经IHC染色(标记酶＝肌间线蛋白))的图像；
图29A和图29B是关于本公开一个示例的标本(牛心脏：经IHC染色(标记酶＝AE1/AE3))的图像；
图30A和图30B是关于本公开一个示例的标本(牛心脏：经IHC染色(标记酶＝LCA))的图像；
图31A和图31B是关于本公开一个示例的标本(牛肝脏：经IHC染色(标记酶＝波形蛋白))的图像；
图32A和图32B是关于本公开一个示例的标本(牛肝脏：经IHC染色(标记酶＝肌间线蛋白))的图像；
图33A和图33B是关于本公开一个示例的标本(牛肝脏：经IHC染色(标记酶＝AE1/AE3))的图像；
图34A和图34B是关于本公开一个示例的标本(牛肝脏：经IHC染色(标记酶＝LCA))的图像；
图35是示出在本公开的各个示例中记录的、在紫外光照射下感应出的荧光的强度的表；
图36A和图36B是关于本公开一个示例的标本(牛皱胃：经HE染色)的图像；
图37A和图37B是关于本公开一个示例的标本(猪肚：经HE染色)的图像；以及
图38A和图38B是关于本公开一个示例的标本(猪肾脏：经HE染色)的图像。
具体实施方式
下面将参考附图描述本公开的实施例。
[显微镜系统的配置]
图1是示出关于本公开一个实施例的显微镜系统1的配置的示意图。
如图1所示，该显微镜系统1包括显微镜2、显微镜控制单元3和标本区域检测装置4。显微镜控制单元3是附接到显微镜2的电子组件。标本区域检测装置4是连接到显微镜控制单元3的信息处理装置。显微镜系统1还可以以这里所示的方式(仅用于图示说明)以外的任何其它方式来配置。
显微镜2是光学显微镜，其被设计为使得其各个部分响应于来自显微镜控制单元3的控制信号而工作。除了其UV(紫外线)光源以外，其可以是普通显微镜。更具体地，显微镜2包括高倍率成像设备21、高倍率透镜镜筒22、低倍率成像设备27、低倍率透镜镜筒28、镜台23、镜台驱动单元24、可见光源25以及UV光源26。图1还示出了放置在镜台23上的显微镜用标本P。
高倍率成像设备21是被设计用于微摄影术的、装配有诸如CCD(电荷耦合器件图像传感器)和CMOS(互补金属氧化物半导体)之类的成像元件的数字成像设备。高倍率成像设备21还装配有高倍率透镜镜筒22，其光学系统将显微镜用标本P的图像引至成像元件。高倍率成像设备21产生彩色或单色的图像。高倍率成像设备21被连接到显微镜控制单元3以使得其成像定时和曝光被合适地控制。高倍率成像设备21通过显微镜控制单元3将图像数据发送给标本区域检测装置4。
低倍率成像设备27是装配有诸如CCD和CMOS之类的成像元件的数字成像设备。低倍率成像设备27还装配有低倍率透镜镜筒28，其光学系统将显微镜用标本P的图像引至成像元件。高倍率成像设备21被设置有使成像元件免受UV光照射的UV吸收滤光片(针对长于390nm的波长)。低倍率成像设备27被连接到显微镜控制单元3以使得其成像定时和曝光被合适地控制。低倍率成像设备27通过显微镜控制单元3将图像数据发送给标本区域检测装置4。
高倍率透镜镜筒22被设置有高倍率物镜和位置调节机构，以使得其以规定放大率(比如说×20或×40)来放大显微镜用标本P的图像。其也被连接到显微镜控制单元3以使得其焦距(或自动对焦)受到控制。
低倍率透镜镜筒28被设置有低倍率物镜(或缩小光学系统)和位置调节机构，以使得其以规定放大率(比如说×0.5、×1或×2)来放大或缩小显微镜用标本P的图像。其也被连接到显微镜控制单元3以使得其焦距(或自动对焦)受到控制。
顺便提及，图1将高倍率透镜镜筒22和高倍率成像设备21与低倍率透镜镜筒28和低倍率成像设备27示为分离的单元。然而，这些组件可被组合为由透镜镜筒和成像设备组成的一个单元。在此情况中，可以通过更换透镜镜筒中的物镜来改变放大率。
镜台23被构建为支持显微镜用标本P并且在与显微镜的光轴并行以及垂直的方向上移动它。镜台23还被设置有窗口23a，其准许从可见光源25和UV光源26发出的光(包括UV光)透过。显微镜用标本P在该窗口23a上。显微镜用标本P可由镜台23移动，以使其进入高倍率透镜镜筒22和低倍率透镜镜筒28的视野。替代地，高倍率透镜镜筒22和低倍率透镜镜筒28可被移动以使得它们的视野覆盖静止的显微镜用标本P的图像。
镜台驱动单元24被装配有步进马达或类似驱动机构以如上所述地移动镜台23。其被连接到显微镜控制单元3以使得其移动(方向和距离)被控制。
可见光源25是荧光灯或LED(发光二极管)；其通过镜台23的窗口23a用可见光照射显微镜用标本P。可见光可以是包含可见光谱的所有波长的白光。可见光源25被连接到显微镜控制单元3以使得其发射定时和强度被控制。
UV光源26是UV灯或UV LED；其通过镜台23的窗口23a用UV光照射显微镜用标本P。UV光可以是波长为365nm的光。UV光源26被连接到显微镜控制单元3以使得其发射定时和强度被控制。
显微镜2在如下假设下如上所述这样被构成：该显微镜2以在显微镜控制单元3的控制下的其焦深和拍摄定时自动地工作。然而，其也可被构成为由用户响应于来自标本区域检测装置4的输出而手动地控制和操作。
显微镜控制单元3由包括微处理器在内的电子部件构成以使得其对显微镜2进行控制。显微镜控制单元3被连接到标本区域检测装置4，标本区域检测装置4的输出控制显微镜2。
标本区域检测装置4检测从低倍率成像设备27提供来的存在观察用对象(显微镜用标本P)的图像的“标本区域”。图2是示出标本区域检测装置4的功能结构的框图。
如图2所示，标本区域检测装置4包括第一区域检测单元41、第二区域检测单元42和标本区域定义单元43。前两个连接到显微镜控制单元3，后一个连接到前两个以及显微镜控制单元3。如后面将说明的，标本区域检测装置4的各构成部分在处理器、存储器、程序等的帮助下起作用。
显微镜系统1如上所述这样被构成。然而，其不一定由特别设计的构成部分(例如，显微镜2、显微镜控制单元3和标本区域检测装置4)来构成。可以按照需要将任何现有的显微镜系统另外地与它们相结合。
[显微镜系统的工作]
下面描述显微镜系统1的工作方式。
图3是显微镜系统1的工作的流程图。
下面的描述基于显微镜系统1一接收到用户的开始指令就自动工作的假设。
当接收到用户的开始指令时，显微镜系统1在步骤St1中拍摄“第一图像”。具体地，低倍率成像设备27响应于来自显微镜控制单元3的控制信号通过低倍率透镜镜筒28来拍摄显微镜用标本P。在此步骤中，显微镜控制单元3使可见光源25发射可见光并且产生的可见光照射显微镜用标本P。如此拍摄的第一图像完全覆盖被可见光照射的显微镜用标本P。第一图像的示例在图5中示出，该示例是从彩色图像转换来的单色图像。
显微镜用标本P是支持覆盖有盖玻片的标本的载玻片。在图5中，标本是乳腺癌的培养细胞和正常的培养细胞，二者通过IHC(免疫组织化学)被染色。IHC染色是一种借助于酶标记抗体来检测抗原的方法。从图5中可注意到IHC染色使得乳腺癌细胞的阳性区域(由Her2+指示)可见，但是让正常细胞的阴性区域(由Her2-指示)不可见。因此，图5所示的图像对于忽视被当作背景的低对比度阴性区域的普通区域检测处理来说是没有用的。
如上所述这样被拍摄的第一图像通过显微镜控制单元3被发送给标本区域检测装置4的第一区域检测单元41。
本公开可适用于任何种类的标本，而不限于上述乳腺癌细胞。这将在后面给出的示例中得到证实。
在下一步骤St2中，显微镜系统1将用于显微镜用标本P的光源从可见光源25切换为UV光源26。顺便提及，在该步骤中，显微镜用标本P保持位于第一图像被拍摄的位置。然而，如后面将说明的，可以根据需要移动显微镜用标本P。
在下一步骤St3中，显微镜系统1拍摄“第二图像”。具体地，当接收到来自显微镜控制单元3的控制信号时，低倍率成像设备27通过低倍率透镜镜筒28来拍摄显微镜用标本P。在此步骤中，显微镜控制单元3使UV光源26发射UV光并且产生的UV光照射显微镜用标本P。如此拍摄到的第二图像完全覆盖被UV光照射的显微镜用标本P。第二图像的示例在图6中示出，该示例是从彩色图像转换来的单色图像。顺便提及，显微镜用标本P被UV光照射，但是被拍摄的图像是由UV光感应出的可见荧光照射的，这是因为低倍率成像设备27被设置有UV吸收滤光片，如上所述。
从图6可注意到在UV光的照射下，第一图像中具有低对比度的阴性区域(Her2-)看起来较亮，而第一图像中具有高对比度的阳性区域(Her2+)看起来较暗。因此，该图像准许阴性区域通过区域检测处理被检测到。顺便提及，从UV光照射下的阴性区域发射荧光或许是由于标本中存在氨基酸。作为对比，不从阳性区域发射荧光或许是由于标本中没有氨基酸(其是由于与染色剂的反应引起的分解导致的)。这表明本公开可适用于包含氨基酸的标本(大多数活体组织)。
以这种方式拍摄到的第二图像随后通过显微镜控制单元3被发送给标本区域检测装置4的第二区域检测单元42。
在下一步骤St4中，显微镜系统1从第一和第二图像中检测“标本区域”。标本区域检测步骤根据图4所示的流程图进行。该步骤由标本区域检测装置4执行。
在步骤St41，第一区域检测单元41从自显微镜控制单元3提供来的第一图像检测“第一区域”。如何检测第一区域在图7A和图7B中示意性地示出。第一区域具有由图7A和图7B中的“区域A1”指示的边界。第一区域检测单元41对第一图像执行区域检测处理以标识出如图7A所示的边界。该区域检测处理是在图像对比度(或者诸如照明度和颜色之类的视觉特征)的辅助下完成的。该技术依赖于通过阈值处理和标记处理的区域提取或者借助于数字滤波器的边缘检测。由第一区域检测单元41在对比度的帮助下在第一图像中检测到的区域被指定为第一区域。
第一区域检测单元41能够通过该区域检测处理从第一图像中检测出阳性区域，但是不能检测出阴性区域，如上所述。第一区域检测单元41向标本区域定义单元43提供图7A所示的第一区域以及与图7B所示的第一图像的边缘有关的信息。
顺便提及，第一区域检测单元41可以以这样的方式工作：将第一区域与“位置基准信息”一起获得。位置基准信息与第一图像中的特性图形的位置有关，这样的图形包括附加于显微镜用标本P的标签和字母以及显微镜用标本P的边界。该规定旨在有助于标本区域定义步骤(后面描述的St43)即使在显微镜用标本P在从获取第一图像的步骤到获取第二图像的步骤的转换期间移动时也有效地工作。如果预期到显微镜用标本P在第一和第二拍摄步骤中不可能移动，则位置基准信息是不必要的。第一区域检测单元41还将如此获得的位置基准信息发送给标本区域定义单元43。
在下一步骤St42，第二区域检测单元42从自显微镜控制单元3提供来的第二图像中检测“第二区域”。第二区域的检测在图8A和图8B中示意性地被示出。第二区域的边界由图8A和图8B中的区域A2指示。第二区域检测单元42对如图8A所示的第一图像执行区域检测处理。该区域检测处理在图像对比度(或者诸如照明度和颜色之类的视觉特征)的辅助下完成。该技术依赖于通过阈值处理和标记处理的区域提取或者借助于数字滤波器的边缘检测。由第二区域检测单元42在对比度的帮助下在第二图像中检测到的区域被指定为第二区域。
如上所述，第二区域检测单元42能够检测发出荧光的阴性区域，但是不能检测不发出荧光的阳性区域。第二区域检测单元42向标本区域定义单元43提供图8A所示的第二区域以及与图8B所示的第二图像的边缘有关的信息。
顺便提及，类似于第一区域检测单元41，第二区域检测单元42可以以获取“位置基准信息”的方式来工作。位置基准信息与第二图像中的特性图形的位置有关。第二区域检测单元42还将如此获得的位置基准信息发送给标本区域定义单元43。
在下一步骤St43中，标本区域定义单元43以如下方式将第一区域加到第二区域：使得第一图像的周缘与第二图像的周缘一致。该组合区域被定义为存在标本的区域。图9示出了由区域A1和区域A2表示的如此定义的标本区域。如此定义的标本区域由标本区域定义单元43发送给显微镜控制单元3。
如果从第一图像和第二图像获得了第一位置基准信息和第二位置基准信息，则标本区域定义单元43将它们相比较。如果两个图像在位置基准信息方面存在差异，则标本区域定义单元43判断出显微镜用标本P在第一图像被摄取之后第二图像被摄取之前的时段中移动了，并且其校正第一和第二图像中的第一和第二区域的位置以使得一致的位置基准信息被获得。
再次参考图3，在步骤St5中，显微镜系统1建立“显微镜拍摄区域”。显微镜拍摄区域在图10中示意性地被示出，其中区域A1和A2表示由标本区域检测装置4计算出的标本区域并且区域R表示与这些区域重叠的显微镜拍摄区域。
显微镜覆盖高倍率成像设备21通过被设置为规定放大倍率的高倍率透镜镜筒22看到的某个拍摄范围。显微镜控制单元3响应于由用户指定的放大倍率来确定其拍摄范围。在单个拍摄范围未覆盖所有标本区域的情况中，显微镜控制单元3布置多于一个拍摄范围，如图10所示。顺便提及，显微镜控制单元3能够布置彼此重叠的拍摄范围，如图10所示。这有助于后面将描述的将显微镜图像连结起来的步骤。
在下一步骤St6中，显微镜系统1使镜台驱动单元24移动镜台23。显微镜控制单元3向镜台驱动单元24发送控制信号以使得显微镜拍摄范围与高倍率成像设备21的视野一致。镜台23的移动量可以等于第二图像的中心坐标与显微镜拍摄范围的中心坐标之差。在多于一个显微镜拍摄范围被设置的情况中，显微镜控制单元3确定拍摄顺序并且针对第一显微镜拍摄范围来移动镜台。
在下一步骤St7中，显微镜系统1使高倍率成像设备21摄取显微镜用标本P的显微镜图像。显微镜控制单元3向高倍率透镜镜筒22发送控制信号以使得放大倍率被调节为用户指定的放大倍率并且以该放大倍率来获得精确的聚焦。显微镜控制单元3还向高倍率成像设备21发送控制信号，从而使得其拍摄显微镜用标本P。该步骤以高倍率成像设备21的视野与显微镜拍摄范围一致的方式被执行，这是因为镜台23已被移动，如上所述。
在多于一个显微镜拍摄范围被设置的情况中，显微镜控制单元3再次使镜台驱动单元24移动镜台23，以使得高倍率成像设备21拍摄显微镜用标本P的下一显微镜拍摄范围。显微镜控制单元3重复镜台23的移动(在步骤St6中)和高倍率成像设备21的拍摄(在步骤St7中)过程直到所有显微镜拍摄范围被拍摄为止。
在相邻显微镜图像被拍摄的情况中，显微镜系统1在步骤St8中将这样的各个微缩照片连结起来。具体地，显微镜控制单元3在相邻两个微缩照片的重叠区域中提取多于一个特性图形并且然后将它们连结起来(用于缝合)以使得这些图形彼此一致。以这种方式，超出单个显微镜拍摄范围的邻近染色区域可被拍摄。
根据上述实施例的显微镜系统1获取在可见光和UV光照射下的用于检测标本区域的图像并且将检测结果相重叠，从而确定显微镜的拍摄范围。以这种方式，其可检测到在可见光的照射下因低对比度而未被检测出的区域。
本公开不限于前面的实施例并且可在本公开的范围内对其进行各种修改和改变。
[示例]
下面描述本公开的示例。如上所述，本公开可适用于多种标本。下面的示例说明了在可见光和UV光照射下以相等放大率拍摄的各个标本的图像，这些图像与上述实施例中的第一和第二图像相对应。下面的示例旨在观察每个标本在UV光的照射下是否发出荧光。
本示例中使用的标本是猪和牛的经染色活体组织。这些活体组织包括猪里脊肉、猪肚、猪肝、牛皱胃、牛心脏和牛肝脏。每个活体组织通过四种标记酶中的任一种而被IHC染色，这四种标记酶包括波形蛋白、肌间线蛋白、AE1/AE3和LCA。图11A至图34B是在可见光和UV光的照射下被拍摄的标本的图像。在每幅图中，在可见光照射下摄取的图像由图11A至图34A指示出，在UV光照射下摄取的图像由图11B至图34B指示出。这些图像是从彩色图像转换来的单色图像。图35是示出每个标本在UV光照射下如何发出荧光的表。在此表中，标本根据荧光的强度被分类，荧光的强度被分级为强(○)、弱(△)和无(×)。
图11A至图14B是在可见光和UV光照射下拍摄的猪里脊肉的标本的图像。用于这些标本的标记酶为波形蛋白(图11A和图11B)、肌间线蛋白(图12A和图12B)、AE1/AE3(图13A和图13B)和LCA(图14A和图14B)。这些图示出了每种标记酶发出荧光。
图15A至图18B是在可见光和UV光照射下拍摄的猪肚的标本的图像。用于这些标本的标记酶为波形蛋白(图15A和图15B)、肌间线蛋白(图16A和图16B)、AE1/AE3(图17A和图17B)和LCA(图18A和图18B)。这些图示出了每种标记酶发出荧光，尽管AE1/AE3发出弱荧光。
图19A至图22B是在可见光和UV光照射下拍摄的猪肾脏的标本的图像。用于这些标本的标记酶为波形蛋白(图19A和图19B)、肌间线蛋白(图20A和图20B)、AE1/AE3(图21A和图21B)和LCA(图22A和图22B)。这些图示出了每种标记酶发出荧光。
图23A至图26B是在可见光和UV光照射下拍摄的牛皱胃的标本的图像。用于这些标本的标记酶为波形蛋白(图23A和图23B)、肌间线蛋白(图24A和图24B)、AE1/AE3(图25A和图25B)和LCA(图26A和图26B)。这些图示出了波形蛋白不发出荧光，肌间线蛋白和AE1/AE3发出弱荧光，标签LCA发出荧光。
图27A至图30B是在可见光和UV光照射下拍摄的牛心脏的标本的图像。用于这些标本的标记酶为波形蛋白(图27A和图27B)、肌间线蛋白(图28A和图28B)、AE1/AE3(图29A和图29B)和LCA(图30A和图30B)。这些图示出了每种标记酶发出荧光，尽管波形蛋白和肌间线蛋白发出弱荧光。
图31A至图34B是在可见光和UV光照射下拍摄的牛肝脏的标本的图像。用于这些标本的标记酶为波形蛋白(图31A和图31B)、肌间线蛋白(图32A和图32B)、AE1/AE3(图33A和图33B)和LCA(图34A和图34B)。这些图示出每种标记酶发出荧光，尽管AE1/AE3发出弱荧光。
从图35可清楚，荧光的发射取决于标记酶(用于IHC染色)和活体组织的种类。已发现不是所有标本都发出荧光，但大多数标本发出荧光。
作为对上述IHC染色的研究的补充，对从经过HE(苏木素-伊红)染色的标本发出荧光进行了研究。图36A至图38B示出了在可见光和UV光照射下的经HE染色的活体组织的图像。这些活体组织是牛皱胃(图36A和图36B)、猪肚(图37A和图37B)和猪肾脏(图38A和图38B)。这些单色图像是通过从彩色图像转换获得的。
从这些图像中可注意到，经HE染色的标本在UV光照射下也发出荧光。经HE染色的标本在可见光照射下通过反射光和透射光被观察，而它们在UV光照射下通过自然发射的荧光被观察。这样的荧光允许容易地检测到微小区域。
本公开包含与2010年12月1日向日本专利局提交的日本优先专利申请JP 2010-268442中公开的主题有关的主题，该申请的全部内容通过引用被结合于此。
本领域的技术人员应当明白，可以根据设计要求和其它因素进行各种修改、组合、子组合和变更，只要它们在所附权利要求或其等同物的范围之内。
Claims (7)
1.一种用于检测标本区域的方法，该方法包括
用于由第一区域检测单元检测第一区域的第一步骤，所述第一区域是在可见光照射下拍摄的观察对象的第一图像中的具有对比度的区域，
用于由第二区域检测单元检测第二区域的第二步骤，所述第二区域是在紫外光照射下拍摄的所述观察对象的第二图像中的具有对比度的区域，以及
用于由标本区域定义单元基于所述第一区域和所述第二区域来定义所述观察对象中存在标本的标本区域的第三步骤。
2.根据权利要求1所述的用于检测标本区域的方法，其中，定义标本区域的步骤是通过将所述第一区域和所述第二区域组合在一起来完成的。
3.根据权利要求2所述的用于检测标本区域的方法，还包括
用于由显微镜拍摄范围设置单元基于所述标本区域来建立使所述观察对象在显微镜下被拍摄的显微镜拍摄范围的步骤。
4.根据权利要求3所述的用于检测标本区域的方法，其中，所述标本是包含氨基酸的活体组织。
5.根据权利要求4所述的用于检测标本区域的方法，其中，所述标本是经免疫组织化学染色的标本。
6.一种标本区域检测装置，包括：
第一区域检测单元，该第一区域检测单元检测第一区域，所述第一区域是在可见光照射下拍摄的观察对象的第一图像中的具有对比度的区域，
第二区域检测单元，该第二区域检测单元检测第二区域，所述第二区域是在紫外光照射下拍摄的所述观察对象的第二图像中的具有对比度的区域，以及
标本区域定义单元，该标本区域定义单元基于所述第一区域和所述第二区域来定义所述观察对象中存在标本的标本区域。
7.一种用于标本区域检测的程序，该程序控制
第一区域检测单元，该第一区域检测单元检测第一区域，所述第一区域是在可见光照射下拍摄的观察对象的第一图像中的具有对比度的区域，
第二区域检测单元，该第二区域检测单元检测第二区域，所述第二区域是在紫外光照射下拍摄的所述观察对象的第二图像中的具有对比度的区域，以及
标本区域定义单元，该标本区域定义单元基于所述第一区域和所述第二区域来定义所述观察对象中存在标本的标本区域。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010268442A JP5668436B2 (ja) | 2010-12-01 | 2010-12-01 | 検体領域検出方法、検体領域検出装置及び検体領域検出プログラム |
| JP2010-268442 | 2010-12-01 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN102539341A true CN102539341A (zh) | 2012-07-04 |
Family
ID=46162273
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2011103992325A Pending CN102539341A (zh) | 2010-12-01 | 2011-11-24 | 标本区域检测方法、装置以及程序 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US8942417B2 (zh) |
| JP (1) | JP5668436B2 (zh) |
| CN (1) | CN102539341A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106971141A (zh) * | 2015-12-28 | 2017-07-21 | 希森美康株式会社 | 细胞区域确定方法、细胞拍摄系统及细胞图像处理装置 |
| CN107248039A (zh) * | 2016-12-30 | 2017-10-13 | 吉林金域医学检验所有限公司 | 基于医疗标本检测项目结果的实时质控方法及装置 |
| JP2017534846A (ja) * | 2014-09-16 | 2017-11-24 | ローレンス リバモア ナショナル セキュリティー， エルエルシー | 蛍光剤による染色後に紫外線励起を利用した蛍光顕微鏡検査によって組織内の撮像深度を制御するシステムおよび方法 |
| CN115391431A (zh) * | 2022-10-28 | 2022-11-25 | 山东蓝客信息科技有限公司 | 一种标本信息采集验证系统 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014045525A1 (ja) | 2012-09-24 | 2014-03-27 | ソニー株式会社 | 画像処理装置、画像処理プログラム及び画像処理方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5581487A (en) * | 1994-02-23 | 1996-12-03 | Science Applications International Corporation | Method and apparatus for microscopic screening of cytological samples |
| JPH10325798A (ja) * | 1997-05-23 | 1998-12-08 | Olympus Optical Co Ltd | 顕微鏡装置 |
| US6259807B1 (en) * | 1997-05-14 | 2001-07-10 | Applied Imaging Corp. | Identification of objects of interest using multiple illumination schemes and finding overlap of features in corresponding multiple images |
| WO2002074171A1 (en) * | 2001-03-16 | 2002-09-26 | University Of Utah Research Foundation | Fluorescent cobalamins and uses thereof |
| CN101776793A (zh) * | 2009-01-09 | 2010-07-14 | 索尼公司 | 生物样本图像获取设备、生物样本图像获取方法及程序 |
| CN101858835A (zh) * | 2009-04-01 | 2010-10-13 | 索尼公司 | 生物图像的呈现装置、呈现方法、程序和呈现系统 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6169816B1 (en) * | 1997-05-14 | 2001-01-02 | Applied Imaging, Inc. | Identification of objects of interest using multiple illumination schemes and finding overlap of features in corresponding multiple images |
| JP2001299676A (ja) * | 2000-04-25 | 2001-10-30 | Fuji Photo Film Co Ltd | センチネルリンパ節検出方法および検出システム |
| JP5245424B2 (ja) | 2008-01-25 | 2013-07-24 | 日本電気株式会社 | 病理組織画像撮影システム、病理組織画像撮影方法、および病理組織画像撮影プログラム |
-
2010
- 2010-12-01 JP JP2010268442A patent/JP5668436B2/ja not_active Expired - Fee Related
-
2011
- 2011-11-23 US US13/303,279 patent/US8942417B2/en not_active Expired - Fee Related
- 2011-11-24 CN CN2011103992325A patent/CN102539341A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5581487A (en) * | 1994-02-23 | 1996-12-03 | Science Applications International Corporation | Method and apparatus for microscopic screening of cytological samples |
| US6259807B1 (en) * | 1997-05-14 | 2001-07-10 | Applied Imaging Corp. | Identification of objects of interest using multiple illumination schemes and finding overlap of features in corresponding multiple images |
| JPH10325798A (ja) * | 1997-05-23 | 1998-12-08 | Olympus Optical Co Ltd | 顕微鏡装置 |
| WO2002074171A1 (en) * | 2001-03-16 | 2002-09-26 | University Of Utah Research Foundation | Fluorescent cobalamins and uses thereof |
| CN101776793A (zh) * | 2009-01-09 | 2010-07-14 | 索尼公司 | 生物样本图像获取设备、生物样本图像获取方法及程序 |
| CN101858835A (zh) * | 2009-04-01 | 2010-10-13 | 索尼公司 | 生物图像的呈现装置、呈现方法、程序和呈现系统 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017534846A (ja) * | 2014-09-16 | 2017-11-24 | ローレンス リバモア ナショナル セキュリティー， エルエルシー | 蛍光剤による染色後に紫外線励起を利用した蛍光顕微鏡検査によって組織内の撮像深度を制御するシステムおよび方法 |
| CN106971141A (zh) * | 2015-12-28 | 2017-07-21 | 希森美康株式会社 | 细胞区域确定方法、细胞拍摄系统及细胞图像处理装置 |
| CN106971141B (zh) * | 2015-12-28 | 2022-05-24 | 希森美康株式会社 | 细胞区域确定方法、细胞拍摄系统及细胞图像处理装置 |
| CN107248039A (zh) * | 2016-12-30 | 2017-10-13 | 吉林金域医学检验所有限公司 | 基于医疗标本检测项目结果的实时质控方法及装置 |
| CN115391431A (zh) * | 2022-10-28 | 2022-11-25 | 山东蓝客信息科技有限公司 | 一种标本信息采集验证系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2012117930A (ja) | 2012-06-21 |
| US8942417B2 (en) | 2015-01-27 |
| JP5668436B2 (ja) | 2015-02-12 |
| US20120140983A1 (en) | 2012-06-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101052869B (zh) | 多模式成像的设备和方法 | |
| US7945108B2 (en) | Microscope apparatus control method and microscope apparatus | |
| CN101776793B (zh) | 生物样本图像获取设备及生物样本图像获取方法 | |
| CN101821608B (zh) | 用于对样本成像的方法和系统 | |
| CN102539341A (zh) | 标本区域检测方法、装置以及程序 | |
| AU2014253889B2 (en) | Method for generating a composite image of an object composed of multiple sub-images | |
| CN103134782A (zh) | 图像获取装置、图像获取方法和图像获取程序 | |
| CN103808702A (zh) | 图像获取单元及图像获取方法 | |
| CN102981348B (zh) | 光学影像撷取装置用滤镜光源模组及该影像撷取装置 | |
| EP3423881B1 (en) | Imaging system and method with scattering to reduce source auto-fluorescence and improve uniformity | |
| US20210311294A1 (en) | Microscope apparatus | |
| CN103168265A (zh) | 成像系统和其关联的方法 | |
| CN103175780A (zh) | 大尺度生物组织连续切片的自动化成像系统 | |
| Van Der Graaff et al. | Fluorescence imaging for whole slide scanning using LED-based color sequential illumination | |
| WO2022209349A1 (ja) | 観察装置用照明装置、観察装置及び観察システム | |
| WO2022209262A1 (ja) | 生体試料観察装置用照明装置、生体試料観察装置、観察装置用照明装置及び観察システム | |
| WO2022270015A1 (ja) | 生体標本観察装置及び生体標本観察システム | |
| US8963105B2 (en) | Image obtaining apparatus, image obtaining method, and image obtaining program | |
| JP4928330B2 (ja) | 蛍光顕微鏡 | |
| CN116897309A (zh) | 数字显微镜和操作数字显微镜的方法 | |
| Yi et al. | The design of a microscopic system for typical fluorescent in-situ hybridization applications |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20120704 |