CN110346291A - 一种生物样本的影像合成方法及采用该方法的光学系统 - Google Patents
一种生物样本的影像合成方法及采用该方法的光学系统 Download PDFInfo
- Publication number
- CN110346291A CN110346291A CN201810293719.7A CN201810293719A CN110346291A CN 110346291 A CN110346291 A CN 110346291A CN 201810293719 A CN201810293719 A CN 201810293719A CN 110346291 A CN110346291 A CN 110346291A
- Authority
- CN
- China
- Prior art keywords
- image
- grayscale
- biological sample
- rgb
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000012472 biological sample Substances 0.000 title claims abstract description 75
- 238000001308 synthesis method Methods 0.000 title claims abstract description 39
- 230000003287 optical effect Effects 0.000 title claims abstract description 35
- 238000000034 method Methods 0.000 title description 17
- 238000006243 chemical reaction Methods 0.000 claims abstract description 47
- 230000010365 information processing Effects 0.000 claims abstract description 35
- 230000004927 fusion Effects 0.000 claims abstract description 16
- 239000000523 sample Substances 0.000 claims description 28
- 239000011159 matrix material Substances 0.000 claims description 18
- 238000001514 detection method Methods 0.000 claims description 8
- 230000001086 cytosolic effect Effects 0.000 claims description 7
- 238000001727 in vivo Methods 0.000 claims description 4
- 238000010189 synthetic method Methods 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 abstract description 15
- 210000001519 tissue Anatomy 0.000 description 44
- 238000010586 diagram Methods 0.000 description 24
- 210000004027 cell Anatomy 0.000 description 13
- 238000007710 freezing Methods 0.000 description 13
- 230000008014 freezing Effects 0.000 description 13
- WZUVPPKBWHMQCE-UHFFFAOYSA-N Haematoxylin Chemical compound C12=CC(O)=C(O)C=C2CC2(O)C1C1=CC=C(O)C(O)=C1OC2 WZUVPPKBWHMQCE-UHFFFAOYSA-N 0.000 description 7
- 210000000805 cytoplasm Anatomy 0.000 description 7
- 238000003860 storage Methods 0.000 description 7
- 238000007792 addition Methods 0.000 description 6
- 238000004624 confocal microscopy Methods 0.000 description 5
- 239000013078 crystal Substances 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000000338 in vitro Methods 0.000 description 4
- 230000008520 organization Effects 0.000 description 4
- 238000007711 solidification Methods 0.000 description 4
- 230000008023 solidification Effects 0.000 description 4
- WZUVPPKBWHMQCE-XJKSGUPXSA-N (+)-haematoxylin Chemical compound C12=CC(O)=C(O)C=C2C[C@]2(O)[C@H]1C1=CC=C(O)C(O)=C1OC2 WZUVPPKBWHMQCE-XJKSGUPXSA-N 0.000 description 3
- 244000172533 Viola sororia Species 0.000 description 3
- 238000010521 absorption reaction Methods 0.000 description 3
- 239000012620 biological material Substances 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 3
- 238000013329 compounding Methods 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000012014 optical coherence tomography Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 244000144730 Amygdalus persica Species 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 2
- 235000006040 Prunus persica var persica Nutrition 0.000 description 2
- 208000027418 Wounds and injury Diseases 0.000 description 2
- 210000000577 adipose tissue Anatomy 0.000 description 2
- 238000001574 biopsy Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 238000004043 dyeing Methods 0.000 description 2
- 235000019581 fat taste sensations Nutrition 0.000 description 2
- 239000010410 layer Substances 0.000 description 2
- 238000002345 optical interference microscopy Methods 0.000 description 2
- 230000001575 pathological effect Effects 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 238000003908 quality control method Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 206010006187 Breast cancer Diseases 0.000 description 1
- 208000026310 Breast neoplasm Diseases 0.000 description 1
- 238000005481 NMR spectroscopy Methods 0.000 description 1
- SJEYSFABYSGQBG-UHFFFAOYSA-M Patent blue Chemical compound [Na+].C1=CC(N(CC)CC)=CC=C1C(C=1C(=CC(=CC=1)S([O-])(=O)=O)S([O-])(=O)=O)=C1C=CC(=[N+](CC)CC)C=C1 SJEYSFABYSGQBG-UHFFFAOYSA-M 0.000 description 1
- 238000001530 Raman microscopy Methods 0.000 description 1
- 238000001069 Raman spectroscopy Methods 0.000 description 1
- 235000005811 Viola adunca Nutrition 0.000 description 1
- 240000009038 Viola odorata Species 0.000 description 1
- 235000013487 Viola odorata Nutrition 0.000 description 1
- 235000002254 Viola papilionacea Nutrition 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 239000000980 acid dye Substances 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000000481 breast Anatomy 0.000 description 1
- 210000003850 cellular structure Anatomy 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000001218 confocal laser scanning microscopy Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 239000000975 dye Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- YQGOJNYOYNNSMM-UHFFFAOYSA-N eosin Chemical compound [Na+].OC(=O)C1=CC=CC=C1C1=C2C=C(Br)C(=O)C(Br)=C2OC2=C(Br)C(O)=C(Br)C=C21 YQGOJNYOYNNSMM-UHFFFAOYSA-N 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 238000009940 knitting Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- QSHDDOUJBYECFT-UHFFFAOYSA-N mercury Chemical compound [Hg] QSHDDOUJBYECFT-UHFFFAOYSA-N 0.000 description 1
- 229910052753 mercury Inorganic materials 0.000 description 1
- 238000000386 microscopy Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 230000035699 permeability Effects 0.000 description 1
- 238000001259 photo etching Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000000275 quality assurance Methods 0.000 description 1
- 239000000700 radioactive tracer Substances 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 239000002344 surface layer Substances 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 210000004881 tumor cell Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/01—Arrangements or apparatus for facilitating the optical investigation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/6402—Atomic fluorescence; Laser induced fluorescence
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/6486—Measuring fluorescence of biological material, e.g. DNA, RNA, cells
Abstract
一种生物样本的影像合成方法，其包括以下步骤：输入生物样本的灰阶反射影像或灰阶干涉影像至信息处理装置的第一记忆区块中，及输入该生物样本的灰阶荧光影像至该信息处理装置的第二记忆区块中；利用该信息处理装置将该灰阶反射影像或该灰阶干涉影像经由第一色彩转换运算转换为RGB反射或干涉影像，及利用该信息处理装置将该灰阶荧光影像经由一第二色彩转换运算转换为RGB荧光影像；利用该信息处理装置对该RGB反射或干涉影像及该RGB荧光影像进行影像融合运算及强度反转运算以产生一类H&E影像；输出该类H&E影像至显示单元。此外，本发明亦揭示一种光学系统其采用如所述的生物样本的影像合成方法。
Description
技术领域
本发明是有关于一种光学系统的影像合成方法，特别是一种采用光学干涉扫描显微术或激光扫描共焦显微术的光学切层装置，用于活体组织影像检测或确认生物样本库组织入库前的组织细胞图形辨识。
背景技术
活体(In Vivo)组织是指人类未离体的组织，被视为与人体当下的生物状况最一致、最自然、也是最原生的状态。一般病患因门诊需求，常需要利用工具进行影像视诊以追踪组织的变化状况。目前使用的工具中，分辨率较高且能确认到公分等级深度的内组织变化情形为超声波，其能概略确定组织的高、低密度，进而利用统计数据来推论组织好、坏的概率。
然而，如需要进一步精确地提供外科医师在手术中进行异常组织廓清程度与组织表层细胞分化程度，以决定手术是否要继续进行，仍系无法达成细胞病理等级确诊的目的。现今的快速作法，必须要将手术中所取出的组织进行冷冻病理切片，却有耗时、不易切出完整面、过染、且易冻坏等缺点。因此，活体组织影像检测具可提供术前(如皮肤科肿瘤细胞组织确认)或术中(如乳癌肿瘤廓清手术)更精确的细胞等级病理信息的特点。
生物样本库(biobank)是一种通过集中方式，在低温或适当的储存环境下用以保存各种人类离体(Ex Vivo)的生物材料(human biological material)，并能于适当时机用以进行疾病的临床诊断治疗及生命科学研究的生物应用系统，其中生物样本库的生物样本和相关数据均可为样品提出验证方案并确保其样本准确性。
人类离体(温体)块状组织，占人类离体生物材料的大宗，使用端在使用组织前均会先确认组织内细胞的种类、型态、以及活性。生物样本库在提供给下游使用端的学术单位或厂商进行生物测试时，质量确认(quality assurance)与质量控制(quality control)对于样本提供成功率更是重要的指标。
储存样本时的冷却速度和方法对细胞活性具有重大影响，例如会影响到样本的质量及决定样本以后使用的可能性。储存前就必须确认块状组织内是否包含目标组织或目标细胞，现今确认组织内细胞所使用的方式，以冷冻切片染色为主。在进行冷冻切片的过程中，对于多水分的样本，其冷冻后所产生的冰晶(crystal ice)会破坏组织结构；对于多脂肪(fat)的样本，在一般组织冷冻固化温度(～-20℃)时，其脂肪组织因尚未冷冻固化，容易从切片脱落，造成切片组织辨识不完整。因此，样本入库前如再经过冷冻切片的冷冻过程再回温，会造成组织样本低温储存前的一定程度损坏。
现今非破坏性组织影像检测，依分辨率与扫描深度可分计算机断层、核磁共振、超声波、以及光学反射显像，而侦测活体的组织内细胞结构，目前也只有光学反射显像能达到。
光学反射显像技术，以光干涉显微术(optical interference microscopy，OIM)与反射式共轭焦显微术(reflectance confocal microscopy，RCM)为主流，是近年新兴的一种光学成像技术，其解析能力可达细胞等级，主要是利用各组织对光的反射、吸收及散射能力的不同及通过光学干涉原理对样本进行成像与分辨。因为能直接对常温下(4～25℃)的组织进行扫瞄，不需再经过冷冻切片染色的冷冻等程序，所以能避免多水分或多脂肪组织在冷冻切片时产生冰晶冻坏或结构失真(morphological artifacts)，以维持组织样本的完整性。于活体组织影像检测或确认生物样本库组织入库前的组织细胞图形辨识的使用上，除了可在不破坏组织的状况下获取影像，更因其具有类H&E影像的特性，让医生能更快辨识而接受影像。
文献中，Daniel等人提出以扫描式拉曼显微镜(scan Raman microscopy)扫描组织的影像特性，此方式可扫描出组织的形成物化学成分图形特性，但在组织细胞结构特性上，无法描述。P.A.Keane等人利用干涉原理，将光学同调断层术应用于眼科的生物组织库，但因分辨率不足，应用范围仅适用于活体眼科的视网膜分层。J.Georges等人利用反射式共轭焦显微术，扫瞄出组织的组织细胞图形(含细胞结构与细胞核)，但因尚未使用生物样本的影像合成方法转换机制，使医师不易辨识及阅读组织内容物。
现有技术如美国US8269827B2「System and methods for mapping fluorescentimages into a bright field color space」专利，则揭露一种使用荧光图像产生生物样本的影像合成方法方法，包括以下步骤：获取样品上固定区域的两种或更多种荧光图像；将所述荧光影像的图像数据以映像参数变换为明场色空间(bright field color space)；以及产生明场型图像，进一步产生类似H&E影像的明场型图像。
然而，该专利架构中是以多张荧光影像，通过色彩加成以产生类H&E影像，然而(1)产生荧光影像需使用的荧光剂无可避免仍会对样本组织产生伤害；(2)该类H&E影像的颜色对比仍有待改进。因此本领域亟需一新颖的合成生物样本的影像合成方法。
发明内容
本发明的一目的在于揭露一种生物样本的影像合成方法，其是以一反射影像或一干涉影像与一荧光影像经由色彩转换运算、影像融合运算及强度反转运算而产生，藉以提供颜色对比更佳的生物样本影像，进而增进影像的可辨识性与可阅图性。
本发明的另一目的在于揭露一种生物样本的影像合成方法，其中相较于现有技术使用多张荧光影像加成的方法更能减少荧光剂使用及降低荧光剂对样本组织所产生的伤害。
本发明的又一目的在于揭露一种生物样本的影像合成方法法，因为减少荧光剂的使用，而能缩短染色时间，进而加快取得影像的速度。
本发明的又一目的在于揭露一种生物样本的影像合成方法，藉由使用于活体组织的影像检测，而能在不破坏组织的状况下得到实时影像。
本发明的再一目的在于揭露一种生物样本的影像合成方法，藉由使用于生物样本库中的新鲜组织影像辨识时，能通过先行确认测试组织中是否含有目标组织或细胞，而提升检体入库前的正确性，亦能避免样本冻坏进而降低出库后的不良品输出风险。
为达前述目的，一种生物样本的影像合成方法乃被提出，其包括以下步骤：输入一生物样本的一灰阶反射影像或一灰阶干涉影像至一信息处理装置的一第一记忆区块中，其中该灰阶反射影像或该灰阶干涉影像具有一第一影像分辨率，及输入该生物样本的一灰阶荧光影像至该信息处理装置的一第二记忆区块中，其中该灰阶荧光影像具有一第二影像分辨率，且该第一影像分辨率与该第二影像分辨率相同或不相同；利用该信息处理装置将该灰阶反射影像或该灰阶干涉影像经由一第一色彩转换运算转换为一RGB反射影像或一RGB干涉影像，及利用该信息处理装置将该灰阶荧光影像经由一第二色彩转换运算转换为一RGB荧光影像；利用该信息处理装置对该RGB反射影像或该RGB干涉影像及该RGB荧光影像进行一影像融合运算及一强度反转运算以产生一类H&E影像；以及输出该类H&E影像至一显示单元。
在一实施例中，该灰阶反射影像或该灰阶干涉影像是呈现一细胞质的影像；该灰阶荧光影像是呈现一细胞核的影像。
在一实施例中，该细胞核的灰阶荧光影像是由该细胞质的影像经由一影像转换运算而得到。
在一实施例中，该灰阶反射影像是一激光扫描共焦显微镜的直接反射产生的影像。
在一实施例中，该灰阶干涉影像是一光学干涉扫描显微镜的反射后再干涉产生的影像。
在一实施例中，该第一色彩转换运算是将R值及B值均设定为0，G值则等于该灰阶反射影像或该灰阶干涉影像的灰阶值乘以一加权值，且该加权值是介于0.5和1之间。
在一实施例中，该第二色彩转换运算是将G值设定为255，B值设定为0，R值则等于该灰阶荧光影像的灰阶值乘以一加权值，且该加权值是介于0.5和1之间。
在一实施例中，该RGB反射影像或该RGB干涉影像是一黑底背景暗绿色影像；该RGB荧光影像是一黑底背景黄绿色影像；该类H&E影像是一白底背景桃红色影像。
在一实施例中，该RGB反射影像、该RGB干涉影像及该RGB荧光影像的R值、G值及B值均是以一二进制的n位来代表，其中该n的值为8的正整数倍。
在一实施例中，一种光学系统乃被提出，其是采用如所述的生物样本的影像合成方法合。
为使贵审查委员能进一步了解本发明的结构、特征及其目的，兹附以图式及优选具体实施例的详细说明如后。
附图说明
图1为一示意图，其绘示本发明一优选实施例的生物样本的影像合成方法步骤流程图。
图2a为一示意图，其绘示本案一优选实施例的一生物样本的一灰阶反射影像或一灰阶干涉影像的示意图。
图2b为一示意图，其绘示本案一优选实施例的一生物样本的一灰阶荧光影像的示意图。
图2c为一示意图，其绘示本案一优选实施例的图2a经由一第一色彩转换运算转换为一RGB反射影像或一RGB干涉影像的示意图。
图2d为一示意图，其绘示本案一优选实施例的图2b经由一第二色彩转换运算转换为一RGB荧光影像的示意图。
图2e为一示意图，其绘示本案一优选实施例的图2c及图2d进行一影像融合运算的示意图。
图2f为一示意图，其绘示本案一优选实施例的图2e进行一强度反转运算产生一生物样本的影像合成方法示意图。
图3为一示意图，其绘示本发明的一优选实施例的采用所述的生物样本的影像合成方法的光学系统架构示意图。
图4为一示意图，其绘示本发明的另一优选实施例的采用所述的生物样本的影像合成方法的光学系统架构示意图。
具体实施方式
请参照图1，其绘示本发明一优选实施例的生物样本的影像合成方法步骤流程图。
如图所示，本发明的生物样本的影像合成方法，包括以下步骤：
一种生物样本的影像合成方法，其包括以下步骤：输入一生物样本的一灰阶反射影像或一灰阶干涉影像至一信息处理装置的一第一记忆区块中，其中该灰阶反射影像或该灰阶干涉影像具有一第一影像分辨率，及输入该生物样本的一灰阶荧光影像至该信息处理装置的一第二记忆区块中，其中该灰阶荧光影像具有一第二影像分辨率，且该第一影像分辨率与该第二影像分辨率是相同或不相同(步骤a)；利用该信息处理装置将该灰阶反射影像或该灰阶干涉影像经由一第一色彩转换运算转换为一RGB反射影像或一RGB干涉影像，及利用该信息处理装置将该灰阶荧光影像经由一第二色彩转换运算转换为一RGB荧光影像(步骤b)；利用该信息处理装置对该RGB反射影像或该RGB干涉影像及该RGB荧光影像进行一影像融合运算及一强度反转运算以产生一类H&E影像(步骤c)；以及输出该类H&E影像至一显示单元(步骤d)。
荧光是一种能量转换时所产生的冷发光现象，其特性为吸收一短波长的光后，发散出一长波长的光。利用到荧光反应的实验技术为现代的生物科技带来相当多的便利，荧光剂常被用来作为细胞形态的示踪剂，其原理为用以一短波光束照射一染有荧光剂的样本组织中，使其释放出一荧光而成像于一感光组件(均图未示)，其为现有技术，在此不拟赘述。
传统的H&E染色切片(H&E section)是使用嗜碱性染料苏木精(hematoxylin)与嗜酸性染料伊红(eosin)两种染剂分别对细胞核(nucleus)及细胞质(cytoplasm)着上蓝紫色与粉红色，再基于与伊红结合的分子的电荷性质，伊红与组织中的不同细胞成分相互作用而产生不同色调的粉红色。
此外，在进行冷冻切片的过程中，对于多水分的样本，其冷冻后所产生的冰晶(crystal ice)会破坏组织结构；对于多脂肪(fat)的样本，在一般组织冷冻固化温度(～-20℃)时，其脂肪组织因尚未冷冻固化，容易从切片脱落，造成切片组织不完整；同时，冷冻后细胞亦不易稳定染上色。这些原因造成与新鲜组织结构有所出入的影像缺陷(artifact)，所以其他利用光学原理来进行组织实时检测的仪器也就因应而生，因为利用光学的切片方式，能在不需固定组织的前提下，快速获得细胞影像判读的结果。
本发明的生物样本的影像合成方法，其影像来源是由一灰阶反射影像与一灰阶荧光影像所构成。其中该灰阶反射影像是呈现一生物样本细胞组织中细胞核以外的细胞质(cytoplasm)所形成的组织结构型态(morphology)的影像；该灰阶荧光影像是呈现该生物样本中胞核高DNA聚集的地方即一细胞核(nucleus)结构的影像。
在本发明的生物样本的影像合成方法的另一实施例中，该细胞核的灰阶荧光影像是由该细胞质的影像进行一影像转换运算而得到，其中，该影像转换运算是将该细胞质的影像的空洞部分先进行一灰阶反转运算后，再经一滤波运算而得，由于其为现有技术，在此不拟进一步叙述。
光学切片中细胞质与细胞核影像，与H&E染色切片的伊红染剂与苏木紫染剂，恰为一对应关系。以荧光影像呈现细胞核时，所用的染剂均具有膜通透性，能在短时间内渗透到表层以下100～200微米深，同时染剂又不会影响到后续组织检验流程，以达到快速检验的目的，其为现有技术，在此不拟赘述。
本发明的生物样本的影像合成方法，其中该灰阶反射影像是一激光扫描共焦显微镜(图未示)的直接反射产生的影像。该激光扫描共焦显微镜(Laser Scanning ConfocalMicroscopy，简称LSCM)其成像原理是以一激光光源来取代传统荧光显微镜的一汞灯，再经由扫描仪(Scanner mirrors)的导引以点接点(Point by point)方式对一荧光样本进行激发与发散讯息的撷取，其为现有技术，在此不拟赘述。
本发明的生物样本的影像合成方法，其中该灰阶干涉影像是一光学干涉扫描显微镜(图未示)的反射后再干涉产生的影像。该光学干涉扫描显微镜(optical coherencetomography，简称OCT)分辨率比超音波更高，主要是利用各组织对光的反射、吸收及散射能力的不同及通过光学干涉原理对样本进行成像与分辨，其为现有技术，在此不拟赘述。
请一并参照图2a至2f，其中图2a其绘示本案一优选实施例的一生物样本的一灰阶反射影像或一灰阶干涉影像的示意图；图2b其绘示本案一优选实施例的一生物样本的一灰阶荧光影像的示意图；图2c其绘示本案一优选实施例的图2a经由一第一色彩转换运算转换为一RGB反射影像或一RGB干涉影像的示意图；图2d其绘示本案一优选实施例的图2b经由一第二色彩转换运算转换为一RGB荧光影像的示意图；图2e其绘示本案一优选实施例的图2c及图2d进行一影像融合运算的示意图；图2f其绘示本案一优选实施例的图2e进行一强度反转运算产生一生物样本的影像合成方法示意图。
如图2a所示，本发明的输入一生物样本的一灰阶反射影像或一灰阶干涉影像至一信息处理装置(图未示)的一第一记忆区块(图未示)中，其中该灰阶反射影像或该灰阶干涉影像是为一黑底背景的影像，且该灰阶反射影像或该灰阶干涉影像具有一第一影像分辨率。
如图2b所示，本发明的输入一生物样本的一灰阶荧光影像至该信息处理装置(图未示)的一第二记忆区块(图未示)中，其中该灰阶荧光影像是为一黑底背景的影像，其中该灰阶荧光影像具有一第二影像分辨率，且该第一影像分辨率与该第二影像分辨率是相同或不相同。
如图2c所示，利用该信息处理装置(图未示)将图2a经由一第一色彩转换运算转换为一RGB反射影像或一RGB干涉影像，其中该RGB反射影像或该RGB干涉影像是为一黑底背景暗绿色的影像，该第一色彩转换运算是将R值及B值均设定为0，G值则等于该灰阶反射影像或该灰阶干涉影像的灰阶值乘以一加权值，且该加权值是介于0.5和1之间。
如图2d所示，利用该信息处理装置(图未示)将图2b经由一第二色彩转换运算转换为一RGB荧光影像，其中该RGB荧光影像是为一黑底背景黄绿色的影像，该第二色彩转换运算是将G值设定为255，B值设定为0，R值则等于该灰阶荧光影像的灰阶值乘以一加权值，且该加权值是介于0.5和1之间。
如图2e所示，利用该信息处理装置(图未示)对该RGB反射影像或该RGB干涉影像(图2c)及该RGB荧光影像(图2d)进行一影像融合运算的结果，其是为一黑底背景的影像。
如图2f的所示，利用该信息处理装置(图未示)对图2e进行一强度反转运算以产生一类H&E影像，其是为一白底背景桃红色含蓝紫色的影像。
其中该RGB反射影像、该RGB干涉影像及该RGB荧光影像的R值、G值及B值均是以一二进制的n位来代表，该n的值例如但不限为8的正整数倍。
要将光学切片影像，转成使用伊红与苏木紫的H&E影像，需将反射与荧光的合成影像，转成类似H&E的吸收影像。其中苏木紫扮演的角色，是将白光吸收，使蓝紫色光穿透；伊红则是吸收白光，使桃红色光穿透。相较下述技术方案：
(1)将一黑底背景灰阶格式的细胞核影像，先转成一黑底背景黄绿色RGB格式，再反转色彩成一白底背景蓝紫色RGB格式；
(2)将一黑底背景灰阶格式的细胞质影像，先转成一黑底背景暗绿色RGB格式，再反转色彩成一白底背景桃红色RGB格式；
(3)将上述两影像进行色彩加成。
此技术方案所产生的影像是将两个白底背景的细胞核及细胞核影像进行色彩加成，因为先进行反转色彩使得色彩强度都增强了50％，影像呈现饱和的状况，因此色彩加成后的影像的对比效果不佳，辨识度亦不高。本发明是先将两个黑底背景的细胞核及细胞核影像，先进行色彩加成再强度反转后，所产生的类H&E影像的对比效果更佳。
此外，本发明亦揭示一种光学系统，其是其采用所述的生物样本的影像合成方法。
请参照图3，其绘示本发明的一优选实施例的采用所述的生物样本的影像合成方法的光学系统架构示意图。
如图所示，该光学系统包括：一第一感光单元100；一第二感光单元200；一信息处理装置300；以及一显示单元400。
该第一感光单元100，是用以输入一生物样本的一灰阶反射影像或一灰阶干涉影像，该灰阶反射影像或该灰阶干涉影像是呈现一细胞质的影像。其中该灰阶反射影像是例如但不限于一激光扫描共焦显微镜(图未示)的直接反射产生的影像，该灰阶干涉影像是例如但不限于一光学干涉扫描显微镜(图未示)的反射后再干涉产生的影像。
该第二感光单元200，是用以输入一生物样本的一灰阶荧光影像，该灰阶荧光影像是呈现一细胞核的影像。
该信息处理装置300的一端分别与该第一感光单元100、该第二感光单元200耦接，且具有一第一记忆区块310及一第二记忆区块320，其中该第一记忆区块310是用以储存由第一感光单元100输入的该灰阶反射影像或该灰阶干涉影像，该第二记忆区块320是用以储存由第二感光单元200输入的该灰阶荧光影像。
该信息处理装置进一步具有一第一色彩转换运算单元330；一第二色彩转换运算单元340；以及一影像融合运算及强度反转运算单元350。
该第一色彩转换运算单元330与该第一记忆区块310耦接，用以将储存于该第一记忆区块310的该灰阶反射影像或该灰阶干涉影像经由一第一色彩转换运算转换为一RGB反射影像或一RGB干涉影像，该第一色彩转换运算是将R值及B值均设定为0，G值则等于该灰阶反射影像或该灰阶干涉影像的灰阶值乘以一加权值，且该加权值是介于0.5和1之间，该RGB反射影像或该RGB干涉影像是一黑底背景暗绿色影像。
该第二色彩转换运算单元340与该第二记忆区块320耦接，用以将储存于该第二记忆区块320的该灰阶荧光影像经由一第二色彩转换运算转换为一RGB荧光影像，该第二色彩转换运算是将G值设定为255，B值设定为0，R值则等于该灰阶荧光影像的灰阶值乘以一加权值，且该加权值是介于0.5和1之间，该RGB荧光影像是一黑底背景黄绿色影像。
其中，该RGB反射影像、该RGB干涉影像及该RGB荧光影像的R值、G值及B值均是以一二进制的n位来代表，该n的值为8的正整数倍。
该影像融合运算及强度反转运算单元350，分别与该第一色彩转换运算单元330及该第二色彩转换运算单元340耦接，用以将RGB格式的该反射影像或该干涉影及该荧光影像进行一影像融合运算及一强度反转运算以产生一类H&E影像，该类H&E影像是一白底背景桃红色影像。
该显示单元400与该信息处理装置300的另一端耦接，用以显示该信息处理装置300输出的该类H&E影像。
请参照图4，其绘示本发明的另一优选实施例的采用所述的生物样本的影像合成方法的光学系统架构示意图。
如图所示，该光学系统包括：一第一感光单元100；一信息处理装置300；以及一显示单元400。
该第一感光单元100，是用以输入一生物样本的一灰阶反射影像或一灰阶干涉影像，该灰阶反射影像或该灰阶干涉影像是呈现一细胞质的影像。其中该灰阶反射影像是例如但不限于一激光扫描共焦显微镜(图未示)的直接反射产生的影像，该灰阶干涉影像是例如但不限于一光学干涉扫描显微镜(图未示)的反射后再干涉产生的影像。
该信息处理装置300的一端与该第一感光单元100耦接，且具有一第一记忆区块310；一影像转换运算单元305；以及一第二记忆区块320，其中该记忆区块310是用以储存由第一感光单元100输入的该灰阶反射影像或该灰阶干涉影像，该影像转换运算单元305与该第一记忆区块310耦接，用以将储存于该第一记忆区块310的该灰阶反射影像或该灰阶干涉影像经由一影像转换运算转换为一细胞核的灰阶影像，该第二记忆区块320是用以储存由影像转换运算单元305输入的该灰阶细胞核影像。
该信息处理装置300进一步具有一第一色彩转换运算单元330；一第二色彩转换运算单元340；以及一影像融合运算及强度反转运算单元350。
该第一色彩转换运算单元330与该第一记忆区块310耦接，用以将储存于该第一记忆区块310的该灰阶反射影像或该灰阶干涉影像经由一第一色彩转换运算转换为一RGB反射影像或一RGB干涉影像，该第一色彩转换运算是将R值及B值均设定为0，G值则等于该灰阶反射影像或该灰阶干涉影像的灰阶值乘以一加权值，且该加权值是介于0.5和1之间，该RGB反射影像或该RGB干涉影像是一黑底背景暗绿色影像。
该第二色彩转换运算单元340与该第二记忆区块320耦接，用以将储存于该第二记忆区块320的该灰阶细胞核影像经由一第二色彩转换运算转换为一RGB细胞核影像，该第二色彩转换运算是将G值设定为255，B值设定为0，R值则等于该灰阶细胞核影像的灰阶值乘以一加权值，且该加权值是介于0.5和1之间，该RGB细胞核影像是一黑底背景黄绿色影像。
其中，该RGB反射影像、该RGB干涉影像及该RGB细胞核影像的R值、G值及B值均是以一二进制的n位来代表，该n的值为8的正整数倍。
该影像融合运算及强度反转运算单元350，分别与该第一色彩转换运算单元330及该第二色彩转换运算单元340耦接，用以将RGB格式的该反射影像或该干涉影及该荧光影像进行一影像融合运算及一强度反转运算以产生一类H&E影像，该类H&E影像是一白底背景桃红色影像。
该显示单元400与该信息处理装置300的另一端耦接，用以显示该信息处理装置300输出的该类H&E影像。
本发明的光学切片系统可支持一活体检测操作或一生物样本库的检视。当本发明的光学切片系统应用于活体检测时，其是以一光探头深入至术前(如皮肤)或术中(如乳房肿瘤廓清手术)的活体表面，以在获得干涉或反射的细胞质影像后，将此影像反转与滤波，即产生核影像，再以上述方法运算融合后，即可得到活体组织内的类H&E影像；以及当本发明的光学切片系统应用于生物样本库的检视时，其是以所述光探头深入至置放于样本载台上的生物样本库的一新鲜组织，进行大面积扫描，再执行前述的图像处理程序，以获得类H&E影像。另外，样本载台内的生物样本新鲜组织的核影像，亦可由荧光方式获得。
藉由前述所揭露的设计，本发明乃具有以下的优点：
1.本发明揭露一种生物样本的影像合成方法，其是以一反射影像或一干涉影像与一荧光影像或核影像经由色彩转换运算、影像融合运算及强度反转运算而产生，藉以提供颜色对比更佳的生物样本影像，进而增进影像的可辨识性与可阅图性。
2.本发明揭露一种生物样本的影像合成方法，其中相较于现有技术是使用多张荧光影像加成的方法更能减少荧光剂使用及降低荧光剂对样本组织所产生的伤害。
3.本发明揭露一种生物样本的影像合成方法法，因为减少荧光剂的使用，而能缩短染色时间，进而加快取得影像的速度。
4.本发明揭露一种生物样本的影像合成方法，藉由使用于活体组织的影像检测，而能在不破坏组织的状况下得到实时影像。
5.本发明揭露一种生物样本的影像合成方法，藉由使用于生物样本库中的新鲜组织影像辨识时，能通过先行确认测试组织中是否含有目标组织或细胞，而提升检体入库前的正确性，亦能避免样本冻坏进而降低出库后的不良品输出风险。
本案所揭示的，乃优选实施例，举凡局部的变更或修饰而源于本案的技术思想而为本领域技术人员所易于推知者，俱不脱本案的权利要求范畴。
Claims (10)
1.一种生物样本的影像合成方法，其包括以下步骤：
输入一生物样本的一灰阶反射影像或一灰阶干涉影像至一信息处理装置的一第一记忆区块中，其中该灰阶反射影像或该灰阶干涉影像具有一第一影像分辨率，及输入该生物样本的一灰阶荧光影像至该信息处理装置的一第二记忆区块中，其中该灰阶荧光影像具有一第二影像分辨率，且该第一影像分辨率与该第二影像分辨率相同或不相同；
利用该信息处理装置将该灰阶反射影像或该灰阶干涉影像经由一第一色彩转换运算转换为一RGB反射影像或一RGB干涉影像，及利用该信息处理装置将该灰阶荧光影像经由一第二色彩转换运算转换为一RGB荧光影像；
利用该信息处理装置对该RGB反射影像或该RGB干涉影像及该RGB荧光影像进行一影像融合运算及一强度反转运算以产生一类H&E影像；以及输出该生物样本影像至一显示单元。
2.如权利要求1所述的生物样本的影像的合成方法，该灰阶反射影像或该灰阶干涉影像呈现一细胞质的影像；该灰阶荧光影像呈现一细胞核的影像。
3.如权利要求2所述的生物样本的影像合成方法，该细胞核的灰阶荧光影像是该细胞质的影像进行一影像转换运算而得到。
4.如权利要求1所述的生物样本的影像合成方法，其中该灰阶反射影像是一激光扫描共焦显微镜的直接反射产生的影像。
5.如权利要求1所述的生物样本的影像合成方法，其中该灰阶干涉影像是一光学干涉扫描显微镜的反射后再干涉产生的影像。
6.如权利要求1所述的生物样本的影像合成方法，其中该第一色彩转换运算是将R值及B值均设定为0，G值则等于该灰阶反射影像或该灰阶干涉影像的灰阶值乘以一加权值，且该加权值介于0.5和1之间。
7.如权利要求1所述的生物样本的影像合成方法，其中该第二色彩转换运算是将G值设定为255，B值设定为0，R值则等于该灰阶荧光影像的灰阶值乘以一加权值，且该加权值介于0.5和1之间。
8.如权利要求1所述的生物样本的影像合成方法，其中该RGB反射影像或该RGB干涉影像是一黑底背景暗绿色影像；该RGB荧光影像是一黑底背景黄绿色影像；该类H&E影像是一白底背景桃红色影像。
9.如权利要求1所述的生物样本的影像合成方法，其中该RGB反射影像、该RGB干涉影像及该RGB荧光影像的R值、G值及B值均以一二进制的n位来代表，其中该n的值为8的正整数倍。
10.一种光学系统，其采用如权利要求1至9中任一项所述的生物样本的影像合成方法以支持一活体检测操作或一生物样本库的检视。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810293719.7A CN110346291A (zh) | 2018-04-03 | 2018-04-03 | 一种生物样本的影像合成方法及采用该方法的光学系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810293719.7A CN110346291A (zh) | 2018-04-03 | 2018-04-03 | 一种生物样本的影像合成方法及采用该方法的光学系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110346291A true CN110346291A (zh) | 2019-10-18 |
Family
ID=68172519
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810293719.7A Pending CN110346291A (zh) | 2018-04-03 | 2018-04-03 | 一种生物样本的影像合成方法及采用该方法的光学系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110346291A (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050094147A1 (en) * | 2003-09-19 | 2005-05-05 | Yaroslavsky Anna N. | Fluorescence polarization imaging devices and methods |
| JP2008309662A (ja) * | 2007-06-14 | 2008-12-25 | Olympus Corp | 画像処理装置および画像処理プログラム |
| US20110116694A1 (en) * | 2008-07-25 | 2011-05-19 | Sloan Kettering Institute For Cancer Research | Rapid confocal microscopy to support surgical procedures |
| US20120029348A1 (en) * | 2009-04-14 | 2012-02-02 | The Gemeral Hospital Corporation | Method and apparatus for multimodal imaging of biological tissue |
| CN102575990A (zh) * | 2009-09-29 | 2012-07-11 | 通用电气公司 | 使用荧光图像产生明场图像的系统和方法 |
| US20120326055A1 (en) * | 2009-12-18 | 2012-12-27 | University Health Network | System and method for sub-surface fluorescence imaging |
| CN104704348A (zh) * | 2012-08-21 | 2015-06-10 | 剑桥研究和仪器设备股份有限公司 | 细胞的可视化和测量 |
| CN109754382A (zh) * | 2017-11-03 | 2019-05-14 | 锐准医光股份有限公司 | 类h&e影像的合成方法及采用该方法的光学系统 |
-
2018
- 2018-04-03 CN CN201810293719.7A patent/CN110346291A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050094147A1 (en) * | 2003-09-19 | 2005-05-05 | Yaroslavsky Anna N. | Fluorescence polarization imaging devices and methods |
| JP2008309662A (ja) * | 2007-06-14 | 2008-12-25 | Olympus Corp | 画像処理装置および画像処理プログラム |
| US20110116694A1 (en) * | 2008-07-25 | 2011-05-19 | Sloan Kettering Institute For Cancer Research | Rapid confocal microscopy to support surgical procedures |
| US20120029348A1 (en) * | 2009-04-14 | 2012-02-02 | The Gemeral Hospital Corporation | Method and apparatus for multimodal imaging of biological tissue |
| CN102575990A (zh) * | 2009-09-29 | 2012-07-11 | 通用电气公司 | 使用荧光图像产生明场图像的系统和方法 |
| US20120326055A1 (en) * | 2009-12-18 | 2012-12-27 | University Health Network | System and method for sub-surface fluorescence imaging |
| CN104704348A (zh) * | 2012-08-21 | 2015-06-10 | 剑桥研究和仪器设备股份有限公司 | 细胞的可视化和测量 |
| CN109754382A (zh) * | 2017-11-03 | 2019-05-14 | 锐准医光股份有限公司 | 类h&e影像的合成方法及采用该方法的光学系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20190302436A1 (en) | Method for producing image of biological sample and optical system using same | |
| Puliatti et al. | Ex vivo fluorescence confocal microscopy: the first application for real‐time pathological examination of prostatic tissue | |
| JP5112430B2 (ja) | マトリックス関連の組織動態及び疾患を定量するシステム及び方法 | |
| Kang et al. | Deep learning enables ultraviolet photoacoustic microscopy based histological imaging with near real-time virtual staining | |
| Gareau et al. | Tri-modal confocal mosaics detect residual invasive squamous cell carcinoma in Mohs surgical excisions | |
| US10511820B2 (en) | Pseudo HandE image producing method and optical system using same | |
| EP3953863A1 (en) | High resolution alignment of 3d imaging with 2d imaging | |
| Ye et al. | Rapid and label-free histological imaging of unprocessed surgical tissues via dark-field reflectance ultraviolet microscopy | |
| Schiffhauer et al. | Confocal microscopy of unfixed breast needle core biopsies: a comparison to fixed and stained sections | |
| Okada et al. | Scanning point terahertz source microscopy of unstained comedo ductal carcinoma in situ | |
| Tehrani et al. | Nonlinear imaging histopathology: a pipeline to correlate gold-standard hematoxylin and eosin staining with modern nonlinear microscopy | |
| CN110346291A (zh) | 一种生物样本的影像合成方法及采用该方法的光学系统 | |
| Pham et al. | Feasibility of multimodal multiphoton microscopy to facilitate surgical margin assessment in pancreatic cancer | |
| Restall et al. | Fast hybrid optomechanical scanning photoacoustic remote sensing microscopy for virtual histology | |
| Wu et al. | Identifying two common types of breast benign diseases based on multiphoton microscopy | |
| Abbasi et al. | All-optical label-free human breast tissue block histology using photoacoustic remote sensing | |
| CN109754382B (zh) | 类h&e影像的合成方法及采用该方法的光学系统 | |
| US10665000B2 (en) | Pseudo H and E image producing method and optical system using same | |
| Zhang et al. | Speckle illumination microscopy enables slide-free and non-destructive pathology of human lung adenocarcinoma | |
| Jiang et al. | Diagnostic application of multiphoton microscopy in epithelial tissues | |
| Gavgiotaki et al. | Nonlinear imaging of female breast tissue biopsies | |
| KR101986658B1 (ko) | 생물학적 샘플의 3차원 영상 획득방법 | |
| JP7406846B1 (ja) | 快速的且つ鮮やかなデジタルパソロジー方法 | |
| Lin et al. | Light-sheet microscopy for quantitative ovarian folliculometry | |
| KR102643066B1 (ko) | 인공지능 기반 의사 컬러링을 활용한 진단 보조 정보 제공 방법, 장치 및 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |