CN115032780B - 组织病理图片的快速处理系统及其工作方法 - Google Patents
组织病理图片的快速处理系统及其工作方法 Download PDFInfo
- Publication number
- CN115032780B CN115032780B CN202210579217.7A CN202210579217A CN115032780B CN 115032780 B CN115032780 B CN 115032780B CN 202210579217 A CN202210579217 A CN 202210579217A CN 115032780 B CN115032780 B CN 115032780B
- Authority
- CN
- China
- Prior art keywords
- image
- picture
- tissue
- pictures
- lens
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 43
- 230000007170 pathology Effects 0.000 title claims abstract description 40
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000013519 translation Methods 0.000 claims abstract description 35
- 238000013256 Gubra-Amylin NASH model Methods 0.000 claims abstract description 10
- 238000005057 refrigeration Methods 0.000 claims abstract description 9
- 238000013135 deep learning Methods 0.000 claims abstract description 8
- 238000001914 filtration Methods 0.000 claims abstract description 6
- 239000000975 dye Substances 0.000 claims description 23
- 230000001575 pathological effect Effects 0.000 claims description 16
- 238000002073 fluorescence micrograph Methods 0.000 claims description 15
- 239000007850 fluorescent dye Substances 0.000 claims description 15
- 238000013528 artificial neural network Methods 0.000 claims description 14
- 238000004043 dyeing Methods 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 14
- 239000011521 glass Substances 0.000 claims description 14
- 238000003384 imaging method Methods 0.000 claims description 13
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 claims description 7
- 238000013527 convolutional neural network Methods 0.000 claims description 7
- 239000005350 fused silica glass Substances 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 7
- 238000005406 washing Methods 0.000 claims description 7
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 claims description 6
- 239000008280 blood Substances 0.000 claims description 6
- 210000004369 blood Anatomy 0.000 claims description 6
- 125000004122 cyclic group Chemical group 0.000 claims description 6
- 238000003745 diagnosis Methods 0.000 claims description 6
- 230000033001 locomotion Effects 0.000 claims description 6
- 238000010827 pathological analysis Methods 0.000 claims description 6
- 238000010186 staining Methods 0.000 claims description 6
- FWBHETKCLVMNFS-UHFFFAOYSA-N 4',6-Diamino-2-phenylindol Chemical compound C1=CC(C(=N)N)=CC=C1C1=CC2=CC=C(C(N)=N)C=C2N1 FWBHETKCLVMNFS-UHFFFAOYSA-N 0.000 claims description 5
- 230000005284 excitation Effects 0.000 claims description 5
- 239000011325 microbead Substances 0.000 claims description 5
- 230000003287 optical effect Effects 0.000 claims description 5
- WSFSSNUMVMOOMR-UHFFFAOYSA-N Formaldehyde Chemical compound O=C WSFSSNUMVMOOMR-UHFFFAOYSA-N 0.000 claims description 4
- YQGOJNYOYNNSMM-UHFFFAOYSA-N eosin Chemical compound [Na+].OC(=O)C1=CC=CC=C1C1=C2C=C(Br)C(=O)C(Br)=C2OC2=C(Br)C(O)=C(Br)C=C21 YQGOJNYOYNNSMM-UHFFFAOYSA-N 0.000 claims description 4
- XJMOSONTPMZWPB-UHFFFAOYSA-M propidium iodide Chemical compound [I-].[I-].C12=CC(N)=CC=C2C2=CC=C(N)C=C2[N+](CCC[N+](C)(CC)CC)=C1C1=CC=CC=C1 XJMOSONTPMZWPB-UHFFFAOYSA-M 0.000 claims description 3
- MPLHNVLQVRSVEE-UHFFFAOYSA-N texas red Chemical compound [O-]S(=O)(=O)C1=CC(S(Cl)(=O)=O)=CC=C1C(C1=CC=2CCCN3CCCC(C=23)=C1O1)=C2C1=C(CCC1)C3=[N+]1CCCC3=C2 MPLHNVLQVRSVEE-UHFFFAOYSA-N 0.000 claims description 3
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 claims description 2
- 230000005540 biological transmission Effects 0.000 claims description 2
- 238000002474 experimental method Methods 0.000 claims description 2
- 238000005286 illumination Methods 0.000 claims description 2
- 238000013178 mathematical model Methods 0.000 claims description 2
- 238000004321 preservation Methods 0.000 claims 2
- 210000001519 tissue Anatomy 0.000 description 86
- 238000010586 diagram Methods 0.000 description 5
- 206010028980 Neoplasm Diseases 0.000 description 4
- 210000005013 brain tissue Anatomy 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000011282 treatment Methods 0.000 description 3
- 230000003042 antagnostic effect Effects 0.000 description 2
- 210000000481 breast Anatomy 0.000 description 2
- 238000011010 flushing procedure Methods 0.000 description 2
- 238000012333 histopathological diagnosis Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000012188 paraffin wax Substances 0.000 description 2
- 208000035346 Margins of Excision Diseases 0.000 description 1
- QHNORJFCVHUPNH-UHFFFAOYSA-L To-Pro-3 Chemical compound [I-].[I-].S1C2=CC=CC=C2[N+](C)=C1C=CC=C1C2=CC=CC=C2N(CCC[N+](C)(C)C)C=C1 QHNORJFCVHUPNH-UHFFFAOYSA-L 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000005273 aeration Methods 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 210000003855 cell nucleus Anatomy 0.000 description 1
- 230000001086 cytosolic effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000018044 dehydration Effects 0.000 description 1
- 238000006297 dehydration reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000008014 freezing Effects 0.000 description 1
- 238000007710 freezing Methods 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 238000000338 in vitro Methods 0.000 description 1
- 210000005075 mammary gland Anatomy 0.000 description 1
- 238000002844 melting Methods 0.000 description 1
- 230000008018 melting Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 210000003463 organelle Anatomy 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000002271 resection Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/24—Base structure
- G02B21/26—Stages; Adjusting means therefor
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/16—Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/361—Optical details, e.g. image relay to the camera or image sensor
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
- G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/368—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements details of associated display arrangements, e.g. mounting of LCD monitor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Optics & Photonics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Microscoopes, Condenser (AREA)
Abstract
组织病理图片的快速处理系统及其工作方法，能够免除复杂及耗时的组织处理过程，能够快速得到病理图片结果。通过计算机控制三维电控平移台上下前后方向的移动，从而带动载有组织的玻片上下前后移动，在玻片下方放置紫外LED光源，通过物镜转轮、滤光轮后光进入反射镜、镜筒透镜、透镜套筒、制冷黑白CMOS相机，然后通过计算机的图像处理单元对采集的图片进行图像复原及图像增强来提高图像质量，通过计算机的病理图片生成单元采用深度学习中的生成对抗式网络GAN模型对采集的图片进行病理学虚拟染色，得到病理切片图像。
Description
技术领域
本发明涉及光学成像的技术领域，尤其涉及一种组织病理图片的快速处理系统，以及这种组织病理图片的快速处理系统的工作方法。
背景技术
最大限度切除肿瘤并保留周围正常组织是肿瘤手术成功的关键，因此，术中实时辨别肿瘤组织至关重要。目前，福尔马林固定石蜡包埋(FFPE)薄层组织标本的组织病理学诊断是包括肿瘤诊断和手术切缘评价的金标准，然而，该方法涉及多个耗时的步骤，包括组织固定、脱水、石蜡包埋、物理切片和染色，通常需要24小时以上时间才能完成组织样本的处理及评估。因此，完全无法满足术中快速诊断的临床需求。
冷冻切片分析是FFPE组织病理诊断的一种替代方法，制片速度与石蜡包埋固定方法相比更快，其可以通过迅速冷冻新鲜组织实现物理切片，避免长时间固定和石蜡包埋，但其与标准FFPE方法相比，切片质量有所下降，且仍需30分钟以上的样品处理时间。
因此，亟需一种能够快速得到新鲜离体组织病理图片的检测系统来解决术中快速病理诊断难题，为本发明专利要解决的具体问题。
发明内容
为克服现有技术的缺陷，本发明要解决的技术问题是提供了一种组织病理图片的快速处理系统，其能够免除复杂及耗时的组织处理过程，能够快速得到病理图片结果。
本发明的技术方案是：这种组织病理图片的快速处理系统，其包括：紫外LED光源(1)、玻片(2)、三维电控平移台(3)、物镜转轮(4)、滤光轮(5)、反射镜(6)、镜筒透镜(7)，透镜套筒(8)，制冷黑白CMOS相机(9)、计算机(10)；
通过计算机控制三维电控平移台上下前后方向的移动，从而带动载有组织的玻片上下前后移动，在玻片下方放置紫外LED光源，通过物镜转轮、滤光轮后光进入反射镜、镜筒透镜、透镜套筒、制冷黑白CMOS相机，然后通过计算机的图像处理单元对采集的图片进行图像复原及图像增强来提高图像质量，通过计算机的病理图片生成单元采用深度学习中的生成对抗式网络GAN模型对采集的图片进行病理学虚拟染色，得到病理切片图像。
本发明通过计算机控制三维电控平移台上下前后方向的移动，从而带动载有组织的玻片上下前后移动，在玻片下方放置紫外LED光源，通过物镜转轮、滤光轮后光进入反射镜、镜筒透镜、透镜套筒、制冷黑白CMOS相机，然后通过计算机的图像处理单元对采集的图片进行图像复原及图像增强来提高图像质量，通过计算机的病理图片生成单元采用深度学习中的生成对抗式网络GAN模型对采集的图片进行病理学虚拟染色，得到病理切片图像，因此能够免除复杂及耗时的组织处理过程，能够快速得到病理图片结果。
还提供了一种组织病理图片的快速处理系统的工作方法，其包括以下步骤：
(1)将新鲜的组织薄片使用PBS溶液进行冲洗，去除表面血水，然后将组织放入到特定配比的染液中进行染色，从染料中取出后再次用PBS冲洗三次，除去组织表面的荧光染料；
(2)将新鲜的组织固定在玻片上，通过镊子对组织进行调整至平整，通过控制三维电控平移台Z轴对样本进行调焦；
(3)对紫外光源进行供电，根据实际需求采用物镜转轮上不同倍率的显微物镜，系统自动根据不同的倍镜视野设置相应的步长；
(4)采集工作开始，根据组织薄片的大小设置相对应的采集面积，在计算机的显示界面对增益以及曝光时间进行调整使图片质量相对达到最佳；点击开始，三维电控平移台进行精准移动扫描，相机进行拍照采集；若需要进行特殊染色，则根据不同荧光染料染色部分调整滤光轮进行相应通道的图像采集；
(5)当三维电控平移台完整的扫描整个组织过后，获得的图像储存在计算机中固定的文件夹下，将图片输入到已经调试好的图像处理算法当中，自动根据倍镜倍数选择相对应的点扩散函数，对所有图片进行图像增强以及图像复原操作；
(6)重建过后的图像放在同一文件夹下，输入到已经训练好的循环对抗神经网络当中，紫外荧光图像经过卷积神经网络的预测后生成组织病理虚拟染色图片；
(7)生成的组织病理虚拟染色图片经过拼接成完整组织的病理图片，其后将完整的组织病理图片送到医生手中，医生通过图片对病人进行病理诊断。
附图说明
图1示出了根据本发明的组织病理图片的快速处理系统的结构示意图。
图2示出了根据本发明的组织病理图片的快速处理系统的物镜转轮与滤光轮工作固定位置图。
图3示出了根据本发明的组织病理图片的快速处理系统的紫外光源结构示意图。
图4示出了根据本发明的组织病理图片的快速处理系统的6个紫外LED光源分布示意图。
图5示出了根据本发明的组织病理图片的快速处理系统的计算机显示界面的示意图。
图6示出了根据本发明的组织病理图片的快速处理系统的图片生成单元神经网络的构成图。
图7示出了根据本发明的组织病理图片的快速处理系统的工作方法的流程图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“包括”以及任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、装置、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其他步骤或单元。
如图1所示，这种组织病理图片的快速处理系统，其包括：紫外LED光源1、玻片2、三维电控平移台3、物镜转轮4、滤光轮5、反射镜6、镜筒透镜7，透镜套筒8，制冷黑白CMOS相机9、计算机10；
通过计算机控制三维电控平移台上下前后方向的移动，从而带动载有组织的玻片上下前后移动，在玻片下方放置紫外LED光源，通过物镜转轮、滤光轮后光进入反射镜、镜筒透镜、透镜套筒、制冷黑白CMOS相机，然后通过计算机的图像处理单元对采集的图片进行图像复原及图像增强来提高图像质量，通过计算机的病理图片生成单元采用深度学习中的生成对抗式网络GAN模型对采集的图片进行病理学虚拟染色，得到病理切片图像。
本发明通过计算机控制三维电控平移台上下前后方向的移动，从而带动载有组织的玻片上下前后移动，在玻片下方放置紫外LED光源，通过物镜转轮、滤光轮后光进入反射镜、镜筒透镜、透镜套筒、制冷黑白CMOS相机，然后通过计算机的图像处理单元对采集的图片进行图像复原及图像增强来提高图像质量，通过计算机的病理图片生成单元采用深度学习中的生成对抗式网络GAN模型对采集的图片进行病理学虚拟染色，得到病理切片图像，因此能够免除复杂及耗时的组织处理过程，能够快速得到病理图片结果。
处理过的新鲜组织将其放置在用于成像的玻片上，利用其自身重力平整地铺在玻片上，准备用于成像。将紫外LED光源以固定的角度对称放置在玻片下方，将光聚焦在玻片标本上的同一位置，使用透镜套筒与不同焦距的紫外熔融石英透镜以及短波通滤光片固定，然后将光线聚焦在标本上。
将显微物镜固定在玻片的正下方进行成像，显微物镜放置在下方可以对组织进行平整的成像，避免组织表面不平整造成图片局部模糊。
调整三维电控平移台Z轴，对焦完成后通过集成后的软件同步控制电控平移台与相机，电控平移台按照设定好的运动轨迹进行移动，相机在电机每次移动后固定的时间进行拍照保存。
对采集过后的图像使用计算机进行初步的图像处理，通过荧光微珠测得成像单元的点扩散函数，进而经过反卷积等操作进行图像复原，得到高质量的荧光图片；将荧光图片传送到图片生成单元，通过已经训练完成的神经网络对传入的图片进行虚拟染色，生成与组织病理化学染色图像一致的图像。
本发明通过对新鲜组织进行染色、冲洗等过程，将处理完成后的组织放置在玻片上平铺至不与玻片产生空隙；紫外光源经过紫外熔融透镜聚焦在同一位置，组织被激发出的荧光经过显微物镜通过反射镜到达镜筒透镜处，通过镜筒透镜汇聚在相机处；通过调整三维电控平移台位移完成对调焦操作；设置集成软件中的参数，调整至合适的曝光时间及增益；设置三维电控平移台的采集面积，选择电机的运动模式以及相机与电机协同的时间间隔，点击开始，三维电控平移台开始运动，相机进行实时拍摄并将拍摄过后的图片通过设置完成的名称顺序储存到计算机的同一文件夹中；对荧光图像进行图像增强以及图像复原等处理；将复原后的图像输入到训练好的神经网络当中，经预测生成组织病理图片；预测生成后的图片使用软件进行自动图片拼接，得到完整的组织图片，图片提供给医生进行诊断。
优选地，所述紫外LED光源为6个紫外LED，其中三个中心波长为265nm，另外三个中心波长为285nm；根据不同的组织，选取不同的波长进行激发；6个紫外LED使用轮盘以固定在玻片下方位置，轮盘每个卡扣可调节光源角度；使用时，选取三个同一波长的紫外LED光源，通过调节轮盘，将光聚焦在玻片标本上的同一位置，避免成像图片出现照光不匀的情况。
优选地，使用透镜套筒将光源11与不同焦距的第一紫外熔融石英透镜12、第二紫外熔融石英透镜13固定，在第二紫外熔融石英透镜的前端放置一个300nm低通滤光片14，以便滤除紫外LED光在传输过程中可能激发产生的背景荧光。
所述紫外光源打到组织表面产生的荧光经过显微物镜后通过反射镜改变一定的角度到达镜筒透镜以及相机，避免显微物镜与镜筒透镜以及相机在一个方向上放置造成同方向系统拥挤的情况。
术中采集的新鲜组织薄片预先处理流程，使用PBS溶液对组织进行冲洗，以很大程度上去除组织表面血水。随后组织浸泡在配比好的溶液中染色3分钟,待染色完成后取出继续使用PBS溶液冲洗三次，去除残留在组织表面的染液。
优选地，所述物镜转轮包括5×、10×、20×三种倍率的显微物镜。所述物镜转轮用于不同种类组织类型的成像采集，若组织较大，可采用低倍物镜进行扫面，得到相应病理图片后，若对指定区域的诊断需要更高分辨率的图像，可使用高倍物镜对相应位置进行扫描成像进而进行诊断。
配比好的染料溶液中包括PBS溶液以及不同种类的荧光染料，包括对细胞核染色的DAPI或TO-PRO3等染料，Texas Red或Eosin等细胞质染料以及其他根据需求染色不同细胞器的荧光染料。
优选地，所述滤光轮同时放置1-6个滤光片，根据单个或者多个染料的荧光峰值选取相应的带通或者长波通滤光片放置在滤光轮上，提供不同染料配比染色过的新鲜组织经过紫外激发产生不同波段荧光通道，通过自动旋转滤光轮切换滤光片，供相机采集不同通道的荧光图片，实现组织多通道的多色成像；根据诊断需求，通过选取不同染料，实现不同种类病理学染色，其中染料包括DAPI、Texas Red、Propidium Iodide和Eosin yellow，滤光片包括482/35nm、600/52nm、640/40nm和540/50nm带通滤光片。
如图5所示，优选地，所述计算机的显示界面包括：图片阅览界面31、相机曝光时间32、增益33、图片保存路径34、图片保存格式35、选中轴控制模块36、物镜倍数37、成像面积38、运动模式39、时间间隔40、开始41；通过对曝光时间以及增益参数进行设置，通过调整其他参数控制相机与三维电控平移台对新鲜组织进行高精度的采集，扫描过程中图像按照扫描顺序显示在图片阅览界面上方的扫描预览界面中；扫描完成后，经过染色后的完整组织病理图片以及荧光图像显示在集成软件图片阅览界面中；将成像后的新鲜组织放置在福尔马林溶液中进行固定，送至医院的病理科组织标准组织病理切片，用于后续深度学习神经网络的训练过程。
优选地，对采集过后的图像进行图像复原，通过荧光微珠进行相应的配比与实验，测得每个倍镜下成像单元的点扩散函数，进而经过反卷积操作进行图像复原，得到高质量的图片；
所述荧光微珠，通过无水乙醇稀释后用甘油固定在载玻片上用于系统点扩散函数的测量，通过相应数学模型的拟合得出光学系统的点扩散函数。
优选地，所述采集的图片与组织病理图片，制作数据集，用于对抗神经网络的训练；训练过后的卷积神经网络已具备预测功能，当再次输入紫外荧光图片后，图片生成单元以小于10s的速度生成组织病理图片。
如图6所示，优选地，所述生成对抗式网络GAN模型中，根据不同荧光染料生成的图片通道训练多个网络模型，使得不同网络根据需求生成不同类型的组织病理图像；生成对抗式网络GAN模型是由两个生成器以及两个判别器所组成，通过生成器与判别器的相互博弈逐渐提高模型生成图片的质量；损失函数包含循环一致损失，控制原有图像生成后的图片在风格、形态、外观上保留图像细节。
具体地，所述神经网络采用生成对抗网络(GAN)中的循环对抗生成网络(cycle-GAN)为基础，网络基本结构包括A生成器51、B生成器52、A判别器53、B判别器54。训练过程大致如下：荧光图片经过A生成器生成组织病理图像A，B判别器对真正的组织病理图像和生成器A产生的组织病理图像A进行判别；所获得的组织病理图像A通过B生成器生成紫外荧光图像B，紫外荧光图像B与真正的紫外荧光图像通过循环一致损失控制形态等特征一致；组织病理图像通过B生成器生成紫外荧光图像A，A判别器对真正的紫外荧光图像和生成器产生的紫外荧光图像A进行判别；所获得的紫外荧光图像A通过A生成器生成组织病理图像B，组织病理图像B与真正的组织病理图像通过循环一致损失控制形态等特征一致；所述的生成器与判别器在训练过程中相互对抗，生成器的能力不断提升，逐渐产生逼近真实图像的能力，判别器的能力不断提升，逐渐提升判别真实图像和生成器生成图像的能力，通过参数调整设置，得到最终训练完成的神经网络。
如图7所示，还提供了一种组织病理图片的快速处理系统的工作方法，其包括以下步骤：
(1)将新鲜的组织薄片使用PBS溶液进行冲洗，去除表面血水，然后将组织放入到特定配比的染液中进行染色(例如3分钟)，从染料中取出后再次用PBS冲洗三次，除去组织表面的荧光染料；
(2)将新鲜的组织固定在玻片上，通过镊子对组织进行调整至平整，通过控制三维电控平移台Z轴对样本进行调焦；随后对三维电控平移台进行抽样移动数次，以确保组织平整的铺在玻片上，没有因空隙造成局部模糊；
(3)对紫外光源进行供电，根据实际需求采用物镜转轮上不同倍率的显微物镜，系统自动根据不同的倍镜视野设置相应的步长；
(4)采集工作开始，根据组织薄片的大小设置相对应的采集面积，在计算机的显示界面对增益以及曝光时间进行调整使图片质量相对达到最佳；点击开始，三维电控平移台进行精准移动扫描，相机进行拍照采集；若需要进行特殊染色，则根据不同荧光染料染色部分调整滤光轮进行相应通道的图像采集；
(5)当三维电控平移台完整的扫描整个组织过后，获得的图像储存在计算机中固定的文件夹下，将图片输入到已经调试好的图像处理算法当中，自动根据倍镜倍数选择相对应的点扩散函数，对所有图片进行图像增强以及图像复原操作；
(6)重建过后的图像放在同一文件夹下，输入到已经训练好的循环对抗神经网络当中，紫外荧光图像经过卷积神经网络的预测后生成组织病理虚拟染色图片；
(7)生成的组织病理虚拟染色图片经过拼接成完整组织的病理图片，其后将完整的组织病理图片送到医生手中，医生通过图片对病人进行病理诊断。
优选地，所述步骤(4)由于不同部位的组织结构不相同，若采用相同的曝光时间以及增益会有较大的差异，这并不影响最后染色成组织病理的结果。但为了保持视觉上荧光图片的一致性，对于不同类型的组织，采用较为灵活的曝光时间以及增益调节方式，以达到荧光图像效果大致相同。
以下详细说明本发明的具体实施例。
实施例1：新鲜组织为脑组织，组织病理图像效果良好
如图6所示，本发明的工作过程为：
(1)将9mm×8mm新鲜的脑组织薄片使用1×PBS溶液进行冲洗20s，去除表面血水，然后将组织放入到配比完成的染液中进行染色3分钟，染液中包括DAPI荧光染料，从染料中取出后再次用PBS冲洗20s三次，除去组织表面的荧光染料。
(2)选用10×显微物镜，滤光轮选取482/35nm的带通滤波片。
(3)将新鲜的脑组织放置在玻片上，通过三维电控平移台Z轴平移台对样本进行调焦。
(4)采用400mA电流对265nm的紫外光源进行供电。
(5)在集成软件中设置三维电控平移台的采集面积为90mm2；设置曝光时间为25ms，增益为180。点击开始，三维电控平移台进行精准移动扫描，相机进行拍照采集。
(6)当扫描完成整个组织后，获得的图像储存在计算机中固定的文件夹
下，将图片输入到已经调试好的图像处理算法当中，对所有图片进行图像复原及图像增强等操作。
(7)将处理过后的图像输入到已经训练好的循环对抗神经网络当中，紫
外荧光图像经过卷积神经网络的预测后10s内生成组织病理虚拟染色图片。
(8)生成的组织病理虚拟染色图片经过软件自动拼接，被拼接成完整组
织的病理图片，其后将完整的组织病理图片送到医生手中，医生通过图片对病人进行病理诊断。
实施例2：新鲜组织为乳腺组织，组织病理图像效果良好
本发明的工作过程为：
(1)将18mm×15mm新鲜的乳腺组织薄片使用1×PBS溶液进行冲洗20s，去除表面血水，然后将组织放入到配比完成的染液中进行染色3分钟，染液中包括Propidium Iodide与Eosin yellow荧光染料，从
染料中取出后再次用PBS冲洗20s三次，除去组织表面的荧光染料。(2)将新鲜的乳腺组织放置在玻片上，通过三维电控平移台Z轴平移台
对样本进行调焦。
(3)采用400mA电流对285nm的紫外光源进行供电。
(4)选用5×显微物镜，调整滤光轮依次选取540/50nm和640/40nm两
个带通滤波片。
(5)在集成软件中设置三维电控平移台的采集面积为325mm2；设置曝
光时间为80ms，增益为162。点击开始，三维电控平移台进行精准移动扫描，相机进行拍照采集。
(6)当扫描完成两个通道下完整组织后，获得的图像储存在计算机中固定的文件夹下，将图片输入到已经调试好的图像处理算法当中，对所有图片进图像复原及图像增强等操作。
(7)将处理过后的图像输入到已经训练好的循环对抗神经网络当中，紫外荧光图像经过卷积神经网络的预测后10s内生成组织病理虚拟染色图片。
(8)乳腺组织面积较大，通过观察病理图片对细胞异常区域采用10×物镜调整相应数值重复上述操作，得到局部区域高分辨率组织病理虚拟染色图片，将所有图片送到医生手中，医生通过图片对病人进行病理诊断。
以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。
Claims (9)
1.组织病理图片的快速处理系统，其特征在于：其包括：紫外LED光源(1)、玻片(2)、三维电控平移台(3)、物镜转轮(4)、滤光轮(5)、反射镜(6)、镜筒透镜(7)，透镜套筒(8)，制冷黑白CMOS相机(9)、计算机(10)；
通过计算机控制三维电控平移台上下前后方向的移动，从而带动载有组织的玻片上下前后移动，在玻片下方放置紫外LED光源，通过物镜转轮、滤光轮后光进入反射镜、镜筒透镜、透镜套筒、制冷黑白CMOS相机，然后通过计算机的图像处理单元对采集的图片进行图像复原及图像增强来提高图像质量，通过计算机的病理图片生成单元采用深度学习中的生成对抗式网络GAN模型对采集的图片进行病理学虚拟染色，得到病理切片图像；
所述紫外LED光源为6个紫外LED，其中三个中心波长为265nm，另外三个中心波长为285nm；根据不同的组织，选取不同的波长进行激发；6个紫外LED使用轮盘以固定在玻片下方位置，轮盘每个卡扣可调节光源角度；使用时，选取三个同一波长的紫外LED光源，通过调节轮盘，将光聚焦在玻片标本上的同一位置，避免成像图片出现照光不匀的情况。
2.根据权利要求1所述的组织病理图片的快速处理系统，其特征在于：使用透镜套筒将光源(11)与不同焦距的第一紫外熔融石英透镜(12)、第二紫外熔融石英透镜(13)固定，在第二紫外熔融石英透镜的前端放置一个300nm低通滤光片(14)，以便滤除紫外LED光在传输过程中可能激发产生的背景荧光。
3.根据权利要求2所述的组织病理图片的快速处理系统，其特征在于：所述物镜转轮包括5×、10×、20×三种倍率的显微物镜。
4.根据权利要求3所述的组织病理图片的快速处理系统，其特征在于：所述滤光轮同时放置1-6个滤光片，根据单个或者多个染料的荧光峰值选取相应的带通或者长波通滤光片放置在滤光轮上，提供不同染料配比染色过的新鲜组织经过紫外激发产生不同波段荧光通道，通过自动旋转滤光轮切换滤光片，供相机采集不同通道的荧光图片，实现组织多通道的多色成像；根据诊断需求，通过选取不同染料，实现不同种类病理学染色，其中染料包括DAPI、Texas Red、
Propidium Iodide和Eosin yellow，滤光片包括482/35nm、600/52nm、640/40nm和540/50nm带通滤光片。
5.根据权利要求4所述的组织病理图片的快速处理系统，其特征在于：所述计算机的显示界面包括：图片阅览界面(31)、相机曝光时间(32)、增益(33)、图片保存路径(34)、图片保存格式(35)、选中轴控制模块(36)、物镜倍数(37)、成像面积(38)、运动模式(39)、时间间隔(40)、开始(41)；通过对曝光时间以及增益参数进行设置，通过调整其他参数控制相机与三维电控平移台对新鲜组织进行高精度的采集，扫描过程中图像按照扫描顺序显示在图片阅览界面上方的扫描预览界面中；扫描完成后，经过染色后的完整组织病理图片以及荧光图像显示在集成软件图片阅览界面中；将成像后的新鲜组织放置在福尔马林溶液中进行固定，送至医院的病理科组织标准组织病理切片，用于后续深度学习神经网络的训练过程。
6.根据权利要求5所述的组织病理图片的快速处理系统，其特征在于：对采集过后的图像进行图像复原，通过荧光微珠进行相应的配比与实验，测得每个倍镜下成像单元的点扩散函数，进而经过反卷积操作进行图像复原，得到高质量的图片；
所述荧光微珠，通过无水乙醇稀释后用甘油固定在载玻片上用于系统点扩散函数的测量，通过相应数学模型的拟合得出光学系统的点扩散函数。
7.根据权利要求6所述的组织病理图片的快速处理系统，其特征在于：所述采集的图片与组织病理图片，制作数据集，用于对抗神经网络的训练；训练过后的卷积神经网络已具备预测功能，当再次输入紫外荧光图片后，图片生成单元以小于10s的速度生成组织病理图片。
8.根据权利要求7所述的组织病理图片的快速处理系统，其特征在于：所述生成对抗式网络GAN模型中，根据不同荧光染料生成的图片通道训练多个网络模型，使得不同网络根据需求生成不同类型的组织病理图像；生成对抗式网络GAN模型是由两个生成器以及两个判别器所组成，通过生成器与判别器的相互博弈逐渐提高模型生成图片的质量；损失函数包含循环一致损失，控制原有图像生成后的图片在风格、形态、外观上保留图像细节。
9.根据权利要求1所述的组织病理图片的快速处理系统的工作方法，其特征在于：其包括以下步骤：
(1)将新鲜的组织薄片使用PBS溶液进行冲洗，去除表面血水，然后将组织放入到特定配比的染液中进行染色，从染料中取出后再次用PBS冲洗三次，除去组织表面的荧光染料；
(2)将新鲜的组织固定在玻片上，通过镊子对组织进行调整至平整，
通过控制三维电控平移台Z轴对样本进行调焦；
(3)对紫外光源进行供电，根据实际需求采用物镜转轮上不同倍率的显微物镜，系统自动根据不同的倍镜视野设置相应的步长；
(4)采集工作开始，根据组织薄片的大小设置相对应的采集面积，在计算机的显示界面对增益以及曝光时间进行调整使图片质量相对达到最佳；点击开始，三维电控平移台进行精准移动扫描，相机进行拍照采集；若需要进行特殊染色，则根据不同荧光染料染色部分调整滤光轮进行相应通道的图像采集；
(5)当三维电控平移台完整的扫描整个组织过后，获得的图像储存在计算机中固定的文件夹下，将图片输入到已经调试好的图像处理算法当中，自动根据倍镜倍数选择相对应的点扩散函数，对所有图片进行图像增强以及图像复原操作；
(6)重建过后的图像放在同一文件夹下，输入到已经训练好的循环对抗神经网络当中，紫外荧光图像经过卷积神经网络的预测后生成组织病理虚拟染色图片；
(7)生成的组织病理虚拟染色图片经过拼接成完整组织的病理图片，其后将完整的组织病理图片送到医生手中，医生通过图片对病人进行病理诊断。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210579217.7A CN115032780B (zh) | 2022-05-25 | 2022-05-25 | 组织病理图片的快速处理系统及其工作方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210579217.7A CN115032780B (zh) | 2022-05-25 | 2022-05-25 | 组织病理图片的快速处理系统及其工作方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115032780A CN115032780A (zh) | 2022-09-09 |
| CN115032780B true CN115032780B (zh) | 2024-01-26 |
Family
ID=83121060
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210579217.7A Active CN115032780B (zh) | 2022-05-25 | 2022-05-25 | 组织病理图片的快速处理系统及其工作方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115032780B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6650357B1 (en) * | 1997-04-09 | 2003-11-18 | Richardson Technologies, Inc. | Color translating UV microscope |
| CN101950076A (zh) * | 2009-07-10 | 2011-01-19 | 索尼公司 | 荧光图像获取装置、荧光图像获取方法和荧光图像获取程序 |
| CN102007369A (zh) * | 2008-02-18 | 2011-04-06 | 维森盖特有限公司 | 利用紫外线放射对活细胞进行3d成像 |
| CN207081882U (zh) * | 2017-06-30 | 2018-03-09 | 武汉道培胎盘干细胞生物技术有限公司 | 一种多用途生物显微镜 |
| CN108982500A (zh) * | 2018-07-03 | 2018-12-11 | 怀光智能科技（武汉）有限公司 | 一种宫颈液基细胞学智能辅助阅片方法和系统 |
| CN109781033A (zh) * | 2019-03-04 | 2019-05-21 | 杭州晶耐科光电技术有限公司 | 一种透明材质三维轮廓重构的深紫外结构光精密检测装置 |
| CN109934832A (zh) * | 2019-03-25 | 2019-06-25 | 北京理工大学 | 基于深度学习的肝脏肿瘤分割方法及装置 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8948851B2 (en) * | 2009-01-20 | 2015-02-03 | The Trustees Of Dartmouth College | Method and apparatus for depth-resolved fluorescence, chromophore, and oximetry imaging for lesion identification during surgery |
| EP2656133B1 (en) * | 2010-12-24 | 2018-04-11 | Huron Technologies International Inc. | Pathology slide scanner |
| US9625387B2 (en) * | 2014-09-16 | 2017-04-18 | Lawrence Livermore National Security, Llc | System and method for controlling depth of imaging in tissues using fluorescence microscopy under ultraviolet excitation following staining with fluorescing agents |
| JP6448996B2 (ja) * | 2014-11-25 | 2019-01-09 | オリンパス株式会社 | 顕微鏡システム |
| EP3586181B1 (en) * | 2017-06-13 | 2021-09-22 | Google LLC | Augmented reality microscope for pathology |
| JP7280107B2 (ja) * | 2019-05-10 | 2023-05-23 | 株式会社エビデント | 画像処理方法、プログラム、画像処理装置、画像処理システム、及び、顕微鏡システム |
-
2022
- 2022-05-25 CN CN202210579217.7A patent/CN115032780B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6650357B1 (en) * | 1997-04-09 | 2003-11-18 | Richardson Technologies, Inc. | Color translating UV microscope |
| CN102007369A (zh) * | 2008-02-18 | 2011-04-06 | 维森盖特有限公司 | 利用紫外线放射对活细胞进行3d成像 |
| CN101950076A (zh) * | 2009-07-10 | 2011-01-19 | 索尼公司 | 荧光图像获取装置、荧光图像获取方法和荧光图像获取程序 |
| CN207081882U (zh) * | 2017-06-30 | 2018-03-09 | 武汉道培胎盘干细胞生物技术有限公司 | 一种多用途生物显微镜 |
| CN108982500A (zh) * | 2018-07-03 | 2018-12-11 | 怀光智能科技（武汉）有限公司 | 一种宫颈液基细胞学智能辅助阅片方法和系统 |
| CN109781033A (zh) * | 2019-03-04 | 2019-05-21 | 杭州晶耐科光电技术有限公司 | 一种透明材质三维轮廓重构的深紫外结构光精密检测装置 |
| CN109934832A (zh) * | 2019-03-25 | 2019-06-25 | 北京理工大学 | 基于深度学习的肝脏肿瘤分割方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| 应用超高灵敏度荧光显微成像及共聚焦显微成像观察光敏剂细胞内分布的对比研究(英文);顾瑛, 戴维德, 刘凡光, 王雷, 李家泽, 李晓松, 曾晶;中国临床康复(第14期);全文 * |
| 新型多媒体免疫荧光专家系统的设计与临床应用前景;金桂秋, 郑万松, 孙天白, 崔大祥;医疗设备信息(第09期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115032780A (zh) | 2022-09-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10768402B2 (en) | Microscopy of a tissue sample using structured illumination | |
| JP5316161B2 (ja) | 観察装置 | |
| CN102743159A (zh) | 光学投影断层成像系统 | |
| US20220198689A1 (en) | High Resolution Alignment of 3D Imaging with 2D Imaging | |
| US20180139366A1 (en) | System and method for light sheet microscope and clearing for tracing | |
| CN115032780B (zh) | 组织病理图片的快速处理系统及其工作方法 | |
| JP2012022206A (ja) | 顕微鏡観察システム | |
| US20200074628A1 (en) | Image processing apparatus, imaging system, image processing method and computer readable recoding medium | |
| Masters et al. | Three-dimensional confocal microscopy and visualization of the in situ cornea | |
| KR20230040306A (ko) | 생세포 생물학적 샘플의 형광 이미지의 포착 방법 및 시스템 | |
| US11378515B2 (en) | Image processing device, imaging system, actuation method of image processing device, and computer-readable recording medium | |
| CN109307662A (zh) | 使用基于荧光的检测制备组织切片 | |
| JP5508140B2 (ja) | 眼底撮像装置及びその処理方法 | |
| US20230162410A1 (en) | Multi-spectral Auto-fluorescence based Stainless and Slide-free Virtual histology | |
| WO2023061068A1 (en) | Translational rapid ultraviolet-excited sectioning tomography assisted with deep learning | |
| Abeytunge et al. | Strip-mosaicking | |
| CN117030621A (zh) | 无标记激光组织学成像系统及成像方法 | |
| Yoshitake | Nonlinear Microscopy System and Protocol for Rapid Evaluation of Freshly Excised Human Tissue | |
| CN116385662A (zh) | 一种术中病变部位三维重建方法及系统 | |
| Bozic et al. | Real-Time Pathology Imaging of Tumor Margins using Deep Learning Optical Sectioning Microscopy | |
| CN117571707A (zh) | 一种基于二次谐波偏振成像的纤维取向超分辨解析方法 | |
| Fereidouni et al. | MUSE: Microscopy via UV excitation for rapid histology | |
| CN115236015A (zh) | 基于高光谱成像技术的穿刺样本病理分析系统及方法 | |
| CN115775224A (zh) | 评估光场显微镜测量数据的方法和用于光场显微术的设备 | |
| Wang et al. | Video-Rate Structured Illumination Microscopy for Rapid Point-of-Care Pathology Imaging |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |