CN114460020A - 一种基于数字微反射镜的高光谱扫描系统及方法 - Google Patents
一种基于数字微反射镜的高光谱扫描系统及方法 Download PDFInfo
- Publication number
- CN114460020A CN114460020A CN202210113495.3A CN202210113495A CN114460020A CN 114460020 A CN114460020 A CN 114460020A CN 202210113495 A CN202210113495 A CN 202210113495A CN 114460020 A CN114460020 A CN 114460020A
- Authority
- CN
- China
- Prior art keywords
- micro
- light
- digital micro
- reflector
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 230000003595 spectral effect Effects 0.000 claims abstract description 64
- 230000001678 irradiating effect Effects 0.000 claims abstract 2
- 238000005286 illumination Methods 0.000 claims description 19
- 238000001228 spectrum Methods 0.000 claims description 11
- 238000013519 translation Methods 0.000 claims description 10
- 230000009977 dual effect Effects 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 description 9
- 230000001276 controlling effect Effects 0.000 description 8
- 230000001575 pathological effect Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 239000011521 glass Substances 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000010827 pathological analysis Methods 0.000 description 4
- 230000004075 alteration Effects 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 239000006185 dispersion Substances 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 230000007170 pathology Effects 0.000 description 3
- 238000006467 substitution reaction Methods 0.000 description 3
- 206010006187 Breast cancer Diseases 0.000 description 2
- 208000026310 Breast neoplasm Diseases 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 2
- 238000000701 chemical imaging Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000002271 resection Methods 0.000 description 2
- 238000004611 spectroscopical analysis Methods 0.000 description 2
- 108010076504 Protein Sorting Signals Proteins 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- 230000003698 anagen phase Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 238000007489 histopathology method Methods 0.000 description 1
- QSHDDOUJBYECFT-UHFFFAOYSA-N mercury Chemical compound [Hg] QSHDDOUJBYECFT-UHFFFAOYSA-N 0.000 description 1
- 229910052753 mercury Inorganic materials 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/01—Arrangements or apparatus for facilitating the optical investigation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/01—Arrangements or apparatus for facilitating the optical investigation
- G01N2021/0106—General arrangement of respective parts
- G01N2021/0112—Apparatus in one mechanical, optical or electronic block
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
Landscapes
- Physics & Mathematics (AREA)
- Biochemistry (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Spectrometry And Color Measurement (AREA)
- Microscoopes, Condenser (AREA)
Abstract
本发明公开了一种基于数字微反射镜的高光谱扫描系统及方法，系统包括自动对焦模块、数字微反射模块、分光棱镜和第二相机，数字微反射模块包括数字微反射镜和控制器，数字微反射镜包括阵列排列的多个微反射单元，每个微反射单元可绕对角线偏转预设角度，控制器连接并用于控制数字微反射镜上的每一个微反射单元的偏转角度，以使每个微反射单元能够分别置于“开”或“关”状态；自动对焦模块用于对待扫描样本自动对焦并将自动对焦后的光路进行分光后聚焦照射到数字微反射镜上，数字微反射镜中置于“开”状态的各个所述微反射单元将光路反射至聚焦照射到分光棱镜，经过分光棱镜后再聚焦以被第二相机接收。本发明能够快速获取光谱数据。
Description
技术领域
本发明涉及显微成像技术领域，尤其涉及一种基于数字微反射镜的高光谱扫描系统及方法。
背景技术
长期以来，用显微镜检查病理切片的样本一直是疾病诊断的金标准。近年来，全球范围内对用于病理分析的全载玻片成像(WSI)的关注激增。WSI系统不使用显微镜手动检查标本，而是将整个组织载玻片转换成可在计算机屏幕上查看、管理和分析的数字图像。典型的WSI系统使用高数值孔径的物镜来获取样品的高分辨率图像，多次拍摄样本的不同区域的子图像，然后将这些图像对齐并缝合，形成整个幻灯片的大图像。在高密度固态检测器技术和经济实惠的万亿字节数据存储的快速发展的推动下，WSI目前正经历一个指数级增长的时期。在医疗领域，2017年达到了一个重要的里程碑，当时美国食品药品监督管理局(FDA)批准飞利浦的WSI系统用于美国的主要诊断用途(E.Abels and L.Pantanowitz,“Current state of the regulatory trajectory for whole slide imaging devicesin the USA,”J.Pathol.Inf.8,23(2017).)。人工智能在数字病理学领域的出现预示着该领域在未来几十年将进一步发展。
WSI系统的一个重要发展是将显微成像与光谱学相结合，以获得空间和光谱信息。由于发生病变的组织通常会有不同的光谱特征，光谱学可以用于标记组织切片的更好的组织病理学分析(F.Ghaznavi et al.,“Digital imaging in pathology:whole-slideimaging and beyond,”Annu.Rev.Pathol.8,331–359(2013).)。例如，在乳腺肿瘤切除手术中，在切除后肿瘤组织未完全清除的情况下复发率高达20％。目标是切除整个肿瘤，同时尽可能保留正常组织。使用高光谱成像技术，通过识别光学对比度的差异来识别乳腺肿瘤边缘，精确度要明显高于常规的RGB相机成像(F Vasefi,Najiminaini M,Ng E,etal.Transillumination hyperspectral imaging for histopathological examinationof excised tissue[J].Journal of Biomedical Optics,2011,16(8):086014.)。
虽然在病理诊断中使用全玻片高光谱数据能够有效提高诊断的准确度，但是目前临床医学上并没有大规模使用高光谱病理诊断，其中一个重要的原因就是病理切片的面积比较大，使用全玻片扫描技术无法一次性扫描整个样本区域，需要移动样本拍摄多个子图像，然后将子图像拼接成完整的大图像。由于样本的表面是凹凸不平的，因此拍摄不同的子图像的时候，需要重新对焦，而每次对焦都十分耗时。与此同时，完整扫描病理切片拼成的图像通常高达上亿像素，如果在此基础上通过逐行扫描的方式获取病理切片的50～100个高光谱数据，一个病理切片最终所产生的高光谱数据高达上百亿像素，整个高光谱数据的采集过程将变得十分缓慢。
以上背景技术内容的公开仅用于辅助理解本发明的构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。
发明内容
为解决上述技术问题，本发明提出一种基于数字微反射镜的高光谱扫描系统及方法，能够快速获取光谱数据。
为了达到上述目的，本发明采用以下技术方案：
本发明公开了一种基于数字微反射镜的高光谱扫描系统，包括自动对焦模块、数字微反射模块、分光棱镜和第二相机，
所述数字微反射模块包括数字微反射镜和控制器，所述数字微反射镜包括阵列排列的多个微反射单元，每个所述微反射单元可绕对角线偏转预设角度，所述控制器连接并用于控制所述数字微反射镜上的每一个所述微反射单元的偏转角度，以使每个所述微反射单元能够分别置于“开”或“关”状态；
所述自动对焦模块用于对待扫描样本自动对焦并将自动对焦后的光路进行分光后聚焦照射到所述数字微反射镜上，所述数字微反射镜中置于“开”状态的各个所述微反射单元将光路反射至聚焦照射到所述分光棱镜，经过所述分光棱镜后再聚焦以被所述第二相机接收。
优选地，所述自动对焦模块包括双LED照明光源、载物台、物镜、分光镜和第一相机，所述载物台用于放置所述待扫描样本，所述双LED照明光源从两个不同的方向发射照明光之后，依次经过所述待扫描样本、所述物镜后经所述分光镜进行分光成两束光路，其中一束光路聚焦后被所述第一相机接收，另一束光路聚焦后照射到所述数字微反射镜上。
优选地，所述自动对焦模块还包括第一管透镜，所述第一管透镜设置于所述分光镜和所述第一相机之间，且所述待扫描样本位于所述物镜的焦平面的位置处，所述第一相机位于所述第一管透镜的后焦面。
优选地，所述高光谱扫描系统还包括第二管透镜、第三管透镜和第四管透镜，其中所述第二管透镜设置于所述自动对焦模块和所述数字微反射镜之间，所述第三管透镜设置于所述数字微反射镜和所述分光棱镜之间，所述第四管透镜设置于所述分光棱镜和所述第二相机之间，所述数字微反射镜位于所述第二管透镜的后焦面，所述分光棱镜位于所述第三管透镜的后焦面处，且所述分光棱镜和所述第二相机分别位于所述第四管透镜的一倍焦距处。
优选地，所述分光棱镜采用4°～8°的楔形棱镜。
本发明还公开了一种基于数字微反射镜的高光谱扫描方法，采用上述的高光谱扫描系统对待扫描样本进行扫描，包括以下步骤：
A1：采用所述自动对焦模块对所述待扫描样本自动对焦；
A2：采用所述自动对焦模块将自动对焦后的光路进行分光后聚焦照射到所述数字微反射镜；
A3：所述控制器控制所述数字微反射镜的第i、i+P×1、i+P×2、……、i+P×(Q-1)列的微反射单元同时偏转至“开”状态，其他所述微反射单元同时偏转至“关”状态，使得第i、i+P×1、i+P×2、……、i+P×(Q-1)列的微反射单元反射的光聚焦照射到所述分光棱镜，经过所述分光棱镜后再聚焦进入到所述第二相机，再通过所述第二相机提取每相邻两列光之间的P个光谱通道，每相邻两列光之间的P个光谱通道包括位于两列光之间的P-1个光谱通道和相邻两列光之中的左边或右边的光谱通道，其中i取值为1～P中的任意一个自然数；
A4：重复步骤A3，直至i取值过1～P中的所有自然数，以使得所述数字微反射镜的所有所述微反射单元都被依次偏转至“开”状态，扫描完成一个子图像区域；
A5：处理采集到的该子图像区域的光谱数据，得到该子图像区域的P个光谱通道的二维光谱图像。
优选地，所述自动对焦模块包括双LED照明光源、载物台、物镜、分光镜和第一相机，所述载物台用于放置所述待扫描样本；
步骤A1具体包括：
A11：所述双LED照明光源从两个不同的方向发射不同波长的照明光之后，依次经过所述待扫描样本、所述物镜后经所述分光镜进行分光成两束光路，其中一束光路聚焦后被所述第一相机接收；
A12：根据所述第一相机拍摄到的两个波长的图像之间的平移距离，计算得到所述待扫描样本的实际离焦距离；
A13：根据所述待扫描样板的实际离焦距离，控制所述载物台将所述待扫描样本移动到准焦的位置。
优选地，步骤A2具体为：所述双LED照明光源从两个不同的方向同时发射白光之后，依次经过所述待扫描样本、所述物镜后经所述分光镜进行分光成两束光路，其中一束光路聚焦后照射到所述数字微反射镜。
优选地，所述高光谱扫描方法还包括：
A6：控制所述载物台将所述待扫描样本的下一个子图像区域移动至所述物镜的视场范围之内；
A7：重复步骤A1至A6，直至得到所述待扫描样本的所有子图像区域的二维光谱图像，再将各个子图像区域的二维光谱图像进行拼接，得到所述待扫描样本的二维光谱图像。
优选地，步骤A1之前还包括A0：根据预设的空间分辨率和光谱分辨率，确定所述数字微反射镜的条纹宽度和所述分光棱镜的旋转角度。
与现有技术相比，本发明的有益效果在于：本发明提供的基于数字微反射镜的高光谱扫描系统及方法，使用数字微反射镜一次性可获取多行光谱数据，速度极大提升，显著提高效率，可以广泛应用于医学诊断中病理切片的高光谱全玻片显微图像的获取。
在进一步的方案中，自动对焦模块基于双通道平移来自动对焦只需要拍摄一张图片，速度得到极大的提高。进一步地，本发明可以通过控制数字微反射镜的条纹宽度调整空间分辨率，同时还可以旋转分光棱镜调整光谱分辨率，使得该系统具有高度的灵活性。
附图说明
图1是本发明优选实施例公开的基于数字微反射镜的高光谱扫描系统的光路图；
图2a和图2b是利用红绿双通道平移距离计算样本离焦距离示意图；
图3是红绿双通道平移距离D与样本离焦距离d的关系图；
图4a和图4b是数字微反射镜的多线条扫描示意图；
图5是多项式拟合的方式得到各个光谱通道与波长关系图；
图6a和图6b是旋转棱镜调节光谱分辨率原理示意图；
图7是数字微反射镜一次翻转时经过分光棱镜分光后CCD相机被照亮的信息示意图。
具体实施方式
以下对本发明的实施方式作详细说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。
需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件，它可以是直接连接到另一个元件或间接连接至该另一个元件上。另外，连接既可以是用于固定作用也可以是用于电路/信号连通作用。
需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本发明实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
基于对现有技术的研究，发明人发现全玻片高光谱技术主要面临三个问题：1、每次拍摄子图像都需要重新对焦，对焦过程十分耗时；2、获取高光谱图像的数据量很大，获取高光谱数据的速度慢；3、针对不同的观察任务，需要灵活的调整图像的空间分辨率、光谱分辨率。
针对各个子图像对焦耗时的问题，常见的解决方法是使用聚焦地图测量法进行自动对焦，聚焦地图测量法会在各个子图像的不同深度拍摄一系列的图像，然后计算各个图像的对比度，对比度最高的图像视为准焦图像。这种方法虽然不需要手动对焦，但是每个子图像都需要拍摄至少5次，速度依然不够快。传统地获取高光谱的最常见的方式是“推扫式”扫描，即每次拍摄一条线，通常是通过一个狭缝掩膜得到一条线光，然后再通过棱镜或光栅等分光元件将这条线的光谱信息分开。线扫描方法从分散在二维检测器上的物体收集狭缝图像，其中空间信息沿一个轴显示，波长信息沿另一个轴显示。但由于“推扫式”的方法一次只能获取一条线的光谱信息，获取整个子图像的光谱信息就需要进行上千次扫描，速度比较慢。而且无法灵活的根据实际的拍摄任务调整图像的空间分辨率、光谱分辨率。综上所述，研究同时具有快速自动对焦功能和快速高光谱扫描功能，还能够灵活的调整系统的空间分辨率、光谱分辨率的全玻片成像技术对医学病理诊断具有重要意义。
如图1所示，本发明优选实施例提供了一种基于数字微反射镜的高光谱扫描系统，包括双LED照明光源1、三维电动载物台2、二十倍物镜3、分光镜4、管透镜5、管透镜6、CCD相机7、数字微反射镜8、管透镜9、分光棱镜10、管透镜11、CCD相机12。该系统的光路可以分为两个部分：自动对焦光路和分光扫描光路，其中自动对焦光路的作用是快速自动对焦，包括双LED照明光源1、三维电动载物台2、二十倍物镜3、分光镜4、管透镜6和CCD相机7；分光扫描光路的作用是快速扫描获取高光谱数据，包括双LED照明光源1、三维电动载物台2、二十倍物镜3、分光镜4、管透镜5、数字微反射镜8、管透镜9、分光棱镜10、管透镜11和CCD相机12。本实施例中采用管透镜将图像进行聚焦，与普通的透镜相比，管透镜通常是一系列光学透镜的组合透镜，能更好地消除像差、色差，提升成像质量。
由双LED照明光源1提供照明光源，在三维电动载物台2上面放置病理切片样本，该样本处于二十倍物镜3的焦平面；由二十倍物镜3发出的光在物镜的后焦面处被分光镜4分光，分光比例为50：50，CCD相机7和数字微反射镜8分别处于管透镜6、管透镜5的后焦面，数字微反射镜8将光路反射进入到管透镜9，在管透镜9的后焦面放置分光棱镜10，分光棱镜10和CCD相机12分别处于管透镜11的一倍焦距处。本实施例中，管透镜5、6、9、11的焦距均为200mm。
该系统利用自动对焦光路进行快速自动对焦，具体的快速自动对焦的过程为：控制双LED照明光源1的两个LED分别从不同的方向发射红色和绿色的照明光源。若样本处于准焦的位置，此时在CCD相机7上面会得到一幅清晰的准焦图像，该图像的红色通道R和绿色通道G会完全重合在一起，得到黄色的图像，如图2a所示；若样本处于离焦的位置，此时在CCD相机7上面拍摄到的红色通道R和绿色通道G会出现平移，如图2b所示。如图3所示，离焦距离d和R、G通道的平移距离D成正比，即d＝k·D，其中k为正比例因子，为一个固定值。样本离焦距离越远，R、G通道的平移距离D越大。所以，通过测出R、G通道的平移距离，就可以算出样本的离焦距离，然后通过控制三维电动位移台2即可把样本移至准焦位置。该系统的整个自动对焦的过程只需要拍摄1张图片，而传统的聚焦地图测量法需要拍摄至少5张图片，因此极大地提高了自动对焦的速度。
该系统快速获取图像的原理为：本实施例中的数字微反射镜器件(DigtialMicromirror Devices，DMD)是一种电子输入、光学输出的微机电系统，它由许多小型铝制反射镜面组成，每个镜面被称为一个像素；每个镜面能够绕每一个正方向小镜子(或者叫一个像素)的对角线偏转±17°，即DMD的微镜有三种状态+17°、0°、-17°，微反射单元的尺寸为5.4μm，微镜阵列的个数为1920×1080；每一个微反射镜单元有三个稳态：+17°(开)、0°(无信号)、-17°(关)。当给微反射镜一个信号“1”，其偏转+17度，被反射的光刚好沿光轴方向通过投影物镜成像在屏上(即能够成像于CCD相机12上)，形成一个亮的像素；当反射镜偏离平衡位置-17度(信号“0”)，反射的光束将不能通过投影透镜(即在CCD相机12上不能成像)，因此呈现一个暗的像素；控制信号二进制的“1”，“0”状态，分别对应微镜的“开”“关”两个状态。当给定的图形数据控制信号序列被写入CMOS电路时，通过DMD对入射光进行调制，图形就可以显示于像面上。传统的获取高光谱图像的过程是一次扫描一行，速度较慢，但在本发明具体实施例中，首先设置DMD的基本参数，在实际的扫描过程中，具体的DMD的微反射镜阵列的状态如图4a和图4b所示，每隔50列点亮1列条纹，DMD一共有1920列，因此，一次性可以扫描38个条纹，这样相比于传统的逐行扫描，速度提升了38倍。
该系统调整图像分辨率的原理为：本发明实施例的系统的空间分辨率δ的主要和条纹宽度和系统的整体的放大倍数有关；计算系统的整体放大倍数时可分为两个部分：第一部分是样本经过物镜到达DMD的放大倍数，这取决于物镜的放大倍数M1；第二部分是DMD到CCD相机阵列的放大倍数M2，这取决于DMD和CCD的相对位置以及变焦镜头的参数。而条纹宽度W主要由单个微反射镜的尺寸w和每个条纹包含的列数n决定。在本实施例中，CCD相机7的最小分辨率为5.4μm，数字微反射镜8的最小分辨率为w＝5.4μm，阵列像素为1080×1920。
条纹宽度W的计算公式为：
W＝w·n＝5.4nμm
系统的总体放大倍数M为：
M＝M1·M2＝20×1＝20
系统的空间分辨率δ为：
通过调整每个条纹包含的列数n即可成倍数的调整系统的空间分辨率，当n＝1时，系统的空间分辨率最高为0.27μm，此时的空间分辨率已经接近衍射极限。
本实施中，CCD相机7的最小分辨率和数字微反射镜8可以不同，但CCD相机12与数字微反射镜8的最小分辨率需要相同。其中，数字微反射镜8的最小分辨率由空间分辨率δ和系统的整体放大倍数M决定，最小分辨率应该小于等于δ·M。
该系统调整图像光谱率的原理为：为了计算该系统的光谱分辨率，需要标定几条特定的光谱的位置。在本实施例中，可以采用高压汞灯来进行谱线标定，该汞灯可一次性发射出多个波长的光，包括：405nm、436nm、546nm、579nm。根据这四个波长在CCD阵列上的相对位置，可以计算出系统的光谱分辨率以及各个通道所代表的光谱。根据这四个波长在CCD阵列上的相对位置，通过多项式拟合的方式得到各个光谱通道所代表波长，如图5所示，其中图中的横坐标表示：光谱通道的位置标号(对应于相机阵列的横向的探测单元的位置)，纵坐标表示：该光谱通道对应的波长。
在本系统中，可以通过旋转分光棱镜的角度θ来调整系统的光谱分辨率，旋转分光棱镜实际上是改变了系统的分光方向。本实施例中采用6°楔形棱镜。如图6a所示，当分光棱镜处于0°方向的时候，分光方向与条纹方向垂直，此时的光谱在CCD阵列上被最大程度分离，光谱分辨率最高。如图6b所示，当旋转分光棱镜，分光方向不再与条纹垂直的时候，各条光谱在CCD阵列上的排列逐渐变得更加紧密，此时光谱分辨率逐渐降低。如图6a所示的为棱镜处于0°方向，图6b所示的棱镜处于45°分光方向，当处于0°方向是，在650nm处的光谱分辨率为4.4nm，而当处于45°分光时，650nm的光谱分辨率为6.4nm，旋转棱镜之后光谱分辨率变低了。
本发明另一优选实施例公开了一种基于数字微反射镜的高光谱扫描方法，采用上述的高光谱扫描系统对待扫描样本进行扫描，包括以下步骤：
S1：根据实际拍摄任务的需求设定空间分辨率δ＝0.27μm和光谱分辨率δλ＝2.7nm，以此确定数字微反射镜8的条纹宽度W＝5.4μm和分光棱镜10的旋转角度θ＝0°；
S2：双LED照明光源1分别发出红光和绿光照亮样本；
S3：根据CCD相机7拍摄到的红色通道R图像和绿色通道G图像之间的平移距离D，算出样本的实际离焦距离d；
S4：根据样本的离焦距离d，控制三维电动位移台2将样本自动移动到准焦的位置；
S5：双LED照明光源1同时发出白光照亮样本；
S6：如图4a所示为第1次扫描控制数字微反射镜8的第1列、第1+50×1列、第1+50×2...第1+50×37列同时偏转，使得这38列的光被反射进入管透镜9，每一列的像素数量为1×1080，最终进入到CCD相机12阵列上面；
S7：如图4a和图4b所示，规定CCD相机12的列方向为Y轴方向，行方向为X轴方向，光谱色散的方向为X轴方向，这38列光的相邻两列之间可提取出50个光谱通道(该50个光谱通道包括相邻两列之间提取出的49个光谱通道，加上相邻两列之中的左边的那个光谱通道)，记录并存储这38列光的50个光谱通道。
CCD相机12是由一系列的微型探测单元阵列组成的，数字微反射镜8的1列微反射单元反射的光，经过分光棱镜10分光之后，在CCD相机12上面的50列微探测单元都被照亮，CCD相机12的微探测单元每一列对应一个光谱通道。如图7所示，数字微反射镜8一次偏转38列，经过棱镜分光之后，CCD相机12有38×50＝1900列被照亮，其中标记为λk的一共有38列，对应数字微反射镜8的那38列的就是第k个光谱通道。
S8：如图4b所示，为第i次扫描控制数字微反射镜8，让第i列、第i+50×1列、第i+50×2...第i+50×37列同时偏转。重复步骤S7，记录并保存光谱数据。其中i依次取i＝2,3,...,50，直到整个数字微反射镜8的镜片都发生过偏转，此时已经完整的扫描了一个子图像区域，该子图像区域的像素数目为1900×1080；
S9：处理采集到的该子图像区域的光谱数据，得到该子图像区域的50个光谱通道的二维光谱图像，一个子图像区域的50个光谱通道的数据量为：50×1900×1080；
S10：控制三维电动位移台2，将样本的下一个子图像区域移至20倍物镜3的视场范围内，重复步骤S2至S9，直到得到所有子图像区域的光谱图像；
S11：将各个光谱通道的将所有25个子图像分别拼接在一起，最终得到整个载玻片的50个光谱通道的大图像，拼接之后得到的高光谱图像的数据量为50×9500×5400。
本发明优选实施例针对临床医学病理诊断所需的全玻片高光谱显微成像的应用，公开了基于数字微反射镜的高光谱扫描系统及方法，具有以下优点：
1、传统的聚焦地图测量法自动对焦需要至少拍摄5张图片，该系统基于RG双通道平移来自动对焦只需要拍摄一张图片，速度得到极大的提高；
2、与传统的逐行扫描获取光谱数据的技术相比，该技术使用数字微反射镜DMD一次性可获取38行光谱数据，速度极大提升；
3、与传统的光谱采集系统的空间分辨率和光谱分辨率都是固定的，该技术可以通过控制DMD的条纹宽度调整空间分辨率，同时还可以旋转分光棱镜调整光谱分辨率，使得该系统具有高度的灵活性。
本发明的背景部分可以包含关于本发明的问题或环境的背景信息，而不是由其他人描述现有技术。因此，在背景技术部分中包含的内容并不是申请人对现有技术的承认。
以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。在本说明书的描述中，参考术语“一种实施例”、“一些实施例”、“优选实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。尽管已经详细描述了本发明的实施例及其优点，但应当理解，在不脱离由所附权利要求限定的范围的情况下，可以在本文中进行各种改变、替换和变更。
Claims (10)
1.一种基于数字微反射镜的高光谱扫描系统，其特征在于，包括自动对焦模块、数字微反射模块、分光棱镜和第二相机，
所述数字微反射模块包括数字微反射镜和控制器，所述数字微反射镜包括阵列排列的多个微反射单元，每个所述微反射单元可绕对角线偏转预设角度，所述控制器连接并用于控制所述数字微反射镜上的每一个所述微反射单元的偏转角度，以使每个所述微反射单元能够分别置于“开”或“关”状态；
所述自动对焦模块用于对待扫描样本自动对焦并将自动对焦后的光路进行分光后聚焦照射到所述数字微反射镜上，所述数字微反射镜中置于“开”状态的各个所述微反射单元将光路反射至聚焦照射到所述分光棱镜，经过所述分光棱镜后再聚焦以被所述第二相机接收。
2.根据权利要求1所述的高光谱扫描系统，其特征在于，所述自动对焦模块包括双LED照明光源、载物台、物镜、分光镜和第一相机，所述载物台用于放置所述待扫描样本，所述双LED照明光源从两个不同的方向发射照明光之后，依次经过所述待扫描样本、所述物镜后经所述分光镜进行分光成两束光路，其中一束光路聚焦后被所述第一相机接收，另一束光路聚焦后照射到所述数字微反射镜上。
3.根据权利要求2所述的高光谱扫描系统，其特征在于，所述自动对焦模块还包括第一管透镜，所述第一管透镜设置于所述分光镜和所述第一相机之间，且所述待扫描样本位于所述物镜的焦平面的位置处，所述第一相机位于所述第一管透镜的后焦面。
4.根据权利要求1所述的高光谱扫描系统，其特征在于，还包括第二管透镜、第三管透镜和第四管透镜，其中所述第二管透镜设置于所述自动对焦模块和所述数字微反射镜之间，所述第三管透镜设置于所述数字微反射镜和所述分光棱镜之间，所述第四管透镜设置于所述分光棱镜和所述第二相机之间，所述数字微反射镜位于所述第二管透镜的后焦面，所述分光棱镜位于所述第三管透镜的后焦面处，且所述分光棱镜和所述第二相机分别位于所述第四管透镜的一倍焦距处。
5.根据权利要求1所述的高光谱扫描系统，其特征在于，所述分光棱镜采用4°～8°的楔形棱镜。
6.一种基于数字微反射镜的高光谱扫描方法，其特征在于，采用权利要求1至5任一项所述的高光谱扫描系统对待扫描样本进行扫描，包括以下步骤：
A1：采用所述自动对焦模块对所述待扫描样本自动对焦；
A2：采用所述自动对焦模块将自动对焦后的光路进行分光后聚焦照射到所述数字微反射镜；
A3：所述控制器控制所述数字微反射镜的第i、i+P×1、i+P×2、……、i+P×(Q-1)列的微反射单元同时偏转至“开”状态，其他所述微反射单元同时偏转至“关”状态，使得第i、i+P×1、i+P×2、……、i+P×(Q-1)列的微反射单元反射的光聚焦照射到所述分光棱镜，经过所述分光棱镜后再聚焦进入到所述第二相机，再通过所述第二相机提取每相邻两列光之间的P个光谱通道，每相邻两列光之间的P个光谱通道包括位于两列光之间的P-1个光谱通道和相邻两列光之中的左边或右边的光谱通道，其中i取值为1～P中的任意一个自然数；
A4：重复步骤A3，直至i取值过1～P中的所有自然数，以使得所述数字微反射镜的所有所述微反射单元都被依次偏转至“开”状态，扫描完成一个子图像区域；
A5：处理采集到的该子图像区域的光谱数据，得到该子图像区域的P个光谱通道的二维光谱图像。
7.根据权利要求6所述的高光谱扫描方法，其特征在于，所述自动对焦模块包括双LED照明光源、载物台、物镜、分光镜和第一相机，所述载物台用于放置所述待扫描样本；
步骤A1具体包括：
A11：所述双LED照明光源从两个不同的方向发射不同波长的照明光之后，依次经过所述待扫描样本、所述物镜后经所述分光镜进行分光成两束光路，其中一束光路聚焦后被所述第一相机接收；
A12：根据所述第一相机拍摄到的两个波长的图像之间的平移距离，计算得到所述待扫描样本的实际离焦距离；
A13：根据所述待扫描样板的实际离焦距离，控制所述载物台将所述待扫描样本移动到准焦的位置。
8.根据权利要求7所述的高光谱扫描方法，其特征在于，步骤A2具体为：所述双LED照明光源从两个不同的方向同时发射白光之后，依次经过所述待扫描样本、所述物镜后经所述分光镜进行分光成两束光路，其中一束光路聚焦后照射到所述数字微反射镜。
9.根据权利要求7所述的高光谱扫描方法，其特征在于，还包括：
A6：控制所述载物台将所述待扫描样本的下一个子图像区域移动至所述物镜的视场范围之内；
A7：重复步骤A1至A6，直至得到所述待扫描样本的所有子图像区域的二维光谱图像，再将各个子图像区域的二维光谱图像进行拼接，得到所述待扫描样本的二维光谱图像。
10.根据权利要求6至9任一项所述的高光谱扫描方法，其特征在于，步骤A1之前还包括A0：根据预设的空间分辨率和光谱分辨率，确定所述数字微反射镜的条纹宽度和所述分光棱镜的旋转角度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210113495.3A CN114460020B (zh) | 2022-01-30 | 2022-01-30 | 一种基于数字微反射镜的高光谱扫描系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210113495.3A CN114460020B (zh) | 2022-01-30 | 2022-01-30 | 一种基于数字微反射镜的高光谱扫描系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114460020A true CN114460020A (zh) | 2022-05-10 |
| CN114460020B CN114460020B (zh) | 2023-11-17 |
Family
ID=81410724
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210113495.3A Active CN114460020B (zh) | 2022-01-30 | 2022-01-30 | 一种基于数字微反射镜的高光谱扫描系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114460020B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115150519A (zh) * | 2022-09-05 | 2022-10-04 | 武汉精立电子技术有限公司 | 一种基于线扫描的自动聚焦系统、方法及应用 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040113059A1 (en) * | 2002-12-16 | 2004-06-17 | Olympus America Inc. | Confocal microscope |
| US20140267881A1 (en) * | 2013-03-15 | 2014-09-18 | Xerox Corporation | Single-pixel camera architecture with simultaneous multi-band acquisition |
| CN104359555A (zh) * | 2014-10-16 | 2015-02-18 | 中国科学院上海技术物理研究所 | 一种基于数字微反射镜的便携式高光谱重构器 |
| WO2015044035A1 (de) * | 2013-09-30 | 2015-04-02 | Carl Zeiss Microscopy Gmbh | Konfokales lichtmikroskop und verfahren zum untersuchen einer probe mit einem konfokalen lichtmikroskop |
| WO2015077926A1 (zh) * | 2013-11-27 | 2015-06-04 | 苏州大学 | 连续可调结构光照明的超分辨显微成像方法与系统 |
| CN105628203A (zh) * | 2016-02-01 | 2016-06-01 | 清华大学 | 基于dmd和单点探测器的光谱获取方法、装置及系统 |
| KR20170106251A (ko) * | 2017-07-20 | 2017-09-20 | 이영종 | 하이퍼스펙트럴 이미지 센서와 이를 이용한 3차원 스캐너 |
| CN107655569A (zh) * | 2017-08-02 | 2018-02-02 | 合肥美亚光电技术股份有限公司 | 高光谱相机、高光谱成像装置及控制方法 |
| CN110132412A (zh) * | 2019-04-23 | 2019-08-16 | 西北工业大学 | 基于数字微镜器件的双波段光谱成像系统及实现方法 |
| CN111220615A (zh) * | 2019-10-29 | 2020-06-02 | 怀光智能科技（武汉）有限公司 | 一种倾斜式三维扫描显微成像系统及方法 |
| CN112098337A (zh) * | 2020-08-31 | 2020-12-18 | 清华大学深圳国际研究生院 | 一种高分辨率光谱图像快速获取装置及方法 |
| CN112367447A (zh) * | 2020-11-04 | 2021-02-12 | 清华大学深圳国际研究生院 | 编码光照实时对焦扫描成像装置和方法 |
| CN113267252A (zh) * | 2021-05-17 | 2021-08-17 | 浙江大学 | 一种凝视型共聚焦显微形貌光谱四维探测系统 |
-
2022
- 2022-01-30 CN CN202210113495.3A patent/CN114460020B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040113059A1 (en) * | 2002-12-16 | 2004-06-17 | Olympus America Inc. | Confocal microscope |
| US20140267881A1 (en) * | 2013-03-15 | 2014-09-18 | Xerox Corporation | Single-pixel camera architecture with simultaneous multi-band acquisition |
| WO2015044035A1 (de) * | 2013-09-30 | 2015-04-02 | Carl Zeiss Microscopy Gmbh | Konfokales lichtmikroskop und verfahren zum untersuchen einer probe mit einem konfokalen lichtmikroskop |
| CN105814402A (zh) * | 2013-11-27 | 2016-07-27 | 苏州大学 | 连续可调结构光照明的超分辨显微成像方法与系统 |
| WO2015077926A1 (zh) * | 2013-11-27 | 2015-06-04 | 苏州大学 | 连续可调结构光照明的超分辨显微成像方法与系统 |
| CN104359555A (zh) * | 2014-10-16 | 2015-02-18 | 中国科学院上海技术物理研究所 | 一种基于数字微反射镜的便携式高光谱重构器 |
| CN105628203A (zh) * | 2016-02-01 | 2016-06-01 | 清华大学 | 基于dmd和单点探测器的光谱获取方法、装置及系统 |
| KR20170106251A (ko) * | 2017-07-20 | 2017-09-20 | 이영종 | 하이퍼스펙트럴 이미지 센서와 이를 이용한 3차원 스캐너 |
| CN107655569A (zh) * | 2017-08-02 | 2018-02-02 | 合肥美亚光电技术股份有限公司 | 高光谱相机、高光谱成像装置及控制方法 |
| CN110132412A (zh) * | 2019-04-23 | 2019-08-16 | 西北工业大学 | 基于数字微镜器件的双波段光谱成像系统及实现方法 |
| CN111220615A (zh) * | 2019-10-29 | 2020-06-02 | 怀光智能科技（武汉）有限公司 | 一种倾斜式三维扫描显微成像系统及方法 |
| CN112098337A (zh) * | 2020-08-31 | 2020-12-18 | 清华大学深圳国际研究生院 | 一种高分辨率光谱图像快速获取装置及方法 |
| CN112367447A (zh) * | 2020-11-04 | 2021-02-12 | 清华大学深圳国际研究生院 | 编码光照实时对焦扫描成像装置和方法 |
| CN113267252A (zh) * | 2021-05-17 | 2021-08-17 | 浙江大学 | 一种凝视型共聚焦显微形貌光谱四维探测系统 |
Non-Patent Citations (1)
| Title |
|---|
| DAN DAN ET AL.: "DMD-based LED-illumination Super-resolution and optical sectioning microscopy", 《SCIENTIFIC REPORTS》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115150519A (zh) * | 2022-09-05 | 2022-10-04 | 武汉精立电子技术有限公司 | 一种基于线扫描的自动聚焦系统、方法及应用 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114460020B (zh) | 2023-11-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6038067A (en) | Scanning computed confocal imager | |
| JP7424286B2 (ja) | 蛍光観察装置及び蛍光観察方法 | |
| CN111183385B (zh) | 实时自动聚焦扫描 | |
| JP5806504B2 (ja) | 撮像装置およびこれを備える顕微鏡システム | |
| CN115061271B (zh) | 实时自动对焦聚焦算法 | |
| EP2715321A1 (en) | 3d pathology slide scanner | |
| JP6940696B2 (ja) | 二次元および三次元の固定式ｚ走査 | |
| US20100277793A1 (en) | Optical System, Use of an Optical System and Object Viewing Method Using an Optical System | |
| KR20190062439A (ko) | 오브젝트 조명 및 이미징을 위한 디바이스, 시스템 및 방법 | |
| CN114460020B (zh) | 一种基于数字微反射镜的高光谱扫描系统及方法 | |
| JP6952891B2 (ja) | ２×３および１×３スライド用のカルーセル | |
| US11842555B2 (en) | Signal acquisition apparatus, signal acquisition system, and signal acquisition method | |
| JP2008051772A (ja) | 蛍光画像取得装置、及び蛍光画像取得方法 | |
| CN114730067A (zh) | 显微镜装置、分光器和显微镜系统 | |
| WO2022080189A1 (ja) | 生体試料検出システム、顕微鏡システム、蛍光顕微鏡システム、生体試料検出方法及びプログラム | |
| CN111982865A (zh) | 一种全玻片荧光超光谱快速获取方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |