CN112098337A - 一种高分辨率光谱图像快速获取装置及方法 - Google Patents

一种高分辨率光谱图像快速获取装置及方法 Download PDF

Info

Publication number
CN112098337A
CN112098337A CN202010896214.7A CN202010896214A CN112098337A CN 112098337 A CN112098337 A CN 112098337A CN 202010896214 A CN202010896214 A CN 202010896214A CN 112098337 A CN112098337 A CN 112098337A
Authority
CN
China
Prior art keywords
sample
detected
resolution
resolution spectral
spectral image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010896214.7A
Other languages
English (en)
Other versions
CN112098337B (zh
Inventor
张永兵
辛开发
季向阳
王好谦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen International Graduate School of Tsinghua University
Original Assignee
Shenzhen International Graduate School of Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen International Graduate School of Tsinghua University filed Critical Shenzhen International Graduate School of Tsinghua University
Priority to CN202010896214.7A priority Critical patent/CN112098337B/zh
Publication of CN112098337A publication Critical patent/CN112098337A/zh
Priority to PCT/CN2021/105716 priority patent/WO2022042084A1/zh
Priority to US17/663,755 priority patent/US12025497B2/en
Application granted granted Critical
Publication of CN112098337B publication Critical patent/CN112098337B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/0208—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using focussing or collimating elements, e.g. lenses or mirrors; performing aberration correction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/021—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using plane or convex mirrors, parallel phase plates, or particular reflectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/0216—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using light concentrators or collectors or condensers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/027—Control of working procedures of a spectrometer; Failure detection; Bandwidth calculation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0294—Multi-channel spectroscopy
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/12—Generating the spectrum; Monochromators
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/12—Generating the spectrum; Monochromators
    • G01J3/14—Generating the spectrum; Monochromators using refracting elements, e.g. prisms
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/12—Generating the spectrum; Monochromators
    • G01J3/26—Generating the spectrum; Monochromators using multiple reflection, e.g. Fabry-Perot interferometer, variable interference filters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/12—Generating the spectrum; Monochromators
    • G01J2003/1204—Grating and filter
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G01J2003/2826—Multispectral imaging, e.g. filter imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J2003/283—Investigating the spectrum computer-interfaced
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/44—Raman spectrometry; Scattering spectrometry ; Fluorescence spectrometry
    • G01J3/4406—Fluorescence spectrometry
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N2021/178—Methods for obtaining spatial resolution of the property being measured
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N2021/6417—Spectrofluorimetric devices

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Chemical & Material Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

本发明公开了一种一种高分辨率光谱图像快速获取装置及方法，该装置包括照明光源、物镜、分光镜、单次拍摄光谱图像获取组件、基准图像获取组件，其中：所述物镜用于对准待测样本，所述照明光源用于将照明光投射到所述待测样本上以使得所述待测样本经过所述物镜放大，放大后的光经过所述分光镜以分为两部分光，其中一部分光进入所述单次拍摄光谱图像获取组件以获取所述待测样本的低分辨率光谱立方体，另一部分光进入所述基准图像获取组件以获取高分辨率光谱立方体。本发明能够快速获取高分辨率光谱图像，从而加快将光谱图像用于医疗诊断的进程。

Description

一种高分辨率光谱图像快速获取装置及方法
技术领域
本发明涉及图像技术领域，尤其涉及一种高分辨率光谱图像快速获取装置及方法。
背景技术
高光谱图像具有两个空间维度和一个光谱维度，可以提供有关组织生理，形态和组成信息，因此被广泛应用于疾病诊断和图像引导手术中。疾病状态的细胞具有与正常状态不同结构或代谢速率，从而有不同的荧光发射光谱，因此荧光高光谱图像具有在疾病早期进行疾病诊断的能力。
目前在病理成像领域，光谱图像以及荧光光谱图像获取大多采用点扫描分光的方式(pushbroom)和切换滤光片方式(staring)来获取，但是这两种方法都会造成巨大的时间开支，并且切换滤光片需要不断更换滤波片，还会在图像获取过程中不可避免地引起机械振动，降低获取图像的质量；因此现有的光谱图像获取方法存在的这些缺陷严重阻碍了光谱图像进行疾病诊断以利用于临床医学的发展。
以上背景技术内容的公开仅用于辅助理解本发明的构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。
发明内容
为解决上述技术问题，本发明提出一种高分辨率光谱图像快速获取装置及方法，能够快速获取高分辨率光谱图像，从而加快将光谱图像用于医疗诊断的进程。
为了达到上述目的，本发明采用以下技术方案：
本发明公开了一种高分辨率光谱图像快速获取装置，包括照明光源、物镜、分光镜、单次拍摄光谱图像获取组件、基准图像获取组件，其中：所述物镜用于对准待测样本，所述照明光源用于将照明光投射到所述待测样本上以使得所述待测样本经过所述物镜放大，放大后的光经过所述分光镜以分为两部分光，其中一部分光进入所述单次拍摄光谱图像获取组件以获取所述待测样本的低分辨率光谱立方体，另一部分光进入所述基准图像获取组件以获取所述待测样本的高分辨率光谱立方体。
优选地，所述单次拍摄光谱图像获取组件包括反射镜阵列、透镜、棱镜和第一相机，所述反射镜阵列包括多个呈不同角度排列的反射镜，所述基准图像获取组件包括液晶可调谐滤波器和第二相机，其中进入所述单次拍摄光谱图像获取组件的一部分光依次经过所述反射镜阵列、所述透镜、所述棱镜和所述第一相机以获取所述待测样本的低分辨率光谱立方体，进入所述基准图像获取组件的另一部分光依次经过所述液晶可调谐滤波器和所述第二相机以获取所述待测样本的高分辨率光谱立方体。
优选地，所述反射镜阵列包括多个长条状的反射镜，其中多个长条状的所述反射镜沿着宽度方向阵列排列，且多个长条状的所述反射镜分别绕宽度方向的轴旋转以呈不同角度排列。
优选地，阵列排列的各个长条状的所述反射镜的宽度方向的中轴线相重合，且各个长条状的所述反射镜分别绕该重合的中轴线旋转以呈不同角度排列。
本发明还公开了一种高分辨率光谱图像快速获取方法，采用上述的高分辨率光谱图像快速获取装置，包括以下步骤：
S1：将待测样本置于所述物镜能够对准的位置，所述照明光源将照明光投射到所述待测样本上；
S2：所述第一相机根据所述反射镜阵列中的多个呈不同角度排列的反射镜获取得到多张不同空间位置相同波长段的图像，对该多张图像进行拼接得到当前波长段下待测样本的低分辨率光谱图像；
S3：调节所述液晶可调谐滤波器以允许当前照明光的波长段的光通过，所述第二相机获取得到当前波长段下待测样本的高分辨率光谱图像；
S4：多次调节所述照明光源的照明光的波长段，与此同时，重复多次步骤S2以得到多张不同波长段下待测样本的低分辨率光谱图像，重复多次步骤S3以得到多张不同波长段下待测样本的高分辨率光谱图像；
S5：将多张不同波长段下待测样本的低分辨率光谱图像进行堆叠得到所述待测样本的低分辨率光谱立方体，将多张不同波长段下待测样本的高分辨率光谱图像进行堆叠得到所述待测样本的高分辨率光谱立方体；
S6：将所述低分辨率光谱立方体作为输入，所述高分辨率光谱立方体作为输出训练神经网络，训练完成后得到能够将所述低分辨率光谱立方体转换为高分辨率光谱立方体的神经网络；
S7：采用所述第一相机获取的所述待测样本的低分辨率光谱图像结合训练完成后的所述神经网络，可快速获取高分辨率光谱图像。
优选地，步骤S1中所述照明光源将照明光投射到所述待测样本上之前还包括采用双通道互信息的方式对所述待测样本进行定焦。
优选地，采用双通道互信息的方式对所述待测样本进行定焦具体包括：以红绿两个颜色的相干光从不同方向照射待测样本，查看所述第一相机或第二相机获取的图像的红绿通道之间是否存在位移，如果存在位移，根据所述位移来调整所述待测样本的位置以使得所述待测样本处于准焦位置，如果不存在位移，则所述待测样本已处于准焦位置，不作调整。
优选地，所述液晶可调谐滤波器能够在420～730nm的波长范围内以12nm的半高宽度、0.1nm的调节精度进行滤波。
优选地，所述待测样本为病理切片或荧光样本。
与现有技术相比，本发明的有益效果在于：本发明提出的高分辨率光谱图像快速获取装置可以同时获取同一待测样本的低分辨率光谱立方体和高分辨率光谱立方体，以作为神经网络的训练集，进一步结合神经网络深度学习进行图像超分辨的能力，得到训练好的神经网络后，从而可以以极短的时间开支将通过单次拍摄光谱图像获取组件拍摄得到低分辨率光谱图像转换为高分辨率图像，既可以实现其他方法无法达到的光谱图像获取速度，又可以保证获取的图像具有高空间分辨率，从而进一步加快将光谱图像用于医疗诊断的进程。
附图说明
图1是本发明优选实施例的高分辨率光谱图像快速获取装置的光路示意图；
图2是本发明优选实施例的高分辨率光谱图像快速获取方法的流程示意图；
图3是神经网络超分辨过程的示意图。
具体实施方式
为了使本发明实施例所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件，它可以是直接连接到另一个元件或间接连接至该另一个元件上。另外，连接既可以是用于固定作用也可以是用于电路连通作用。
需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本发明实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
如图1所示，本发明优选实施例的高分辨率光谱图像快速获取装置包括照明光源(图中未示)、物镜10、分光镜20、单次拍摄光谱图像获取组件和基准图像获取组件，其中单次拍摄光谱图像获取组件包括反射镜阵列31、透镜32、棱镜33和第一相机34，反射镜阵列31包括多个呈不同角度排列的反射镜，基准图像获取组件包括液晶可调谐滤波器41和第二相机42，其中，物镜10用于对准待测样本，照明光源用于将照明光投射到待测样本50上以使得待测样本50经过物镜10放大，放大后的光经过分光镜20以分为两部分光，其中一部分光依次经过反射镜阵列31、透镜32、棱镜33和第一相机34以获取待测样本的低分辨率光谱立方体，另一部分光依次经过液晶可调谐滤波器41和第二相机42，获取窄波长段的光谱图像，通过调节液晶可调谐滤波器41可以获取不同波长段的光谱图像并组合成为高分辨率光谱立方体。
具体地，反射镜阵列31包括多个长条状的反射镜，多个长条状的反射镜沿着宽度方向阵列排列，且多个长条状的反射镜分别绕宽度方向的轴旋转至呈不同角度并固定进行排列；进一步地，阵列排列的各个长条状的反射镜的宽度方向的中轴线相重合，且各个长条状的反射镜分别绕该重合的中轴线旋转以呈不同角度并固定进行排列。
如图2所示，本发明优选实施例的高分辨率光谱图像快速获取方法，采用上述高分辨率光谱图像快速获取装置，包括以下步骤：
S1：将待测样本置于所述物镜能够对准的位置，所述照明光源将照明光投射到所述待测样本上；
具体地，移动载物台使得物镜能够对准待测样本的某一空间位置，利用双通道互信息的方式进行定焦，之后照明光源将照明光投射到待测样本上照亮当前视场区域的待测样本；
其中，利用双通道互信息的方式进行定焦包括：以红绿两个颜色的相干光从不同方向照射待测样本(例如病理切片样本)，如果待测样本的图像处于准焦位置，那么第一相机或第二相机获取的图像红绿通道之间不会存在位移，如果待测样本处于离焦位置，第一相机或第二相机获取的图像红绿通道之间存在位移，并且该位移与离焦量呈线性关系，通过计算红绿通道之间的位移可以获取离焦量信息并在当前视场调整至准焦状态。该定焦方式的速度远快于传统方法，可以缩短整个载玻片图像获取时间。
S2：第一相机根据反射镜阵列中的多个呈不同角度排列的反射镜获取得到多张不同空间位置相同波长段的图像，对该多张图像进行拼接得到当前波长段下待测样本的低分辨率光谱图像；
单次拍摄光谱图像获取组件中的第一相机只需要一次拍摄就可以获取待测样本的低分辨率光谱图像；其中，反射镜阵列将当前视场图像切割成长条状投射向不同角度，投射向不同方向的光经透镜调整，棱镜分光，之后光线到达相机感光面，也即反射镜阵列将图像进行了分割，当前视场图像不同空间位置色散后的图像铺满相机感光面，将样本不同空间位置相同波长段的图像拼接在一起可以得到当前视场的待测样本在某一波长段的低分辨率光谱图像。
S3：调节液晶可调谐滤波器以允许当前照明光的波长段的光通过，并同步驱动第二相机，获取得到当前波长段下待测样本的高分辨率光谱图像。
其中，通过调节液晶可调谐滤波器(LCTF)，可以只允许某一狭窄波长段的光通过该器件，第二相机可以得到该波长段的图像。
S4：多次调节照明光源的照明光的波长段，与此同时，重复多次步骤S2以得到多张不同波长段下待测样本的低分辨率光谱图像，重复多次步骤S3以得到多张不同波长段下待测样本的高分辨率光谱图像。
其中，每调节一次照明光源的照明光的波长段，相应调节液晶可调谐滤波器(LCTF)，使得对应的窄波长段的光线通过，可以获取相应的波长段的待测样本的高分辨率光谱图像。液晶可调谐滤波器(LCTF)可以在420～730nm波长范围内以12nm的半高宽度、0.1nm的调节精度进行滤波，通过不断调节液晶可调谐滤波器(LCTF)可以获取待测样本的高光谱分辨率光谱图像。
S5：将多张不同波长段下待测样本的低分辨率光谱图像进行堆叠得到待测样本的低分辨率光谱立方体，将多张不同波长段下待测样本的高分辨率光谱图像进行堆叠得到待测样本的高分辨率光谱立方体；
S6：将低分辨率光谱立方体作为输入，高分辨率光谱立方体作为输出训练神经网络，训练完成后得到能够将低分辨率光谱立方体转换为高分辨率光谱立方体的神经网络，如图3所示，是通过神经网络将低分辨率光谱图像转换为高分辨率光谱图像的方法示意图，通过神经网络转换后，光谱图像立方体的光谱维度上的信息更丰富；
S7：采用第一相机获取的待测样本的低分辨率光谱图像结合训练完成后的神经网络，可快速获取高分辨率光谱图像，从而实现高分辨率光谱图像的快速获取。
本发明优选实施例的高分辨率光谱图像快速获取方法中，在完成神经网络训练之前，需要同时使用图1所示的两个相机分别获取低分辨率光谱立方体和高分辨率光谱立方体；并通过获取的低分辨率光谱立方体和高分辨率光谱立方体来对神经网络进行训练，完成神经网络训练之后，只需要启用单次拍摄光谱图像获取组件，通过第一相机获取低分辨率光谱立方体，结合训练好的神经网络提高空间分辨率，得到高分辨率光谱图像，如图3所示。
在本实施例中，第一相机为单次拍摄光谱图像获取相机，采用该单次拍摄光谱图像获取相机只需要一次拍摄便可以获取待测样本的低分辨率光谱图像，其中通过反射镜阵列将待测样本不同空间位置的图像分割为长条状投射向不同方向，不同方向的光经过透镜调整后投射到棱镜上进行分光，棱镜分光后的图像全部狙击到相机传感器不同位置，其中相机传感器的像素数量有限，而相机传感器的像素数量等于光谱立方体的体素数量，所以此时获得光谱立方体的空间分辨率较低。第二相机为基准图像获取相机，采用基准图像获取相机获取的多张图像可以组合成一个高空间分辨率、高光谱分辨率的光谱立方体，其中由于液晶可调谐滤波器(LCTF)的调节与基准图像获取相机的拍摄协调进行，保证了该相机每侧获取的都是高空间分辨率，对应不同波长段的样本图像，并且由于LCTF的发展，LCTF的可调整光谱分辨率已经达到非常高的水平，并且相对于传统的切换滤波片的设计，该元件切换速度快、不会产生机械振动；将拍摄的多张图像叠放在一起，将会得到一个空间分辨率非常高的光谱立方体。由于上述得到的低分辨率光谱立方体以及高分辨率光谱立方体是针对同一待测样本在相同的光路条件下获得的，因此可以作为神经网络的训练集，对神经网络进行训练，训练得到可以通过输入低分辨率光谱立方体即可得到高分辨率光谱立方体的神经网络，从而实现在实际使用过程中只需借助单次拍摄光谱图像获取相机就能够快速获得高分辨率光谱图像，加快将光谱图像用于医疗诊断的进程，具有实际应用意义。
其中，本发明优选实施例的高分辨率光谱图像快速获取装置及方法中的待测样本即可是病理切片也可以是荧光样本。
本发明优选实施例的高分辨率光谱图像快速获取装置及方法在光谱图像获取过程中充分利用深度学习进行图像超分辨的能力，提出一种以极快的速度获取整个载玻片高分辨率光谱图像的方式，将单次拍摄拍摄光谱图像获取组件获取的低分辨率光谱图像通过神经网络转换为高分辨率光谱图像，实现高分辨率光谱图像的快速获取。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims (9)

1.一种高分辨率光谱图像快速获取装置，其特征在于，包括照明光源、物镜、分光镜、单次拍摄光谱图像获取组件、基准图像获取组件，其中：所述物镜用于对准待测样本，所述照明光源用于将照明光投射到所述待测样本上以使得所述待测样本经过所述物镜放大，放大后的光经过所述分光镜以分为两部分光，其中一部分光进入所述单次拍摄光谱图像获取组件以获取所述待测样本的低分辨率光谱立方体，另一部分光进入所述基准图像获取组件以获取所述待测样本的高分辨率光谱立方体。
2.根据权利要求1所述的高分辨率光谱图像快速获取装置，其特征在于，所述单次拍摄光谱图像获取组件包括反射镜阵列、透镜、棱镜和第一相机，所述反射镜阵列包括多个呈不同角度排列的反射镜，所述基准图像获取组件包括液晶可调谐滤波器和第二相机，其中进入所述单次拍摄光谱图像获取组件的一部分光依次经过所述反射镜阵列、所述透镜、所述棱镜和所述第一相机以获取所述待测样本的低分辨率光谱立方体，进入所述基准图像获取组件的另一部分光依次经过所述液晶可调谐滤波器和所述第二相机以获取所述待测样本的高分辨率光谱立方体。
3.根据权利要求2所述的高分辨率光谱图像快速获取装置，其特征在于，所述反射镜阵列包括多个长条状的反射镜，其中多个长条状的所述反射镜沿着宽度方向阵列排列，且多个长条状的所述反射镜分别绕宽度方向的轴旋转以呈不同角度排列。
4.根据权利要求3所述的高分辨率光谱图像快速获取装置，其特征在于，阵列排列的各个长条状的所述反射镜的宽度方向的中轴线相重合，且各个长条状的所述反射镜分别绕该重合的中轴线旋转以呈不同角度排列。
5.一种高分辨率光谱图像快速获取方法，其特征在于，采用权利要求2至4任一项所述的高分辨率光谱图像快速获取装置，包括以下步骤：
S1：将待测样本置于所述物镜能够对准的位置，所述照明光源将照明光投射到所述待测样本上；
S2：所述第一相机根据所述反射镜阵列中的多个呈不同角度排列的反射镜获取得到多张不同空间位置相同波长段的图像，对该多张图像进行拼接得到当前波长段下待测样本的低分辨率光谱图像；
S3：调节所述液晶可调谐滤波器以允许当前照明光的波长段的光通过，所述第二相机获取得到当前波长段下待测样本的高分辨率光谱图像；
S4：多次调节所述照明光源的照明光的波长段，与此同时，重复多次步骤S2以得到多张不同波长段下待测样本的低分辨率光谱图像，重复多次步骤S3以得到多张不同波长段下待测样本的高分辨率光谱图像；
S5：将多张不同波长段下待测样本的低分辨率光谱图像进行堆叠得到所述待测样本的低分辨率光谱立方体，将多张不同波长段下待测样本的高分辨率光谱图像进行堆叠得到所述待测样本的高分辨率光谱立方体；
S6：将所述低分辨率光谱立方体作为输入，所述高分辨率光谱立方体作为输出训练神经网络，训练完成后得到能够将所述低分辨率光谱立方体转换为高分辨率光谱立方体的神经网络；
S7：采用所述第一相机获取的所述待测样本的低分辨率光谱图像结合训练完成后的所述神经网络，可快速获取高分辨率光谱图像。
6.根据权利要求5所述的高分辨率光谱图像快速获取方法，其特征在于，步骤S1中所述照明光源将照明光投射到所述待测样本上之前还包括采用双通道互信息的方式对所述待测样本进行定焦。
7.根据权利要求6所述的高分辨率光谱图像快速获取方法，其特征在于，采用双通道互信息的方式对所述待测样本进行定焦具体包括：以红绿两个颜色的相干光从不同方向照射待测样本，查看所述第一相机或第二相机获取的图像的红绿通道之间是否存在位移，如果存在位移，根据所述位移来调整所述待测样本的位置以使得所述待测样本处于准焦位置，如果不存在位移，则所述待测样本已处于准焦位置，不作调整。
8.根据权利要求5所述的高分辨率光谱图像快速获取方法，其特征在于，所述液晶可调谐滤波器能够在420～730nm的波长范围内以12nm的半高宽度、0.1nm的调节精度进行滤波。
9.根据权利要求5所述的高分辨率光谱图像快速获取方法，其特征在于，所述待测样本为病理切片或荧光样本。
CN202010896214.7A 2020-08-31 2020-08-31 一种高分辨率光谱图像快速获取装置及方法 Active CN112098337B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010896214.7A CN112098337B (zh) 2020-08-31 2020-08-31 一种高分辨率光谱图像快速获取装置及方法
PCT/CN2021/105716 WO2022042084A1 (zh) 2020-08-31 2021-07-12 一种高分辨率光谱图像快速获取装置及方法
US17/663,755 US12025497B2 (en) 2020-08-31 2022-05-17 High-resolution spectral image fast acquisition apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010896214.7A CN112098337B (zh) 2020-08-31 2020-08-31 一种高分辨率光谱图像快速获取装置及方法

Publications (2)

Publication Number Publication Date
CN112098337A true CN112098337A (zh) 2020-12-18
CN112098337B CN112098337B (zh) 2023-10-10

Family

ID=73756801

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010896214.7A Active CN112098337B (zh) 2020-08-31 2020-08-31 一种高分辨率光谱图像快速获取装置及方法

Country Status (2)

Country Link
CN (1) CN112098337B (zh)
WO (1) WO2022042084A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113229783A (zh) * 2021-05-13 2021-08-10 珠海维尔康生物科技有限公司 一种用于荧光成像的图像采集系统、方法以及装置
CN113639965A (zh) * 2021-07-30 2021-11-12 中国科学院空天信息创新研究院 一种针对单透镜光谱装置的光谱分辨率获取方法
WO2022042084A1 (zh) * 2020-08-31 2022-03-03 清华大学深圳国际研究生院 一种高分辨率光谱图像快速获取装置及方法
CN114460020A (zh) * 2022-01-30 2022-05-10 清华大学深圳国际研究生院 一种基于数字微反射镜的高光谱扫描系统及方法
CN116026464A (zh) * 2023-03-29 2023-04-28 合肥中科红外精密仪器有限公司 基于分切镜的快照式红外高光谱成像系统及方法
CN116297496A (zh) * 2023-05-11 2023-06-23 征图新视(江苏)科技股份有限公司 多光谱智能缺陷检测方法
US12025497B2 (en) 2020-08-31 2024-07-02 Tsinghua Shenzhen International Graduate School High-resolution spectral image fast acquisition apparatus and method

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115239936B (zh) * 2022-07-25 2022-11-29 天津大学 一种高精度织物组织结构识别方法

Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005084530A (ja) * 2003-09-10 2005-03-31 Univ Of Tokyo 画像表示装置及び画像表示方法
US20060066869A1 (en) * 2004-09-30 2006-03-30 Nidek Co., Ltd. Optical coherence tomography apparatus based on spectral interference and an ophthalmic apparatus
WO2013064512A1 (en) * 2011-11-04 2013-05-10 Imec Spectral camera with mirrors for projecting multiple adjacent image copies onto sensor array
CN105651384A (zh) * 2016-01-13 2016-06-08 南京大学 一种全光信息采集系统
US20160202178A1 (en) * 2015-01-12 2016-07-14 Verily Life Sciences Llc High-Throughput Hyperspectral Imaging With Superior Resolution And Optical Sectioning
CN106443998A (zh) * 2016-11-04 2017-02-22 清华大学深圳研究生院 一种基于fpm算法的显微成像方法和系统
CN106546225A (zh) * 2016-10-31 2017-03-29 张舒怡 一种用于自动驾驶的传感器
CN107655569A (zh) * 2017-08-02 2018-02-02 合肥美亚光电技术股份有限公司 高光谱相机、高光谱成像装置及控制方法
US9964396B1 (en) * 2016-11-04 2018-05-08 Com Dev Ltd. Integrated fourier transform optical spectrometer
CN108414086A (zh) * 2018-05-11 2018-08-17 中国科学院西安光学精密机械研究所 一种快照型显微高光谱成像系统及成像方法
CN108700460A (zh) * 2015-12-21 2018-10-23 威里利生命科学有限责任公司 用于原位细胞标记的光谱和空间复用荧光探针
US10198790B1 (en) * 2015-07-16 2019-02-05 Hrl Laboratories, Llc Multi-domain foveated compressive sensing system for adaptive imaging
CN109683299A (zh) * 2019-01-10 2019-04-26 浙江大学 一种多色多角度照明的高分辨显微成像系统
CN208937496U (zh) * 2018-09-30 2019-06-04 太原科技大学 一种高光谱成像系统
CN110118602A (zh) * 2019-06-11 2019-08-13 李颖 一种宽波段高分辨率光谱成像信息同时获取装置
CN110462679A (zh) * 2017-05-19 2019-11-15 上海科技大学 快速多光谱光场成像方法和系统
CN110927945A (zh) * 2019-11-28 2020-03-27 清华大学 三维宽视场和高分辨层析成像方法及装置
CN111157541A (zh) * 2020-01-14 2020-05-15 合肥维信诺科技有限公司 光学检测系统以及光学检测方法
CN111208072A (zh) * 2019-11-05 2020-05-29 苏州智曜科技有限公司 一种痕量气体浓度检测的光谱系统
WO2021064434A1 (en) * 2019-10-05 2021-04-08 Universitetet I Tromsø - Norges Arktiske Universitet Transmission microscopy

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8803994B2 (en) * 2010-11-18 2014-08-12 Canon Kabushiki Kaisha Adaptive spatial sampling using an imaging assembly having a tunable spectral response
CN102735338B (zh) * 2012-06-20 2014-07-16 清华大学 基于掩膜与双阿米西棱镜的高分辨率多光谱采集系统
US10088662B2 (en) * 2015-04-30 2018-10-02 Farnoud KAZEMZADEH System, method and apparatus for ultra-resolved ultra-wide field-of-view multispectral and hyperspectral holographic microscopy
CN106595863B (zh) * 2016-12-29 2018-05-15 中国科学院光电技术研究所 一种提高液晶可调谐滤波器光谱重建精度和分辨率的方法
CN111031264B (zh) * 2019-11-29 2021-10-08 南京理工大学 一种基于透射式红外孔径编码成像系统及其超分辨方法
CN112098337B (zh) * 2020-08-31 2023-10-10 清华大学深圳国际研究生院 一种高分辨率光谱图像快速获取装置及方法

Patent Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005084530A (ja) * 2003-09-10 2005-03-31 Univ Of Tokyo 画像表示装置及び画像表示方法
US20060066869A1 (en) * 2004-09-30 2006-03-30 Nidek Co., Ltd. Optical coherence tomography apparatus based on spectral interference and an ophthalmic apparatus
WO2013064512A1 (en) * 2011-11-04 2013-05-10 Imec Spectral camera with mirrors for projecting multiple adjacent image copies onto sensor array
US20160202178A1 (en) * 2015-01-12 2016-07-14 Verily Life Sciences Llc High-Throughput Hyperspectral Imaging With Superior Resolution And Optical Sectioning
US10198790B1 (en) * 2015-07-16 2019-02-05 Hrl Laboratories, Llc Multi-domain foveated compressive sensing system for adaptive imaging
CN108700460A (zh) * 2015-12-21 2018-10-23 威里利生命科学有限责任公司 用于原位细胞标记的光谱和空间复用荧光探针
CN105651384A (zh) * 2016-01-13 2016-06-08 南京大学 一种全光信息采集系统
CN106546225A (zh) * 2016-10-31 2017-03-29 张舒怡 一种用于自动驾驶的传感器
CN106443998A (zh) * 2016-11-04 2017-02-22 清华大学深圳研究生院 一种基于fpm算法的显微成像方法和系统
US9964396B1 (en) * 2016-11-04 2018-05-08 Com Dev Ltd. Integrated fourier transform optical spectrometer
CN110462679A (zh) * 2017-05-19 2019-11-15 上海科技大学 快速多光谱光场成像方法和系统
CN107655569A (zh) * 2017-08-02 2018-02-02 合肥美亚光电技术股份有限公司 高光谱相机、高光谱成像装置及控制方法
CN108414086A (zh) * 2018-05-11 2018-08-17 中国科学院西安光学精密机械研究所 一种快照型显微高光谱成像系统及成像方法
CN208937496U (zh) * 2018-09-30 2019-06-04 太原科技大学 一种高光谱成像系统
CN109683299A (zh) * 2019-01-10 2019-04-26 浙江大学 一种多色多角度照明的高分辨显微成像系统
CN110118602A (zh) * 2019-06-11 2019-08-13 李颖 一种宽波段高分辨率光谱成像信息同时获取装置
WO2021064434A1 (en) * 2019-10-05 2021-04-08 Universitetet I Tromsø - Norges Arktiske Universitet Transmission microscopy
CN111208072A (zh) * 2019-11-05 2020-05-29 苏州智曜科技有限公司 一种痕量气体浓度检测的光谱系统
CN110927945A (zh) * 2019-11-28 2020-03-27 清华大学 三维宽视场和高分辨层析成像方法及装置
CN111157541A (zh) * 2020-01-14 2020-05-15 合肥维信诺科技有限公司 光学检测系统以及光学检测方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022042084A1 (zh) * 2020-08-31 2022-03-03 清华大学深圳国际研究生院 一种高分辨率光谱图像快速获取装置及方法
US12025497B2 (en) 2020-08-31 2024-07-02 Tsinghua Shenzhen International Graduate School High-resolution spectral image fast acquisition apparatus and method
CN113229783A (zh) * 2021-05-13 2021-08-10 珠海维尔康生物科技有限公司 一种用于荧光成像的图像采集系统、方法以及装置
CN113639965A (zh) * 2021-07-30 2021-11-12 中国科学院空天信息创新研究院 一种针对单透镜光谱装置的光谱分辨率获取方法
CN114460020A (zh) * 2022-01-30 2022-05-10 清华大学深圳国际研究生院 一种基于数字微反射镜的高光谱扫描系统及方法
CN114460020B (zh) * 2022-01-30 2023-11-17 清华大学深圳国际研究生院 一种基于数字微反射镜的高光谱扫描系统及方法
CN116026464A (zh) * 2023-03-29 2023-04-28 合肥中科红外精密仪器有限公司 基于分切镜的快照式红外高光谱成像系统及方法
CN116297496A (zh) * 2023-05-11 2023-06-23 征图新视(江苏)科技股份有限公司 多光谱智能缺陷检测方法

Also Published As

Publication number Publication date
US20220276093A1 (en) 2022-09-01
WO2022042084A1 (zh) 2022-03-03
CN112098337B (zh) 2023-10-10

Similar Documents

Publication Publication Date Title
CN112098337B (zh) 一种高分辨率光谱图像快速获取装置及方法
Kester et al. Real-time snapshot hyperspectral imaging endoscope
US7933010B2 (en) Depth of field extension for optical tomography
KR102394823B1 (ko) 하이브리드 분광 이미저
US6038067A (en) Scanning computed confocal imager
KR100411631B1 (ko) 형광 내시경 장치 및 그 장치를 이용한 진단부위 조상 방법
CN102028477B (zh) 一种测量眼底视网膜血氧饱和度的装置及方法
CN106441571A (zh) 一种光源模块及应用其的线扫描多光谱成像系统
WO2009139058A1 (ja) 生体画像撮影装置
CN110887564A (zh) 一种运动目标光谱的监测装置及监测方法
CN104068823A (zh) 一种活体显微内窥光谱成像系统
CN207516243U (zh) 层析内窥显微光谱成像装置
CN206248212U (zh) 一种光源模块及应用其的线扫描多光谱成像系统
US11619548B2 (en) Hybrid spectral imaging devices, systems and methods
CN204422066U (zh) 一种用于显微光谱成像的静态光谱成像仪
CN114460020B (zh) 一种基于数字微反射镜的高光谱扫描系统及方法
CN112763417B (zh) 一种数字病理切片全景扫描系统
US12025497B2 (en) High-resolution spectral image fast acquisition apparatus and method
CN204120977U (zh) 一种活体显微内窥光谱成像设备
CN108981914A (zh) Offner双路结构成像光谱仪及方法
CN112229827B (zh) 一种实时的多光谱层析拍摄方法和装置
Gao et al. Optical design of a snapshot high-sampling image mapping spectrometer (IMS) for hyperspectral microscopy
George et al. A laser-scanning endoscope based on polysilicon micromachined mirrors with enhanced attributes
CN111982865A (zh) 一种全玻片荧光超光谱快速获取方法和装置
Cui Multi-dimensional Optical Imaging

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant