CN107621463A - 图像重建方法、装置及显微成像装置 - Google Patents

图像重建方法、装置及显微成像装置 Download PDF

Info

Publication number
CN107621463A
CN107621463A CN201710959434.8A CN201710959434A CN107621463A CN 107621463 A CN107621463 A CN 107621463A CN 201710959434 A CN201710959434 A CN 201710959434A CN 107621463 A CN107621463 A CN 107621463A
Authority
CN
China
Prior art keywords
image
gray value
fiber optic
fibre bundle
optic hub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710959434.8A
Other languages
English (en)
Other versions
CN107621463B (zh
Inventor
邵金华
孙锦
段后利
王强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Weijing Medical Technology Co ltd
Original Assignee
Nanjing Gen Rui Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Gen Rui Medical Technology Co Ltd filed Critical Nanjing Gen Rui Medical Technology Co Ltd
Priority to CN201710959434.8A priority Critical patent/CN107621463B/zh
Publication of CN107621463A publication Critical patent/CN107621463A/zh
Priority to CA3079243A priority patent/CA3079243C/en
Priority to KR1020207013484A priority patent/KR102358848B1/ko
Priority to EP18868288.4A priority patent/EP3699576A4/en
Priority to PCT/CN2018/108865 priority patent/WO2019076192A1/zh
Priority to JP2020541842A priority patent/JP7064796B2/ja
Priority to MX2020003985A priority patent/MX2020003985A/es
Priority to BR112020007609-0A priority patent/BR112020007609B1/pt
Priority to RU2020115467A priority patent/RU2747129C1/ru
Priority to AU2018352821A priority patent/AU2018352821B2/en
Priority to US16/850,077 priority patent/US11449964B2/en
Application granted granted Critical
Publication of CN107621463B publication Critical patent/CN107621463B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/6408—Fluorescence; Phosphorescence with measurement of decay time, time resolved fluorescence
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458—Fluorescence microscopy
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/6486—Measuring fluorescence of biological material, e.g. DNA, RNA, cells
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0036—Scanning details, e.g. scanning stages
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/0076—Optical details of the image generation arrangements using fluorescence or luminescence
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008—Details of detection or image processing, including general computer control
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/02—Objectives
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G02B21/08—Condensers
    • G02B21/082—Condensers for incident illumination only
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/16—Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N2021/6463—Optics
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N2021/6484—Optical fibres
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/06—Illumination; Optics
    • G01N2201/063—Illuminating optical parts
    • G01N2201/0635—Structured illumination, e.g. with grating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/08—Optical fibres; light guides
    • G01N2201/0826—Fibre array at source, distributing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/08—Optical fibres; light guides
    • G01N2201/0833—Fibre array at detector, resolving
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10064—Fluorescence image

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Microscoopes, Condenser (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种图像重建方法、装置及显微成像装置，通过根据在一幅或者多幅样本图像中确定出的每个光纤中心位置的灰度值，计算重建图像中光纤束内每个光纤中心的灰度值；用光纤中心的灰度值进行空间插值，得到重建图像中光纤束内其他像素点的灰度值，形成重建图像。该图像重建方法通过仅计算光纤中心位置的像素点的灰度值，然后基于空间插值得到整幅图像的像素点的灰度值，从而减少了计算每个像素点灰度值的计算量，大大加快了图像重建的速率，且该方法有助于去除重建图像中光栅以及光纤束蜂窝状网格的残留，提高重建图像的成像质量。

Description

图像重建方法、装置及显微成像装置
技术领域
本发明涉及图像处理技术，尤其涉及一种图像重建方法、装置及显微成像装置。
背景技术
基于结构光照明(structured illumination)的显微镜，其具有抑制焦平面外(out of focus)噪声的层析(sectioning)成像功能，且其与共聚焦显微镜相比，有着结构简单，成像速度快的优点。现在技术中，其常常被作为常规内窥镜，通过扫描人体消化道等内部器官，观察细胞形状的变化，以提前预知肿瘤发生与演变，对于癌症的筛检有着重要的指导意义。
该基于结构光照明的显微镜，具体通过激发器发出激发生物体荧光的荧光，该荧光随后通过光栅，形成黑白条纹的正弦光源；再通过每次移动光栅1/3的光栅间距，采集得到扫描人体细胞后返回的多幅图像，例如，图像I1，图像I2，图像I3；再根据均方根公式对图像I1，图像I2，图像I3进行重建，得到重建后的图像I。然而，该重建方法需要将图像I1，图像I2，图像I3中全部像素灰度采用该均方根公式计算得到。因此，耗费大量计算时间，且重建后的图像中光栅以及光纤束(fiber bundle)蜂窝状网格的残留明显，成像质量不高。
发明内容
为了解决现有技术中基于结构光照明的显微镜对图像的重建效率不高，图像中残留光栅明显，成像质量不高的技术问题，本发明提供一种图像重建方法、装置及显微成像装置，以加快图像重建的速率，去除重建图像中光栅的残留，提高重建后图像的质量。
本发明提供一种图像重建方法，包括：
根据在一幅或者多幅样本图像中确定出的每个光纤中心位置的灰度值，计算重建图像中光纤束内每个光纤中心的灰度值；
用光纤中心的灰度值进行空间插值，得到重建图像中光纤束内其他像素点的灰度值，形成所述重建图像。
可选的，还包括：
获取均匀荧光的光纤束的原始图像；
在所述原始图像中确认像素值高于周边像素值的目标像素点，将所述目标像素点确定为光纤束中各光纤的中心位置。
可选的，所述获取均匀荧光的光纤束的原始图像包括：
在一个光栅间隔距离范围内，采集间隔预设步长的多个光纤束图像；
对所述多个光纤束图像求取其均值图像，形成所述均匀荧光的光纤束的原始图像。
可选的，执行所述空间插值前还包括：
根据每个光纤的中心位置，确定光纤束内各个像素点与每个光纤的所述中心位置之间的插值权值。
可选的，还包括采用如下方法确定所述插值权值：
以每个光纤的中心位置、以及相邻光纤的中心位置作为顶点，形成多个三角形结构；
根据所述三角形结构，确定每个三角形结构内的像素点与每个光纤的中心位置之间的插值权值。
可选的，还包括采用如下方法获取多幅样本图像：
根据预设相位间隔，在一个光栅间隔距离内移动N-1次，获取得到包含初始相位，距离所述初始相位每次移动所述预设相位间隔的N幅样本图像。
可选的，所述预设相位间隔为120度；N＝3。
可选的，所述在所述一幅或者多幅样本图像中确定出每个光纤中心位置的灰度值之后，还包括：
对每个光纤中心位置的灰度值进行饱和度判断；
若在所述样本图像中存在中心位置的灰度值超出预设饱和度阈值的光纤，则确定所述超出预设饱和度阈值的光纤为待校正光纤；
在重建图像中将所述待校正光纤的中心位置的灰度值校正为所述预设饱和度阈值，根据校正后的所述样本图像中确定出的每个光纤中心位置的灰度值，执行计算重建图像中光纤束内每个光纤中心的灰度值的步骤；
若在所述样本图像中不存在中心位置的灰度值超出预设饱和度阈值的光纤，则根据在所述样本图像中确定出的每个光纤中心位置的灰度值，执行计算重建图像中光纤束内每个光纤中心的灰度值的步骤。
可选的，所述根据在多幅样本图像中确定出的每个光纤中心位置的灰度值，计算重建图像中光纤束内每个光纤中心的灰度值，包括：
将每个光纤中心位置在所述多幅样本图像中的灰度值彼此作差，得到的差值取平方和再开方，得到重建图像中光纤束内每个光纤中心的灰度值。
本发明还提供一种图像重建装置，包括：
计算模块，用于根据在一幅或者多幅样本图像中确定出的每个光纤中心位置的灰度值，计算重建图像中光纤束内每个光纤中心的灰度值；
形成模块，用于用光纤中心的灰度值进行空间插值，得到重建图像中光纤束内其他像素点的灰度值，形成所述重建图像。
可选的，还包括：
第一获取模块，用于获取均匀荧光的光纤束的原始图像；
第一确定模块，用于在所述原始图像中确认像素值高于周边像素值的目标像素点，将所述目标像素点确定为光纤束中各光纤的中心位置。
可选的，所述第一获取模块，包括：
采集子模块，用于在一个光栅间隔距离范围内，采集间隔预设步长的多个光纤束图像；
形成子模块，用于对所述多个光纤束图像求取其均值图像，形成所述均匀荧光的光纤束的原始图像。
可选的，所述装置还包括：
第二确定模块，用于根据每个光纤的中心位置，确定光纤束内各个像素点与每个光纤的所述中心位置之间的插值权值。
可选的，所述装置还包括：
第三确定模块，用于以每个光纤的中心位置、以及相邻光纤的中心位置作为顶点，形成多个三角形结构；根据所述三角形结构，确定每个三角形结构内的像素点与每个光纤的中心位置之间的插值权值。
可选的，所述装置还包括：
第二获取模块，用于根据预设相位间隔，在一个光栅间隔距离内移动N-1次，获取得到包含初始相位，距离所述初始相位每次移动所述预设相位间隔的N幅样本图像。
可选的，所述预设相位间隔为120度；
N＝3。
可选的，所述装置还包括：
判断模块，用于对每个光纤中心位置的灰度值进行饱和度判断；
第一处理模块，用于当在所述样本图像中存在中心位置的灰度值超出预设饱和度阈值的光纤，则确定所述超出预设饱和度阈值的光纤为待校正光纤；在重建图像中将所述待校正光纤的中心位置的灰度值校正为所述预设饱和度阈值，根据校正后的所述样本图像中确定出的每个光纤中心位置的灰度值，执行计算重建图像中光纤束内每个光纤中心的灰度值的步骤；
第二处理模块，用于当在所述样本图像中不存在中心位置的灰度值超出预设饱和度阈值的光纤，则根据在所述样本图像中确定出的每个光纤中心位置的灰度值，执行计算重建图像中光纤束内每个光纤中心的灰度值的步骤。
可选的，所述计算模块，具体用于将每个光纤中心位置在所述多幅样本图像中的灰度值彼此作差，得到的差值取平方和再开方，得到重建图像中光纤束内每个光纤中心的灰度值。
本发明还提供一种显微成像装置，包括：
光发射单元、相位调节单元、转向单元、包含多个光纤的光纤束、探测单元、处理单元，其中：
所述光发射单元用于发射激发光；
所述相位调节单元设置在所述激发光的光路出口处，且与所述处理单元连接，用于根据所述处理单元发送的相位调节量，调节所述激发光的相位，得到不同相位的激发光；
所述转向单元用于对不同相位的激发光进行转向，以使转向后的激发光沿着所述光纤束聚焦到待检测组织，并透过所述待检测组织返回的不同相位的荧光；
所述探测单元用于对不同相位的荧光进行采集，形成多幅样本图像；
所述处理单元与所述探测单元连接，用于接收所述多幅样本图像，并在多幅样本图像中确定出的所述光纤束中每个光纤中心位置的灰度值，计算重建图像中光纤束内每个光纤中心的灰度值；用光纤中心的灰度值进行空间插值，得到重建图像中光纤束内其他像素点的灰度值，形成所述重建图像。
可选的，所述相位调节单元包括：电机、光栅；
所述电机与所述处理单元、所述光栅分别连接，用于根据所述处理单元发送的相位调节量，拖动所述光栅移动，以使所述激发光透射所述光栅后得到与所述相位调节量对应的激发光。
可选的，所述电机包括：直流电机；
相应的，所述处理单元根据预设相位间隔，确定等间隔的相位调节量；所述直流电机接收所述等间隔的相位调节量，拖动所述光栅在一个光栅间距范围内移动等间隔距离，以使所述处理单元获取到与所述预设相位间隔对应的多幅样本图像。
可选的，所述预设相位间隔为120度；所述相位调节量为3个。
可选的，所述光发射单元包括：激光器，用于发射激发光；还包括：扩束线聚焦器，设置在所述激光器的激发光的出口处，用于将所述激发光扩束并一维聚焦为线光束。
可选的，所述转向单元为二分镜。
可选的，还包括：滤光片；所述滤光片设置于所述相位调节单元和所述转向单元之间，用于滤除杂散光。
可选的，所述探测单元包括：电荷耦合元件CCD。
可选的，还包括：由多个透镜组成的物镜；所述物镜设置在所述转向单元和所述光纤束之间，用于对所述转向单元转向后的激发光进行聚焦处理。
本发明的图像重建方法、装置及显微成像装置，通过根据在一幅或者多幅样本图像中确定出的每个光纤中心位置的灰度值，计算重建图像中光纤束内每个光纤中心的灰度值；用光纤中心的灰度值进行空间插值，得到重建图像中光纤束内其他像素点的灰度值，形成重建图像。该图像重建方法通过仅计算光纤中心位置的像素点的灰度值，然后基于空间插值得到整幅图像的像素点的灰度值，从而减少了计算每个像素点灰度值的计算量，大大加快了图像重建的速率，且该方法有助于去除重建图像中光栅以及光纤束蜂窝状网格的残留，提高重建图像的成像质量。
附图说明
图1为一示例性实施例示出的本发明图像重建方法的流程图；
图2为图1所示实施例的结构光显微内窥装置示意图；
图3为另一示例性实施例示出的本发明图像重建方法的流程图；
图4为图3所示实施例的光纤像素三角形结构示意图；
图5为一示例性实施例示出的本发明图像重建装置的结构示意图；
图6为另一示例性实施例示出的本发明图像重建装置的结构示意图；
图7为一示例性实施例示出的本发明显微成像装置的结构示意图；
图8为另一示例性实施例示出的本发明显微成像装置的结构示意图。
附图标记：光发射单元01、激光器011、扩束线聚焦器012、相位调节单元02、电机021、光栅022、转向单元03、光纤束04、探测单元05、处理单元06、滤光片07、物镜08。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为一示例性实施例示出的本发明图像重建方法的流程图，如图1所示，本发明的图像重建方法适用于对所有光学成像的图像的重建，尤其适用于基于结构光的图像重建，首先本实施例以基于结构光的内窥镜为例，对结构光成像的原理进行简要说明：
如图2所示的基于结构光的显微内窥装置，其中，由激发器发出的光源经光栅调制出正弦光，正弦光经过二分镜(即对特定频率的光进行透射，对非特定频率的进行反射)、物镜、沿着光纤束激发染色后的组织(例如，人体内的细胞组织)，激发后的荧光沿着光纤束、物镜、二分镜到电荷耦合元件(Charge-coupled Device，简称“CCD”)进行图像采集，CCD也叫做图像传感器或图像控制器，是一种半导体器件，能够把光学影像转化为电信号。其中调制后的正弦光源聚焦到组织的某一焦平面上，通过对多个相位(例如，三个相位)激发荧光成像，运用Neil公式，使得焦平面外的背景荧光被滤掉，从而实现层析成像。层析成像技术是借鉴医学CT，根据射线扫描，对所得到的信息进行反演计算，重建被测范围内岩体弹性波和电磁波参数分布规律的图像，从而达到圈定地质异常体的一种物探反演解释方法。
其中，经过光栅调制的结构光光源可以表示为，
上式中，m为调制对比(modulation contrast)；
为规范化的空间频率，值改变后可以用于实现不同深度(axialdepth)图像的层析；β为样本平面(specimen plane)与栅格平面(grid plane)之间的放大倍数，λ为波长，v为实际空间频率，NA为数值孔径(numerical aperture)。
本实施例就是需要对图2中光纤束中各个光纤中所传递出的像素信息进行确定，以准确获得结构光照射染色组织后返回的荧光信息，并对该信息形成清晰准确的图像。本实施例的图像重建方法的具体实现步骤为：
步骤101、根据在一幅或者多幅样本图像中确定出的每个光纤中心位置的灰度值，计算重建图像中光纤束内每个光纤中心的灰度值。
具体的，如图2所示的结构光显微内窥装置，驱动直流电机拖动光栅移动，以获取到一幅或者多幅样本图像。样本图像中包含了光纤束中各个光纤所传递出的像素信息，对于光纤束来说，一根光纤束通常由近三万根光纤(数目差异可达到几千)组成。每根光纤中都传导着像素信息，因此，光纤束又可被称为多传感器。光纤的成像在图像中一般呈现六角蜂窝状，每个光纤直径以5到6个像素为宜。在多幅样本图像中，确定出每个光纤的中心位置，并获取到各个中心位置像素点的灰度值。对中心位置的灰度值的确定方法可以采用前面所述的均方根公式求得，也就是对多幅样本图像中的同一中心位置的灰度值求取其灰度值的均值，以所计算出的灰度值均值作为重建后图像中该光纤中心的灰度值，进而得到重建图像中光纤束内每个光纤中心的灰度值。
步骤102、用光纤中心的灰度值进行空间插值，得到重建图像中光纤束内其他像素点的灰度值，形成重建图像。
具体的，以每个光纤的中心位置作为基准，找到每个光纤中的其他像素点与该中心位置像素点之间的线性关系，从而确定出每个光纤中所有像素点相对于该中心位置像素点的插值权值，也就是各个光纤中其他像素点相对于中心位置像素点的权重值。从而基于各个像素点与光纤中心之间的插值权值，用光纤中心的灰度值进行空间插值，得到重建图像中光纤束内其他像素点的灰度值，形成重建图像。
本实施例的图像重建方法，通过根据在一幅或者多幅样本图像中确定出的每个光纤中心位置的灰度值，计算重建图像中光纤束内每个光纤中心的灰度值；用光纤中心的灰度值进行空间插值，得到重建图像中光纤束内其他像素点的灰度值，形成重建图像。该图像重建方法通过仅计算光纤中心位置的像素点的灰度值，然后基于空间插值得到整幅图像的像素点的灰度值，从而减少了计算每个像素点灰度值的计算量，大大加快了图像重建的速率，且该方法有助于去除重建图像中光栅以及光纤束蜂窝状网格的残留，提高重建图像的成像质量。
图3为另一示例性实施例示出的本发明图像重建方法的流程图，如图3所示，本实施例的图像重建方法，包括：
步骤301、获取均匀荧光的光纤束的原始图像。
步骤302、在原始图像中确认像素值高于周边像素值的目标像素点，将目标像素点确定为光纤束中各光纤的中心位置。
具体的，可以在图像重建前，拍摄一幅均匀荧光的图像，该均匀荧光的图像用于对光纤进行准确定位。对于光纤束来说，一根光纤束通常由近三万根光纤(数目差异可达到几千)组成。每根光纤中都传导着像素信息，因此，光纤束又可被称为多传感器。光纤的成像在图像中呈现六角蜂窝状，每个光纤直径以5到6个像素为宜。为了减少光纤之间的相互干扰，光纤之间为空间不规则排列，而不是呈现出行或列的对其排列。本实施例中的光纤的中心位置指的就是光纤中心最亮点作为光纤中心，所谓最亮点也就是说在原始图像中确认像素值高于周边像素值的目标像素点，将目标像素点确定为光纤束中各光纤的中心位置，以该中心最亮点的坐标作为光纤坐标，以对每个光纤中的其他像素点进行定位。为了去除网格，也就是光纤的六角蜂窝，需要用光纤中心的灰度进行空间插值获得整个光纤束范围内其他像素的灰度。通常安装光栅后，所拍摄的定位图像，也就是原始图像中会存在光栅，因此，可以去除光栅进行拍摄以获取得到均匀荧光的光纤束的原始图像；可选的，还可以在一个光栅间隔距离范围内，采集间隔预设步长的多个光纤束图像；对多个光纤束图像求取其均值图像，形成均匀荧光的光纤束的原始图像。也就说让图2中的直流电机在一个光栅间距范围内均匀移动若干个相同的位移，然后取采集到的均值图像。本领域技术人员可以自行确定获取到均匀荧光的光纤束的原始图像的方法，本实施例对此不作具体限定。
步骤303、根据在多幅样本图像中确定出的每个光纤中心位置的灰度值，计算重建图像中光纤束内每个光纤中心的灰度值。
其中，对样本图像的获取可以通过根据预设相位间隔，在一个光栅间隔距离内移动N-1次，获取得到包含初始相位，距离所述初始相位每次移动所述预设相位间隔的N幅样本图像。举例来说，安装光栅，并通过电机拖动光栅移动，以获取到N幅光纤束的样本图像。例如，开始采集样本图像前，在电机的初始位置处拍摄一张样本图像；然后电机移动到另一位置，再拍摄一张样本图像；电机再移动，再拍摄，从而得到N幅样本图像。为了保证所获取到的样本图像的准确性，可以使电机顺时针旋转多个位置以获取到上述的N幅样本图像，再等待一段时间后，使电机逆时针反方向移动，再获取N幅样本图像，这样可以重建出两幅结构光的图像，通过比对，保证重建图像的准确性。优选的，预设相位间隔为120度，N＝3；则相应的，电机拖动光栅做水平移动，每次移动预设相位间隔阈值为1/3的光栅间距。开始采集前，在电机移动初始位置相机拍摄一张，电机移动，拍摄，电机再移动，拍摄，得到了三个相位的样本图像后重建图像；然后为了周期一致，等待一段时间；再拍摄，反方向移动......这样电机来回往返移动一次，能重建两幅结构光的图像。三幅样本图像可以分别是0度相位样本图像I1(初始相位)，120度相位样本图像I2(移动一个预设相位间隔阈值)，240度相位样本图像I3(移动两个预设相位间隔阈值)，在这三幅样本图像中根据光纤中心位置，检索三个相位图像的光纤中心的灰度，即得到0度相位样本图像I1的光纤中心灰度值G1，120度相位样本图像I2的光纤中心灰度值G2，240度相位样本图像I3的光纤中心灰度值G3。可选的，对于重建图像中光纤束内每个光纤中心的灰度值的计算可以采用，将每个光纤中心位置在多幅样本图像中的灰度值彼此作差，得到的差值取平方和再开方，得到重建图像中光纤束内每个光纤中心的灰度值。举例来说，基于Neil公式，对3幅样本图像中的三个中心灰度值两两彼此作差，再对差值平方，将平方后的各个差值相加再开根号，从而计算得到重建图像中光纤中心的灰度值。
但是，对于上述的Neil公式来说，其缺点是当样本图像过饱和时，中心灰度值两两相减，会使得中心点计算出来的灰度值反而是一个灰度很小的黑点，这就会导致重建出来的图像出现黑色区域，无法对细胞进行清晰的成像。为了避免图像饱和给重建图像造成成像不清晰的问题，可以对光纤中心点的灰度采取饱和校正。这样重建的图像才会有良好的层析效果。
可选的，在一幅或者多幅样本图像中确定出每个光纤中心位置的灰度值之后，可以增加对每个光纤中心位置的灰度值的饱和度进行判断的步骤，也就是说，若在样本图像中存在中心位置的灰度值超出预设饱和度阈值的光纤，则确定超出预设饱和度阈值的光纤为待校正光纤；在重建图像中将待校正光纤的中心位置的灰度值校正为预设饱和度阈值，根据校正后的样本图像中确定出的每个光纤中心位置的灰度值，再执行计算重建图像中光纤束内每个光纤中心的灰度值的步骤；
若在样本图像中不存在中心位置的灰度值超出预设饱和度阈值的光纤，则根据在样本图像中确定出的每个光纤中心位置的灰度值，执行计算得到重建图像中光纤束内每个光纤中心的灰度值的步骤。
其中，预设饱和度阈值可以根据CCD的性能进行确定，例如，判断0度相位样本图像I1的光纤中心灰度值G1，120度相位样本图像I2的光纤中心灰度值G2，240度相位样本图像I3的光纤中心灰度值G3，三个灰度值是否有大于4095，(4095对应12位图像最大值，表示CCD饱和)，然后对其不采用上述的Neil公式计算重建图像的中心点灰度值，而是直接以4095的预设饱和度阈值作为该中心点灰度值。这种处理避免了样本图像与重建结构光图像视觉上白黑相反的现象。但是这种处理是不得已采取的补救措施，对于本领域技术人员来说，还是应该尽量避免采集样本图像时，出现图像饱和的问题。例如，可以采用避免相机参数的曝光时间过长，增益过大；避免样本荧光染色物质太浓；避免激光器发出的激光的光强过强等措施。
同样的，若在重建图像中存在光纤中心位置的灰度值超出预设饱和度阈值的光纤，则确定超出预设饱和度阈值的光纤为待校正光纤；在重建图像中将待校正光纤的中心位置的灰度值校正为预设饱和度阈值。也就是说若计算得到的的值超出预设饱和度阈值，则确定该光纤为待校正光纤，也将预设饱和度阈值作为该光纤的中心位置的灰度值，从而实现对样本图像的饱和校正。
步骤304、根据每个光纤的中心位置，确定光纤束内各个像素点与每个光纤的中心位置之间的插值权值。
具体的，如上所述，无论是样本图像还是原始图像，其都是对同一结构的光纤束进行光学成像，因此，可以根据在原始图像中确定的各个光纤的中心位置，找到样本图像中对应的光纤的中心位置，并读取出该中心点的灰度值。对N幅样本图像中的每个光纤都进行定位并获取其灰度值。因此，对于每个光纤来说，其都对应了N个中心位置的灰度值，基于预设算法(如前所述的均方根的Neil公式)，对N个中心位置的灰度值求取其灰度值的均值，以所计算出的灰度值均值作为重建后图像中该光纤中心的灰度值。
对于光纤束内各个像素点与每个光纤的中心位置之间的插值权值，可以通过以每个光纤的中心位置、以及相邻光纤的中心位置作为顶点，形成多个三角形结构；根据三角形结构，确定每个三角形结构内的像素点与每个光纤的中心位置之间的插值权值。
具体的，可以根据区域极大值法得到光纤中心坐标，即由图4所示的光纤A的中心位置作为一顶点，光纤A与其相邻的光纤B和光纤C的三个中心位置构成一个三角形，使得整个光纤束范围内被剖分为多个三角形。通过这些三角形建立像素与光纤的插值关系。由于光线束大致为六边形，分布不规则。相邻光纤不具有横向或纵向的坐标对齐关系，所以不可以像常规的双线性插值，由四个规则的顶点插值中间的像素。但是，采用这种三角形的结构，同样可以确定出每个三角形结构内的像素点与每个光纤的中心位置之间的插值权值。
步骤305、用光纤中心的灰度值进行空间插值，得到重建图像中光纤束内其他像素点的灰度值，形成重建图像。
具体的，获取到均匀荧光的光纤束的原始图像后，在原始图像中确定出光纤束中所包含的所有光纤的中心位置，也就是每个光纤中最亮的那个像素点的位置坐标。以每个光纤的中心位置作为基准，找到每个光纤中的其他像素点与该中心位置像素点之间的线性关系，从而确定出每个光纤中所有像素点相对于该中心位置像素点的插值权值，也就是各个光纤中其他像素点相对于中心位置像素点的权重值。后续对于结构光照射组织后得到的样本图像的重建，可以基于提前计算好的线性权重值，重建时乘以光纤的灰度值，从而得到待插值像素的灰度值，形成重建图像。
本实施例的图像重建方法，通过基于三角形的像素空间利用光纤定位获得对结构光成像的重建，其只对光纤中心点的像素运用诸如Neil公式进行灰度值的计算，然后插值重建整幅结构光图像。大大节省了计算时间，并且能够去掉光纤的蜂窝结构。当N幅样本图像，例如三幅样本图像相位准确相差120度时，则光栅的痕迹也是没有的。因此，本发明的图像重建方法可以极大地减少计算每个像素点灰度值的计算量，大大加快了图像重建的速率，且该方法还有助于去除重建图像中光栅以及光纤束蜂窝状网格的残留，提高重建图像的成像质量。
图5为一示例性实施例示出的本发明图像重建装置的结构示意图，如图5所示，本实施例的图像重建装置包括：
计算模块1，用于根据在一幅或者多幅样本图像中确定出的每个光纤中心位置的灰度值，计算重建图像中光纤束内每个光纤中心的灰度值；
形成模块2，用于用光纤中心的灰度值进行空间插值，得到重建图像中光纤束内其他像素点的灰度值，形成重建图像。
本实施例可用于实现图1所示实施例，其实现原理相似，在此不再赘述。
本实施例的图像重建装置，通过根据在多幅样本图像中确定出的每个光纤中心位置的灰度值，计算重建图像中光纤束内每个光纤中心的灰度值；用光纤中心的灰度值进行空间插值，得到重建图像中光纤束内其他像素点的灰度值，形成重建图像。该图像重建方法通过仅计算光纤中心位置的像素点的灰度值，然后基于空间插值得到整幅图像的像素点的灰度值，从而减少了计算每个像素点灰度值的计算量，大大加快了图像重建的速率，且该方法有助于去除重建图像中光栅以及光纤束蜂窝状网格的残留，提高重建图像的成像质量。
图6为另一示例性实施例示出的本发明图像重建装置的结构示意图，如图6所示，基于上述实施例，本实施例的图像重建装置中，还包括：
第一获取模块3，用于获取均匀荧光的光纤束的原始图像；
第一确定模块4，用于在原始图像中确认像素值高于周边像素值的目标像素点，将目标像素点确定为光纤束中各光纤的中心位置。
可选的，第一获取模块3，包括：
采集子模块31，用于在一个光栅间隔距离范围内，采集间隔预设步长的多个光纤束图像；
形成子模块32，用于对多个光纤束图像求取其均值图像，形成均匀荧光的光纤束的原始图像。
可选的，该装置还包括：
第二确定模块5，用于根据每个光纤的中心位置，确定光纤束内各个像素点与每个光纤的中心位置之间的插值权值。
可选的，该装置还包括：
第三确定模块6，用于以每个光纤的中心位置、以及相邻光纤的中心位置作为顶点，形成多个三角形结构；根据三角形结构，确定每个三角形结构内的像素点与每个光纤的中心位置之间的插值权值。
可选的，该装置还包括：
第二获取模块7，用于根据预设相位间隔，在一个光栅间隔距离内移动N-1次，获取得到包含初始相位，距离初始相位每次移动预设相位间隔的N幅样本图像。
可选的，预设相位间隔为120度；N＝3。
可选的，该装置还包括：
判断模块8，用于对每个光纤中心位置的灰度值进行饱和度判断；
第一处理模块9，用于当在样本图像中存在中心位置的灰度值超出预设饱和度阈值的光纤，则确定超出预设饱和度阈值的光纤为待校正光纤；在重建图像中将待校正光纤的中心位置的灰度值校正为预设饱和度阈值，根据校正后的样本图像中确定出的每个光纤中心位置的灰度值，执行计算重建图像中光纤束内每个光纤中心的灰度值的步骤；
第二处理模块10，用于当在样本图像中不存在中心位置的灰度值超出预设饱和度阈值的光纤，则根据在样本图像中确定出的每个光纤中心位置的灰度值，执行计算重建图像中光纤束内每个光纤中心的灰度值的步骤。
可选的，计算模块1，具体用于将每个光纤中心位置在多幅样本图像中的灰度值彼此作差，得到的差值取平方和再开方，得到重建图像中光纤束内每个光纤中心的灰度值。
本实施例可用于实现图3所示实施例，其实现原理相似，在此不再赘述。
图7为一示例性实施例示出的本发明显微成像装置的结构示意图，如图7所示，本实施例提供一种显微成像装置，包括：光发射单元01、相位调节单元02、转向单元03、包含多个光纤的光纤束04、探测单元05、处理单元06，其中：
光发射单元01用于发射激发光；
相位调节单元02设置在激发光的光路出口处，且与处理单元06连接，用于根据处理单元06发送的相位调节量，调节激发光的相位，得到不同相位的激发光；
转向单元03用于对不同相位的激发光进行转向，以使转向后的激发光沿着光纤束04聚焦到待检测组织，并透过待检测组织返回的不同相位的荧光；
探测单元05用于对不同相位的荧光进行采集，形成多幅样本图像；
处理单元06与探测单元05连接，用于接收多幅样本图像，并在多幅样本图像中确定出的光纤束中每个光纤中心位置的灰度值，计算重建图像中光纤束内每个光纤中心的灰度值；用光纤中心的灰度值进行空间插值，得到重建图像中光纤束内其他像素点的灰度值，形成重建图像。
具体的，由光发射单元01发出的激发光，激发光经过转向单元03(即对特定频率的光进行透射，对非特定频率的进行反射)、沿着光纤束04激发染色后的组织(例如，人体内的细胞组织)，激发后的荧光沿着光纤束、转向单元03到探测单元05进行图像采集，该探测单元05可以为电荷耦合元件(Charge-coupled Device，简称“CCD”)，也叫做图像传感器或图像控制器，是一种半导体器件，能够把光学影像转化为电信号。其中，光发射单元01发出的激发光聚焦到组织的某一焦平面上，通过相位调节单元02根据处理单元06发送的相位调节量，调节激发光的相位，得到不同相位的激发光；处理单元06对多个相位(例如，三个相位)激发荧光成像，运用Neil公式，使得焦平面外的背景荧光被滤掉，从而实现层析成像。层析成像技术是借鉴医学CT，根据射线扫描，对所得到的信息进行反演计算，重建被测范围内岩体弹性波和电磁波参数分布规律的图像，从而达到圈定地质异常体的一种物探反演解释方法。具体的，处理单元06通过对多个相位的多幅样本图像中确定出的光纤束中每个光纤中心位置的灰度值，计算重建图像中光纤束内每个光纤中心的灰度值；用光纤中心的灰度值进行空间插值，得到重建图像中光纤束内其他像素点的灰度值，形成重建图像。
本实施例的显微成像装置，包括：光发射单元、相位调节单元、转向单元、包含多个光纤的光纤束、探测单元、处理单元，其中：光发射单元用于发射激发光；相位调节单元设置在激发光的光路出口处，且与处理单元连接，用于根据处理单元发送的相位调节量，调节激发光的相位，得到不同相位的激发光；转向单元用于对不同相位的激发光进行转向，以使转向后的激发光沿着光纤束聚焦到待检测组织，并透过待检测组织返回的不同相位的荧光；探测单元用于对不同相位的荧光进行采集，形成多幅样本图像；处理单元与探测单元连接，用于接收多幅样本图像，并在多幅样本图像中确定出的光纤束中每个光纤中心位置的灰度值，计算重建图像中光纤束内每个光纤中心的灰度值；用光纤中心的灰度值进行空间插值，得到重建图像中光纤束内其他像素点的灰度值，形成重建图像。实现相位调节单元根据处理单元发送的相位调节量调节激发光的相位，并使得处理单元可以获取到其所需相位的多幅样本图像，从而提高多幅样本图像处理后得到的重建图像的成像质量，采用该装置还可以减少重建图像中像素点灰度值的计算量，加快图像重建的速率。
图8为另一示例性实施例示出的本发明显微成像装置的结构示意图，如图8所示，在上一实施例的基础上，相位调节单元02包括：电机021、光栅022；
电机021与处理单元06、光栅022分别连接，用于根据处理单元06发送的相位调节量，拖动光栅022移动，以使激发光透射光栅022后得到与相位调节量对应的激发光。
可选的，电机021包括：直流电机；处理单元06根据预设相位间隔，确定等间隔的相位调节量；直流电机接收等间隔的相位调节量，拖动光栅022在一个光栅间距范围内移动等间隔距离，以使处理单元06获取到与预设相位间隔对应的多幅样本图像。
具体的，处理单元06驱动直流电机拖动光栅022移动，以获取到多幅样本图像。样本图像中包含了光纤束04中各个光纤所传递出的像素信息，对于光纤束04来说，一根光纤束04通常由近三万根光纤(数目差异可达到几千)组成。每根光纤中都传导着像素信息，因此，光纤束04又可被称为多传感器。光纤成像的示意图如图4所示，光纤的成像在图像中呈现六角蜂窝状，每个光纤直径以5到6个像素为宜。在多幅样本图像中，确定出每个光纤的中心位置，并获取到各个中心位置像素点的灰度值。对中心位置的灰度值的确定方法可以采用均方根公式求得，也就是对多幅样本图像中的同一中心位置的灰度值求取其灰度值的均值，以所计算出的灰度值均值作为重建后图像中该光纤中心的灰度值，进而得到重建图像中光纤束04内每个光纤中心的灰度值。
可选的，预设相位间隔为120度；相位调节量为3个。
举例来说，安装光栅022，并通过电机021拖动光栅022移动，以获取到N幅光纤束的样本图像。例如，开始采集样本图像前，在电机021的初始位置处拍摄一张样本图像；然后电机021移动到另一位置，再拍摄一张样本图像；电机021再移动，再拍摄，从而得到N幅样本图像。为了保证所获取到的样本图像的准确性，可以使电机021顺时针旋转多个位置以获取到上述的N幅样本图像，再等待一段时间后，使电机021逆时针反方向移动，再获取N幅样本图像，这样可以重建出两幅结构光的图像，通过比对，保证重建图像的准确性。对于预设相位间隔为120度，相位调节量为3个(即N＝3)的情况，电机021拖动光栅做水平移动，每次移动预设相位间隔阈值为1/3的光栅022间距。开始采集前，在电机021移动初始位置相机拍摄一张，电机021移动，拍摄，电机021再移动，拍摄，得到了三个相位的样本图像后重建图像；然后为了周期一致，等待一段时间；再拍摄，反方向移动......这样电机021来回往返移动一次，能重建两幅结构光的图像。三幅样本图像可以分别是0度相位样本图像I1(初始相位)，120度相位样本图像I2(移动一个预设相位间隔阈值)，240度相位样本图像I3(移动两个预设相位间隔阈值)，在这三幅样本图像中根据光纤中心位置，检索三个相位图像的光纤中心的灰度，即得到0度相位样本图像I1的光纤中心灰度值G1，120度相位样本图像I2的光纤中心灰度值G2，240度相位样本图像I3的光纤中心灰度值G3。
可选的，光发射单元01包括：激光器011，用于发射激发光；还包括：扩束线聚焦器012，设置在激光器011的激发光的出口处，用于将激发光扩束并一维聚焦为线光束。
激光器011用于发射激发光。其可以为发射特定波长的准直激光的激光器。所述特定波长范围可以为20nm-2000nm。该波长范围内的激光可以激发大范围的荧光体。激光器011可以为量子阱激光器、固态激光器、气体激光器(例如氩离子激光器)或者激光二极管。扩束线聚焦器012设置在激光器011的激发光的出口处，用于将激发光扩束并一维聚焦为线光束。其可以包括扩束透镜和柱透镜。扩束透镜配合将激光器011发出的准直光束进行扩束，以改变准直光束的直径，柱透镜将扩束后的光束一维聚焦为线光束并传导至转向单元03。
可选的，转向单元03为二分镜，或叫做二向色镜。其波长范围可以在40nm-2200nm波长范围内，可以实现对特定频率的光进行透射，对非特定频率的进行反射的作用。
可选的，还包括：滤光片07；滤光片07设置于相位调节单元02和转向单元03之间，用于滤除杂散光，以提高样本图像的成像质量，进而提高重建图像的成像质量。
可选的，探测单元05包括：电荷耦合元件CCD。该探测单元05可以为线阵探测单元，也可以是面阵探测单元。例如，CCD(电荷耦合元件)线阵相机或CMOS(互补金属氧化物半导体)线阵相机等。线阵探测单元的成像速度在几十帧到几千万帧的范围内。
可选的，还包括：由多个透镜组成的物镜08；物镜08设置在转向单元03和光纤束04之间，用于对转向单元03转向后的激发光进行聚焦处理。
该显微成像装置可用于实现图1、图3任一方法实施例的图像重建方法，实现原理相似，在此不再赘述。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (11)

1.一种图像重建方法，其特征在于，包括：
根据在一幅或者多幅样本图像中确定出的每个光纤中心位置的灰度值，计算重建图像中光纤束内每个光纤中心的灰度值；
用光纤中心的灰度值进行空间插值，得到重建图像中光纤束内其他像素点的灰度值，形成所述重建图像。
2.如权利要求1所述的方法，其特征在于，还包括：
获取均匀荧光的光纤束的原始图像；
在所述原始图像中确认像素值高于周边像素值的目标像素点，将所述目标像素点确定为光纤束中各光纤的中心位置。
3.如权利要求2所述的方法，其特征在于，所述获取均匀荧光的光纤束的原始图像包括：
在一个光栅间隔距离范围内，采集间隔预设步长的多个光纤束图像；
对所述多个光纤束图像求取其均值图像，形成所述均匀荧光的光纤束的原始图像。
4.如权利要求1所述的方法，其特征在于，执行所述空间插值前还包括：
根据每个光纤的中心位置，确定光纤束内各个像素点与每个光纤的所述中心位置之间的插值权值。
5.如权利要求4所述的方法，其特征在于，还包括采用如下方法确定所述插值权值：
以每个光纤的中心位置、以及相邻光纤的中心位置作为顶点，形成多个三角形结构；
根据所述三角形结构，确定每个三角形结构内的像素点与每个光纤的中心位置之间的插值权值。
6.如权利要求1所述的方法，其特征在于，还包括采用如下方法获取多幅样本图像：
根据预设相位间隔，在一个光栅间隔距离内移动N-1次，获取得到包含初始相位，距离所述初始相位每次移动所述预设相位间隔的N幅样本图像。
7.如权利要求6所述的方法，其特征在于：
所述预设相位间隔为120度；
N＝3。
8.根据权利要求1所述的方法，其特征在于，所述在所述一幅或者多幅样本图像中确定出每个光纤中心位置的灰度值之后，还包括：
对每个光纤中心位置的灰度值进行饱和度判断；
若在所述样本图像中存在中心位置的灰度值超出预设饱和度阈值的光纤，则确定所述超出预设饱和度阈值的光纤为待校正光纤；
在重建图像中将所述待校正光纤的中心位置的灰度值校正为所述预设饱和度阈值，根据校正后的所述样本图像中确定出的每个光纤中心位置的灰度值，执行计算重建图像中光纤束内每个光纤中心的灰度值的步骤；
若在所述样本图像中不存在中心位置的灰度值超出预设饱和度阈值的光纤，则根据在所述样本图像中确定出的每个光纤中心位置的灰度值，执行计算重建图像中光纤束内每个光纤中心的灰度值的步骤。
9.根据权利要求1所述的方法，其特征在于，所述根据在多幅样本图像中确定出的每个光纤中心位置的灰度值，计算重建图像中光纤束内每个光纤中心的灰度值，包括：
将每个光纤中心位置在所述多幅样本图像中的灰度值彼此作差，得到的差值取平方和再开方，得到重建图像中光纤束内每个光纤中心的灰度值。
10.一种图像重建装置，其特征在于，包括：
计算模块，用于根据在一幅或者多幅样本图像中确定出的每个光纤中心位置的灰度值，计算重建图像中光纤束内每个光纤中心的灰度值；
形成模块，用于用光纤中心的灰度值进行空间插值，得到重建图像中光纤束内其他像素点的灰度值，形成所述重建图像。
11.一种显微成像装置，其特征在于，包括：光发射单元、相位调节单元、转向单元、包含多个光纤的光纤束、探测单元、处理单元，其中：
所述光发射单元用于发射激发光；
所述相位调节单元设置在所述激发光的光路出口处，且与所述处理单元连接，用于根据所述处理单元发送的相位调节量，调节所述激发光的相位，得到不同相位的激发光；
所述转向单元用于对不同相位的激发光进行转向，以使转向后的激发光沿着所述光纤束聚焦到待检测组织，并透过所述待检测组织返回的不同相位的荧光；
所述探测单元用于对不同相位的荧光进行采集，形成多幅样本图像；
所述处理单元与所述探测单元连接，用于接收所述多幅样本图像，并在多幅样本图像中确定出的所述光纤束中每个光纤中心位置的灰度值，计算重建图像中光纤束内每个光纤中心的灰度值；用光纤中心的灰度值进行空间插值，得到重建图像中光纤束内其他像素点的灰度值，形成所述重建图像。
CN201710959434.8A 2017-10-16 2017-10-16 图像重建方法、装置及显微成像装置 Active CN107621463B (zh)

Priority Applications (11)

Application Number Priority Date Filing Date Title
CN201710959434.8A CN107621463B (zh) 2017-10-16 2017-10-16 图像重建方法、装置及显微成像装置
MX2020003985A MX2020003985A (es) 2017-10-16 2018-09-29 Metodo de reconstruccion de imagenes, dispositivo y dispositivo de imagen microscopica.
RU2020115467A RU2747129C1 (ru) 2017-10-16 2018-09-29 Способ и устройство для реконструкции изображения, а также устройство для формирования изображения в микроскопе
EP18868288.4A EP3699576A4 (en) 2017-10-16 2018-09-29 IMAGE RECONSTRUCTION METHOD AND DEVICE, AND MICROSCOPE IMAGING DEVICE
PCT/CN2018/108865 WO2019076192A1 (zh) 2017-10-16 2018-09-29 图像重建方法、装置及显微成像装置
JP2020541842A JP7064796B2 (ja) 2017-10-16 2018-09-29 画像再構成方法、装置及び顕微結像装置
CA3079243A CA3079243C (en) 2017-10-16 2018-09-29 Image reconstruction method, device and microscopic imaging device
BR112020007609-0A BR112020007609B1 (pt) 2017-10-16 2018-09-29 Método e dispositivo de reconstrução de imagem e dispositivo de imagiologia microscópica
KR1020207013484A KR102358848B1 (ko) 2017-10-16 2018-09-29 이미지 재건 방법, 장치 및 현미 이미징 장치
AU2018352821A AU2018352821B2 (en) 2017-10-16 2018-09-29 Image reconstruction method, device and microscopic imaging device
US16/850,077 US11449964B2 (en) 2017-10-16 2020-04-16 Image reconstruction method, device and microscopic imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710959434.8A CN107621463B (zh) 2017-10-16 2017-10-16 图像重建方法、装置及显微成像装置

Publications (2)

Publication Number Publication Date
CN107621463A true CN107621463A (zh) 2018-01-23
CN107621463B CN107621463B (zh) 2024-03-22

Family

ID=61092506

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710959434.8A Active CN107621463B (zh) 2017-10-16 2017-10-16 图像重建方法、装置及显微成像装置

Country Status (11)

Country Link
US (1) US11449964B2 (zh)
EP (1) EP3699576A4 (zh)
JP (1) JP7064796B2 (zh)
KR (1) KR102358848B1 (zh)
CN (1) CN107621463B (zh)
AU (1) AU2018352821B2 (zh)
BR (1) BR112020007609B1 (zh)
CA (1) CA3079243C (zh)
MX (1) MX2020003985A (zh)
RU (1) RU2747129C1 (zh)
WO (1) WO2019076192A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019076192A1 (zh) * 2017-10-16 2019-04-25 苏州微景医学科技有限公司 图像重建方法、装置及显微成像装置
WO2019076267A1 (zh) * 2017-10-16 2019-04-25 苏州微景医学科技有限公司 光纤束图像分析方法和装置
CN111024659A (zh) * 2019-11-28 2020-04-17 浙江大学 一种基于并行探测的多图像重建显微成像方法和装置
CN111461975A (zh) * 2020-03-17 2020-07-28 中国科学院苏州生物医学工程技术研究所 光纤束超分辨成像方法、系统、计算机设备和存储介质
CN113570520A (zh) * 2021-07-28 2021-10-29 苏州微景医学科技有限公司 光纤图像校正方法、装置和计算机可读存储介质
CN113962918A (zh) * 2020-06-08 2022-01-21 飞巽传感技术(上海)有限公司 一种光纤纤芯的聚焦方法及系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1874499A (zh) * 2006-05-12 2006-12-06 北京理工大学 一种高动态、超分辨率图像重建装置
DE102007018048A1 (de) * 2007-04-13 2008-10-16 Michael Schwertner Verfahren und Anordnung zur optischen Abbildung mit Tiefendiskriminierung
US20090092363A1 (en) * 2006-03-14 2009-04-09 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Method and device for generating a structure-free fiberscopic picture
CN101692971A (zh) * 2009-10-13 2010-04-14 西安电子科技大学 非接触式光学断层成像方法
US20100321773A1 (en) * 2009-06-19 2010-12-23 Industrial Technology Research Institute Method and system for three-dimensional polarization-based confocal microscopy
US20120140882A1 (en) * 2010-12-07 2012-06-07 Fujifilm Corporation Radiographic system
JP2013192063A (ja) * 2012-03-14 2013-09-26 Hitachi-Ge Nuclear Energy Ltd 画像処理方法および装置
CN103438802A (zh) * 2013-09-17 2013-12-11 侯俊 光纤涂覆层几何参数测量方法
CN103592722A (zh) * 2013-08-22 2014-02-19 浙江大学 一种熊猫型保偏光纤侧视对轴装置及方法
US20150187096A1 (en) * 2013-12-30 2015-07-02 Carestream Health, Inc. Phase retrieval from differential phase contrast imaging
CN106031143A (zh) * 2014-02-21 2016-10-12 皇家飞利浦有限公司 颜色空间和用于视频的解码器

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5436980A (en) * 1988-05-10 1995-07-25 E. I. Du Pont De Nemours And Company Method for determining quality of dispersion of glass fibers in a thermoplastic resin preform layer and preform layer characterized thereby
JPH04138127A (ja) * 1990-09-28 1992-05-12 Olympus Optical Co Ltd 内視鏡網目画像軽減装置
AUPQ685900A0 (en) * 2000-04-12 2000-05-11 Goyen Controls Co Pty Limited Method and apparatus for detecting particles in a gas flow
JP4440764B2 (ja) * 2002-12-05 2010-03-24 テレフオンアクチーボラゲット エル エム エリクソン（パブル） 融着温度の校正方法および校正装置
CN100417225C (zh) * 2005-10-27 2008-09-03 中国科学院上海技术物理研究所 基于光纤耦合的焦平面阵列图像时空变换的方法
DE102007026595A1 (de) * 2007-06-08 2008-12-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zur Kompensation von Farbverschiebungen in faseroptischen Abbildungssystemen
EP2171516A1 (en) * 2007-07-06 2010-04-07 National University of Signapore Fluorescence focal modulation microscopy system and method
KR101260051B1 (ko) * 2012-01-30 2013-05-06 한국화학연구원 살아있는 세포에 대한 명시야 이미징 및 형광 이미징의 동시 수행이 가능한 세포 이미징 장치 및 방법
US9885859B2 (en) * 2012-07-05 2018-02-06 Martin Russell Harris Structured illumination microscopy apparatus and method
JP2016109579A (ja) * 2014-12-08 2016-06-20 ソニー株式会社 情報処理装置、画像取得システム、情報処理方法、画像情報取得方法及びプログラム
CN104794475B (zh) * 2015-04-03 2018-04-27 燕山大学 一种光子晶体光纤的端面结构特征提取方法
CN106447717B (zh) * 2016-09-30 2019-05-03 中国科学院自动化研究所 一种基于多角度的选择性光片照明显微成像的重建方法
CN106981090B (zh) * 2017-02-16 2020-04-28 南京邮电大学 一种管内步进单向光束扫描断层图像的三维重建方法
CN107621463B (zh) 2017-10-16 2024-03-22 苏州微景医学科技有限公司 图像重建方法、装置及显微成像装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090092363A1 (en) * 2006-03-14 2009-04-09 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Method and device for generating a structure-free fiberscopic picture
CN1874499A (zh) * 2006-05-12 2006-12-06 北京理工大学 一种高动态、超分辨率图像重建装置
DE102007018048A1 (de) * 2007-04-13 2008-10-16 Michael Schwertner Verfahren und Anordnung zur optischen Abbildung mit Tiefendiskriminierung
US20100321773A1 (en) * 2009-06-19 2010-12-23 Industrial Technology Research Institute Method and system for three-dimensional polarization-based confocal microscopy
CN101692971A (zh) * 2009-10-13 2010-04-14 西安电子科技大学 非接触式光学断层成像方法
US20120140882A1 (en) * 2010-12-07 2012-06-07 Fujifilm Corporation Radiographic system
JP2013192063A (ja) * 2012-03-14 2013-09-26 Hitachi-Ge Nuclear Energy Ltd 画像処理方法および装置
CN103592722A (zh) * 2013-08-22 2014-02-19 浙江大学 一种熊猫型保偏光纤侧视对轴装置及方法
CN103438802A (zh) * 2013-09-17 2013-12-11 侯俊 光纤涂覆层几何参数测量方法
US20150187096A1 (en) * 2013-12-30 2015-07-02 Carestream Health, Inc. Phase retrieval from differential phase contrast imaging
CN106031143A (zh) * 2014-02-21 2016-10-12 皇家飞利浦有限公司 颜色空间和用于视频的解码器

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
NENAD BOZINOVIC ETAL: "Fluorescence endomicroscopy with structured illumination", vol. 16, no. 16, pages 43 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019076192A1 (zh) * 2017-10-16 2019-04-25 苏州微景医学科技有限公司 图像重建方法、装置及显微成像装置
WO2019076267A1 (zh) * 2017-10-16 2019-04-25 苏州微景医学科技有限公司 光纤束图像分析方法和装置
US11449964B2 (en) 2017-10-16 2022-09-20 Suzhou Microview Medical Technologies Co., Ltd. Image reconstruction method, device and microscopic imaging device
CN111024659A (zh) * 2019-11-28 2020-04-17 浙江大学 一种基于并行探测的多图像重建显微成像方法和装置
CN111024659B (zh) * 2019-11-28 2020-12-11 浙江大学 一种基于并行探测的多图像重建显微成像方法和装置
CN111461975A (zh) * 2020-03-17 2020-07-28 中国科学院苏州生物医学工程技术研究所 光纤束超分辨成像方法、系统、计算机设备和存储介质
CN111461975B (zh) * 2020-03-17 2021-04-23 中国科学院苏州生物医学工程技术研究所 光纤束超分辨成像方法、系统、计算机设备和存储介质
CN113962918A (zh) * 2020-06-08 2022-01-21 飞巽传感技术(上海)有限公司 一种光纤纤芯的聚焦方法及系统
CN113570520A (zh) * 2021-07-28 2021-10-29 苏州微景医学科技有限公司 光纤图像校正方法、装置和计算机可读存储介质
CN113570520B (zh) * 2021-07-28 2024-09-20 苏州微景医学科技有限公司 光纤图像校正方法、装置和计算机可读存储介质

Also Published As

Publication number Publication date
US20200242732A1 (en) 2020-07-30
MX2020003985A (es) 2020-08-13
CN107621463B (zh) 2024-03-22
CA3079243A1 (en) 2019-04-25
WO2019076192A1 (zh) 2019-04-25
US11449964B2 (en) 2022-09-20
KR20200070313A (ko) 2020-06-17
AU2018352821B2 (en) 2021-09-16
KR102358848B1 (ko) 2022-02-08
RU2747129C1 (ru) 2021-04-28
AU2018352821A1 (en) 2020-05-14
EP3699576A1 (en) 2020-08-26
EP3699576A4 (en) 2020-11-25
BR112020007609A2 (pt) 2020-11-10
CA3079243C (en) 2023-05-16
JP2020537162A (ja) 2020-12-17
JP7064796B2 (ja) 2022-05-11
BR112020007609B1 (pt) 2023-11-28

Similar Documents

Publication Publication Date Title
CN107621463A (zh) 图像重建方法、装置及显微成像装置
Sibarita Deconvolution microscopy
CN103472256B (zh) 基于面阵ccd空间滤波器的流动二维速度场测量方法及装置
CN113383225A (zh) 使用深度学习将二维荧光波传播到表面上的系统和方法
JP4806630B2 (ja) 多軸統合を用いて三次元対象物の光学的画像データを取得する方法
US20080277567A1 (en) Fast laser scanning optical CT apparatus
US20060122498A1 (en) Optical projection tomography
JP2013531268A (ja) 符号化開口を使用した距離の測定
CA2996231C (en) Scan-based imaging with variable scan speed using predictions of region-of-interest positions
EP3520074B1 (en) Method for the analysis of spatial and temporal information of samples by means of optical microscopy
CN112535465A (zh) 一种基于片层光的三维血流速度成像方法及装置
JP2021509181A (ja) プログラマブル・アレイ顕微鏡を用いた光学共焦点結像のための方法および装置
Dumripatanachod et al. A fast depixelation method of fiber bundle image for an embedded system
US20100158333A1 (en) Resolution improvement in emission optical projection tomography
US9696255B2 (en) Image processing method of two-photon structured illumination point scanning microscopy
DE102013009634B4 (de) Plenoptisches Bildgebungsverfahren
Damian et al. The evaluation of single-pixel camera resolution
CN112508171A (zh) 一种基于多层卷积神经网络的图像深度估计方法和装置
CN116539576A (zh) 寻址扫描超分辨率显微成像方法及相关设备
ALMEIDA et al. A Richardson-Lucy Algorithm using a varying Point Spread Function along the iterations
Fersini et al. Direct access to optical aberration information in fluorescence laser scanning microscopy using detector arrays
CN116869483A (zh) 一种自适应散射的深穿透显微内窥成像方法、装置和介质
Malkusch et al. Digital light microscopy: Prerequisite for optimum contrast enhancement and increase of resolution
KR100783584B1 (ko) 비광축 스톱을 이용한 2.5차원 단층 영상용 현미경 시스템
Corbett et al. Toward multi-focal spot remote focusing two-photon microscopy for high speed imaging

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20180502

Address after: 215123 B902 room 388, Shui Shui Road, Suzhou Industrial Park, Suzhou, Jiangsu

Applicant after: SUZHOU WEIJING MEDICAL TECHNOLOGY Co.,Ltd.

Applicant after: NANJING GENRUI MEDICAL TECHNOLOGY Co.,Ltd.

Address before: 210061 room 810-2, building A, phase 1, China Danish Life Science Industrial Park, No. 3-1, new Kumho Road, Nanjing hi tech Development Zone, Jiangsu

Applicant before: NANJING GENRUI MEDICAL TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20190708

Address after: 215123 B902 room 388, Shui Shui Road, Suzhou Industrial Park, Suzhou, Jiangsu

Applicant after: SUZHOU WEIJING MEDICAL TECHNOLOGY Co.,Ltd.

Address before: 215123 B902 room 388, Shui Shui Road, Suzhou Industrial Park, Suzhou, Jiangsu

Applicant before: SUZHOU WEIJING MEDICAL TECHNOLOGY Co.,Ltd.

Applicant before: NANJING GENRUI MEDICAL TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant