JP2020537162A - 画像再構成方法、装置及び顕微結像装置 - Google Patents

画像再構成方法、装置及び顕微結像装置 Download PDF

Info

Publication number
JP2020537162A
JP2020537162A JP2020541842A JP2020541842A JP2020537162A JP 2020537162 A JP2020537162 A JP 2020537162A JP 2020541842 A JP2020541842 A JP 2020541842A JP 2020541842 A JP2020541842 A JP 2020541842A JP 2020537162 A JP2020537162 A JP 2020537162A
Authority
JP
Japan
Prior art keywords
optical fiber
image
center position
grayscale value
optical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020541842A
Other languages
English (en)
Other versions
JP7064796B2 (ja
Inventor
金華 邵
金華 邵
錦 孫
錦 孫
后利 段
后利 段
強 王
強 王
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Microview Medical Technologies Co ltd
Original Assignee
Suzhou Microview Medical Technologies Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Microview Medical Technologies Co ltd filed Critical Suzhou Microview Medical Technologies Co ltd
Publication of JP2020537162A publication Critical patent/JP2020537162A/ja
Application granted granted Critical
Publication of JP7064796B2 publication Critical patent/JP7064796B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/6408Fluorescence; Phosphorescence with measurement of decay time, time resolved fluorescence
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N21/6456Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458Fluorescence microscopy
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/6486Measuring fluorescence of biological material, e.g. DNA, RNA, cells
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0036Scanning details, e.g. scanning stages
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • G02B21/0076Optical details of the image generation arrangements using fluorescence or luminescence
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008Details of detection or image processing, including general computer control
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/02Objectives
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • G02B21/08Condensers
    • G02B21/082Condensers for incident illumination only
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/16Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N2021/6463Optics
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N2021/6484Optical fibres
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00Features of devices classified in G01N21/00
    • G01N2201/06Illumination; Optics
    • G01N2201/063Illuminating optical parts
    • G01N2201/0635Structured illumination, e.g. with grating
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00Features of devices classified in G01N21/00
    • G01N2201/08Optical fibres; light guides
    • G01N2201/0826Fibre array at source, distributing
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00Features of devices classified in G01N21/00
    • G01N2201/08Optical fibres; light guides
    • G01N2201/0833Fibre array at detector, resolving
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10064Fluorescence image

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Microscoopes, Condenser (AREA)
  • Image Processing (AREA)

Abstract

本発明は、画像再構成方法、装置及び顕微結像装置を提供する。1つ又は複数のサンプル画像で確定された各光ファイバの中心位置のグレースケール値に基づいて、再構成画像内の光ファイバ束の各光ファイバの中心のグレースケール値を計算しており、光ファイバの中心のグレースケール値を使用して空間補間を行って、再構成画像内の光ファイバ束の他の画素点のグレースケール値を取得し、再構成画像を形成する。この画像再構成方法では、光ファイバの中心位置の画素点のグレースケール値を計算するだけで、空間補間に基づいて画像全体の画素点のグレースケール値を取得するため、各画素点のグレースケール値を計算するための計算量が削減され、画像再構成の速度が大幅に加速される。また、この方法は、再構成画像内の光学格子と光ファイバ束のハニカム状グリッドの残留の除去を容易にし、再構成画像の結像品質を改善する。

Description

本発明は画像処理技術に関し、特に、画像再構成方法、装置及び顕微結像装置に関する。
構造化照明(structured illumination)に基づく顕微鏡は、焦点はずれ(out of focus)ノイズを抑制するセクショニング(sectioning)結像機能を有し、共焦点顕微鏡と比較すると、構造が簡単で結像速度が速いという利点を有する。現在の技術では、それは従来の内視鏡としてよく利用され、人の消化管などの臓器をスキャンして細胞の形状変化を観察することで、腫瘍の発生や進展を事前に予測することができ、癌検診にとって重要な指針となる。
この構造化光照明に基づく顕微鏡では、具体的には、励起器によって、生体蛍光を励起する蛍光を放出し、次に、この蛍光が光学格子を通過して、黒白の縞模様の正弦波光源が形成される。次に、毎回光学格子の1/3の光学格子間隔を移動することで、人の細胞をスキャンした後に返された複数枚の画像、例えば、画像I1、画像I2、画像I3を収集する。次に、自乗平均根式
に従って、画像I1、画像I2、画像I3を再構成して、再構成後の画像Iを取得する。しかしながら、その再構成方法では、画像I1、画像I2、画像I3内の全ての画素のグレースケールを自乗平均根式で計算する必要がある。そのため、計算に時間がかかり、再構成された画像内の光学格子及び光ファイバ束(fiber bundle)のハニカム状グリッドが明らかに残り、結像品質が低下する。
構造化光照明に基づく顕微鏡が画像の再構成に対して効率的ではなく、画像内の残留光学格子が明らかであり、結像の品質が低下するという従来技術の技術的問題を解決するために、本発明は、画像再構成方法、装置及び顕微結像装置を提供して、画像再構成の速度を上げ、再構成画像内の光学格子の残留を除去し、再構成された画像の品質を向上させる。
本発明は画像再構成方法を提供する。この方法は、
1枚又は複数枚のサンプル画像で確定された各光ファイバの中心位置のグレースケール値に基づいて、再構成画像内の光ファイバ束の各光ファイバの中心のグレースケール値を計算するステップと、
光ファイバの中心のグレースケール値を使用して空間補間を行って、再構成画像内の光ファイバ束の他の画素点のグレースケール値を取得し、前記再構成画像を形成するステップと、を含む。
オプションで、
均一な蛍光の光ファイバ束の原画像を取得するステップと、
前記原画像において、周囲の画素値よりも高い画素値を有する目標画素点を確認し、前記目標画素点を光ファイバ束の各光ファイバの中心位置として確定するステップとを更に含む。
オプションで、均一な蛍光の光ファイバ束の原画像を取得する前記ステップは、
1つの光学格子間隔距離範囲内で、予め設定されたステップサイズの間隔をおいた複数の光ファイバ束の画像を収集するステップと、
前記複数の光ファイバ束の画像に対してそれらの平均画像を取得し、前記均一な蛍光の光ファイバ束の原画像を形成するステップと、を含む。
オプションで、前記空間補間を行うステップの前に、
各光ファイバの中心位置に基づいて、光ファイバ束の各画素点と各光ファイバの前記中心位置との間の補間重みを確定するステップを更に含む。
オプションで、以下の方法を使用して補間重みを確定するステップをさらに含む:
各光ファイバの中心位置、及び隣接する光ファイバの中心位置を頂点として、複数の三角形構造を形成し、
前記三角形構造に基づいて、各三角形構造内の画素点と各光ファイバの中心位置との間の補間重みを確定する。
オプションで、以下の方法を使用して複数枚のサンプル画像を取得するステップを更に含む。
予め設定された位相間隔に従って、1つの光学格子間隔距離内でN−1回移動して、初期位相を含む、前記初期位相から毎回前記予め設定された位相間隔を移動したN枚のサンプル画像を取得する。
オプションで、前記予め設定された位相間隔は120度であり、N=3である。
オプションで、1枚又は複数枚のサンプル画像で各光ファイバの中心位置のグレースケール値を確定する前記ステップの後に、
各光ファイバの中心位置のグレースケール値に対して飽和度判断を行うステップと
前記サンプル画像において中心位置のグレースケール値が予め設定された飽和度閾値を超えた光ファイバがある場合、前記予め設定された飽和度閾値を超えた光ファイバを校正対象の光ファイバとして確定しており、
再構成画像で、前記校正対象の光ファイバの中心位置のグレースケール値を前記予め設定された飽和度閾値に校正し、校正された前記サンプル画像で確定された各光ファイバの中心位置のグレースケール値に基づいて、再構成画像内の光ファイバ束の各光ファイバの中心のグレースケール値を計算するステップと、
前記サンプル画像において中心位置のグレースケール値が予め設定された飽和度閾値を超えた光ファイバがない場合、前記サンプル画像で確定された各光ファイバの中心位置のグレースケール値に基づいて、再構成画像内の光ファイバ束の各光ファイバの中心のグレースケール値を計算するステップと、を更に含む。
オプションで、複数枚のサンプル画像で確定された各光ファイバの中心位置のグレースケール値に基づいて、再構成画像内の光ファイバ束の各光ファイバの中心のグレースケール値を計算する前記ステップは、
各光ファイバの中心位置の前記複数枚のサンプル画像におけるグレースケール値の互いの差を計算し、得られた差の平方和を計算して平方を開いて、再構成画像内の光ファイバ束の各光ファイバ中心のグレースケール値を取得するステップを含む。
本発明は画像再構成装置を更に提供する。この装置は、
1枚又は複数枚のサンプル画像で確定された各光ファイバの中心位置のグレースケール値に基づいて、再構成画像内の光ファイバ束の各光ファイバの中心のグレースケール値を計算するための計算モジュールと、
光ファイバの中心のグレースケール値を使用して空間補間を行って、再構成画像内の光ファイバ束の他の画素点のグレースケール値を取得し、前記再構成画像を形成するための形成モジュールと、を備える。
オプションで、
均一な蛍光の光ファイバ束の原画像を取得するための第1取得モジュールと、
前記原画像において、周囲の画素値よりも高い画素値を有する目標画素点を確認し、前記目標画素点を光ファイバ束の各光ファイバの中心位置として確定するための第1確定モジュールとを更に備える。
オプションで、前記第1取得モジュールは、
1つの光学格子間隔距離範囲内で、予め設定されたステップサイズの間隔をおいた複数の光ファイバ束の画像を収集するための収集サブモジュールと、
前記複数の光ファイバ束の画像に対してそれらの平均画像を取得し、前記均一な蛍光の光ファイバ束の原画像を形成するための形成サブモジュールと、を含む。
オプションで、前記装置は、
各光ファイバの中心位置に基づいて、光ファイバ束の各画素点と各光ファイバの前記中心位置との間の補間重みを確定するための第2確定モジュールを更に備える。
オプションで、前記装置は、
各光ファイバの中心位置、及び隣接する光ファイバの中心位置を頂点として、複数の三角形構造を形成し、前記三角形構造に基づいて、各三角形構造内の画素点と各光ファイバの中心位置との間の補間重みを確定するための第3確定モジュールを更に備える。
オプションで、前記装置は、
予め設定された位相間隔に従って、1つの光学格子間隔距離内でN−1回移動して、初期位相を含む、前記初期位相から毎回前記予め設定された位相間隔を移動したN枚のサンプル画像を取得するための第2取得モジュールを更に備える。
オプションで、前記予め設定された位相間隔は120度であり、
N=3である。
オプションで、前記装置は、
各光ファイバの中心位置のグレースケール値に対して飽和度判断を行うための判断モジュールと
前記サンプル画像において中心位置のグレースケール値が予め設定された飽和度閾値を超えた光ファイバがある場合、前記予め設定された飽和度閾値を超えた光ファイバを校正対象の光ファイバとして確定しており、再構成画像で、前記校正対象の光ファイバの中心位置のグレースケール値を前記予め設定された飽和度閾値に校正し、校正された前記サンプル画像で確定された各光ファイバの中心位置のグレースケール値に基づいて、再構成画像内の光ファイバ束の各光ファイバの中心のグレースケール値を計算するための第1処理モジュールと、
前記サンプル画像において中心位置のグレースケール値が予め設定された飽和度閾値を超えた光ファイバがない場合、前記サンプル画像で確定された各光ファイバの中心位置のグレースケール値に基づいて、再構成画像内の光ファイバ束の各光ファイバの中心のグレースケール値を計算するための第2処理モジュールと、を更に備える。
オプションで、前記計算モジュールは、具体的には各光ファイバの中心位置の前記複数枚のサンプル画像におけるグレースケール値の互いの差を計算し、得られた差の平方和を計算して平方を開いて、再構成画像内の光ファイバ束の各光ファイバ中心のグレースケール値を取得するために使用される。
本発明は顕微結像装置を更に提供する。この顕微結像装置は、
発光ユニットと、位相調節ユニットと、転向ユニットと、複数の光ファイバを含む光ファイバ束と、検出ユニットと、処理ユニットとを備え、
前記発光ユニットは、励起光を放射するために使用され、
前記位相調節ユニットは、前記励起光の光路の出口に設けられ、前記処理ユニットに接続され、前記処理ユニットによって送信された位相調節量に従って、前記励起光の位相を調節して、異なる位相の励起光を取得するために使用され、
前記転向ユニットは、異なる位相の励起光を転向させて、転向後の励起光を前記光ファイバ束に沿って検出される組織に集光し、前記検出される組織によって返される異なる位相の蛍光を通過するために使用され、
前記検出ユニットは、異なる位相の蛍光を収集して、複数枚のサンプル画像を形成するために使用され、
前記処理ユニットは、前記検出ユニットに接続され、前記複数枚のサンプル画像を受信し、複数枚のサンプル画像で確定された前記光ファイバ束の各光ファイバの中心位置のグレースケール値に基づいて、再構成画像内の光ファイバ束の各光ファイバの中心のグレースケール値を計算しており、光ファイバの中心のグレースケール値を使用して空間補間を行って、再構成画像内の光ファイバ束の他の画素点のグレースケール値を取得し、前記再構成画像を形成するために使用される。
オプションで、前記位相調節ユニットはモーターと光学格子を含み、
前記モーターは、前記処理ユニット及び前記光学格子にそれぞれ接続され、前記処理ユニットによって送信された位相調節量に従って、前記光学格子をドラッグして移動させて、前記励起光が前記光学格子を透過した後に前記位相調節量に対応する励起光を取得するために使用される。
オプションで、前記モーターは直流モーターを含み、
それに対応して、前記処理ユニットは、予め設定された位相間隔に従って等間隔の位相調節量を確定し、前記直流モーターは、前記等間隔の位相調節量を受信し、前記光学格子をドラッグして、1つの光学格子間隔範囲内で等間隔距離移動させ、それにより、前記処理ユニットは前記予め設定された位相間隔に対応する複数枚のサンプル画像を取得する。
オプションで、前記予め設定された位相間隔は120度であり、前記位相調節量は3個である。
オプションで、前記発光ユニットは、励起光を放射するためのレーザーを含み、さらに、前記レーザーの励起光の出口に設けられ、前記励起光の光束を拡張して線状光束に1次元集光するための光束拡張線集束装置を含む。
オプションで、前記転向ユニットはダイクロイックミラーである。
オプションで、光フィルターを更に備え、前記光フィルターは、前記位相調節ユニットと前記転向ユニットとの間に配置され、迷光を除去するために使用される。
オプションで、前記検出ユニットは電荷結合素子CCDを含む。
オプションで、複数のレンズからなる対物レンズを更に備え、前記対物レンズは、前記転向ユニットと前記光ファイバ束との間に配置され、前記転向ユニットによって転向した励起光を集光処理するために使用される。
本発明の画像再構成方法、装置及び顕微結像装置では、1枚又は複数枚のサンプル画像で確定された各光ファイバの中心位置のグレースケール値に基づいて、再構成画像内の光ファイバ束の各光ファイバの中心のグレースケール値を計算しており、光ファイバの中心のグレースケール値を使用して空間補間を行って、再構成画像内の光ファイバ束の他の画素点のグレースケール値を取得し、再構成画像を形成する。この画像再構成方法では、光ファイバの中心位置の画素点のグレースケール値を計算するだけで、空間補間に基づいて画像全体の画素点のグレースケール値を取得するため、各画素点のグレースケール値を計算するための計算量が削減され、画像再構成の速度が大幅に加速される。また、この方法は、再構成画像内の光学格子と光ファイバ束のハニカム状グリッドの残留の除去を容易にし、再構成画像の結像品質を改善する。
例示的な実施例で示される本発明の画像再構成方法のフローチャートである。 図1に示される実施例の構造化光顕微内視鏡装置の模式図である。 別の例示的な実施例で示される本発明の画像再構成方法のフローチャートである。 図3に示される実施例の光ファイバ画素三角形構造の模式図である。 例示的な実施例で示される本発明の画像再構成装置の構造模式図である。 別の例示的な実施例で示される本発明の画像再構成装置の構造模式図である。 例示的な実施例で示される本発明の顕微結像装置の構造模式図である。 別の例示的な実施例で示される本発明の顕微結像装置の構造模式図である。
本発明の実施例の目的、技術的解決手段及び利点をさらに明確にするために、以下、本発明の実施例に添付の図面を参照しながら、本発明の実施例の技術的解決手段を明確かつ完全に説明する。当然のことながら、ここで説明する実施例は本発明の実施例の全てではなく一部にすぎない。当業者が創造的な作業なしに本発明の実施例に基づいて得られる他の全ての実施例は、本発明の保護範囲に含まれるべきである。
図1は、例示的な実施例で示される本発明の画像再構成方法のフローチャートである。図1に示すように、本発明の画像再構成方法は、すべての光学的に結像された画像の再構成に適し、特に、構造化光に基づく画像再構成に適している。まず、本実施例では、構造化光に基づく内視鏡を例として、構造化光結像の原理を簡単に説明する。
図2に示すような構造化光に基づく顕微内視鏡装置では、励起装置によって放出された光源は光学格子を通して正弦波光に変調され、正弦波光は、ダイクロイックミラー(即ち、特定の周波数の光を透過させ、非特定の周波数の光を反射する)、対物レンズを経て、光ファイバ束に沿って染色された組織(例えば、人体内の細胞組織)を励起して、励起された蛍光は、光ファイバ束、対物レンズ、ダイクロイックミラーを経て電荷結合素子(Charge−coupled Device、「CCD」と略称)に達して、画像が収集される。CCDは、画像センサー又は画像コントローラーとも呼ばれ、半導体素子であり、光学画像を電気信号に変換できる。変調された正弦波光源を組織のある焦平面に集光し、複数の位相(例えば、3つの位相)の蛍光結像を励起し、Neilを使用して、焦平面外の背景蛍光を除去することによって、セクショニング結像を実現する。セクショニング結像技術は、医学CTを参考にして、放射線走査に基づいて、得られた情報を逆計算し、測定される範囲内の岩盤の弾性波と電磁波パラメータ分布法則の画像を再構成することによって、地質学的異常に丸をつけて選定する物理探査逆解析方法である。
光学格子によって変調された構造化光光源は次の式で表すことができる。
式では、mは変調コントラスト(modulation contrast)である。
は正規化された空間周波数であり、
値が変更された後、異なる深さ(軸方向の深さ、axial depth)の画像のセクショニングを実現するために使用され得る。βは試料平面(specimen plane)とグリッド平面(grid plane)との間の拡張倍率であり、λは波長であり、vは実際の空間周波数であり、NAは開口数(numerical aperture )である。
本実施例では、構造化光が染色組織を照射した後に返される蛍光情報を正確に取得し、その情報に対して鮮明で正確な画像を形成するために、図2の光ファイバ束の各光ファイバ中から伝送された画素情報を確定する必要がある。本実施例の画像再構成方法の具体的な実現ステップは、以下のステップ101〜ステップ102を含む。
ステップ101では、1枚又は複数枚のサンプル画像で確定された各光ファイバの中心位置のグレースケール値に基づいて、再構成画像内の光ファイバ束の各光ファイバの中心のグレースケール値を計算する。
具体的には、図2に示すような構造化光顕微内視鏡装置では、光学格子をドラッグして移動させるように直流モーターを駆動することによって、1枚又は複数枚のサンプル画像を取得する。サンプル画像には、光ファイバ束の各光ファイバによって伝送された画素情報が含まれる。光ファイバ束の場合、1つの光ファイバ束は通常、3万本近くの光ファイバ(数の差は数千に達し得る)からなる。各光ファイバには画素情報が伝送されるため、光ファイバ束はマルチセンサーとも呼ばれてもよい。光ファイバの結像は、一般に、画像内で六角のハニカム状を呈し、各光ファイバの直径は5〜6個の画素であることが好ましい。複数枚のサンプル画像では、各光ファイバの中心位置を確定し、各中心位置の画素点のグレースケール値を取得する。中心位置のグレースケール値を確定する方法は、上記の自乗平均根式を使用して行うことができる。即ち、複数枚のサンプル画像内の同じ中心位置のグレースケール値に対してそれらのグレースケール値の平均値を計算し、計算されたグレースケール値の平均値を、再構成された画像内の光ファイバの中心のグレースケール値として使用して、再構成画像内の光ファイバ束の各光ファイバの中心のグレースケール値を取得する。
ステップ102では、光ファイバの中心のグレースケール値を使用して空間補間を行って、再構成画像内の光ファイバ束の他の画素点のグレースケール値を取得し、再構成画像を形成する。
具体的には、各光ファイバの中心位置を基準として、各光ファイバの他の画素点と該中心位置の画素点との間の線形関係を見つけ、それにより、中心位置の画素点に対する各光ファイバのすべての画素点の補間重み、即ち、中心位置の画素点に対する各光ファイバの他の画素点の重み値を確定する。各画素点と光ファイバの中心との間の補間重みに基づいて、光ファイバの中心のグレースケール値を使用して空間補間を行って、再構成画像内の光ファイバ束の他の画素点のグレースケール値を取得し、再構成画像を形成する。
本実施例の画像再構成方法では、1枚又は複数枚のサンプル画像で確定された各光ファイバの中心位置のグレースケール値に基づいて、再構成画像内の光ファイバ束の各光ファイバの中心のグレースケール値を計算しており、光ファイバの中心のグレースケール値を使用して空間補間を行って、再構成画像内の光ファイバ束の他の画素点のグレースケール値を取得し、再構成画像を形成する。この画像再構成方法では、光ファイバの中心位置の画素点のグレースケール値を計算するだけで、空間補間に基づいて画像全体の画素点のグレースケール値を取得するため、各画素点のグレースケール値を計算するための計算量が削減され、画像再構成の速度が大幅に加速される。また、この方法は、再構成画像内の光学格子と光ファイバ束のハニカム状グリッドの残留の除去を容易にし、再構成画像の結像品質を改善する。
図3は、別の例示的な実施例で示される本発明の画像再構成方法のフローチャートである。図3に示すように、本実施例の画像再構成方法は、ステップ301〜ステップ305を含む。
ステップ301では、均一な蛍光の光ファイバ束の原画像を取得する。
ステップ302では、原画像において、周囲の画素値よりも高い画素値を有する目標画素点を確認し、目標画素点を光ファイバ束の各光ファイバの中心位置として確定する。
具体的には、画像の再構成前に、光ファイバを正確に位置決めするための均一な蛍光の画像を撮影することができる。光ファイバ束の場合、1つの光ファイバ束は通常、3万本近くの光ファイバ(数の差は数千に達し得る)からなる。各光ファイバには画素情報が伝送されるため、光ファイバ束はマルチセンサーとも呼ばれてもよい。光ファイバの結像は、画像内で六角のハニカム状を呈し、各光ファイバの直径は5〜6個の画素であることが好ましい。光ファイバ間の相互干渉を低減するために、光ファイバを行又は列に配置するのではなく、空間に不規則に配置する。本実施例における光ファイバの中心位置とは、光ファイバの中心の最も明るい点を光ファイバの中心と意味する。いわゆる最も明るい点とは、原画像において、画素値が周囲の画素値よりも高いことが確認される目標画素点を意味する。目標画素点を光ファイバ束の各光ファイバの中心位置として確定し、該中心の最も明るい点の座標を光ファイバの座標として使用して、各光ファイバの他の画素点を位置決めする。グリッド、即ち、光ファイバの六角ハニカムを除去するために、光ファイバの中心のグレースケールを使用して空間補間を行い、光ファイバ束範囲全体における他の画素のグレースケールを取得する必要がある。通常、光学格子を取り付けた後、撮影される位置決め画像、即ち、原画像には光学格子が存在するため、光学格子を取り外して撮影することによって、均一な蛍光の光ファイバ束の原画像を取得することができる。オプションで、1つの光学格子間隔距離範囲内で、予め設定されたステップサイズの間隔をおいた複数の光ファイバ束の画像を収集し、複数の光ファイバ束の画像に対してそれらの平均画像を取得し、均一な蛍光の光ファイバ束の原画像を形成することもできる。即ち、図2の直流モーターを、1つの光学格子間隔範囲において幾つかの同じ変位均等に移動させ、収集した平均画像を取得する。当業者は、均一な蛍光の光ファイバ束の原画像を取得する方法を自分から決定することができ、これは、本実施例では特に限定されない。
ステップ303では、複数枚のサンプル画像で確定された各光ファイバの中心位置のグレースケール値に基づいて、再構成画像内の光ファイバ束の各光ファイバの中心のグレースケール値を計算する。
サンプル画像の取得は、予め設定された位相間隔に従って、1つの光学格子間隔距離内でN−1回移動して、初期位相を含む、前記初期位相から毎回前記予め設定された位相間隔を移動したN枚のサンプル画像を取得することによって実行され得る。例えば、光学格子を取り付け、モーターにより光学格子をドラッグして移動させることによって、N枚の光ファイバ束のサンプル画像を取得する。例えば、サンプル画像の収集を開始する前に、モーターの初期位置でサンプル画像を撮影する。その後、モーターが別の位置に移動し、サンプル画像を撮影する。モーターが再移動し、再撮影して、それにより、N枚のサンプル画像を取得する。取得したサンプル画像の精度を保証するために、モーターを時計回りに複数の位置に回転させて、上記のN枚のサンプル画像を取得しており、しばらく待ってから、モーターを反時計回りに逆方向に移動させて、N枚のサンプル画像を取得する。このようにして、2枚の構造化光の画像を再構成することができる。比較を通して、再構成画像の精度を保証することができる。好ましくは、予め設定された位相間隔は120度であり、N=3である。これに対応して、モーターは光学格子をドラッグして水平方向に移動し、毎回移動する予め設定された位相間隔閾値が1/3の光学格子間隔である。収集を開始する前に、モーターの移動の初期位置で、カメラにより1枚の写真を撮影し、モーターが移動し、撮影し、モーターが再移動し、撮影して、3つの位相のサンプル画像を取得した後に画像を再構成する。その後、サイクルの一貫性を保つために、一定時間待機する。次に、再撮影し、逆方向に移動し......これにより、モーターが1回往復移動すると、2枚の構造化光の画像を再構成することができる。3枚のサンプル画像は、それぞれ0度位相のサンプル画像I1(初期位相)、120度位相のサンプル画像I2(1つの予め設定された位相間隔閾値を移動)、240度位相のサンプル画像I3(2つの予め設定された位相間隔閾値を移動)であってもよい。3枚のサンプル画像において、光ファイバの中心位置に応じて、3つの位相の画像の光ファイバの中心のグレースケールを検索すると、0度位相のサンプル画像I1の光ファイバの中心のグレースケール値G1、120度位相のサンプル画像I2の光ファイバの中心のグレースケール値G2、及び240度位相のサンプル画像I3の光ファイバの中心のグレースケール値G3を取得する。オプションで、再構成画像内の光ファイバ束の各光ファイバの中心のグレースケール値の計算では、各光ファイバの中心位置の複数枚のサンプル画像におけるグレースケール値の互いの差を計算し、得られた差の平方和を計算して平方を開いて、再構成画像内の光ファイバ束の各光ファイバ中心のグレースケール値を取得する方法を使用することができる。例えば、Neil式
に基づいて、3枚のサンプル画像内の3つの中心のグレースケール値の2つごとの差を計算し、差値を2乗し、2乗された差値を加算してから平方根を求める。それにより、再構成画像内の光ファイバの中心のグレースケール値を算出する。
しかしながら、上記のNeil式は、サンプル画像が過飽和になると、中心のグレースケール値を2つごとに減算すると、中心点で算出されたグレースケール値が非常に小さいグレースケールの黒い点になり、それにより、再構成された画像に黒色領域が出現し、細胞を明瞭に結像することができなくなるという欠点を有する。画像飽和が再構成画像の結像を不明瞭にするという問題を回避するために、光ファイバの中心点のグレースケールを飽和校正することができる。この方法でのみ、再構成された画像は良好なセクショニング効果を有する。
オプションで、1枚又は複数枚のサンプル画像で各光ファイバの中心位置のグレースケール値を確定するステップの後に、各光ファイバの中心位置のグレースケール値の飽和度を判断するステップを追加することができる。即ち、サンプル画像において中心位置のグレースケール値が予め設定された飽和度閾値を超えた光ファイバがある場合、予め設定された飽和度閾値を超えた光ファイバを校正対象の光ファイバとして確定する。再構成画像で、校正対象の光ファイバの中心位置のグレースケール値を予め設定された飽和度閾値に校正し、校正されたサンプル画像で確定された各光ファイバの中心位置のグレースケール値に基づいて、再構成画像内の光ファイバ束の各光ファイバの中心のグレースケール値を計算する。
サンプル画像において中心位置のグレースケール値が予め設定された飽和度閾値を超えた光ファイバがない場合、前記サンプル画像で確定された各光ファイバの中心位置のグレースケール値に基づいて、再構成画像内の光ファイバ束の各光ファイバの中心のグレースケール値を計算する。
予め設定された飽和度閾値は、CCDの性能に応じて決定することができる。例えば、0度位相のサンプル画像I1の光ファイバの中心のグレースケール値G1、120度位相のサンプル画像I2の光ファイバの中心のグレースケール値G2、240度位相のサンプル画像I3の光ファイバの中心のグレースケール値G3の3つのグレースケール値は4095、(4095は、12ビット画像の最大値に対応し、CCD飽和を示す)を超えたか否かを判断する。その後、上記のNeil式
を使用して再構成画像の中心点のグレースケール値を計算する代わりに、4095の予め設定された飽和度閾値を該中心点のグレースケール値として直接素量する。このような処理は、サンプル画像と再構成された構造化光画像が視覚的に白黒反転になるという問題を回避する。しかしながら、このような処理は、やむを得ず採用される救済措置であり、当業者にとっては、サンプル画像を収集するときの画像飽和の問題を回避するように努めるべきである。例えば、カメラパラメータの露出時間が長すぎることやゲインが過剰になることを回避する措置、試料の蛍光染色物質が多すぎることを回避する措置、レーザーから放出されたレーザー光の光強度が強すぎることを回避する措置などを採用してもよい。
同様に、再構成画像において、光ファイバの中心位置のグレースケール値が、予め設定された飽和度閾値を超えた光ファイバがある場合、予め設定された飽和度閾値を超えた光ファイバを校正対象の光ファイバとして確定する再構成画像で、校正対象の光ファイバの中心位置のグレースケール値を予め設定された飽和度閾値に校正する。即ち、算出された
の値が予め設定された飽和度閾値を超えた場合、この光ファイバを校正対象の光ファイバとして確定し、予め設定された飽和度閾値をこの光ファイバの中心位置のグレースケール値として使用する。これにより、サンプル画像の飽和校正が実現される。
ステップ304では、各光ファイバの中心位置に基づいて、光ファイバ束の各画素点と各光ファイバの中心位置との間の補間重みを確定する。
具体的には、上記のように、サンプル画像でも原画像でも、同じ構造の光ファイバ束に対する光学結像である。そのため、原画像で確定された各光ファイバの中心位置に基づいて、サンプル画像内の対応する光ファイバの中心位置を見つけ、該中心点のグレースケール値を読み取る。N枚のサンプル画像内の各光ファイバをいずれも位置決めし、グレースケール値を取得する。従って、各光ファイバは、N個の中心位置のグレースケール値に対応する。予め設定されたアルゴリズム(例えば、上記の自乗平均根のNeil式)に従って、N個の中心位置のグレースケール値に対して、グレースケール値の平均値を求め、算出されたグレースケール値の平均値を再構成された画像内の該光ファイバの中心のグレースケール値として使用する。
光ファイバ束の各画素点と各光ファイバの中心位置との間の補間重みについては、各光ファイバの中心位置、及び隣接する光ファイバの中心位置を頂点として、複数の三角形構造を形成しており、三角形構造に基づいて、各三角形構造内の画素点と各光ファイバの中心位置との間の補間重みを確定することができる。
具体的には、領域最大値法により光ファイバの中心座標を取得することができる。即ち、図4に示される光ファイバAの中心位置を1つの頂点として、光ファイバAとそれに隣接する光ファイバB及び光ファイバCの3つの中心位置が三角形を構成することにより、光ファイバ束範囲全体が複数の三角形に分割される。これらの三角形により、画素と光ファイバとの補間関係が確立される。光線はほぼ六辺形であるため、分布は不規則である。隣接する光ファイバには、横方向又は縦方向の座標位置合わせ関係がないため、通常の双線形補間のように、4つの規則的な頂点によって中央の画素を補間することができない。ただし、このような三角形構造を使用すると、各三角形構造内の画素点と各光ファイバの中心位置との間の補間重みを確定することもできる。
ステップ305では、光ファイバの中心のグレースケール値を使用して空間補間を行って、再構成画像内の光ファイバ束の他の画素点のグレースケール値を取得し、再構成画像を形成する。
具体的には、均一な蛍光の光ファイバ束の原画像を取得した後、原画像で光ファイバ束に含まれるすべての光ファイバの中心位置、即ち、各光ファイバの最も明るい画素点の位置座標を確定する。各光ファイバの中心位置を基準として、各光ファイバの他の画素点と該中心位置の画素点との間の線形関係を見つけ、それにより、中心位置の画素点に対する各光ファイバのすべての画素点の補間重み、即ち、中心位置の画素点に対する各光ファイバの他の画素点の重み値を確定する。その後、構造化光が組織に照射された後に得られたサンプル画像の再構成では、事前に計算された線形重み値に基づいて、再構成時に光ファイバのグレースケール値を乗算して、補間される画素のグレースケール値を取得して、再構成画像を形成することができる。
本実施例の画像再構成方法では、三角形の画素空間に基づいて、光ファイバで位置決めすることによって、構造化光結像の再構成を取得する。光ファイバの中心点の画素のみに対して、Neil式を使用してグレースケール値を計算し、補間して、構造化光画像全体を再構成する。計算時間を大幅に節約し、光ファイバのハニカム構造を除去することができる。N枚のサンプル画像、例えば、3枚のサンプル画像の位相の差がちょうど120度となる場合、光学格子の痕跡はない。従って、本発明の画像再構成方法は、各画素点のグレースケール値を計算するための計算量を大幅に削減し、画像再構成の速度を大幅に加速することができる。また、この方法は、再構成画像内の光学格子と光ファイバ束のハニカム状グリッドの残留の除去を容易にし、再構成画像の結像品質を改善する。
図5は、例示的な実施例で示される本発明の画像再構成装置の構造模式図である。図5に示すように、本実施例の画像再構成装置は、
1枚又は複数枚のサンプル画像で確定された各光ファイバの中心位置のグレースケール値に基づいて、再構成画像内の光ファイバ束の各光ファイバの中心のグレースケール値を計算するための計算モジュール1と、
光ファイバの中心のグレースケール値を使用して空間補間を行って、再構成画像内の光ファイバ束の他の画素点のグレースケール値を取得し、再構成画像を形成するための形成モジュール2と,
を備える。
本実施例は、図1に示される実施例を実現することができる。その実現原理は同様であり、ここでは繰り返し説明しない。
本実施例の画像再構成装置では、複数枚のサンプル画像で確定された各光ファイバの中心位置のグレースケール値に基づいて、再構成画像内の光ファイバ束の各光ファイバの中心のグレースケール値を計算しており、光ファイバの中心のグレースケール値を使用して空間補間を行って、再構成画像内の光ファイバ束の他の画素点のグレースケール値を取得し、再構成画像を形成する。この画像再構成方法では、光ファイバの中心位置の画素点のグレースケール値を計算するだけで、空間補間に基づいて画像全体の画素点のグレースケール値を取得するため、各画素点のグレースケール値を計算するための計算量が削減され、画像再構成の速度が大幅に加速される。また、この方法は、再構成画像内の光学格子と光ファイバ束のハニカム状グリッドの残留の除去を容易にし、再構成画像の結像品質を改善する。
図6は、別の例示的な実施例で示される本発明の画像再構成装置の構造模式図である。図6に示すように、上記の実施例に基づいて、本実施例の画像再構成装置は、
均一な蛍光の光ファイバ束の原画像を取得するための第1取得モジュール3と、
原画像において、周囲の画素値よりも高い画素値を有する目標画素点を確認し、目標画素点を光ファイバ束の各光ファイバの中心位置として確定するための第1確定モジュール4とを更に備える。
オプションで、第1取得モジュール3は、
1つの光学格子間隔距離範囲内で、予め設定されたステップサイズの間隔をおいた複数の光ファイバ束の画像を収集するための収集サブモジュール31と、
複数の光ファイバ束の画像に対してそれらの平均画像を取得し、均一な蛍光の光ファイバ束の原画像を形成するための形成サブモジュール32と、を含む。
オプションで、この装置は、
各光ファイバの中心位置に基づいて、光ファイバ束の各画素点と各光ファイバの中心位置との間の補間重みを確定するための第2確定モジュール5を更に備える。
オプションで、この装置は、
各光ファイバの中心位置、及び隣接する光ファイバの中心位置を頂点として、複数の三角形構造を形成し、三角形構造に基づいて、各三角形構造内の画素点と各光ファイバの中心位置との間の補間重みを確定するための第3確定モジュール6を更に備える。
オプションで、この装置は、
予め設定された位相間隔に従って、1つの光学格子間隔距離内でN−1回移動して、初期位相を含む、初期位相から毎回予め設定された位相間隔を移動したN枚のサンプル画像を取得するための第2取得モジュール7を更に備える。
オプションで、予め設定された位相間隔は120度であり、N=3である。
オプションで、この装置は、
各光ファイバの中心位置のグレースケール値に対して飽和度判断を行うための判断モジュール8と、
サンプル画像において中心位置のグレースケール値が予め設定された飽和度閾値を超えた光ファイバがある場合、予め設定された飽和度閾値を超えた光ファイバを校正対象の光ファイバとして確定しており、再構成画像で、校正対象の光ファイバの中心位置のグレースケール値を予め設定された飽和度閾値に校正し、校正されたサンプル画像で確定された各光ファイバの中心位置のグレースケール値に基づいて、再構成画像内の光ファイバ束の各光ファイバの中心のグレースケール値を計算するための第1処理モジュール9と、
サンプル画像において中心位置のグレースケール値が予め設定された飽和度閾値を超えた光ファイバがない場合、サンプル画像で確定された各光ファイバの中心位置のグレースケール値に基づいて、再構成画像内の光ファイバ束の各光ファイバの中心のグレースケール値を計算するための第2処理モジュール10と、を更に備える。
オプションで、計算モジュール1は、具体的には各光ファイバの中心位置の複数のサンプル画像におけるグレースケール値の互いの差を計算し、得られた差の平方和を計算して平方を開いて、再構成画像内の光ファイバ束の各光ファイバ中心のグレースケール値を取得するために使用される。
本実施例は、図3に示される実施例を実現することができる。その実現原理は同様であり、ここでは繰り返し説明しない。
図7は、例示的な実施例で示される本発明の顕微結像装置の構造模式図である。図7に示すように、本実施例は顕微結像装置を提供し、この装置は、発光ユニット01と、位相調節ユニット02と、転向ユニット03と、複数の光ファイバを含む光ファイバ束04と、検出ユニット05と、処理ユニット06とを備える。
発光ユニット01は、励起光を放射するために使用される。
位相調節ユニット02は、励起光の光路の出口に配置され、処理ユニット06に接続され、処理ユニット06によって送信された位相調節量に従って、励起光の位相を調節して、異なる位相の励起光を取得するために使用される。
転向ユニット03は、異なる位相の励起光を転向させて、転向後の励起光を光ファイバ束04に沿って検出対象の組織に集光し、検出対象の組織によって返される異なる位相の蛍光を通過させるために使用される。
検出ユニット05は、異なる位相の蛍光を収集して、複数のサンプル画像を形成するために使用される。
処理ユニット06は、検出ユニット05に接続され、複数のサンプル画像を受信し、複数のサンプル画像で確定された光ファイバ束の各光ファイバの中心位置のグレースケール値に基づいて、再構成画像内の光ファイバ束の各光ファイバの中心のグレースケール値を計算しており、光ファイバの中心のグレースケール値を使用して空間補間を行って、再構成画像内の光ファイバ束の他の画素点のグレースケール値を取得し、再構成画像を形成するために使用される。
具体的には、発光ユニット01によって放出された励起光は、転向ユニット03(即ち、特定の周波数の光を透過させ、非特定の周波数の光を反射する)を経て、光ファイバ束04に沿って染色された組織(例えば、人体内の細胞組織)を励起し、励起された蛍光は光ファイバ束、転向ユニット03に沿って検出ユニット05に達して、画像が収集される。検出ユニット05は、電荷結合素子(Charge−coupled Device、「CCD」と略称される)であってもよい。電荷結合素子は、画像センサー又は画像コントローラーとも呼ばれ、半導体素子であり、光学画像を電気信号に変換できる。発光ユニット01から放出された励起光は、組織のある焦平面に集光される。位相調節ユニット02によって、処理ユニット06から送信された位相調節量に従って、励起光の位相が調節され、異なる位相の励起光が取得される。処理ユニット06は、複数の位相(例えば、3つの位相)の蛍光結像を励起し、Neil式を使用して、焦平面外の背景蛍光を除去することによって、セクショニング結像を実現する。セクショニング結像技術は、医学CTを参考にして、放射線走査に基づいて、得られた情報を逆計算し、測定される範囲内の岩盤の弾性波と電磁波パラメータ分布法則の画像を再構成することによって、地質学的異常に丸をつけて選定する物理探査逆解析方法である。具体的には、処理ユニット06は、複数の位相の複数のサンプル画像で確定された光ファイバ束の各光ファイバの中心位置のグレースケール値に基づいて、再構成画像内の光ファイバ束の各光ファイバの中心のグレースケール値を計算しており、光ファイバの中心のグレースケール値を使用して空間補間を行って、再構成画像内の光ファイバ束の他の画素点のグレースケール値を取得し、再構成画像を形成する。
本実施例の顕微結像装置は、発光ユニットと、位相調節ユニットと、転向ユニットと、複数の光ファイバを含む光ファイバ束と、検出ユニットと、処理ユニットとを備える。発光ユニットは、励起光を放射するために使用される。位相調節ユニットは、励起光の光路の出口に配置され、処理ユニットに接続され、処理ユニットによって送信された位相調節量に従って、励起光の位相を調節して、異なる位相の励起光を取得するために使用される。転向ユニットは、異なる位相の励起光を転向させて、転向後の励起光を光ファイバ束に沿って検出対象の組織に集光し、検出対象の組織によって返される異なる位相の蛍光を通過させるために使用される。検出ユニットは、異なる位相の蛍光を収集して、複数のサンプル画像を形成するために使用される。処理ユニットは、検出ユニットに接続され、複数のサンプル画像を受信し、複数のサンプル画像で確定された光ファイバ束の各光ファイバの中心位置のグレースケール値に基づいて、再構成画像内の光ファイバ束の各光ファイバの中心のグレースケール値を計算しており、光ファイバの中心のグレースケール値を使用して空間補間を行って、再構成画像内の光ファイバ束の他の画素点のグレースケール値を取得し、再構成画像を形成するために使用される。位相調節ユニットが処理ユニットから送信された位相調節量に従って励起光の位相を調節し、処理ユニットが所望の位相の複数のサンプル画像を取得できるようにすることによって、複数のサンプル画像を処理した後に得られた再構成画像の結像品質が向上する。また、この装置を使用することによって、再構成画像内の画素点のグレースケール値の計算量が削減され、画像再構成の速度が加速される。
図8は、別の例示的な実施例で示される本発明の顕微結像装置の構造模式図である。図8に示すように、前の実施例に基づいて、位相調節ユニット02は、モーター021と光学格子022を含む。
モーター021は、処理ユニット06及び光学格子022にそれぞれ接続され、処理ユニット06から送信された位相調節量に従って、光学格子022をドラッグして移動させて、励起光が光学格子022を透過した後に位相調節量に対応する励起光を取得するために使用される。
オプションで、モーター021は直流モーターを含む。処理ユニット06は、予め設定された位相間隔に従って、等間隔の位相調節量を確定する。直流モーターは、等間隔の位相調節量を受信し、光学格子022をドラッグして、1つの光学格子間隔範囲内で等間隔距離移動させる。それにより、処理ユニット06は、予め設定された位相間隔に対応する複数枚のサンプル画像を取得する。
具体的には、処理ユニット06は、光学格子022をドラッグして移動させるように直流モーターを駆動することによって、複数枚のサンプル画像を取得する。サンプル画像には、光ファイバ束04の各光ファイバによって伝送された画素情報が含まれる。光ファイバ束04の場合、1つの光ファイバ束04は通常、3万本近くの光ファイバ(数の差は数千に達し得る)からなる。各光ファイバには画素情報が伝送されるため、光ファイバ束04はマルチセンサーと呼ばれてもよい。光ファイバ結像の模式図は図4に示される。光ファイバの結像は、画像内で六角のハニカム状を呈し、各光ファイバの直径は5〜6個の画素であることが好ましい。複数枚のサンプル画像では、各光ファイバの中心位置を確定し、各中心位置の画素点のグレースケール値を取得する。中心位置のグレースケール値を確定する方法は、自乗平均根式を使用して行うことができる。即ち、複数枚のサンプル画像内の同じ中心位置のグレースケール値に対してそれらのグレースケール値の平均値を計算し、計算されたグレースケール値の平均値を、再構成された画像内の該光ファイバの中心のグレースケール値として使用して、再構成画像内の光ファイバ束04の各光ファイバの中心のグレースケール値を取得する。
オプションで、予め設定された位相間隔は120度であり、位相調節量は3個である。
例えば、光学格子022を取り付け、モーター021により光学格子022をドラッグして移動させることによって、N枚の光ファイバ束のサンプル画像を取得する。例えば、サンプル画像の収集を開始する前に、モーター021の初期位置でサンプル画像を撮影する。その後、モーター021が別の位置に移動し、サンプル画像を撮影する。モーター021が再移動し、再撮影して、それにより、N枚のサンプル画像を取得する。取得したサンプル画像の精度を保証するために、モーター021を時計回りに複数の位置に回転させて、上記のN枚のサンプル画像を取得しており、しばらく待ってから、モーター021を反時計回りに逆方向に移動させて、N枚のサンプル画像を取得する。このようにして、2枚の構造化光の画像を再構成することができる。比較を通して、再構成画像の精度を保証することができる。予め設定された位相間隔が120度であり、位相調節量が3個(即ち、N=3)である場合、モーター021は光学格子をドラッグして水平方向に移動し、毎回移動する予め設定された位相間隔閾値が1/3の光学格子022間隔である。収集を開始する前に、モーター021の移動の初期位置で、カメラにより1枚の写真を撮影し、モーター021が移動し、撮影し、モーター021が再移動し、撮影して、3つの位相のサンプル画像を取得した後に画像を再構成する。その後、サイクルの一貫性を保つために、一定時間待機する。次に、再撮影し、逆方向に移動し......これにより、モーター021が1回往復移動すると、2枚の構造化光の画像を再構成することができる。3枚のサンプル画像は、それぞれ0度位相のサンプル画像I1(初期位相)、120度位相のサンプル画像I2(1つの予め設定された位相間隔閾値を移動)、240度位相サンプル画像I3(2つの予め設定された位相間隔閾値を移動)であってもよい。3枚のサンプル画像において、光ファイバの中心位置に応じて、3つの位相の画像の光ファイバの中心のグレースケールを検索すると、0度位相のサンプル画像I1の光ファイバの中心のグレースケール値G1、120度位相のサンプル画像I2の光ファイバの中心のグレースケール値G2、及び240度位相のサンプル画像I3の光ファイバの中心のグレースケール値G3を取得する。
オプションで、発光ユニット01は、励起光を放射するためのレーザー装置011を含み、さらに、レーザー装置011の励起光の出口に設けられ、励起光の光束を拡張して線状光束に1次元集光するための光束拡張線集束装置012を含む。
レーザー装置011は、励起光を放射するために使用される。それは、特定の波長のコリメートレーザー光を放射するレーザー装置であってもよい。前記特定の波長範囲は20nm〜2000nmであってもよい。この波長範囲内のレーザー光は、広い範囲の蛍光体を励起することができる。レーザー011は、量子井戸レーザー、固体レーザー、気体レーザー(例えば、アルゴンイオンレーザー)又はレーザーダイオードであってもよい。光束拡張線集束装置012は、レーザー011の励起光の出口に設けられ、励起光の光束を拡張して線状光束に1次元集光するために使用される。それは、光束拡張レンズと柱レンズを含み得る。光束拡張レンズは、レーザー011から放出されたコリメート光束を拡張して、コリメート光束の直径を変化させる。柱レンズは、拡張された光束を線状光束に1次元集光して転向ユニット03に伝送する。
オプションで、転向ユニット03はダイクロイックミラーであり、二色鏡とも呼ばれる。その波長範囲は40nm〜2200nmの波長範囲であり、特定の周波数の光を透過し、非特定の周波数の光を反射させることができる。
オプションで、光フィルター07を更に備える。光フィルター07は、位相調節ユニット02と転向ユニット03との間に配置され、迷光を除去することによって、サンプル画像の結像品質を向上させ、さらに、再構成画像の結像品質を向上させるために使用される。
オプションで、検出ユニット05は電荷結合素子CCDを含む。この検出ユニット05は、ラインスキャン検出ユニットであってもよいし、エリアスキャン検出ユニットであってもよいし。例えば、CCD(電荷結合素子)ラインスキャンカメラ又はCMOS(相補型金属酸化膜半導体)ラインスキャンカメラなどが挙げられる。ラインスキャン検出ユニットの結像速度は、数十フレームから数千万フレームの範囲内である。
オプションで、複数のレンズからなる対物レンズ08を更に備える。対物レンズ08は、転向ユニット03と光ファイバ束04との間に配置され、転向ユニット03によって転向した励起光を集光処理するために使用される。
この顕微結像装置は、図1、図3のいずれかの方法実施例の画像再構成方法を実現するために使用することができる。実現原理は同様であり、ここでは繰り返し説明しない。
当業者によって理解されるように、前述の各方法の実施例におけるステップの全部または一部を実現することは、プログラムコマンドに関連するハードウェアにより完成することができる。上記のプログラムは、コンピュータの読み取り可能な記憶媒体に記憶されていてもよい。該プログラムが実行されると、上述した各方法の実施例におけるステップは実行される。前述の記憶媒体は、ROM、RAM、磁気ディスク、又は光ディスクなどの、プログラムコードを記憶することができる各種の媒体を含む。
なお、以上の各実施例は、本発明の技術的手段を説明するためのものに過ぎず、それを制限するものではない。上記の各実施例を参照して本発明について詳述したが、当業者であれば、上記の各実施例に記載の技術的手段を修正し、又は技術的特徴の一部もしくは全部を均等物で置き換えることができる。これらの修正や置き換えは、対応する技術的解決手段の本質を本発明の各実施例の技術的手段の範囲から逸脱させない。
発光ユニット01、レーザー装置011、光束拡張線集束装置012、位相調節ユニット02、モーター021、光学格子022、転向ユニット03、光ファイバ束04、検出ユニット05、処理ユニット06、光フィルター07、対物レンズ08。

Claims (27)

  1. 画像再構成方法であって、
    1つ又は複数のサンプル画像で確定された各光ファイバの中心位置のグレースケール値に基づいて、再構成画像内の光ファイバ束の各光ファイバの中心のグレースケール値を計算するステップと、
    光ファイバの中心のグレースケール値を使用して空間補間を行って、再構成画像内の光ファイバ束の他の画素点のグレースケール値を取得して、前記再構成画像を形成するステップと、を含むことを特徴とする方法。
  2. 均一な蛍光の光ファイバ束の原画像を取得するステップと、
    前記原画像において、周囲の画素値よりも高い画素値を有する目標画素点を確認し、前記目標画素点を光ファイバ束の各光ファイバの中心位置として確定するステップとを更に含むことを特徴とする請求項1に記載の方法。
  3. 均一な蛍光の光ファイバ束の原画像を取得する前記ステップは、
    1つの光学格子間隔距離範囲内で、予め設定されたステップサイズの間隔をおいた複数の光ファイバ束の画像を収集するステップと、
    前記複数の光ファイバ束の画像に対してそれらの平均画像を取得し、前記均一な蛍光の光ファイバ束の原画像を形成するステップと、を含むことを特徴とする請求項2に記載の方法。
  4. 前記空間補間を行う前に、
    各光ファイバの中心位置に基づいて、光ファイバ束の各画素点と各光ファイバの前記中心位置との間の補間重みを確定するステップを更に含むことを特徴とする請求項1に記載の方法。
  5. 各光ファイバの中心位置、及び隣接する光ファイバの中心位置を頂点として、複数の三角形構造を形成し、
    前記三角形構造に基づいて、各三角形構造内の画素点と各光ファイバの中心位置との間の補間重みを確定することによって、前記補間重みを確定するステップを更に含むことを特徴とする請求項4に記載の方法。
  6. 予め設定された位相間隔に従って、1つの光学格子間隔距離内でN−1回移動して、初期位相を含む、前記初期位相から毎回前記予め設定された位相間隔を移動したN枚のサンプル画像を取得することによって、複数枚のサンプル画像を取得するステップを更に含むことを特徴とする請求項1に記載の方法。
  7. 前記予め設定された位相間隔は120度であり、
    N=3であることを特徴とする請求項6に記載の方法。
  8. 前記1つ又は複数のサンプル画像で各光ファイバの中心位置のグレースケール値を確定する前記ステップの後に、
    各光ファイバの中心位置のグレースケール値に対して飽和度判断を行うステップと
    前記サンプル画像において中心位置のグレースケール値が予め設定された飽和度閾値を超えた光ファイバがある場合、前記予め設定された飽和度閾値を超えた光ファイバを校正対象の光ファイバとして確定しており、
    再構成画像で、前記校正対象の光ファイバの中心位置のグレースケール値を前記予め設定された飽和度閾値に校正し、校正された前記サンプル画像で確定された各光ファイバの中心位置のグレースケール値に基づいて、再構成画像内の光ファイバ束の各光ファイバの中心のグレースケール値を計算するステップと、
    前記サンプル画像において中心位置のグレースケール値が予め設定された飽和度閾値を超えた光ファイバがない場合、前記サンプル画像で確定された各光ファイバの中心位置のグレースケール値に基づいて、再構成画像内の光ファイバ束の各光ファイバの中心のグレースケール値を計算するステップと、を更に含む、ことを特徴とする請求項1に記載の方法。
  9. 複数のサンプル画像で確定された各光ファイバの中心位置のグレースケール値に基づいて、再構成画像内の光ファイバ束の各光ファイバの中心のグレースケール値を計算する前記ステップは、
    各光ファイバの中心位置の前記複数のサンプル画像におけるグレースケール値の互いの差を計算し、得られた差の平方和を計算して平方を開いて、再構成画像内の光ファイバ束の各光ファイバ中心のグレースケール値を取得するステップを含むことを特徴とする請求項1に記載の方法。
  10. 画像再構成装置であって、
    1つ又は複数のサンプル画像で確定された各光ファイバの中心位置のグレースケール値に基づいて、再構成画像内の光ファイバ束の各光ファイバの中心のグレースケール値を計算するための計算モジュールと、
    光ファイバの中心のグレースケール値を使用して空間補間を行って、再構成画像内の光ファイバ束の他の画素点のグレースケール値を取得し、前記再構成画像を形成するための形成モジュールと、を備えることを特徴とする装置。
  11. 均一な蛍光の光ファイバ束の原画像を取得するための第1取得モジュールと、
    前記原画像において、周囲の画素値よりも高い画素値を有する目標画素点を確認し、前記目標画素点を光ファイバ束の各光ファイバの中心位置として確定するための第1確定モジュールとを更に備えることを特徴とする請求項10に記載の装置。
  12. 前記第1取得モジュールは、
    1つの光学格子間隔距離範囲内で、予め設定されたステップサイズの間隔をおいた複数の光ファイバ束の画像を収集するための収集サブモジュールと、
    前記複数の光ファイバ束の画像に対してそれらの平均画像を取得し、前記均一な蛍光の光ファイバ束の原画像を形成するための形成サブモジュールと、を含むことを特徴とする請求項11に記載の装置。
  13. 各光ファイバの中心位置に基づいて、光ファイバ束の各画素点と各光ファイバの前記中心位置との間の補間重みを確定するための第2確定モジュールを更に備えることを特徴とする請求項10に記載の装置。
  14. 各光ファイバの中心位置、及び隣接する光ファイバの中心位置を頂点として、複数の三角形構造を形成し、前記三角形構造に基づいて、各三角形構造内の画素点と各光ファイバの中心位置との間の補間重みを確定するための第3確定モジュールを更に備えることを特徴とする請求項13に記載の装置。
  15. 予め設定された位相間隔に従って、1つの光学格子間隔距離内でN−1回移動して、初期位相を含む、前記初期位相から毎回前記予め設定された位相間隔を移動したN枚のサンプル画像を取得するための第2取得モジュールを更に備えることを特徴とする請求項10に記載の装置。
  16. 前記予め設定された位相間隔は120度であり、
    N=3であることを特徴とする請求項15に記載の装置。
  17. 各光ファイバの中心位置のグレースケール値に対して飽和度判断を行うための判断モジュールと
    前記サンプル画像において中心位置のグレースケール値が予め設定された飽和度閾値を超えた光ファイバがある場合、前記予め設定された飽和度閾値を超えた光ファイバを校正対象の光ファイバとして確定しており、再構成画像で、前記校正対象の光ファイバの中心位置のグレースケール値を前記予め設定された飽和度閾値に校正し、校正された前記サンプル画像で確定された各光ファイバの中心位置のグレースケール値に基づいて、再構成画像内の光ファイバ束の各光ファイバの中心のグレースケール値を計算するための第1処理モジュールと、
    前記サンプル画像において中心位置のグレースケール値が予め設定された飽和度閾値を超えた光ファイバがない場合、前記サンプル画像で確定された各光ファイバの中心位置のグレースケール値に基づいて、再構成画像内の光ファイバ束の各光ファイバの中心のグレースケール値を計算するための第2処理モジュールと、を更に備えることを特徴とする請求項10に記載の装置。
  18. 前記計算モジュールは、具体的には各光ファイバの中心位置の前記複数のサンプル画像におけるグレースケール値の互いの差を計算し、得られた差の平方和を計算して平方を開いて、再構成画像内の光ファイバ束の各光ファイバ中心のグレースケール値を取得するために使用されることを特徴とする請求項10に記載の装置。
  19. 顕微結像装置であって、発光ユニットと、位相調節ユニットと、転向ユニットと、複数の光ファイバを含む光ファイバ束と、検出ユニットと、処理ユニットとを備え、
    前記発光ユニットは、励起光を放射するために使用され、
    前記位相調節ユニットは、前記励起光の光路の出口に設けられ、前記処理ユニットに接続され、前記処理ユニットによって送信された位相調節量に従って、前記励起光の位相を調節して、異なる位相の励起光を取得するために使用され、
    前記転向ユニットは、異なる位相の励起光を転向させて、転向後の励起光を前記光ファイバ束に沿って検出される組織に集光し、前記検出される組織によって返される異なる位相の蛍光を通過するために使用され、
    前記検出ユニットは、異なる位相の蛍光を収集して、複数のサンプル画像を形成するために使用され、
    前記処理ユニットは、前記検出ユニットに接続され、前記複数のサンプル画像を受信し、複数のサンプル画像で確定された前記光ファイバ束の各光ファイバの中心位置のグレースケール値に基づいて、再構成画像内の光ファイバ束の各光ファイバの中心のグレースケール値を計算しており、光ファイバの中心のグレースケール値を使用して空間補間を行って、再構成画像内の光ファイバ束の他の画素点のグレースケール値を取得し、前記再構成画像を形成するために使用されることを特徴とする顕微結像装置。
  20. 前記位相調節ユニットはモーターと光学格子を含み、
    前記モーターは、前記処理ユニット及び前記光学格子にそれぞれ接続され、前記処理ユニットによって送信された位相調節量に従って、前記光学格子をドラッグして移動させて、前記励起光が前記光学格子を透過した後に前記位相調節量に対応する励起光を取得するために使用されることを特徴とする請求項19二記載の装置。
  21. 前記モーターは直流モーターを含み、
    それに対応して、前記処理ユニットは、予め設定された位相間隔に従って等間隔の位相調節量を確定し、前記直流モーターは、前記等間隔の位相調節量を受信し、前記光学格子をドラッグして、1つの光学格子間隔範囲内で等間隔距離移動させ、それにより、前記処理ユニットは前記予め設定された位相間隔に対応する複数のサンプル画像を取得することを特徴とする請求項20に記載の装置。
  22. 前記予め設定された位相間隔は120度であり、前記位相調節量は3個であることを特徴とする請求項21に記載の装置。
  23. 前記発光ユニットは、励起光を放射するためのレーザーを含み、さらに、前記レーザーの励起光の出口に設けられ、前記励起光の光束を拡張して線状光束に1次元集光するための光束拡張線集束装置を含むことを特徴とする請求項19に記載の装置。
  24. 前記転向ユニットは、ダイクロイックミラーであることを特徴とする請求項19に記載の装置。
  25. 光フィルターを更に備え、前記光フィルターは、前記位相調節ユニットと前記転向ユニットとの間に配置され、迷光を除去するために使用されることを特徴とする請求項19に記載の装置。
  26. 前記検出ユニットは電荷結合素子CCDを含むことを特徴とする請求項19に記載の装置。
  27. 複数のレンズからなる対物レンズを更に備え、前記対物レンズは、前記転向ユニットと前記光ファイバ束との間に配置され、前記転向ユニットによって転向した励起光を集光処理するために使用されることを特徴とする請求項19に記載の装置。
JP2020541842A 2017-10-16 2018-09-29 画像再構成方法、装置及び顕微結像装置 Active JP7064796B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201710959434.8 2017-10-16
CN201710959434.8A CN107621463B (zh) 2017-10-16 2017-10-16 图像重建方法、装置及显微成像装置
PCT/CN2018/108865 WO2019076192A1 (zh) 2017-10-16 2018-09-29 图像重建方法、装置及显微成像装置

Publications (2)

Publication Number Publication Date
JP2020537162A true JP2020537162A (ja) 2020-12-17
JP7064796B2 JP7064796B2 (ja) 2022-05-11

Family

ID=61092506

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020541842A Active JP7064796B2 (ja) 2017-10-16 2018-09-29 画像再構成方法、装置及び顕微結像装置

Country Status (11)

Country Link
US (1) US11449964B2 (ja)
EP (1) EP3699576A4 (ja)
JP (1) JP7064796B2 (ja)
KR (1) KR102358848B1 (ja)
CN (1) CN107621463B (ja)
AU (1) AU2018352821B2 (ja)
BR (1) BR112020007609B1 (ja)
CA (1) CA3079243C (ja)
MX (1) MX2020003985A (ja)
RU (1) RU2747129C1 (ja)
WO (1) WO2019076192A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107622491B (zh) * 2017-10-16 2022-03-11 苏州微景医学科技有限公司 光纤束图像分析方法和装置
CN107621463B (zh) * 2017-10-16 2024-03-22 苏州微景医学科技有限公司 图像重建方法、装置及显微成像装置
CN111024659B (zh) * 2019-11-28 2020-12-11 浙江大学 一种基于并行探测的多图像重建显微成像方法和装置
CN111461975B (zh) * 2020-03-17 2021-04-23 中国科学院苏州生物医学工程技术研究所 光纤束超分辨成像方法、系统、计算机设备和存储介质
CN113962918A (zh) * 2020-06-08 2022-01-21 飞巽传感技术(上海)有限公司 一种光纤纤芯的聚焦方法及系统
CN113570520B (zh) * 2021-07-28 2024-09-20 苏州微景医学科技有限公司 光纤图像校正方法、装置和计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090092363A1 (en) * 2006-03-14 2009-04-09 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Method and device for generating a structure-free fiberscopic picture
JP2013192063A (ja) * 2012-03-14 2013-09-26 Hitachi-Ge Nuclear Energy Ltd 画像処理方法および装置
JP2016109579A (ja) * 2014-12-08 2016-06-20 ソニー株式会社 情報処理装置、画像取得システム、情報処理方法、画像情報取得方法及びプログラム

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5436980A (en) * 1988-05-10 1995-07-25 E. I. Du Pont De Nemours And Company Method for determining quality of dispersion of glass fibers in a thermoplastic resin preform layer and preform layer characterized thereby
JPH04138127A (ja) * 1990-09-28 1992-05-12 Olympus Optical Co Ltd 内視鏡網目画像軽減装置
AUPQ685900A0 (en) * 2000-04-12 2000-05-11 Goyen Controls Co Pty Limited Method and apparatus for detecting particles in a gas flow
JP4440764B2 (ja) * 2002-12-05 2010-03-24 テレフオンアクチーボラゲット エル エム エリクソン(パブル) 融着温度の校正方法および校正装置
CN100417225C (zh) * 2005-10-27 2008-09-03 中国科学院上海技术物理研究所 基于光纤耦合的焦平面阵列图像时空变换的方法
CN100481937C (zh) * 2006-05-12 2009-04-22 北京理工大学 一种高动态、超分辨率图像重建装置
DE102007018048A1 (de) * 2007-04-13 2008-10-16 Michael Schwertner Verfahren und Anordnung zur optischen Abbildung mit Tiefendiskriminierung
DE102007026595A1 (de) * 2007-06-08 2008-12-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zur Kompensation von Farbverschiebungen in faseroptischen Abbildungssystemen
EP2171516A1 (en) * 2007-07-06 2010-04-07 National University of Signapore Fluorescence focal modulation microscopy system and method
TWI426296B (zh) * 2009-06-19 2014-02-11 Ind Tech Res Inst 利用光學偏極特性之三維顯微共焦量測系統與方法
CN101692971B (zh) * 2009-10-13 2011-04-06 西安电子科技大学 非接触式光学断层成像方法
JP5343065B2 (ja) * 2010-12-07 2013-11-13 富士フイルム株式会社 放射線撮影システム
KR101260051B1 (ko) * 2012-01-30 2013-05-06 한국화학연구원 살아있는 세포에 대한 명시야 이미징 및 형광 이미징의 동시 수행이 가능한 세포 이미징 장치 및 방법
US9885859B2 (en) * 2012-07-05 2018-02-06 Martin Russell Harris Structured illumination microscopy apparatus and method
US10096098B2 (en) * 2013-12-30 2018-10-09 Carestream Health, Inc. Phase retrieval from differential phase contrast imaging
CN103592722B (zh) * 2013-08-22 2015-08-05 浙江大学 一种熊猫型保偏光纤侧视对轴装置及方法
CN103438802B (zh) * 2013-09-17 2016-04-20 上海理工大学 光纤涂覆层几何参数测量方法
CN106031143A (zh) * 2014-02-21 2016-10-12 皇家飞利浦有限公司 颜色空间和用于视频的解码器
CN104794475B (zh) * 2015-04-03 2018-04-27 燕山大学 一种光子晶体光纤的端面结构特征提取方法
CN106447717B (zh) * 2016-09-30 2019-05-03 中国科学院自动化研究所 一种基于多角度的选择性光片照明显微成像的重建方法
CN106981090B (zh) * 2017-02-16 2020-04-28 南京邮电大学 一种管内步进单向光束扫描断层图像的三维重建方法
CN107621463B (zh) 2017-10-16 2024-03-22 苏州微景医学科技有限公司 图像重建方法、装置及显微成像装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090092363A1 (en) * 2006-03-14 2009-04-09 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Method and device for generating a structure-free fiberscopic picture
JP2013192063A (ja) * 2012-03-14 2013-09-26 Hitachi-Ge Nuclear Energy Ltd 画像処理方法および装置
JP2016109579A (ja) * 2014-12-08 2016-06-20 ソニー株式会社 情報処理装置、画像取得システム、情報処理方法、画像情報取得方法及びプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ANANT SHINDE ET AL.: "Pixelate Removal in an Image Fiber Probe Endoscope Incorporating Comb Structure Removal Methods", J. MED. IMAGING HEALTH INF., vol. 4, no. 2, JPN6021026536, 2014, pages 203 - 211, ISSN: 0004588227 *
NENAD BOZINOVIC ET AL.: "Fluorescence endomicroscopy with structured illumination", OPTICS EXPRESS, vol. 16, no. 11, JPN6021026535, 2008, pages 8016 - 8025, XP002542887, ISSN: 0004588228, DOI: 10.1364/OE.16.008016 *

Also Published As

Publication number Publication date
US20200242732A1 (en) 2020-07-30
MX2020003985A (es) 2020-08-13
CN107621463B (zh) 2024-03-22
CA3079243A1 (en) 2019-04-25
WO2019076192A1 (zh) 2019-04-25
US11449964B2 (en) 2022-09-20
KR20200070313A (ko) 2020-06-17
AU2018352821B2 (en) 2021-09-16
KR102358848B1 (ko) 2022-02-08
RU2747129C1 (ru) 2021-04-28
CN107621463A (zh) 2018-01-23
AU2018352821A1 (en) 2020-05-14
EP3699576A1 (en) 2020-08-26
EP3699576A4 (en) 2020-11-25
BR112020007609A2 (pt) 2020-11-10
CA3079243C (en) 2023-05-16
JP7064796B2 (ja) 2022-05-11
BR112020007609B1 (pt) 2023-11-28

Similar Documents

Publication Publication Date Title
JP7064796B2 (ja) 画像再構成方法、装置及び顕微結像装置
JP5784435B2 (ja) 画像処理装置、蛍光顕微鏡装置および画像処理プログラム
JP7252190B2 (ja) 生物試料の向上された被写界深度の合成2d画像を生成するシステム
JP6140737B2 (ja) 多焦点構造化照射顕微鏡検査システムおよび方法
JP6706263B2 (ja) 物体の超解像度画像を取得するための撮像方法およびシステム
CN109425978B (zh) 具有改进的截面厚度的高分辨率2d显微镜检查
EP3211595B1 (en) Microscope and method for generating 3d images of a collection of samples
JP7053845B2 (ja) プログラマブル・アレイ顕微鏡を用いた光学共焦点結像のための方法および装置
JP2006023476A (ja) 共焦点走査型顕微鏡
JP5299078B2 (ja) レーザ走査顕微鏡、3次元画像取得方法、及びプログラム
JP7030986B2 (ja) 画像生成装置、画像生成方法および画像生成プログラム
JP5471715B2 (ja) 合焦装置、合焦方法、合焦プログラム及び顕微鏡
KR101088117B1 (ko) 이미지 센서를 이용한 고속 이미징 장치 및 방법
JP2010164635A (ja) 共焦点顕微鏡
JP2010039323A (ja) 共焦点顕微鏡
CN117631249B (zh) 线扫共聚焦扫描光场显微成像装置及方法
Fu High-Speed 3-D Fluorescent Imaging Based on Light Field Microscopy and Structured Light Illumination
CN117607049A (zh) 一种空间谱估计双光子超分辨显微装置与方法
CN116539576A (zh) 寻址扫描超分辨率显微成像方法及相关设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200612

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210514

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20210615

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210907

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211129

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220322

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220418

R150 Certificate of patent or registration of utility model

Ref document number: 7064796

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150