JP2021517847A - 画像処理システム、蛍光内視鏡照明撮像装置及び撮像方法 - Google Patents

画像処理システム、蛍光内視鏡照明撮像装置及び撮像方法 Download PDF

Info

Publication number
JP2021517847A
JP2021517847A JP2020558539A JP2020558539A JP2021517847A JP 2021517847 A JP2021517847 A JP 2021517847A JP 2020558539 A JP2020558539 A JP 2020558539A JP 2020558539 A JP2020558539 A JP 2020558539A JP 2021517847 A JP2021517847 A JP 2021517847A
Authority
JP
Japan
Prior art keywords
intensity
light
light source
infrared fluorescence
white light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020558539A
Other languages
English (en)
Other versions
JP7140464B2 (ja
Inventor
張升進
唐偉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Kinetic Medical Co Ltd
Original Assignee
Shanghai Kinetic Medical Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Kinetic Medical Co Ltd filed Critical Shanghai Kinetic Medical Co Ltd
Publication of JP2021517847A publication Critical patent/JP2021517847A/ja
Application granted granted Critical
Publication of JP7140464B2 publication Critical patent/JP7140464B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0071Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064Constructional details of the endoscope body
    • A61B1/00071Insertion part of the endoscope body
    • A61B1/0008Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00096Optical elements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00112Connection or coupling means
    • A61B1/00121Connectors, fasteners and adapters, e.g. on the endoscope handle
    • A61B1/00126Connectors, fasteners and adapters, e.g. on the endoscope handle optical, e.g. for light supply cables
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A61B1/051Details of CCD assembly
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0646Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0653Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with wavelength conversion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655Control therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7221Determining signal validity, reliability or quality
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00186Optical arrangements with imaging filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/042Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by a proximal camera, e.g. a CCD camera
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2505/00Evaluating, monitoring or diagnosing in the context of a particular type of medical care
    • A61B2505/05Surgical care
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/02Operational features
    • A61B2560/0223Operational features of calibration, e.g. protocols for calibrating sensors
    • A61B2560/0228Operational features of calibration, e.g. protocols for calibrating sensors using calibration standards
    • A61B2560/0233Optical standards
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • A61B5/0086Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters using infrared radiation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6846Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive
    • A61B5/6847Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive mounted on an invasive device
    • A61B5/6852Catheters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Endoscopes (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

【課題】本発明の目的は、蛍光画像の撮像方法を提供する。カラー蛍光画像を生成する前に画像処理を行い、カラー蛍光の最適なコントラスト比の出力に達成又は接近する。【解決手段】本発明は、蛍光画像の撮像方法を提供する。前記方法は、カラー蛍光画像を生成する前に画像処理を行い、ソフトウェアの処理速度に影響を与えない前提で、3つのモノクロセンサーによってそれぞれ白色光中の赤色光、緑色光、青色光を撮像し、且つその中の1つのモノクロセンサーによって近赤外蛍光を撮像する。その後、近赤外蛍光受信用センサーが蛍光信号を受信したかどうかを判断し、且つ前記センサーが受信した光信号及びその他の2つのモノクロセンサーが受信した光信号の強度を計算する。2種類の光信号の強度差に基づいて白色光源及び/又は励起光源の照射強度を自動調整し、閉ループ系を形成する。カラー蛍光を最適なコントラスト比で出力すると共に、フレーム画像に表示できる。前記方法によれば、撮像前にコントラスト比を自動調整できるため、使用上便利である。また、本発明は、さらにそれに対応する画像処理システム、及び蛍光内視鏡照明撮像装置を提供する。【選択図】図1

Description

本発明は、内視鏡撮像の技術分野に関し、特に画像処理システム、蛍光内視鏡照明撮像装置及び撮像方法に関する。
分子撮像技術の発展につれて、蛍光内視鏡は、腫瘍細胞、癌病変等の微小分子の活動及び転移等を観察する利点がより明確となる。例えば、近赤外蛍光は、乳癌センチネルリンパ結、甲状腺癌、子宮頸癌、大腸癌等の早期腫瘍センチネルリンパ結の臨床マーカーを探すために用いられる。その原理としては、患者の体内にICG(インドシアニングリーン)試薬を注射し、しばらくしてから近赤外励起光及び白色光を患者の検査部位に照射する。励起光が蛍光試薬に照射すると、ICGと結合した異常の組織分子が励起光エネルギーを吸収して近赤外蛍光を発し、正常の組織で反射した白色光と共に内視鏡撮像システムに受信される。さらに光電信号変換及び画像処理を経て、カラー蛍光合成画像を終端モニターに出力する。画像を分析することで、対応の組織の病変状況を得られる。
対応の組織の病変状況を正確に分析するには、カラー蛍光合成画像の解像度が非常に重要である。カラー蛍光合成画像の解像度を確保するために、カラー画像及び蛍光画像を最適なコントラスト比でフレーム画像に出力しなければならない。
カラー画像及び蛍光画像を最適なコントラスト比でフレーム画像に出力するために、従来手段としては、まず、カラー画像及び蛍光画像をそれぞれ生成し、ソフトウェア処理によって画像の輝度及びコントラスト比を調整し、最適なコントラスト比を有するカラー蛍光画像を出力する。前記手段は、下記工程を有する。
S1:異なるセンサーを利用し、反射した照明光を受信してカラー画像を得て、且つ蛍光剤への励起光の照射による生成した蛍光を受信して蛍光画像を得る。
S2:上記カラー画像及び蛍光画像に対して減算又は除算処理を行って、病変部位のみに属する新たな蛍光画像を抽出する。
S3:カラー画像及び新たな蛍光画像を合成し、輝度及びコントラスト比を最適な状態に調整する。
S4:調整したカラー蛍光合成画像を出力する。
上記従来手段の欠点としては、画像処理の方法が複雑過ぎて、正確さも高くない。合成画像がフレーム画像を間隔をあけて出力されるため、画像の遅延感がある。なお、前後の2つの画像位置がずれた場合に、蛍光画像の完全性に影響を与える。
よって、カラー蛍光を簡単且つ正確に画像処理を行うことで、最適なコントラスト比に達成又は接近してから出力する技術を求めている。
本発明の目的は、蛍光画像の撮像方法を提供する。カラー蛍光画像を生成する前に画像処理を行い、カラー蛍光の最適なコントラスト比の出力に達成又は接近する。
本発明の別の目的は、画像処理システムを提供する。カラー蛍光画像を生成する前に画像処理を行い、処理方法をより簡単化する。
本発明のさらに他の目的は、蛍光内視鏡照明撮像装置を提供する。カラー蛍光画像を生成する前に画像処理を行い、カラー蛍光の最適なコントラスト比の出力に達成又は接近する。
上記問題を解決するために、本発明は、下記技術的な特徴を含む。
本発明の1つの実施例において、下記工程を有する蛍光画像の撮像方法を提供する。
S1:白色光源及び励起光源を観察エリアに照射し、励起光源の強度を最大に調整する。赤色光、緑色光、青色光センサーによって白色光の反射光中の赤色光、緑色光、青色光をそれぞれ撮像する。また、前記赤色光、緑色光、青色光センサーのいずれかのセンサーは、さらに観察エリアが発する近赤外蛍光を撮像する。
S2:近赤外蛍光を受信しない2つのセンサーの各ピクセルが受信した赤色光、緑色光、青色光中の2種類の光信号の強度を加重平均し、第3種類の光信号の強度値に変換し、a0とする。
S3:前記近赤外蛍光撮像用センサーの各ピクセルが受信した光強度a1が工程S2で得た強度値a0より大きいかどうかを順に判断する。YESの場合、工程S4に進み、NOの場合、工程S8に進む。
S4:連続的なN個のピクセルがa1>a0を満足するかどうかを判断する。YESの場合、工程S5に進み、NOの場合、前記白色光源の強度を減少して工程S2に戻る。Nは2以上の自然数である。
S5:近赤外蛍光撮像用センサーを制御して近赤外蛍光信号を出力し、その他2つのセンサーが信号を出力しない。対応するセンサーの特定面積内の近赤外蛍光信号の強度の平均値を取って、a1′とする。
S6:a1′とa0の差がデフォルトの最適値に達成又は接近するかどうかを判断する。YESの場合、工程S7に進み、NOの場合、前記白色光源の強度を調整して工程S2に戻る。
S7:近赤外蛍光映像信号を出力する。
S8:a1がa0より小さいかどうかを判断する。YESの場合、前記白色光源の強度を減少して工程S2に戻る。NOの場合、工程S9に進む。
S9:前記白色光源の強度を減少する。
S10:前記白色光源の強度を減少した後、前記近赤外蛍光撮像用センサーの各ピクセルが受信した光強度a11が工程S2で得た強度値a0より小さいかどうかを順に判断する。NOの場合、工程S2に戻り、YESの場合、工程S11に進む。
S11:前記白色光源の強度を減少前の値に回復する。
S12:RGBカラー映像信号を出力する。
S13:工程S7で出力した近赤外蛍光映像信号及び工程S12で出力したRGBカラー映像信号に基づいて、カラー蛍光映像信号を出力する。
本発明の1つの実施例において、前記工程S1と工程S2の間に下記工程をさらに有する。
工程S20:励起光源がオンになってその強度が最大値になるかどうかを判断する。YESの場合、工程S2に進み、NOの場合、励起光源を調整してから再びその強度が最大値になるかどうかを判断する。
本発明の1つの実施例において、下記工程を有する蛍光画像の撮像方法を提供する。
S1:白色光源及び励起光源を観察エリアに照射し、励起光源の強度を最大に調整する。赤色光、緑色光、青色光センサーによって白色光の反射光中の赤色光、緑色光、青色光をそれぞれ撮像する。また、前記赤色光、緑色光、青色光センサーのいずれかのセンサーは、さらに観察エリアが発する近赤外蛍光を撮像する。
S2:近赤外蛍光を受信しない2つのセンサーの各ピクセルが受信した赤色光、緑色光、青色光中の2種類の光信号の強度を加重平均し、第3種類の光信号の強度値に変換し、a0とする。
S3:前記近赤外蛍光撮像用センサーの各ピクセルが受信した光強度a1が工程S2で得た強度値a0より大きいかどうかを順に判断する。YESの場合、工程S4に進み、NOの場合、工程S7に進む。
S4:連続的なN個のピクセルがa1>a0を満足するかどうかを判断する。YESの場合、工程S5に進み、NOの場合、前記白色光源の強度を減少して工程S2に戻る。Nは2以上の自然数である、
S5:近赤外蛍光撮像用センサーを制御して近赤外蛍光信号を出力し、その他2つのセンサーが信号を出力しない。近赤外蛍光信号及びRGB背景光のコントラスト比がデフォルトの最適値に達成又は接近するかどうかを判断する。YESの場合、工程S6に進み、NOの場合、前記白色光源の強度を調整して工程S2に戻る。
S6:近赤外蛍光映像信号を出力する。
S7:a1≦a0の原因は前記観察エリアが近赤外蛍光を発しないことにあるかどうかを判断する。YESの場合、工程S8に進み、NOの場合、前記白色光源の強度を減少して工程S2に戻る。
S8:RGBカラー映像信号を出力する。
S9:工程S6で出力した近赤外蛍光映像信号及び工程S8で出力したRGBカラー映像信号に基づいて、カラー蛍光映像信号を出力する。
本発明の1つの実施例において、前記工程S5中の近赤外蛍光信号及びRGB背景光のコントラスト比がデフォルトの最適値に達成又は接近するかどうかを判断するには、下記工程を有する。
S51:対応するセンサーの特定面積内の近赤外蛍光信号の強度の平均値を取って、a1′とする。
S52:a1′とa0の差がデフォルトの最適値に達成又は接近するかどうかを判断する。YESの場合、近赤外蛍光信号及びRGB背景光のコントラスト比がデフォルトの最適値に達成又は接近したと決定する。NOの場合、近赤外蛍光信号及びRGB背景光のコントラスト比がデフォルトの最適値に達成又は接近しなかったと決定する。
本発明の1つの実施例において、前記工程S7は、下記工程を有する。
S71:a1がa0より小さいかどうかを判断する。YESの場合、前記白色光源の強度を減少して工程S2に戻る。NOの場合、前記白色光源の強度を減少して工程S72に進む、
S72:前記白色光源の強度を減少した後、前記近赤外蛍光撮像用センサーの各ピクセルが受信した光強度a11が工程S1で得た強度値a0より小さいかどうかを順に判断する。NOの場合、工程S2に戻り、YESの場合、工程S73に進む。
S73:前記白色光源の強度を減少前の値に回復する。
S74:赤色光、緑色光、青色光センサーがそれぞれの光信号を出力する。
本発明の1つの実施例において、前記工程S1と工程S2の間に下記工程をさらに有する。
工程S20:励起光源がオンになってその強度が最大値になるかどうかを判断する。YESの場合、工程S2に進み、NOの場合、励起光源を調整してから再びその強度が最大値になるかどうかを判断する。
本発明の1つの実施例において、下記工程を有する蛍光画像の撮像方法を提供する。
S1:白色光源及び励起光源を観察エリアに照射し、赤色光、緑色光、青色光センサーによって白色光の反射光中の赤色光、緑色光、青色光をそれぞれ撮像する。また、前記赤色光、緑色光、青色光センサーのいずれかのセンサーは、さらに観察エリアが発する近赤外蛍光を撮像する。
S2:近赤外蛍光撮像用センサーが近赤外蛍光信号を受信したかどうかを判断する。YESの場合、工程S3に進み、NOの場合、工程S6に進む。
S3:受信した近赤外蛍光信号が連続的なN個のピクセルであるかどうかを判断する。YESの場合、工程S4に進み、NOの場合、前記白色光源の強度を減少して工程S2に戻る。Nは2以上の自然数である。
S4:近赤外蛍光撮像用センサーを制御して近赤外蛍光信号を出力し、その他2つのモノクロセンサーが信号を出力しない。近赤外蛍光信号及びRGB背景光のコントラスト比がデフォルトの最適値に達成又は接近するかどうかを判断する。YESの場合、工程S5に進む。NOの場合、前記白色光源の強度又は前記励起光源の強度を調整し、若しくは前記白色光源及び前記励起光源の強度を同時に調整し、工程S2に戻る。
S5:近赤外蛍光映像信号を出力する。
S6:工程S2において近赤外蛍光信号を受信しなかった原因は前記観察エリアが近赤外蛍光を発しないことにあるかどうかを判断する。YESの場合、工程S7に進み、NOの場合、前記白色光源の強度を減少して工程S2に戻る。
S7:RGBカラー映像信号を出力する。
S8:工程S5で出力した近赤外蛍光映像信号及び工程S7で出力したRGBカラー映像信号に基づいて、カラー蛍光映像信号を出力する。
本発明の1つの実施例において、前記工程S2具体的に有する。
S21:近赤外蛍光を受信しない2つのセンサーの各ピクセルが受信した赤色光、緑色光、青色光中の2種類の光信号の強度を加重平均し、第3種類の光信号の強度値に変換し、a0とする。
S22:前記近赤外蛍光撮像用センサーの各ピクセルが受信した光強度a1が工程S21で得た強度値a0より大きいかどうかを順に判断する。YESの場合、近赤外蛍光撮像用センサーが近赤外蛍光信号を受信したと決定する。NOの場合、近赤外蛍光撮像用センサーが近赤外蛍光信号を受信しなかったと決定する。
本発明の1つの実施例において、前記工程S4において近赤外蛍光信号及びRGB背景光のコントラスト比がデフォルトの最適値に達成又は接近するかどうかを判断するには、下記工程を有する。
S41:特定面積内の近赤外蛍光信号の強度の平均値を取って、a1′とする。
S42:a1′とa0の差がデフォルトの最適値に達成又は接近するかどうかを判断する。YESの場合、近赤外蛍光信号及びRGB背景光のコントラスト比がデフォルトの最適値に達成又は接近したと決定する。NOの場合、近赤外蛍光信号及びRGB背景光のコントラスト比がデフォルトの最適値に達成又は接近しなかったと決定する。
本発明の1つの実施例において、前記工程S6は、下記工程に有する。
S61:a1がa0より小さいかどうかを判断する。YESの場合、前記白色光源の強度を減少して工程S2に戻る。NOの場合、前記白色光源の強度を減少して工程S62に進む。
S62:前記白色光源の強度を減少した後、前記近赤外蛍光撮像用センサーの各ピクセルが受信した光強度a11が工程S21で得た強度値a0より小さいかどうかを順に判断する。NOの場合、工程S2に戻り、YESの場合、工程S63に進む。
S63:前記白色光源の強度を減少前の値に回復する。
S64:赤色光、緑色光、青色光センサーがそれぞれの光信号を出力する。
S65:赤色光、緑色光、青色光センサーで出力した光信号に基づいて、RGBカラー映像信号を出力する。
本発明の1つの実施例において、前記工程S4において、前記励起光源の強度調整は、励起光源の強度を最大値に調整する。
本発明の1つの実施例において、パルス発生器及び画像処理器を有する画像処理システムを提供する。
前記画像処理器は、信号変換部、信号処理部、比較部、命令部、及び信号出力部を有する。
前記信号変換部は、それぞれ赤色光、緑色光、青色光センサーの各ピクセルが受信した光信号の強度値を採集、光電変換させる。赤色光、緑色光、青色光センサーは、白色光の反射光中の赤色光、緑色光、青色光をそれぞれ撮像する。赤色光、緑色光、青色光センサーのいずれかのセンサーは、さらに近赤外蛍光を撮像する。前記白色光の反射光は、白色光源を観察エリアに照射して反射したものである。前記近赤外蛍光は、白色光源及び励起光源を共に観察エリアに照射して反射したものである。
前記信号処理部は、近赤外蛍光を受信しない2つのセンサーの各ピクセルが受信した赤色光、緑色光、青色光中の2種類の光信号を光電変換させ、その強度値を加重平均し、第3種類の光信号の強度値に変換し、a0とする。
前記比較部は、受信した近赤外蛍光のセンサーの各ピクセルの光電変換後の強度値a1及びa0を比較する。
前記命令部は、前記比較部の比較結果を受信、判断してから、対応動作を実行する。
a1>a0の場合、
連続的なN個のピクセルがa1>a0を満足する場合、第1命令を前記パルス発生器に発信する。前記パルス発生器は、近赤外蛍光受信用センサーが近赤外蛍光信号を出力し、その他2つのセンサーが光信号を出力しないように制御する。近赤外蛍光受信用センサーの特定面積内の近赤外蛍光信号の強度の平均値a1′とa0の差がデフォルトの最適値に達成又は接近する場合、第2命令を発信する。デフォルトの最適値に達成又は接近しない場合、第3命令を発信して白色光源の強度を減少する。
連続的なN個のピクセルがa1>a0を満足しない場合、第3命令を発信して白色光源の強度を減少する。又は、a1′とa0の差がデフォルトの最適値に達成又は接近しない場合、第4命令を発信して白色光源の強度を増大又は減少する。
a1<a0の場合、第3命令を発信して白色光源の強度を減少する。
a1=a0の場合、第3命令を発信して白色光源の強度を減少する。白色光源減少後の近赤外蛍光受信用センサーの各ピクセルの光電変換後の強度値a11及びa0を比較し、a11<a0の場合、第5命令を発信して白色光源の強度を減少前の値に回復し、第2命令を前記パルス発生器に発信する。前記パルス発生器は、赤色光、緑色光、青色光センサーがそれぞれ回復後の白色光源の強度で緑色光、青色光信号を出力するように制御する。
信号出力部は、第2命令を受信した後、近赤外蛍光のセンサーで出力した近赤外蛍光信号、及び赤色光、緑色光、青色光センサーで出力した赤色光、緑色光、青色光信号に基づいて、カラー蛍光映像信号を出力する。
本発明の1つの実施例において、上記画像処理システムを有する蛍光内視鏡照明撮像装置を提供する。
本発明の1つの実施例において、前記蛍光内視鏡照明撮像装置は、光照射装置、光学採集部、画像採集部、及び画像表示部をさらに有する。
前記光照射装置は、強度調整可能な白色光及び励起光を観察エリアに照射する。
前記光学採集部は、観察エリアで反射した白色光及び観察エリアが発する近赤外蛍光を画像採集部に送信、結合させる。
前記画像採集部は、ビームスプリッタープリズム組、赤色光センサー、緑色光センサー、及び青色光センサーを有する。前記ビームスプリッタープリズム組は、結合された反射した白色光をR光、G光、B光に分けて、それぞれ赤色光センサー、緑色光センサー、青色光センサーに撮像する。結合された近赤外蛍光は、前記ビームスプリッタープリズム組によって前記赤色光センサー、緑色光センサー、青色光センサーのいずれかの1つのセンサーに撮像する。
前記画像表示部は、前記画像処理システムで出力したカラー蛍光映像信号を映像変換させ、カラー蛍光画像を出力する。
本発明の1つの実施例において、前記光照射装置は、白色光源、励起光源、及び光源制御部を有する。前記光源制御部は、前記白色光源及び前記励起光源の強度を調整する。
本発明の1つの実施例において、前記光学採集部は、撮像レンズ群、及び前記撮像レンズ群の後端に位置する光学アダプターを有する。前記撮像レンズ群は、観察エリアで反射した白色光の反射光及び観察エリアが発する近赤外蛍光を伝送する。前記光学アダプターは、前記撮像レンズ群によって伝送した白色光の反射光及び近赤外蛍光を画像採集部に結合させる。
本発明の1つの実施例において、前記光学アダプター内にフィルタを設けられる。前記フィルタは、観察エリアが発する励起光を濾過し、白色光の反射光及び近赤外蛍光を通る。
本発明の1つの実施例において、前記撮像レンズ群は、内視鏡の一部である。
上記技術的な特徴によれば、従来技術と比べて、本発明は以下の利点及び効果を有する。
1)本発明は、蛍光画像の撮像方法を提供する。前記方法は、カラー蛍光画像を生成する前に画像処理を行い、ソフトウェアの処理速度に影響を与えない前提で、3つのモノクロセンサーによってそれぞれ白色光中の赤色光、緑色光、青色光を撮像し、且つその中の1つのモノクロセンサーによって近赤外蛍光を撮像する。その後、近赤外蛍光受信用センサーが蛍光信号を受信したかどうかを判断し、且つ前記センサーが受信した光信号及びその他の2つのモノクロセンサーが受信した光信号の強度を計算する。2種類の光信号の強度差に基づいて白色光源及び/又は励起光源の照射強度を自動調整し、閉ループ系を形成する。カラー蛍光を最適なコントラスト比で出力すると共に、フレーム画像に表示できる。前記方法によって撮像する時に、白色光照明及び蛍光励起光の照明強度を自動に調整し、蛍光信号とカラー背景信号との信号差を常に一定に維持できるため、蛍光信号の有無を正確に容易に判断できる。蛍光信号がある場合に、カラー背景を十分な輝度値に維持させ、医師が体腔を正確に容易に観測できる。
2)さらに、前記方法は、撮像前に画像処理を行うため、情報処理量が少なく、演算速度が速く、画面が流暢である。
本発明の実施例の蛍光画像の撮像方法のフローチャートである。 本発明の他の実施例の蛍光画像の撮像方法のフローチャートである。 本発明のさらに他の実施例の蛍光画像の撮像方法のフローチャートである。 本発明のまたさらに他の実施例の蛍光画像の撮像方法のフローチャートである。 本発明の実施例の画像処理システムの構造ブロック図である。 本発明の実施例の蛍光内視鏡照明撮像装置の構造模式図である。 本発明の実施例の励起光カットフィルタの表面コーティング曲線の模式図である。 本発明の実施例のビームスプリッタープリズム組の内部光路の模式図である。 本発明の実施例のビームスプリッタープリズムの分光面コーティング曲線の模式図である。
以下、図面及び実施例を開示しながら、本発明の画像処理システム、蛍光内視鏡照明撮像装置、及び撮像方法を詳しく説明する。下記説明及び請求の範囲によって本発明の利点及び特徴をより明確にする。留意すべきことは、本発明の実施例の目的を容易に明確に説明するために、図面は、いずれも簡略化され、非常に精確な比率で表現するものではない。明細書及び請求の範囲において、特定の名詞によって特定の素子を示すが、製造メーカーによって異なる名詞によって同じ素子を示す場合もある。本明細書及び請求の範囲は、そのような名詞の差異によって素子を区別するのではなく、その素子の機能によって区別する。明細書及び請求の範囲において、「有する」はオープンエンドの用語であるため、「有するがそれらに限定されない」に解釈すべき。また、「連結」又は「接続」等の用語は、すべての直接的又は間接的な電気的又は構造的な接続手段を示す。そのため、の第1装置が第2装置に連結/接続されるとの記載は、前記第1装置が直接的に前記第2装置に電気的又は構造的に接続され、又は他の装置又は接続手段を介して間接的に前記第2装置に電気的又は構造的に接続されることを示す。
図1を参照しながら説明する。本発明の1つの実施例において、下記工程を有する蛍光画像の撮像方法を提供する。
S1:白色光源及び励起光源を観察エリアに照射し、励起光源の強度を最大に調整し、白色光源の強度が任意の値である。赤色光、緑色光、青色光センサーによって白色光の反射光中の赤色光、緑色光、青色光をそれぞれ撮像する。青色光センサーは、さらに観察エリアが発する近赤外蛍光を撮像する。
白色光源は、LED白色光源であってもよく、RGB3色のLED光源を合成した白色光であってもよい。励起光源は、808±10nmのレーザーであり、観察エリアのICG(インドシアニングリーン)を励起させて近赤外蛍光を生成する。また、本実施例において、青色光センサーによって観察エリアが発する近赤外蛍光を撮像するが、それらに限定されない。他の実施例において、赤色光センサー又は緑色光センサーによって観察エリアが発する近赤外蛍光を撮像してもよい。
工程S20:励起光源がオンになってその強度が最大値になるかどうかを判断する。YESの場合、工程S2に進み、NOの場合、励起光源を調整してから再びその強度が最大値になるかどうかを判断する。
前記工程は、本実施例の好ましい実施形態であるが、他の実施形態において、工程S20を設けなくてもよい。
S2:赤色光センサー及び緑色光センサーの各ピクセルが受信した赤色光及び緑色光信号の強度を加重平均し、経験係数rを掛けて青色光信号の強度値に変換し、a0とする。
S3:青色光センサーの各ピクセルが受信した光強度a1がa0より大きいかどうかを順に判断する。YESの場合、工程S4に進み、NOの場合、工程S8に進む。
a1>a0は、青色光センサーが近赤外蛍光信号を受信したことを示す。
S4:青色光センサーの連続的なN個のピクセルがa1>a0を満足するかどうかを判断する。YESの場合、工程S5に進み、NOの場合、白色光源の強度を減少して工程S2に戻る。Nは2以上の自然数である。
前記工程の目的は偽蛍光信号を排除することにある。あるピクセルが蛍光信号を現れても、観察エリアが近赤外蛍光を発することとは限らず、偽蛍光信号の可能性がある。連続的なピクセルが蛍光信号を検知した場合のみ、観察エリアが確実に近赤外蛍光を発すると確定できる。本発明において、前記工程によって偽蛍光現象の可能性を排除するため、画像処理の正確度を向上できる。
S5:青色光センサーを制御して近赤外蛍光信号を出力し、B色とマークする。その他2つのセンサーが信号を出力しない。すべてのピクセルを検査した後、蛍光信号の強度の平均値を取って、a1′とする。
他の実施例において、近赤外蛍光信号を他の設定色とマークしてもよい。また、青色光センサーの特定面積内の近赤外蛍光信号の強度の平均値を取って、a1′と表記してもよい。
S6:a1′とa0の差がデフォルトの最適値Cに達成又は接近するかどうかを判断する。YESの場合、工程S7に進み、NOの場合、前記白色光源の強度を調整して工程S2に戻る。
最適値Cは、事前の設定値であり、蛍光及びカラー背景光のコントラスト比が最適な状態に達成又は接近することを満足させる。それによって、後の合成カラー蛍光画像において、蛍光画像をはっきりと見ることができる。
S7:B色の近赤外蛍光映像信号を出力する。
工程S5において、近赤外蛍光信号を他の設定色とマークしてもよい。その場合、工程S7において、他の色の近赤外蛍光映像信号を出力する。
S8:a1がa0より小さいかどうかを判断する。YESの場合、白色光源の強度を減少して工程S2に戻り、NOの場合、工程S9に進む。
S9:白色光源の強度を減少する。
具体的には、a1がa0以上である、即ちa1=a0と判断した場合、その時の白色光源の強度をA1とする。白色光源の強度をA2に減少する。a1=a0は、赤色光センサー及び緑色光センサーの各ピクセルが受信した赤色光及び緑色光信号を青色光信号に変換した強度値は、青色光センサーが受信した青色光の強度値と等しいことを示す。通常の状況下では、観察エリアが近赤外蛍光信号を発しなく、即ち観察エリアが正常組織エリアであると判断できる。しなしながら、下記状況の可能性がある。青色光センサーが受信した近赤外蛍光信号の強度の平均値は、ちょうど赤色光センサー及び緑色光センサーを変換した後の青色光信号の強度値と等しく、即ち病変エリア及び正常組織エリアが発する光信号強度が等しいである。このような可能性を排除して画像処理の正確度を向上するために、本発明において、下記工程S10及びS11を設ける。
S10:前記白色光源の強度を減少した後、青色光センサーの各ピクセルが受信した光強度a11がa0より小さいかどうかを順に判断する。NOの場合、工程S2に戻り、YESの場合、工程S11に進む。
S11:白色光源の強度を減少前の値、即ちA1に回復する。
S12:RGBカラー映像信号を出力する。
具体的には、青色光センサーがB光信号を出力し、緑色光センサーがG光信号を出力し、赤色光センサーがR光信号を出力する。B光信号、G光信号、及びR光信号に基づいて、RGBカラー映像信号を出力する。
S13:工程S7で出力した近赤外蛍光映像信号及び工程S12で出力したRGBカラー映像信号に基づいて、カラー蛍光映像信号を出力する。
具体的には、カラー蛍光映像信号を画像表示部に出力して表示する。
図2を参照しながら説明する。本発明の他の実施例において、下記工程を有する蛍光画像の撮像方法を提供する。
S1:白色光源及び励起光源を観察エリアに照射し、励起光源の強度を最大に調整すし、白色光源の強度が任意の値である。赤色光、緑色光、青色光センサーによって白色光の反射光中の赤色光、緑色光、青色光をそれぞれ撮像する。青色光センサーは、さらに観察エリアが発する近赤外蛍光を撮像する。
白色光源は、LED白色光源であってもよく、RGB3色のLED光源を合成した白色光であってもよい。励起光源は、808±10nmのレーザーであり、観察エリアのICG(インドシアニングリーン)を励起させて近赤外蛍光を生成する。また、本実施例において、青色光センサーによって観察エリアが発する近赤外蛍光を撮像するが、それらに限定されない。他の実施例において、赤色光センサー又は緑色光センサーによって観察エリアが発する近赤外蛍光を撮像してもよい。
S2:赤色光センサー及び緑色光センサーの各ピクセルが受信した赤色光及び緑色光信号の強度を加重平均し、経験係数rを掛けて青色光信号の強度値に変換し、a0とする。
S3:青色光センサーの各ピクセルが受信した光強度a1がa0より大きいかどうかを順に判断する。YESの場合、工程S4に進み、NOの場合、工程S7に進む。
a1>a0は、青色光センサーが近赤外蛍光信号を受信したことを示す。
S4:青色光センサーの連続的なN個のピクセルがa1>a0を満足するかどうかを判断する。YESの場合、工程S5に進み、NOの場合、前記白色光源の強度を減少して工程S2に戻る。Nは2以上の自然数である。
前記工程の目的は偽蛍光信号を排除することにある。ピクセルが蛍光信号を現れても、観察エリアが近赤外蛍光を発することとは限らず、偽蛍光信号の可能性がある。連続的なピクセルが蛍光信号を検知した場合のみ、観察エリアが確実に近赤外蛍光を発すると確定できる。本発明において、前記工程によって偽蛍光現象の可能性を排除するため、画像処理の正確度を向上できる。
S5:青色光センサーを制御して近赤外蛍光信号を出力し、B色とマークする。その他2つのセンサーが信号を出力しない。近赤外蛍光信号及びRGB背景光のコントラスト比がデフォルトの最適値に達成又は接近するかどうかを判断する。YESの場合、工程S6に進み、NOの場合、前記白色光源の強度を調整して工程S2に戻る。
S6:B色の近赤外蛍光映像信号を出力する。
S7:a1≦a0の原因は前記観察エリアが近赤外蛍光を発しないことにあるかどうかを判断する。YESの場合、工程S8に進み、NOの場合、前記白色光源の強度を減少して工程S2に戻る。
S8:RGBカラー映像信号を出力する。
S9:工程S6で出力した近赤外蛍光映像信号及び工程S8で出力したRGBカラー映像信号に基づいて、カラー蛍光映像信号を出力する。
好ましくは、工程S1と工程S2の間に下記工程S20を有する。
工程S20:励起光源がオンになってその強度が最大値になるかどうかを判断する。YESの場合、工程S2に進み、NOの場合、励起光源を調整してから再びその強度が最大値になるかどうかを判断する。他の実施形態において、工程S20を設けなくてもよい。
1つの実施形態において、工程S5において、近赤外蛍光信号及びRGB背景光のコントラスト比がデフォルトの最適値に達成又は接近するかどうかを判断するには、下記工程を有する。
S51:青色光センサーの特定面積内の近赤外蛍光信号の強度の平均値を取って、a1′とする。
S52:a1′とa0の差がデフォルトの最適値Cに達成又は接近するかどうかを判断する。YESの場合、近赤外蛍光信号及びRGB背景光のコントラスト比がデフォルトの最適値に達成又は接近したと決定する。NOの場合、近赤外蛍光信号及びRGB背景光のコントラスト比がデフォルトの最適値に達成又は接近しなかったと決定する。
最適値Cは、事前の設定値であり、蛍光及びカラー背景光のコントラスト比が最適な状態に達成又は接近することを満足させる。それによって、後の合成カラー蛍光画像において、蛍光画像をはっきりと見ることができる。当業者は、他の方法によって近赤外蛍光信号及びRGB背景光のコントラスト比がデフォルトの最適値に達成又は接近するかどうかを判断できる。近赤外蛍光信号及びRGB背景光のコントラスト比がデフォルトの最適値に達成又は接近するかどうかを判断できるすべての方法は、本発明に含む。
1つの実施形態において、工程S7において、a1≦a0の原因は前記観察エリアが近赤外蛍光を発しないことにあるかどうかを判断するには、下記工程を有する。
S71:a1がa0より小さいかどうかを判断する。YESの場合、白色光源の強度を減少して工程S2に戻る。NOの場合、白色光源の強度を減少して工程S72に進む。
S72:前記白色光源の強度を減少した後、青色光センサーの各ピクセルが受信した光強度a11がa0より小さいかどうかを順に判断する。NOの場合、工程S2に戻り、YESの場合、工程S73に進む。
S73:白色光源の強度を減少前の値に回復する。
S74:赤色光、緑色光、青色光センサーがそれぞれの光信号を出力する。
当業者は、他の方法によってa1≦a0の原因は前記観察エリアが近赤外蛍光を発しないことにあるかどうかを判断できる。a1≦a0の原因は観察エリアが近赤外蛍光を発しないことにあるかどうかを判断できるすべての方法は、本発明に含む。
なお、他の実施形態において、上記工程S5の実施形態及び工程S7の実施形態を同時に使用できる。工程S5の前記実施形態を選択して、工程S7の他の実施形態を使用できる。又は、工程S7の前記実施形態を使用して、工程S5の他の実施形態を使用できる。
図3を参照しながら説明する。図3は、本発明のさらに他の実施例であり、下記工程を有する蛍光画像の撮像方法を示す。
S1:白色光源及び励起光源を観察エリアに照射し、赤色光、緑色光、青色光センサーによって白色光の反射光中の赤色光、緑色光、青色光をそれぞれ撮像する。青色光センサーは、さらに観察エリアが発する近赤外蛍光を撮像する。
白色光源は、LED白色光源であってもよく、RGB3色のLED光源を合成した白色光であってもよい。励起光源は、808±10nmのレーザーであり、観察エリアのICG(インドシアニングリーン)を励起させて近赤外蛍光を生成する。本実施例において、白色光源及び励起光源の強度は、いずれも任意の値である。また、本実施例において、青色光センサーによって観察エリアが発する近赤外蛍光を撮像するが、それらに限定されない。他の実施例において、赤色光センサー又は緑色光センサーによって観察エリアが発する近赤外蛍光を撮像してもよい。
S2:青色光センサーが近赤外蛍光信号を受信したかどうかを判断する。YESの場合、工程S3に進み、NOの場合、工程S6に進む。
S3:受信した近赤外蛍光信号が連続的なN個のピクセルであるかどうかを判断する。YESの場合、工程S4に進み、NOの場合、白色光源の強度を減少して工程S2に戻る。Nは2以上の自然数である。
S4:青色光センサーを制御して近赤外蛍光信号を出力し、その他2つのモノクロセンサーが信号を出力しない。近赤外蛍光信号及びRGB背景光のコントラスト比がデフォルトの最適値に達成又は接近するかどうかを判断する。YESの場合、工程S5に進み、NOの場合、白色光源の強度を増大又は減少すると共に、励起光源の強度を最大値に調整して、工程S2に戻る。また、白色光源の強度値のみを調整してもよく、励起光源の強度値のみを調整してもよい。
S5:近赤外蛍光映像信号を出力する。
S6:工程S2において近赤外蛍光信号を受信しなかった原因は観察エリアが近赤外蛍光を発しないことにあるかどうかを判断する。YESの場合、工程S7に進み、NOの場合、白色光源の強度を減少して工程S2に戻る。
S7:RGBカラー映像信号を出力する。
S8:工程S5で出力した近赤外蛍光映像信号及び工程S7で出力したRGBカラー映像信号に基づいて、カラー蛍光映像信号を出力する。
1つの実施形態において、工程S2は下記工程を有する。
S21:赤色光センサー及び緑色光センサーの各ピクセルが受信した赤色光及び緑色光信号の強度を加重平均し、経験係数rを掛けて青色光信号の強度値に変換し、a0とする。
S22:青色光センサーの各ピクセルが受信した光強度a1がa0より大きいかどうかを順に判断する。YESの場合、青色光センサーが近赤外蛍光信号を受信したと決定する。NOの場合、青色光センサーが近赤外蛍光信号を受信しなかったと決定する。
当業者は、他の方法によって青色光センサーが近赤外蛍光信号を受信したかどうかを判断できる。青色光センサーが近赤外蛍光信号を受信したかどうかを判断できるすべての方法は、本発明に含む。
1つの実施形態において、工程S4において赤外蛍光信号及びRGB背景光のコントラスト比がデフォルトの最適値に達成又は接近するかどうかを判断するには、下記工程を有する。
S41:特定面積内の近赤外蛍光信号の強度の平均値を取って、a1′とする。
S42:a1′とa0の差がデフォルトの最適値に達成又は接近するかどうかを判断する。YESの場合、近赤外蛍光信号及びRGB背景光のコントラスト比がデフォルトの最適値に達成又は接近したと決定する。NOの場合、近赤外蛍光信号及びRGB背景光のコントラスト比がデフォルトの最適値に達成又は接近しなかったと決定する。
当業者は、他の方法によって近赤外蛍光信号及びRGB背景光のコントラスト比がデフォルトの最適値に達成又は接近するかどうかを判断できる。近赤外蛍光信号及びRGB背景光のコントラスト比がデフォルトの最適値に達成又は接近するかどうかを判断できるすべての方法は、本発明に含む。
1つの実施形態において、工程S6は下記工程に有する。
S61:a1がa0より小さいかどうかを判断する。YESの場合、白色光源の強度を減少して工程S2に戻る。NOの場合、白色光源の強度を減少して工程S62に進む。
S62:前記白色光源の強度を減少した後、近赤外蛍光撮像用センサーの各ピクセルが受信した光強度a11が工程S21で得た強度値a0より小さいかどうかを順に判断する。NOの場合、工程S2に戻り、YESの場合、工程S63に進む。
S63:白色光源の強度を減少前の値に回復する。
S64:赤色光、緑色光、青色光センサーがそれぞれの光信号を出力する。
S65:赤色光、緑色光、青色光センサーで出力した光信号に基づいて、RGBカラー映像信号を出力する。
当業者は、他の方法によってa1≦a0の原因は前記観察エリアが近赤外蛍光を発しないことにあるかどうかを判断できる。a1≦a0の原因は観察エリアが近赤外蛍光を発しないことにあるかどうかを判断できるすべての方法は、本発明に含む。
なお、他の実施形態において、上記工程S4の実施形態及び工程S6の実施形態を同時に使用できる。工程S4の前記実施形態を選択して、工程S6の他の実施形態を使用できる。又は、工程S6の前記実施形態を使用して、工程S4の他の実施形態を使用できる。
本発明において、図4に示すように、白色光源をオンする時に白色光源の強度を最大値のA%(例えば30%、ダークノイズより大きい範囲内でできる限りに小さくして、その時の励起光の強度が0〜最大値の範囲内の任意の値である)に減少(調整)して固定してもよい。その後の工程において、励起光源の強度のみを調整することで、近赤外蛍光及びRGBカラー光のコントラスト比が最適値に達成又は接近することができる。
本発明は、蛍光画像の撮像方法を提供する。前記方法は、カラー蛍光画像を生成する前に画像処理を行い、ソフトウェアの処理速度に影響を与えない前提で、3つのモノクロセンサーによってそれぞれ白色光中の赤色光、緑色光、青色光を撮像し、且つその中の1つのモノクロセンサーによって近赤外蛍光を撮像する。その後、近赤外蛍光受信用センサーが蛍光信号を受信したかどうかを判断し、且つ前記センサーが受信した光信号及びその他の2つのモノクロセンサーが受信した光信号の強度を計算する。2種類の光信号の強度差に基づいて白色光源及び/又は励起光源の照射強度を自動調整し、閉ループ系を形成する。カラー蛍光を最適なコントラスト比で出力すると共に、フレーム画像に表示できる。前記方法によって撮像する時に、白色光照明及び蛍光励起光の照明強度を自動に調整し、蛍光信号とカラー背景信号との信号差を常に一定に維持できるため、蛍光信号の有無を正確に容易に判断できる。蛍光信号がある場合に、カラー背景を十分な輝度値に維持させ、医師が体腔を正確に容易に観測できる。さらに、前記方法は、撮像前に画像処理を行うため、情報処理量が少なく、演算速度が速く、画面が流暢である。
図5を参照しながら説明する。図5に示すように、本発明の実施例の画像処理システムは、パルス発生器及び画像処理器を有する。前記画像処理器は、信号変換部、信号処理部、比較部、命令部、及び信号出力部を有する。
前記信号変換部は、それぞれ赤色光、緑色光、青色光センサーの各ピクセルが受信した光信号の強度値を採集、光電変換させる。赤色光、緑色光、青色光センサーは、白色光の反射光中の赤色光、緑色光、青色光をそれぞれ撮像する。青色光センサーは、さらに近赤外蛍光を撮像する。白色光の反射光は、白色光源を観察エリアに照射して反射したものである。近赤外蛍光は、白色光源及び励起光源を共に観察エリアに照射して反射したものである。白色光源は、LED白色光源であってもよく、RGB3色のLED光源を合成した白色光であってもよい。励起光源は、808±10nmのレーザーであり、観察エリアのICG(インドシアニングリーン)を励起させて近赤外蛍光を生成する。また、本実施例において、青色光センサーによって観察エリアが発する近赤外蛍光を撮像するが、それらに限定されない。他の実施例において、赤色光センサー又は緑色光センサーによって観察エリアが発する近赤外蛍光を撮像してもよい。
前記信号処理部は、赤色光センサー及び緑色光センサーの各ピクセルが受信した赤色光及び緑色光信号の強度を加重平均し、経験係数rを掛けて青色光信号の強度値に変換し、a0とする。
前記比較部は、青色光センサーの各ピクセルの光電変換後の強度値a1及びa0を比較する。
前記命令部は、比較部の比較結果を受信、判断してから、対応動作を実行する。
a1>a0の場合、
連続的なN個のピクセルがa1>a0を満足する場合、第1命令をパルス発生器に発信する。パルス発生器は、青色光センサーが近赤外蛍光信号を出力し、その他2つのセンサーが光信号を出力しないように制御する。また、青色光センサーの特定面積内の近赤外蛍光信号の強度の平均値a1′とa0の差がデフォルトの最適値に達成又は接近する場合、第2命令を発信し、デフォルトの最適値に達成又は接近しない場合、第3命令を発信して白色光源の強度を減少する。
連続的なN個のピクセルがa1>a0を満足しない場合、第3命令を発信して白色光源の強度を減少し、又はa1′とa0の差がデフォルトの最適値に達成又は接近しない場合、第4命令を発信して白色光源の強度を増大又は減少する。
a1<a0の場合、第3命令を発信して白色光源の強度を減少する。
a1=a0の場合、第3命令を発信して白色光源の強度を減少し、白色光源減少後の青色光センサーの各ピクセルの光電変換後の強度値a11及びa0を比較する。a11<a0の場合、第5命令を発信して白色光源の強度を減少前の値に回復し、第2命令を前記パルス発生器に発信する。パルス発生器は、赤色光、緑色光、青色光センサーがそれぞれ回復後の白色光源の強度で緑色光、青色光信号を出力するように制御する。
前記信号出力部は、第2命令を受信した後、近赤外蛍光のセンサーで出力した近赤外蛍光信号、及び赤色光、緑色光、青色光センサーで出力した赤色光、緑色光、青色光信号に基づいて、カラー蛍光映像信号を出力する。
図6を参照しながら説明する。図6に示すように、本発明は、蛍光内視鏡照明撮像装置を提供する。前記蛍光内視鏡照明撮像装置は、光照射装置、光学採集部、画像採集部、画像処理システム、及び画像表示部を有する。
前記光照射装置は、強度調整可能な白色光及び励起光を観察エリアに照射する。白色光源は、LED白色光源であってもよく、RGB3色のLED光源を合成した白色光であってもよい。励起光源は、808±10nmのレーザーであり、観察エリアのICG(インドシアニングリーン)を励起させて近赤外蛍光を生成する。具体的には、光照射装置は、白色光源、励起光源、及び光源制御部を有する。光源制御部は、白色光源及び励起光源の強度を調整する。
前記光学採集部は、観察エリアで反射した白色光の反射光及び観察エリアが発する近赤外蛍光を画像採集部に送信、結合させる。具体的には、光学採集部は、撮像レンズ群、及び撮像レンズ群の後端に位置する光学アダプターを有する。撮像レンズ群は、観察エリアで反射した白色光の反射光及び観察エリアが発する近赤外蛍光を伝送する。光学アダプターは、撮像レンズ群によって伝送した反射した白色光の反射光及び近赤外蛍光を画像採集部に結合させる。撮像レンズ群は、一般設計の光学レンズ群であり、可視光〜近赤外光のマルチスペクトルの撮像の要求を満足できる。光学アダプター内にフィルタを設けられる。前記フィルタは、観察エリアが発する励起光を濾過し、反射した白色光の反射光及び近赤外蛍光を通る。図7は、フィルタの表面コーティング曲線を示す。図7から分かるように、前記フィルタによって、400〜800nmの可視光及び830〜850nmの近赤外蛍光を通って、808nmの励起光を濾過する。
好ましい実施形態において、撮像レンズ群は、内視鏡の一部である。それによって、全体的なシステムの構造をより小さくなり、医者の操作を影響せずに従来の内視鏡を置換できる。
画像採集部は、ビームスプリッタープリズム組、赤色光センサー、緑色光センサー、及び青色光センサーからなる。ビームスプリッタープリズム組は、2つのプリズムで構成され、光学アダプターの後端に位置し、反射した白色光の反射光をR光、G光、B光の3つのチャネルに分けてる。その後、それぞれ赤色光センサー、緑色光センサー、青色光センサーに撮像する。図8に示すように、NIR蛍光がB光チャネルに分けられ、B光と共に青色光センサーに撮像する。以下、具体的な分光プロセスを示す。ビームスプリッタープリズム組に入射した白色光及び近赤外蛍光は、R+G光、及びB+NIR光の2つの部分に分けられる。R+G光が第1プリズムのb面を透過する。そのうち、G光が第2プリズムのd面を透過して緑色光センサーに撮像する。R光が第2プリズムのd面で反射してから全反射して、第2プリズムのf面から射出して赤色光センサーに撮像する。B+NIR光は、第1プリズムのb面で反射してから全反射して、第1プリズムのc面から射出して青色光センサーに撮像する。
図9は、第1プリズムのb面、c面、第2プリズムのd面のコーティング曲線を示す。b面のコーティングは、緑色光及び赤色光を透過して、青色光及び近赤外蛍光を反射する。c面のコーティングは、青色光及び近赤外蛍光を透過して、緑色光及び赤色光を濾過する。d面のコーティングは、緑色光を透過して赤色光を反射する。青色光が暗色であるため、人体組織を表示する色として利用価値が低い。そのため、近赤外蛍光をB光チャネルに分けて青色光センサーに撮像してもよい。即ち、NIR蛍光及びB光は青色光センサーを共有する。しかしながら、本発明はそれらに限定されない。他の実施例において、赤色光センサー又は緑色光センサーによって観察エリアが発する近赤外蛍光を撮像してもよい。
画像処理システムは、パルス発生器及び画像処理器を有する。前記画像処理器は、信号変換部、信号処理部、比較部、命令部、及び信号出力部を有する。
前記信号変換部は、それぞれ赤色光、緑色光、青色光センサーの各ピクセルが受信した光信号の強度値を採集、光電変換させる。
前記信号処理部は、赤色光センサー及び緑色光センサーの各ピクセルが受信した赤色光及び緑色光信号の強度を加重平均し、経験係数rを掛けて青色光信号の強度値に変換し、a0とする。
前記比較部は、青色光センサーの各ピクセルの光電変換後の強度値a1及びa0を比較する。
前記命令部は、比較部の比較結果を受信、判断してから、対応動作を実行する。
a1>a0の場合、
連続的なN個のピクセルがa1>a0を満足する場合、第1命令をパルス発生器に発信する。パルス発生器は、青色光センサーが近赤外蛍光信号を出力してB色とマークし、その他2つのセンサーが光信号を出力しないように制御する。具体的には、パルス発生器は、赤色、緑色センサーの出力チャネルをオフして、信号を出力しないようにする。また、青色光センサーの特定面積内の近赤外蛍光信号の強度の平均値a1′とa0の差がデフォルトの最適値に達成又は接近する場合、第2命令を発信する。NOの場合、第3命令を発信して白色光源の強度を減少する。
連続的なN個のピクセルがa1>a0を満足しない場合、第3命令を発信して白色光源の強度を減少し、又はa1′とa0の差がデフォルトの最適値に達成又は接近しない場合、第4命令を発信して白色光源の強度を増大又は減少する。
a1<a0の場合、第3命令を発信して白色光源の強度を減少する。
a1=a0の場合、第3命令を発信して白色光源の強度を減少し、白色光源減少後の青色光センサーの各ピクセルの光電変換後の強度値a11及びa0を比較する。a11<a0の場合、第5命令を発信して白色光源の強度を減少前の値に回復し、第2命令を前記パルス発生器に発信する。パルス発生器は、赤色光、緑色光、青色光センサーがそれぞれ回復後の白色光源の強度で緑色光、青色光信号を出力するように制御する。具体的には、パルス発生器は、赤色、緑色センサーのチャネルをオンして対応の光信号を出力する。
前記信号出力部は、第2命令を受信した後、近赤外蛍光のセンサーで出力した近赤外蛍光信号、及び赤色光、緑色光、青色光センサーで出力した赤色光、緑色光、青色光信号に基づいて、カラー蛍光映像信号を出力する。即ち、観察エリアにおける正常組織エリアで反射した白色光に対してRGBカラー合成を行って出力すると共に、異常組織エリアが発する近赤外蛍光をB色で出力する。
画像表示部は、モニターを有し、信号出力部で出力したカラー蛍光映像信号を映像変換させ、カラー蛍光画像を出力してモニターのスクリーンに表示する。
以下、本発明の実施例の蛍光内視鏡照明撮像装置を医療検査に利用する例を説明する。
まず、人体に注射ICG試薬を注射し、しばらくしてから、白色光源及びレーザー光源を同時にオンして、白色光源をA1値に、レーザー光源を最大値に調整する。すると、組織表面で反射した白色光、励起光、及び発する近赤外蛍光は、撮像レンズ群(腹腔鏡でもよい)に入射し、光学アダプターを経てビームスプリッタープリズム組の前端に到達する。その時に、励起光は、光学アダプター内部にあるフィルタによって濾過される。残った白色光及び近赤外蛍光がビームスプリッタープリズム組に入射し、第1プリズムのa面を透過して第1プリズムに入射する。その後、第1プリズムのb面において、白色光中のR光、G光が透過して第2プリズムに入射し、白色光中のB光及びNIR蛍光が第1プリズムのa面に反射して全反射して、第1プリズムのc面から第1プリズムに射出して青色光センサーに撮像する。第2プリズムに入射したR光及びG光は、第2プリズムのd面に到達してから、G光が第2プリズムのd面から第2プリズムに射出して緑色光センサーに撮像する。R光が第2プリズムのe面に反射して全反射して、第2プリズムのf面から第2プリズムを射出して赤色光センサーに撮像する。
その後、画像処理システムによって生成したR光信号、G光信号、B光信号及びNIR蛍光信号に対して処理する。R光及びG光の信号強度の加重平均値を取って、経験係数rを掛けて、a0とする。青色光センサーが光信号強度a1>a0を検知した場合、B色のNIR蛍光信号を出力する。その場合、緑色光センサー及び赤色光センサーが信号を出力しない。a1≦a0の場合、B光信号を出力し、緑色光センサーで出力したG光信号、赤色光センサーで出力したR光信号と共にRGBカラー信号を出力することで、カラー蛍光映像信号を出力する。
青色光センサーがすべてのNIR蛍光信号を検知した後、画像処理器から命令を光源制御部に出力する。光源制御部は、LED白色光源の強度を次第に増加又は減少することで、蛍光信号の強度の平均値a1’とa0の差を最適値Cに達成又は接近させる。即ち、蛍光及びカラー背景光が最適なのコントラスト比に達成する。
最後、上記カラー蛍光映像信号を画像表示部に出力し、モニターの変換を経て、カラー蛍光画像をモニターのスクリーンに出力する。そのうち、蛍光が青色で、背景がカラーである。
当業者は、本発明の精神及び範囲内で他のさまざまな変更及び改良を行うことができる。しかしながら、前記変更及び改良が本発明の請求項及びその均等的な範囲内であれば、すべて本発明に含む。
S71:a1がa0より小さいかどうかを判断する。YESの場合、前記白色光源の強度を減少して工程S2に戻る。NOの場合、前記白色光源の強度を減少して工程S72に進む、
S72:前記白色光源の強度を減少した後、前記近赤外蛍光撮像用センサーの各ピクセルが受信した光強度a11が工程Sで得た強度値a0より小さいかどうかを順に判断する。NOの場合、工程S2に戻り、YESの場合、工程S73に進む。
S73:前記白色光源の強度を減少前の値に回復する。
S74:赤色光、緑色光、青色光センサーがそれぞれの光信号を出力する。

Claims (18)

  1. 下記工程を有することを特徴とする、蛍光画像の撮像方法。
    S1:白色光源及び励起光源を観察エリアに照射し、励起光源の強度を最大に調整する。赤色光、緑色光、青色光センサーによって白色光の反射光中の赤色光、緑色光、青色光をそれぞれ撮像する。また、前記赤色光、緑色光、青色光センサーのいずれかのセンサーは、さらに観察エリアが発する近赤外蛍光を撮像する。
    S2:近赤外蛍光を受信しない2つのセンサーの各ピクセルが受信した赤色光、緑色光、青色光中の2種類の光信号の強度を加重平均し、第3種類の光信号の強度値に変換し、a0とする。
    S3:近赤外蛍光撮像用センサーの各ピクセルが受信した光強度a1が工程S2で得た強度値a0より大きいかどうかを順に判断する。YESの場合、工程S4に進み、NOの場合、工程S8に進む。
    S4:連続的なN個のピクセルがa1>a0を満足するかどうかを判断する。YESの場合、工程S5に進み、NOの場合、前記白色光源の強度を減少して工程S2に戻る。Nは2以上の自然数である。
    S5:近赤外蛍光撮像用センサーを制御して近赤外蛍光信号を出力し、その他2つのセンサーが信号を出力しない。対応するセンサーの特定面積内の近赤外蛍光信号の強度の平均値を取って、a1′とする。
    S6:a1′とa0の差がデフォルトの最適値に達成又は接近するかどうかを判断する。YESの場合、工程S7に進み、NOの場合、前記白色光源の強度を調整して工程S2に戻る。
    S7:近赤外蛍光映像信号を出力する。
    S8:a1がa0より小さいかどうかを判断する。YESの場合、前記白色光源の強度を減少して工程S2に戻り、NOの場合、工程S9に進む。
    S9:前記白色光源の強度を減少する。
    S10:前記白色光源の強度を減少した後、前記近赤外蛍光撮像用センサーの各ピクセルが受信した光強度a11が工程S2で得た強度値a0より小さいかどうかを順に判断する。NOの場合、工程S2に戻り、YESの場合、工程S11に進む。
    S11:前記白色光源の強度を工程S9で減少する前の値に回復する。
    S12:RGBカラー映像信号を出力する。
    S13:工程S7で出力した近赤外蛍光映像信号及び工程S12で出力したRGBカラー映像信号に基づいて、カラー蛍光映像信号を出力する。
  2. 前記工程S1と工程S2の間に下記工程をさらに有することを特徴とする、請求項1に記載の蛍光画像の撮像方法。
    工程S20:励起光源がオンになってその強度が最大値になるかどうかを判断する。YESの場合、工程S2に進み、NOの場合、励起光源を調整してからその強度が最大値になるかどうかを判断する。
  3. 下記工程を有することを特徴とする、蛍光画像の撮像方法。
    S1:白色光源及び励起光源を観察エリアに照射し、励起光源の強度を最大に調整する。赤色光、緑色光、青色光センサーによって白色光の反射光中の赤色光、緑色光、青色光をそれぞれ撮像する。また、前記赤色光、緑色光、青色光センサーのいずれかのセンサーは、さらに観察エリアが発する近赤外蛍光を撮像する。
    S2:近赤外蛍光を受信しない2つのセンサーの各ピクセルが受信した赤色光、緑色光、青色光中の2種類の光信号の強度を加重平均し、第3種類の光信号の強度値に変換し、a0とする。
    S3:近赤外蛍光撮像用センサーの各ピクセルが受信した光強度a1が工程S2で得た強度値a0より大きいかどうかを順に判断する。YESの場合、工程S4に進み、NOの場合、工程S7に進む。
    S4:連続的なN個のピクセルがa1>a0を満足するかどうかを判断する。YESの場合、工程S5に進み、NOの場合、前記白色光源の強度を減少して工程S2に戻る。Nは2以上の自然数である。
    S5:近赤外蛍光撮像用センサーを制御して近赤外蛍光信号を出力し、その他2つのセンサーが信号を出力しない。近赤外蛍光信号及びRGB背景光のコントラスト比がデフォルトの最適値に達成又は接近するかどうかを判断する。YESの場合、工程S6に進み、NOの場合、前記白色光源の強度を調整して工程S2に戻る。
    S6:近赤外蛍光映像信号を出力する。
    S7:a1≦a0の原因は前記観察エリアが近赤外蛍光を発しないことにあるかどうかを判断する。YESの場合、工程S8に進み、NOの場合、前記白色光源の強度を減少して工程S2に戻る。
    S8:RGBカラー映像信号を出力する。
    S9:工程S6で出力した近赤外蛍光映像信号及び工程S8で出力したRGBカラー映像信号に基づいて、カラー蛍光映像信号を出力する。
  4. 前記工程S5において、近赤外蛍光信号及びRGB背景光のコントラスト比がデフォルトの最適値に達成又は接近するかどうかを判断するには、下記工程を有することを特徴とする、請求項3に記載の蛍光画像の撮像方法。
    S51:対応するセンサーの特定面積内の近赤外蛍光信号の強度の平均値を取って、a1′とする。
    S52:a1′とa0の差がデフォルトの最適値に達成又は接近するかどうかを判断する。YESの場合、近赤外蛍光信号及びRGB背景光のコントラスト比がデフォルトの最適値に達成又は接近したと決定する。NOの場合、近赤外蛍光信号及びRGB背景光のコントラスト比がデフォルトの最適値に達成又は接近しなかったと決定する。
  5. 前記工程S7は、下記工程を有することを特徴とする、請求項3に記載の蛍光画像の撮像方法。
    S71:a1がa0より小さいかどうかを判断する。YESの場合、前記白色光源の強度を減少して工程S2に戻る。NOの場合、前記白色光源の強度を減少して工程S72に進む。
    S72:前記白色光源の強度を減少した後、前記近赤外蛍光撮像用センサーの各ピクセルが受信した光強度a11が工程S21で得た強度値a0より小さいかどうかを順に判断する。NOの場合、工程S2に戻り、YESの場合、工程S73に進む。
    S73:前記白色光源の強度を、工程S71で減少して工程S72に進む前の値に回復する。
    S74:赤色光、緑色光、青色光センサーがそれぞれの光信号を出力する。
  6. 前記工程S1と工程S2の間に下記工程をさらに有することを特徴とする、請求項3に記載の蛍光画像の撮像方法。
    工程S20:励起光源がオンになってその強度が最大値になるかどうかを判断する。YESの場合、工程S2に進み、NOの場合、励起光源を調整してから再びその強度が最大値になるかどうかを判断する。
  7. 下記工程を有することを特徴とする、蛍光画像の撮像方法。
    S1:白色光源及び励起光源を観察エリアに照射し、赤色光、緑色光、青色光センサーによって白色光の反射光中の赤色光、緑色光、青色光をそれぞれ撮像する。また、前記赤色光、緑色光、青色光センサーのいずれかのセンサーは、さらに観察エリアが発する近赤外蛍光を撮像する。
    S2:近赤外蛍光撮像用センサーが近赤外蛍光信号を受信したかどうかを判断する。YESの場合、工程S3に進み、NOの場合、工程S6に進む。
    S3:受信した近赤外蛍光信号が連続的なN個のピクセルであるかどうかを判断する。YESの場合、工程S4に進み、NOの場合、前記白色光源の強度を減少して工程S2に戻る。Nは2以上の自然数である。
    S4:近赤外蛍光撮像用センサーを制御して近赤外蛍光信号を出力し、その他2つのモノクロセンサーが信号を出力しない。近赤外蛍光信号及びRGB背景光のコントラスト比がデフォルトの最適値に達成又は接近するかどうかを判断する。YESの場合、工程S5に進む。NOの場合、前記白色光源の強度又は前記励起光源の強度を調整し、若しくは前記白色光源及び前記励起光源の強度を同時に調整し、工程S2に戻る。
    S5:近赤外蛍光映像信号を出力する。
    S6:工程S2において近赤外蛍光信号を受信しなかった原因は前記観察エリアが近赤外蛍光を発しないことにあるかどうかを判断する。YESの場合、工程S7に進み、NOの場合、前記白色光源の強度を減少して工程S2に戻る。
    S7:RGBカラー映像信号を出力する。
    S8:工程S5で出力した近赤外蛍光映像信号及び工程S7で出力したRGBカラー映像信号に基づいて、カラー蛍光映像信号を出力する。
  8. 前記工程S2は、下記工程を有することを特徴とする、請求項7に記載の蛍光画像の撮像方法。
    S21:近赤外蛍光を受信しない2つのセンサーの各ピクセルが受信した赤色光、緑色光、青色光中の2種類の光信号の強度を加重平均し、第3種類の光信号の強度値に変換し、a0とする。
    S22:近赤外蛍光撮像用センサーの各ピクセルが受信した光強度a1が工程S21で得た強度値a0より大きいかどうかを順に判断する。YESの場合、近赤外蛍光撮像用センサーが近赤外蛍光信号を受信したと決定する。NOの場合、近赤外蛍光撮像用センサーが近赤外蛍光信号を受信しなかったと決定する。
  9. 前記工程S4において、近赤外蛍光信号及びRGB背景光のコントラスト比がデフォルトの最適値に達成又は接近するかどうかを判断するには、下記工程を有することを特徴とする、請求項8に記載の蛍光画像の撮像方法。
    S41:特定面積内の近赤外蛍光信号の強度の平均値を取って、a1′とする。
    S42:a1′とa0の差がデフォルトの最適値に達成又は接近するかどうかを判断する。YESの場合、近赤外蛍光信号及びRGB背景光のコントラスト比がデフォルトの最適値に達成又は接近したと決定する。NOの場合、近赤外蛍光信号及びRGB背景光のコントラスト比がデフォルトの最適値に達成又は接近しなかったと決定する。
  10. 前記工程S6は、下記工程に有することを特徴とする、請求項8又は9に記載の蛍光画像の撮像方法。
    S61:a1がa0より小さいかどうかを判断する。YESの場合、前記白色光源の強度を減少して工程S2に戻る。NOの場合、前記白色光源の強度を減少して工程S62に進む。
    S62:前記白色光源の強度を減少した後、前記近赤外蛍光撮像用センサーの各ピクセルが受信した光強度a11が工程S21で得た強度値a0より小さいかどうかを順に判断する。NOの場合、工程S2に戻り、YESの場合、工程S63に進む。
    S63:前記白色光源の強度を工程S61で減少して工程S62に進む前の値に回復する。
    S64:赤色光、緑色光、青色光センサーがそれぞれの光信号を出力する。
    S65:赤色光、緑色光、青色光センサーで出力した光信号に基づいて、RGBカラー映像信号を出力する。
  11. 前記工程S4において、前記励起光源の強度調整は、励起光源の強度を最大値に調整することを特徴とする、請求項7に記載の蛍光画像の撮像方法。
  12. パルス発生器及び画像処理器を有する画像処理システムであって、
    前記画像処理器は、信号変換部、信号処理部、比較部、命令部、及び信号出力部を有し、
    前記信号変換部は、それぞれ赤色光、緑色光、青色光センサーの各ピクセルが受信した光信号の強度値を採集、光電変換させ、
    赤色光、緑色光、青色光センサーは、白色光の反射光中の赤色光、緑色光、青色光をそれぞれ撮像し、
    赤色光、緑色光、青色光センサーのいずれかのセンサーは、さらに近赤外蛍光を撮像し、
    前記白色光の反射光は、白色光源を観察エリアに照射して反射したものであり、
    前記近赤外蛍光は、白色光源及び励起光源を共に観察エリアに照射して反射したものであり、
    前記信号処理部は、近赤外蛍光を受信しない2つのセンサーの各ピクセルが受信した赤色光、緑色光、青色光中の2種類の光信号を光電変換させ、その強度値を加重平均し、第3種類の光信号の強度値に変換し、a0とし、
    前記比較部は、受信した近赤外蛍光のセンサーの各ピクセルの光電変換後の強度値a1及びa0を比較し、
    前記命令部は、前記比較部の比較結果を受信、判断してから、対応動作を実行し、
    a1>a0の場合、
    連続的なN個のピクセルがa1>a0を満足する場合、第1命令を前記パルス発生器に発信し、前記パルス発生器は、近赤外蛍光受信用センサーが近赤外蛍光信号を出力し、その他2つのセンサーが光信号を出力しないように制御し、近赤外蛍光受信用センサーの特定面積内の近赤外蛍光信号の強度の平均値a1′とa0の差がデフォルトの最適値に達成又は接近する場合、第2命令を発信し、デフォルトの最適値に達成又は接近しない場合、第3命令を発信して白色光源の強度を減少し、
    連続的なN個のピクセルがa1>a0を満足しない場合、第3命令を発信して白色光源の強度を減少し、又はa1′とa0の差がデフォルトの最適値に達成又は接近しない場合、第4命令を発信して白色光源の強度を増大又は減少し、
    a1<a0の場合、第3命令を発信して白色光源の強度を減少し、
    a1=a0の場合、第3命令を発信して白色光源の強度を減少し、白色光源減少後の近赤外蛍光受信用センサーの各ピクセルの光電変換後の強度値a11及びa0を比較し、a11<a0の場合、第5命令を発信し、白色光源の強度をa1=a0が成立する時の値に回復し、第2命令を前記パルス発生器に発信し、前記パルス発生器は、赤色光、緑色光、青色光センサーがそれぞれ回復後の白色光源の強度で赤色光、緑色光、青色光信号を出力するように制御し、
    前記信号出力部は、第2命令を受信した後、近赤外蛍光センサーで出力した近赤外蛍光信号、及び赤色光、緑色光、青色光センサーで出力した赤色光、緑色光、青色光信号に基づいて、カラー蛍光映像信号を出力することを特徴とする、
    画像処理システム。
  13. 請求項12に記載の画像処理システムを有することを特徴とする、蛍光内視鏡照明撮像装置。
  14. 光照射装置、光学採集部、画像採集部、及び画像表示部を更に有し、
    前記光照射装置は、強度調整可能な白色光及び励起光を観察エリアに照射し、
    前記光学採集部は、観察エリアで反射した白色光及び観察エリアが発する近赤外蛍光を画像採集部に伝送、結合させ、
    前記画像採集部は、ビームスプリッタープリズム組、赤色光センサー、緑色光センサー、及び青色光センサーを有し、
    前記ビームスプリッタープリズム組は、結合された反射した白色光をR光、G光、B光に分けて、それぞれ赤色光センサー、緑色光センサー、青色光センサーに撮像し、
    結合された近赤外蛍光は、前記ビームスプリッタープリズム組によって前記赤色光センサー、緑色光センサー、青色光センサーのいずれかの1つのセンサーに撮像し、
    前記画像表示部は、前記画像処理システムで出力したカラー蛍光映像信号を映像変換させ、カラー蛍光画像を出力することを特徴とする、
    請求項13に記載の蛍光内視鏡照明撮像装置。
  15. 前記光照射装置は、白色光源、励起光源、及び光源制御部を有し、
    前記光源制御部は、前記白色光源及び前記励起光源の強度を調整することを特徴とする、
    請求項14に記載の蛍光内視鏡照明撮像装置。
  16. 前記光学採集部は、撮像レンズ群、及び前記撮像レンズ群の後端に位置する光学アダプターを有し、
    前記撮像レンズ群は、観察エリアで反射した白色光及び観察エリアが発する近赤外蛍光を伝送し、
    前記光学アダプターは、前記撮像レンズ群によって伝送した反射した白色光及び近赤外蛍光を画像採集部に結合させることを特徴とする、
    請求項14又は15に記載の蛍光内視鏡照明撮像装置。
  17. 前記光学アダプター内にフィルタを設けられ、
    前記フィルタは、観察エリアが発する励起光を濾過し、反射した白色光及び近赤外蛍光を通ることを特徴とする、
    請求項16に記載の蛍光内視鏡照明撮像装置。
  18. 前記撮像レンズ群は、内視鏡の一部であることを特徴とする、請求項16に記載の蛍光内視鏡照明撮像装置。
JP2020558539A 2018-04-25 2018-08-20 画像処理システム、蛍光内視鏡照明撮像装置及び撮像方法 Active JP7140464B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201810376241.4 2018-04-25
CN201810376241.4A CN108095701B (zh) 2018-04-25 2018-04-25 图像处理系统、荧光内窥镜照明成像装置及成像方法
PCT/CN2018/101378 WO2019205359A1 (zh) 2018-04-25 2018-08-20 图像处理系统、荧光内窥镜照明成像装置及成像方法

Publications (2)

Publication Number Publication Date
JP2021517847A true JP2021517847A (ja) 2021-07-29
JP7140464B2 JP7140464B2 (ja) 2022-09-21

Family

ID=62206051

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020558539A Active JP7140464B2 (ja) 2018-04-25 2018-08-20 画像処理システム、蛍光内視鏡照明撮像装置及び撮像方法

Country Status (5)

Country Link
US (1) US11633105B2 (ja)
EP (1) EP3785604A4 (ja)
JP (1) JP7140464B2 (ja)
CN (1) CN108095701B (ja)
WO (1) WO2019205359A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108095701B (zh) 2018-04-25 2018-07-20 上海凯利泰医疗科技股份有限公司 图像处理系统、荧光内窥镜照明成像装置及成像方法
WO2020255824A1 (ja) * 2019-06-17 2020-12-24 株式会社小糸製作所 車載赤外線照明装置
CN110794420B (zh) * 2019-10-31 2023-07-21 山东交通学院 一种彩色激光雷达成像装置及方法
CN111818707B (zh) * 2020-07-20 2022-07-15 浙江华诺康科技有限公司 荧光内窥镜曝光参数调整的方法、设备和荧光内窥镜
CN111772560A (zh) * 2020-08-06 2020-10-16 山西医科大学 一种基于双通道高效传输的荧光内窥镜成像系统及方法
CN113049106B (zh) * 2021-03-11 2021-12-21 广州市合熠智能科技股份有限公司 一种数字智能型颜色传感器系统
CN113261911B (zh) * 2021-05-14 2023-09-08 天津工业大学 一种荧光电子内窥镜成像系统及其检测方法
CN114052908B (zh) * 2021-12-01 2024-02-13 辽宁北镜医疗科技有限公司 一种基于照度调节的近红外荧光术中导航系统及方法
CN114298956B (zh) * 2022-03-09 2022-06-28 广东欧谱曼迪科技有限公司 双荧光内窥镜图像融合方法、电子设备及装置
CN115316919B (zh) * 2022-09-15 2023-06-30 广东欧谱曼迪科技有限公司 双相机3d光学荧光内窥镜摄像系统、方法及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007111328A (ja) * 2005-10-21 2007-05-10 Pentax Corp 電子内視鏡装置
JP2012157559A (ja) * 2011-02-01 2012-08-23 Fujifilm Corp 電子内視鏡システム
JP2013102898A (ja) * 2011-11-11 2013-05-30 Fujifilm Corp 内視鏡診断装置
WO2015025640A1 (ja) * 2013-08-23 2015-02-26 オリンパス株式会社 蛍光観察装置
WO2017073302A1 (ja) * 2015-10-27 2017-05-04 オリンパス株式会社 撮像システムのための制御装置、撮像システム、及び撮像システムの制御方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5081720B2 (ja) * 2008-05-22 2012-11-28 富士フイルム株式会社 蛍光内視鏡装置および励起光ユニット
JP5572326B2 (ja) * 2009-03-26 2014-08-13 オリンパス株式会社 画像処理装置、撮像装置、画像処理プログラムおよび画像処理方法
DE102009024943A1 (de) * 2009-06-10 2010-12-16 W.O.M. World Of Medicine Ag Bildgebungssystem und Verfahren zur fluoreszenz-optischen Visualisierung eines Objekts
WO2011111619A1 (ja) * 2010-03-09 2011-09-15 オリンパス株式会社 蛍光内視鏡装置
US10376147B2 (en) * 2012-12-05 2019-08-13 AccuVeiw, Inc. System and method for multi-color laser imaging and ablation of cancer cells using fluorescence
CN105263390A (zh) * 2013-04-23 2016-01-20 雪松-西奈医学中心 用于从荧光团同时录制可见光图像和红外光图像的系统和方法
KR101514204B1 (ko) * 2013-07-12 2015-04-23 한국전기연구원 감시림프절의 근적외선 형광 검출 장치 및 방법
WO2015080215A1 (ja) * 2013-11-28 2015-06-04 オリンパス株式会社 蛍光観察装置
US9547165B2 (en) * 2014-08-29 2017-01-17 Reinroth Gmbh Endoscope system with single camera for concurrent imaging at visible and infrared wavelengths
US20170035280A1 (en) * 2015-08-07 2017-02-09 Reinroth Gmbh Stereoscopic endoscope system with concurrent imaging at visible and infrared wavelengths
WO2016117071A1 (ja) * 2015-01-22 2016-07-28 オリンパス株式会社 撮像装置
US11206987B2 (en) * 2015-04-03 2021-12-28 Suzhou Caring Medical Co., Ltd. Method and apparatus for concurrent imaging at visible and infrared wavelengths
CN106236006B (zh) * 2016-08-31 2017-11-14 杨晓峰 3d光学分子影像腹腔镜成像系统
US9763299B1 (en) * 2016-11-04 2017-09-12 Amtai Medical Equipment, Inc. Surgical light with luminous intensity fine adjustment function
CN108095701B (zh) * 2018-04-25 2018-07-20 上海凯利泰医疗科技股份有限公司 图像处理系统、荧光内窥镜照明成像装置及成像方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007111328A (ja) * 2005-10-21 2007-05-10 Pentax Corp 電子内視鏡装置
JP2012157559A (ja) * 2011-02-01 2012-08-23 Fujifilm Corp 電子内視鏡システム
JP2013102898A (ja) * 2011-11-11 2013-05-30 Fujifilm Corp 内視鏡診断装置
WO2015025640A1 (ja) * 2013-08-23 2015-02-26 オリンパス株式会社 蛍光観察装置
WO2017073302A1 (ja) * 2015-10-27 2017-05-04 オリンパス株式会社 撮像システムのための制御装置、撮像システム、及び撮像システムの制御方法

Also Published As

Publication number Publication date
CN108095701B (zh) 2018-07-20
JP7140464B2 (ja) 2022-09-21
US11633105B2 (en) 2023-04-25
EP3785604A4 (en) 2022-01-26
WO2019205359A1 (zh) 2019-10-31
US20210106214A1 (en) 2021-04-15
EP3785604A1 (en) 2021-03-03
CN108095701A (zh) 2018-06-01

Similar Documents

Publication Publication Date Title
JP7140464B2 (ja) 画像処理システム、蛍光内視鏡照明撮像装置及び撮像方法
US6603552B1 (en) Portable system for detecting skin abnormalities based on characteristic autofluorescence
US20190082963A1 (en) Compact fluorescence endoscopy video system
EP0792618B1 (en) Imaging system for detecting diseased tissue using native fluorescence in the gastrointestinal and respiratory tract
JP5496852B2 (ja) 電子内視鏡システム、電子内視鏡システムのプロセッサ装置、及び電子内視鏡システムの作動方法
US20170079741A1 (en) Scanning projection apparatus, projection method, surgery support system, and scanning apparatus
US8996087B2 (en) Blood information measuring method and apparatus
US20090289200A1 (en) Fluorescent image obtainment method and apparatus, fluorescence endoscope, and excitation-light unit
JP4394356B2 (ja) 電子内視鏡装置
JP2017148392A (ja) 計算システム
WO1999001749A1 (en) Fluorescence imaging system
JP2016052391A (ja) 撮像システム
JP2002512067A (ja) 反射および蛍光内視鏡検査用の自動利得制御を有する撮像システム
KR20040069332A (ko) 내시경 화상 처리 장치
JP2001137174A (ja) 蛍光画像表示方法および装置
JP2013146484A (ja) 電子内視鏡システム、画像処理装置、画像処理方法及び画像処理プログラム
EP1239771B1 (en) Portable system for detecting skin abnormalities
JPH0397441A (ja) 蛍光観察用内視鏡
US20030216626A1 (en) Fluorescence judging method and apparatus
US20220076400A1 (en) Endoscope system, method for activating endoscope system, and image processing apparatus
JP2003164414A (ja) 蛍光診断画像表示方法および表示装置
WO2019061819A1 (zh) 内窥镜系统及光源装置
JP5264382B2 (ja) 画像取得装置
CN212879559U (zh) 一种具有实时成像功能的可视化系统
WO2022105902A1 (zh) 荧光内窥镜系统、控制方法和存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201015

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201015

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220513

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220608

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220907

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220907

R150 Certificate of patent or registration of utility model

Ref document number: 7140464

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150