CN108095701A - 图像处理系统、荧光内窥镜照明成像装置及成像方法 - Google Patents
图像处理系统、荧光内窥镜照明成像装置及成像方法 Download PDFInfo
- Publication number
- CN108095701A CN108095701A CN201810376241.4A CN201810376241A CN108095701A CN 108095701 A CN108095701 A CN 108095701A CN 201810376241 A CN201810376241 A CN 201810376241A CN 108095701 A CN108095701 A CN 108095701A
- Authority
- CN
- China
- Prior art keywords
- intensity
- infrared fluorescent
- sensor
- white light
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 68
- 238000012545 processing Methods 0.000 title claims abstract description 23
- 238000005286 illumination Methods 0.000 title claims abstract description 18
- 230000003287 optical effect Effects 0.000 claims abstract description 115
- 230000004438 eyesight Effects 0.000 claims description 38
- 230000004456 color vision Effects 0.000 claims description 21
- 238000006243 chemical reaction Methods 0.000 claims description 18
- 230000005693 optoelectronics Effects 0.000 claims description 14
- 230000005540 biological transmission Effects 0.000 claims description 9
- 230000009467 reduction Effects 0.000 claims description 6
- 230000000875 corresponding effect Effects 0.000 claims description 5
- 230000005284 excitation Effects 0.000 claims description 5
- 230000000052 comparative effect Effects 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 4
- 238000011084 recovery Methods 0.000 claims description 4
- 230000001678 irradiating effect Effects 0.000 claims description 3
- 210000001367 artery Anatomy 0.000 claims description 2
- 238000013442 quality metrics Methods 0.000 claims description 2
- 210000003462 vein Anatomy 0.000 claims description 2
- 238000000034 method Methods 0.000 abstract description 9
- 239000003086 colorant Substances 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- MOFVSTNWEDAEEK-UHFFFAOYSA-M indocyanine green Chemical compound [Na+].[O-]S(=O)(=O)CCCCN1C2=CC=C3C=CC=CC3=C2C(C)(C)C1=CC=CC=CC=CC1=[N+](CCCCS([O-])(=O)=O)C2=CC=C(C=CC=C3)C3=C2C1(C)C MOFVSTNWEDAEEK-UHFFFAOYSA-M 0.000 description 6
- 229960004657 indocyanine green Drugs 0.000 description 6
- 210000001519 tissue Anatomy 0.000 description 5
- 230000003902 lesion Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 239000003153 chemical reaction reagent Substances 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000012528 membrane Substances 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000007747 plating Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 239000011248 coating agent Substances 0.000 description 2
- 238000000576 coating method Methods 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 210000005005 sentinel lymph node Anatomy 0.000 description 2
- 206010006187 Breast cancer Diseases 0.000 description 1
- 208000026310 Breast neoplasm Diseases 0.000 description 1
- 208000005016 Intestinal Neoplasms Diseases 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 208000024770 Thyroid neoplasm Diseases 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 208000019065 cervical carcinoma Diseases 0.000 description 1
- 238000000701 chemical imaging Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 201000002313 intestinal cancer Diseases 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000009738 saturating Methods 0.000 description 1
- 239000000243 solution Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 201000002510 thyroid cancer Diseases 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 210000004881 tumor cell Anatomy 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0071—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00064—Constructional details of the endoscope body
- A61B1/00071—Insertion part of the endoscope body
- A61B1/0008—Insertion part of the endoscope body characterised by distal tip features
- A61B1/00096—Optical elements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00112—Connection or coupling means
- A61B1/00121—Connectors, fasteners and adapters, e.g. on the endoscope handle
- A61B1/00126—Connectors, fasteners and adapters, e.g. on the endoscope handle optical, e.g. for light supply cables
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
- A61B1/051—Details of CCD assembly
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0646—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0653—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with wavelength conversion
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0655—Control therefor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0661—Endoscope light sources
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
- A61B5/0084—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7221—Determining signal validity, reliability or quality
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00186—Optical arrangements with imaging filters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/042—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by a proximal camera, e.g. a CCD camera
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2505/00—Evaluating, monitoring or diagnosing in the context of a particular type of medical care
- A61B2505/05—Surgical care
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
- A61B2560/02—Operational features
- A61B2560/0223—Operational features of calibration, e.g. protocols for calibrating sensors
- A61B2560/0228—Operational features of calibration, e.g. protocols for calibrating sensors using calibration standards
- A61B2560/0233—Optical standards
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
- A61B5/0084—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
- A61B5/0086—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters using infrared radiation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6846—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive
- A61B5/6847—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive mounted on an invasive device
- A61B5/6852—Catheters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Physics & Mathematics (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Optics & Photonics (AREA)
- Signal Processing (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physiology (AREA)
- Psychiatry (AREA)
- Endoscopes (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
本发明公开了一种荧光图像的成像方法,该方法在生成彩色‑荧光图像之前进行图像处理,并且在不影响软件处理速度的前提下,采用三个单色传感器分别对白光中的红、绿、蓝光成像,并且将近红外荧光也成像在其中一个单色传感器上,然后判断用于接收近红外荧光的传感器是否接收到荧光信号,以及计算该传感器接收到的光信号与其他两个单色传感器接收到的光信号强弱,并根据两种光信号的强度差自动调节白光光源和/或激发光光源的照射强度,形成一闭环系统,实现彩色‑荧光最佳对比度输出,并同时显示在一帧图像上。由于该方法在成像之前可自动调节对比度,因而灵活方便。同时,本发明还公开了相应的图像处理系统及荧光内窥镜照明成像装置。
Description
技术领域
本发明涉及内窥镜成像技术领域,尤其涉及一种图像处理系统、荧光内窥镜照明成像装置及成像方法。
背景技术
随着分子成像技术的发展,荧光内窥镜在观察肿瘤细胞、癌症病变等微观分子的活动和转移等方面的优势越发明显。比如,近红外荧光广泛用于寻找乳腺癌前哨淋巴结,以及甲状腺癌、宫颈癌、肠癌等早期肿瘤前哨淋巴结的临床标记。其原理是:向患者体内注射ICG(吲哚菁绿)试剂,一段时间后开启近红外激发光和白光照射患者的待检测部位,激发光照射到荧光试剂后结合了ICG的异常组织分子吸收激发光能量后发射出近红外荧光,连同正常组织反射的白光,一起被内窥镜成像系统接收,经过光电信号转换及图像处理,输出彩色-荧光合成图像在终端显示器上,通过分析图像来获取相应组织的病变情况。
为了准确地分析相应组织的病变情况,彩色-荧光合成图像的清晰度显得至关重要。而为了确保彩色-荧光合成图像的清晰度,需要将彩色图像与荧光图像在一帧图像上进行最佳对比度输出。
为了实现彩色图像与荧光图像在一帧图像上的最佳对比度输出,现有的做法通常是先分别生成彩色图像与荧光图像,再通过软件处理来调整图像的亮度及对比度以输出对比度最佳的彩色-荧光图像。其具体步骤包括:
S1:分别利用不同的传感器接收反射的照明光获得彩色图像以及激发光照射荧光剂产生的荧光获得荧光图像;
S2:对上述获得的彩色图像与荧光图像做减法或除法处理,提取出仅属于病变部位的新荧光图像;
S3:合成彩色图像和新荧光图像,并调整亮度和对比度至最佳状态;
S4:输出调整好的彩色-荧光合成图像。
上述现有做法存在的缺点为:图像处理方法太过复杂,准确度也不高,合成图像需间隔一帧图像后输出,画面有延后感;并且,先后采集的两幅图像位置一旦有偏差也会影响荧光图像的完整性。
因而,如何准确简单地进行图像处理以实现彩色-荧光达到或接近最佳对比度输出,已经成为业界亟需解决的技术问题。
发明内容
本发明的一目的在于提供一种荧光图像的成像方法,以实现在生成彩色-荧光图像之前进行图像处理,满足彩色-荧光达到或接近最佳对比度输出。
本发明的另一目的在于提供一种图像处理系统,以实现在生成彩色-荧光图像之前进行图像处理,简化处理方法。
本发明的又一目的在于提供一种荧光内窥镜照明成像装置,以实现在生成彩色-荧光图像之前进行图像处理,满足彩色-荧光达到或接近最佳对比度输出。
为了解决上述技术问题,本发明采用了如下的技术方案:
一种荧光图像的成像方法,包括以下步骤:
S1:采用白光光源与激发光光源照射待观察区域,其中激发光光源的强度调至最大;将白光反射光中的红、绿、蓝光分别成像在红、绿、蓝光传感器上,且所述红、绿、蓝光传感器中的任一传感器还用于对待观察区域发出的近红外荧光进行成像;
S2:将不接收近红外荧光的两个传感器的每个像素点接收到的红、绿、蓝光中的两种光信号的强度加权取平均值后转换成第三种光信号的强度值,记为a0;
S3:依次判断所述用于对近红外荧光进行成像的传感器上的每个像素点接收到的光强a1是否大于步骤S2转换得到的强度值a0;若是,则进入步骤S4;若否则进入步骤S8;
S4: 判断是否连续N个像素点均满足a1﹥a0;若是,则进入步骤S5,否则减小所述白光光源的强度并返回步骤S2;其中N为自然数,且N≥2;
S5:控制用于对近红外荧光进行成像的传感器输出近红外荧光信号,其它两个传感器不输出信号;并在对应传感器上取一定面积内近红外荧光信号强度的平均值,记为a1′;
S6:判断a1′与a0的差值是否达到或接近预设的最优值,若是,则进入步骤S7;若否,则调节所述白光光源的强度后返回步骤S2;
S7:输出近红外荧光视频信号;
S8:判断a1是否小于a0;若是,则减小所述白光光源的强度后返回步骤S2;若否,则进入步骤S9;
S9:减小所述白光光源的强度;
S10:依次判断在减小白光光源强度后所述用于对近红外荧光进行成像的传感器上的每个像素点接收到的光强a11是否小于步骤S2转换得到的强度值a0,若否,则返回步骤S2;若是,则进入步骤S11;
S11:将所述白光光源的强度恢复为减小之前的值;
S12:输出RGB彩色视频信号;
S13:根据步骤S7输出的近红外荧光视频信号以及步骤S12输出的RGB彩色视频信号输出彩色-荧光视频信号。
在本发明的一个实施例中,在所述步骤S1与步骤S2之间还包括:
步骤S20:判断激发光光源是否已经开启,且强度达到最大值;若是,则进入步骤S2;若否,则调节激发光光源后再次判断其强度是否达到最大值。
一种荧光图像的成像方法,包括以下步骤:
S1:采用白光光源与激发光光源照射待观察区域,其中激发光光源的强度调至最大;将白光反射光中的红、绿、蓝光分别成像在红、绿、蓝光传感器上,且所述红、绿、蓝光传感器中的任一传感器还用于对待观察区域发出的近红外荧光进行成像;
S2: 将不接收近红外荧光的两个传感器的每个像素点接收到的红、绿、蓝光中的两种光信号的强度加权取平均值后转换成第三种光信号的强度值,记为a0;
S3:依次判断所述用于对近红外荧光进行成像的传感器上的每个像素点接收到的光强a1是否大于步骤S2转换得到的强度值a0;若是,则进入步骤S4;若否则进入步骤S7;
S4: 判断是否连续N个像素点均满足a1﹥a0;若是,则进入步骤S5,否则减小所述白光光源的强度并返回步骤S2;其中N为自然数,且N≥2;
S5:控制用于对近红外荧光进行成像的传感器输出近红外荧光信号,其它两个传感器不输出信号;并判断近红外荧光信号与RGB背景光的对比度是否达到或接近预设的最优值;若是,则进入步骤S6;否则调节所述白光光源的强度并返回步骤S2;
S6: 输出近红外荧光视频信号;
S7:判断a1不大于a0的原因是否为所述待观察区域确实未发出近红外荧光;若是,则进入步骤S8,否则减小所述白光光源的强度并返回步骤S2;
S8:输出RGB彩色视频信号;
S9:根据步骤S6输出的近红外荧光视频信号以及步骤S8输出的RGB彩色视频信号输出彩色-荧光视频信号。
在本发明的一个实施例中,所述步骤S5中的判断近红外荧光信号与RGB背景光的对比度是否达到或接近预设的最优值具体包括:
S51: 在对应传感器上取一定面积内近红外荧光信号强度的平均值,记为a1′;
S52:判断a1′与a0的差值是否达到或接近预设的最优值,若是,则判定近红外荧光信号与RGB背景光的对比度已经达到或接近预设的最优值,否则判定近红外荧光信号与RGB背景光的对比度没有达到或接近预设的最优值。
在本发明的一个实施例中,所述步骤S7具体包括:
S71:判断a1是否小于a0;若是,则减小所述白光光源的强度并返回步骤S2;若否,则减小所述白光光源的强度并进入步骤S72;
S72:依次判断在减小白光光源强度后所述用于对近红外荧光进行成像的传感器上的每个像素点接收到的光强a11是否小于步骤S21转换得到的强度值a0,若否,则返回步骤S2;若是,则进入步骤S73;
S73:将所述白光光源的强度恢复为减小之前的值;
S74:红、绿、蓝光传感器输出各自的光信号。
在本发明的一个实施例中,在所述步骤S1与步骤S2之间还包括:
步骤S20:判断激发光光源是否已经开启,且强度达到最大值;若是,则进入步骤S2;若否,则调节激发光光源后再次判断其强度是否达到最大值。
一种荧光图像的成像方法,包括以下步骤:
S1:采用白光光源与激发光光源照射待观察区域,将白光反射光中的红、绿、蓝光分别成像在红、绿、蓝光传感器上,且所述红、绿、蓝光传感器中的任一传感器还用于对待观察区域发出的近红外荧光进行成像;
S2:判断用于对近红外荧光进行成像的传感器是否接收到近红外荧光信号;若是,则进入步骤S3,否则进入步骤S6;
S3: 判断接收到的近红外荧光信号是否为连续N个像素点;若是,则进入步骤S4,否则减小所述白光光源的强度并返回步骤S2;其中N为自然数,且N≥2;
S4:控制用于对近红外荧光进行成像的传感器输出近红外荧光信号,其它两个单色传感器不输出信号;并判断近红外荧光信号与RGB背景光的对比度是否达到或接近预设的最优值;若是,则进入步骤S5;否则调节所述白光光源的强度或者调节所述激发光光源的强度或者同时调节所述白光光源与所述激发光光源的强度并返回步骤S2;
S5:输出近红外荧光视频信号;
S6:判断步骤S2中未接收到近红外荧光信号的原因是否为所述待观察区域确实未发出近红外荧光;若是,则进入步骤S7,否则减小所述白光光源的强度并返回步骤S2;
S7:输出RGB彩色视频信号;
S8:根据步骤S5输出的近红外荧光视频信号以及步骤S7输出的RGB彩色视频信号输出彩色-荧光视频信号。
在本发明的一个实施例中,所述步骤S2具体包括:
S21: 将不接收近红外荧光的两个传感器的每个像素点接收到的红、绿、蓝光中的两种光信号的强度加权取平均值后转换成第三种光信号的强度值,记为a0;
S22: 依次判断所述用于对近红外荧光进行成像的传感器上的每个像素点接收到的光强a1是否大于步骤S21转换得到的强度值a0,若是则判定用于对近红外荧光进行成像的传感器接收到近红外荧光信号,否则判定用于对近红外荧光进行成像的传感器没有接收到近红外荧光信号。
在本发明的一个实施例中,所述步骤S4中的判断近红外荧光信号与RGB背景光的对比度是否达到或接近预设的最优值具体包括:
S41:取一定面积内近红外荧光信号强度的平均值,记为a1′;
S42:判断a1′与a0的差值是否达到或接近预设的最优值,若是,则判定近红外荧光信号与RGB背景光的对比度已经达到或接近预设的最优值,否则判定近红外荧光信号与RGB背景光的对比度没有达到或接近预设的最优值。
在本发明的一个实施例中,所述步骤S6具体包括:
S61:判断a1是否小于a0,若是,则减小所述白光光源的强度并返回步骤S2;若否,则减小所述白光光源的强度并进入步骤S62;
S62:依次判断在减小白光光源强度后所述用于对近红外荧光进行成像的传感器上的每个像素点接收到的光强a11是否小于步骤S21转换得到的强度值a0,若否,则返回步骤S2;若是,则进入步骤S63;
S63:将所述白光光源的强度恢复为减小之前的值;
S64:红、绿、蓝光传感器输出各自的光信号;
S65:根据红、绿、蓝光传感器输出的光信号输出RGB彩色视频信号。
在本发明的一个实施例中,所述步骤S4中调节所述激发光光源的强度具体为将激发光光源的强度调节至最大值。
一种图像处理系统,包括脉冲发生器以及图像处理器,所述图像处理器包括:
信号转换单元,用于分别采集红、绿、蓝光传感器的每个像素点接收到的光信号的强度值并进行光电转换;其中红、绿、蓝光传感器用于分别对白光反射光中的红、绿、蓝光进行成像,且红、绿、蓝光传感器中的任一传感器还用于对近红外荧光进行成像;所述白光反射光为采用白光光源照射待观察区域后由该区域反射的,所述近红外荧光为同时采用激发光光源照射待观察区域后由该区域发出的;
信号处理单元,用于将不接收近红外荧光的两个传感器的每个像素点接收到的红、绿、蓝光中的两种光信号进行光电转换后的强度值进行加权求平均值,并转换成第三种光信号的强度值,记为a0;
比较单元,用于将接收近红外荧光的传感器的每个像素点进行光电转换后的强度值a1与a0进行比较;
指令单元,用于接收所述比较单元的比较结果,并进行判断后执行相应动作:
若a1﹥a0:
且连续N个像素点均满足a1﹥a0,则发出第一指令给所述脉冲发生器,所述脉冲发生器控制用于将接收近红外荧光的传感器输出近红外荧光信号,且控制其它两个传感器不输出光信号;并且若用于接收近红外荧光的传感器的一定面积内的近红外荧光信号强度的平均值a1′与a0的差值达到或接近预设的最优值,则发出第二指令,否则发出第三指令以减小白光光源的强度;
若不满足连续N个像素点a1﹥a0,则发出第三指令以减小白光光源的强度;或者a1′与a0的差值未达到或接近预设的最优值,则发出第四指令以增大或减小白光光源的强度;
若a1﹤a0,则发出第三指令以减小白光光源的强度;
若a1=a0,则发出第三指令以减小白光光源的强度,并对白光光源减小后的用于接收近红外荧光的传感器的每个像素点进行光电转换后的强度值a11与a0进行比较,若a11<a0,则发出第五指令以将白光光源的强度恢复为减小之前的值,并发出第二指令给所述脉冲发生器,所述脉冲发生器控制红、绿、蓝光传感器在恢复后的白光光源的强度下分别输出红、绿、蓝光信号;
信号输出单元,用于在接收到第二指令后根据近红外荧光的传感器输出近红外荧光信号以及红、绿、蓝光传感器输出的红、绿、蓝光信号,输出彩色-荧光视频信号。
一种荧光内窥镜照明成像装置,包括上述的图像处理系统。
在本发明的一个实施例中,还包括光照射装置、光学采集部、图像采集部以及图像显示部;其中:
所述光照射装置用于提供可调节强度的白光与激发光以照射待观察区域;
所述光学采集部用于将待观察区域反射的白光和发射的近红外荧光进行传输并耦合进入图像采集部;
所述图像采集部包括分光棱镜组及红光传感器、绿光传感器、蓝光传感器,所述分光棱镜组用于将耦合进入的反射的白光分成R光、G光、B光并分别成像在红光传感器、绿光传感器、蓝光传感器上,其中耦合进入的近红外荧光通过所述分光棱镜组成像在所述红光传感器、绿光传感器、蓝光传感器中的任一个传感器上;
所述图像显示部,用于将所述图像处理系统输出的彩色-荧光视频信号进行视频转换,并输出彩色-荧光图像。
在本发明的一个实施例中,所述光照射装置包括白光光源、激发光光源以及光源控制部,所述光源控制部用于调节所述白光光源以及所述激发光光源的强度。
在本发明的一个实施例中,所述光学采集部包括成像镜组以及光学适配器,所述光学适配器位于所述成像镜组的后端;所述成像镜组用于传输待观察区域反射的白光和发射的近红外荧光;所述光学适配器用于将所述成像镜组传输的反射白光及近红外荧光耦合进入图像采集部。
在本发明的一个实施例中,所述光学适配器内设置有滤光片,用于滤除待观察区域发射的激发光,并使反射白光及近红外荧光通过。
在本发明的一个实施例中,所述成像镜组为内窥镜的一部分。
本发明由于采用以上技术方案,使之与现有技术相比,具有以下的优点和积极效果:
1)本发明提供的荧光图像的成像方法,在生成彩色-荧光图像之前进行图像处理,并且在不影响软件处理速度的前提下,采用三个单色传感器分别对白光中的红、绿、蓝光成像,并且将近红外荧光也成像在其中一个单色传感器上,然后判断用于接收近红外荧光的感器是否接收到荧光信号,以及计算该传感器接收到的光信号与其他两个单色传感器接收到的光信号强弱,并根据两种光信号的强度差自动调节白光光源和/或激发光光源的照射强度,形成一闭环系统,实现彩色-荧光最佳对比度输出,并同时显示在一帧图像上。由于该方法在成像时可自动调节白光照明和荧光激发光照明的强度,始终让荧光信号与彩色背景信号保持一定的信号差值,因而对有无荧光信号的判断准确、方便;在有荧光信号时,让彩色背景保证足够的亮度值,使医生观察体腔更方便、准确。
2)更进一步地,由于该方法在成像之前对图像进行处理,因而数据处理量小,运算速度快,画面流畅。
附图说明
图1为本发明一实施例提供的荧光图像的成像方法的流程示意图;
图2为本发明另一实施例提供的荧光图像的成像方法的流程示意图;
图3为本发明又一实施例提供的荧光图像的成像方法的流程示意图;
图4为本发明再一实施例提供的荧光图像的成像方法的流程示意图;图5为本发明实施例提供的图像处理系统的结构框图;
图6为本发明实施例提供的荧光内窥镜照明成像装置的结构示意图;
图7为本发明实施例提供的激发光截止滤光片表面镀膜曲线示意图;
图8为本发明实施例提供的分光棱镜组内部光路示意图;
图9为本发明实施例提供的分光棱镜的分光面镀膜曲线示意图。
具体实施方式
以下结合附图和具体实施例对本发明提出的图像处理系统、荧光内窥镜照明成像装置及成像方法作进一步详细说明。根据下面说明和权利要求书,本发明的优点和特征将更清楚。需说明的是,附图均采用非常简化的形式且均使用非精准的比率,仅用于方便、明晰地辅助说明本发明实施例的目的。在说明书及权利要求书中使用了某些词汇来指称特定的元件。本领域普通技术人员应可理解,制造商可能会用不同的名词来称呼同一个元件。本说明书及权利要求书并不以名称的差异来作为区分元件的方式,而是以元件在功能上的差异来作为区分的准则。在通篇说明书及权利要求当中所提及的「包括」是一个开放式的用语,故应解释成「包括但不限定于」。此外,「耦接」或「连接」一词在这里包括任何直接及间接的电气或结构连接手段。因此,若文中描述一个第一装置耦接/连接一个第二装置,则代表所述第一装置可直接电气/结构连接所述第二装置,或通过其它装置或连接手段间接地电气/结构连接至所述第二装置。
请参考图1,在本发明的一个实施例中,提供了一种荧光图像的成像方法,包括以下步骤:
S1:采用白光光源与激发光光源照射待观察区域,其中激发光光源的强度调至最大,白光光源的强度可为任意值;将白光反射光中的红、绿、蓝光分别成像在红、绿、蓝光传感器上,且蓝光传感器还用于对待观察区域发出的近红外荧光进行成像。
其中,白光光源可为LED白光光源,也可以由R、G、B三色LED光源合成白光;激发光光源可以是808±10nm激光器,用于激发待观察区域的ICG(吲哚菁绿)产生近红外荧光。另外,本实施例采用蓝光传感器来对待观察区域发出的近红外荧光进行成像,然而应该认识到,本发明并不以此为限,在其它实施例中,还可以采用红光传感器或绿光传感器来对待观察区域发出的近红外荧光进行成像。
步骤S20:判断激发光光源是否已经开启,且强度达到最大值;若是,则进入步骤S2;若否,则调节激发光光源后再次判断其强度是否达到最大值。
当然,该步骤作为本实施例的优选方式,在其它实施方式中,也可以不设置步骤S20。
S2:将红光传感器与绿光传感器的每个像素点接收到的红光和绿光信号的强度加权取平均值后乘以经验系数r转换成蓝光信号的强度值,记为a0。
S3:依次判断蓝光传感器上的每个像素点接收到的光强a1是否大于a0;若是,则进入步骤S4;若否则进入步骤S8。
其中,a1大于a0表示蓝光传感器接收到了近红外荧光信号。
S4: 判断蓝光传感器是否连续N个像素点均满足a1﹥a0;若是,则进入步骤S5,否则减小白光光源的强度并返回步骤S2;其中N为自然数,且N≥2。
该步骤的目的是排除假荧光信号,某个像素点出现荧光信号并不代表待观察区域真的发出近红外荧光,有可能是假荧光信号,只有连续的像素点均检测到荧光信号,才能确定待观察区域确实发出近红外荧光。本发明通过该步骤排除了可能产生的假荧光现象,从而提高了图像处理的准确度。
S5:控制蓝光传感器输出近红外荧光信号,并标记为B颜色,其它两个传感器不输出信号;所有像素点检测完毕后取荧光信号强度的平均值,记为a1′;
当然,在其它实施例中,还可以将近红外荧光信号标记为其它设定颜色,并且也可以在蓝光传感器上取一定面积内近红外荧光信号强度的平均值,作为a1′。
S6:判断a1′与a0的差值是否达到或接近预设的最优值C,若是,则进入步骤S7;若否,则调节所述白光光源的强度后返回步骤S2。
其中,最优值C为事先设定值,满足荧光与彩色背景光的对比度达到或接近最佳,使得在后续合成的彩色-荧光图像中能清晰地看到荧光图像。
S7:输出B颜色的近红外荧光视频信号。
当然,若步骤S5中将近红外荧光信号标记为其它设定颜色,则步骤S7中将输出其它颜色的近红外荧光视频信号。
S8:判断a1是否小于a0;若是,则减小白光光源的强度后返回步骤S2;若否,则进入步骤S9。
S9:减小白光光源的强度。
具体地,当判断出a1不小于a0,即a1=a0时,则记此时的白光光源的强度为A1,并将白光光源的强度减小至A2。其中,a1=a0代表红光传感器与绿光传感器的每个像素点接收到的红光和绿光信号转换成蓝光信号的强度值与蓝光传感器接收到的蓝光的强度值相等,正常情况下,此时可判断待观察区域并未发出近红外荧光信号,也就是待观察区域为正常组织区域。但是也存在这种可能性,蓝光传感器上接收到的近红外荧光信号的强度的平均值刚好与红光传感器与绿光传感器转换后的蓝光信号的强度值相等,即病变区域与正常组织区域发出的光信号强度相等。本发明为了排除这种可能性,进一步提高图像处理的准确度,设置了下述步骤S10与S11。
S10:依次判断在减小白光光源强度后蓝光传感器上的每个像素点接收到的光强a11是否小于a0,若否,则返回步骤S2;若是,则进入步骤S11。
S11:将白光光源的强度恢复为减小之前的值,即恢复至A1。
S12:输出RGB彩色视频信号。
具体地,蓝光传感器输出B光信号,绿光传感器输出G光信号,红光传感器输出R光信号,根据B光信号、G光信号与R光信号输出RGB彩色视频信号。
S13:根据步骤S7输出的近红外荧光视频信号以及步骤S12输出的RGB彩色视频信号输出彩色-荧光视频信号。
具体地,将彩色-荧光视频信号输出至一图像显示部进行显示。
请参考图2,在本发明的另一个实施例中,提供了一种荧光图像的成像方法,包括以下步骤:
S1:采用白光光源与激发光光源照射待观察区域,其中激发光光源的强度调至最大,白光光源的强度可为任意值;将白光反射光中的红、绿、蓝光分别成像在红、绿、蓝光传感器上,且蓝光传感器还用于对待观察区域发出的近红外荧光进行成像。
其中,白光光源可为LED白光光源,也可以由R、G、B三色LED光源合成白光;激发光光源可以是808±10nm激光器,用于激发待观察区域的ICG(吲哚菁绿)产生近红外荧光。另外,本实施例采用蓝光传感器来对待观察区域发出的近红外荧光进行成像,然而应该认识到,本发明并不以此为限,在其它实施例中,还可以采用红光传感器或绿光传感器来对待观察区域发出的近红外荧光进行成像。
S2: 将红光传感器与绿光传感器的每个像素点接收到的红光和绿光信号的强度加权取平均值后乘以经验系数r转换成蓝光信号的强度值,记为a0。
S3: 依次判断蓝光传感器上的每个像素点接收到的光强a1是否大于a0;若是,则进入步骤S4;若否则进入步骤S7。
其中,a1大于a0表示蓝光传感器接收到了近红外荧光信号。
S4: 判断蓝光传感器是否连续N个像素点均满足a1﹥a0;若是,则进入步骤S5,否则减小所述白光光源的强度并返回步骤S2;其中N为自然数,且N≥2;
该步骤的目的是排除假荧光信号,某个像素点出现荧光信号并不代表待观察区域真的发出近红外荧光,有可能是假荧光信号,只有连续的像素点均检测到荧光信号,才能确定待观察区域确实发出近红外荧光。本发明通过该步骤排除了可能产生的假荧光现象,从而提高了图像处理的准确度。
S5:控制蓝光传感器输出近红外荧光信号,并标记为B颜色,其它两个传感器不输出信号;并判断近红外荧光信号与RGB背景光的对比度是否达到或接近预设的最优值;若是,则进入步骤S6;否则调节所述白光光源的强度并返回步骤S2。
S6: 输出B颜色的近红外荧光视频信号。
S7:判断a1不大于a0的原因是否为待观察区域确实未发出近红外荧光;若是,则进入步骤S8,否则减小所述白光光源的强度并返回步骤S2。
S8:输出RGB彩色视频信号;
S9:根据步骤S6输出的近红外荧光视频信号以及步骤S8输出的RGB彩色视频信号输出彩色-荧光视频信号。
优选地,在步骤S1与步骤S2之间还包括步骤S20:判断激发光光源是否已经开启,且强度达到最大值;若是,则进入步骤S2;若否,则调节激发光光源后再次判断其强度是否达到最大值。当然在其它实施方式中,也可以不设置步骤S20。
进一步地,作为一种实施方式,步骤S5中判断近红外荧光信号与RGB背景光的对比度是否达到或接近预设的最优值的方式包括:
S51: 在蓝光传感器上取一定面积内近红外荧光信号强度的平均值,记为a1′;
S52:判断a1′与a0的差值是否达到或接近预设的最优值C,若是,则判定近红外荧光信号与RGB背景光的对比度已经达到或接近预设的最优值,否则判定近红外荧光信号与RGB背景光的对比度没有达到或接近预设的最优值。
其中,最优值C为事先设定值,满足荧光与彩色背景光的对比度达到或接近最佳,使得在后续合成的彩色-荧光图像中能清晰地看到荧光图像。当然,本领域的技术人员还可以采用其它方式来判断近红外荧光信号与RGB背景光的对比度是否达到或接近预设的最优值,任何可用于判断近红外荧光信号与RGB背景光的对比度是否达到或接近预设的最优值的方式均在本发明的保护范围之内。
进一步地,作为一种实施方式,步骤S7中判断a1不大于a0的原因是否为待观察区域确实未发出近红外荧光的方式包括:
S71:判断a1是否小于a0;若是,则减小白光光源的强度并返回步骤S2;若否,则减小白光光源的强度并进入步骤S72;
S72:依次判断在减小白光光源强度后蓝光传感器上的每个像素点接收到的光强a11是否小于a0,若否,则返回步骤S2;若是,则进入步骤S73;
S73:将白光光源的强度恢复为减小之前的值;
S74:红、绿、蓝光传感器输出各自的光信号。
当然,本领域的技术人员还可以采用其它方式来判断a1不大于a0的原因是否为待观察区域确实未发出近红外荧光,任何可用于判断a1不大于a0的原因是否为待观察区域确实未发出近红外荧光的方式均在本发明的保护范围之内。
并且上述陈述的步骤S5的具体实现方式和步骤S7的具体实现方式在其它实施方式中可以同时采用,也可以选择步骤S5采用该具体实现方式而步骤S7采用其它可实现的方式或者步骤S7采用该具体实现方式而步骤S5采用其它可实现的方式。
请进一步参考图3,图3为本发明又一实施例提供的荧光图像的成像方法,包括以下步骤:
S1:采用白光光源与激发光光源照射待观察区域,将白光反射光中的红、绿、蓝光分别成像在红、绿、蓝光传感器上,且蓝光传感器还用于对待观察区域发出的近红外荧光进行成像。
其中,白光光源可为LED白光光源,也可以由R、G、B三色LED光源合成白光;激发光光源可以是808±10nm激光器,用于激发待观察区域的ICG(吲哚菁绿)产生近红外荧光。在本实施例中,白光光源与激发光光源的强度均可为任意值。另外,本实施例采用蓝光传感器来对待观察区域发出的近红外荧光进行成像,然而应该认识到,本发明并不以此为限,在其它实施例中,还可以采用红光传感器或绿光传感器来对待观察区域发出的近红外荧光进行成像。
S2:判断蓝光传感器是否接收到近红外荧光信号;若是,则进入步骤S3,否则进入步骤S6;
S3: 判断接收到的近红外荧光信号是否为连续N个像素点;若是,则进入步骤S4,否则减小白光光源的强度并返回步骤S2;其中N为自然数,且N≥2;
S4:控制蓝光传感器输出近红外荧光信号,其它两个单色传感器不输出信号;并判断近红外荧光信号与RGB背景光的对比度是否达到或接近预设的最优值;若是,则进入步骤S5;否则增大或减小白光光源的强度,同时调节激发光光源的强度至最大值,并返回步骤S2。当然,还可以只调节白光光源的强度值或者只调节激发光光源的强度值。
S5:输出近红外荧光视频信号;
S6:判断步骤S2中未接收到近红外荧光信号的原因是否为待观察区域确实未发出近红外荧光;若是,则进入步骤S7,否则减小白光光源的强度并返回步骤S2;
S7:输出RGB彩色视频信号;
S8:根据步骤S5输出的近红外荧光视频信号以及步骤S7输出的RGB彩色视频信号输出彩色-荧光视频信号。
作为一种具体实施方式,步骤S2具体包括:
S21: 将红光传感器与绿光传感器的每个像素点接收到的红光和绿光信号的强度加权取平均值后乘以经验系数r转换成蓝光信号的强度值,记为a0;
S22: 依次判断蓝光传感器上的每个像素点接收到的光强a1是否大于a0;若是则判定蓝光传感器接收到近红外荧光信号,否则判定蓝光传感器没有接收到近红外荧光信号。
当然,本领域的技术人员还可以采用其它方式来判断蓝光传感器是否接收到近红外荧光信号,任何可用于判断蓝光传感器是否接收到近红外荧光信号的方式均在本发明的保护范围之内。
作为一种具体实施方式,步骤S4中的判断近红外荧光信号与RGB背景光的对比度是否达到或接近预设的最优值具体包括:
S41:取一定面积内近红外荧光信号强度的平均值,记为a1′;
S42:判断a1′与a0的差值是否达到或接近预设的最优值,若是,则判定近红外荧光信号与RGB背景光的对比度已经达到或接近预设的最优值,否则判定近红外荧光信号与RGB背景光的对比度没有达到或接近预设的最优值。
当然,本领域的技术人员还可以采用其它方式来判断近红外荧光信号与RGB背景光的对比度是否达到或接近预设的最优值,任何可用于判断近红外荧光信号与RGB背景光的对比度是否达到或接近预设的最优值的方式均在本发明的保护范围之内。作为一种具体实施方式,步骤S6具体包括:
S61:判断a1是否小于a0,若是,则减小白光光源的强度并返回步骤S2;若否,则减小白光光源的强度并进入步骤S62;
S62:依次判断在减小白光光源强度后用于对近红外荧光进行成像的传感器上的每个像素点接收到的光强a11是否小于步骤S21转换得到的强度值a0,若否,则返回步骤S2;若是,则进入步骤S63;
S63:将白光光源的强度恢复为减小之前的值;
S64:红、绿、蓝光传感器输出各自的光信号;
S65:根据红、绿、蓝光传感器输出的光信号输出RGB彩色视频信号。
当然,本领域的技术人员还可以采用其它方式来判断a1不大于a0的原因是否为待观察区域确实未发出近红外荧光,任何可用于判断a1不大于a0的原因是否为待观察区域确实未发出近红外荧光的方式均在本发明的保护范围之内。
并且上述陈述的步骤S4的具体实现方式和步骤S6的具体实现方式在其它实施方式中可以同时采用,也可以选择步骤S4采用该具体实现方式而步骤S6采用其它可实现的方式或者步骤S6采用该具体实现方式而步骤S4采用其它可实现的方式。
当然,本发明还可以在开启白光光源时将白光光源的强度降低到(调至)最大值的A%(比如30%,尽量小一点,但仍大于暗噪声,此时激发光的强度处于0至最大值范围内的任一值),并固定,并在后续的流程中只调节激发光光源的强度,使得近红外荧光与RGB彩色光的对比度达到或接近最优值,如图4所示。
本发明提供的荧光图像的成像方法,在生成彩色-荧光图像之前进行图像处理,并且在不影响软件处理速度的前提下,采用三个单色传感器分别对白光中的红、绿、蓝光成像,并且将近红外荧光也成像在其中一个单色传感器上,然后判断用于接收近红外荧光的感器是否接收到荧光信号,以及计算该传感器接收到的光信号与其他两个单色传感器接收到的光信号强弱,并根据两种光信号的强度差自动调节白光光源和/或激发光光源的照射强度,形成一闭环系统,实现彩色-荧光最佳对比度输出,并同时显示在一帧图像上。由于该方法在成像时可自动调节白光照明和荧光激发光照明的强度,始终让荧光信号与彩色背景信号保持一定的信号差值,因而对有无荧光信号的判断准确、方便;在有荧光信号时,让彩色背景保证足够的亮度值,使医生观察体腔更方便、准确。更进一步地,由于该方法在成像之前对图像进行处理,因而数据处理量小,运算速度快,画面流畅。
请进一步参考图5,如图5所示,本发明实施例提供的图像处理系统,包括脉冲发生器以及图像处理器,该图像处理器包括:
信号转换单元,用于分别采集红、绿、蓝光传感器的每个像素点接收到的光信号的强度值并进行光电转换;其中红、绿、蓝光传感器用于分别对白光反射光中的红、绿、蓝光进行成像,且蓝光传感器还用于对近红外荧光进行成像;白光反射光为采用白光光源照射待观察区域后由该区域反射的,近红外荧光为同时采用激发光光源照射待观察区域后由该区域发出的;其中,白光光源可为LED白光光源,也可以由R、G、B三色LED光源合成白光;激发光光源可以是808±10nm激光器,用于激发待观察区域的ICG(吲哚菁绿)产生近红外荧光。另外,本实施例采用蓝光传感器来对待观察区域发出的近红外荧光进行成像,然而应该认识到,本发明并不以此为限,在其它实施例中,还可以采用红光传感器或绿光传感器来对待观察区域发出的近红外荧光进行成像。
信号处理单元,用于将红光传感器与绿光传感器的每个像素点接收到的红光和绿光信号的强度加权取平均值后乘以经验系数r转换成蓝光信号的强度值,记为a0。
比较单元,用于将蓝光传感器的每个像素点进行光电转换后的强度值a1与a0进行比较;
指令单元,用于接收比较单元的比较结果,并进行判断后执行相应动作:
若a1﹥a0:
且连续N个像素点均满足a1﹥a0,则发出第一指令给脉冲发生器,脉冲发生器控制蓝光传感器输出近红外荧光信号,且控制其它两个传感器不输出光信号;并且若蓝光传感器的一定面积内的近红外荧光信号强度的平均值a1′与a0的差值达到或接近预设的最优值,则发出第二指令,否则发出第三指令以减小白光光源的强度;
若不满足连续N个像素点a1﹥a0,则发出第三指令以减小白光光源的强度;或者a1′与a0的差值未达到或接近预设的最优值,则发出第四指令以增大或减小白光光源的强度;
若a1﹤a0,则发出第三指令以减小白光光源的强度;
若a1=a0,则发出第三指令以减小白光光源的强度,并对白光光源减小后的蓝光传感器的每个像素点进行光电转换后的强度值a11与a0进行比较,若a11<a0,则发出第五指令以将白光光源的强度恢复为减小之前的值,并发出第二指令给所述脉冲发生器,脉冲发生器控制红、绿、蓝光传感器在恢复后的白光光源的强度下分别输出红、绿、蓝光信号;
信号输出单元,用于在接收到第二指令后根据近红外荧光的传感器输出近红外荧光信号以及红、绿、蓝光传感器输出的红、绿、蓝光信号,输出彩色-荧光视频信号。
请进一步参考图6,如图6所示,本发明实施例提供了一种荧光内窥镜照明成像装置,包括光照射装置、光学采集部、图像采集部、图像处理系统以及图像显示部;其中:
光照射装置用于提供可调节强度的白光与激发光以照射待观察区域;其中,白光光源可为LED白光光源,也可以由R、G、B三色LED光源合成白光;激发光光源可以是808±10nm激光器,用于激发待观察区域的ICG(吲哚菁绿)产生近红外荧光。具体地,光照射装置包括白光光源、激发光光源以及光源控制部,光源控制部用于调节白光光源以及激发光光源的强度。
光学采集部用于将待观察区域反射的白光和发射的近红外荧光进行传输并耦合进入图像采集部;具体地,光学采集部包括成像镜组以及光学适配器,光学适配器位于成像镜组的后端;成像镜组用于传输待观察区域反射的白光和发射的近红外荧光;光学适配器用于将成像镜组传输的反射白光及近红外荧光耦合进入图像采集部。其中,成像镜组是经过一般设计的光学镜组,可以满足可见-近红外多光谱成像要求,光学适配器内设置有滤光片,用于滤除待观察区域发射的激发光,并使反射白光及近红外荧光通过。其中,滤光片的表面镀膜曲线如图7所示,由图7可知,该滤光片使得400-800nm的可见光以及830-850nm的近红外荧光透过,而使808nm的激发光截止。
作为进一步优选实施方式,成像镜组为内窥镜的一部分,从而使得整体系统的结构紧凑,并且可以替换现有的内窥镜,而不影响医生的操作。
图像采集部由分光棱镜组和红光传感器、绿光传感器、蓝光传感器组成。其中,分光棱镜组由两个棱镜构成,位于光学适配器的后端,用于将反射的白光分成R光、G光、B光三个通道,然后分别成像至红光传感器、绿光传感器、蓝光传感器上,NIR荧光被分在B光通道上,与B光一起成像在蓝光传感器上,如图8所示。具体分光过程如下:入射进入分光棱镜组的白光和近红外荧光被分成R+G光和B+NIR光两部分;前者透过第一棱镜b面,其中,G光再透过第二棱镜d面成像在绿光传感器上,R光经第二棱镜d面反射后再经过全反射从第二棱镜f面透射出去,成像在红光传感器上;后者被第一棱镜b面反射后再经过全反射,从第一棱镜的c面透射出去,成像在蓝光传感器上。
第一棱镜b面、c面,第二棱镜d面的镀膜曲线,如图9所示,其中,b面镀膜特性为透射绿光和红光,反射蓝光和近红外荧光;c面镀膜特性为透射蓝光和近红外荧光,截止绿光和红光;d面镀膜特性为透射绿光,反射红光。由于蓝光偏暗色,对于显示人体组织的颜色作用不大,因此可以将近红外荧光分在B光通道上,然后成像在蓝光传感器上,即NIR荧光和B光共用蓝光传感器。当然应该认识到,本发明并不以此为限,在其它实施例中,还可以采用红光传感器或绿光传感器来对待观察区域发出的近红外荧光进行成像。
图像处理系统包括脉冲发生器以及图像处理器,该图像处理器包括:
信号转换单元,用于分别采集红、绿、蓝光传感器的每个像素点接收到的光信号的强度值并进行光电转换;
信号处理单元,用于将红光传感器与绿光传感器的每个像素点接收到的红光和绿光信号的强度加权取平均值后乘以经验系数r转换成蓝光信号的强度值,记为a0。
比较单元,用于将蓝光传感器的每个像素点进行光电转换后的强度值a1与a0进行比较;
指令单元,用于接收比较单元的比较结果,并进行判断后执行相应动作:
若a1﹥a0:
且连续N个像素点均满足a1﹥a0,则发出第一指令给脉冲发生器,脉冲发生器控制蓝光传感器输出近红外荧光信号,并标记为B颜色;且控制其它两个传感器不输出光信号,具体地,脉冲发生器关闭红、绿传感器输出同道,使其不输出信号;并且若蓝光传感器的一定面积内的近红外荧光信号强度的平均值a1′与a0的差值达到或接近预设的最优值,则发出第二指令,否则发出第三指令以减小白光光源的强度;
若不满足连续N个像素点a1﹥a0,则发出第三指令以减小白光光源的强度;或者a1′与a0的差值未达到或接近预设的最优值,则发出第四指令以增大或减小白光光源的强度;
若a1﹤a0,则发出第三指令以减小白光光源的强度;
若a1=a0,则发出第三指令以减小白光光源的强度,并对白光光源减小后的蓝光传感器的每个像素点进行光电转换后的强度值a11与a0进行比较,若a11<a0,则发出第五指令以将白光光源的强度恢复为减小之前的值,并发出第二指令给所述脉冲发生器,脉冲发生器控制红、绿、蓝光传感器在恢复后的白光光源的强度下分别输出红、绿、蓝光信号,具体地,脉冲发生器打开红、绿传感器同道,使其输出对应的光信号;
信号输出单元,用于在接收到第二指令后根据近红外荧光的传感器输出近红外荧光信号以及红、绿、蓝光传感器输出的红、绿、蓝光信号,输出彩色-荧光视频信号。即对待观察区域的正常组织区域反射的白光合成RGB彩色输出,同时对异常组织区域发射的近红外荧光以B颜色输出。
图像显示部包括显示器,用于将信号输出单元输出的彩色-荧光视频信号进行视频转换,并输出彩色-荧光图像显示在显示器的屏幕上。
本发明实施例提供的荧光内窥镜照明成像装置在医学检测上的一具体应用如下:
首先,向人体内注射ICG试剂,一段时间后,同时打开白光光源和激光光源,并调制白光光源至A1值,激光光源至最大值。此时,组织表面反射的白光、激发光,发射的近红外荧光一同进入成像镜组(可以是腹腔镜),再经过光学适配器到达分光棱镜组的前端。此时,激发光被位于光学适配器内部的滤光片截止掉。剩余白光和近红外荧光进入分光棱镜组内,从第一棱镜a面透射进入第一棱镜,在第一棱镜的b面上,白光中的R光、G光透射进入第二棱镜,白光中的B光以及NIR荧光反射至第一棱镜的a面,发生全反射并从第一棱镜的c面透射出第一棱镜,成像在蓝光传感器上。透射进入第二棱镜的R光和G光到达第二棱镜d面后,G光从第二棱镜的d面透射出第二棱镜,成像在绿光传感器上;R光反射至第二棱镜的e面,发生全反射并从第二棱镜的f面透射出第二棱镜,成像在红光传感器上。
然后,由图像处理系统对生成的R光信号、G光信号、B光信号和NIR荧光信号进行处理,取R光与G光信号强度的加权平均值,并乘以经验系数r,结果为a0。当蓝光传感器检测到的光信号强度a1大于a0时,输出B颜色的NIR荧光信号,此时,绿光传感器不输出信号,红光传感器不输出信号;否则,输出B光信号,连同绿光传感器输出的G光信号,红光传感器输出的R光信号,输出RGB彩色信号;从而输出彩色-荧光视频信号。
当蓝光传感器检测到所有NIR荧光信号后,由图像处理器输出指令给光源控制部,光源控制部逐步增加或减小LED白光光源强度,使得荧光信号强度的平均值a1’与a0的差值等于或接近最佳值C,即荧光与彩色背景光达到最佳的对比度。
最后,将上述彩色-荧光视频信号输出到图像显示部,经过显示器转换,输出彩色-荧光图像在显示器屏幕上。其中,荧光为蓝色,背景为彩色。
显然,本领域的技术人员可以对发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (18)
1.一种荧光图像的成像方法,其特征在于,包括以下步骤:
S1:采用白光光源与激发光光源照射待观察区域,其中激发光光源的强度调至最大;将白光反射光中的红、绿、蓝光分别成像在红、绿、蓝光传感器上,且所述红、绿、蓝光传感器中的任一传感器还用于对待观察区域发出的近红外荧光进行成像;
S2:将不接收近红外荧光的两个传感器的每个像素点接收到的红、绿、蓝光中的两种光信号的强度加权取平均值后转换成第三种光信号的强度值,记为a0;
S3:依次判断所述用于对近红外荧光进行成像的传感器上的每个像素点接收到的光强a1是否大于步骤S2转换得到的强度值a0;若是,则进入步骤S4;若否则进入步骤S8;
S4:判断是否连续N个像素点均满足a1﹥a0;若是,则进入步骤S5,否则减小所述白光光源的强度并返回步骤S2;其中N为自然数,且N≥2;
S5:控制用于对近红外荧光进行成像的传感器输出近红外荧光信号,其它两个传感器不输出信号;并在对应传感器上取一定面积内近红外荧光信号强度的平均值,记为a1′;
S6:判断a1′与a0的差值是否达到或接近预设的最优值,若是,则进入步骤S7;若否,则调节所述白光光源的强度后返回步骤S2;
S7:输出近红外荧光视频信号;
S8:判断a1是否小于a0;若是,则减小所述白光光源的强度后返回步骤S2;若否,则进入步骤S9;
S9:减小所述白光光源的强度;
S10:依次判断在减小白光光源强度后所述用于对近红外荧光进行成像的传感器上的每个像素点接收到的光强a11是否小于步骤S2转换得到的强度值a0,若否,则返回步骤S2;若是,则进入步骤S11;
S11:将所述白光光源的强度恢复为减小之前的值;
S12:输出RGB彩色视频信号;
S13:根据步骤S7输出的近红外荧光视频信号以及步骤S12输出的RGB彩色视频信号输出彩色-荧光视频信号。
2.如权利要求1所述的荧光图像的成像方法,其特征在于,在所述步骤S1与步骤S2之间还包括:
步骤S20:判断激发光光源是否已经开启,且强度达到最大值;若是,则进入步骤S2;若否,则调节激发光光源后再次判断其强度是否达到最大值。
3.一种荧光图像的成像方法,其特征在于,包括以下步骤:
S1:采用白光光源与激发光光源照射待观察区域,其中激发光光源的强度调至最大;将白光反射光中的红、绿、蓝光分别成像在红、绿、蓝光传感器上,且所述红、绿、蓝光传感器中的任一传感器还用于对待观察区域发出的近红外荧光进行成像;
S2: 将不接收近红外荧光的两个传感器的每个像素点接收到的红、绿、蓝光中的两种光信号的强度加权取平均值后转换成第三种光信号的强度值,记为a0;
S3:依次判断所述用于对近红外荧光进行成像的传感器上的每个像素点接收到的光强a1是否大于步骤S2转换得到的强度值a0;若是,则进入步骤S4;若否则进入步骤S7;
S4: 判断是否连续N个像素点均满足a1﹥a0;若是,则进入步骤S5,否则减小所述白光光源的强度并返回步骤S2;其中N为自然数,且N≥2;
S5:控制用于对近红外荧光进行成像的传感器输出近红外荧光信号,其它两个传感器不输出信号;并判断近红外荧光信号与RGB背景光的对比度是否达到或接近预设的最优值;若是,则进入步骤S6;否则调节所述白光光源的强度并返回步骤S2;
S6: 输出近红外荧光视频信号;
S7:判断a1不大于a0的原因是否为所述待观察区域确实未发出近红外荧光;若是,则进入步骤S8,否则减小所述白光光源的强度并返回步骤S2;
S8:输出RGB彩色视频信号;
S9:根据步骤S6输出的近红外荧光视频信号以及步骤S8输出的RGB彩色视频信号输出彩色-荧光视频信号。
4.如权利要求3所述的荧光图像的成像方法,其特征在于,所述步骤S5中的判断近红外荧光信号与RGB背景光的对比度是否达到或接近预设的最优值具体包括:
S51: 在对应传感器上取一定面积内近红外荧光信号强度的平均值,记为a1′;
S52:判断a1′与a0的差值是否达到或接近预设的最优值,若是,则判定近红外荧光信号与RGB背景光的对比度已经达到或接近预设的最优值,否则判定近红外荧光信号与RGB背景光的对比度没有达到或接近预设的最优值。
5.如权利要求3所述的荧光图像的成像方法,其特征在于,所述步骤S7具体包括:
S71:判断a1是否小于a0;若是,则减小所述白光光源的强度并返回步骤S2;若否,则减小所述白光光源的强度并进入步骤S72;
S72:依次判断在减小白光光源强度后所述用于对近红外荧光进行成像的传感器上的每个像素点接收到的光强a11是否小于步骤S21转换得到的强度值a0,若否,则返回步骤S2;若是,则进入步骤S73;
S73:将所述白光光源的强度恢复为减小之前的值;
S74:红、绿、蓝光传感器输出各自的光信号。
6.如权利要求3所述的荧光图像的成像方法,其特征在于,在所述步骤S1与步骤S2之间还包括:
步骤S20:判断激发光光源是否已经开启,且强度达到最大值;若是,则进入步骤S2;若否,则调节激发光光源后再次判断其强度是否达到最大值。
7.一种荧光图像的成像方法,其特征在于,包括以下步骤:
S1:采用白光光源与激发光光源照射待观察区域,将白光反射光中的红、绿、蓝光分别成像在红、绿、蓝光传感器上,且所述红、绿、蓝光传感器中的任一传感器还用于对待观察区域发出的近红外荧光进行成像;
S2:判断用于对近红外荧光进行成像的传感器是否接收到近红外荧光信号;若是,则进入步骤S3,否则进入步骤S6;
S3: 判断接收到的近红外荧光信号是否为连续N个像素点;若是,则进入步骤S4,否则减小所述白光光源的强度并返回步骤S2;其中N为自然数,且N≥2;
S4:控制用于对近红外荧光进行成像的传感器输出近红外荧光信号,其它两个单色传感器不输出信号;并判断近红外荧光信号与RGB背景光的对比度是否达到或接近预设的最优值;若是,则进入步骤S5;否则调节所述白光光源的强度或者调节所述激发光光源的强度或者同时调节所述白光光源与所述激发光光源的强度并返回步骤S2;
S5:输出近红外荧光视频信号;
S6:判断步骤S2中未接收到近红外荧光信号的原因是否为所述待观察区域确实未发出近红外荧光;若是,则进入步骤S7,否则减小所述白光光源的强度并返回步骤S2;
S7:输出RGB彩色视频信号;
S8:根据步骤S5输出的近红外荧光视频信号以及步骤S7输出的RGB彩色视频信号输出彩色-荧光视频信号。
8.如权利要求7所述的荧光图像的成像方法,其特征在于,所述步骤S2具体包括:
S21: 将不接收近红外荧光的两个传感器的每个像素点接收到的红、绿、蓝光中的两种光信号的强度加权取平均值后转换成第三种光信号的强度值,记为a0;
S22: 依次判断所述用于对近红外荧光进行成像的传感器上的每个像素点接收到的光强a1是否大于步骤S21转换得到的强度值a0,若是则判定用于对近红外荧光进行成像的传感器接收到近红外荧光信号,否则判定用于对近红外荧光进行成像的传感器没有接收到近红外荧光信号。
9.如权利要求8所述的荧光图像的成像方法,其特征在于,所述步骤S4中的判断近红外荧光信号与RGB背景光的对比度是否达到或接近预设的最优值具体包括:
S41:取一定面积内近红外荧光信号强度的平均值,记为a1′;
S42:判断a1′与a0的差值是否达到或接近预设的最优值,若是,则判定近红外荧光信号与RGB背景光的对比度已经达到或接近预设的最优值,否则判定近红外荧光信号与RGB背景光的对比度没有达到或接近预设的最优值。
10.如权利要求8或9所述的荧光图像的成像方法,其特征在于,所述步骤S6具体包括:
S61:判断a1是否小于a0,若是,则减小所述白光光源的强度并返回步骤S2;若否,则减小所述白光光源的强度并进入步骤S62;
S62:依次判断在减小白光光源强度后所述用于对近红外荧光进行成像的传感器上的每个像素点接收到的光强a11是否小于步骤S21转换得到的强度值a0,若否,则返回步骤S2;若是,则进入步骤S63;
S63:将所述白光光源的强度恢复为减小之前的值;
S64:红、绿、蓝光传感器输出各自的光信号;
S65:根据红、绿、蓝光传感器输出的光信号输出RGB彩色视频信号。
11.如权利要求7所述的荧光图像的成像方法,其特征在于,所述步骤S4中调节所述激发光光源的强度具体为将激发光光源的强度调节至最大值。
12.一种图像处理系统,其特征在于,包括脉冲发生器以及图像处理器,所述图像处理器包括:
信号转换单元,用于分别采集红、绿、蓝光传感器的每个像素点接收到的光信号的强度值并进行光电转换;其中红、绿、蓝光传感器用于分别对白光反射光中的红、绿、蓝光进行成像,且红、绿、蓝光传感器中的任一传感器还用于对近红外荧光进行成像;所述白光反射光为采用白光光源照射待观察区域后由该区域反射的,所述近红外荧光为同时采用激发光光源照射待观察区域后由该区域发出的;
信号处理单元,用于将不接收近红外荧光的两个传感器的每个像素点接收到的红、绿、蓝光中的两种光信号进行光电转换后的强度值进行加权求平均值,并转换成第三种光信号的强度值,记为a0;
比较单元,用于将接收近红外荧光的传感器的每个像素点进行光电转换后的强度值a1与a0进行比较;
指令单元,用于接收所述比较单元的比较结果,并进行判断后执行相应动作:
若a1﹥a0:
且连续N个像素点均满足a1﹥a0,则发出第一指令给所述脉冲发生器,所述脉冲发生器控制用于将接收近红外荧光的传感器输出近红外荧光信号,且控制其它两个传感器不输出光信号;并且若用于接收近红外荧光的传感器的一定面积内的近红外荧光信号强度的平均值a1′与a0的差值达到或接近预设的最优值,则发出第二指令,否则发出第三指令以减小白光光源的强度;
若不满足连续N个像素点a1﹥a0,则发出第三指令以减小白光光源的强度;或者a1′与a0的差值未达到或接近预设的最优值,则发出第四指令以增大或减小白光光源的强度;
若a1﹤a0,则发出第三指令以减小白光光源的强度;
若a1=a0,则发出第三指令以减小白光光源的强度,并对白光光源减小后的用于接收近红外荧光的传感器的每个像素点进行光电转换后的强度值a11与a0进行比较,若a11<a0,则发出第五指令以将白光光源的强度恢复为减小之前的值,并发出第二指令给所述脉冲发生器,所述脉冲发生器控制红、绿、蓝光传感器在恢复后的白光光源的强度下分别输出红、绿、蓝光信号;
信号输出单元,用于在接收到第二指令后根据近红外荧光的传感器输出近红外荧光信号以及红、绿、蓝光传感器输出的红、绿、蓝光信号,输出彩色-荧光视频信号。
13.一种荧光内窥镜照明成像装置,其特征在于,包括如权利要求12所述的图像处理系统。
14.如权利要求13所述的荧光内窥镜照明成像装置,其特征在于,还包括光照射装置、光学采集部、图像采集部以及图像显示部;其中:
所述光照射装置用于提供可调节强度的白光与激发光以照射待观察区域;
所述光学采集部用于将待观察区域反射的白光和发射的近红外荧光进行传输并耦合进入图像采集部;
所述图像采集部包括分光棱镜组及红光传感器、绿光传感器、蓝光传感器,所述分光棱镜组用于将耦合进入的反射的白光分成R光、G光、B光并分别成像在红光传感器、绿光传感器、蓝光传感器上,其中耦合进入的近红外荧光通过所述分光棱镜组成像在所述红光传感器、绿光传感器、蓝光传感器中的任一个传感器上;
所述图像显示部,用于将所述图像处理系统输出的彩色-荧光视频信号进行视频转换,并输出彩色-荧光图像。
15.如权利要求14所述的荧光内窥镜照明成像装置,其特征在于,所述光照射装置包括白光光源、激发光光源以及光源控制部,所述光源控制部用于调节所述白光光源以及所述激发光光源的强度。
16.如权利要求14或15所述的荧光内窥镜照明成像装置,其特征在于,所述光学采集部包括成像镜组以及光学适配器,所述光学适配器位于所述成像镜组的后端;所述成像镜组用于传输待观察区域反射的白光和发射的近红外荧光;所述光学适配器用于将所述成像镜组传输的反射白光及近红外荧光耦合进入图像采集部。
17.如权利要求16所述的荧光内窥镜照明成像装置,其特征在于,所述光学适配器内设置有滤光片,用于滤除待观察区域发射的激发光,并使反射白光及近红外荧光通过。
18.如权利要求16所述的荧光内窥镜照明成像装置,其特征在于,所述成像镜组为内窥镜的一部分。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810376241.4A CN108095701B (zh) | 2018-04-25 | 2018-04-25 | 图像处理系统、荧光内窥镜照明成像装置及成像方法 |
EP18916530.1A EP3785604A4 (en) | 2018-04-25 | 2018-08-20 | IMAGE PROCESSING SYSTEM, FLUORESCENT ENDOSCOPIC ILLUMINATION IMAGING APPARATUS AND IMAGING METHOD |
US17/044,766 US11633105B2 (en) | 2018-04-25 | 2018-08-20 | Image processing system, fluorescent endoscopic illuminated imaging apparatus and imaging method |
PCT/CN2018/101378 WO2019205359A1 (zh) | 2018-04-25 | 2018-08-20 | 图像处理系统、荧光内窥镜照明成像装置及成像方法 |
JP2020558539A JP7140464B2 (ja) | 2018-04-25 | 2018-08-20 | 画像処理システム、蛍光内視鏡照明撮像装置及び撮像方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810376241.4A CN108095701B (zh) | 2018-04-25 | 2018-04-25 | 图像处理系统、荧光内窥镜照明成像装置及成像方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108095701A true CN108095701A (zh) | 2018-06-01 |
CN108095701B CN108095701B (zh) | 2018-07-20 |
Family
ID=62206051
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810376241.4A Active CN108095701B (zh) | 2018-04-25 | 2018-04-25 | 图像处理系统、荧光内窥镜照明成像装置及成像方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11633105B2 (zh) |
EP (1) | EP3785604A4 (zh) |
JP (1) | JP7140464B2 (zh) |
CN (1) | CN108095701B (zh) |
WO (1) | WO2019205359A1 (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019205359A1 (zh) * | 2018-04-25 | 2019-10-31 | 上海凯利泰医疗科技股份有限公司 | 图像处理系统、荧光内窥镜照明成像装置及成像方法 |
CN110794420A (zh) * | 2019-10-31 | 2020-02-14 | 山东交通学院 | 一种彩色激光雷达成像装置及方法 |
CN111772560A (zh) * | 2020-08-06 | 2020-10-16 | 山西医科大学 | 一种基于双通道高效传输的荧光内窥镜成像系统及方法 |
CN111803013A (zh) * | 2020-07-21 | 2020-10-23 | 深圳市博盛医疗科技有限公司 | 一种内窥镜成像方法和内窥镜成像系统 |
CN111818707A (zh) * | 2020-07-20 | 2020-10-23 | 浙江华诺康科技有限公司 | 荧光内窥镜曝光参数调整的方法、设备和荧光内窥镜 |
CN113049106A (zh) * | 2021-03-11 | 2021-06-29 | 广州市合熠智能科技股份有限公司 | 一种数字智能型颜色传感器系统 |
CN113261911A (zh) * | 2021-05-14 | 2021-08-17 | 天津工业大学 | 一种荧光电子内窥镜成像系统及其检测方法 |
CN114026843A (zh) * | 2019-06-17 | 2022-02-08 | 株式会社小糸制作所 | 车载红外线照明装置 |
CN114298956A (zh) * | 2022-03-09 | 2022-04-08 | 广东欧谱曼迪科技有限公司 | 双荧光内窥镜图像融合方法、电子设备及装置 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114052908B (zh) * | 2021-12-01 | 2024-02-13 | 辽宁北镜医疗科技有限公司 | 一种基于照度调节的近红外荧光术中导航系统及方法 |
CN115316919B (zh) * | 2022-09-15 | 2023-06-30 | 广东欧谱曼迪科技有限公司 | 双相机3d光学荧光内窥镜摄像系统、方法及电子设备 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100245616A1 (en) * | 2009-03-26 | 2010-09-30 | Olympus Corporation | Image processing device, imaging device, computer-readable recording medium, and image processing method |
CN102781305A (zh) * | 2010-03-09 | 2012-11-14 | 奥林巴斯株式会社 | 荧光内窥镜装置 |
CN104274156A (zh) * | 2013-07-12 | 2015-01-14 | 韩国电气研究院 | 用于检测前哨淋巴结处的nir荧光的设备和方法 |
CN105263390A (zh) * | 2013-04-23 | 2016-01-20 | 雪松-西奈医学中心 | 用于从荧光团同时录制可见光图像和红外光图像的系统和方法 |
CN105764401A (zh) * | 2013-11-28 | 2016-07-13 | 奥林巴斯株式会社 | 荧光观察装置 |
CN107072520A (zh) * | 2014-08-29 | 2017-08-18 | 莱英罗斯有限责任公司 | 以可见光波长和红外波长并行成像的内窥镜系统 |
CN107635451A (zh) * | 2015-04-03 | 2018-01-26 | 苏州国科美润达医疗技术有限公司 | 用于在可见和红外波长下进行同时成像的方法和装置 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4745790B2 (ja) * | 2005-10-21 | 2011-08-10 | Hoya株式会社 | 電子内視鏡装置 |
JP5081720B2 (ja) | 2008-05-22 | 2012-11-28 | 富士フイルム株式会社 | 蛍光内視鏡装置および励起光ユニット |
DE102009024943A1 (de) * | 2009-06-10 | 2010-12-16 | W.O.M. World Of Medicine Ag | Bildgebungssystem und Verfahren zur fluoreszenz-optischen Visualisierung eines Objekts |
JP5628062B2 (ja) * | 2011-02-01 | 2014-11-19 | 富士フイルム株式会社 | 電子内視鏡システム |
JP2013102898A (ja) * | 2011-11-11 | 2013-05-30 | Fujifilm Corp | 内視鏡診断装置 |
US10376147B2 (en) * | 2012-12-05 | 2019-08-13 | AccuVeiw, Inc. | System and method for multi-color laser imaging and ablation of cancer cells using fluorescence |
WO2015025640A1 (ja) * | 2013-08-23 | 2015-02-26 | オリンパス株式会社 | 蛍光観察装置 |
US20170035280A1 (en) * | 2015-08-07 | 2017-02-09 | Reinroth Gmbh | Stereoscopic endoscope system with concurrent imaging at visible and infrared wavelengths |
WO2016117071A1 (ja) * | 2015-01-22 | 2016-07-28 | オリンパス株式会社 | 撮像装置 |
JP6203452B1 (ja) * | 2015-10-27 | 2017-09-27 | オリンパス株式会社 | 撮像システム |
CN106236006B (zh) * | 2016-08-31 | 2017-11-14 | 杨晓峰 | 3d光学分子影像腹腔镜成像系统 |
US9763299B1 (en) * | 2016-11-04 | 2017-09-12 | Amtai Medical Equipment, Inc. | Surgical light with luminous intensity fine adjustment function |
CN108095701B (zh) * | 2018-04-25 | 2018-07-20 | 上海凯利泰医疗科技股份有限公司 | 图像处理系统、荧光内窥镜照明成像装置及成像方法 |
-
2018
- 2018-04-25 CN CN201810376241.4A patent/CN108095701B/zh active Active
- 2018-08-20 WO PCT/CN2018/101378 patent/WO2019205359A1/zh unknown
- 2018-08-20 EP EP18916530.1A patent/EP3785604A4/en not_active Withdrawn
- 2018-08-20 JP JP2020558539A patent/JP7140464B2/ja active Active
- 2018-08-20 US US17/044,766 patent/US11633105B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100245616A1 (en) * | 2009-03-26 | 2010-09-30 | Olympus Corporation | Image processing device, imaging device, computer-readable recording medium, and image processing method |
CN102781305A (zh) * | 2010-03-09 | 2012-11-14 | 奥林巴斯株式会社 | 荧光内窥镜装置 |
CN105263390A (zh) * | 2013-04-23 | 2016-01-20 | 雪松-西奈医学中心 | 用于从荧光团同时录制可见光图像和红外光图像的系统和方法 |
CN104274156A (zh) * | 2013-07-12 | 2015-01-14 | 韩国电气研究院 | 用于检测前哨淋巴结处的nir荧光的设备和方法 |
CN105764401A (zh) * | 2013-11-28 | 2016-07-13 | 奥林巴斯株式会社 | 荧光观察装置 |
CN107072520A (zh) * | 2014-08-29 | 2017-08-18 | 莱英罗斯有限责任公司 | 以可见光波长和红外波长并行成像的内窥镜系统 |
CN107635451A (zh) * | 2015-04-03 | 2018-01-26 | 苏州国科美润达医疗技术有限公司 | 用于在可见和红外波长下进行同时成像的方法和装置 |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11633105B2 (en) | 2018-04-25 | 2023-04-25 | Shanghai Kinetic Medical Co., Ltd | Image processing system, fluorescent endoscopic illuminated imaging apparatus and imaging method |
WO2019205359A1 (zh) * | 2018-04-25 | 2019-10-31 | 上海凯利泰医疗科技股份有限公司 | 图像处理系统、荧光内窥镜照明成像装置及成像方法 |
CN114026843A (zh) * | 2019-06-17 | 2022-02-08 | 株式会社小糸制作所 | 车载红外线照明装置 |
CN114026843B (zh) * | 2019-06-17 | 2024-02-09 | 株式会社小糸制作所 | 车载红外线照明装置 |
CN110794420A (zh) * | 2019-10-31 | 2020-02-14 | 山东交通学院 | 一种彩色激光雷达成像装置及方法 |
CN110794420B (zh) * | 2019-10-31 | 2023-07-21 | 山东交通学院 | 一种彩色激光雷达成像装置及方法 |
CN111818707A (zh) * | 2020-07-20 | 2020-10-23 | 浙江华诺康科技有限公司 | 荧光内窥镜曝光参数调整的方法、设备和荧光内窥镜 |
CN111818707B (zh) * | 2020-07-20 | 2022-07-15 | 浙江华诺康科技有限公司 | 荧光内窥镜曝光参数调整的方法、设备和荧光内窥镜 |
CN111803013A (zh) * | 2020-07-21 | 2020-10-23 | 深圳市博盛医疗科技有限公司 | 一种内窥镜成像方法和内窥镜成像系统 |
CN111772560A (zh) * | 2020-08-06 | 2020-10-16 | 山西医科大学 | 一种基于双通道高效传输的荧光内窥镜成像系统及方法 |
CN113049106A (zh) * | 2021-03-11 | 2021-06-29 | 广州市合熠智能科技股份有限公司 | 一种数字智能型颜色传感器系统 |
CN113261911A (zh) * | 2021-05-14 | 2021-08-17 | 天津工业大学 | 一种荧光电子内窥镜成像系统及其检测方法 |
CN114298956B (zh) * | 2022-03-09 | 2022-06-28 | 广东欧谱曼迪科技有限公司 | 双荧光内窥镜图像融合方法、电子设备及装置 |
CN114298956A (zh) * | 2022-03-09 | 2022-04-08 | 广东欧谱曼迪科技有限公司 | 双荧光内窥镜图像融合方法、电子设备及装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2021517847A (ja) | 2021-07-29 |
CN108095701B (zh) | 2018-07-20 |
JP7140464B2 (ja) | 2022-09-21 |
US20210106214A1 (en) | 2021-04-15 |
WO2019205359A1 (zh) | 2019-10-31 |
US11633105B2 (en) | 2023-04-25 |
EP3785604A1 (en) | 2021-03-03 |
EP3785604A4 (en) | 2022-01-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108095701B (zh) | 图像处理系统、荧光内窥镜照明成像装置及成像方法 | |
JP5088990B2 (ja) | 内視鏡用の自己蛍光画像化システム | |
US6364829B1 (en) | Autofluorescence imaging system for endoscopy | |
US5647368A (en) | Imaging system for detecting diseased tissue using native fluorsecence in the gastrointestinal and respiratory tract | |
US7179221B2 (en) | Endoscope utilizing fiduciary alignment to process image data | |
US4974076A (en) | Imaging apparatus and endoscope apparatus using the same | |
CN107252299A (zh) | 内窥镜装置以及内窥镜装置的工作方法 | |
JPH06335451A (ja) | 内視鏡用画像処理装置 | |
CN104274146A (zh) | 内窥镜系统及其工作方法 | |
JP6978604B2 (ja) | 内視鏡装置、内視鏡装置の作動方法及びプログラム | |
CN109276231A (zh) | 一种成像系统及成像方法 | |
US20230283742A1 (en) | Imaging system having structural data enhancement for non-visible spectra | |
CN108542497A (zh) | 手术导航设备 | |
CN207613757U (zh) | 荧光内窥成像系统 | |
CN111568549B (zh) | 一种具有实时成像功能的可视化系统 | |
WO2021238661A1 (zh) | 一种具有实时成像功能的可视化系统 | |
CN219895706U (zh) | 一种甲状旁腺功能成像系统及内镜 | |
CN118592879A (zh) | 内窥镜成像系统及成像方法 | |
JP2020185202A (ja) | 撮像装置 | |
Zeng | White Light Endoscopy | |
AU2004205240A1 (en) | Autofluorescence imaging system for endoscopy |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP02 | Change in the address of a patent holder |
Address after: 201201 Shanghai Pudong New Area Zhangjiang hi tech Park East area 528, 23, 2 floor. Patentee after: Shanghai Kinetic Medical Co., Ltd. Address before: 201201 Shanghai Pudong New Area Zhangjiang hi tech Park East area 528, 23, 1 floor. Patentee before: Shanghai Kinetic Medical Co., Ltd. |
|
CP02 | Change in the address of a patent holder |