CN114027765B - 荧光内窥镜系统、控制方法和存储介质 - Google Patents

荧光内窥镜系统、控制方法和存储介质 Download PDF

Info

Publication number
CN114027765B
CN114027765B CN202011309665.2A CN202011309665A CN114027765B CN 114027765 B CN114027765 B CN 114027765B CN 202011309665 A CN202011309665 A CN 202011309665A CN 114027765 B CN114027765 B CN 114027765B
Authority
CN
China
Prior art keywords
video stream
brightness
image
current
current frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011309665.2A
Other languages
English (en)
Other versions
CN114027765A (zh
Inventor
梁向南
毛昊阳
曹伦
何裕源
何超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Microport Medbot Group Co Ltd
Original Assignee
Shanghai Weimi Medical Instrument Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Weimi Medical Instrument Co ltd filed Critical Shanghai Weimi Medical Instrument Co ltd
Priority to CN202011309665.2A priority Critical patent/CN114027765B/zh
Priority to EP21894049.2A priority patent/EP4248835A4/en
Priority to PCT/CN2021/131950 priority patent/WO2022105902A1/zh
Publication of CN114027765A publication Critical patent/CN114027765A/zh
Application granted granted Critical
Publication of CN114027765B publication Critical patent/CN114027765B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/046—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for infrared imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655—Control therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0071—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)

Abstract

本发明提供了一种荧光内窥镜系统、控制方法和存储介质。荧光内窥镜系统的工作模式包括第一模式和第二模式，包括内窥镜、照明模块、内窥镜驱动模块和场景融合模块；内窥镜包括可见光图像传感器和近红外光图像传感器；在第二模式下，照明模块用于提供可见光和近红外光，可见光图像传感器获取可见光场景图像，并以第一视频流的形式输出，近红外光图像传感器获取近红外光场景图像，并以第二视频流的形式输出；场景融合模块用于当第一视频流和/或第二视频流的当前亮度在目标亮度范围内时，将第一视频流的当前帧图像和第二视频流的当前帧图像进行图像融合。本发明可以有效提高信噪比，获取更多的图像细节信息。

Description

荧光内窥镜系统、控制方法和存储介质
技术领域
本发明涉及医疗器械技术领域，特别涉及一种荧光内窥镜系统、控制方法和存储介质。
背景技术
随着医疗技术的不断发展，内窥镜作为集中传统光学、人体工程学、精密机械、现代电子、数学、软件等于一体的检测仪器，应用范围越来越广。内窥镜可以进入待检测者的体内(例如食道)，以获取待检测部位的图像，进而确定待检测部位是否存在病变。利用内窥镜可以看到X射线不能显示的病变，因此它对医生非常有用。例如，借助内窥镜医生可以观察胃内的溃疡或肿瘤，据此制定出最佳的治疗方案。
具体地，内窥镜系统一般具有能够插入到生物体内部的部件，通过将该部件经口腔或其他天然孔道、或者经手术做的小切口等伸入到生物体内部后，这部分部件在获取到生物体内部的图像信息，再传输出来并被显示于显示器。
通常地，内窥镜系统能够进行普通光(可见光)成像。顾名思议，普通光成像即是对普通光或者说白光照射下的生物体内部进行成像，例如内窥镜系统向生物体内部的目标组织依次应用三种颜色的光束R、G和B，并且通过获取从这些光束的反射光产生的图像形成普通光图像。医生等通过普通光图像可以进行诊断，但是普通光图像也有一定的局限性，例如一些诸如鳞状细胞癌等病变在视觉上很难被识别，即在普通光图像上很难被识别；又例如，在子宫内膜癌手术中，前哨淋巴结在普通光图像上也难以被识别。
因此内窥镜系统的特殊光(例如荧光)成像技术被发展起来，该技术能够提供给观察者普通光成像不能够辨别的信息，这给诊断和治疗提供了更丰富的参考依据。例如应用特殊光成像技术对子宫内膜癌相关目标组织进行成像时，在所得到的特殊光图像中前哨淋巴结与周围正常目标组织对比强烈(例如一者被处理显示为近似白色，另一者被处理显示为近似黑色)，因此可以被较容易地区分，但是也正是因为在特殊光图像中癌变目标组织与正常目标组织对比强烈(例如上述所述的一者被处理显示为基本为白色，另一者被处理显示为基本为黑色)，所以使得特殊光图像也缺乏目标组织本身的结构和形态方面的细节。因此一般都会通过荧光内窥镜系统获取普通光图像和特殊光图像，并将这两者并列或叠加显示。
当术中发生出血，因血红蛋白吸光特性，会使得腔体内亮度下降，这造成成像细节不清晰。传统方法通过提高内窥镜的曝光时间和增益，但是，此方法会引起拖影和加重成像噪声。
发明内容
本发明的目的在于提供一种荧光内窥镜系统、控制方法和存储介质，在实现通过荧光对特定组织成像以获得可见光无法获取的信息的同时，还可以解决当术中发生出血等导致可见光环境下成像细节不清晰时，传统的前后帧图像融合方法引起拖影和加重成像噪声的问题。
为达到上述目的，本发明提供一种荧光内窥镜系统，包括内窥镜、照明模块、内窥镜驱动模块和场景融合模块；
所述荧光内窥镜系统的工作模式包括第一模式和第二模式；
所述内窥镜包括可见光图像传感器和近红外光图像传感器；
在第一模式下，所述照明模块用于提供可见光，以照明目标组织，并用于提供激励光，以激励目标组织产生荧光，所述可见光图像传感器用于获取所述目标组织的可见光场景图像，并以第一视频流的形式输出，所述近红外光图像传感器用于获取所述目标组织的荧光场景图像，并以第二视频流的形式输出；
在第二模式下，所述照明模块用于提供可见光和近红外光，以照明目标组织，所述可见光图像传感器用于获取所述目标组织的可见光场景图像，并以第一视频流的形式输出，所述近红外光图像传感器用于获取所述目标组织的近红外光场景图像，并以第二视频流的形式输出；
所述内窥镜驱动模块包括第一驱动单元和第二驱动单元，所述第一驱动单元用于在第二模式下根据第一曝光时间和第一增益驱动所述可见光图像传感器获取所述可见光场景图像，所述第二驱动单元用于在第二模式下根据第二曝光时间和第二增益驱动所述近红外光图像传感器获取所述近红外光场景图像；
所述场景融合模块用于当所述第一视频流的当前亮度在预设的第一目标亮度范围内和/或所述第二视频流的当前亮度在预设的第二目标亮度范围内时，基于所述第一视频流的当前帧图像的亮度信息与所述第二视频流的当前帧图像的亮度信息，将所述第一视频流的当前帧图像与所述第二视频流的当前帧图像进行融合，得到亮度融合图像，并基于所述第一视频流的当前帧图像的色度信息，将所述亮度融合图像与所述第一视频流的当前帧图像进行融合，获得场景融合图像。
可选的，所述荧光内窥镜系统还包括内窥镜控制模块，所述内窥镜控制模块包括第一控制单元和/或第二控制单元，所述第一控制单元用于在第二模式下使所述第一视频流的当前亮度在预设的第一目标亮度范围内；所述第二控制单元用于在第二模式下使所述第二视频流的当前亮度在预设的第二目标亮度范围内。
可选的，所述第一控制单元包括：
第一亮度获取部，用于获取所述第一视频流的当前亮度；以及
第一曝光控制部，用于判断所述第一视频流的当前亮度是否在所述第一目标亮度范围内，如果所述第一视频流的当前亮度不在所述第一目标亮度范围内，则调整所述可见光图像传感器的第一曝光量，以使所述第一视频流的当前亮度在所述第一目标亮度范围内；
所述第二控制单元包括：
第二亮度获取部，用于获取所述第二视频流的当前亮度；以及
第二曝光控制部，用于判断所述第二视频流的当前亮度是否在所述第二目标亮度范围内，如果所述第二视频流的当前亮度不在所述第二目标亮度范围内，则调整所述近红外光图像传感器的第二曝光量，以使所述第二视频流的当前亮度在所述第二目标亮度范围内。
可选的，当所述第一视频流的当前亮度低于所述第一目标亮度范围的下限值时，所述第一曝光控制部通过增大所述可见光图像传感器的第一曝光量以调节所述第一视频流的当前亮度；
当所述第二视频流的当前亮度低于所述第二目标亮度范围的下限值时，所述第二曝光控制部通过增大所述近红外光图像传感器的第二曝光量以调节所述第二视频流的当前亮度。
可选的，所述第一曝光控制部被配置为判断最大第一曝光时间和最小第一增益是否能够满足所述第一目标亮度范围内曝光量需求；
如果满足需求，则以最小第一增益为基础，调整所述第一曝光时间以使所述第一视频流的当前亮度处于所述第一目标亮度范围内；
如果不满足需求，则判断最大第一曝光时间和最大第一增益是否能够满足所述第一目标亮度范围内曝光量需求；
如果满足，则以所述最大第一曝光时间为基础，调整所述第一增益，以使所述第一视频流的当前亮度处于所述第一目标亮度范围内；
所述第二曝光控制部被配置为判断最大第二曝光时间和最小第二增益是否能够满足所述第二目标亮度范围内曝光量需求；
如果满足需求，则以所述最小第二增益为基础，调整所述第二曝光时间以使所述第二视频流的当前亮度处于所述第二目标亮度范围内；
如果不满足需求，则判断最大第二曝光时间和最大第二增益是否能够满足所述第二目标亮度范围内曝光量需求；
如果满足，则以所述最大第二曝光时间为基础，调整所述第二增益，以使所述第二视频流的当前亮度处于所述第二目标亮度范围内。
可选的，当所述第一视频流的当前亮度高于所述第一目标亮度范围的上限值时，所述第一曝光控制部通过减小所述可见光图像传感器的第一曝光量以调节所述第一视频流的当前亮度；
当所述第二视频流的当前亮度高于所述第二目标亮度范围的上限值时，所述第二曝光控制部通过减小所述近红外光图像传感器的第二曝光量以调节所述第二视频流的当前亮度。
可选的，所述第一曝光控制部被配置为判断最大第一曝光时间和最小第一增益是否能够满足所述第一目标亮度范围内曝光量需求；
如果满足，则以所述最大第一曝光时间为基础，调整所述第一增益，以使所述第一视频流的当前亮度处于所述第一目标亮度范围内；
如果不满足，则判断最小第一曝光时间和最小第一增益是否满足所述第一目标亮度范围内曝光量需求；
如果满足，则以所述最小第一增益为基础，调整所述第一曝光时间，以使所述第一视频流的当前亮度处于所述第一目标亮度范围内；
所述第二曝光控制部被配置为判断最大第二曝光时间和最小第二增益是否能够满足所述第二目标亮度范围内曝光量需求；
如果满足，则以所述最大第二曝光时间为基础，调整所述第二增益，以使所述第二视频流的当前亮度处于所述第二目标亮度范围内；
如果不满足，则判断最小第二曝光时间和最小第二增益是否满足所述第二目标亮度范围内曝光量需求；
如果满足，则以所述最小第二增益为基础，调整所述第二曝光时间，以使所述第二视频流的当前亮度处于所述第二目标亮度范围内。
可选的，所述照明模块包括用于提供所述可见光的第一光源模组和用于提供近红外光的第三光源模组；所述第一控制单元还包括第一照明调节部，所述第一照明调节部用于当通过调整所述第一增益和所述第一曝光时间不能使所述第一视频流的当前亮度在所述第一目标亮度范围内时，控制所述照明模块调整所述第一光源模组的输出功率，以使所述第一视频流的当前亮度在所述第一目标亮度范围内；
所述第二控制单元还包括第二照明调节部，所述第二照明调节部用于当通过调整所述第二增益和所述第二曝光时间不能使所述第二视频流的当前亮度在所述第二目标亮度范围内时，控制所述照明模块调整所述第三光源模组的输出功率，以使所述第二视频流的当前亮度在所述第二目标亮度范围内。
可选的，若所述第一视频流为YUV编码或YCbCr编码，所述第一亮度获取部用于取所述第一视频流当前帧图像的每个或者部分像素点的Y值的均值或者加权值作为当前亮度；
若所述第一视频流为RAW编码或RGB编码，所述第一亮度获取部用于根据第一视频流当前帧图像的像素点的RGB值获取像素点的亮度，然后取第一视频流当前帧图像的每个或者部分像素点的亮度的均值或者加权值作为当前亮度。
可选的，所述内窥镜还包括分光棱镜组，所述分光棱镜组用于在第二模式下将照射至目标组织的可见光的反射光和近红外光的反射光进行分离，在第一模式下将照射至目标组织的可见光的反射光和受激励产生的荧光进行分离，以使得所述可见光的反射光能被所述可见光图像传感器的感光面所捕获，所述近红外光的反射光或所述荧光能被所述近红外光图像传感器的感光面所捕获。
可选的，所述分光棱镜组包括第一分光棱镜、第二分光棱镜、可见光带通滤光片和近红外带通滤光片，所述可见光带通滤光片用于允许可见光通过，并截止其他波长的光，所述近红外带通滤光片用于允许近红外光通过并截止其他波长的光，所述近红外带通滤光片设置在所述第一分光棱镜和第二分光棱镜之间，所述第一分光棱镜与第二分光棱镜相邻接的面设有半透半反膜，以使入射的光一部分被反射一部分被透射，所述可见光图像传感器的感光面邻近于所述第一分光棱镜的出射面，所述可见光带通滤光片设置在所述第一分光棱镜的出射面与所述可见光图像传感器的感光面之间，所述近红外光图像传感器的感光面邻近于所述第二分光棱镜的出射面。
可选的，所述场景融合模块包括：
图像融合单元，用于基于所述第一视频流的当前帧图像的亮度信息和所述第二视频流的当前帧图像的亮度信息，将所述第一视频流的当前帧图像的像素点和对应的所述第二视频流的当前帧图像的像素点进行图像融合，以获得亮度融合图像，并基于所述第一视频流的当前帧图像的色度信息，将所述亮度融合图像和所述第一视频流的当前帧图像进行图像融合，以获得场景融合图像。
可选的，所述图像融合单元用于根据预设的关于亮度值与权重的正态分布、所述第一视频流的当前帧图像的像素点的亮度以及对应的所述第二视频流的当前帧图像的像素点的亮度，分别获取所述第一视频流的当前帧图像中的像素点的亮度的权重以及对应的所述第二视频流的当前帧图像的像素点的亮度的权重；
根据获取的所述第一视频流的当前帧图像中的像素点的亮度的权重以及对应的所述第二视频流的当前帧图像中的像素点的亮度的权重，分别对所述第一视频流的当前帧图像的像素点的亮度与对应的所述第二视频流的当前帧图像的像素点的亮度进行加权，获得亮度融合图像的像素点的亮度。
可选的，所述场景融合模块还包括图像模式转换单元，所述图像模式转换单元用于当所述第一视频流的输出格式为RAW格式或者RGB格式时，将所述第一视频流的当前帧图像的像素点转换至YUV空间或者YCbCr空间内，取所述第一视频流的当前帧图像的像素点的Y值作为所述像素点的亮度，并取所述第一视频流的当前帧图像的像素点的U值、V值或者Cb值、Cr值作为所述第一视频流的当前帧图像的像素点的色度。
可选的，所述内窥镜为三维内窥镜；
所述可见光图像传感器包括第一可见光图像传感器和第二可见光图像传感器；
所述近红外光图像传感器包括第一近红外光图像传感器和第二近红外光图像传感器；
所述第一视频流包括第一可见光视频流和第二可见光视频流；
所述第二视频流包括第一近红外光视频流和第二近红外光视频流；
在第二模式下，所述第一可见光图像传感器用于获取所述目标组织的第一可见光场景图像，并以第一可见光视频流的形式输出，所述第二可见光图像传感器用于获取所述目标组织的第二可见光场景图像，并以第二可见光视频流的形式输出，所述第一近红外光图像传感器用于获取所述目标组织的第一近红外光场景图像，并以第一近红外光视频流的形式输出，所述第二近红外光图像传感器用于获取所述目标组织的第二近红外光场景图像，并以第二近红外光视频流的形式输出；
所述场景融合模块用于基于所述第一可见光视频流的当前帧图像的亮度信息与所述第一近红外光视频流的当前帧图像的亮度信息，将所述第一可见光视频流的当前帧图像与所述第一近红外光视频流的当前帧图像进行融合，得到第一亮度融合图像，并基于所述第一可见光视频流的当前帧图像的色度信息，将所述第一亮度融合图像与所述第一可见光视频流的当前帧图像进行融合，获得第一场景融合图像，以及基于所述第二可见光视频流的当前帧图像的亮度信息与所述第二近红外光视频流的当前帧图像的亮度信息，将所述第二可见光视频流的当前帧图像与所述第二近红外光视频流的当前帧图像进行融合，得到第二亮度融合图像，并基于所述第二可见光视频流的当前帧图像的色度信息，将所述第二亮度融合图像与所述第二可见光视频流的当前帧图像进行融合，获得第二场景融合图像。
可选的，所述荧光内窥镜系统还包括中央控制器，所述中央控制器接受第一模式指令后，控制所述第一控制单元、所述第二控制单元根据预设于所述内窥镜控制模块的所述第一目标亮度范围、所述第二目标亮度范围调整所述第一视频流、所述第二视频流的当前亮度，或者，所述中央控制器接受第一模式指令后，将所述第一目标亮度范围、所述第二目标亮度范围分别发送至所述第一控制单元、所述第二控制单元，以使所述第一控制单元、所述第二控制单元根据预设于所述内窥镜控制模块的所述第一目标亮度范围、所述第二目标亮度范围调整所述第一视频流、所述第二视频流的当前亮度。
可选的，所述荧光内窥镜系统还包括中央控制器，所述中央控制器包括视频叠加单元，所述视频叠加单元用于将所述场景融合模块输出的场景融合图像进行叠加并将生成的三维图像传递至显示器予以显示。
可选的，所述第一驱动单元还用于在第一模式下根据第三曝光时间和第三增益驱动所述可见光图像传感器获取所述可见光场景图像；所述第二驱动单元还用于在第一模式下根据第四曝光时间和第四增益驱动所述近红外光图像传感器获取所述荧光场景图像。
可选的，所述第一控制单元还用于在第一模式下使所述第一视频流的当前亮度在预设的第三目标亮度范围内；和/或，所述第二控制单元还用于在第一模式下使所述第二视频流的当前亮度在预设的第四目标亮度范围内。
为达到上述目的，本发明还提供一种荧光内窥镜系统的控制方法，所述荧光内窥镜系统包括第一模式和第二模式，所述控制方法包括：
在第二模式下，提供可见光和近红外光，以照明目标组织；
获取目标组织的可见光场景图像和近红外光场景图像，并分别以第一视频流和第二视频流的形式输出；
判断所述第一视频流的当前亮度是否在预设的第一目标亮度范围内和/或所述第二视频流的当前亮度是否在预设的第二目标亮度范围内；
若所述第一视频流的当前亮度在预设的第一目标亮度范围内和/或所述第二视频流的当前亮度在预设的第二目标亮度范围内，则
基于所述第一视频流的当前帧图像的亮度信息与所述第二视频流的当前帧图像的亮度信息，将所述第一视频流的当前帧图像与所述第二视频流的当前帧图像进行融合，获得亮度融合图像；以及
基于所述第一视频流的当前帧图像的色度信息，将所述第一视频流的当前帧图像与所述亮度融合图像进行图像融合，获得场景融合图像。
可选的，如果所述第一视频流的当前亮度不在所述第一目标亮度范围内，则调整第一曝光量以使所述第一视频流的当前亮度在所述第一目标亮度范围内，其中所述第一曝光量为第一曝光时间和第一增益的乘积；
如果所述第二视频流的当前亮度不在所述第二目标亮度范围内，则调整第二曝光量，以使所述第二视频流的当前亮度在所述第二目标亮度范围内，其中所述第二曝光量为第二曝光时间和第二增益的乘积。
可选的，当所述第一视频流的当前亮度低于所述第一目标亮度范围的下限值时，增大所述第一曝光量以调节所述第一视频流的当前亮度；
当所述第二视频流的当前亮度低于所述第二目标亮度范围的下限值时，增大所述第二曝光量以调节所述第二视频流的当前亮度。
可选的，所述增大所述第一曝光量以调节所述第一视频流的当前亮度，包括：
判断最大第一曝光时间和最小第一增益是否能够满足所述第一目标亮度范围内曝光量需求；
如果满足需求，则以最小第一增益为基础，调整所述第一曝光时间以使所述第一视频流的当前亮度处于所述第一目标亮度范围内；
如果不满足需求，则判断最大第一曝光时间和最大第一增益是否能够满足所述第一目标亮度范围内曝光量需求；
如果满足，则以所述最大第一曝光时间为基础，调整所述第一增益，以使所述第一视频流的当前亮度处于所述第一目标亮度范围内；
所述增大所述第二曝光量以调节所述第二视频流的当前亮度，包括：
判断最大第二曝光时间和最小第二增益是否能够满足第二目标亮度范围内曝光量需求；
如果满足需求，则以所述最小第二增益为基础，调整所述第二曝光时间以使所述第二视频流的当前亮度处于所述第二目标亮度范围内；
如果不满足需求，则判断最大第二曝光时间和最大第二增益是否能够满足所述第二目标亮度范围内曝光量需求；
如果满足，则以所述最大第二曝光时间为基础，调整所述第二增益，以使所述第二视频流的当前亮度处于所述第二目标亮度范围内。
可选的，当所述第一视频流的当前亮度高于所述第一目标亮度范围的上限值时，减小所述第一曝光量以调节所述第一视频流的当前亮度；
当所述第二视频流的当前亮度高于所述第二目标亮度范围的上限值时，减小所述第二曝光量以调节所述第二视频流的当前亮度。
可选的，所述减小所述第一曝光量以调节所述第一视频流的当前亮度，包括：
判断最大第一曝光时间和最小第一增益是否能够满足所述第一目标亮度范围内曝光量需求；
如果满足，则以所述最大第一曝光时间为基础，调整所述第一增益，以使所述第一视频流的当前亮度处于所述第一目标亮度范围内；
如果不满足，则判断最小第一曝光时间和最小第一增益是否满足所述第一目标亮度范围内曝光量需求；
如果满足，则以所述最小第一增益为基础，调整所述第一曝光时间，以使所述第一视频流的当前亮度处于所述第一目标亮度范围内；
所述减小所述第二曝光量以调节所述第二视频流的当前亮度，包括：
判断最大第二曝光时间和最小第二增益是否能够满足所述第二目标亮度范围内曝光量需求；
如果满足，则以所述最大第二曝光时间为基础，调整所述第二增益，以使所述第二视频流的当前亮度处于所述第二目标亮度范围内；
如果不满足，则判断最小第二曝光时间和最小第二增益是否满足所述第二目标亮度范围内曝光量需求；
如果满足，则以所述最小第二增益为基础，调整所述第二曝光时间，以使所述第二视频流的当前亮度处于所述第二目标亮度范围内。
可选的，如果通过调整所述第一增益和第一曝光时间，不能使所述第一视频流的当前亮度在所述第一目标亮度范围内时，则调整用于提供所述可见光的第一光源模组的输出功率，以使所述第一视频流的当前亮度在所述第一目标亮度范围内；
如果通过调整所述第二增益和所述第二曝光时间，不能使所述第二视频流的当前亮度在所述第二目标亮度范围内时，则调整用于提供所述近红外光的第三光源模组的输出功率，以使所述第二视频流的当前亮度在所述第二目标亮度范围内。
可选的，所述基于所述第一视频流的当前帧图像的亮度信息与所述第二视频流的当前帧图像的亮度信息，将所述第一视频流的当前帧图像与所述第二视频流的当前帧图像进行融合，获得亮度融合图像，包括：
基于所述第一视频流的当前帧图像的亮度信息与所述第二视频流的当前帧图像的亮度信息，对所述第一视频流的当前帧图像的像素点和对应的所述第二视频流的当前帧图像的像素点进行图像融合，获得亮度融合图像。
可选的，所述基于所述第一视频流的当前帧图像的色度信息，将所述第一视频流的当前帧图像与所述亮度融合图像进行图像融合，获得场景融合图像，包括：
将所述第一视频流的当前帧图像的像素点的色度信息，赋予给所述亮度融合图像对应的像素点作为对应像素点的色度。
可选的，若所述第一视频流的输出格式为RAW格式或者RGB格式，则在将所述第一视频流的当前帧图像与所述第二视频流的当前帧图像进行融合之前，所述控制方法还包括：
将所述第一视频流的当前帧图像转换至YUV空间或者YCbCr空间内。
可选的，所述基于所述第一视频流的当前帧图像的亮度信息与所述第二视频流的当前帧图像的亮度信息，对所述第一视频流的当前帧图像的像素点和对应的所述第二视频流的当前帧图像的像素点进行图像融合，包括：
根据预设的关于亮度值与权重的正态分布、所述第一视频流的当前帧图像的像素点的亮度以及对应的所述第二视频流的当前帧图像的像素点的亮度，分别获取所述第一视频流的当前帧图像中的像素点的亮度的权重以及对应的所述第二视频流的当前帧图像中的像素点的亮度的权重；
根据获取的所述第一视频流的当前帧图像中的像素点的亮度的权重以及对应的所述第二视频流的当前帧图像中的像素点的亮度的权重，分别对所述第一视频流的当前帧图像的像素点的亮度与对应的所述第二视频流的当前帧图像的像素点的亮度进行加权，获得亮度融合图像的像素点的亮度。
可选的，所述内窥镜为三维内窥镜；
所述获取目标组织的可见光场景图像和近红外光场景图像，并分别以第一视频流和第二视频流的形式输出，包括：
获取目标组织的第一可见光场景图像、第二可见光场景图像、第一近红外光场景图像和第二近红外光场景图像，并分别以第一可见光视频流、第二可见光视频流、第一近红外光视频流和第二近红外光视频流的形式输出；
所述判断所述第一视频流的当前亮度是否在预设的第一目标亮度范围内，包括：
判断所述第一可见光视频流和/或所述第二可见光视频流的当前亮度是否在预设的第一目标亮度范围内；
所述判断所述第二视频流的当前亮度是否在预设的第二目标亮度范围内，包括：
判断所述第一近红外光视频流和/或所述第二近红外光视频流的当前亮度是否在预设的第二目标亮度范围内；
所述基于所述第一视频流的当前帧图像的亮度信息与所述第二视频流的当前帧图像的亮度信息，将所述第一视频流的当前帧图像与所述第二视频流的当前帧图像进行融合，获得亮度融合图像，包括：
基于所述第一可见光视频流的当前帧图像的亮度信息与所述第一近红外光视频流的当前帧图像的亮度信息，将所述第一可见光视频流的当前帧图像与所述第一近红外光视频流的当前帧图像进行融合，获得第一亮度融合图像，基于所述第二可见光视频流的当前帧图像的亮度信息与所述第二近红外光视频流的当前帧图像的亮度信息，将所述第二可见光视频流的当前帧图像与所述第二近红外光视频流的当前帧图像进行融合，获得第二亮度融合图像；
所述基于所述第一视频流的当前帧图像的色度信息，将所述第一视频流的当前帧图像与所述亮度融合图像进行图像融合，获得场景融合图像，包括：
基于所述第一可见光视频流的当前帧图像的色度信息，将所述第一可见光视频流的当前帧图像与所述第一亮度融合图像进行图像融合，获得第一场景融合图像，基于所述第二可见光视频流的当前帧图像的色度信息，将所述第二可见光视频流的当前帧图像与所述第二亮度融合图像进行图像融合，获得第二场景融合图像。
为达到上述目的，本发明还提供一种存储介质，所述存储介质内存储有计算机程序，所述计算机程序在被处理器执行时实现如上文所述的控制方法。
与现有技术相比，本发明提供的荧光内窥镜系统、控制方法和存储介质具有以下优点：当处于第一模式时，所述照明模块可以提供可见光和激励光，激励光照射于目标组织以激励产生荧光，以帮助操作者观察可见光条件下无法观察到的组织信息；当处于第二模式时，所述照明模块可以提供可见光和近红外光，以照明目标组织，所述场景融合模块用于当所述第一视频流和/或第二视频流的当前亮度在目标亮度范围内时，将通过可见光捕获的当前帧图像和通过近红外光捕获的当前帧图像进行图像融合，得到的场景融合图像亮度合适，细节丰富。由此，一方面，本发明的荧光内窥镜系统可以有效降低由摄像机的运动而导致的图像模糊，避免因图像模糊而造成用户对病灶信息的误判断，提高手术的精准性和安全性，同时可以有效提高信噪比，获取更多的图像细节信息；另一方面，本发明的荧光内窥镜系统基于现有的硬件，做稍微的改进就可以实现多种功能，满足医生不同的手术需求，提高手术操作的便利性。
附图说明
图1为本发明一实施方式中的荧光内窥镜系统的结构示意图；
图2为本发明一实施方式中的模式转换时荧光内窥镜系统的控制示意图；
图3为本发明一实施方式中的分光棱镜组的分光原理示意图；
图4为本发明一实施方式中的可见光带通滤光片的光谱图；
图5为本发明一实施方式中的近红外光带通滤光片的光谱图；
图6为本发明一实施方式中的在第二模式下，通过调节第一曝光量使第一视频流的当前亮度B1位于第一目标亮度范围(B1min，B1max)的工作流程示意图；
图7为本发明一实施方式中的亮度与权重的正态分布示意图；
图8为本发明一实施方式中的在第二模式下的图像融合示意图；
图9为本发明一实施方式中的在第二模式下的荧光内窥镜系统的控制方法的流程示意图。
其中，附图标记如下：
内窥镜-100；照明模块-200；内窥镜驱动模块-300；内窥镜控制模块-400；场景融合模块-500；目标组织-600；可见光图像传感器-111；第一可见光图像传感器-111A；第二可见光图像传感器-111B；近红外光图像传感器-121；第一近红外光图像传感器-121A；第二近红外光图像传感器-121B；第一控制单元-410；第一可见光控制单元-411；第二可见光控制单元-412；第二控制单元-420；第一近红外光控制单元-421；第二近红外光控制单元-422；第一驱动单元-310；第一可见光驱动单元-311；第二可见光驱动单元-312；第二驱动单元-320；第一近红外光驱动单元-321；第二近红外光驱动单元-322；第一亮度获取部-411；第一曝光控制部-412；第二亮度获取部-421；第二曝光控制部-422；第一照明调节部-413；第二照明调节部-423；分光棱镜组-130；可见光带通滤光片-131；近红外带通滤光片-132；第一分光棱镜-133；第二分光棱镜-134；第一图像融合单元-510；第二图像融合单元-520；图像模式转换单元-530；光源单元-210；照明控制器-220；第一光源模组-211；第二光源模组-212；第三光源模组-213；模式切换单元-221；功率控制单元-222；视频流水线-700；中央控制器-800；视频叠加单元-810；用户输入装置-820；用户界面-830；显示器-900。
具体实施方式
以下结合附图1至9和具体实施方式对本发明提出的荧光内窥镜系统、控制方法和存储介质作进一步详细说明。根据下面说明，本发明的优点和特征将更清楚。需要说明的是，附图采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施方式的目的。为了使本发明的目的、特征和优点能够更加明显易懂，请参阅附图。须知，本说明书所附图式所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容能涵盖的范围内。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本发明的核心思想在于提供一种荧光内窥镜系统、控制方法和存储介质，在实现通过荧光对特定组织成像以获得可见光无法获取的信息的同时，还可以解决当术中发生出血等导致可见光环境下成像细节不清晰时，传统的前后帧图像融合方法引起拖影和加重成像噪声的问题。
为实现上述思想，本发明提供一种荧光内窥镜系统，请参考图1，其示意性地给出了本发明一实施方式提供的荧光内窥镜系统的结构示意图，如图1所示，所述荧光内窥镜系统包括内窥镜100、照明模块200、内窥镜驱动模块300和场景融合模块500。所述荧光内窥镜系统的工作模式包括第一模式(即荧光模式)和第二模式(即出血模式)。
其中，所述照明模块200用于提供可见光、激励光和近红外光。所述可见光、近红外光用以照明目标组织600，并形成反射光；所述激励光用于激励目标组织产生荧光。本发明对照明模块200的具体位置没有特别的限制。例如，所述照明模块200提供的输出光可以通过容纳于内窥镜100的照明通道中的连接器输送至内窥镜100的末端并到达目标组织600，所述连接器例如为光纤。
当所述荧光内窥镜系统处于荧光模式时，所述照明模块200向所述目标组织600发射可见光和激励光，以使所述目标组织600将可见光反射以及使所述目标组织600受所述激励光激发发射出荧光。当所述荧光内窥镜系统处于出血模式时，所述照明模块200向所述目标组织600发射可见光和近红外光。同样，所述目标组织600将反射可见光和近红外光。在本实施例中，所述激励光的光谱分布在803nm-812nm，受激辐射后产生的荧光光谱分布在830nm-840nm；近红外光的光谱分布在935nm-945nm。请参考图1和图2，其中图2示意性地给出了本发明一实施方式提供的模式转换时荧光内窥镜系统的控制示意图。如图1和图2所示，所述照明模块200包括光源单元210和照明控制器220。所述光源单元210包括用于提供可见光的第一光源模组211、用于提供激励光的第二光源模组212、用于提供近红外光的第三光源模组213。所述照明控制器220包括用于进行荧光模式和出血模式切换的模式切换单元221和用于控制所述光源单元210的输出功率的功率控制单元222。所述模式切换单元221与下述的中央控制器800相连，由此操作者可以通过所述中央控制器800控制所述模式切换单元221以进行荧光模式和出血模式的切换。当所述荧光内窥镜系统处于荧光模式时，在所述照明控制器220的控制下，所述第一光源模组211和所述第二光源模组212开启；当所述荧光内窥镜处于出血模式时，在所述照明控制器220的控制下，所述第一光源模组211和所述第三光源模组213开启。
如图1所示，所述内窥镜100包括可见光图像传感器111和近红外光图像传感器121，所述可见光图像传感器111用于捕获所述可见光的反射光，获得关于所述目标组织600的可见光场景图像，并以第一视频流的形式输出。由于本实施例中目标组织受激后产生的荧光，以及所述照明模块200产生的近红外光均在近红外光光谱范围内。因此，在本实施例中，目标组织受激产生的荧光、目标组织反射的近红外光均由所述近红外光图像传感器121捕获。即，当所述荧光内窥镜系统处于荧光模式时，所述近红外光图像传感器121用于捕获承载目标组织600场景信息的荧光，将目标组织600场景信息经过光电转换后以获取关于所述目标组织600的荧光场景图像，并以第二视频流的形式输出；当所述荧光内窥镜系统处于出血模式时，所述近红外光图像传感器121用于捕获承载目标组织600场景信息的近红外光的反射光，将目标组织600场景信息经过光电转换后以获取关于所述目标组织600的近红外光场景图像，并以第二视频流的形式输出。
所述可见光图像传感器111和所述近红外光图像传感器121可以为互补金属氧化物半导体(CMOS，Complementary Metal Oxide Semiconductor)或电荷耦合器件(CCD，Charge Coupled Device)。
进一步，所述内窥镜100还包括分光棱镜组130，所述分光棱镜组130用于在出血模式下将照射至目标组织600的可见光的反射光和近红外光的反射光进行分离，在荧光模式下将照射至目标组织600的可见光的反射光和受激励产生的荧光进行分离，以使得所述可见光的反射光能被所述可见光图像传感器111的感光面所捕获，所述近红外光的反射光或荧光能被所述近红外光图像传感器121的感光面所捕获。
优选的，请参考图3至图5，其中图3示意性地给出了本发明一实施方式提供的分光棱镜组的分光原理示意图；图4示意性地给出了本发明一实施方式提供的可见光带通滤光片的光谱图；图5示意性地给出了本发明一实施方式提供的近红外光带通滤光片的光谱图。如图3所示，所述分光棱镜组130包括第一分光棱镜133、第二分光棱镜134、可见光带通滤光片131和近红外带通滤光片132。所述可见光带通滤光片131用于允许可见光通过，并截止其他波长的光。所述近红外带通滤光片132用于允许近红外光通过并截止其他波长的光。所述近红外带通滤光片132设置在所述第一分光棱镜133和第二分光棱镜134之间。所述第一分光棱镜133与第二分光棱镜134相邻接的面设有半透半反膜，以使入射的光一部分被反射一部分被透射。所述可见光图像传感器111的感光面邻近于所述第一分光棱镜133的出射面，所述可见光带通滤光片131设置在所述第一分光棱镜133的出射面与所述可见光图像传感器111的感光面之间。同样，所述近红外光图像传感器121的感光面邻近于所述第二分光棱镜134的出射面。这里“第一分光棱镜133的出射面”是指被反射的光离开所述第一分光棱镜133时所经过的第一分光棱镜134的面；“第二分光棱镜134的出射面”是指透射的光离开所述第二分光棱镜134时所经过的第二分光棱镜134的面。如图3所示，所述可见光图像传感器111的感光面、所述近红外光图像传感器121的感光面与所述光轴平行，如此布置可以降低内窥镜的尺寸对图像传感器的尺寸的限制，有助于提高成像质量。当混合光(在荧光模式下为目标组织600对可见光的反射光和目标组织600受激产生的荧光；在出血模式下为目标组织600对可见光、近红外光的反射光)沿光轴进入第一分光棱镜133后，一部分被反射，一部分透射离开第一分光棱镜133。被反射的混合光经过反射(例如图3所示一次反射)后，从所述第一分光棱镜133的出射面离开第一分光棱镜133，然后经过所述可见光带通滤光片131使得混合光中光谱在380nm-780nm的光(即可见光)通过，并被所述可见光图像传感器111捕获；而透射的混合光经过所述近红外带通滤光片132使得混合光中光谱在830nm-840nm以及935-945nm的光通过，并沿光轴进入第二分光棱镜134，然后经过反射(例如图3所示一次反射)后，从所述第二分光棱镜134的出射面离开第二分光棱镜134，并被所述近红外光图像传感器121捕获。如图4和图5所示，在本实施例中所述可见光带通滤光片131可以使得光谱在380nm-780nm的光通过，由此可以保证照明模块200产生的可见光的反射光进入所述可见光图像传感器111；所述近红外带通滤光片132可以使得光谱在830nm-840nm以及935-945nm的光通过，由此可以保证照明模块200产生的近红外光的反射光、荧光进入所述近红外光图像传感器121。在一个替代性实施例中，所述内窥镜为三维内窥镜，即所述荧光内窥镜系统为三维内窥镜系统。此时，所述可见光场景图像包括第一可见光场景图像和第二可见光场景图像；所述近红外场景图像包括第一近红外场景图像和第二近红外场景图像。所述分光棱镜组130为两个。相应的，所述可见光图像传感器为两个，即第一可见光图像传感器111A，第二可见光图像传感器111B。所述第一可见光图像传感器111A用于获取目标组织的第一可见光场景图像，并以第一可见光视频流的形式输出；所述第二可见光图像传感器111B用于获取目标组织的第二可见光场景图像，并以第二可见光视频流的形式输出。所述近红外光图像传感器也是两个，即第一近红外光图像传感器121A，第二近红外光图像传感器121B。在荧光模式下，所述第一近红外光图像传感器121A用于获取目标组织的第一荧光场景图像，并以第一荧光视频流的形式输出；所述第二近红外光图像传感器121B用于获取目标组织的第二荧光场景图像，并以第二荧光视频流的形式输出。在出血模式下，所述第一近红外光图像传感器121A用于获取目标组织的第一近红外光场景图像，并以第一近红外光视频流的形式输出；所述第二近红外光图像传感器121B用于获取目标组织的第二近红外光场景图像，并以第二近红外光视频流的形式输出。需强调的是，在本实施例中以“第一”和“第二”命名的部件，不代表部件之间的先后顺序关系。例如，第一可见光场景图像，可能是内窥镜左侧的可见光场景图像，可能是内窥镜右侧的可见光场景图像。
所述内窥镜驱动模块300包括第一驱动单元310和第二驱动单元320。在出血模式下，所述第一驱动单元310用于根据第一曝光时间T1和第一增益G1驱动所述可见光图像传感器111获取所述可见光场景图像；所述第二驱动单元320用于根据第二曝光时间T2和第二增益G2驱动所述近红外光图像传感器121获取所述近红外光场景图像。优选的，在荧光模式下，所述第一驱动单元310用于根据第三曝光时间T3和第三增益G3驱动所述可见光图像传感器111获取所述可见光场景图像；所述第二驱动单元320用于根据第四曝光时间T4和第四增益驱动G4所述近红外光图像传感器121获取所述荧光场景图像。
优选的，所述荧光内窥镜系统还包括内窥镜控制模块400，所述内窥镜驱动模块300与所述内窥镜控制模块400通信连接。所述内窥镜控制模块400包括第一控制单元410和/或第二控制单元420。所述第一控制单元410用于在出血模式下使所述第一视频流的当前亮度B1在预设的第一目标亮度范围(B1min，B1max)内；所述第二控制单元420用于在出血模式下使所述第二视频流的当前亮度B2在预设的第二目标亮度范围(B2min，B2max)内。当所述荧光内窥镜系统处于出血模式时，所述荧光内窥镜系统需要控制第一视频流的亮度和/或第二视频流的亮度在期望的亮度范围内，以便于后续的图像融合等处理。因此，在出血模式下，所述第一控制单元410和/或所述第二控制单元420判断所述第一视频流的当前亮度B1是否在所述第一目标亮度范围(B1min，B1max)内和/或所述第二视频流的当前亮度B2是否在所述第二目标亮度范围(B2min，B2max)内，如果不在，则通过调整图像传感器的曝光量(即曝光时间T和增益G的乘积)来调整当前亮度。在本实施例中，所述荧光内窥镜为定光圈内镜，因此曝光量可视为曝光时间T和增益G的乘积。在其他实施例中，所述荧光内窥镜为有光圈内镜，则曝光量还可以视为光圈、曝光时间T和增益G的乘积。即此时通过所述第一控制单元410调整所述可见光图像传感器111的第一曝光量(此处为第一曝光时间T1和第一增益G1的乘积)，以使得所述第一视频流的当前亮度B1在预设的第一目标亮度范围(B1min，B1max)内；和/或通过所述第二控制单元420调整所述近红外光图像传感器121的第二曝光量(此处为第二曝光时间T2和第二增益G2的乘积)，以使得所述第二视频流的当前亮度B2在预设的第二目标亮度范围(B2min，B2max)内。本实施例中，“当前亮度”，是指所述视频流中当前帧的图像的亮度。相应地，第一视频流的当前亮度B1，即为第一视频流中当前帧图像的亮度；第二视频流的当前亮度B2，即为第二视频流中当前帧图像的亮度。当所述荧光内窥镜系统处于出血模式时，所述第一驱动单元310接收所述第一控制单元410输出的第一曝光时间T1、第一增益G1等参数以使可见光图像传感器111获取满足亮度要求的可见光场景图像；所述第二驱动单元320接收所述第二控制单元420输出的第二曝光时间T2、第二增益G2等参数以使近红外光图像传感器121获取满足亮度要求的近红外光场景图像。优选的，所述第一控制单元410还用于在荧光模式下使所述第一视频流的当前亮度B1在预设的第三目标亮度范围(B3min，B3max)内；和/或，所述第二控制单元420用于在荧光模式下使所述第二视频流的当前亮度B2在预设的第四目标亮度范围(B4min，B4max)内。
在一个实施例中，所述荧光内窥镜系统只在出血模式下调整所述视频流的当前亮度。此时，所述第一目标亮度范围(B1min，B1max)、第二目标亮度范围(B2min，B2max)可以分别设置在第一控制单元410、第二控制单元420。当内窥镜控制模块400接收到中央控制器800(下面详细描述)开启出血模式的指令后，第一控制单元410、第二控制单元420根据第一目标亮度范围(B1min，B1max)、第二目标亮度范围(B2min，B2max)调整第一视频流、第二视频流的当前亮度。在另外一个实施例中，所述荧光内窥镜系统在出血模式、荧光模式下调整所述视频流的当前亮度。此时，所述第一控制单元410、第二控制单元420一直开启。所述第一目标亮度范围(B1min，B1max)、所述第三目标亮度范围(B3min，B3max)可以设置在所述第一控制单元410，所述第二目标亮度范围(B2min，B2max)、所述第四目标亮度范围(B4min，B4max)可以设置在所述第二控制单元420。当中央控制器800接收到出血模式的指令后，控制所述第一控制单元410、所述第二控制单元420根据所述第一目标亮度范围(B1min，B1max)、所述第二目标亮度范围(B2min，B2max)调整所述第一视频流、所述第二视频流的当前亮度；当中央控制器800接收到荧光模式的指令后，控制所述第一控制单元410、所述第二控制单元420根据所述第三目标亮度范围(B3min，B3max)、所述第四目标亮度范围(B4min，B4max)调整所述第一视频流、所述第二视频流的当前亮度。替代性的，所述第一目标亮度范围(B1min，B1max)、所述第二目标亮度范围(B2min，B2max)、所述第三目标亮度范围(B3min，B3max)和所述第四目标亮度范围(B4min，B4max)也可以由中央控制器800在改变内窥镜系统模式时传输给所述内窥镜控制模块400。
优选的，所述第一控制单元410包括第一亮度获取部411和第一曝光控制部412。所述第一亮度获取部411与所述可见光图像传感器111相连，所述第一曝光控制部412连接所述第一亮度获取部411、所述第一驱动单元310。所述第一亮度获取部411用于接收所述可见光图像传感器111输出的第一视频流，实时获取所述第一视频流中当前帧的图像的亮度，即所述第一视频流的当前亮度B1，并将所述当前亮度B1输送至所述第一曝光控制部412。所述第一曝光控制部412用于判断接收的第一视频流当前亮度B1是否在预设的第一目标亮度范围(B1min，B1max)，如果第一视频流当前亮度B1不在预设的第一目标亮度范围(B1min，B1max)内则调整所述可见光图像传感器111的第一曝光量，并输出至所述第一驱动单元310，以使所述第一视频流的当前亮度B1在预设的第一目标亮度范围(B1min，B1max)内。本领域人员应理解，第一视频流的当前帧为动态变化的，即第一视频流的当前帧图像随着时间而改变，“使第一视频流当前亮度B1在预设的第一目标亮度范围内”应理解为基于当前帧图像得到的第一曝光时间T1，第一增益G1调整所述可见光图像传感器111新获取的可见光场景图像，使后续的帧(即新获取的可见光场景图像)成为当前帧时，当前帧图像的亮度B1在预设的第一目标亮度范围(B1min，B1max)内。
类似的，所述第二控制单元420包括第二亮度获取部421和第二曝光控制部422。所述第二亮度获取部421与所述近红外光图像传感器121相连，所述第二曝光控制部422连接所述第二亮度获取部421、所述第二驱动单元320。所述第二亮度获取部421用于接收所述近红外光图像传感器121输出的第二视频流，实时获取所述第二视频流中当前帧的图像的亮度，即所述第二视频流的当前亮度B2，并将所述当前亮度B2输送至所述第二曝光控制部422。所述第二曝光控制部422用于判断接收的所述第二视频流的当前亮度B2是否在预设的第二目标亮度范围(B2min，B2max)内，当接收的所述第二视频流的当前亮度B2不在预设的第二目标亮度范围(B2min，B2max)内时，调整所述近红外光图像传感器121的第二曝光量，并输出至所述第二驱动单元320，以使所述第二视频流的当前亮度B2在预设的第二目标亮度范围(B2min，B2max)内。同样，本领域人员应理解，第二视频流的当前帧为动态变化的，即第二视频流的当前帧图像随着时间而改变，“使第二视频流当前亮度B2在预设的第二目标亮度范围内”应理解为基于当前帧图像得到的第二曝光时间T2，第二增益G2调整所述近红外光图像传感器121新获取的近红外光场景图像，使后续的帧(新获取的近红外光场景图像)成为当前帧时，近红外光场景图像的亮度B2在预设的第二目标亮度范围(B2min，B2max)内。
本发明对获得第一视频流的当前亮度B1具体方法没有特别的限制。例如，如果所述第一视频流为YUV编码或YCbCr编码，所述第一亮度获取部411可以取所述第一视频流当前帧图像的每个或者部分像素点的Y值的均值或者加权值作为当前亮度B1。又例如，当所述可见光图像传感器111输出的第一视频流为RAW编码或RGB编码，所述第一亮度获取部411先根据第一视频流当前帧图像的像素点的RGB值获取像素点的亮度，然后取第一视频流当前帧图像的每个或者部分像素点的亮度的均值或者加权值作为当前亮度B1。根据像素点的RGB值获取像素点的亮度Y可以是只取人眼比较敏感的G值作为亮度，也可以对R值，G值以及B值做加权获得，例如Y＝0.2126*R+0.7152*G+0.0722*B，或者Y＝0.299*R+0.587*G+0.114*B。第二视频流的当前亮度B2的获取方法可以参照上述的第一视频流的当前亮度B1的获取方法，或者根据近红外图像特点采用其他方式获取当前亮度B2，在此不再进行详细赘述。
优选的，所述第一控制单元410还包括第一照明调节部413，所述第一照明调节部413与所述第一曝光控制部412通信连接，用于当所述第一曝光控制部412输出的所述第一增益G1和所述第一曝光时间T1，不能使所述第一视频流的当前亮度B1在所述第一目标亮度范围(B1min，B1max)内时，控制所述照明模块200调整所述第一光源模组211的输出功率(即可见光的光通量)，以使所述第一视频流的当前亮度B1在所述第一目标亮度范围(B1min，B1max)内；所述第二控制单元420还包括第二照明调节部423，所述第二照明调节部423与所述第二曝光控制部422通信连接，用于当所述第二曝光控制部422输出的所述第二增益G2和所述第二曝光时间T2，不能使所述第二视频流的当前亮度B2在所述第二目标亮度范围(B2min，B2max)内时，控制所述照明模块200调整所述第三光源模组213的输出功率(即近红外光的光通量)，以使所述第二视频流的当前亮度B2在所述第二目标亮度范围(B2min，B2max)内。
具体而言，所述第一曝光控制部412从所述第一亮度获取部411接收所述第一视频流的当前亮度B1。进一步，所述第一曝光控制部412判断获取的当前亮度B1是否在预设的第一目标亮度范围(B1min,B1max)内：如果当前亮度B1在预设的第一目标亮度范围(B1min,B1max)内，则将第一曝光时间T1和第一增益G1输出至第一驱动单元310，或者所述第一曝光控制部412与第一驱动单元310之间不发生数据通信，保持现状；如果当前亮度B1在预设的第一目标亮度范围(B1min,B1max)外，则调整所述可见光图像传感器111的第一曝光量以使当前亮度B1在预设的第一目标亮度范围(B1min,B1max)内。如果通过调整第一曝光时间T1和第一增益G1，无法实现当前亮度B1在预设的目标亮度范围(B1min,B1max)内，则第一曝光控制部412将信息反馈至与照明模块200连接的第一照明调节部413，以通过对第一光源模组211的输出功率即可见光的光通量进行调节，进而调整第一视频流的当前亮度B1，以使第一视频流的当前亮度B1在所述第一目标亮度范围(B1min，B1max)内。
同理，所述第二曝光控制部422从所述第二亮度获取部421接收第二视频流的当前亮度B2。进一步，所述第二曝光控制部422判断获取的当前亮度B2是否在预设的第二目标亮度范围(B2min,B2max)内：如果当前亮度B2在预设的第二目标亮度范围(B2min,B2max)内，则将第二曝光时间T2和第二增益G2输出至第二驱动单元320，或者所述第二曝光控制部422与第二驱动单元320之间不发生数据通信，保持现状；如果当前亮度B2在预设的第二目标亮度范围(B2min,B2max)外，则调整所述近红外光图像传感器121的第二曝光量以使当前亮度B2在预设的第二目标亮度范围(B2min,B2max)内。如果通过调整第二曝光时间T2和第二增益G2，无法实现当前亮度B2在预设的目标亮度范围(B2min,B2max)内，则第二曝光控制部422将信息反馈至与照明模块200连接的第二照明调节部423，以通过对第三光源模组213的输出功率即近红外光的光通量进行调节，进而调整第二视频流的当前亮度B2，以使第二视频流的当前亮度B2在所述第二目标亮度范围(B2min，B2max)内。
请参考图6，其示意性地给出了本发明一实施方式提供的通过调整第一曝光量使第一视频流的当前亮度B1位于第一目标亮度范围(B1min，B1max)的工作流程示意图，如图6所示，具体包括：
一方面，当所述第一视频流的当前亮度B1低于所述第一目标亮度范围的下限值B1min时，所述第一曝光控制部412通过增大所述可见光图像传感器111的第一曝光量以调节所述第一视频流的当前亮度B1。首先，提高第一曝光时间T1，判断最大第一曝光时间T1max和最小第一增益G1 min是否能够满足第一目标亮度范围(B1min,B1max)内曝光量需求：
如果满足需求，则以最小第一增益G1 min为基础，调整所述第一曝光时间T1以使所述第一视频流的当前亮度B1处于所述第一目标亮度范围(B1min,B1max)内，并将最小第一增益G1min、调整得到的第一曝光时间T1输出至所述第一驱动单元310；
如果不满足需求，则提高所述第一增益G1，判断最大第一曝光时间T1max和最大第一增益G1max是否能够满足所述第一目标亮度范围(B1min,B1max)内曝光量需求：如果不满足，则维持当前的第一曝光时间T1和第一增益G1不变，此时所述第一曝光控制部412将当前亮度B1仍在第一目标亮度范围(B1min，B1max)外的信息(例如，信息包括第一曝光时间T1为最大第一曝光时间T1max，第一增益G1为最大第一增益G1max)反馈至所述第一照明调节部413；如果满足，则以所述最大第一曝光时间T1max为基础，调整所述第一增益G1，以使所述第一视频流的当前亮度B1处于所述第一目标亮度范围(B1min,B1max)内，并将所述最大第一曝光时间T1max、调整得到的第一增益G1输出至所述第一驱动单元310。
示范性的，以最小第一增益G1min为基础，调整所述第一曝光时间T1的方法为以上一帧的第一曝光量(T1’×G1’)为基础获得T1c＝T1’×G1’/G1 min，然后以T1c为基础往上调整第一曝光时间T1直至所述第一视频流的当前亮度B1处于所述第一目标亮度范围(B1min,B1max)内。示范性的，以所述最大第一曝光时间T1max为基础，调整所述第一增益G1的方法为以上一帧的第一曝光量(T1’×G1’)为基础获得G1c＝T1’×G1’/T1max，然后以G1c为基础往上调整第一增益G1直至所述第一视频流的当前亮度B1处于所述第一目标亮度范围(B1min,B1max)内。
另一方面，当所述第一视频流的当前亮度B1高于所述第一目标亮度范围(B1min，B1max)的上限值B1max时，所述第一曝光控制部412通过减小所述可见光图像传感器111的第一曝光量以调节所述第一视频流的当前亮度B1。具体而言，首先减小第一增益G1，判断最大第一曝光时间T1和最小第一增益G1min是否能够满足所述第一目标亮度范围(B1min，B1max)内曝光量需求：如果满足，则以所述最大第一曝光时间T1max为基础，调整所述第一增益G1，以使所述第一视频流的当前亮度B1处于第一目标亮度范围(B1min,B1max)内，并将所述最大第一曝光时间T1max以及调整得到的第一增益G1输出至所述第一驱动单元310；
如果不满足，则减小所述第一曝光时间T1，判断最小第一曝光时间T1min和最小第一增益G1min是否满足第一目标亮度范围(B1min，B1max)内曝光量需求：如果不满足，则维持当前第一曝光时间T1和第一视频流增益G1不变，所述第一曝光控制部412将当前亮度B1仍在目标亮度范围(B1min，B1max)外的信息(例如，信息包括第一曝光时间T1为最小曝光时间T1min，第一增益G1为最小第一增益G1min)反馈至与照明模块200连接的第一照明调节部413；如果满足，则以所述最小第一增益G1min为基础，调整所述第一曝光时间T1，以使所述第一视频流的当前亮度B1处于所述第一目标亮度范围(B1min,B1max)内，并将所述最小第一增益G1min以及调整得到的第一曝光时间T1输出至所述第一驱动单元310。
示范性的，以所述最大第一曝光时间T1max为基础，调整所述第一增益G1的方法为以上一帧的第一曝光量(T1’×G1’)为基础获得G1c＝T1’×G1’/T1max，然后以G1c为基础往下调整第一增益G1直至所述第一视频流的当前亮度B1处于所述第一目标亮度范围(B1min,B1max)内。示范性的，以所述最小第一增益G1min为基础，调整所述第一曝光时间T1的方法为以上一帧的第一曝光量(T1’×G1’)为基础获得T1c＝T1’×G1’/G1min，然后以T1c为基础往下调整第一曝光时间T1直至所述第一视频流的当前亮度B1处于所述第一目标亮度范围(B1min,B1max)内。
同理，通过调整第二曝光时间T2、第二增益G2以使当前亮度B2在预设的第二目标亮度范围(B2min,B2max)的方法，具体包括：
一方面，当所述第二视频流的当前亮度B2低于所述第二目标亮度范围(B2min，B2max)的下限值B2min时，所述第二曝光控制部422通过增大所述近红外光图像传感器121的第二曝光量以调节所述第二视频流的当前亮度B2。首先，提高曝光时间T2，判断最大第二曝光时间T2max和最小第二增益G2min是否能够满足第二目标亮度范围(B2min,B2max)内曝光量需求：
如果满足需求，则以最小第二增益G2min为基础，调整所述第二曝光时间T2以使所述第二视频流的当前亮度B2处于所述第二目标亮度范围(B2min,B2max)内，并将最小第二增益G2min、调整得到的第二曝光时间T2输出至所述第二驱动单元320；
如果不满足需求，则提高所述第二增益G2，判断最大第二曝光时间T2max和最大第二增益G2max是否能够满足所述第二目标亮度范围(B2min,B2max)内曝光量需求：如果不满足，则维持当前的第二曝光时间T2和第二增益G2不变，此时所述第二曝光控制部422将当前亮度B2仍在第二目标亮度范围(B2min，B2max)外的信息(例如，信息包括第二曝光时间T2为最大第二曝光时间T2max，第二增益G2为最大第二增益G2max)反馈至所述第二照明调节部423；如果满足，则以所述最大第二曝光时间T2max为基础，调整所述第二增益G2，以使所述第二视频流的当前亮度B2处于所述第二目标亮度范围(B2min,B2max)内，并将所述最大第二曝光时间T2max、调整得到的第二增益G2输出至所述第二驱动单元320。
示范性的，以最小第二增益G2min为基础，调整所述第二曝光时间T2的方法为以上一帧的第二曝光量(T2’×G2’)为基础获得T2c＝T2’×G2’/G2min，然后以T2c为基础往上调整第二曝光时间T2直至所述第二视频流的当前亮度B2处于所述第二目标亮度范围(B2min,B2max)内。示范性的，以所述最大第二曝光时间T2max为基础，调整所述第二增益G2的方法为以上一帧的第二曝光量(T2’×G2’)为基础获得G2c＝T2’×G2’/T2max，然后以G2c为基础往上调整第二增益G2直至所述第二视频流的当前亮度B2处于所述第二目标亮度范围(B2min,B2max)内。
另一方面，当所述第二视频流的当前亮度B2高于所述第二目标亮度范围(B2min，B2max)的上限值B2max时，所述第二曝光控制部422通过减小所述近红外光图像传感器121的第二曝光量以调节所述第二视频流的当前亮度B2。具体而言，首先减小第二增益G2，判断最大第二曝光时间T2max和最小第二增益G2min是否能够满足所述第二目标亮度范围(B2min，B2max)内曝光量需求：如果满足，则以所述最大第二曝光时间T2max为基础，调整所述第二增益G2，以使所述第二视频流的当前亮度B2处于第二目标亮度范围(B2min,B2max)内，并将所述最大第二曝光时间T2max以及调整得到的第二增益G2输出至所述第二驱动单元320；
如果不满足，则减小所述第二曝光时间T2，判断最小第二曝光时间T2min和最小第二增益G2min是否满足第二目标亮度范围(B2min，B2max)内曝光量需求：如果不满足，则维持当前第二曝光时间T2和第二视频流增益G2不变，所述第二曝光控制部422将当前亮度B2仍在目标亮度范围(B2min，B2max)外的信息(例如，信息包括第二曝光时间T2为最小曝光时间T2min，第二增益G2为最小第二增益G2min)反馈至与照明模块200连接的第二照明调节部423；如果满足，则以所述最小第二增益G2min为基础，调整所述第二曝光时间T2，以使所述第二视频流的当前亮度B2处于所述第二目标亮度范围(B2min,B2max)内，并将所述最小第二增益G2min以及调整得到的第二曝光时间T2输出至所述第二驱动单元320。
示范性的，以所述最大第二曝光时间T2max为基础，调整所述第二增益G1的方法为以上一帧的第二曝光量(T2’×G2’)为基础获得G2c＝T2’×G2’/T2max，然后以G2c为基础往下调整第二增益G2直至所述第二视频流的当前亮度B2处于所述第二目标亮度范围(B2min,B2max)内。示范性的，以所述最小第二增益G2min为基础，调整所述第二曝光时间T2的方法为以上一帧的第二曝光量(T2’×G2’)为基础获得T2c＝T2’×G2’/G2min，然后以T2c为基础往下调整第二曝光时间T2直至所述第二视频流的当前亮度B2处于所述第二目标亮度范围(B2min,B2max)内。
也就是说，本实施方式中，第一曝光控制部412通过调整第一增益G1、第一曝光时间T1来调节第一视频流的当前亮度B1，使第一视频流的当前亮度B1在第一目标亮度范围(B1min，B1max)内，并输出对应的第一增益G1、第一曝光时间T1至所述第一驱动单元310，所述第一驱动单元310根据接收到的第一增益G1和第一曝光时间T1，驱动所述可见光图像传感器111获取目标组织600的可见光场景，从而使得后续获取的可见光场景图像的亮度位于第一目标亮度范围(B1min，B1max)内；第二曝光控制部422通过调整第二增益G2、第二曝光时间T2来调节第二视频流的当前亮度B2，使第二视频流的当前亮度B2在第二目标亮度范围(B2min，B2max)内，并输出对应的第二增益G2、第二曝光时间T2至所述第二驱动单元320，所述第二驱动单元320根据接收到的第二增益G2和第二曝光时间T2，驱动所述近红外光图像传感器121获取目标组织600的近红外光场景，从而使得后续获取的所述近红外光场景图像的亮度位于第二目标亮度范围(B2min，B2max)内。在本发明的其他实施方式中也可以采用其他方式调节所述第一视频流和所述第二视频流的当前亮度。在一个替代性实施例中，所述内窥镜为三维内窥镜。此时，所述第一控制单元410包括第一可见光控制单元411和第二可见光控制单元412；第二控制单元420包括第一近红外光控制单元421和第二近红外光控制单元422。所述第一驱动单元310包括第一可见光驱动单元311和第二可见光驱动单元312；第二驱动单元320包括第一近红外光驱动单元321和第二近红外光驱动单元322。所述第一可见光驱动单元311和第二可见光驱动单元312分别用于驱动第一可见光图像传感器111A、第二可见光图像传感器111B，获取所述第一可见光场景图像、第二可见光场景图像。优选的，所述第一可见光场景图像、第二可见光场景图像之间存在横向视差，以符合人眼特点实现三维效果。第一近红外光驱动单元321和第二近红外光驱动单元322分别用于驱动第一近红外光图像传感器121A、第二近红外光图像传感器121B，获取所述第一近红外光场景图像、第二近红外光场景图像。优选的，所述第一近红外光场景图像、第二近红外光场景图像之间存在横向视差，以符合人眼特点实现三维效果。在本实施例中，在出血模式下，可以是只开启第一可见光控制单元411或第二可见光控制单元412，通过调整第一曝光时间T1、第一增益G1来调整第一可见光视频流的当前亮度或第二可见光视频流的当前亮度；可以是只开启第一可见光控制单元411或第二可见光控制单元412，通过调整第一曝光时间T1、第一增益G1来调整第一可见光视频流的当前亮度B11和第二可见光视频流的当前亮度B12；可以是同时开启第一可见光控制单元411和第二可见光控制单元412，分别通过一组第一曝光时间T1、第一增益G1来调整第一可见光视频流的当前亮度B11和第二可见光视频流的当前亮度B12。同理，可以只开启第一近红外光控制单元421或第二近红外光控制单元422，通过调整第二曝光时间T2、第二增益G2来调整第一近红外光视频流的当前亮度B21或第二近红外光视频流的当前亮度B22；可以是只开启第一近红外光控制单元421或第二近红外光控制单元422，通过调整第二曝光时间T2、第二增益G2来调整第一近红外光视频流的当前亮度B21和第二近红外光视频流的当前亮度B22；可以是同时开启第一近红外光控制单元421和第二近红外光控制单元422，分别通过一组第二曝光时间T2、第二增益G2来调整第一近红外光视频流的当前亮度B21和第二近红外光视频流的当前亮度B22。
所述场景融合模块500用于当所述第一视频流的当前亮度B1在预设的第一目标亮度范围(B1min，B1max)内和/或所述第二视频流的当前亮度B2在预设的第二目标亮度范围(B2min，B2max)内时，基于所述第一视频流的当前帧图像的亮度信息与所述第二视频流的当前帧图像的亮度信息，将所述第一视频流的当前帧图像与所述第二视频流的当前帧图像进行融合，得到亮度融合图像，并基于所述第一视频流的当前帧图像的色度信息，将所述亮度融合图像与所述第一视频流的当前帧图像进行融合，获得场景融合图像。如果所述荧光内窥镜系统处于出血模式，则当所述第一视频流的当前亮度B1处于第一目标亮度范围(B1min，B1max)内和/或所述第二视频流的当前亮度B2处于第二目标亮度范围(B2min，B2max)内时，所述场景融合模块500将所述第一视频流的当前帧图像与所述第二视频流的当前帧图像进行融合。进一步，所述场景融合模块500与所述中央控制器800通信连接。所述中央控制器800在接收到出血模式指令后，控制场景融合模块500将所述第一视频流的当前帧图像与所述第二视频流的当前帧图像进行融合，获得场景融合图像。进一步，接收到荧光模式指令后，所述中央控制器800控制所述场景融合模块500将接收到的第一视频流和第二视频流直接输出。由此，本实施例通过将不同类型的传感器获得的场景图像进行融合，以获得目标组织600的融合图像，可以有效降低由摄像机的运动而导致的图像模糊，避免因图像模糊而造成用户对病灶信息的误判断，提高手术的精准性和安全性，同时可以有效提高信噪比，获取更多的图像细节信息。
具体而言，所述场景融合模块500包括图像融合单元，用于基于所述第一视频流的当前帧图像的亮度信息和所述第二视频流的当前帧图像的亮度信息，对所述第一视频流的当前帧图像的像素点和对应的所述第二视频流的当前帧图像的像素点进行图像融合，以获得亮度融合图像，并基于所述第二视频流的当前帧图像的色度信息，对所述亮度融合图像和所述第二视频流的当前帧图像进行图像融合，以获得场景融合图像。
进一步，所述场景融合模块500与所述可见光图像传感器111和所述近红外光图像传感器121通信连接，以分别获取第一视频流和第二视频流。如果所述第一视频流的输出格式为YUV格式或者YCbCr格式，所述图像融合单元用于取所述第一视频流的当前帧图像的像素点的Y值作为所述像素点的亮度，取所述第一视频流的当前帧图像中的像素点的U值、V值或者Cb值、Cr值作为所述像素点的色度。如果所述第一视频流的输出格式为RAW格式或者RGB格式，所述场景融合模块还包括图像模式转换单元，所述图像模式转换单元用于将所述第一视频流的当前帧图像转换至YUV空间或者YCbCr空间内，再将所述第一视频流的当前帧图像的像素点的Y值作为所述像素点的亮度，并将所述第一视频流的当前帧图像中的像素点的U值、V值或者Cb值、Cr值作为所述像素点的色度。具体的转换方法，与上述第一亮度获取部411获取第一视频流的当前亮度B1的方法时，将RGB格式的视频流转换为YUV格式或者YCbCr格式的方法类似，在这里不再冗赘。所述第二视频流的当前帧图像的亮度信息可以参照上述的所述第一视频流的当前帧图像的亮度信息的获取方法，或者根据近近红外图像特点采用其他方式获取亮度信息，在此不再进行详细赘述。
本实施例中，基于所述第一视频流的当前帧图像的像素点的亮度和对应的所述第二视频流的当前帧图像的像素点的亮度进行融合的算法没有特别的限制，例如算术平均方法，加权平均法，取极值法(取两者最大值或最小值)等。优选的，根据预设的关于亮度值与权重的正态分布、所述第一视频流的当前帧图像的像素点的亮度以及对应的所述第二视频流的当前帧图像的像素点的亮度，分别获取所述第一视频流的当前帧图像中的像素点的亮度的权重以及对应的所述第二视频流的当前帧图像中的像素点的亮度的权重；以及根据获取的所述第一视频流的当前帧图像中的像素点的亮度的权重以及对应的所述第二视频流的当前帧图像中的像素点的亮度的权重，分别对所述第一视频流的当前帧图像的像素点的亮度与对应的第二视频流的当前帧图像的像素点的亮度进行加权，获得亮度融合图像的像素点的亮度。
请参考图7，其示意性地给出了本发明一实施方式中的亮度与权重的正态分布曲线示意图，其中，P1为第一亮度，P2为第二亮度，W1为第一亮度P1的权重，W2为第二亮度P2的权重。所述正态分布曲线示意图为人为设定的，优选正态分布曲线的数学期望u＝128,方差δ＝50。亮度融合图像的亮度P3与所述第一视频流的当前帧图像的像素点的第一亮度P1和所述第二视频流的当前帧图像的像素点的第二亮度P2之间满足如下关系：
P3＝W1P1+W2P2
如图7所示，亮度值越趋于数学期望，其所占的权重越大，由此，通过采用上述的正态分布的方式对所述第一视频流的当前帧图像的亮度信息和所述第二视频流的当前帧图像的亮度信息进行融合，可以使得获得的亮度融合图像具有合适的亮度。
如图1所示，当所述内窥镜为三维内窥镜时，所述场景融合模块500用于基于第一可见光视频流的当前帧图像的亮度信息与第一近红外光视频流的当前帧图像的亮度信息，将所述第一可见光视频流的当前帧图像与所述第一近红外光视频流的当前帧图像进行融合，得到第一亮度融合图像，并基于所述第一可见光视频流的当前帧图像的色度信息，将所述第一亮度融合图像与所述第一可见光视频流的当前帧图像进行融合，获得第一场景融合图像；基于第二可见光视频流的当前帧图像的亮度信息与第二近红外光视频流的当前帧图像的亮度信息，将所述第二可见光视频流的当前帧图像与所述第二近红外光视频流的当前帧图像进行融合，得到第二亮度融合图像，并基于所述第二可见光视频流的当前帧图像的色度信息，将所述第二亮度融合图像与所述第二可见光视频流的当前帧图像进行融合，获得第二场景融合图像。由于第一可将光场景图像、第一近红外光场景图像通过同一光通道获取，而第二可将光场景图像、第二近红外光场景图像通过同一光通道获取，而所述第一可见光场景图像、第二可见光场景图像之间、所述第一近红外光场景图像、第二近红外光场景图像之间存在横向视差，所以图像融合后获得的第一场景融合图像、第二场景融合图像之间存在横向视差，符合人眼的特点实现三维效果。
具体地，请参考图8，其示意性地给出了本发明一实施方式提供的出血模式下的图像融合示意图。如图8所示，所述图像融合单元可包括第一图像融合单元510和第二图像融合单元520，所述第一图像融合单元510用于基于所述第一可见光视频流的当前帧图像的亮度信息和所述第一近红外光视频流的当前帧图像的亮度信息，将所述第一可见光视频流的当前帧图像的像素点和对应的所述第一近红外光视频流的当前帧图像的像素点进行图像融合，以获得第一亮度融合图像，并基于所述第一可见光视频流的当前帧图像的色度信息，将所述第一亮度融合图像和所述第一可见光视频流的当前帧图像进行融合，以获得第一场景融合图像。所述第二图像融合单元520用于基于所述第二可见光视频流的当前帧图像的亮度信息和所述第二近红外光视频流的当前帧图像的亮度信息，将所述第二可见光视频流的当前帧图像的像素点和对应的所述第二近红外光视频流的当前帧图像的像素点进行图像融合，以获得第二亮度融合图像，并基于所述第二可见光视频流的当前帧图像的色度信息，将所述第二亮度融合图像和所述第二可见光视频流的当前帧图像进行融合，以获得第二场景融合图像。具体实现场景融合图像的方法可参考上述实施例，这里不再冗赘描述。
优选的，所述荧光内窥镜系统还包括视频流水线700和中央控制器800。所述中央控制器800包括视频叠加单元810、用户输入装置820和用户界面830。所述场景融合模块500输出的场景融合图像传递至所述视频流水线700，所述视频叠加单元810将所述视频流水线700上的场景融合图像进行叠加以获得三维图像。所述用户输入装置820用于接收操作者的操作指令，例如切换工作模式，并将操作指令传输至用户界面830。用户界面830将根据接收到的操作指令以及系统内部控制条件产生的控制指令控制场景融合模块500、内窥镜控制模块400和照明模块200等等。而用户界面830通过进入视频叠加单元810与三维图像进行叠加后输送至外科医生的控制台中的显示器900并予以显示。
与上述的荧光内窥镜系统相对应，本发明还提供一种荧光内窥镜系统的控制方法。请参考图9，其示意性地给出了本发明一实施方式提供的出血模式下的荧光内窥镜系统的控制方法的流程示意图。如图9所示，所述荧光内窥镜系统的工作模式包括第一模式和第二模式，所述控制方法包括如下步骤：
步骤S1、在第二模式下，提供可见光和近红外光，以照明目标组织；
步骤S2、获取目标组织的可见光场景图像和近红外光场景图像，并分别以第一视频流和第二视频流的形式输出；
步骤S3、判断所述第一视频流的当前亮度B1是否在预设的第一目标亮度范围(B1min，B1max)内和/或所述第二视频流的当前亮度B2是否在预设的第二目标亮度范围(B2min，B2max)内；
若所述第一视频流的当前亮度B1在预设的第一目标亮度范围(B1min，B1max)内和/或所述第二视频流的当前亮度B2在预设的第二目标亮度范围(B2min，B2max)内，则执行下述步骤：
步骤S4、基于所述第一视频流的当前帧图像的亮度信息与所述第二视频流的当前帧图像的亮度信息，将所述第一视频流的当前帧图像与所述第二视频流的当前帧图像进行融合，获得亮度融合图像；
步骤S5、基于所述第一视频流的当前帧图像的色度信息，将所述第一视频流的当前帧图像与所述亮度融合图像进行图像融合，获得场景融合图像。
由此，本实施例中的荧光内窥镜系统包括两种模式，其中在第二模式下通过在所述第一视频流和/或第二视频流的当前亮度在目标亮度范围内时，将通过可见光捕获的当前帧图像和通过近红外光捕获的当前帧图像进行图像融合，得到的场景融合图像亮度合适，可以有效提高信噪比，细节丰富，可以有效降低由摄像机的运动而导致的图像模糊，避免因图像模糊而造成用户对病灶信息的误判断，提高手术的精准性和安全性，同时荧光内窥镜系统基于现有的硬件，做稍微的改进就可以实现多种功能，满足医生不同的手术需求，提高手术操作的便利性。
优选的，当所述内窥镜为三维内窥镜时，所述获取目标组织的可见光场景图像和近红外光场景图像，并分别以第一视频流和第二视频流的形式输出，包括：
获取目标组织的第一可见光场景图像、第二可见光场景图像、第一近红外光场景图像和第二近红外光场景图像，并分别以第一可见光视频流、第二可见光视频流、第一近红外光视频流和第二近红外光视频流的形式输出；
所述判断所述第一视频流的当前亮度B1是否在预设的第一目标亮度范围(B1min，B1max)内，
包括：判断所述第一可见光视频流和/或所述第二可见光视频流的当前亮度是否在预设的第一目标亮度范围(B1min，B1max)内；
所述判断所述第二视频流的当前亮度B2是否在预设的第二目标亮度范围(B2min，B2max)内，包括：
判断所述第一近红外光视频流和/或所述第二近红外光视频流的当前亮度是否在预设的第二目标亮度范围(B2min，B2max)内；
所述基于所述第一视频流的当前帧图像的亮度信息与所述第二视频流的当前帧图像的亮度信息，将所述第一视频流的当前帧图像与所述第二视频流的当前帧图像进行融合，获得亮度融合图像，包括：
基于所述第一可见光视频流的当前帧图像的亮度信息与所述第一近红外光视频流的当前帧图像的亮度信息，将所述第一可见光视频流的当前帧图像与所述第一近红外光视频流的当前帧图像进行融合，获得第一亮度融合图像，基于所述第二可见光视频流的当前帧图像的亮度信息与所述第二近红外光视频流的当前帧图像的亮度信息，将所述第二可见光视频流的当前帧图像与所述第二近红外光视频流的当前帧图像进行融合，获得第二亮度融合图像；
所述基于所述第一视频流的当前帧图像的色度信息，将所述第一视频流的当前帧图像与所述亮度融合图像进行图像融合，获得场景融合图像，包括：
基于所述第一可见光视频流的当前帧图像的色度信息，将所述第一可见光视频流的当前帧图像与所述第一亮度融合图像进行图像融合，获得第一场景融合图像，基于所述第二可见光视频流的当前帧图像的色度信息，将所述第二可见光视频流的当前帧图像与所述第二亮度融合图像进行图像融合，获得第二场景融合图像。
优选的，如果所述第一视频流的当前亮度B1不在所述第一目标亮度范围(B1min，B1max)内，则调整第一曝光量，以使所述第一视频流的当前亮度B1在所述第一目标亮度范围(B1min，B1max)内，其中所述第一曝光量为第一曝光时间T1和第一增益G1的乘积；
如果所述第二视频流的当前亮度B2不在所述第二目标亮度范围(B2min，B2max)内，则调整第二曝光量，以使所述第二视频流的当前亮度B2在所述第二目标亮度范围(B2min，B2max)内，其中所述第二曝光量为第二曝光时间T2和第二增益G2的乘积。
优选的，当所述第一视频流的当前亮度B1低于所述第一目标亮度范围(B1min，B1max)的下限值B1min时，增大所述可见光图像传感器的第一曝光量以调节所述第一视频流的当前亮度B1。
优选的，所述增大所述可见光图像传感器111的第一曝光量以调节所述第一视频流的当前亮度B1，包括：判断最大第一曝光时间T1和最小第一增益G1min是否能够满足所述第一目标亮度范围(B1min，B1max)内曝光量需求；
如果满足需求，则以最小第一增益G1min为基础，调整所述第一曝光时间T1以使所述第一视频流的当前亮度B1处于所述第一目标亮度范围(B1min，B1max)内；
如果不满足需求，则提高所述第一增益G1，判断最大第一曝光时间T1和最大第一增益G1max是否能够满足所述第一目标亮度范围(B1min，B1max)内曝光量需求；
如果满足，则以所述最大第一曝光时间T1max为基础，调整所述第一增益G1，以使所述第一视频流的当前亮度B1处于所述第一目标亮度范围内。
优选的，当所述第一视频流的当前亮度B1高于所述第一目标亮度范围(B1min，B1max)的上限值B1max时，减小所述可见光图像传感器111的第一曝光量以调节所述第一视频流的当前亮度B1。
优选的，所述减小所述可见光图像传感器111的第一曝光量以调节所述第一视频流的当前亮度B1，包括：判断最大第一曝光时间T1max和最小第一增益G1min是否能够满足所述第一目标亮度范围(B1min，B1max)内曝光量需求；
如果满足，则以所述最大第一曝光时间T1max为基础，调整所述第一增益G1，以使所述第一视频流的当前亮度B1处于所述第一目标亮度范围(B1min，B1max)内；
如果不满足，则减小所述第一曝光时间T1，判断最小第一曝光时间T1min和最小第一增益G1min是否满足所述第一目标亮度范围(B1min，B1max)内曝光量需求；
如果满足，则以所述最小第一增益G1min为基础，调整所述第一曝光时间T1，以使所述第一视频流的当前亮度B1处于所述第一目标亮度范围内。
优选的，当所述第二视频流的当前亮度B2低于所述第二目标亮度范围(B2min，B2max)的下限值时，增大所述近红外光图像传感器121的第二曝光量以调节所述第二视频流的当前亮度B2。
优选的，所述增大所述近红外光图像传感器121的第二曝光量以调节所述第二视频流的当前亮度B2，包括：判断最大第二曝光时间T2max和最小第二增益G2min是否能够满足所述第二目标亮度范围(B2min，B2max)内曝光量需求；
如果满足需求，则以所述最小第二增益G2min为基础，调整所述第二曝光时间T2以使所述第二视频流的当前亮度B2处于所述第二目标亮度范围(B2min，B2max)内；
如果不满足需求，则提高所述第二增益G2，判断最大第二曝光时间T2max和最大第二增益G2max是否能够满足所述第二目标亮度范围(B2min，B2max)内曝光量需求；
如果满足，则以所述最大第二曝光时间T2max为基础，调整所述第二增益G2，以使所述第二视频流的当前亮度B2处于所述第二目标亮度范围(B2min，B2max)内。
优选的，当所述第二视频流的当前亮度B2高于所述第二目标亮度范围(B2min，B2max)的上限值B2max时，通过减小所述近红外光图像传感器121的第二曝光量以调节所述第二视频流的当前亮度B2。
优选的，所述减小所述近红外光图像传感器121的第二曝光量以调节所述第二视频流的当前亮度B2，包括：判断最大第二曝光时间T2max和最小第二增益G2min是否能够满足所述第二目标亮度范围(B2min，B2max)内曝光量需求；
如果满足，则以所述最大第二曝光时间T2max为基础，调整所述第二增益G2，以使所述第二视频流的当前亮度B2处于所述第二目标亮度范围(B2min，B2max)内；
如果不满足，则减小所述第二曝光时间T2，判断最小第二曝光时间T2min和最小第二增益G2min是否满足所述第二目标亮度范围(B2min，B2max)内曝光量需求；
如果满足，则以所述最小第二增益G2min为基础，调整所述第二曝光时间T2，以使所述第二视频流的当前亮度B2处于所述第二目标亮度范围(B2min，B2max)内。
优选的，如果通过调整所述第一增益G1和所述第一曝光时间T1，不能使所述第一视频流的当前亮度B1在所述第一目标亮度范围(B1min，B1max)内时，则调整用于提供所述可见光的第一光源模组的输出功率，进而调整所述第一视频流的当前亮度B1，以使所述第一视频流的当前亮度B1在所述第一目标亮度范围(B1min，B1max)内。
优选的，如果通过调整所述第二增益G2和所述第二曝光时间T2，不能使所述第二视频流的当前亮度B2在所述第二目标亮度范围(B2min，B2max)内时，则调整用于提供所述近红外光的第三光源模组的输出功率，进而调整所述第二视频流的当前亮度B2，以使所述第二视频流的当前亮度B2在所述第二目标亮度范围(B2min，B2max)内。
优选的，所述基于所述第一视频流的当前帧图像的亮度信息与所述第二视频流的当前帧图像的亮度信息，将所述第一视频流的当前帧图像与所述第二视频流的当前帧图像进行融合，获得亮度融合图像，包括：基于所述第一视频流的当前帧图像的亮度信息与所述第二视频流的当前帧图像的亮度信息，对所述第一视频流的当前帧图像的像素点和对应的所述第二视频流的当前帧图像的像素点进行图像融合，获得亮度融合图像。
优选的，所述基于所述第一视频流的当前帧图像的色度信息，将所述第一视频流的当前帧图像与所述亮度融合图像进行图像融合，获得场景融合图像，包括：将所述第一视频流的当前帧图像的像素点的色度信息，赋予给所述亮度融合图像对应的像素点作为对应像素点的色度。
优选的，若所述第一视频流的输出格式为RAW格式或者RGB格式，则在将所述第一视频流的当前帧图像与所述第二视频流的当前帧图像进行融合之前，所述控制方法还包括：将所述第一视频流的当前帧图像转换至YUV空间或者YCbCr空间内。
优选的，所述基于所述第一视频流的当前帧图像的亮度信息与所述第二视频流的当前帧图像的亮度信息，对所述第一视频流的当前帧图像的像素点和对应的所述第二视频流的当前帧图像的像素点进行图像融合，包括：
根据预设的关于亮度值与权重的正态分布、所述第一视频流的当前帧图像的像素点的亮度以及对应的所述第二视频流的当前帧图像的像素点的亮度，分别获取所述第一视频流的当前帧图像中的像素点的亮度的权重以及对应的所述第二视频流的当前帧图像中的像素点的亮度的权重；
根据获取的所述第一视频流的当前帧图像中的像素点的亮度的权重以及对应的所述第二视频流的当前帧图像中的像素点的亮度的权重，分别对所述第一视频流的当前帧图像的像素点的亮度与对应的所述第二视频流的当前帧图像的像素点的亮度进行加权，获得亮度融合图像的像素点的亮度。
为实现上述思想，本发明还提供一种存储介质，所述存储介质内存储有计算机程序，所述计算机程序在被处理器执行时实现如上文所述的控制方法。
由此，本实施例中的荧光内窥镜系统包括两种模式，其中在第二模式下通过在所述第一视频流和/或第二视频流的当前亮度在目标亮度范围内时，将通过可见光捕获的当前帧图像和通过近红外光捕获的当前帧图像进行图像融合，得到的场景融合图像亮度合适，可以有效提高信噪比，细节丰富，可以有效降低由摄像机的运动而导致的图像模糊，避免因图像模糊而造成用户对病灶信息的误判断，提高手术的精准性和安全性，同时荧光内窥镜系统基于现有的硬件，做稍微的改进就可以实现多种功能，满足医生不同的手术需求，提高手术操作的便利性。
本发明实施方式的存储介质，可以采用一个或多个计算机可读的介质的任意组合。可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机硬盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其组合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言-诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言-诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)连接到用户计算机，或者可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
综上所述，与现有技术相比，本发明提供的荧光内窥镜系统、控制方法和存储介质具有以下优点：当处于第一模式时，所述照明模块可以提供可见光和激励光，激励光照射于目标组织以激励产生荧光，以帮助操作者观察可见光条件下无法观察到的组织信息；当处于第二模式时，所述照明模块可以提供可见光和近红外光，以照明目标组织，所述场景融合模块用于当所述第一视频流和/或第二视频流的当前亮度在目标亮度范围内时，将通过可见光捕获的当前帧图像和通过近红外光捕获的当前帧图像进行图像融合，得到的场景融合图像亮度合适，细节丰富。由此，一方面，本发明的荧光内窥镜系统可以有效降低由摄像机的运动而导致的图像模糊，避免因图像模糊而造成用户对病灶信息的误判断，提高手术的精准性和安全性，同时可以有效提高信噪比，获取更多的图像细节信息；另一方面，本发明的荧光内窥镜系统基于现有的硬件，做稍微的改进就可以实现多种功能，满足医生不同的手术需求，提高手术操作的便利性。
应当注意的是，在本文的实施方式中所揭露的装置和方法，也可以通过其他的方式实现。以上所描述的装置实施方式仅仅是示意性的，例如，附图中的流程图和框图显示了根据本文的多个实施方式的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用于执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本文各个实施方式中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
上述描述仅是对本发明较佳实施方式的描述，并非对本发明范围的任何限定，本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰，均属于权利要求书的保护范围。显然，本领域的技术人员可以对发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。

Claims (32)

1.一种荧光内窥镜系统，其特征在于，包括内窥镜、照明模块、内窥镜驱动模块和场景融合模块；
所述荧光内窥镜系统的工作模式包括第一模式和第二模式，其中，所述第一模式为荧光模式，所述第二模式为出血模式；
所述内窥镜包括可见光图像传感器和近红外光图像传感器；
在第一模式下，所述照明模块用于提供可见光，以照明目标组织，并用于同时提供激励光，以激励目标组织产生荧光，所述可见光图像传感器用于获取所述目标组织的可见光场景图像，并以可见光视频流的形式输出，所述近红外光图像传感器用于获取所述目标组织的荧光场景图像，并以荧光视频流的形式输出；
在第二模式下，所述照明模块用于同时提供可见光和近红外光，以照明目标组织，并形成反射光，所述可见光图像传感器用于获取所述目标组织的可见光场景图像，并以第一视频流的形式输出，所述近红外光图像传感器用于获取所述目标组织的近红外光场景图像，并以第二视频流的形式输出；
所述内窥镜驱动模块包括第一驱动单元和第二驱动单元，所述第一驱动单元用于在第二模式下根据第一曝光时间和第一增益驱动所述可见光图像传感器获取所述可见光场景图像，所述第二驱动单元用于在第二模式下根据第二曝光时间和第二增益驱动所述近红外光图像传感器获取所述近红外光场景图像；
所述场景融合模块用于当所述第一视频流的当前亮度在预设的第一目标亮度范围内和/或所述第二视频流的当前亮度在预设的第二目标亮度范围内时，基于所述第一视频流的当前帧图像的亮度信息与所述第二视频流的当前帧图像的亮度信息，将所述第一视频流的当前帧图像与所述第二视频流的当前帧图像进行融合，得到亮度融合图像，并基于所述第一视频流的当前帧图像的色度信息，将所述亮度融合图像与所述第一视频流的当前帧图像进行融合，获得场景融合图像。
2.根据权利要求1所述的荧光内窥镜系统，其特征在于，所述荧光内窥镜系统还包括内窥镜控制模块，所述内窥镜控制模块包括第一控制单元和/或第二控制单元，所述第一控制单元用于在第二模式下使所述第一视频流的当前亮度在预设的第一目标亮度范围内；所述第二控制单元用于在第二模式下使所述第二视频流的当前亮度在预设的第二目标亮度范围内。
3.根据权利要求2所述的荧光内窥镜系统，其特征在于，
所述第一控制单元包括：
第一亮度获取部，用于获取所述第一视频流的当前亮度；以及
第一曝光控制部，用于判断所述第一视频流的当前亮度是否在所述第一目标亮度范围内，如果所述第一视频流的当前亮度不在所述第一目标亮度范围内，则调整所述可见光图像传感器的第一曝光量，以使所述第一视频流的当前亮度在所述第一目标亮度范围内；
所述第二控制单元包括：
第二亮度获取部，用于获取所述第二视频流的当前亮度；以及
第二曝光控制部，用于判断所述第二视频流的当前亮度是否在所述第二目标亮度范围内，如果所述第二视频流的当前亮度不在所述第二目标亮度范围内，则调整所述近红外光图像传感器的第二曝光量，以使所述第二视频流的当前亮度在所述第二目标亮度范围内。
4.根据权利要求3所述的荧光内窥镜系统，其特征在于，当所述第一视频流的当前亮度低于所述第一目标亮度范围的下限值时，所述第一曝光控制部通过增大所述可见光图像传感器的第一曝光量以调节所述第一视频流的当前亮度；
当所述第二视频流的当前亮度低于所述第二目标亮度范围的下限值时，所述第二曝光控制部通过增大所述近红外光图像传感器的第二曝光量以调节所述第二视频流的当前亮度。
5.根据权利要求4所述的荧光内窥镜系统，其特征在于，
所述第一曝光控制部被配置为判断最大第一曝光时间和最小第一增益是否能够满足所述第一目标亮度范围内曝光量需求；
如果满足需求，则以最小第一增益为基础，调整所述第一曝光时间以使所述第一视频流的当前亮度处于所述第一目标亮度范围内；
如果不满足需求，则判断最大第一曝光时间和最大第一增益是否能够满足所述第一目标亮度范围内曝光量需求；
如果满足，则以所述最大第一曝光时间为基础，调整所述第一增益，以使所述第一视频流的当前亮度处于所述第一目标亮度范围内；
所述第二曝光控制部被配置为判断最大第二曝光时间和最小第二增益是否能够满足所述第二目标亮度范围内曝光量需求；
如果满足需求，则以所述最小第二增益为基础，调整所述第二曝光时间以使所述第二视频流的当前亮度处于所述第二目标亮度范围内；
如果不满足需求，则判断最大第二曝光时间和最大第二增益是否能够满足所述第二目标亮度范围内曝光量需求；
如果满足，则以所述最大第二曝光时间为基础，调整所述第二增益，以使所述第二视频流的当前亮度处于所述第二目标亮度范围内。
6.根据权利要求3所述的荧光内窥镜系统，其特征在于，当所述第一视频流的当前亮度高于所述第一目标亮度范围的上限值时，所述第一曝光控制部通过减小所述可见光图像传感器的第一曝光量以调节所述第一视频流的当前亮度；
当所述第二视频流的当前亮度高于所述第二目标亮度范围的上限值时，所述第二曝光控制部通过减小所述近红外光图像传感器的第二曝光量以调节所述第二视频流的当前亮度。
7.根据权利要求6所述的荧光内窥镜系统，其特征在于，
所述第一曝光控制部被配置为判断最大第一曝光时间和最小第一增益是否能够满足所述第一目标亮度范围内曝光量需求；
如果满足，则以所述最大第一曝光时间为基础，调整所述第一增益，以使所述第一视频流的当前亮度处于所述第一目标亮度范围内；
如果不满足，则判断最小第一曝光时间和最小第一增益是否满足所述第一目标亮度范围内曝光量需求；
如果满足，则以所述最小第一增益为基础，调整所述第一曝光时间，以使所述第一视频流的当前亮度处于所述第一目标亮度范围内；
所述第二曝光控制部被配置为判断最大第二曝光时间和最小第二增益是否能够满足所述第二目标亮度范围内曝光量需求；
如果满足，则以所述最大第二曝光时间为基础，调整所述第二增益，以使所述第二视频流的当前亮度处于所述第二目标亮度范围内；
如果不满足，则判断最小第二曝光时间和最小第二增益是否满足所述第二目标亮度范围内曝光量需求；
如果满足，则以所述最小第二增益为基础，调整所述第二曝光时间，以使所述第二视频流的当前亮度处于所述第二目标亮度范围内。
8.根据权利要求3所述的荧光内窥镜系统，其特征在于，所述照明模块包括用于提供所述可见光的第一光源模组和用于提供近红外光的第三光源模组；所述第一控制单元还包括第一照明调节部，所述第一照明调节部用于当通过调整所述第一增益和所述第一曝光时间不能使所述第一视频流的当前亮度在所述第一目标亮度范围内时，控制所述照明模块调整所述第一光源模组的输出功率，以使所述第一视频流的当前亮度在所述第一目标亮度范围内；
所述第二控制单元还包括第二照明调节部，所述第二照明调节部用于当通过调整所述第二增益和所述第二曝光时间不能使所述第二视频流的当前亮度在所述第二目标亮度范围内时，控制所述照明模块调整所述第三光源模组的输出功率，以使所述第二视频流的当前亮度在所述第二目标亮度范围内。
9.根据权利要求3所述的荧光内窥镜系统，其特征在于，
若所述第一视频流为YUV编码或YCbCr编码，所述第一亮度获取部用于取所述第一视频流当前帧图像的每个或者部分像素点的Y值的均值或者加权值作为当前亮度；
若所述第一视频流为RAW编码或RGB编码，所述第一亮度获取部用于根据第一视频流当前帧图像的像素点的RGB值获取像素点的亮度，然后取第一视频流当前帧图像的每个或者部分像素点的亮度的均值或者加权值作为当前亮度。
10.根据权利要求1所述的荧光内窥镜系统，其特征在于，所述内窥镜还包括分光棱镜组，所述分光棱镜组用于在第二模式下，将照射至目标组织的可见光的反射光和近红外光的反射光进行分离，在第一模式下将照射至目标组织的可见光的反射光和受激励产生的荧光进行分离，以使得所述可见光的反射光能被所述可见光图像传感器的感光面所捕获，所述近红外光的反射光或所述荧光能被所述近红外光图像传感器的感光面所捕获。
11.根据权利要求10所述的荧光内窥镜系统，其特征在于，所述分光棱镜组包括第一分光棱镜、第二分光棱镜、可见光带通滤光片和近红外带通滤光片，所述可见光带通滤光片用于允许可见光通过，并截止其他波长的光，所述近红外带通滤光片用于允许近红外光通过并截止其他波长的光，所述近红外带通滤光片设置在所述第一分光棱镜和第二分光棱镜之间，所述第一分光棱镜与第二分光棱镜相邻接的面设有半透半反膜，以使入射的光一部分被反射一部分被透射，所述可见光图像传感器的感光面邻近于所述第一分光棱镜的出射面，所述可见光带通滤光片设置在所述第一分光棱镜的出射面与所述可见光图像传感器的感光面之间，所述近红外光图像传感器的感光面邻近于所述第二分光棱镜的出射面。
12.根据权利要求1所述的荧光内窥镜系统，其特征在于，所述场景融合模块包括：
图像融合单元，用于基于所述第一视频流的当前帧图像的亮度信息和所述第二视频流的当前帧图像的亮度信息，将所述第一视频流的当前帧图像的像素点和对应的所述第二视频流的当前帧图像的像素点进行图像融合，以获得亮度融合图像，并基于所述第一视频流的当前帧图像的色度信息，将所述亮度融合图像和所述第一视频流的当前帧图像进行图像融合，以获得场景融合图像。
13.根据权利要求12所述的荧光内窥镜系统，其特征在于，所述图像融合单元用于根据预设的关于亮度值与权重的正态分布、所述第一视频流的当前帧图像的像素点的亮度以及对应的所述第二视频流的当前帧图像的像素点的亮度，分别获取所述第一视频流的当前帧图像中的像素点的亮度的权重以及对应的所述第二视频流的当前帧图像的像素点的亮度的权重；
根据获取的所述第一视频流的当前帧图像中的像素点的亮度的权重以及对应的所述第二视频流的当前帧图像中的像素点的亮度的权重，分别对所述第一视频流的当前帧图像的像素点的亮度与对应的所述第二视频流的当前帧图像的像素点的亮度进行加权，获得亮度融合图像的像素点的亮度。
14.根据权利要求11所述的荧光内窥镜系统，其特征在于，所述场景融合模块还包括图像模式转换单元，所述图像模式转换单元用于当所述第一视频流的输出格式为RAW格式或者RGB格式时，将所述第一视频流的当前帧图像的像素点转换至YUV空间或者YCbCr空间内，取所述第一视频流的当前帧图像的像素点的Y值作为所述像素点的亮度，并取所述第一视频流的当前帧图像的像素点的U值、V值或者Cb值、Cr值作为所述第一视频流的当前帧图像的像素点的色度。
15.根据权利要求1所述的荧光内窥镜系统，其特征在于，所述内窥镜为三维内窥镜；
所述可见光图像传感器包括第一可见光图像传感器和第二可见光图像传感器；
所述近红外光图像传感器包括第一近红外光图像传感器和第二近红外光图像传感器；
所述第一视频流包括第一可见光视频流和第二可见光视频流；
所述第二视频流包括第一近红外光视频流和第二近红外光视频流；
在第二模式下，所述第一可见光图像传感器用于获取所述目标组织的第一可见光场景图像，并以第一可见光视频流的形式输出，所述第二可见光图像传感器用于获取所述目标组织的第二可见光场景图像，并以第二可见光视频流的形式输出，所述第一近红外光图像传感器用于获取所述目标组织的第一近红外光场景图像，并以第一近红外光视频流的形式输出，所述第二近红外光图像传感器用于获取所述目标组织的第二近红外光场景图像，并以第二近红外光视频流的形式输出；
所述场景融合模块用于基于所述第一可见光视频流的当前帧图像的亮度信息与所述第一近红外光视频流的当前帧图像的亮度信息，将所述第一可见光视频流的当前帧图像与所述第一近红外光视频流的当前帧图像进行融合，得到第一亮度融合图像，并基于所述第一可见光视频流的当前帧图像的色度信息，将所述第一亮度融合图像与所述第一可见光视频流的当前帧图像进行融合，获得第一场景融合图像，以及基于所述第二可见光视频流的当前帧图像的亮度信息与所述第二近红外光视频流的当前帧图像的亮度信息，将所述第二可见光视频流的当前帧图像与所述第二近红外光视频流的当前帧图像进行融合，得到第二亮度融合图像，并基于所述第二可见光视频流的当前帧图像的色度信息，将所述第二亮度融合图像与所述第二可见光视频流的当前帧图像进行融合，获得第二场景融合图像。
16.根据权利要求2所述的荧光内窥镜系统，其特征在于，所述荧光内窥镜系统还包括中央控制器，所述中央控制器接受第二模式指令后，控制所述第一控制单元、所述第二控制单元根据预设于所述内窥镜控制模块的所述第一目标亮度范围、所述第二目标亮度范围调整所述第一视频流、所述第二视频流的当前亮度，或者，所述中央控制器接受第二模式指令后，将所述第一目标亮度范围、所述第二目标亮度范围分别发送至所述第一控制单元、所述第二控制单元，以使所述第一控制单元、所述第二控制单元根据预设于所述内窥镜控制模块的所述第一目标亮度范围、所述第二目标亮度范围调整所述第一视频流、所述第二视频流的当前亮度。
17.根据权利要求15所述的荧光内窥镜系统，其特征在于，所述荧光内窥镜系统还包括中央控制器，所述中央控制器包括视频叠加单元，所述视频叠加单元用于将所述场景融合模块输出的场景融合图像进行叠加并将生成的三维图像传递至显示器予以显示。
18.根据权利要求1所述的荧光内窥镜系统，其特征在于，所述第一驱动单元还用于在第一模式下根据第三曝光时间和第三增益驱动所述可见光图像传感器获取所述可见光场景图像；所述第二驱动单元还用于在第一模式下根据第四曝光时间和第四增益驱动所述近红外光图像传感器获取所述荧光场景图像。
19.根据权利要求2所述的荧光内窥镜系统，其特征在于，所述第一控制单元还用于在第一模式下使所述可见光视频流的当前亮度在预设的第三目标亮度范围内；和/或，所述第二控制单元还用于在第一模式下使所述荧光视频流的当前亮度在预设的第四目标亮度范围内。
20.一种荧光内窥镜系统的控制方法，其特征在于，所述荧光内窥镜系统的工作模式包括第一模式和第二模式，其中，所述第一模式为荧光模式，所述第二模式为出血模式，所述控制方法包括：
在第一模式下，提供可见光，以照明目标组织，并同时提供激励光，以激励目标组织产生荧光；
同时获取目标组织的可见光场景图像和荧光场景图像，并分别以可见光视频流和荧光视频流的形式输出；
在第二模式下，同时提供可见光和近红外光，以照明目标组织，并形成反射光；
根据第一曝光时间和第一增益获取目标组织的可见光场景图像，同时根据第二曝光时间和第二增益获取目标组织的近红外光场景图像，并分别以第一视频流和第二视频流的形式输出；
判断所述第一视频流的当前亮度是否在预设的第一目标亮度范围内和/或所述第二视频流的当前亮度是否在预设的第二目标亮度范围内；
若所述第一视频流的当前亮度在预设的第一目标亮度范围内和/或所述第二视频流的当前亮度在预设的第二目标亮度范围内，则
基于所述第一视频流的当前帧图像的亮度信息与所述第二视频流的当前帧图像的亮度信息，将所述第一视频流的当前帧图像与所述第二视频流的当前帧图像进行融合，获得亮度融合图像；以及
基于所述第一视频流的当前帧图像的色度信息，将所述第一视频流的当前帧图像与所述亮度融合图像进行图像融合，获得场景融合图像。
21.根据权利要求20所述的荧光内窥镜系统的控制方法，其特征在于，如果所述第一视频流的当前亮度不在所述第一目标亮度范围内，则调整第一曝光量以使所述第一视频流的当前亮度在所述第一目标亮度范围内，其中所述第一曝光量为第一曝光时间和第一增益的乘积；
如果所述第二视频流的当前亮度不在所述第二目标亮度范围内，则调整第二曝光量，以使所述第二视频流的当前亮度在所述第二目标亮度范围内，其中所述第二曝光量为第二曝光时间和第二增益的乘积。
22.根据权利要求21所述的荧光内窥镜系统的控制方法，其特征在于，当所述第一视频流的当前亮度低于所述第一目标亮度范围的下限值时，增大所述第一曝光量以调节所述第一视频流的当前亮度；
当所述第二视频流的当前亮度低于所述第二目标亮度范围的下限值时，增大所述第二曝光量以调节所述第二视频流的当前亮度。
23.根据权利要求22所述的荧光内窥镜系统的控制方法，其特征在于，所述增大所述第一曝光量以调节所述第一视频流的当前亮度，包括：
判断最大第一曝光时间和最小第一增益是否能够满足所述第一目标亮度范围内曝光量需求；
如果满足需求，则以最小第一增益为基础，调整所述第一曝光时间以使所述第一视频流的当前亮度处于所述第一目标亮度范围内；
如果不满足需求，则判断最大第一曝光时间和最大第一增益是否能够满足所述第一目标亮度范围内曝光量需求；
如果满足，则以所述最大第一曝光时间为基础，调整所述第一增益，以使所述第一视频流的当前亮度处于所述第一目标亮度范围内；
所述增大所述第二曝光量以调节所述第二视频流的当前亮度，包括：
判断最大第二曝光时间和最小第二增益是否能够满足所述第二目标亮度范围内曝光量需求；
如果满足需求，则以所述最小第二增益为基础，调整所述第二曝光时间以使所述第二视频流的当前亮度处于所述第二目标亮度范围内；
如果不满足需求，则判断最大第二曝光时间和最大第二增益是否能够满足所述第二目标亮度范围内曝光量需求；
如果满足，则以所述最大第二曝光时间为基础，调整所述第二增益，以使所述第二视频流的当前亮度处于所述第二目标亮度范围内。
24.根据权利要求21所述的荧光内窥镜系统的控制方法，其特征在于，当所述第一视频流的当前亮度高于所述第一目标亮度范围的上限值时，减小所述第一曝光量以调节所述第一视频流的当前亮度；
当所述第二视频流的当前亮度高于所述第二目标亮度范围的上限值时，减小所述第二曝光量以调节所述第二视频流的当前亮度。
25.根据权利要求24所述的荧光内窥镜系统的控制方法，其特征在于，所述减小所述第一曝光量以调节所述第一视频流的当前亮度，包括：
判断最大第一曝光时间和最小第一增益是否能够满足所述第一目标亮度范围内曝光量需求；
如果满足，则以所述最大第一曝光时间为基础，调整所述第一增益，以使所述第一视频流的当前亮度处于所述第一目标亮度范围内；
如果不满足，则判断最小第一曝光时间和最小第一增益是否满足所述第一目标亮度范围内曝光量需求；
如果满足，则以所述最小第一增益为基础，调整所述第一曝光时间，以使所述第一视频流的当前亮度处于所述第一目标亮度范围内；
所述减小所述第二曝光量以调节所述第二视频流的当前亮度，包括：
判断最大第二曝光时间和最小第二增益是否能够满足所述第二目标亮度范围内曝光量需求；
如果满足，则以所述最大第二曝光时间为基础，调整所述第二增益，以使所述第二视频流的当前亮度处于所述第二目标亮度范围内；
如果不满足，则判断最小第二曝光时间和最小第二增益是否满足所述第二目标亮度范围内曝光量需求；
如果满足，则以所述最小第二增益为基础，调整所述第二曝光时间，以使所述第二视频流的当前亮度处于所述第二目标亮度范围内。
26.根据权利要求21所述的荧光内窥镜系统的控制方法，其特征在于，如果通过调整所述第一增益和所述第一曝光时间，不能使所述第一视频流的当前亮度在所述第一目标亮度范围内时，则调整用于提供所述可见光的第一光源模组的输出功率，以使所述第一视频流的当前亮度在所述第一目标亮度范围内；
如果通过调整所述第二增益和所述第二曝光时间，不能使所述第二视频流的当前亮度在所述第二目标亮度范围内时，则调整用于提供所述近红外光的第三光源模组的输出功率，以使所述第二视频流的当前亮度在所述第二目标亮度范围内。
27.根据权利要求20所述的荧光内窥镜系统的控制方法，其特征在于，所述基于所述第一视频流的当前帧图像的亮度信息与所述第二视频流的当前帧图像的亮度信息，将所述第一视频流的当前帧图像与所述第二视频流的当前帧图像进行融合，获得亮度融合图像，包括：
基于所述第一视频流的当前帧图像的亮度信息与所述第二视频流的当前帧图像的亮度信息，对所述第一视频流的当前帧图像的像素点和对应的所述第二视频流的当前帧图像的像素点进行图像融合，获得亮度融合图像。
28.根据权利要求20所述的荧光内窥镜系统的控制方法，其特征在于，所述基于所述第一视频流的当前帧图像的色度信息，将所述第一视频流的当前帧图像与所述亮度融合图像进行图像融合，获得场景融合图像，包括：
将所述第一视频流的当前帧图像的像素点的色度信息，赋予给所述亮度融合图像对应的像素点作为对应像素点的色度。
29.根据权利要求20所述的荧光内窥镜系统的控制方法，其特征在于，若所述第一视频流的输出格式为RAW格式或者RGB格式，则在将所述第一视频流的当前帧图像与所述第二视频流的当前帧图像进行融合之前，所述控制方法还包括：
将所述第一视频流的当前帧图像转换至YUV空间或者YCbCr空间内。
30.根据权利要求27所述的荧光内窥镜系统的控制方法，其特征在于，所述基于所述第一视频流的当前帧图像的亮度信息与所述第二视频流的当前帧图像的亮度信息，对所述第一视频流的当前帧图像的像素点和对应的所述第二视频流的当前帧图像的像素点进行图像融合，包括：
根据预设的关于亮度值与权重的正态分布、所述第一视频流的当前帧图像的像素点的亮度以及对应的所述第二视频流的当前帧图像的像素点的亮度，分别获取所述第一视频流的当前帧图像中的像素点的亮度的权重以及对应的所述第二视频流的当前帧图像中的像素点的亮度的权重；
根据获取的所述第一视频流的当前帧图像中的像素点的亮度的权重以及对应的所述第二视频流的当前帧图像中的像素点的亮度的权重，分别对所述第一视频流的当前帧图像的像素点的亮度与对应的所述第二视频流的当前帧图像的像素点的亮度进行加权，获得亮度融合图像的像素点的亮度。
31.根据权利要求20所述的荧光内窥镜系统的控制方法，所述内窥镜为三维内窥镜；
所述获取目标组织的可见光场景图像和近红外光场景图像，并分别以第一视频流和第二视频流的形式输出，包括：
获取目标组织的第一可见光场景图像、第二可见光场景图像、第一近红外光场景图像和第二近红外光场景图像，并分别以第一可见光视频流、第二可见光视频流、第一近红外光视频流和第二近红外光视频流的形式输出；
所述判断所述第一视频流的当前亮度是否在预设的第一目标亮度范围内，包括：
判断所述第一可见光视频流和/或所述第二可见光视频流的当前亮度是否在预设的第一目标亮度范围内；
所述判断所述第二视频流的当前亮度是否在预设的第二目标亮度范围内，包括：
判断所述第一近红外光视频流和/或所述第二近红外光视频流的当前亮度是否在预设的第二目标亮度范围内；
所述基于所述第一视频流的当前帧图像的亮度信息与所述第二视频流的当前帧图像的亮度信息，将所述第一视频流的当前帧图像与所述第二视频流的当前帧图像进行融合，获得亮度融合图像，包括：
基于所述第一可见光视频流的当前帧图像的亮度信息与所述第一近红外光视频流的当前帧图像的亮度信息，将所述第一可见光视频流的当前帧图像与所述第一近红外光视频流的当前帧图像进行融合，获得第一亮度融合图像，基于所述第二可见光视频流的当前帧图像的亮度信息与所述第二近红外光视频流的当前帧图像的亮度信息，将所述第二可见光视频流的当前帧图像与所述第二近红外光视频流的当前帧图像进行融合，获得第二亮度融合图像；
所述基于所述第一视频流的当前帧图像的色度信息，将所述第一视频流的当前帧图像与所述亮度融合图像进行图像融合，获得场景融合图像，包括：
基于所述第一可见光视频流的当前帧图像的色度信息，将所述第一可见光视频流的当前帧图像与所述第一亮度融合图像进行图像融合，获得第一场景融合图像，基于所述第二可见光视频流的当前帧图像的色度信息，将所述第二可见光视频流的当前帧图像与所述第二亮度融合图像进行图像融合，获得第二场景融合图像。
32.一种存储介质，其特征在于：所述存储介质内存储有计算机程序，所述计算机程序在被处理器执行时实现如权利要求20至31中任一项所述的控制方法。
CN202011309665.2A 2020-11-20 2020-11-20 荧光内窥镜系统、控制方法和存储介质 Active CN114027765B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202011309665.2A CN114027765B (zh) 2020-11-20 2020-11-20 荧光内窥镜系统、控制方法和存储介质
EP21894049.2A EP4248835A4 (en) 2020-11-20 2021-11-19 FLUORESCENCE DOSCOPIC SYSTEM, CONTROL METHODS AND STORAGE MEDIUM
PCT/CN2021/131950 WO2022105902A1 (zh) 2020-11-20 2021-11-19 荧光内窥镜系统、控制方法和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011309665.2A CN114027765B (zh) 2020-11-20 2020-11-20 荧光内窥镜系统、控制方法和存储介质

Publications (2)

Publication Number Publication Date
CN114027765A CN114027765A (zh) 2022-02-11
CN114027765B true CN114027765B (zh) 2023-03-24

Family

ID=80134135

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011309665.2A Active CN114027765B (zh) 2020-11-20 2020-11-20 荧光内窥镜系统、控制方法和存储介质

Country Status (3)

Country Link
EP (1) EP4248835A4 (zh)
CN (1) CN114027765B (zh)
WO (1) WO2022105902A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115100147B (zh) * 2022-06-24 2023-10-24 华中科技大学协和深圳医院 一种智能切换的脊柱内镜系统、装置和计算机可读介质

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8498695B2 (en) * 2006-12-22 2013-07-30 Novadaq Technologies Inc. Imaging system with a single color image sensor for simultaneous fluorescence and color video endoscopy
DE102009024943A1 (de) * 2009-06-10 2010-12-16 W.O.M. World Of Medicine Ag Bildgebungssystem und Verfahren zur fluoreszenz-optischen Visualisierung eines Objekts
CN103300812A (zh) * 2013-06-27 2013-09-18 中国科学院自动化研究所 基于内窥镜的多光谱视频导航系统和方法
KR101852181B1 (ko) * 2016-07-11 2018-04-25 을지대학교 산학협력단 복강경 수술용 융합영상장치
CN107744382A (zh) * 2017-11-20 2018-03-02 北京数字精准医疗科技有限公司 光学分子影像导航系统
CN108040243B (zh) * 2017-12-04 2019-06-14 南京航空航天大学 多光谱立体视觉内窥镜装置及图像融合方法
CN108198161A (zh) * 2017-12-29 2018-06-22 深圳开立生物医疗科技股份有限公司 一种双摄像头图像的融合方法、装置及设备
CN108185974A (zh) * 2018-02-08 2018-06-22 北京数字精准医疗科技有限公司 一种内窥式荧光超声融合造影导航系统
AU2019243317A1 (en) * 2018-03-30 2020-10-15 Blaze Bioscience, Inc. Systems and methods for simultaneous near-infrared light and visible light imaging
CN110893095A (zh) * 2018-09-12 2020-03-20 上海逸思医学影像设备有限公司 一种用于可见光和激发荧光实时成像的系统和方法
CN109618099B (zh) * 2019-01-10 2021-01-08 深圳英飞拓科技股份有限公司 双光谱摄像机图像融合方法及装置
WO2020198315A1 (en) * 2019-03-26 2020-10-01 East Carolina University Near-infrared fluorescence imaging for blood flow and perfusion visualization and related systems and computer program products
CN109924938A (zh) * 2019-03-26 2019-06-25 华中科技大学苏州脑空间信息研究院 外置式双光源阴道镜成像系统
CN110811498A (zh) * 2019-12-19 2020-02-21 中国科学院长春光学精密机械与物理研究所 可见光和近红外荧光3d融合图像内窥镜系统
CN111818707B (zh) * 2020-07-20 2022-07-15 浙江华诺康科技有限公司 荧光内窥镜曝光参数调整的方法、设备和荧光内窥镜
CN111803013A (zh) * 2020-07-21 2020-10-23 深圳市博盛医疗科技有限公司 一种内窥镜成像方法和内窥镜成像系统
CN111948798B (zh) * 2020-08-21 2022-04-01 上海微创医疗机器人（集团）股份有限公司 内窥镜系统及用于检测内窥镜的末端与组织接触的方法

Also Published As

Publication number Publication date
WO2022105902A1 (zh) 2022-05-27
EP4248835A4 (en) 2024-04-17
EP4248835A1 (en) 2023-09-27
CN114027765A (zh) 2022-02-11

Similar Documents

Publication Publication Date Title
US10335014B2 (en) Endoscope system, processor device, and method for operating endoscope system
JP5690790B2 (ja) 内視鏡システム及び内視鏡システムの作動方法
JP7021183B2 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
US20180220052A1 (en) Temporal Modulation of Fluorescence Imaging Color Channel for Improved Surgical Discrimination
CN105266750B (zh) 医用图像处理装置及其工作方法、以及内窥镜系统
CN105212885B (zh) 医用图像处理装置及其工作方法、以及内窥镜系统
CN105310633B (zh) 医用图像处理装置及其工作方法、以及内窥镜系统
JP5892985B2 (ja) 内視鏡システム及びプロセッサ装置並びに作動方法
WO2017183324A1 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
WO2017110180A1 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
CN112243091B (zh) 三维内窥镜系统、控制方法和存储介质
US10285631B2 (en) Light source device for endoscope and endoscope system
US10278628B2 (en) Light source device for endoscope and endoscope system
JP2022162028A (ja) 内視鏡画像処理装置、内視鏡システム、内視鏡画像処理装置の作動方法、内視鏡画像処理プログラム及び記憶媒体
JP5715602B2 (ja) 内視鏡システム及び内視鏡システムの作動方法
JP2016007355A (ja) 光源装置、内視鏡システム、光源装置の作動方法、及び内視鏡システムの作動方法
JP2010075368A (ja) 電子内視鏡装置および方法並びにプログラム
JP2014064778A (ja) 内視鏡システム及びそのプロセッサ装置並びに内視鏡画像の表示制御方法
CN114027765B (zh) 荧光内窥镜系统、控制方法和存储介质
WO2020054255A1 (ja) 内視鏡装置、内視鏡プロセッサ、及び内視鏡装置の操作方法
JP6081622B2 (ja) 内視鏡システム及びプロセッサ装置並びに内視鏡システムの作動方法
WO2020067100A1 (ja) 医用画像処理装置、プロセッサ装置、医用画像処理方法、及びプログラム
JP6580778B2 (ja) 内視鏡画像信号処理装置およびプログラム
WO2022210508A1 (ja) プロセッサ装置、医療画像処理装置、及び医療画像処理システム、並びに内視鏡システム
WO2023119795A1 (ja) 内視鏡システム及びその作動方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220510

Address after: 201203 room 207, floor 2, building 1, No. 1601, Zhangdong Road, China (Shanghai) pilot Free Trade Zone, Pudong New Area, Shanghai (actual floor 3)

Applicant after: Shanghai Weimi Medical Instrument Co.,Ltd.

Address before: Room 101, block B, building 1, No. 1601, Zhangdong Road, China (Shanghai) pilot Free Trade Zone, Pudong New Area, Shanghai, 201203

Applicant before: Shanghai minimally invasive medical robot (Group) Co.,Ltd.

GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230619

Address after: Room 101, block B, building 1, No. 1601, Zhangdong Road, China (Shanghai) pilot Free Trade Zone, Pudong New Area, Shanghai, 201203

Patentee after: Shanghai minimally invasive medical robot (Group) Co.,Ltd.

Address before: 201203 room 207, floor 2, building 1, No. 1601, Zhangdong Road, China (Shanghai) pilot Free Trade Zone, Pudong New Area, Shanghai (actual floor 3)

Patentee before: Shanghai Weimi Medical Instrument Co.,Ltd.