CN113208567A - 多光谱成像系统、成像方法和存储介质 - Google Patents

多光谱成像系统、成像方法和存储介质 Download PDF

Info

Publication number
CN113208567A
CN113208567A CN202110633622.8A CN202110633622A CN113208567A CN 113208567 A CN113208567 A CN 113208567A CN 202110633622 A CN202110633622 A CN 202110633622A CN 113208567 A CN113208567 A CN 113208567A
Authority
CN
China
Prior art keywords
image
visible light
fluorescence
module
target tissue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110633622.8A
Other languages
English (en)
Inventor
张葵阳
何超
曹伦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Microport Medbot Group Co Ltd
Original Assignee
Shanghai Microport Medbot Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Microport Medbot Group Co Ltd filed Critical Shanghai Microport Medbot Group Co Ltd
Priority to CN202110633622.8A priority Critical patent/CN113208567A/zh
Publication of CN113208567A publication Critical patent/CN113208567A/zh
Priority to PCT/CN2022/097521 priority patent/WO2022257946A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0646—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/07—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0071—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Signal Processing (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Endoscopes (AREA)

Abstract

本发明提供了一种多光谱成像系统、成像方法和存储介质，所述成像系统包括镜头模块、照明模块、图像获取模块和图像处理模块；照明模块用于分时向目标组织发射可见光和激励光，以使目标组织将可见光反射以及使目标组织受激励光激发发射出荧光；镜头模块用于分时采集经目标组织反射的可见光以及目标组织受激辐射的荧光；图像获取模块用于分时接收经镜头模块采集的可见光和荧光，以获取可见光图像和荧光图像；图像处理模块用于对可见光图像以及荧光图像进行处理，以获取融合图像。本发明通过多波段融合图像，可以清晰地看到病灶与正常组织的区别，且细节更加清晰，使得在切割组织时更加准确、更加安全。

Description

多光谱成像系统、成像方法和存储介质
技术领域
本发明涉及光学成像技术领域，特别涉及一种多光谱成像系统、成像方法和存储介质。
背景技术
随着医疗技术的不断发展，内窥镜作为集中传统光学、人体工程学、精密机械、现代电子、数学、软件等于一体的检测仪器，应用范围越来越广。内窥镜可以进入待检测者的体内(例如食道)，以获取待检测部位的图像，进而确定待检测部位是否存在病变。利用内窥镜可以看到X射线不能显示的病变，因此它对医生非常有用。
当前最广泛应用于微创手术机器人中的内窥镜，只有可见光波段成像，在一些手术中无法有效区分病灶和正常组织形态，不能给主刀医生提供更好的引导提示辅助。
生物实验表明，当患者组织注射特定化学物质时，并照射特定波段光源，病变组织会受激发射特定波段的辐射光，而正常组织不会有这样的受激辐射，利用这种特性，可以区分病灶组织和正常组织。因此多波段成像技术引入到微创手术机器人中的内窥镜上成为可能。
现有技术中，在采用多波段成像时，由于不同的波段之间会产生干扰，这大大影响了最终的多波段融合图像的质量。
需要说明的是，公开于该发明背景技术部分的信息仅仅旨在加深对本发明一般背景技术的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。
发明内容
本发明的目的在于提供一种多光谱成像系统、成像方法和存储介质，可以获得清晰的多波段融合图像。
为达到上述目的，本发明提供一种多光谱成像系统，包括：照明模块、镜头模块、图像获取模块和图像处理模块；
所述照明模块用于分时向目标组织发射可见光和激励光，以使所述目标组织将所述可见光反射以及使所述目标组织受所述激励光激发发射出荧光；
所述镜头模块用于分时采集经所述目标组织反射的可见光以及所述目标组织受激辐射的荧光；
所述图像获取模块用于分时接收经所述镜头模块采集的可见光和荧光，以获取可见光图像和荧光图像；
所述图像处理模块用于对所述可见光图像以及所述荧光图像进行处理，以获取融合图像。
可选的，所述图像获取模块用于将所述可见光图像和所述荧光图像分别以可见光视频流和荧光视频流的形式输出；
所述图像处理模块用于对所述可见光视频流中的各帧可见光图像以及所述荧光视频流中的各帧荧光图像进行图像信号处理，并将经图像信号处理后的对应帧的所述可见光图像、所述荧光图像进行融合，以获取融合图像，并以视频流的形式输出。
可选的，所述多光谱成像系统还包括带通滤波模块，所述带通滤波模块设于所述镜头模块和所述图像获取模块之间，所述带通滤波模块用于允许所述可见光和所述荧光通过，并阻止可见光波段和荧光波段以外的其它波段的光；
所述图像获取模块用于分时接收通过所述带通滤波模块的可见光和荧光，以获取可见光图像和荧光图像。
可选的，所述多光谱成像系统还包括棱镜模块，所述带通滤波模块位于所述镜头模块和所述棱镜模块之间。
可选的，所述图像获取模块包括RGBNIR图像传感器，所述RGBNIR图像传感器用于分时接收经所述镜头模块采集的可见光和荧光，以获取可见光图像和荧光图像。
可选的，所述照明模块包括光源单元和照明控制器，在所述照明控制器的控制下，所述光源单元能够分时向所述目标组织发射可见光和激励光。
可选的，所述光源单元包括第一光源模组和第二光源模组，所述第一光源模组用于向所述目标组织发射可见光，所述第二光源模组用于向所述目标组织发射激励光。
可选的，所述照明控制器包括第一控制单元、第二控制单元和第三控制单元；
所述第一控制单元用于控制所述第一光源模组和所述第二光源模组的输出能量强度；
所述第二控制单元用于控制所述第一光源模组和所述第二光源模组的开启与关闭；
所述第三控制单元用于控制所述第一光源模组和所述第二光源模组的开启频率。
可选的，所述图像处理模块包括可见光图像处理单元、荧光图像处理单元、二值化处理单元和图像融合单元；
所述可见光图像处理单元用于对所述可见光图像进行第一图像信号处理；
所述荧光图像处理单元用于对所述荧光图像进行第二图像信号处理；
所述二值化处理单元用于对经第二图像信号处理后的所述荧光图像进行二值化处理，以获取对应的掩膜；
所述图像融合单元用于将所述掩膜与经第一图像信号处理后的所述可见光图像进行融合，以获取融合图像。
可选的，所述图像融合单元用于对所述可见光图像中的与所述掩膜中的像素值不为0的像素点对应的像素点进行着色标识，以获取融合图像。
可选的，所述镜头模块包括第一镜头和第二镜头，所述第一镜头用于分时沿第一光路采集经所述目标组织反射的可见光以及所述目标组织受激辐射的荧光，所述第二镜头用于分时沿第二光路采集经所述目标组织反射的可见光以及所述目标组织受激辐射的荧光；
所述图像获取模块包括第一图像获取单元和第二图像获取单元，所述第一图像获取单元用于分时接收经所述第一镜头采集的可见光和荧光，以获取第一可见光图像和第一荧光图像，所述第二图像获取单元用于分时接收经所述第二镜头采集的可见光和荧光，以获取第二可见光图像和第二荧光图像；
所述图像处理模块包括第一图像处理单元、第二图像处理单元和叠加单元；所述第一图像处理单元用于对所述第一可见光图像以及所述第一荧光图像进行处理，以获取第一融合图像；所述第二图像处理单元用于对所述第二可见光图像以及所述第二荧光图像进行处理，以获取第二融合图像；所述叠加单元用于对所述第一融合图像和所述第二融合图像进行配准，并将配准后的所述第一融合图像和所述第二融合图像进行叠加，以生成三维图像并输出。
为达到上述目的，本发明还提供一种多光谱成像方法，所述多光谱成像方法包括：
分时向目标组织发射可见光和激励光，以使所述目标组织将所述可见光反射以及使所述目标组织受所述激励光激发发射出荧光；
分时接收经所述目标组织反射的可见光以及所述目标组织受激辐射的荧光，以获取可见光图像和荧光图像；
对所述可见光图像以及所述荧光图像进行处理，以获取融合图像。
可选的，所述对所述可见光图像以及所述荧光图像进行处理，以获取融合图像，包括：
对所述可见光图像进行第一图像信号处理以及对所述荧光图像进行第二图像信号处理；
对经第二图像信号处理后的所述荧光图像进行二值化处理，以获取对应的掩膜；
将所述掩膜与经第一图像信号处理后的所述可见光图像进行融合，以获取融合图像。
可选的，所述将所述掩膜与经第一图像信号处理后的所述可见光图像进行融合，以获取融合图像，包括：
对所述可见光图像中的与所述掩膜中的像素值不为0的像素点对应的像素点进行着色标识，以获取融合图像。
可选的，所述分时接收经所述目标组织反射的可见光以及所述目标组织受激辐射的荧光，以获取可见光图像和荧光图像，包括：
分别沿第一光路和第二光路分时接收经所述目标组织反射的可见光以及所述目标组织受激辐射的荧光，以获取第一可见光图像、第二可见光图像、第一荧光图像和第二荧光图像；
所述对所述可见光图像以及所述荧光图像进行处理，以获取融合图像，包括：
对所述第一可见光图像和所述第一荧光图像进行处理，以获取第一融合图像，以及对所述第二可见光图像和所述第二荧光图像进行处理，以获第二融合图像；
在获取第一融合图像和第二融合图像后，所述多光谱成像方法包括：
对所述第一融合图像和所述第二融合图像进行配准，并将配准后的所述第一融合图像和所述第二融合图像进行叠加，以生成三维图像并输出。
为达到上述目的，本发明还提供一种可读存储介质，所述可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时，实现上文所述的多光谱成像方法。
与现有技术相比，本发明提供的多光谱成像系统、成像方法和存储介质具有以下优点：
(1)本发明通过分时向目标组织发射可见光和激励光，以分时获取可见光图像和荧光图像，再对所述可见光图像和所述荧光图像进行处理，以获取多波段融合图像，由此，通过所获取的多波段融合图像，可以区分不同组织状态，使得医生能够观察到单一波段条件下无法观察到的组织信息。通过所述多波段融合图像，可以清晰地看到病灶与正常组织的区别，且细节更加清晰，使得在切割组织时更加准确、更加安全。
(2)本发明采用带通滤波模块进行杂波阻止，可见光和荧光通过，可以有效提高输入信号的信噪比，进一步提高了所获取的多波段融合图像的图像质量。
(3)本发明通过采用近红外波段QE(量子效率)较高的RGBNIR图像传感器，分时采集可见光图像和荧光图像，可以获取高质量的可见光图像和荧光图像，进一步提高了所获取的多波段融合图像的图像质量。
(4)本发明通过获取三维图像，可以使得医生能够看到手术视野中目标组织的三维立体信息，从而使得医生具有更真实、更清晰的视觉效果，更加有利于医生进行手术判断、器械的准确控制，极大地提高了手术效率和手术过程中的安全性。
(5)本发明采用分时控制成像系统，对于系统软件部分，可以提高控制的灵活性；对于系统硬件部分，极大地降低了系统硬件的复杂性，使得整个系统更加灵巧，更加便于内窥镜与微创手术机器人的系统整合。
附图说明
图1为本发明一实施方式中的多光谱成像系统的方框结构示意图；
图2为本发明一实施方式中的内窥镜镜管近端的截面示意图；
图3为本发明一实施方式中的内窥镜镜管近端的立体示意图；
图4为本发明一实施方式中的内窥镜镜管近端的剖面示意图；
图5为本发明一实施方式中的第一成像光路示意图；
图6为本发明一实施方式中的第二成像光路示意图；
图7为本发明一实施方式中的RGBNIR图像传感器对不同波段的光的量子效率示意图；
图8为本发明一实施方式中的照明模块与图像获取模块之间的连接关系结构示意图；
图9为本发明一实施方式中的带通滤波模块的光谱图；
图10为本发明一实施方式中的图像处理模块的方框结构示意图；
图11为本发明一实施方式中的可见光图像处理单元的工作流程示意图；
图12为本发明一实施方式中的荧光图像处理单元的工作流程示意图；
图13为本发明一实施方式中的第一图像处理单元的方框结构示意图；
图14为本发明一实施方式中的第二图像处理单元的方框结构示意图；
图15为本发明一实施方式中的第一视频流与第二视频流的叠加示意图；
图16为本发明另一实施方式中的第一视频流与第二视频流的叠加示意图；
图17为本发明一实施方式中的多光谱成像方法的流程示意图；
图18为本发明一实施方式中的图像融合流程示意图。
其中，附图标记如下：
照明模块-100；光源单元-110；照明控制器-120；第一光源模组-111；第二光源模组-112；第一控制单元-121；第二控制单元-122；第三控制单元-123；
镜头模块-200；第一镜头-210；第二镜头-220；第一透镜-211；第二透镜-221；出光面-212、222；
图像获取模块-300；第一图像获取单元-310；第二图像获取单元-320；感光面-311、321；
图像处理模块-400；可见光图像处理单元-410；荧光图像处理单元-420；二值化处理单元-430；图像融合单元-440；第一图像处理单元-450；第二图像处理单元-460；叠加单元-470；第一可见光图像处理单元-410a；第一荧光图像处理单元-420a；第一二值化处理单元-430a；第一图像融合单元-440a；第二可见光图像处理单元-410b；第二荧光图像处理单元-420b；第二二值化处理单元-430b；第二图像融合单元-440b；
照明通道-500；
带通滤波模块-600；第一带通滤波器-610；第二带通滤波器-620；
棱镜模块-700；第一棱镜-710；第二棱镜-720；
入光面-711、721；反射面-712、722；出光面-212、222、713、723；
第一视频流-810；第二视频流-820。
具体实施方式
以下结合附图1至18和具体实施方式对本发明提出的多光谱成像系统、成像方法作进一步详细说明。根据下面说明，本发明的优点和特征将更清楚。需要说明的是，附图采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施方式的目的。为了使本发明的目的、特征和优点能够更加明显易懂，请参阅附图。须知，本说明书所附图式所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明实施的限定条件，任何结构的修饰、比例关系的改变或大小的调整，在与本发明所能产生的功效及所能达成的目的相同或近似的情况下，均应仍落在本发明所揭示的技术内容能涵盖的范围内。本文所公开的本发明的具体设计特征包括例如具体尺寸、方向、位置和外形将部分地由具体所要应用和使用的环境来确定。以及，在以下说明的实施方式中，有时在不同的附图之间共同使用同一附图标记来表示相同部分或具有相同功能的部分，而省略其重复说明。在本说明书中，使用相似的标号和字母表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。另外，如果本文所述的方法包括一系列步骤，且本文所呈现的这些步骤的顺序并非必须是可执行这些步骤的唯一顺序，且一些所述的步骤可被省略和/或一些本文未描述的其他步骤可被添加到该方法。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本发明的主要目的在于提供一种多光谱成像系统、成像方法和存储介质，可以获得清晰的多波段融合图像。需要说明的是，虽然本发明是以将该多光谱成像系统、成像方法和存储介质应用于内窥镜上为例进行说明，但是如本领域技术人员所能理解的，所述多光谱成像系统、成像方法和存储介质还可以应用于其它具有成像功能的装置上，例如安检设备上，本发明对此并不进行限定。
需要说明的是，本发明实施方式的多光谱成像方法可应用于本发明实施方式的多光谱成像系统。本发明中所称的近端是指靠近患者的一端，所称的远端是指靠近操作者的一端。
为实现上述目的，本发明提供一种多光谱成像系统，请参考图1，其示意性地给出了本发明一实施方式提供的多光谱成像系统的方框结构示意图。如图1所示，所述多光谱成像系统包括照明模块100、镜头模块200、图像获取模块300和图像处理模块400。
其中，所述照明模块100用于分时向目标组织发射可见光和激励光，以使所述目标组织将所述可见光反射以及使所述目标组织受所述激励光激发发射出荧光。具体地，所述可见光的波长可以为400-690nm，所述激励光的波长可以为780-820nm，所述荧光的波长可以为820-860nm。
需要说明的是，本发明对照明模块100的具体位置没有特别的限制。例如，当所述多光谱成像系统应用于内窥镜上时，所述照明模块100提供的可见光和激励光可以通过容纳于内窥镜的照明通道500中的连接器输送至内窥镜的末端并到达目标组织，所述连接器例如为光纤，由此通过采用光纤进行可见光和激励光的传输，能够有助于形成均匀光场，提高成像质量。进一步地，请参考图2和图3，其中，图2示意性地给出了本发明一实施方式提供的内窥镜镜管近端的截面示意图，图3示意性地给出了本发明一实施方式提供的内窥镜镜管近端的立体示意图。如图2和图3所示，为了能够进一步形成均匀光场，所述照明通道500包括对称分布在所述镜头模块200两侧的两路连接器(例如，光纤)。
具体地，如图1所示，所述照明模块100包括光源单元110和照明控制器120，在所述照明控制器120的控制下，所述光源单元110能够分时向所述目标组织发射可见光和激励光。由此，操作者可以通过控制所述照明控制器120，以使得所述光源单元110能够分时向所述目标组织发射可见光和激励光。
进一步地，如图1所示，所述光源单元110包括第一光源模组111和第二光源模组112，所述第一光源模组111用于向所述目标组织发射可见光，所述第二光源模组112用于向所述目标组织发射激励光。由此，当所述第一光源模组111开启，所述第二光源模组112关闭时，通过所述第一光源模组111能够向所述目标组织发射可见光；当所述第二光源模组112开启，所述第一光源模组111关闭时，通过所述第二光源模组112能够向所述目标组织发射激励光，进而通过让所述第一光源模组111与所述第二光源模组112分时开启，即可通过所述光源单元110分时向所述目标组织发射可见光和激励光。
更进一步地，如图1所示，所述照明控制器120包括第一控制单元121、第二控制单元122和第三控制单元123；所述第一控制单元121用于控制所述第一光源模组111和所述第二光源模组112的输出能量强度；所述第二控制单元122用于控制所述第一光源模组111和所述第二光源模组112的开启与关闭；所述第三控制单元123用于控制所述第一光源模组111和所述第二光源模组112的开启频率。由此，通过所述第一控制单元121可以根据实际需要控制所述第一光源模组111输出的可见光的能量强度以及所述第二光源模组112输出的激励光的能量强度，以进一步提高成像质量。通过所述第二控制单元122可以控制所述第一光源模组111和所述第二光源模组112的工作状态，以使得所述光源单元110能够分时向所述目标组织发射可见光和激励光。通过所述第三控制单元123可以控制所述第一光源模组111和所述第二光源模组112的开启频率，以使得所述光源单元110能够以一定的频率分时向所述目标组织发射可见光和激励光。
所述镜头模块200用于分时采集经所述目标组织反射的可见光以及受激辐射的荧光。由此，当所述照明模块100向所述目标组织发射可见光时，通过所述镜头模块200可以采集经所述目标组织反射的可见光；当所述照明模块100向所述目标组织发射激励光时，通过所述镜头模块200可以采集所述目标组织受激发所产生的荧光。
请参考图1至图4，其中，图4示意性地给出了本发明一实施方式提供的内窥镜镜管近端的剖面示意图。如图1至图4所示，当所述内窥镜为三维内窥镜时，所述镜头模块200包括第一镜头210和第二镜头220，所述第一镜头210用于分时沿第一光路采集经所述目标组织反射的可见光以及所述目标组织受激辐射的荧光，所述第二镜头220用于分时沿第二光路采集经所述目标组织反射的可见光以及受激辐射的荧光。由此，当所述照明模块100向所述目标组织发射可见光时，通过所述第一镜头210可以沿第一光路采集经所述目标组织反射的可见光，通过所述第二镜头220可以沿第二光路采集经所述目标组织反射的可见光；当所述照明模块100向所述目标组织发射激励光时，通过所述第一镜头210可以沿第一光路采集所述目标组织受激发所产生的荧光，通过所述第二镜头220可以沿第二光路采集所述目标组织受激发所产生的荧光。
请参考图5和图6，其中，图5示意性地给出了本发明一实施方式提供的第一成像光路示意图；图6示意性地给出了本发明一实施方式提供的第二成像光路示意图。如图5所示，所述第一镜头210包括多个沿第一光路依次设置的第一透镜211。如图6所示，所述第二镜头220包括多个沿第二光路依次设置的第二透镜221。
所述图像获取模块300用于分时接收经所述镜头模块200采集的可见光和荧光，以获取可见光图像和荧光图像。具体地，所获取的多幅可见光图像可以可见光视频流的形式输出，所获取的多幅荧光图像可以荧光视频流的形式输出。由此，当所述照明模块100向所述目标组织发射可见光时，经所述目标组织反射的可见光可通过所述镜头模块200到达所述图像获取模块300处，以被所述图像获取模块300所捕获，以获得可见光图像，并以可见光视频流的形式输出。当所述照明模块100向所述目标组织发射激励光时，所述目标组织受所述激励光激发发射出的荧光可通过所述镜头模块200到达所述图像获取模块300处，以被所述图像获取模块300所捕获，以获得荧光图像，并以荧光视频流的形式输出。由于所述图像获取模块300是分时获取可见光图像和荧光图像的，由此，可以有效避免不同波段之间的相互干扰，有效消除成像噪声，使得所获取的可见光图像和荧光图像更加清晰，从而为后续获得清晰的多波段融合图像奠定良好的基础。此外，由于本发明提供的多光谱成像系统是采用分时控制成像的，因此，对于系统软件部分，可以大大提高控制的灵活性，对于系统硬件部分，极大地降低了系统硬件的复杂性，使得整个系统更加灵巧，更加便于内窥镜与微创手术机器人的系统整合。需要说明的是，在其它一些实施方式中，所获取的多幅可见光图像、多幅荧光图像也可不以视频流的形式输出，本发明对此并不进行限定。
具体地，所述图像获取模块300包括RGBNIR图像传感器(是指既能捕获可见光，以获取可见光图像，又能捕获近红外光(例如荧光)，获取近红外光图像(例如荧光图像)的图像传感器)，所述RGBNIR图像传感器用于分时接收经所述镜头模块200采集的可见光和荧光，以获取可见光图像和荧光图像，并可分别以可见光视频流和荧光视频流的形式输出。请参考图7，其示意性地给出了本发明一实施方式提供的RGBNIR图像传感器对不同波段的光的量子效率示意图。如图7所示，所述RGBNIR图像传感器不仅对可见光具有较高的量子效率，对近红外波段的荧光也具有较高的量子效率，由此，本发明通过采用RGBNIR图像传感器获取可见光图像和荧光图像，可以大大提高所获取的可见光图像和荧光图像的图像质量，为获得清晰的多波段融合图像提供良好的基础。此外，本发明通过采用同一图像传感器分时获取可见光图像和荧光图像，可以进一步简化内窥镜的整体结构，降低成本。
进一步地，如图1和图4所示，当所述内窥镜为三维内窥镜时，所述图像获取模块300包括第一图像获取单元310和第二图像获取单元320，其中，所述第一图像获取单元310用于分时接收经所述第一镜头210采集的可见光和荧光，以获取第一可见光图像和第一荧光图像，并可分别以第一可见光视频流和第一荧光视频流的形式输出，所述第二图像获取单元320用于分时接收经所述第二镜头采集的可见光和荧光，以获取第二可见光图像和第二荧光图像，并可分别以第二可见光视频流和第二荧光视频流的形式输出。由此，当所述照明模块100向所述目标组织发射可见光时，经所述第一镜头210采集的目标组织反射的可见光可到达所述第一图像获取单元310处，以被所述第一图像获取单元310所捕获，以获得第一可见光图像，并以第一可见光视频流的形式输出；经所述第二镜头220采集的目标组织反射的可见光可到达所述第二图像获取单元320处，以被所述第二图像获取单元320所捕获，以获得第二可见光图像，并以第二可见光视频流的形式输出。当所述照明模块100向所述目标组织发射激励光时，经所述第一镜头210采集的所述目标组织受所述激励光激发产生的荧光可到达所述第一图像获取单元310处，以被所述第一图像获取单元310所捕获，以获得第一荧光图像，并以第一荧光视频流的形式输出；经所述第二镜头220采集的所述目标组织受所述激励光激发产生的荧光可到达所述第二图像获取单元320处，以被所述第二图像获取单元320所捕获，以获得第二荧光图像，并以第二荧光视频流的形式输出。
需强调的是，在本实施方式中以“第一”和“第二”命名的部件，不代表部件之间的先后顺序关系。例如，第一可见光场景图像，可能是内窥镜左侧的可见光场景图像，可能是内窥镜右侧的可见光场景图像。
请参考图8，其示意性地给出了本发明一实施方式提供的照明模块与图像获取模块之间的连接关系结构示意图。如图8所示，通过将所述照明模块100与所述图像获取模块300相连，可以将所述照明模块100的分时控制策略传输给所述图像获取模块300，以使得所述图像获取模块300能够同步进行数据的采集。具体地，所述第一图像获取单元310通过一信号传输线路与所述照明模块100中的照明控制器120相连，所述第二图像获取单元320通过另一信号传输线路与所述照明控制器120相连，由此，所述照明控制器120能够将分时控制策略同时传递给所述第一图像获取单元310和所述第二图像获取单元320，以使得所述第一图像获取单元310和所述第二图像获取单元320能够同步进行数据的采集。
优选地，所述第一图像获取单元310和所述第二图像获取单元320均为RGBNIR图像传感器。由此，通过所述第一图像获取单元310可以分时获取清晰的第一可见光图像和第一荧光图像；通过所述第二图像获取单元320可以分时获取清晰的第二可见光图像和第二荧光图像。
请参考图1、图4、图5、图6和图9，其中，图9示意性地给出了本发明一实施方式提供的带通滤波模块的光谱图。如1、图4、图5、图6和图9所示，所述多光谱成像系统还包括带通滤波模块600，所述带通滤波模块600设于所述镜头模块200和所述图像获取模块300之间，所述带通滤波模块600用于允许所述可见光和所述荧光通过，并阻止可见光波段和荧光波段以外的其它波段的光。对应的，所述图像获取模块300用于分时接收通过所述带通滤波模块600的可见光和荧光，以获取可见光图像和荧光图像，并分别以可见光视频流和荧光视频流的形式输出。由此，本发明通过在所述镜头模块200和所述图像获取模块300之间设置带通滤波模块600，可以使得，当所述照明模块100向所述目标组织发射可见光时，只允许经所述目标组织反射的可见光依次通过所述镜头模块200、所述带通滤波模块600到达所述图像获取模块300处，而阻止其它波段的杂光到达所述图像获取模块300处，有效提高了输入至所述图像获取模块300的光信号的信噪比，进而提高了所述图像获取模块300所获取的可见光图像的图像质量；同理，当所述照明模块100向所述目标组织发射激励光时，只允许所述目标组织受激发产生的荧光依次通过所述镜头模块200、所述带通滤波模块600到达所述图像获取模块300处，而阻止其它波段的杂光到达所述图像获取模块300处，有效提高了输入至所述图像获取模块300的光信号的信噪比，进而提高了所述图像获取模块300所获取的荧光图像的图像质量。
进一步地，如图1所示，所述多光谱成像系统还包括棱镜模块700，所述带通滤波模块600设于所述镜头模块200和所述棱镜模块700之间，所述图像获取模块300的感光面邻近于所述棱镜模块700的出光面。由此，分时通过所述带通滤波模块600的可见光和荧光经可以依次经所述棱镜模块700的入光面、反射面和出光面到达所述图像获取模块300的感光面。具体地，在一些实施方式中，所述带通滤波模块600可直接采用胶水粘贴在所述棱镜模块700的入光面上或者所述镜头模块200的出光面上。如本领域技术人员所能理解的，在其它一些实施方式中，也可以通过直接在所述镜头模块200的出光面上镀膜以形成所述带通滤波模块600。
如图1、图4至图6所示，当所述内窥镜为三维内窥镜时，所述带通滤波模块600包括第一带通滤波器610和第二带通滤波器620，所述棱镜模块700包括第一棱镜710和第二棱镜720，所述第一带通滤波器610设于所述第一镜头210和所述第一棱镜710之间，所述第一棱镜710位于所述第一带通滤波器610和所述第一图像获取单元310之间，所述第二带通滤波器620位于所述第二镜头220和所述第二棱镜720之间，所述第二棱镜720位于所述第二带通滤波器620和所述第二图像获取单元320之间。由此，当所述照明模块100向所述目标组织发射可见光时，经所述第一镜头210采集的目标组织反射的可见光依次经所述第一带通滤波器610、所述第一棱镜710的入光面711、反射面712和出光面713，到达所述第一图像获取单元310的感光面311，以被所述第一图像获取单元310所捕获；经所述第二镜头220采集的目标组织反射的可见光依次经所述第二带通滤波器620、所述第二棱镜720的入光面721、反射面722和出光面723，到达所述第二图像获取单元320的感光面321，以被所述第二图像获取单元320所捕获。当所述照明模块100向所述目标组织发射激励光时，经所述第一镜头210采集的所述目标组织受所述激励光激发产生的荧光依次经所述第一带通滤波器610、所述第一棱镜710的入光面711、反射面712和出光面713，到达所述第一图像获取单元310的感光面311，以被所述第一图像获取单元310所捕获；经所述第二镜头220采集的所述目标组织受所述激励光激发产生的荧光依次经所述第二带通滤波器620、所述第二棱镜720的入光面721、反射面722和出光面723，到达所述第二图像获取单元320的感光面321，以被所述第二图像获取单元320所捕获。
需要说明的是，如本领域技术人员所能理解的，在一些实施方式中，所述第一带通滤波器610、所述第二带通滤波器620可均为单片的带通滤光片或多片(包括两片)的带通滤光片组。此时，所述第一带通滤波器610可直接采用胶水粘贴在所述第一棱镜710的入光面711上或者所述第一镜头210的出光面212上；所述第二带通滤波器620可以直接采用胶水粘贴在所述第二棱镜720的入光面721上或者所述第二镜头220的出光面222上。在其它一些实施方式中，可以通过直接在所述第一镜头210的出光面212上镀膜以形成所述第一带通滤波器610，在所述第二镜头220的出光面222上镀膜以形成所述第二带通滤波器620。
所述图像处理模块400用于对所述可见光图像以及所述荧光图像进行处理，以获取融合图像。进一步地，所述图像处理模块400用于对所述可见光图像以及所述荧光图像进行图像信号处理，并将经图像信号处理后的所述可见光图像、所述荧光图像进行融合，以获取融合图像。具体地，所述图像处理模块400用于对所述可见光视频流中的各帧可见光图像以及所述荧光视频流中的各帧荧光图像进行图像信号处理，并将经图像信号处理后的对应帧的所述可见光图像、所述荧光图像进行融合，以获取融合图像，并以视频流的形式输出。由于所述可见光图像和所述荧光图像是分时获取的，有效消除了多波段之间的相互干扰，成像噪声较小，由此所获取的可见光图像和荧光图像均较清晰，且在将对应帧的所述可见光图像和所述荧光图像进行融合之前，先对所述可见光图像和所述荧光图像进行图像信号处理，不仅可以将所述可见光图像和所述荧光图像转换成人眼可见的格式，还可以进一步提高所述可见光图像和所述荧光图像的清晰度，从而大大提高了最终获得的融合图像的清晰度，由此，通过所述融合图像可以使得医生能够区分不同组织状态，清晰地看到病灶与正常组织的区别，且通过本发明提供的多光谱成像系统所获得的融合图像细节更清晰，进而在切割组织时更加准确、更加安全。图像信号处理是指将图像传感器输出的Bayer格式的原始图像经过一系列的处理过程转换成YUV(或者RGB)格式的图像，以将图像传感器输出的图像转换成人眼可看的图像。
具体地，请参考图10，其示意性地给出了本发明一实施方式提供的图像处理模块的方框结构示意图。如图10所示，所述图像处理模块400包括可见光图像处理单元410、荧光图像处理单元420、二值化处理单元430和图像融合单元440。
其中，所述可见光图像处理单元410用于对所述可见光图像进行第一图像信号处理。具体地，所述可见光图像处理单元410用于对所述可见光视频流中的各帧可见光图像进行第一图像信号处理。请参考图11，其示意性地给出了本发明一实施方式提供的可见光图像处理单元的工作流程示意图。如图11所示，所述可见光图像处理单元410具体用于对所述可见光图像依次进行暗电流处理(黑电平校正)、坏点处理、镜头校正/增益、颜色插补、色差还原、伽马校正、降噪/锐化等处理。由此，通过所述可见光图像处理单元410对所述可见光图像进行第一图像信号处理，可以获得细节清晰的可见光图像，以为后续获取细节清晰的多波段融合图像奠定良好的基础。
具体地，在进行暗电流处理时，可以将可见光图像中的像素区的头几行作为不感光区，用于自动黑电平校正，其平均值作为校正值，然后下面区域的像素都减去此矫正值，就可以将黑电平矫正过来了。
坏点，是指像素阵列中与周围像素点的变化表现出明显不同的像素，坏点一般分为三类：第一类是死点，即一直表现为最暗值的点；第二类是亮点，即一直表现为最亮值的点；第三类是漂移点，就是变化规律与周围像素明显不同的像素点。通过在颜色插补之前进行坏点处理，可以有效防止坏点随着颜色插补的过程往外扩散。
由于相机在成像距离较远时，随着视场角慢慢增大，能够通过相机镜头的斜光束将慢慢减少，从而使得获得的图像中间比较亮，边缘比较暗，这个现象就是光学系统中的渐晕。由此，本发明通过对所述可见光图像进行镜头校正，可以有效消除渐晕带来的图像亮度不均对后续处理的影响。镜头校正的具体实现方法是：首先确定可见光图像中间亮度比较均匀的区域，该区域的像素不需要做矫正；以这个区域为中心，计算出各点由于衰减带来的图像变暗的速度，这样就可以计算出相应R、G、B通道的补偿因子(即增益)。
由于可见光中主要包含三种颜色信息，即R、G、B。由于像素只能感应光的亮度，不能感应光的强度，为了减小硬件和资源的消耗，需要使用一个滤光层，以使得每个像素点只能感应到一种颜色的光，因此需要复原该像素点其它两个通道的信息，寻找该点另外两个通道的值的过程就是颜色插补的过程，由于图像是连续变化的，因此一个像素点的R、G、B的值应该是与周围的像素点相联系的，因此可以利用其周围像素点的值来获得该点其它两个通道的值。在本实施方式中，可以利用该像素点周围像素的平均值来计算该点的插补值。
色彩还原主要是为了校正在滤光板各颜色块之间的颜色渗透带来的颜色误差，以获得最接近于物体(目标组织)真实颜色的图像。在本实施方式中，可以利用所述图像获取模块300的颜色校正矩阵(通过将图像获取模块300拍摄到的图像与标准图像进行比较，以计算得到颜色校正矩阵)来对所述可见光图像进行颜色校正。
伽马校正是对图像的伽马曲线进行编辑，以检出图像信号中的深色部分和浅色部分，并使两者比例增大，从而提高图像对比度效果，以对图像进行非线性色调编辑。当用于校正的伽马值大于1时，图像较亮的部分被压缩，较暗的部分被扩展；而伽马值小于1时，情况则刚好相反。在本实施方式中，可以采用查表法来实现伽马校正，即首先根据一个伽马值，将不同亮度范围的理想输出值在查表中设定好，在处理可见光图像时，只需要根据输入的亮度，即可以得到其理想的输出值。
通过对所述可见光图像进行降噪处理，可以有效消除所述可见光图像中的各种噪声，具体地，在本实施方式中可以采用滤波器对所述可见光图像进行滤波处理，以消除所述可见光图像中的噪声。由于在降噪的同时，会把一些图像细节给消除，导致图像不够清晰，因此，为了消除降噪过程中对图像细节的损失，本实施方式在对可见光图像进行降噪处理后，还会对经降噪处理后的所述可见光图像进行锐化处理，以还原图像的相关细节。
所述荧光图像处理单元420用于对所述荧光图像进行第二图像信号处理。具体地，所述荧光图像处理单元420用于对所述荧光视频流中的各帧荧光图像进行第二图像信号处理。请参考图12，其示意性地给出了本发明一实施方式提供的荧光图像处理单元的工作流程示意图。如图12所示，所述荧光图像处理单元420具体用于对所述荧光图像依次进行暗电流处理、坏点校正、镜头校正、伽马校正、降噪/锐化等处理。由于荧光图像为灰度图像，因此与所述可见光图像处理单元410对所述可见光图像所做的图像信号处理过程相比，所述荧光图像处理单元420不需要对所述荧光图像进行颜色插值、色彩还原等处理。由此，通过对所述荧光图像进行第二图像信号处理，可以获得细节更加清晰的荧光图像，以为后续获取细节清晰的多波段融合图像奠定良好的基础。
所述二值化处理单元430用于对经第二图像信号处理后的所述荧光图像进行二值化处理，以获取对应的掩膜。具体地，所述二值化处理单元430用于对经第二图像信号处理后的各帧荧光图像进行二值化处理，以获取对应的掩膜。具体地，在本实施方式中可以采用最大类间方法(OSTU)、迭代阈值法、P分位法、基于最小误差的全局阈值法、局部阈值法、全局阈值与局部阈值相结合的方法等分割方法对经第二图像信号处理后的所述荧光图像进行二值化处理，以获取对应的掩膜。
所述图像融合单元440用于将所述掩膜与经第一图像信号处理后的所述可见光图像进行融合，以获取融合图像。具体地，所述图像融合单元440用于将各所述掩膜与对应帧的经第一图像信号处理后的所述可见光图像进行融合，以获取融合图像，并以视频流的形式输出。由于，通过所述掩膜能够清楚地反映出病灶组织，因此，通过将所述掩膜与所述可见光图像进行融合，以获取融合图像，从而通过所述融合图像可以有利于医生准确区分病灶组织区域与正常组织区域。
具体地，所述图像融合单元440用于对所述可见光图像中的与所述掩膜中的像素值不为0的像素点对应的像素点进行着色标识，以获取融合图像。由于，所述掩膜中的像素值为0的像素点对应目标组织的正常组织区域；所述掩膜中的像素值不为0(即白色区域)的像素点对应目标组织的病灶组织区域，通过对所述可见光图像中的与所述掩膜中的像素值不为0的像素点对应的像素点进行着色标识，可以准确地在所述可见光图像中标识出病灶组织区域，从而使得最终所获得的融合图像中能够明显区分出正常组织区域与病灶组织区域。
如图1所示，当所述内窥镜为三维内窥镜时，所述图像处理模块400包括第一图像处理单元450、第二图像处理单元460和叠加单元470；所述第一图像处理单元450用于对所述第一可见光图像以及所述第一荧光图像进行处理，以获取第一融合图像。进一步地，所述第一图像处理单元450用于对所述第一可见光图像以及所述第一荧光图像进行图像信号处理，并将经图像信号处理后的对应帧的所述第一可见光图像、所述第一荧光图像进行融合，以获取第一融合图像。具体地，所述第一图像处理单元450用于对所述第一可见光视频流中的各帧第一可见光图像以及所述第一荧光视频流中的各帧第一荧光图像进行图像信号处理，并将经图像信号处理后的对应帧的所述第一可见光图像、所述第一荧光图像进行融合，以获取第一融合图像，并以第一视频流的形式输出。所述第二图像处理单元460用于对所述第二可见光图像以及所述第二荧光图像进行处理，以获取第二融合图像。进一步地，所述第二图像处理单元460用于对所述第二可见光图像以及所述第二荧光图像进行图像信号处理，并将经图像信号处理后的所述第二可见光图像、所述第二荧光图像进行融合，以获取第二融合图像。具体地，所述第二图像处理单元460用于对所述第二可见光视频流中的各帧第二可见光图像以及所述第二荧光视频流中的各帧第二荧光图像进行图像信号处理，并将经图像信号处理后的对应帧的所述第二可见光图像、所述第二荧光图像进行融合，以获取第二融合图像，并以第二视频流的形式输出；所述叠加单元470用于对所述第一融合图像和所述第二融合图像进行配准，并将配准后的所述第一融合图像和所述第二融合图像进行叠加，以生成三维图像并输出。具体地，所述叠加单元470用于对所述第一视频流和所述第二视频流进行配准，并将配准后的所述第一视频流和所述第二视频流进行叠加以生成三维视频流并输出。由此，通过所述叠加单元470对所述第一融合图像和所述第二融合图像进行配准，并将配准后的所述第一融合图像和所述第二融合图像进行叠加，以生成三维图像，并输出至外科医生的控制台中的显示器上予以显示，通过所述三维图像，可以使得医生能够看到手术视野中目标组织的三维立体信息，从而使得医生具有更真实、更清晰的视觉效果，更加有利于医生进行手术判断、器械的准确控制，极大地提高了手术效率和手术过程中的安全性。
具体地，请参考图13，其示意性地给出了本发明一实施方式提供的第一图像处理单元的方框结构示意图。如图13所示，所述第一图像处理单元450包括第一可见光图像处理单元410a、第一荧光图像处理单元420a、第一二值化处理单元430a和第一图像融合单元440a；所述第一可见光图像处理单元410a用于对所述第一可见光视频流中的各帧第一可见光图像进行第一图像信号处理；所述第一荧光图像处理单元420a用于对所述第一荧光视频流中的各帧第一荧光图像进行第二图像信号处理；所述第一二值化处理单元430a用于对经第二图像信号处理后的各帧第一荧光图像进行二值化处理，以获取对应的第一掩膜；所述第一图像融合单元440a用于将各所述第一掩膜与对应帧的经第一图像信号处理后的所述第一可见光图像进行融合，以获取第一融合图像，并以第一视频流的形式输出。其中，所述第一可见光图像处理单元410a和下文所述的第二可见光图像处理单元410b构成上文所述的可见光处理单元410；所述第一荧光图像处理单元420a和下文所述的第二荧光图像处理单元420b构成上文所述的荧光处理单元420；所述第一二值化处理单元430a和下文所述的第二二值化处理单元430b构成上文所述的二值化处理单元430；所述第一图像融合单元440a和下文所述的第二图像融合单元440b构成上文所述的图像融合单元440。
进一步地，所述第一图像融合单元440a用于对所述第一可见光图像中的与所述第一掩膜中的像素值不为0的像素点对应的像素点进行着色标识，以获取第一融合图像。
请继续参考图14，其示意性地给出了本发明一实施方式提供的第二图像处理单元的方框结构示意图。如图14所示，所述第二图像处理单元460包括第二可见光图像处理单元410b、第二荧光图像处理单元420b、第二二值化处理单元430b和第二图像融合单元440b；所述第二可见光图像处理单元410b用于对所述第二可见光视频流中的各帧第二可见光图像进行第二图像信号处理；所述第二荧光图像处理单元420b用于对所述第二荧光视频流中的各帧第二荧光图像进行第二图像信号处理；所述第二二值化处理单元430b用于对经第二图像信号处理后的各帧第二荧光图像进行二值化处理，以获取对应的第二掩膜；所述第二图像融合单元440b用于将各所述第二掩膜与对应帧的经第一图像信号处理后的所述第二可见光图像进行融合，以获取第二融合图像，并以第二视频流的形式输出。
进一步地，所述第二图像融合单元440b用于对所述第二可见光图像中的与所述第二掩膜中的像素值不为0的像素点对应的像素点进行着色标识。
具体地，可以将所述第一视频流中的各帧第一融合图像与所述第二视频流中的对应帧的第二融合图像进行配准，以生成带有视差信息的第一视频流和第二视频流；通过将带有视差信息的第一视频流和第二视频流进行叠加，即可生成三维视频流。
所述叠加单元470根据外科医生的控制台中的显示器的三维显示需要，可以将所述三维视频流配置成不同格式。请参考图15，其示意性地给出了本发明一实施方式提供的第一视频流与第二视频流的叠加示意图。如图15所示，在本实施方式中，所述叠加单元470可以将所述第一视频流810和所述第二视频流820叠加成偏振式隔行扫描交错格式的三维视频流输出。请参考图16，其示意性地给出了本发明另一实施方式提供的第一视频流810与第二视频流820的叠加示意图。如图16所示，在本实施方式中，所述叠加单元470可以将所述第一视频流810和所述第二视频流820叠加成偏振式逐行左右扫描交错格式的三维视频流输出。需要说明的是，虽然图15和图16中，是以左视场下的视频流为第一视频流810，右视场下的视频流为第二视频流820为例进行说明，但是，如本领域技术人员所能理解的，在其它一些实施方式中，所述第一视频流810也可为右视场下的视频流，所述第二视频流820也可为左视场下的视频流，本发明对此并不进行限制。
与上述的多光谱成像系统相对应，本发明还提供一种多光谱成像方法，请参考图17，示意性地给出了本发明一实施方式的多光谱成像方法的流程示意图，如图17所示，所述多光谱成像方法包括如下步骤：
步骤S100、分时向目标组织发射可见光和激励光，以使所述目标组织将所述可见光反射以及使所述目标组织受所述激励光激发发射出荧光；
步骤S200、分时接收经所述目标组织反射的可见光以及所述目标组织受激辐射的荧光，以获取可见光图像和荧光图像；
步骤S300、对所述可见光图像以及所述荧光图像进行处理，以获取融合图像。
可见，本发明提供的多光谱成像方法，通过分时向目标组织发射可见光和激励光，以分时获取可见光图像和荧光图像，再对所述可见光图像和所述荧光图像进行处理，以获取多波段融合图像，由此，通过所获取的多波段融合图像，可以区分不同组织状态，使得医生能够观察到单一波段条件下无法观察到的组织信息。通过所述多波段融合图像，可以清晰地看到病灶与正常组织的区别，且细节更加清晰，使得在切割组织时更加准确、更加安全。
请继续参考图18，其示意性地给出了本发明一实施方式提供的图像融合流程示意图。如图18所示，所述对所述可见光图像以及所述荧光图像进行处理，以获取融合图像，具体包括如下过程：
对所述可见光图像进行第一图像信号处理以及对所述荧光图像进行第二图像信号处理；
对经第二图像信号处理后的所述荧光图像进行二值化处理，以获取对应的掩膜；
将所述掩膜与经第一图像信号处理后的所述可见光图像进行融合，以获取融合图像。
由此，通过所述掩膜能够清楚地反映出病灶组织，因此，通过将所述掩膜与所述可见光图像进行融合，以获取融合图像，从而通过所述融合图像可以有利于医生准确区分病灶组织区域与正常组织区域。
具体地，所述将所述掩膜与经第一图像信号处理后的所述可见光图像进行融合，以获取融合图像，包括：对所述可见光图像中的与所述掩膜中的像素值不为0的像素点对应的像素点进行着色标识，以获取融合图像。由于，所述掩膜中的像素值为0的像素点对应目标组织的正常组织区域；所述掩膜中的像素值不为0的像素点对应目标组织的病灶组织区域，通过对所述可见光图像中的与所述掩膜中的像素值不为0的像素点对应的像素点进行着色标识，可以准确地在所述可见光图像中标识出病灶组织区域，从而使得最终所获得的融合图像中能够明显区分出正常组织区域与病灶组织区域。
进一步地，所述分时接收经所述目标组织反射的可见光以及所述目标组织受激辐射的荧光，以获取可见光图像和荧光图像，包括：
分别沿第一光路和第二光路分时接收经所述目标组织反射的可见光以及所述目标组织受激辐射的荧光，以获取第一可见光图像、第二可见光图像、第一荧光图像和第二荧光图像；
所述对所述可见光图像以及所述荧光图像进行处理，以获取融合图像，包括：
对所述第一可见光图像和所述第一荧光图像进行处理，以获取第一融合图像，以及对所述第二可见光图像和所述第二荧光图像进行处理，以获第二融合图像；
在获取第一融合图像和第二融合图像后，所述多光谱成像方法包括：
对所述第一融合图像和所述第二融合图像进行配准，并将配准后的所述第一融合图像和所述第二融合图像进行叠加，以生成三维图像并输出。
由此，通过获取不同视角下的第一融合图像和所述第二融合图像，并对所获取的所述第一融合图像和所述第二融合图像进行配准与叠加，可以生成三维图像，并输出至外科医生的控制台中的显示器上予以显示，通过所述三维图像，可以使得医生能够看到手术视野中目标组织的三维立体信息，从而使得医生具有更真实、更清晰的视觉效果，更加有利于医生进行手术判断、器械的准确控制，极大地提高了手术效率和手术过程中的安全性。
基于同一发明构思，本发明还提供了一种可读存储介质，所述可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时可以实现上文所述的基于内窥镜的多光谱成像方法。由于本发明提供的可读存储介质内存储的计算机程序被处理器执行时能够实现上文所述的多光谱成像方法，因此本发明提供的可读存储介质具有上文所述的基于内窥镜的多光谱成像方法的所有优点，故对此不再进行一一赘述。
本发明实施方式的可读存储介质，可以采用一个或多个计算机可读的介质的任意组合。可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机硬盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其组合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言-诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言-诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)连接到用户计算机，或者可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
综上所述，与现有技术相比，本发明提供的多光谱成像系统、成像方法和存储介质具有以下优点：
(1)本发明通过分时向目标组织发射可见光和激励光，以分时获取可见光图像和荧光图像，再对所述可见光图像和所述荧光图像进行处理，以获取多波段融合图像，由此，通过所获取的多波段融合图像，可以区分不同组织状态，使得医生能够观察到单一波段条件下无法观察到的组织信息。通过所述多波段融合图像，可以清晰地看到病灶与正常组织的区别，且细节更加清晰，使得在切割组织时更加准确、更加安全。
(2)本发明采用带通滤波模块进行杂波阻止，可见光和荧光通过，可以有效提高输入信号的信噪比，进一步提高了所获取的多波段融合图像的图像质量。
(3)本发明通过采用近红外波段QE(量子效率)较高的RGBNIR图像传感器，分时采集可见光图像和荧光图像，可以获取高质量的可见光图像和荧光图像，进一步提高了所获取的多波段融合图像的图像质量。
(4)本发明通过获取三维图像，可以使得医生能够看到手术视野中目标组织的三维立体信息，从而使得医生具有更真实、更清晰的视觉效果，更加有利于医生进行手术判断、器械的准确控制，极大地提高了手术效率和手术过程中的安全性。
(5)本发明采用分时控制成像系统，对于系统软件部分，可以提高控制的灵活性；对于系统硬件部分，极大地降低了系统硬件的复杂性，使得整个系统更加灵巧，更加便于内窥镜与微创手术机器人的系统整合。
应当注意的是，在本文的实施方式中所揭露的装置和方法，也可以通过其他的方式实现。以上所描述的装置实施方式仅仅是示意性的，例如，附图中的流程图和框图显示了根据本文的多个实施方式的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用于执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本文各个实施方式中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
此外，在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施方式或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施方式或示例以及不同实施方式或示例的特征进行结合和组合。
上述描述仅是对本发明较佳实施方式的描述，并非对本发明范围的任何限定，本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰，均属于本发明的保护范围。显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若这些修改和变型属于本发明及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。

Claims (16)

1.一种多光谱成像系统，其特征在于，包括：照明模块、镜头模块、图像获取模块和图像处理模块；
所述照明模块用于分时向目标组织发射可见光和激励光，以使所述目标组织将所述可见光反射以及使所述目标组织受所述激励光激发发射出荧光；
所述镜头模块用于分时采集经所述目标组织反射的可见光以及所述目标组织受激辐射的荧光；
所述图像获取模块用于分时接收经所述镜头模块采集的可见光和荧光，以获取可见光图像和荧光图像；
所述图像处理模块用于对所述可见光图像以及所述荧光图像进行处理，以获取融合图像。
2.根据权利要求1所述的多光谱成像系统，其特征在于，所述图像获取模块用于将所述可见光图像和所述荧光图像分别以可见光视频流和荧光视频流的形式输出；
所述图像处理模块用于对所述可见光视频流中的各帧可见光图像以及所述荧光视频流中的各帧荧光图像进行图像信号处理，并将经图像信号处理后的对应帧的所述可见光图像、所述荧光图像进行融合，以获取融合图像，并以视频流的形式输出。
3.根据权利要求1所述的多光谱成像系统，其特征在于，所述多光谱成像系统包括带通滤波模块，所述带通滤波模块设于所述镜头模块和所述图像获取模块之间，所述带通滤波模块用于允许所述可见光和所述荧光通过，并阻止可见光波段和荧光波段以外的其它波段的光；
所述图像获取模块用于分时接收通过所述带通滤波模块的可见光和荧光，以获取可见光图像和荧光图像。
4.根据权利要求3所述的多光谱成像系统，其特征在于，所述多光谱成像系统包括棱镜模块，所述带通滤波模块位于所述镜头模块和所述棱镜模块之间。
5.根据权利要求1所述的多光谱成像系统，其特征在于，所述图像获取模块包括RGBNIR图像传感器，所述RGBNIR图像传感器用于分时接收经所述镜头模块采集的可见光和荧光，以获取可见光图像和荧光图像。
6.根据权利要求1所述的多光谱成像系统，其特征在于，所述照明模块包括光源单元和照明控制器，在所述照明控制器的控制下，所述光源单元能够分时向所述目标组织发射可见光和激励光。
7.根据权利要求6所述的多光谱成像系统，其特征在于，所述光源单元包括第一光源模组和第二光源模组，所述第一光源模组用于向所述目标组织发射可见光，所述第二光源模组用于向所述目标组织发射激励光。
8.根据权利要求7所述的多光谱成像系统，其特征在于，所述照明控制器包括第一控制单元、第二控制单元和第三控制单元；
所述第一控制单元用于控制所述第一光源模组和所述第二光源模组的输出能量强度；
所述第二控制单元用于控制所述第一光源模组和所述第二光源模组的开启与关闭；
所述第三控制单元用于控制所述第一光源模组和所述第二光源模组的开启频率。
9.根据权利要求1所述的多光谱成像系统，其特征在于，所述图像处理模块包括可见光图像处理单元、荧光图像处理单元、二值化处理单元和图像融合单元；
所述可见光图像处理单元用于对所述可见光图像进行第一图像信号处理；
所述荧光图像处理单元用于对所述荧光图像进行第二图像信号处理；
所述二值化处理单元用于对经第二图像信号处理后的所述荧光图像进行二值化处理，以获取对应的掩膜；
所述图像融合单元用于将所述掩膜与经第一图像信号处理后的所述可见光图像进行融合，以获取融合图像。
10.根据权利要求9所述的多光谱成像系统，其特征在于，所述图像融合单元用于对所述可见光图像中的与所述掩膜中的像素值不为0的像素点对应的像素点进行着色标识，以获取融合图像。
11.根据权利要求1所述的多光谱成像系统，其特征在于，所述镜头模块包括第一镜头和第二镜头，所述第一镜头用于分时沿第一光路采集经所述目标组织反射的可见光以及所述目标组织受激辐射的荧光，所述第二镜头用于分时沿第二光路采集经所述目标组织反射的可见光以及所述目标组织受激辐射的荧光；
所述图像获取模块包括第一图像获取单元和第二图像获取单元，所述第一图像获取单元用于分时接收经所述第一镜头采集的可见光和荧光，以获取第一可见光图像和第一荧光图像，所述第二图像获取单元用于分时接收经所述第二镜头采集的可见光和荧光，以获取第二可见光图像和第二荧光图像；
所述图像处理模块包括第一图像处理单元、第二图像处理单元和叠加单元；所述第一图像处理单元用于对所述第一可见光图像以及所述第一荧光图像进行处理，以获取第一融合图像；所述第二图像处理单元用于对所述第二可见光图像以及所述第二荧光图像进行处理，以获取第二融合图像；所述叠加单元用于对所述第一融合图像和所述第二融合图像进行配准，并将配准后的所述第一融合图像和所述第二融合图像进行叠加，以生成三维图像并输出。
12.一种多光谱成像方法，其特征在于，包括：
分时向目标组织发射可见光和激励光，以使所述目标组织将所述可见光反射以及使所述目标组织受所述激励光激发发射出荧光；
分时接收经所述目标组织反射的可见光以及所述目标组织受激辐射的荧光，以获取可见光图像和荧光图像；
对所述可见光图像以及所述荧光图像进行处理，以获取融合图像。
13.根据权利要求12所述的多光谱成像方法，其特征在于，所述对所述可见光图像以及所述荧光图像进行处理，以获取融合图像，包括：
对所述可见光图像进行第一图像信号处理以及对所述荧光图像进行第二图像信号处理；
对经第二图像信号处理后的所述荧光图像进行二值化处理，以获取对应的掩膜；
将所述掩膜与经第一图像信号处理后的所述可见光图像进行融合，以获取融合图像。
14.根据权利要求13所述的多光谱成像方法，其特征在于，所述将所述掩膜与经第一图像信号处理后的所述可见光图像进行融合，以获取融合图像，包括：
对所述可见光图像中的与所述掩膜中的像素值不为0的像素点对应的像素点进行着色标识，以获取融合图像。
15.根据权利要求14所述的多光谱成像方法，其特征在于，所述分时接收经所述目标组织反射的可见光以及所述目标组织受激辐射的荧光，以获取可见光图像和荧光图像，包括：
分别沿第一光路和第二光路分时接收经所述目标组织反射的可见光以及所述目标组织受激辐射的荧光，以获取第一可见光图像、第二可见光图像、第一荧光图像和第二荧光图像；
所述对所述可见光图像以及所述荧光图像进行处理，以获取融合图像，包括：
对所述第一可见光图像和所述第一荧光图像进行处理，以获取第一融合图像，以及对所述第二可见光图像和所述第二荧光图像进行处理，以获第二融合图像；
在获取第一融合图像和第二融合图像后，所述多光谱成像方法包括：
对所述第一融合图像和所述第二融合图像进行配准，并将配准后的所述第一融合图像和所述第二融合图像进行叠加，以生成三维图像并输出。
16.一种可读存储介质，其特征在于，所述可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时用于实现如权利要求12至15中任一项所述的多光谱成像方法。
CN202110633622.8A 2021-06-07 2021-06-07 多光谱成像系统、成像方法和存储介质 Pending CN113208567A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110633622.8A CN113208567A (zh) 2021-06-07 2021-06-07 多光谱成像系统、成像方法和存储介质
PCT/CN2022/097521 WO2022257946A1 (zh) 2021-06-07 2022-06-08 多光谱成像系统、成像方法和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110633622.8A CN113208567A (zh) 2021-06-07 2021-06-07 多光谱成像系统、成像方法和存储介质

Publications (1)

Publication Number Publication Date
CN113208567A true CN113208567A (zh) 2021-08-06

Family

ID=77083337

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110633622.8A Pending CN113208567A (zh) 2021-06-07 2021-06-07 多光谱成像系统、成像方法和存储介质

Country Status (2)

Country Link
CN (1) CN113208567A (zh)
WO (1) WO2022257946A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113610823A (zh) * 2021-08-13 2021-11-05 南京诺源医疗器械有限公司 图像处理方法、装置、电子设备及存储介质
CN113693724A (zh) * 2021-08-19 2021-11-26 南京诺源医疗器械有限公司 适用于荧光影像导航手术的照射方法、装置及存储介质
WO2022257946A1 (zh) * 2021-06-07 2022-12-15 上海微觅医疗器械有限公司 多光谱成像系统、成像方法和存储介质
CN115719415A (zh) * 2022-03-28 2023-02-28 南京诺源医疗器械有限公司 一种视野可调双视频融合成像方法及系统
WO2023103467A1 (zh) * 2021-12-09 2023-06-15 杭州海康慧影科技有限公司 图像处理方法、装置及设备

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117152362A (zh) * 2023-10-27 2023-12-01 深圳市中安视达科技有限公司 内窥镜多光谱的多路成像方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102076259A (zh) * 2008-04-26 2011-05-25 直观外科手术操作公司 用于手术机器人的放大立体可视化
US20180042481A1 (en) * 2014-10-22 2018-02-15 Institute Of Automation, Chinese Academy Of Sciences Handheld molecular imaging navigation system
CN110811498A (zh) * 2019-12-19 2020-02-21 中国科学院长春光学精密机械与物理研究所 可见光和近红外荧光3d融合图像内窥镜系统
CN110893095A (zh) * 2018-09-12 2020-03-20 上海逸思医学影像设备有限公司 一种用于可见光和激发荧光实时成像的系统和方法
CN112734914A (zh) * 2021-01-14 2021-04-30 温州大学 一种增强现实视觉的图像立体重建方法及装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5160276B2 (ja) * 2008-03-24 2013-03-13 富士フイルム株式会社 画像表示方法及び装置
JP5707758B2 (ja) * 2010-07-13 2015-04-30 ソニー株式会社 撮像装置、撮像システム、手術用ナビゲーションシステム、及び撮像方法
WO2016117049A1 (ja) * 2015-01-21 2016-07-28 オリンパス株式会社 内視鏡装置
US11013414B2 (en) * 2016-05-10 2021-05-25 Synaptive Medical Inc. Multispectral synchronized imaging
US20200397266A1 (en) * 2017-03-10 2020-12-24 Transenterix Surgical, Inc. Apparatus and method for enhanced tissue visualization
JP7227011B2 (ja) * 2019-01-09 2023-02-21 ｉ－ＰＲＯ株式会社 内視鏡
CN110840386A (zh) * 2019-12-19 2020-02-28 中国科学院长春光学精密机械与物理研究所 基于单探测器的可见光和近红外荧光3d共成像内窥镜系统
CN112243091B (zh) * 2020-10-16 2022-12-16 上海微创医疗机器人（集团）股份有限公司 三维内窥镜系统、控制方法和存储介质
CN113208567A (zh) * 2021-06-07 2021-08-06 上海微创医疗机器人（集团）股份有限公司 多光谱成像系统、成像方法和存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102076259A (zh) * 2008-04-26 2011-05-25 直观外科手术操作公司 用于手术机器人的放大立体可视化
US20180042481A1 (en) * 2014-10-22 2018-02-15 Institute Of Automation, Chinese Academy Of Sciences Handheld molecular imaging navigation system
CN110893095A (zh) * 2018-09-12 2020-03-20 上海逸思医学影像设备有限公司 一种用于可见光和激发荧光实时成像的系统和方法
CN110811498A (zh) * 2019-12-19 2020-02-21 中国科学院长春光学精密机械与物理研究所 可见光和近红外荧光3d融合图像内窥镜系统
CN112734914A (zh) * 2021-01-14 2021-04-30 温州大学 一种增强现实视觉的图像立体重建方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
沈嘉浩: "多光谱窄带成像计算机辅助宫颈癌筛查方法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》, no. 12, pages 11 - 70 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022257946A1 (zh) * 2021-06-07 2022-12-15 上海微觅医疗器械有限公司 多光谱成像系统、成像方法和存储介质
CN113610823A (zh) * 2021-08-13 2021-11-05 南京诺源医疗器械有限公司 图像处理方法、装置、电子设备及存储介质
CN113610823B (zh) * 2021-08-13 2023-08-22 南京诺源医疗器械有限公司 图像处理方法、装置、电子设备及存储介质
CN113693724A (zh) * 2021-08-19 2021-11-26 南京诺源医疗器械有限公司 适用于荧光影像导航手术的照射方法、装置及存储介质
WO2023103467A1 (zh) * 2021-12-09 2023-06-15 杭州海康慧影科技有限公司 图像处理方法、装置及设备
CN115719415A (zh) * 2022-03-28 2023-02-28 南京诺源医疗器械有限公司 一种视野可调双视频融合成像方法及系统
CN115719415B (zh) * 2022-03-28 2023-11-10 南京诺源医疗器械有限公司 一种视野可调双视频融合成像方法及系统

Also Published As

Publication number Publication date
WO2022257946A1 (zh) 2022-12-15

Similar Documents

Publication Publication Date Title
CN113208567A (zh) 多光谱成像系统、成像方法和存储介质
US11381759B2 (en) Multi-function imaging
CN110325100B (zh) 内窥镜系统及其操作方法
US9906739B2 (en) Image pickup device and image pickup method
JP6461797B2 (ja) 蛍光観察装置
US8547425B2 (en) Fluorescence observation apparatus and fluorescence observation method
JP4566754B2 (ja) 画像処理装置
US10634615B2 (en) Method of correcting a fluorescence image
CN111803013A (zh) 一种内窥镜成像方法和内窥镜成像系统
US20160007856A1 (en) Fluorescence observation apparatus
JPH11332820A (ja) 蛍光内視鏡
US10805512B2 (en) Dual path endoscope
JP2003036436A (ja) 規格化画像生成方法および装置
JP2021035549A (ja) 内視鏡システム
JP4245787B2 (ja) 蛍光画像取得方法および装置
CN212326346U (zh) 一种内窥镜成像系统
US20220007925A1 (en) Medical imaging systems and methods
EP3824799A1 (en) Device, apparatus and method for imaging an object
EP4248835A1 (en) Fluorescence endoscope system, control method and storage medium
US11736784B2 (en) Three-plate camera and four-plate camera
JP2003000528A (ja) 蛍光診断画像生成方法および装置
US20200288965A1 (en) System and method for enhanced imaging of biological tissue
KR102042128B1 (ko) 복합 광원을 이용한 광학영상화 시스템 및 그에 따른 구동 제어방법
CN110547752A (zh) 内窥镜系统、混合光源、视频采集装置及图像处理器
US11689689B2 (en) Infrared imaging system having structural data enhancement

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220510

Address after: 201203 room 207, floor 2, building 1, No. 1601, Zhangdong Road, China (Shanghai) pilot Free Trade Zone, Pudong New Area, Shanghai (actual floor 3)

Applicant after: Shanghai Weimi Medical Instrument Co.,Ltd.

Address before: Room 101, block B, building 1, No. 1601, Zhangdong Road, China (Shanghai) pilot Free Trade Zone, Pudong New Area, Shanghai, 201203

Applicant before: Shanghai minimally invasive medical robot (Group) Co.,Ltd.

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20230609

Address after: Room 101, block B, building 1, No. 1601, Zhangdong Road, China (Shanghai) pilot Free Trade Zone, Pudong New Area, Shanghai, 201203

Applicant after: Shanghai minimally invasive medical robot (Group) Co.,Ltd.

Address before: 201203 room 207, floor 2, building 1, No. 1601, Zhangdong Road, China (Shanghai) pilot Free Trade Zone, Pudong New Area, Shanghai (actual floor 3)

Applicant before: Shanghai Weimi Medical Instrument Co.,Ltd.