CN110236694A - 基于光谱响应特性的同屏近红外双谱荧光成像方法及系统 - Google Patents
基于光谱响应特性的同屏近红外双谱荧光成像方法及系统 Download PDFInfo
- Publication number
- CN110236694A CN110236694A CN201910482443.1A CN201910482443A CN110236694A CN 110236694 A CN110236694 A CN 110236694A CN 201910482443 A CN201910482443 A CN 201910482443A CN 110236694 A CN110236694 A CN 110236694A
- Authority
- CN
- China
- Prior art keywords
- infrared
- infrared fluorescent
- bispectrum
- image
- light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000004044 response Effects 0.000 title claims abstract description 42
- 238000000799 fluorescence microscopy Methods 0.000 title claims abstract description 39
- 230000003595 spectral effect Effects 0.000 title claims abstract description 36
- 238000000034 method Methods 0.000 title claims abstract description 29
- 230000003287 optical effect Effects 0.000 claims abstract description 6
- 238000001228 spectrum Methods 0.000 claims description 16
- 230000005284 excitation Effects 0.000 claims description 7
- 238000004043 dyeing Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000003384 imaging method Methods 0.000 abstract description 10
- 230000003321 amplification Effects 0.000 abstract description 3
- 238000003199 nucleic acid amplification method Methods 0.000 abstract description 3
- 239000003086 colorant Substances 0.000 abstract description 2
- 239000003795 chemical substances by application Substances 0.000 description 21
- 210000001519 tissue Anatomy 0.000 description 9
- 239000000975 dye Substances 0.000 description 5
- 239000000463 material Substances 0.000 description 4
- 238000000701 chemical imaging Methods 0.000 description 3
- 210000000013 bile duct Anatomy 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 210000002751 lymph Anatomy 0.000 description 1
- 230000013011 mating Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 238000001259 photo etching Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2055—Optical tracking systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Robotics (AREA)
- Gynecology & Obstetrics (AREA)
- Radiology & Medical Imaging (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Pathology (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
Abstract
本发明公开了一种基于光谱响应特性的同屏近红外双谱荧光成像方法及系统，利用带RGB拜耳滤色片的彩色相机在近红外区间的染料荧光峰波段的不同响应特性，配合特定通道电子放大，增强采集的两类荧光RGB分量差异，形成不同颜色的图像信号，算法根据RGB分量将两种荧光分别标记于白光图像上，实现同屏双谱近红外荧光成像；本发明基于光谱响应特性的同屏近红外双谱荧光成像系统的光路相对简单，结构紧凑，利于集成。
Description
技术领域
本发明涉及光学成像领域，尤其涉及的是一种基于光谱响应特性的同屏近红外双谱荧光成像方法及系统。
背景技术
近红外荧光造影技术目前被广泛应用于术中导航，在分别获取白光和荧光信号的基础上，通过算法将近红外荧光信号标记在白光图像上，为手术操作者提供特定染料标记的淋巴、血管胆管和肿瘤等生物组织的位置信息。临床可在同台手术中联合应用多种染料标记不同的生物组织，如分别标记血管与胆管等。
目前，在白光图像基础上，可对两种染料进行荧光成像并叠加标记的系统主要采用双相机分模式成像和三相机分光成像的方法。双相机分模式成像是在应用白光相机进行白光成像的同时，通过模式切换控制不同的荧光激发光，近红外相机在该模式下进行对应染料的荧光成像，通过算法合成输出带某一染料荧光标记的白光图；该方案下，无法同时采集两种染料的荧光信号，并同屏标记于白光图像上，需要频繁切换模式以分别观察，不利于手术操作。三相机分光成像系统将白光，两种染料的荧光分开感光，再通过算法合成实现同屏标记的功能；但该设计光路相对复杂，结构臃肿，不利于集成。
因此，现有技术还有待于改进和发展。
发明内容
本发明的目的在于提供一种基于光谱响应特性的同屏近红外双谱荧光成像方法及系统，旨在解决现有的双相机分模式成像系统需要频繁切换模式以分别观察，不利于手术操作，以及三相机分光成像系统光路相对复杂，结构臃肿，不利于集成的问题。
本发明的技术方案如下：一种基于光谱响应特性的同屏近红外双谱荧光成像的方法，其中，具体包括以下步骤：
可见光、第一激发光和第二激发光入射到已被第一近红外荧光剂和第二近红外荧光剂染色的组织上；
从组织上反射回来的可见光、第一激发光、第二激发光，以及被第一近红外荧光剂被激发所生产的第一近红外荧光和被第二近红外荧光剂被激发所产生的第二近红外荧光被镜组收集；
将第一激发光和第二激发光过滤掉；
将可见光、第一近红外荧光和第二近红外荧光根据光谱进行分光；
可见光生成可见光图像，第一近红外荧光和第二近红外荧光生成近红外荧光图像；
根据算法从近红外荧光图像中区分出第一近红外荧光图像和第二近红外荧光图像；
将第一近红外荧光图像和第二近红外荧光图像进行荧光信号处理，并叠加到可见光图像中，实现同屏近红外双谱荧光成像；
最后输出带红外双谱荧光的可见光图像。
所述的基于光谱响应特性的同屏近红外双谱荧光成像的方法，其中，所述将第一激发光被陷波滤波片过滤掉，第二激发光被长波通滤光片过滤掉。
所述的基于光谱响应特性的同屏近红外双谱荧光成像的方法，其中，所述可见光、第一近红外荧光和第二近红外荧光被二向色镜分光根据光谱进行分光。
所述的基于光谱响应特性的同屏近红外双谱荧光成像的方法，其中，所述可见光透过二向色分光镜和短波通滤光片后，成像于可见光相机，生成可见光图像。
所述的基于光谱响应特性的同屏近红外双谱荧光成像的方法，其中，所述第一近红外荧光和第二近红外荧光透过长波通滤光片成像于近红外相机，生成近红外荧光图像。
所述的基于光谱响应特性的同屏近红外双谱荧光成像的方法，其中，图像处理器根据算法从近红外荧光图像中区分出第一近红外荧光和第二近红外荧光，再将第一近红外荧光和第二近红外荧光进行荧光信号处理，并叠加到可见光图像中，实现同屏近红外双谱荧光成像，最后输出带红外双谱荧光的可见光图像。
所述的基于光谱响应特性的同屏近红外双谱荧光成像的方法，其中，根据算法从近红外荧光图像中区分出第一近红外荧光图像和第二近红外荧光图像，具体原理和过程如下：由近红外相机采集并生成可区分的第一近红外荧光图像和第二近红外荧光图像，设定第一近红外荧光剂激发的第一近红外荧光到达近红外相机的光谱曲线为fc(λ)，第二近红外荧光剂激发的第二近红外荧光到达近红外相机的光谱曲线为fd(λ)，带RGB拜耳滤色片的近红外相机的光谱响应曲线分别为：R(λ)、G(λ)和B(λ)；
因此对于第一近红外荧光剂c，RGB像元的亮度值为：
对于第二近红外荧光剂d，RGB像元的亮度值为：
由于fa(λ)与fb(λ)不重合，因此，第一近红外荧光和第二近红外荧光的RGB值会有差异，配合特定通道的电子放大，可增强采集到的第一近红外荧光和第二近红外荧光的RGB分量差异；由此，图像处理器可通过算法区分出两种荧光图像。
一种基于光谱响应特性的同屏近红外双谱荧光成像的系统，其中，包括陷波滤波片，成像镜组，二向色分光镜，短波通滤光片，可见光相机，长波通滤光片，近红外相机，图像处理器；
可见光、第一激发光和第二激发光入射到已被第一近红外荧光剂和第二近红外荧光剂染色的组织上；从组织上反射回来的可见光、第一激发光和第二激发光，以及被第一近红外荧光剂被激发所产生的第一近红外荧光和被第二近红外荧光剂被激发所产生的第二近红外荧光被镜组收集；其中反射回来的第一激发光被陷波滤波片过滤掉；透过陷波滤波片的可见光、第二激发光、第一近红外荧光和第二近红外荧光被二向色镜分光根据光谱分光，其中可见光透过二向色分光镜和短波通滤光片后，成像于可见光相机，生成可见光图像并传输到图像处理器；第二激发光、第一近红外荧光和第二近红外荧光被二向色分光镜反射，其中，第二激发光被长波通滤光片过滤掉，第一近红外荧光和第二近红外荧光会透过长波通滤光片成像于近红外相机，生成近红外荧光图像并传输到图像处理器；图像处理器根据算法从近红外荧光图像中区分出第一近红外荧光图像和第二近红外荧光图像，再将第一近红外荧光图像和第二近红外荧光图像进行荧光信号处理，并叠加到可见光图像中，实现同屏近红外双谱荧光成像，最后输出带红外双谱荧光的可见光图像。
所述的基于光谱响应特性的同屏近红外双谱荧光成像的系统，其中，所述近红外相机为带有RGB拜耳滤光片的彩色相机。
所述的基于光谱响应特性的同屏近红外双谱荧光成像的系统，其中，所述第一激发光的波长比第二激发光的波长长。
本发明的有益效果：本发明通过提供一种基于光谱响应特性的同屏近红外双谱荧光成像方法及系统，利用带RGB拜耳滤色片的彩色相机在近红外区间的染料荧光峰波段的不同响应特性，配合特定通道电子放大，增强采集的两类荧光RGB分量差异，形成不同颜色的图像信号，算法根据RGB分量将两种荧光分别标记于白光图像上，实现同屏双谱近红外荧光成像；本发明中基于光谱响应特性的同屏近红外双谱荧光成像系统的光路相对简单，结构紧凑，利于集成。
附图说明
图1是本发明中基于光谱响应特性的同屏近红外双谱荧光成像系统的结构示意图。
图2是本发明中拜耳滤光片见图的示意图。
图3是本发明中近红外相机的响应光谱响应曲线图。
具体实施方式
下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接或可以相互通讯；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正下方和斜下方，或仅仅表示第一特征水平高度小于第二特征。
下文的公开提供了许多不同的实施方式或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本发明。此外，本发明可以在不同例子中重复参考数字和/或参考字母，这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施方式和/或设置之间的关系。此外，本发明提供了的各种特定的工艺和材料的例子，但是本领域普通技术人员可以意识到其他工艺的应用和/或其他材料的使用。
一种基于光谱响应特性的同屏近红外双谱荧光成像的方法，具体包括以下步骤：
可见光、第一激发光a和第二激发光b入射到已被第一近红外荧光剂c和第二近红外荧光剂d染色的组织上；
从组织上反射回来的可见光、第一激发光a、第二激发光b，以及被第一近红外荧光剂c被激发所生产的第一近红外荧光c’和被第二近红外荧光剂d被激发所产生的第二近红外荧光d’被镜组收集；
将第一激发光a和第二激发光b过滤掉；
将可见光、第一近红外荧光c’和第二近红外荧光d’根据光谱进行分光；
可见光生成可见光图像，第一近红外荧光c’和第二近红外荧光d’生成近红外荧光图像；
根据算法从近红外荧光图像中区分出第一近红外荧光图像和第二近红外荧光图像；
将第一近红外荧光图像和第二近红外荧光图像进行荧光信号处理，并叠加到可见光图像中，实现同屏近红外双谱荧光成像；
最后输出带红外双谱荧光的可见光图像。
具体地，所述将第一激发光a被陷波滤波片2过滤掉，第二激发光b被长波通滤光片6过滤掉。
具体地，所述可见光、第一近红外荧光c’和第二近红外荧光d’被二向色镜分光3根据光谱进行分光。
具体地，所述可见光其中可见光透过二向色分光镜3和短波通滤光片4后，成像于可见光相机5，生成可见光图像。
具体地，所述第一近红外荧光c’和第二近红外荧光d’会透过长波通滤光片6成像于近红外相机7，生成近红外荧光图像。
具体地，图像处理器8根据算法从近红外荧光图像中区分出第一近红外荧光图像和第二近红外荧光图像，再将第一近红外荧光图像和第二近红外荧光图像进行荧光信号处理，并叠加到可见光图像中，实现同屏近红外双谱荧光成像，最后输出带红外双谱荧光的可见光图像。
其中，图像处理器8根据算法从近红外荧光图像中区分出第一近红外荧光图像和第二近红外荧光图像，具体原理和过程如下：由近红外相机采集并生成可区分的第一近红外荧光图像和第二近红外荧光图像，设定第一近红外荧光剂c激发的第一近红外荧光c’到达近红外相机7的光谱曲线为fc(λ)，第二近红外荧光剂d激发的第二近红外荧光d’到达近红外相机7的光谱曲线为fd(λ)，带RGB拜耳滤色片的近红外相机7的光谱响应曲线分别为：R(λ)、G(λ)和B(λ)；
因此对于第一近红外荧光剂c，RGB像元的亮度值为：
对于第二近红外荧光剂d，RGB像元的亮度值为：
由于fa(λ)与fb(λ)不重合，因此，第一近红外荧光c’和第二近红外荧光d’的RGB值会有差异，配合特定通道的电子放大，可增强采集到的第一近红外荧光c’和第二近红外荧光d’的RGB分量差异，由此通过算法区分出两种荧光图像。
如图1所示，一种基于光谱响应特性的同屏近红外双谱荧光成像系统，包括陷波滤波片1，成像镜组2，二向色分光镜3，短波通滤光片4，可见光相机5，长波通滤光片6，近红外相机7，图像处理器8；从可见光光源、第一激发光光源和第二激发光光源发出的可见光、第一激发光a和第二激发光b入射到已被第一近红外荧光剂c和第二近红外荧光剂d染色的组织上；反射光（包括从组织上反射回来的可见光、第一激发光a和第二激发光b）和近红外荧光（包括被第一近红外荧光剂c和第二近红外荧光剂d被激发所产生的第一近红外荧光c’和第二近红外荧光d’）被镜组收集，其中反射回来的第一激发光a被陷波滤波片2过滤掉；透过陷波滤波片2的可见光和近红外光（包括第二激发光b、第一近红外荧光c’和第二近红外荧光d’）被二向色镜分光3根据光谱分光，其中可见光透过二向色分光镜3和短波通滤光片4后，成像于可见光相机5，生成可见光图像并传输到图像处理器8；近红外光（包括第二激发光b、第一近红外荧光c’和第二近红外荧光d’）被二向色分光镜3反射，其中，第二激发光b被长波通滤光片6过滤掉，第一近红外荧光c’和第二近红外荧光d’透过长波通滤光片6成像于近红外相机7，生成近红外荧光图像并传输到图像处理器8；图像处理器8根据算法从近红外荧光图像中区分出第一近红外荧光图像和第二近红外荧光图像，再将第一近红外荧光图像和第二近红外荧光图像进行荧光信号处理，并叠加到可见光图像中，实现同屏近红外双谱荧光成像，最后输出带红外双谱荧光的可见光图像。
具体地，所述第一激发光a的波长比第二激发光b的波长长。
具体地，所述第一激发光a激发第一荧光剂c发出第一近红外荧光c’，第二激发光b激发第二荧光剂d发出第二近红外荧光d’。
具体地，所述近红外相机7使用带有RGB拜耳滤光片的彩色相机。其中，所述拜耳滤光片见图2，近红外相机7的响应光谱响应曲线见图3。
本技术方案中，利用带RGB拜耳滤色片的彩色相机在近红外区间的染料荧光峰波段的不同响应特性，配合特定通道电子放大，增强采集的两类荧光RGB分量差异，形成不同颜色的图像信号，算法根据RGB分量将两种荧光分别标记于白光图像上，实现同屏双谱近红外荧光成像；本发明中基于光谱响应特性的同屏近红外双谱荧光成像系统的光路相对简单，结构紧凑，利于集成。
在本说明书的描述中，参考术语“一个实施方式”、“某些实施方式”、“示意性实施方式”、“示例”、“具体示例”、或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (10)
1.一种基于光谱响应特性的同屏近红外双谱荧光成像的方法，其特征在于，具体包括以下步骤：
可见光、第一激发光和第二激发光入射到已被第一近红外荧光剂和第二近红外荧光剂染色的组织上；
从组织上反射回来的可见光、第一激发光、第二激发光，以及被第一近红外荧光剂被激发所产生的第一近红外荧光和被第二近红外荧光剂被激发所产生的第二近红外荧光被镜组收集；
将第一激发光和第二激发光过滤掉；
将可见光、第一近红外荧光和第二近红外荧光根据光谱进行分光；
可见光生成可见光图像，第一近红外荧光和第二近红外荧光生成近红外荧光图像；
根据算法从近红外荧光图像中区分出第一近红外荧光图像和第二近红外荧光图像；
将第一近红外荧光图像和第二近红外荧光图像进行荧光信号处理，并叠加到可见光图像中，实现同屏近红外双谱荧光成像；
最后输出带红外双谱荧光的可见光图像。
2.根据权利要求1所述的基于光谱响应特性的同屏近红外双谱荧光成像的方法，其特征在于，所述将第一激发光被陷波滤波片过滤掉，第二激发光被长波通滤光片过滤掉。
3.根据权利要求1所述的基于光谱响应特性的同屏近红外双谱荧光成像的方法，其特征在于，所述可见光、第一近红外荧光和第二近红外荧光被二向色镜分光根据光谱进行分光。
4.根据权利要求1所述的基于光谱响应特性的同屏近红外双谱荧光成像的方法，其特征在于，所述可见光透过二向色分光镜和短波通滤光片后，成像于可见光相机，生成可见光图像。
5.根据权利要求1所述的基于光谱响应特性的同屏近红外双谱荧光成像的方法，其特征在于，所述第一近红外荧光和第二近红外荧光透过长波通滤光片成像于近红外相机，生成近红外荧光图像。
6.根据权利要求1所述的基于光谱响应特性的同屏近红外双谱荧光成像的方法，其特征在于，图像处理器根据算法从近红外荧光图像中区分出第一近红外荧光图像和第二近红外荧光图像，再将第一近红外荧光图像和第二近红外荧光图像进行荧光信号处理，并叠加到可见光图像中，实现同屏近红外双谱荧光成像，最后输出带红外双谱荧光的可见光图像。
7.根据权利要求6所述的基于光谱响应特性的同屏近红外双谱荧光成像的方法，其特征在于，其中，根据算法从近红外荧光图像中区分出第一近红外荧光图像和第二近红外荧光图像，具体原理和过程如下：由近红外相机采集并生成可区分的第一近红外荧光图像和第二近红外荧光图像，设定第一近红外荧光剂激发的第一近红外荧光到达近红外相机的光谱曲线为fc(λ)，第二近红外荧光剂激发的第二近红外荧光到达近红外相机的光谱曲线为fd(λ)，带RGB拜耳滤色片的近红外相机的光谱响应曲线分别为：R(λ)、G(λ)和B(λ)；
因此对于第一近红外荧光剂c，RGB像元的亮度值为：
对于第二近红外荧光剂d，RGB像元的亮度值为：
由于fa(λ)与fb(λ)不重合，因此，第一近红外荧光和第二近红外荧光的RGB值会有差异，配合特定通道的电子放大，可增强采集到的第一近红外荧光和第二近红外荧光的RGB分量差异，由此通过算法区分出两种荧光图像。
8.一种基于光谱响应特性的同屏近红外双谱荧光成像的系统，其特征在于，包括陷波滤波片，成像镜组，二向色分光镜，短波通滤光片，可见光相机，长波通滤光片，近红外相机，图像处理器；
可见光、第一激发光和第二激发光入射到已被第一近红外荧光剂和第二近红外荧光剂染色的组织上；从组织上反射回来的可见光、第一激发光和第二激发光，以及被第一近红外荧光剂被激发所产生的第一近红外荧光和被第二近红外荧光剂被激发所产生的第二近红外荧光被镜组收集；其中反射回来的第一激发光被陷波滤波片过滤掉；透过陷波滤波片的可见光、第二激发光、第一近红外荧光和第二近红外荧光被二向色镜分光根据光谱分光，其中可见光透过二向色分光镜和短波通滤光片后，成像于可见光相机，生成可见光图像并传输到图像处理器；第二激发光、第一近红外荧光和第二近红外荧光被二向色分光镜反射，其中，第二激发光被长波通滤光片过滤掉，第一近红外荧光和第二近红外荧光会透过长波通滤光片成像于近红外相机，生成近红外荧光图像并传输到图像处理器；图像处理器根据算法从近红外荧光图像中区分出第一近红外荧光图像和第二近红外荧光图像，再将第一近红外荧光图像和第二近红外荧光图像进行荧光信号处理，并叠加到可见光图像中，实现同屏近红外双谱荧光成像，最后输出带红外双谱荧光的可见光图像。
9.根据权利要求8所述的基于光谱响应特性的同屏近红外双谱荧光成像的系统，其特征在于，所述近红外相机为带有RGB拜耳滤光片的彩色相机。
10.根据权利要求8所述的基于光谱响应特性的同屏近红外双谱荧光成像的系统，其特征在于，所述第一激发光的波长比第二激发光的波长长。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910482443.1A CN110236694B (zh) | 2019-06-04 | 2019-06-04 | 基于光谱响应特性的同屏近红外双谱荧光成像方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910482443.1A CN110236694B (zh) | 2019-06-04 | 2019-06-04 | 基于光谱响应特性的同屏近红外双谱荧光成像方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110236694A true CN110236694A (zh) | 2019-09-17 |
| CN110236694B CN110236694B (zh) | 2021-09-10 |
Family
ID=67885991
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910482443.1A Ceased CN110236694B (zh) | 2019-06-04 | 2019-06-04 | 基于光谱响应特性的同屏近红外双谱荧光成像方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110236694B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111589478A (zh) * | 2020-06-05 | 2020-08-28 | 深圳市尚维高科有限公司 | 一种双通道实时荧光定量pcr仪光路系统及检测方法 |
| WO2023273014A1 (zh) * | 2021-06-29 | 2023-01-05 | 南京微纳科技研究院有限公司 | 医学成像装置 |
| WO2023222119A1 (zh) * | 2022-05-20 | 2023-11-23 | 深圳迈瑞生物医疗电子股份有限公司 | 多通道荧光成像系统、内窥镜成像系统和内窥镜成像方法 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006340855A (ja) * | 2005-06-08 | 2006-12-21 | Olympus Medical Systems Corp | 画像処理装置 |
| JP2010068924A (ja) * | 2008-09-17 | 2010-04-02 | Fujinon Corp | 画像取得方法および画像取得装置 |
| CN104274156A (zh) * | 2013-07-12 | 2015-01-14 | 韩国电气研究院 | 用于检测前哨淋巴结处的nir荧光的设备和方法 |
| WO2016042892A1 (ja) * | 2014-09-18 | 2016-03-24 | 株式会社島津製作所 | イメージング装置 |
| CN105453542A (zh) * | 2013-08-21 | 2016-03-30 | 高通股份有限公司 | 用于通过多个图像感测元件俘获图像的系统及方法 |
| CN106455979A (zh) * | 2013-12-31 | 2017-02-22 | 纪念斯隆-凯特琳癌症中心 | 用于荧光源实时多通道成像的系统、方法和设备 |
| CN106572792A (zh) * | 2014-06-05 | 2017-04-19 | 海德堡大学 | 用于多光谱成像的方法和部件 |
| CN106714670A (zh) * | 2014-07-24 | 2017-05-24 | 大学健康网络 | 用于诊断目的的数据的收集和分析 |
| CN107003242A (zh) * | 2014-09-16 | 2017-08-01 | 劳伦斯·利弗莫尔国家安全有限责任公司 | 使用荧光剂进行染色之后在紫外激发的情况下使用荧光显微镜控制组织中的成像深度的系统和方法 |
| CN107645921A (zh) * | 2015-03-16 | 2018-01-30 | 奇跃公司 | 用于诊断和治疗健康疾病的方法和系统 |
| CN108430306A (zh) * | 2015-10-09 | 2018-08-21 | 瓦索普蒂奇医疗公司 | 用于使用激光散斑对比度成像快速检查脉管系统和微粒流的系统和方法 |
| CN108577812A (zh) * | 2018-05-16 | 2018-09-28 | 广东欧谱曼迪科技有限公司 | 一种高精度近红外荧光导航成像系统及方法 |
| US20190125229A1 (en) * | 2016-07-04 | 2019-05-02 | Hoya Corporation | Analysis device |
-
2019
- 2019-06-04 CN CN201910482443.1A patent/CN110236694B/zh not_active Ceased
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006340855A (ja) * | 2005-06-08 | 2006-12-21 | Olympus Medical Systems Corp | 画像処理装置 |
| JP2010068924A (ja) * | 2008-09-17 | 2010-04-02 | Fujinon Corp | 画像取得方法および画像取得装置 |
| CN104274156A (zh) * | 2013-07-12 | 2015-01-14 | 韩国电气研究院 | 用于检测前哨淋巴结处的nir荧光的设备和方法 |
| CN105453542A (zh) * | 2013-08-21 | 2016-03-30 | 高通股份有限公司 | 用于通过多个图像感测元件俘获图像的系统及方法 |
| CN106455979A (zh) * | 2013-12-31 | 2017-02-22 | 纪念斯隆-凯特琳癌症中心 | 用于荧光源实时多通道成像的系统、方法和设备 |
| CN106572792A (zh) * | 2014-06-05 | 2017-04-19 | 海德堡大学 | 用于多光谱成像的方法和部件 |
| CN106714670A (zh) * | 2014-07-24 | 2017-05-24 | 大学健康网络 | 用于诊断目的的数据的收集和分析 |
| CN107003242A (zh) * | 2014-09-16 | 2017-08-01 | 劳伦斯·利弗莫尔国家安全有限责任公司 | 使用荧光剂进行染色之后在紫外激发的情况下使用荧光显微镜控制组织中的成像深度的系统和方法 |
| WO2016042892A1 (ja) * | 2014-09-18 | 2016-03-24 | 株式会社島津製作所 | イメージング装置 |
| CN107645921A (zh) * | 2015-03-16 | 2018-01-30 | 奇跃公司 | 用于诊断和治疗健康疾病的方法和系统 |
| CN108430306A (zh) * | 2015-10-09 | 2018-08-21 | 瓦索普蒂奇医疗公司 | 用于使用激光散斑对比度成像快速检查脉管系统和微粒流的系统和方法 |
| US20190125229A1 (en) * | 2016-07-04 | 2019-05-02 | Hoya Corporation | Analysis device |
| CN108577812A (zh) * | 2018-05-16 | 2018-09-28 | 广东欧谱曼迪科技有限公司 | 一种高精度近红外荧光导航成像系统及方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111589478A (zh) * | 2020-06-05 | 2020-08-28 | 深圳市尚维高科有限公司 | 一种双通道实时荧光定量pcr仪光路系统及检测方法 |
| WO2023273014A1 (zh) * | 2021-06-29 | 2023-01-05 | 南京微纳科技研究院有限公司 | 医学成像装置 |
| WO2023222119A1 (zh) * | 2022-05-20 | 2023-11-23 | 深圳迈瑞生物医疗电子股份有限公司 | 多通道荧光成像系统、内窥镜成像系统和内窥镜成像方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110236694B (zh) | 2021-09-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20240007762A1 (en) | Multi-function imaging | |
| CN110236694A (zh) | 基于光谱响应特性的同屏近红外双谱荧光成像方法及系统 | |
| US9167960B2 (en) | Endoscope system, processor device thereof, and image producing method | |
| CN101179742B (zh) | 摄像装置和图像信号处理装置 | |
| US6070096A (en) | Fluorescence detecting apparatus | |
| CN101238974B (zh) | 摄像装置 | |
| US20080177140A1 (en) | Cameras for fluorescence and reflectance imaging | |
| CN110269700A (zh) | 增强现实手术显微镜和显微镜学方法 | |
| CN107708518A (zh) | 摄像装置 | |
| EP2943932A1 (en) | Whole slide multispectral imaging systems and methods | |
| US7224468B2 (en) | En-face functional imaging using multiple wavelengths | |
| CN106572792A (zh) | 用于多光谱成像的方法和部件 | |
| CN108378825A (zh) | 一种黑白单相机实现的医用四色多光谱成像方法和装置 | |
| CN102753079A (zh) | 荧光内窥镜装置 | |
| WO2018043727A1 (ja) | 内視鏡システム | |
| CN110087528A (zh) | 内窥镜系统以及图像显示装置 | |
| AU2019229421B2 (en) | Method and device for acquiring and displaying an immunofluorescence image of a biological sample | |
| JP2001198079A (ja) | 蛍光診断装置 | |
| US20120081664A1 (en) | Opthalmology photographing apparatus | |
| WO2021238661A1 (zh) | 一种具有实时成像功能的可视化系统 | |
| US20180092519A1 (en) | Infrared fluorescence observation device | |
| Dimitriadis et al. | Simultaneous real-time multicomponent fluorescence and reflectance imaging method for fluorescence-guided surgery | |
| CN208210129U (zh) | 一种近红外成像系统 | |
| CN209450511U (zh) | 一种基于测光反馈的荧光导航系统 | |
| CN209091322U (zh) | 内窥镜用光源装置及内窥镜系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address | ||
| CP03 | Change of name, title or address |
Address after: 528253 Room 503, Floor 5, Building A, Jingu Zhichuang Industrial Community, No. 2, Yong'an North Road, Dawu Community, Guicheng Street, Nanhai District, Foshan City, Guangdong Province (residence declaration) Patentee after: Guangdong Oupu Mandi Technology Co.,Ltd. Address before: 528251 504, block a, Jingu optoelectronics, No.1, Yong'an North Road, Nanhai District, Foshan City, Guangdong Province Patentee before: GUANGDONG OPTOMEDIC TECHNOLOGY CO.,LTD. |
|
| IW01 | Full invalidation of patent right | ||
| IW01 | Full invalidation of patent right |
Decision date of declaring invalidation: 20230628 Decision number of declaring invalidation: 562328 Granted publication date: 20210910 |