CN109124768A - 一种荧光成像手术导航系统 - Google Patents

一种荧光成像手术导航系统 Download PDF

Info

Publication number
CN109124768A
CN109124768A CN201810927271.XA CN201810927271A CN109124768A CN 109124768 A CN109124768 A CN 109124768A CN 201810927271 A CN201810927271 A CN 201810927271A CN 109124768 A CN109124768 A CN 109124768A
Authority
CN
China
Prior art keywords
image
module
light
fluorescent
imaging operation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810927271.XA
Other languages
English (en)
Inventor
王潇
张雅馨
徐俊琪
陈春晓
尹建华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN201810927271.XA priority Critical patent/CN109124768A/zh
Publication of CN109124768A publication Critical patent/CN109124768A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A61B2034/2057—Details of tracking cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition

Landscapes

  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Robotics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

本发明公开了一种荧光成像手术导航系统，包括：照明光源、激发光源、成像光学模块、固定滤光模块、动态滤光模块、图像获取模块、控制模块和显示模块。本发明采用单相机结合时序滤光系统，突破了常规单相机只能获取荧光图像的缺点，同时相比传统双相机成像系统结构更为简单、紧凑，成本更低，并易于扩展不同荧光探针和多种荧光探针的使用场景。

Description

一种荧光成像手术导航系统
技术领域
本发明涉及荧光成像医疗器械领域，尤其是一种荧光成像手术导航系统。
背景技术
据联合国统计数据显示全球目前平均每8个死亡病例中就有1人死于癌症，癌症患者比率不断扩大，癌症患者人数不多增多。提高癌症患者生存率，控制癌症病发率成为急需解决的医学问题。目前在肿瘤治疗方面主要方法包括化疗、放疗和手术切除，其中手术切除是目前治疗肿瘤的首选方法，该方法是将癌症原发病灶及转移病灶一并切除的治疗方法。临床外科手术过程中对恶性肿瘤组织的定位及手术切缘的确定，主要依据术前影像学检查和术中医生肉眼观察和用手探查组织的结果，根据临床经验进行综合判断后做出决定。这种传统方法存在切缘不准确、微小肿瘤组织不易发现等问题。
近年来发展的基于荧光分子影像技术的荧光成像手术导航能够有效解决此问题。荧光导航系统基于荧光分子探针来对肿瘤组织进行示踪成像，实现微小肿瘤组织定位，精确显示肿瘤浸润及转移范围。从而在手术中实现精确切除；同时也可以用于前哨淋巴结失踪，避免过度淋巴结清除。
基于此技术的重要应用前景，多个研究小组和公司开发了多种荧光手术导航系统。其中最著名的为日本滨松公司的PDE系统，但该系统由于只能进行单通道的荧光成像从而缺乏白光反射图像能够提供的组织形貌信息，同时操作过程中必须关掉手术环境灯光，使用很不方便。为避免此问题有研究小组提出基于双图像传感器的双通道系统，这些系统利用两个图像传感器分别捕获可见光和荧光图像从而获取荧光图像信息和组织形貌信息。如专利光学手术导航系统(CN 201710797514.8)、共定位手术导航系统和相机头(CN201710286022.2)。然而由于采用双图像传感器造成系统复杂，需要准确配准不同图像传感器获取的图像，同时成本高。为此日本索尼公司提出了一种单图像传感器的系统，发明专利成像装置、成像系统、手术导航系统和成像方法(CN 201110188577.6)，该系统采用可见光和荧光激发光交替照明的方式配合单一图像传感器获取白光和荧光图像，但是需要在手术过程中关掉手术环境灯光。
发明内容
本发明所要解决的技术问题在于，提供一种荧光成像手术导航系统，结构简单，同时提供多模式图像，能适用于手术照明环境。
为解决上述技术问题，本发明提供一种荧光成像手术导航系统，包括：照明光源1、激发光源2、成像光学模块3、固定滤光模块4、动态滤光模块5、图像获取模块8、控制模块9和显示模块10；照明光源1和激发光源2分别发出可见照明光和荧光激发光照射目标组织11，漫反射可见光和荧光标记组织12的荧光辐射光都被成像光学模块3成像到图像获取模块8上，固定滤光模块4阻挡荧光激发光和不必要的环境光进入图像获取模块8，动态滤光模块5在控制模块9的控制下时序滤出红、绿、蓝和荧光辐射波段光，同时控制模块9同步控制图像获取模块8获取对应波段的图像信息，对获取的图像信息经图像处理后并传输给显示模块10显示。
优选的，照明光源1发出可见照明光，是光谱范围内包含红绿蓝三个可见光波段的宽光谱光源或红绿蓝三个单色波段光源组合。
优选的，激发光源2发出针对荧光探针的特定波段激发光，是宽光谱光源配合特定滤光片组成或者是荧光探针激发波段的LED或LD单色光源。
优选的，动态滤光模块5是受控制模块9控制的转动滤光轮，包括转动电机6和装载相应透射波段滤光片的滤光轮7，转动电机6在控制模块9的控制下转动。
优选的，动态滤光模块5是受控制模块9控制的可调谐滤光片。
优选的，图像获取模块8为感光光谱覆盖红、绿、蓝三个波段及荧光辐射波段的高帧频单色图像传感器，可以为单色CCD或者单色CMOS图像传感器相机。
优选的，图像处理具体为：对获取红、绿、蓝漫反射图像叠加生成白光彩色图像；荧光辐射图像进行伪彩或灰度处理生成荧光图像；白光彩色图像和荧光图像加权叠加后生成白光/荧光融合图像。
本发明的有益效果为：本发明采用单相机结合时序滤光系统，突破了常规单相机只能获取荧光图像的缺点，同时相比传统双相机成像系统结构更为简单、紧凑，成本更低，并易于扩展不同荧光探针和多种荧光探针的使用场景。
附图说明
图1为本发明的结构示意图。
图2为本发明的固定滤光模块和动态滤光模块光谱透过率示意图。
图3(a)为本发明针对单一荧光辐射波段的滤光轮上滤光片的分布示意图。
图3(b)为本发明针对两个荧光辐射波段E1和E2的滤光轮上滤光片的分布示意图。
图4为本发明的控制模块的控制时序图。
其中，1、照明光源；2、激发光源；3、成像光学模块；4、固定滤光模块；5、动态滤光模块；6、转动电机；7、转动滤光轮；8、图像获取模块；9、控制模块；10、显示模块；11、目标组织；12、组织中荧光标记组织；S、R、G、B分别代表荧光激发、红、绿、蓝波段光；E、E1、E2分别为荧光辐射光、第一荧光探针辐射光、第二荧光探针辐射光。
具体实施方式
如图1所示，本发明为一种多模式荧光成像手术导航系统，可见光光源1，激发光源2分别发出可见照明光和荧光激发光照射目标组织11，漫反射可见光和荧光标记组织12的荧光辐射光都被成像光学模块3成像到图像获取模块8上，固定滤光模块4阻挡荧光激发波段光进入图像获取模块，动态滤光模块5由转动电机6和滤光轮7组成，在控制模块9的控制下时序滤出红、绿、蓝和荧光辐射波段光，同时控制模块9同步控制图像获取模块8获取对应波段的图像信息，对获取的图像信息经图像处理后传输给显示模块显示。
其中可见光照明模块为包含400-700nm可见光波段的氙灯或其他宽光谱光源，而激发光光源采用荧光探针激发波段的单色光源，如带宽为50nm的LED光源或带宽更窄的激光光源。通常为了增加激发光的强度，多个LED光珠组成面光源。针对多种荧光探针标记组织的情况，激发光源包含相应的多个激发波段的光源，如多个波段的LED或LD光源组成，或者宽光谱配合多个相应透射波段的滤光片。
光学成像模块3为成像光学镜头把漫反射白光和荧光辐射光成像到图像获取模块8上。成像镜头的参数根据临床手术使用场景确定，主要考虑视场大小和工作距离，可以采用定焦镜头，也可以采用手动或自动变焦镜头。对开放式手术场景通常需要视场在10cm*10cm左右，工作距离为50～100cm之间。
光学成像模块3与图像获取模块8之间放置的滤光系统，包括固定滤光模块4和动态滤光模块5，其透射光谱如图2所示。固定滤光模块4具有固定的透射谱段，透过可见光波段和荧光辐射波段，阻挡荧光激发光和不必要的环境光透过，可以由一片或多片滤光片组成；动态滤光模块5在控制模块控制下能时序透过红、绿、蓝和荧光辐射波段的光，可以是受控制系统控制转动的滤光轮或者可调谐滤光片，比如液晶可调滤光片。在本实施例中采用转动滤光轮，由转动电机和6和滤光轮7组成。转动电机6在控制模块9的控制下转动带动滤光轮7旋转，其结构如图3(a)和图3(b)所示，由红、绿、蓝和荧光辐射不同透射波段滤光片分布组成，当滤光轮7旋转时时序透射红、绿、蓝和荧光辐射不同波段的光。图3(a)为单一荧光探针时滤光轮上滤光片的分布，如果目标组织含有多种荧光探针，在滤光轮系统上增加相应荧光辐射波段的透射滤光片即可，如图3(b)展示了包含透射荧光辐射波段E1和E2的滤光轮。
控制模块9控制动态滤光模块5时序滤出红、绿、蓝和荧光辐射波段的光，而图像获取模块8为感光光谱覆盖可见光和荧光辐射波段的单色图像传感器，在控制模块9的控制下曝光获取相应波段的图像信息。在本实施例中动态滤光模块5采用转动滤光轮，控制模块9控制滤光轮匀速转动。为了准确定位滤光轮位置可以在两种滤光片分界处设有限位开关，当转到相应波段滤光片时限位开关发出触发信号来同步图像获取模块进行曝光。图4展示了一个周期内的控制时序，控制模块根据输出帧频设定单色图像传感器曝光时间和旋转电机转速，滤光轮旋转一圈完成一个周期的图像捕获。滤光轮间隔处的限位开关在旋转到相应位置后会发出脉冲触发信号，单色图像传感器工作在触发曝光模式下收到触发信号后开启图像曝光，曝光时间由控制模块预先设定好。为了保证每副曝光图像能够完全曝光特定滤光波段的图像，在限位开关发出触发信号后设定一个延迟曝光时间t，从而保证在一个曝光周期内，捕获的图像来自于一个特定波段滤光片，而不是横跨两个滤光片造成捕获图像来自不同波段。在一个具体实施中，对应输出帧频25fps，对应滤光轮每秒25转，每分钟1500转，图像获取周期T＝40ms，设定延时t＝2ms，则每个波段的图像捕获时间在8ms以内。如果采用可调谐滤光模块，其响应时间很短，则没有过渡阶段，不需要设置延迟时间，控制模块直接发出同步信号同步可调谐模块和相机曝光。
控制模块对获取的不同波段图像进行实时处理，对红绿蓝波段的图像直接叠加可以产生白光彩色图像，对荧光辐射波段图像进行伪彩或灰度处理生成荧光图像，白光彩色图像和荧光图像加权叠加生成融合图像，并把这三种图像实时传输给显示模块显示出来。
本发明荧光成像系统利用滤光系统时序滤出漫反射白光中的红、绿、蓝波段和荧光辐射波段，同时配合一单色高帧频图像传感器来获取对应波段图像，经图像处理后输出白光彩色、荧光及二者融合的多模式图像。该系统结构简单，同时提供多模式图像，能适用于手术照明环境。

Claims (7)

1.一种荧光成像手术导航系统，其特征在于，包括：照明光源(1)、激发光源(2)、成像光学模块(3)、固定滤光模块(4)、动态滤光模块(5)、图像获取模块(8)、控制模块(9)和显示模块(10)；照明光源(1)和激发光源(2)分别发出可见照明光和荧光激发光照射目标组织(11)，漫反射可见光和荧光标记组织(12)的荧光辐射光都被成像光学模块(3)成像到图像获取模块(8)上，固定滤光模块(4)阻挡荧光激发光和不必要的环境光进入图像获取模块(8)，动态滤光模块(5)在控制模块(9)的控制下时序滤出红、绿、蓝和荧光辐射波段光，同时控制模块(9)同步控制图像获取模块(8)获取对应波段的图像信息，对获取的图像信息经图像处理后并传输给显示模块(10)显示。
2.如权利要求1所述的荧光成像手术导航系统，其特征在于，照明光源(1)发出可见照明光，是光谱范围内包含红绿蓝三个可见光波段的宽光谱光源或红绿蓝三个单色波段光源组合。
3.如权利要求1所述的荧光成像手术导航系统，其特征在于，激发光源(2)发出针对荧光探针的特定波段激发光，是宽光谱光源配合特定滤光片组成或者是荧光探针激发波段的LED或LD单色光源。
4.如权利要求1所述的荧光成像手术导航系统，其特征在于，动态滤光模块(5)是受控制模块(9)控制的转动滤光轮，包括转动电机(6)和装载相应透射波段滤光片的滤光轮(7)，转动电机(6)在控制模块(9)的控制下转动。
5.如权利要求1所述的荧光成像手术导航系统，其特征在于，动态滤光模块(5)是受控制模块(9)控制的可调谐滤光片。
6.如权利要求1所述的荧光成像手术导航系统，其特征在于，图像获取模块(8)为感光光谱覆盖红、绿、蓝三个波段及荧光辐射波段的高帧频单色图像传感器，可以为单色CCD或者单色CMOS图像传感器相机。
7.如权利要求1所述的荧光成像手术导航系统，其特征在于，图像处理具体为：对获取红、绿、蓝漫反射图像叠加生成白光彩色图像；荧光辐射图像进行伪彩或灰度处理生成荧光图像；白光彩色图像和荧光图像加权叠加后生成白光/荧光融合图像。
CN201810927271.XA 2018-08-15 2018-08-15 一种荧光成像手术导航系统 Pending CN109124768A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810927271.XA CN109124768A (zh) 2018-08-15 2018-08-15 一种荧光成像手术导航系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810927271.XA CN109124768A (zh) 2018-08-15 2018-08-15 一种荧光成像手术导航系统

Publications (1)

Publication Number Publication Date
CN109124768A true CN109124768A (zh) 2019-01-04

Family

ID=64793272

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810927271.XA Pending CN109124768A (zh) 2018-08-15 2018-08-15 一种荧光成像手术导航系统

Country Status (1)

Country Link
CN (1) CN109124768A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110327019A (zh) * 2019-06-25 2019-10-15 中国科学院自动化研究所 术中组织契伦科夫荧光成像系统及其图像处理方法
CN112198654A (zh) * 2020-10-21 2021-01-08 南京诺源医疗器械有限公司 一种用于荧光影像导航手术的照明系统
CN113693724A (zh) * 2021-08-19 2021-11-26 南京诺源医疗器械有限公司 适用于荧光影像导航手术的照射方法、装置及存储介质
WO2021238661A1 (zh) * 2020-05-28 2021-12-02 维景医疗科技(浙江)有限公司 一种具有实时成像功能的可视化系统
CN113984631A (zh) * 2021-10-12 2022-01-28 桂林电子科技大学 基于动态散斑照明的宽场多光谱荧光显微成像方法和系统
CN114052911A (zh) * 2021-12-01 2022-02-18 辽宁北镜医疗科技有限公司 一种近红外荧光术中导航系统、方法及可存储介质
CN114469344A (zh) * 2022-01-27 2022-05-13 上海安翰医疗技术有限公司 导航头及手术导航设备
CN115998256A (zh) * 2022-12-27 2023-04-25 重庆大学 一种双通道分时曝光成像系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102274000A (zh) * 2011-05-16 2011-12-14 易定容 窄带多光谱荧光阴道检查装置
US20140073885A1 (en) * 2002-03-12 2014-03-13 Beth Israel Deaconess Medical Center Multi-channel medical imaging system
CN108378825A (zh) * 2018-03-23 2018-08-10 张栋 一种黑白单相机实现的医用四色多光谱成像方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140073885A1 (en) * 2002-03-12 2014-03-13 Beth Israel Deaconess Medical Center Multi-channel medical imaging system
CN102274000A (zh) * 2011-05-16 2011-12-14 易定容 窄带多光谱荧光阴道检查装置
CN108378825A (zh) * 2018-03-23 2018-08-10 张栋 一种黑白单相机实现的医用四色多光谱成像方法和装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110327019A (zh) * 2019-06-25 2019-10-15 中国科学院自动化研究所 术中组织契伦科夫荧光成像系统及其图像处理方法
WO2021238661A1 (zh) * 2020-05-28 2021-12-02 维景医疗科技(浙江)有限公司 一种具有实时成像功能的可视化系统
CN112198654A (zh) * 2020-10-21 2021-01-08 南京诺源医疗器械有限公司 一种用于荧光影像导航手术的照明系统
CN113693724A (zh) * 2021-08-19 2021-11-26 南京诺源医疗器械有限公司 适用于荧光影像导航手术的照射方法、装置及存储介质
CN113984631A (zh) * 2021-10-12 2022-01-28 桂林电子科技大学 基于动态散斑照明的宽场多光谱荧光显微成像方法和系统
CN114052911A (zh) * 2021-12-01 2022-02-18 辽宁北镜医疗科技有限公司 一种近红外荧光术中导航系统、方法及可存储介质
CN114052911B (zh) * 2021-12-01 2024-03-01 辽宁北镜医疗科技有限公司 一种近红外荧光术中导航系统、方法及可存储介质
CN114469344A (zh) * 2022-01-27 2022-05-13 上海安翰医疗技术有限公司 导航头及手术导航设备
CN114469344B (zh) * 2022-01-27 2024-01-09 上海安翰医疗技术有限公司 导航头及手术导航设备
CN115998256A (zh) * 2022-12-27 2023-04-25 重庆大学 一种双通道分时曝光成像系统

Similar Documents

Publication Publication Date Title
CN109124768A (zh) 一种荧光成像手术导航系统
KR102309075B1 (ko) 수술 로봇용 확대 입체 가시영상
CN102274000B (zh) 窄带多光谱荧光阴道检查装置
US5986271A (en) Fluorescence imaging system
CN109222865B (zh) 一种多模态成像内窥镜系统
CN108697307A (zh) 计算系统
CN108378825A (zh) 一种黑白单相机实现的医用四色多光谱成像方法和装置
US10295468B2 (en) Fluorescent image system
WO2004106896A2 (en) Methods and apparatus for fluorescence imaging using multiple excitation-emission pairs and simultaneous multi-channel image detection
KR20010040418A (ko) 형광 이미지화 내시경
CN103857322B (zh) 内窥镜系统
CN109924938A (zh) 外置式双光源阴道镜成像系统
CN109124586A (zh) 一种多模式荧光内窥实时成像系统
KR20120097828A (ko) 협대역 영상을 제공할 수 있는 내시경 장치 및 상기 내시경 장치의 영상 처리 방법
CN103654686A (zh) 内窥镜系统及其处理器装置、内窥镜图像的显示控制方法及胶囊内窥镜系统
CN104083141A (zh) 一种多光谱组合输出光源装置及内窥镜装置
CN209172253U (zh) 一种多模态成像内窥镜系统
CN102920420B (zh) 一种内窥镜装置
CN112089403A (zh) 多光谱医用多路成像方法及其系统
CN103874451A (zh) 内窥镜系统以及图像生成方法
JP5489785B2 (ja) 蛍光内視鏡装置
KR102135105B1 (ko) 의료 내시경용 광학 모듈 및 의료 내시경 시스템
CN114468950A (zh) 混合照明的自体荧光腹腔镜
WO2019100449A1 (zh) 一种基于传像光纤的手术导航系统
CN206151443U (zh) 一种实现窄带或宽带光谱复合照明的装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190104

RJ01 Rejection of invention patent application after publication