CN111616799A - 一种增强现实近红外荧光导航系统及方法 - Google Patents

一种增强现实近红外荧光导航系统及方法 Download PDF

Info

Publication number
CN111616799A
CN111616799A CN202010514573.1A CN202010514573A CN111616799A CN 111616799 A CN111616799 A CN 111616799A CN 202010514573 A CN202010514573 A CN 202010514573A CN 111616799 A CN111616799 A CN 111616799A
Authority
CN
China
Prior art keywords
fluorescence
image
projection
infrared
infrared fluorescence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010514573.1A
Other languages
English (en)
Inventor
顾兆泰
李娜娜
安昕
张浠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Optomedic Technology Co Ltd
Original Assignee
Guangdong Optomedic Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Optomedic Technology Co Ltd filed Critical Guangdong Optomedic Technology Co Ltd
Priority to CN202010514573.1A priority Critical patent/CN111616799A/zh
Publication of CN111616799A publication Critical patent/CN111616799A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A61B2034/2057—Details of tracking cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Surgery (AREA)
  • Robotics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Biomedical Technology (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

本发明公开了一种增强现实近红外荧光导航系统及方法，系统包括近红外荧光导航装置，用于激发并捕获荧光信号，并将荧光信号转换成荧光图像后处理生成投影图像；包括激发光源、滤光片组、成像透镜组和分光镜；投影模块，接收生成的投影图像，并根据投影图像生成投影光；生成的投影光透过分光镜后由成像透镜组聚焦并成像于观察组织上；通过投影技术，把不可见的近红外荧光可视化，达到现实增强效果，解决传统术中导航设备需要反复观察显示器图像和核对实际生物组织荧光信号位置的问题。

Description

一种增强现实近红外荧光导航系统及方法
技术领域
本发明涉及内荧光成像技术领域，尤其涉及的是一种增强现实近红外荧光导航系统及方法。
背景技术
荧光成像技术在术中应用日益广泛，可在手术过程中实时凸显被造影剂所标记的目标组织，为术者提供血供或肿瘤、淋巴等解剖结构的位置信息。目前市面上荧光摄像系统通常利用摄像原件捕获荧光信号，在医用显示器上直接显示荧光图像，或者经过与白光图像融合等图像处理后再显示于显示器上，术者需要反复通过显示器图像观察荧光标识部位以进行解剖操作。但是，在开放式手术中，反复观察显示器图像和核对实际生物组织位置对术者造成极大不便，不利于手术操作。
因此，现有的技术还有待于改进和发展。
发明内容
本发明的目的在于提供一种增强现实近红外荧光导航系统及方法，旨在解决操作者需要在通过显示器观察图像和核对实际组织位置之间反复来回操作，造成操作不便的问题。
本发明的技术方案如下：一种增强现实近红外荧光导航系统，其中，包括：
近红外荧光导航装置，用于激发并捕获荧光信号，并将荧光信号转换成荧光图像后处理生成投影图像；包括激发光源、滤光片组、成像透镜组和分光镜；
投影模块，接收生成的投影图像，并根据投影图像生成投影光；
生成的投影光透过分光镜后由成像透镜组聚焦并成像于观察组织上。
所述的增强现实近红外荧光导航系统，其中，还包括近红外相机和图像处理单元，所述滤光片组波包括第一滤光片和第二滤光片：激发光源发出的激发光到达观察组织，激发出近红外荧光；近红外荧光透过第一滤光片，并由成像透镜组收集并聚焦；聚焦的近红外荧光被分光镜反射，透过第二滤光片后，成像于近红外相机；近红外相机把荧光信号转换成图像信号并传输到图像处理单元；图像处理单元将荧光图像信号处理生成投影图像并输入到投影模块。
所述的增强现实近红外荧光导航系统，其中，所述第一滤光片为陷波滤光片。
所述的增强现实近红外荧光导航系统，其中，所述第二滤光片为长波通滤光片。
所述的增强现实近红外荧光导航系统，其中，所述分光镜为二向色分光镜。
一种如上述任一所述的增强现实近红外荧光导航系统的图像投影方法，其中，具体包括以下步骤：
S1：近红外荧光导航装置激发并捕获荧光信号，并将荧光信号转换成荧光图像后处理生成投影图像并反馈至投影模块；
S2：投影模块根据投影图像生成投影光；
S3：投影光透过分光镜后由成像透镜组聚焦并成像于观察组织上。
所述的图像投影方法，其中，所述S1中具体包括以下过程：激发光源发出的激发光到达观察组织，激发出近红外荧光；近红外荧光透过陷波滤光片后由成像透镜组收集并聚焦；聚焦后的近红外荧光被分光镜反射，透过长波通滤光片后，成像于近红外相机；近红外相机把荧光信号转换成荧光图像信号并传输到图像处理单元；图像处理单元对荧光图像进行处理，生成投影图像并输入到投影模块。
所述的图像投影方法，其中，所述近红外相机的成像画面和投影模块的投影画面经过空间重合匹配处理。
本发明的有益效果：本发明通过提供一种增强现实近红外荧光导航系统及方法，系统包括近红外荧光导航装置，用于激发并捕获荧光信号，并将荧光信号转换成荧光图像后处理生成投影图像；包括激发光源、滤光片组、成像透镜组和分光镜；投影模块，接收生成的投影图像，并根据投影图像生成投影光；生成的投影光透过分光镜后由成像透镜组聚焦并成像于观察组织上；通过投影技术，把不可见的近红外荧光可视化，达到现实增强效果，解决传统术中导航设备需要反复观察显示器图像和核对实际生物组织荧光信号位置的问题。
附图说明
图1是本发明中增强现实近红外荧光导航系统的结构示意图。
图2是本发明中图像投影方法的步骤流程图。
具体实施方式
下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接或可以相互通讯；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正下方和斜下方，或仅仅表示第一特征水平高度小于第二特征。
下文的公开提供了许多不同的实施方式或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本发明。此外，本发明可以在不同例子中重复参考数字和/或参考字母，这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施方式和/或设置之间的关系。此外，本发明提供了的各种特定的工艺和材料的例子，但是本领域普通技术人员可以意识到其他工艺的应用和/或其他材料的使用。
如图1所示，一种增强现实近红外荧光导航系统，包括：
近红外荧光导航装置，用于激发并捕获荧光信号，并将荧光信号转换成荧光图像后处理生成投影图像，包括激发光源1、滤光片组、成像透镜组3和分光镜4；
投影模块8，接收生成的投影图像，并根据投影图像生成投影光；
生成的投影光透过分光镜4后由成像透镜组3聚焦并成像于观察组织上。
其中，可以通过现有的技术手段将荧光图像处理生成投影图像，本技术方案不对此做进一步地限定；本技术方案在于通过投影技术，把不可见的近红外荧光可视化，达到现实增强效果，解决传统术中导航设备需要反复观察显示器图像和核对实际生物组织荧光信号位置的问题。
在某些具体实施例中，所述近红外荧光导航装置还包括：近红外相机6和图像处理单元7，所述滤光片组波包括第一滤光片2和第二滤光片5：激发光源1发出的激发光到达观察组织，激发出近红外荧光；近红外荧光透过第一滤光片2，并由成像透镜组3收集并聚焦；聚焦的近红外荧光被分光镜4反射，透过第二滤光片5后，成像于近红外相机6；近红外相机6把荧光信号转换成图像信号并传输到图像处理单元7；图像处理单元7将荧光图像信号处理生成投影图像并输入到投影模块8。
在某些具体实施例中，所述第一滤光片2为陷波滤光片，滤除激发光。
在某些具体实施例中，所述第二滤光片5为长波通滤光片，进一步滤除除了荧光之外的杂散光。
在某些具体实施例中，所述分光镜4为二向色分光镜。
如图2所示，一种如上述所述的增强现实近红外荧光导航系统的图像投影方法，具体包括以下步骤：
S1：近红外荧光导航装置激发并捕获荧光信号，并将荧光信号转换成荧光图像后处理生成投影图像并反馈至投影模块8；
S2：投影模块8根据投影图像生成投影光；
S3：投影光透过分光镜4后由成像透镜组3聚焦并成像于观察组织上。
在某些具体实施例中，所述S1中具体包括以下过程：激发光源1发出的激发光到达观察组织，激发出近红外荧光；近红外荧光透过陷波滤光片2后由成像透镜组3收集并聚焦；聚焦后的近红外荧光被分光镜4反射，透过长波通滤光片5后，成像于近红外相机6；近红外相机6把荧光信号转换成荧光图像信号并传输到图像处理单元7；图像处理单元7对荧光图像进行处理，生成投影图像并输入到投影模块8。
在某些具体实施例中，所述近红外相机6的成像画面和投影模块8的投影画面经过空间重合匹配处理，最终使得术野中的生物组织中，原本不可见的近红外荧光信号，被投影影像可视化，可以直观地用肉眼观察。
在本说明书的描述中，参考术语“一个实施方式”、“某些实施方式”、“示意性实施方式”、“示例”、“具体示例”、或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。
附图标号：
激发光源1，第一滤光片2，成像透镜组3，分光镜4，第二滤光片5，近红外相机6，图像处理单元7，投影模块8。

Claims (8)

1.一种增强现实近红外荧光导航系统，其特征在于，包括：
近红外荧光导航装置，用于激发并捕获荧光信号，并将荧光信号转换成荧光图像后处理生成投影图像；包括激发光源（1）、滤光片组、成像透镜组（3）和分光镜（4）；
投影模块（8），接收生成的投影图像，并根据投影图像生成投影光；
生成的投影光透过分光镜（4）后由成像透镜组（3）聚焦并成像于观察组织上。
2.根据权利要求1所述的增强现实近红外荧光导航系统，其特征在于，还包括近红外相机（6）和图像处理单元（7），所述滤光片组波包括第一滤光片（2）和第二滤光片（5）：激发光源（1）发出的激发光到达观察组织，激发出近红外荧光；近红外荧光透过第一滤光片（2），并由成像透镜组（3）收集并聚焦；聚焦的近红外荧光被分光镜（4）反射，透过第二滤光片（5）后，成像于近红外相机（6）；近红外相机（6）把荧光信号转换成图像信号并传输到图像处理单元（7）；图像处理单元（7）将荧光图像信号处理生成投影图像并输入到投影模块（8）。
3.根据权利要求2所述的增强现实近红外荧光导航系统，其特征在于，所述第一滤光片（2）为陷波滤光片。
4.根据权利要求2所述的增强现实近红外荧光导航系统，其特征在于，所述第二滤光片（5）为长波通滤光片。
5.根据权利要求2所述的增强现实近红外荧光导航系统，其特征在于，所述分光镜（4）为二向色分光镜。
6.一种如权利要求1至5任一所述的增强现实近红外荧光导航系统的图像投影方法，其特征在于，具体包括以下步骤：
S1：近红外荧光导航装置激发并捕获荧光信号，并将荧光信号转换成荧光图像后处理生成投影图像并反馈至投影模块（8）；
S2：投影模块（8）根据投影图像生成投影光；
S3：投影光透过分光镜（4）后由成像透镜组（3）聚焦并成像于观察组织上。
7.根据权利要求6所述的图像投影方法，其特征在于，所述S1中具体包括以下过程：激发光源（1）发出的激发光到达观察组织，激发出近红外荧光；近红外荧光透过陷波滤光片（2）后由成像透镜组（3）收集并聚焦；聚焦后的近红外荧光被分光镜（4）反射，透过长波通滤光片（5）后，成像于近红外相机（6）；近红外相机（6）把荧光信号转换成荧光图像信号并传输到图像处理单元（7）；图像处理单元（7）对荧光图像进行处理，生成投影图像并输入到投影模块（8）。
8.根据权利要求6或7任一所述的图像投影方法，其特征在于，所述近红外相机（6）的成像画面和投影模块（8）的投影画面经过空间重合匹配处理。
CN202010514573.1A 2020-06-08 2020-06-08 一种增强现实近红外荧光导航系统及方法 Pending CN111616799A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010514573.1A CN111616799A (zh) 2020-06-08 2020-06-08 一种增强现实近红外荧光导航系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010514573.1A CN111616799A (zh) 2020-06-08 2020-06-08 一种增强现实近红外荧光导航系统及方法

Publications (1)

Publication Number Publication Date
CN111616799A true CN111616799A (zh) 2020-09-04

Family

ID=72255421

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010514573.1A Pending CN111616799A (zh) 2020-06-08 2020-06-08 一种增强现实近红外荧光导航系统及方法

Country Status (1)

Country Link
CN (1) CN111616799A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112656369A (zh) * 2020-11-30 2021-04-16 浙江大学医学院附属第一医院 一种基于ar技术的近红外荧光甲状旁腺的识别增强方法
CN113749772A (zh) * 2021-04-22 2021-12-07 上海格联医疗科技有限公司 一种增强近红外4k荧光导航系统
CN113749771A (zh) * 2021-04-30 2021-12-07 上海格联医疗科技有限公司 分子影像近红外二区荧光导航系统
CN113974832A (zh) * 2021-12-01 2022-01-28 辽宁北镜医疗科技有限公司 具有投影导航功能的近红外荧光手术导航系统及方法
CN114052909A (zh) * 2021-12-01 2022-02-18 辽宁北镜医疗科技有限公司 一种多功能近红外荧光术中导航系统及导航方法
CN114052913A (zh) * 2022-01-17 2022-02-18 广东欧谱曼迪科技有限公司 一种ar荧光手术导航系统及方法
WO2022082931A1 (zh) * 2020-10-21 2022-04-28 南京诺源医疗器械有限公司 一种用于荧光影像导航手术的照明系统
WO2023273013A1 (zh) * 2021-06-29 2023-01-05 南京微纳科技研究院有限公司 手术导航装置及系统

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022082931A1 (zh) * 2020-10-21 2022-04-28 南京诺源医疗器械有限公司 一种用于荧光影像导航手术的照明系统
CN112656369A (zh) * 2020-11-30 2021-04-16 浙江大学医学院附属第一医院 一种基于ar技术的近红外荧光甲状旁腺的识别增强方法
CN112656369B (zh) * 2020-11-30 2022-11-25 浙江大学医学院附属第一医院 一种基于ar技术的近红外荧光甲状旁腺的识别增强方法
CN113749772A (zh) * 2021-04-22 2021-12-07 上海格联医疗科技有限公司 一种增强近红外4k荧光导航系统
CN113749771A (zh) * 2021-04-30 2021-12-07 上海格联医疗科技有限公司 分子影像近红外二区荧光导航系统
WO2023273013A1 (zh) * 2021-06-29 2023-01-05 南京微纳科技研究院有限公司 手术导航装置及系统
CN113974832A (zh) * 2021-12-01 2022-01-28 辽宁北镜医疗科技有限公司 具有投影导航功能的近红外荧光手术导航系统及方法
CN114052909A (zh) * 2021-12-01 2022-02-18 辽宁北镜医疗科技有限公司 一种多功能近红外荧光术中导航系统及导航方法
CN114052913A (zh) * 2022-01-17 2022-02-18 广东欧谱曼迪科技有限公司 一种ar荧光手术导航系统及方法

Similar Documents

Publication Publication Date Title
CN111616799A (zh) 一种增强现实近红外荧光导航系统及方法
US11452453B2 (en) Image processing apparatus, image processing method, information processing program, fluorescence observation system, and fluorescence navigation surgery system
JP3532368B2 (ja) 内視鏡
WO2018034075A1 (ja) 撮像システム
CN107635451B (zh) 用于在可见和红外波长下进行同时成像的方法和装置
JP3394447B2 (ja) 蛍光内視鏡
JP6017219B2 (ja) 蛍光観察装置および蛍光観察システム
JP2019164347A (ja) 拡張現実手術用顕微鏡および顕微鏡観察方法
WO2022257946A1 (zh) 多光谱成像系统、成像方法和存储介质
CN108577791B (zh) 一种荧光导航内窥镜系统及其增强荧光成像灵敏度的方法
JP5358368B2 (ja) 内視鏡システム
CN112014965A (zh) 一种可见-近红外实时图像融合的荧光显微镜系统
US10921252B2 (en) Image processing apparatus and method of operating image processing apparatus
CN110236694B (zh) 基于光谱响应特性的同屏近红外双谱荧光成像方法及系统
CN110772208B (zh) 一种获取荧光图像的方法、装置、设备及内窥镜系统
JP5399187B2 (ja) 画像取得装置の作動方法および画像取得装置
CN212547163U (zh) 一种增强现实近红外荧光导航系统
JP2014212876A (ja) 腫瘍領域判別装置及び腫瘍領域判別方法
EP3273285A1 (en) Optical system for high-speed three-dimensional imaging
CN112089492A (zh) 一种用于荧光影像导航手术的成像系统及其调节方法
CN107361725B (zh) 快速组织分子成像装置
JP2005164815A (ja) 光学装置
JP2012050617A (ja) 画像取得方法および装置
CN113749771A (zh) 分子影像近红外二区荧光导航系统
CN215606350U (zh) 成像系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination