CN113974832B - 具有投影导航功能的近红外荧光手术导航系统及方法 - Google Patents
具有投影导航功能的近红外荧光手术导航系统及方法 Download PDFInfo
- Publication number
- CN113974832B CN113974832B CN202111459400.5A CN202111459400A CN113974832B CN 113974832 B CN113974832 B CN 113974832B CN 202111459400 A CN202111459400 A CN 202111459400A CN 113974832 B CN113974832 B CN 113974832B
- Authority
- CN
- China
- Prior art keywords
- projection
- fluorescence
- image
- signal
- light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0071—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2065—Tracking using image or pattern recognition
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Robotics (AREA)
- Physics & Mathematics (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Endoscopes (AREA)
Abstract
本发明公开了一种具有投影导航功能的近红外荧光手术导航方法,应用于手术导航技术领域,具体地,获取荧光图像,并对所述荧光图形原位投影至手术部位;获取所述手术部位的投影图,对不同部位的所述投影图像的光强度进行补正;根据所述光强度调整投影光的发射参数。本发明通过捕获投影信号,并对投影信号进行转化得到投影图,根据实时监测目标组织投影的效果和质量,经图像处理系统计算优化,来对投影图像各区域进行校正,实现不同时间内、不同区域内投影图像的高质量显示,使施术者无需反复观察显示器就能高效的完成手术。
Description
技术领域
本发明涉及手术导航技术领域,更具体的说是涉及具有投影导航功能的近红外荧光手术导航系统及方法。
背景技术
近红外荧光成像技术能够在造影剂的作用下完成对目标组织的标记,由于其优秀的时空分辨率,应用场景也日益广泛。目前市面上已有的投影手术导航系统的投影功能不具备智能调节和校正的能力,这使得在术野中不同种类器官的投影效果不同,手术操作者无法完全按照投影导航显示的投影图像来实施手术,需在仪器显示窗口和真实术野中频繁切换查看来确定实施手术的位置,增加了施术者的负担,不利于手术的高效进行。
因此如何提供一种解决现有技术中仪器显示窗口和真实术野中频繁切换查看来确定实施手术位置的近红外荧光手术导航系统及方法及系统是本领域技术人员亟需解决的问题。
发明内容
有鉴于此,本发明提供了一种具有投影导航功能的近红外荧光手术导航系统及方法,解决现有技术中仪器显示窗口和真实术野中频繁切换查看来确定实施手术的位置带来的不便,大大提高手术效率,减轻施术者负担。
为了实现上述目的,本发明提供如下技术方案:
具有投影导航功能的近红外荧光手术导航方法,具体步骤包括:
获取荧光图像,并对所述荧光图形原位投影至手术部位;
获取所述手术部位的投影图,对不同部位的所述投影图像的光强度进行补正;
根据所述光强度调整投影光的发射参数。
通过上述技术方案,通过捕获投影图,实时监测目标组织投影的效果和质量,经图像处理系统计算优化,来对投影图像各区域进行校正,实现不同时间内、不同区域内投影图像的高质量显示,使施术者无需反复观察显示器就能高效的完成手术。
可选的,在上述的具有投影导航功能的近红外荧光手术导航方法中,所述荧光图像获取的步骤:
激发光激发造影剂产生荧光信号;
将所述荧光信号通过内置的重建算法把每个像素点接收到的灰度值和像素点的位置信息,转换为图片或视频的形式,显示在用户界面上。
可选的,在上述的具有投影导航功能的近红外荧光手术导航方法中,通过获取投影图中的不同部位的图像信息,调整投影光的发射参数。
可选的,在上述的具有投影导航功能的近红外荧光手术导航方法中,还包括对激发光进行过滤,选择感兴趣的波段区间进行成像。
具有投影导航功能的近红外荧光手术导航系统,包括:
激光光源,发射用于激发造影剂荧光的激发光;
图像处理模块,接收荧光信号,将所述荧光信号转化成荧光图像,并控制对所述荧光图像原位投影至手术部位,同时接收所述手术部位的投影信号,把所述投影信号转化成投影图;
成像模块,对不同部位的投影信号和荧光信号进行捕获,并传送至所述图像处理模块;同时根据所述图像处理模块调整后的发射参数进行投影。
可选的,在上述的具有投影导航功能的近红外荧光手术导航系统中,所述图像处理模块包括:
荧光图像单元,通过激发光激发造影剂产生荧光信号;将所述荧光信号通过内置的重建算法把每个像素点接收到的灰度值和像素点的位置信息,转换为图片或视频的形式,显示在用户界面上;
第一投影单元,接收手术部位的投影信号,并把所述投影信号转化成投影图。
可选的,在上述的具有投影导航功能的近红外荧光手术导航系统中,成像模块包括:
第一相机,用于获取荧光信号;
第二相机,用于获取投影信号;
第二投影单元,通过第一投影单元获取投影图中的不同部位的图像信息,调整投影光的发射参数。
可选的,在上述的具有投影导航功能的近红外荧光手术导航系统中,还包括过滤片组,对激发光进行过滤,选择感兴趣的波段区间进行成像。
经由上述的技术方案可知,与现有技术相比,本发明公开提供了一种具有投影导航功能的近红外荧光手术导航系统及方法,解决现有技术中仪器显示窗口和真实术野中频繁切换查看来确定实施手术的位置带来的不便,大大提高手术效率,减轻施术者负担,通过捕获投影信号,并对投影信号进行转化得到投影图,根据实时监测目标组织投影的效果和质量,经图像处理系统计算优化,来对投影图像各区域进行校正,实现不同时间内、不同区域内投影图像的高质量显示,使施术者无需反复观察显示器就能高效的完成手术。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明的方法流程图;
图2为本发明的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例公开了一种具有投影导航功能的近红外荧光手术导航方法,如图1所示,具体步骤包括:
S101获取荧光图像,并对所述荧光图形原位投影至手术部位;
S102获取所述手术部位的投影图,对不同部位的所述投影图像的光强度进行补正;
S103根据所述光强度调整投影光的发射参数。
通过捕获投影图,实时监测目标组织投影的效果和质量,经图像处理系统计算优化,来对投影图像各区域进行校正,实现不同时间内、不同区域内投影图像的高质量显示,使施术者无需反复观察显示器就能高效的完成手术。
为了进一步优化上述技术方案,所述荧光图像获取的步骤:
激发光激发造影剂产生荧光信号;
将所述荧光信号通过内置的重建算法把每个像素点接收到的灰度值和像素点的位置信息,转换为图片或视频的形式,显示在用户界面上。
具体地,荧光信号通过红外相机获取;
进一步,红外相机信号→荧光图像:红外相机有特殊的能够感受900—1700nm波段的感光CCD,当荧光信号照射到CCD上时,CCD的每个有效像素点都会将光信号转换成一个电信号,CCD控制芯片利用感光元件中的控制信号线路对光电二极管产生的电流进行控制,由电流传输电路输出,CCD会将一次成像产生的电信号收集起来,统一输出到放大器。经过放大和滤波后的电信号被送到A/D,由A/D将电信号(此时为模拟信号)转换为数字信号,数值的大小和电信号的强度成正比。
此时的数字信号还将输出到数字信号处理器(DSP)。在DSP中,这些图像数据被进行一系列的校正和后期处理,最终转化为包含时间轴信息、像素点灰度值、像素点位置信息的数据文件,并由重建程序重建为灰度图像,呈现在用户界面上。
需要了解的是:目标组织是凹凸不平的,投影光打在组织上会有的地方强有的地方弱。所以需要校正光强度。
目标组织不同区域的颜色(或者说吸光情况)是不同的,比如肝脏是黑色的,需要更强的光才能让手术医师看得清,所以这个也需要校正。
所以最终的调整手段是调整投影光的光强。
为了进一步优化上述技术方案,通过获取投影图中的不同部位的图像信息,调整投影光的发射参数。
具体地,通过获取相机持续监测投影图像质量,并对投影光强度作出补正,以保证施术者一直能够获得理想的可视化信号。
校准用辅助相机持续监测目标组织的投影图像,并对图像质量指标进行分析,包括投影光亮度/背景亮度;投影区域与背景区域的图像对比度,不同投影区域的投影亮度,当算法计算P/N比小于2时,认为此图像质量欠佳,则通过调节投影光强的方式对图像进行补正,直到P/N大于2为止。
为了进一步优化上述技术方案,还包括对激发光进行过滤,选择感兴趣的波段区间进行成像。
本发明的另一实施例中公开了一种具有投影导航功能的近红外荧光手术导航系统,如图2所示,包括:
激光光源,发射用于激发造影剂荧光的激发光;
图像处理模块6,接收荧光信号,将所述荧光信号转化成荧光图像,并控制对所述荧光图像原位投影至手术部位,同时接收所述手术部位的投影信号,把所述投影信号转化成投影图;
成像模块1,对不同部位的投影信号和荧光信号进行捕获,并传送至所述图像处理模块6;同时根据所述图像处理模块6调整后的发射参数进行投影。
为了进一步优化上述技术方案,所述图像处理模块6包括:
荧光图像单元,通过激发光激发造影剂产生荧光信号;将所述荧光信号通过内置的重建算法把每个像素点接收到的灰度值和像素点的位置信息,转换为图片或视频的形式,显示在用户界面上;
第一投影单元,接收手术部位的投影信号,并把所述投影信号转化成投影图。
为了进一步优化上述技术方案,成像模块1包括:
第一相机,用于获取荧光信号;
第二相机,用于获取投影信号;
第二投影单元,通过第一投影单元获取投影图中的不同部位的图像信息,调整投影光的发射参数。
进一步,第一相机为成像用红外相机2,用于捕捉造影剂发出的荧光信号,并将信号传输至图像处理系统;
第二投影单元为投影模块4,用于将图像处理系统传输的校正后的荧光图像实时、原位投影至手术部位;
第二相机为校准用辅助相机3,用于实时监测投影图像在手术部位的投影质量;
为了进一步优化上述技术方案,还包括过滤片组5,对激发光进行过滤,选择感兴趣的波段区间进行成像。
在本实施例中,所述投影模块为激光扫描振镜;
在本实施例中,所述校准用辅助相机为可见光相机。
具有投影导航功能的近红外荧光手术导航是通过如下方法实现的:
目标组织中的造影剂响应激发光的激发并发射荧光信号,被成像用红外相机2捕捉;
图像处理模块6接收到成像用红外相机2的信号并转化为荧光图像,显示在用户界面上并传输至投影模块4;
投影模块4接收图像处理模块6的荧光图像并原位投影至目标组织;
校准用辅助相机3捕捉目标组织上的投影图像,并传输至图像处理模块6;
图像处理模块6接收校准用辅助相机传输的图像信号并加以分析,识别出亮度不足或亮度过高的点并加以校准和补正,再将校正后的荧光图像传输至投影模块4。
在本实施例中,所述图像处理模块6搭载智能识别算法,可识别具体器官比如肝脏、肠道,并根据器官表面颜色和吸光程度自动调节目标区域的投影光强;
在本实施例中,投影模块4可根据不同的成像情景更换不同颜色的投影光。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (2)
1.具有投影导航功能的近红外荧光手术导航系统,其特征在于,包括:
激光光源,发射用于激发造影剂荧光的激发光;
图像处理模块,接收荧光信号,将所述荧光信号转化成荧光图像,并控制对所述荧光图像原位投影至手术部位,同时接收所述手术部位的投影信号,把所述投影信号转化成投影图;
成像模块,对不同部位的投影信号和荧光信号进行捕获,并传送至所述图像处理模块;同时根据所述图像处理模块调整后的发射参数进行投影;
其中,对投影信号进行捕捉,实时监测投影图像在手术部位的投影质量;
图像处理模块包括:
荧光图像单元,通过激发光激发造影剂产生荧光信号;将所述荧光信号通过内置的重建算法把每个像素点接收到的灰度值和像素点的位置信息,转换为图片或视频的形式,显示在用户界面上;
第一投影单元,接收手术部位的投影信号,并把所述投影信号转化成投影图;
成像模块包括:
第一相机,用于获取荧光信号;
第二相机,用于获取投影信号;
第二投影单元,通过第一投影单元获取投影图中的不同部位的图像信息,调整投影光的发射参数;
所述图像处理模块搭载智能识别算法,识别具体器官,并根据器官表面颜色和吸光程度自动调节目标区域的投影光强。
2.根据权利要求1所述的具有投影导航功能的近红外荧光手术导航系统,其特征在于,还包括过滤片组,对激发光进行过滤,选择感兴趣的波段区间进行成像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111459400.5A CN113974832B (zh) | 2021-12-01 | 2021-12-01 | 具有投影导航功能的近红外荧光手术导航系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111459400.5A CN113974832B (zh) | 2021-12-01 | 2021-12-01 | 具有投影导航功能的近红外荧光手术导航系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113974832A CN113974832A (zh) | 2022-01-28 |
CN113974832B true CN113974832B (zh) | 2023-01-24 |
Family
ID=79732981
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111459400.5A Active CN113974832B (zh) | 2021-12-01 | 2021-12-01 | 具有投影导航功能的近红外荧光手术导航系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113974832B (zh) |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8235534B2 (en) * | 2008-05-21 | 2012-08-07 | Panasonic Corporation | Projector that projects a correction image between cyclic main image signals |
CN104605824B (zh) * | 2015-02-10 | 2017-08-08 | 安徽信美医学工程科技有限公司 | 一种病变部位显像投影导航装置 |
WO2016157260A1 (ja) * | 2015-03-31 | 2016-10-06 | パナソニックIpマネジメント株式会社 | 可視光投影装置 |
WO2019103052A1 (ja) * | 2017-11-27 | 2019-05-31 | パナソニック株式会社 | 投影装置 |
CN108420532B (zh) * | 2018-04-04 | 2024-05-14 | 中国科学技术大学 | 一种手持式荧光影像导航定位装置 |
CN111616799A (zh) * | 2020-06-08 | 2020-09-04 | 广东欧谱曼迪科技有限公司 | 一种增强现实近红外荧光导航系统及方法 |
CN213030699U (zh) * | 2020-07-08 | 2021-04-23 | 中国科学技术大学 | 一种成像系统 |
CN112716604A (zh) * | 2021-02-05 | 2021-04-30 | 广东欧谱曼迪科技有限公司 | 一种ar荧光远程医疗手术导航系统及其控制方法 |
-
2021
- 2021-12-01 CN CN202111459400.5A patent/CN113974832B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN113974832A (zh) | 2022-01-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9675238B2 (en) | Endoscopic device | |
JP5814698B2 (ja) | 自動露光制御装置、制御装置、内視鏡装置及び内視鏡装置の作動方法 | |
US10335014B2 (en) | Endoscope system, processor device, and method for operating endoscope system | |
JP5449816B2 (ja) | 画像処理装置、画像処理プログラムおよび画像処理装置の作動方法 | |
US11116384B2 (en) | Endoscope system capable of image alignment, processor device, and method for operating endoscope system | |
WO2018211885A1 (ja) | 画像取得システム、制御装置及び画像取得方法 | |
US9414739B2 (en) | Imaging apparatus for controlling fluorescence imaging in divided imaging surface | |
JP2019041947A (ja) | 内視鏡システム | |
CN105473049A (zh) | 荧光观察装置 | |
CN113208567A (zh) | 多光谱成像系统、成像方法和存储介质 | |
JP5554288B2 (ja) | 内視鏡システム、プロセッサ装置及び画像補正方法 | |
JP6859554B2 (ja) | 観察補助装置、情報処理方法、およびプログラム | |
US11521319B2 (en) | Endoscope system | |
CN113974832B (zh) | 具有投影导航功能的近红外荧光手术导航系统及方法 | |
US11483489B2 (en) | Medical control device and medical observation system using a different wavelength band than that of fluorescence of an observation target to control autofocus | |
JP2020014718A (ja) | 内視鏡用光源装置および内視鏡システム | |
CN114027765B (zh) | 荧光内窥镜系统、控制方法和存储介质 | |
CN114052911B (zh) | 一种近红外荧光术中导航系统、方法及可存储介质 | |
JP2003000528A (ja) | 蛍光診断画像生成方法および装置 | |
CN114098967A (zh) | 一种具有辅助校准激光的荧光导航系统及方法 | |
CN114052908B (zh) | 一种基于照度调节的近红外荧光术中导航系统及方法 | |
CN114052909A (zh) | 一种多功能近红外荧光术中导航系统及导航方法 | |
CN116981394A (zh) | 用于工效学地远程监测医疗或美容皮肤状况的多功能装置及多功能系统 | |
CN114052910A (zh) | 一种基于激发光自动调节的术中荧光导航系统及方法 | |
JP2022050280A (ja) | 撮像制御装置、内視鏡システム、および撮像制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |