CN115736842A - 一种近红外荧光目标定位装置及定位方法和校准方法 - Google Patents

一种近红外荧光目标定位装置及定位方法和校准方法 Download PDF

Info

Publication number
CN115736842A
CN115736842A CN202211613644.9A CN202211613644A CN115736842A CN 115736842 A CN115736842 A CN 115736842A CN 202211613644 A CN202211613644 A CN 202211613644A CN 115736842 A CN115736842 A CN 115736842A
Authority
CN
China
Prior art keywords
projection
module
image
fluorescence
infrared fluorescence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211613644.9A
Other languages
English (en)
Other versions
CN115736842B (zh
Inventor
包国强
安媛
彭书甲
杨琦
胡焱钊
国蓉
李建超
许�鹏
何诗銘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xi'an Changkong Medical Technology Service Co ltd
Original Assignee
Shaanxi Zhongke Chuangfu Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shaanxi Zhongke Chuangfu Medical Technology Co ltd filed Critical Shaanxi Zhongke Chuangfu Medical Technology Co ltd
Priority to CN202211613644.9A priority Critical patent/CN115736842B/zh
Publication of CN115736842A publication Critical patent/CN115736842A/zh
Application granted granted Critical
Publication of CN115736842B publication Critical patent/CN115736842B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

本发明提出了一种近红外荧光目标定位装置及定位方法和校准方法,属于荧光成像技术领域,本发明通过激发光源模块激发荧光目标物发出荧光;通过荧光拍摄模块采集荧光目标物的近红外荧光图像,通过处理模块对近红外荧光图像进行视觉处理,视觉处理后通过投影模块进行投影,投影是根据投射比调节模块调节好的投射比进行的,将近红外荧光图像投影至待定位组织区域。通过投射比调节模块在荧光投影定位过程中对图像的投射比进行调节,使得调节后投影模块投影画面的视场角与荧光拍摄模块拍摄的视场角一致,能够满足不同焦距、不同视场角的镜头下的最佳投射比,达到投影光源的最佳功率,对投影硬件分辨率进行充分利用,确保图像定位清晰。

Description

一种近红外荧光目标定位装置及定位方法和校准方法
技术领域
本发明属于荧光成像技术领域,涉及近红外荧光成像技术,具体为一种近红外荧光目标定位装置及定位方法和校准方法。
背景技术
近红外荧光成像是以特定波谱范围的激发光源照射荧光分子,此时荧光分子被激发出不同光谱特性的光子信号,该光子信号通过滤光片后由超敏CCD照相机采集,然后通过高级数据处理技术将光子信号转换为图像,实现近红外荧光成像。
投影定位技术是通过一种仪器设备来获取人类无法感知的图像画面,再利用图像处理算法将原图增强转换成投影后人眼易于观察的图像,继而使用投影设备对画面进行投影再现,通过光学镜片对投影进行多次反射,令投影画面与被拍摄物重合,实现在原有拍摄的位置上对目标进行投影指示标记。
医学影像设备是将近红外荧光成像技术与投影定位技术结合,形成荧光投影定位技术,利用荧光成像后形成的图像进行目标检测定位,但是在实际使用时,该荧光投影定位技术一由于投射比是固定的(无法调节),致使无法在不同焦距、不同视场角的镜头下达到与之匹配的最佳投射比,无法使投影光源达到最佳功率,无法对投影硬件分辨率进行充分利用,导致图像不清晰。
发明内容
针对上述所描述的荧光投影定位技术在实际使用时,由于投射比是固定的(无法调节),致使无法在不同焦距、不同视场角的镜头下达到与之匹配的最佳投射比,无法使投影光源达到最佳功率,无法对投影硬件分辨率进行充分利用,导致图像不清晰的问题,本发明提出了一种近红外荧光目标定位装置及定位方法和校准方法。
本发明通过投射比调节模块在荧光投影定位过程中对图像的投射比进行调节,使得图像能够满足不同焦距、不同视场角的镜头下的最佳投射比,达到投影光源的最佳功率,对投影硬件分辨率进行充分利用,确保图像定位清晰;其具体技术方案如下:
一种近红外荧光目标定位装置,包括投影模块、分光模块、投射比调节模块、荧光拍摄模块、激发光源模块和处理模块;
所述激发光源模块:用于激发荧光目标物发出荧光;
所述荧光拍摄模块:通过分光模块采集荧光目标物呈现的近红外荧光图像,并将采集的近红外荧光图像发送给处理模块;
所述处理模块:接收近红外荧光图像,并对近红外荧光图像进行视觉处理,将视觉处理后的近红外荧光图像发送给投影模块;同时处理模块控制投射比调节模块对投影模块的投射比进行调节;
所述投射比调节模块:用于根据处理模块的控制对投影模块的投射比进行调节,使调节后投影模块投影画面的视场角与荧光拍摄模块拍摄的视场角一致;
所述投影模块:接收视觉处理后的近红外荧光图像,根据调节好的投射比将近红外荧光图像通过分光模块投影至待定位组织区域。
进一步限定,所述激发光源模块包括主光源、导光光纤和激光分散片,所述主光源发出的激发光源通过导光光纤传递至激光分散片,所述激光分散片对激发光源进行分散,使得激发光源的光斑分布均匀后照射至荧光目标物,激发荧光目标物发出荧光,所述主光源与激光分散片同光轴设置。
进一步限定,所述荧光拍摄模块包括图像传感器、滤光片、滤光片切换机构和镜头,所述滤光片包括可见光滤光片和近红外荧光滤光片,所述滤光片切换机构与可见光滤光片或近红外荧光滤光片连接,所述滤光片切换机构与处理模块连接,所述处理模块控制滤光片切换机构对可见光滤光片或近红外荧光滤光片进行切换,所述镜头与可见光滤光片或近红外荧光滤光片同光轴设置;
所述镜头:用于通过分光模块采集荧光目标物呈现的近红外荧光图像,并将近红外荧光图像通过近红外荧光滤光片发送给图像传感器;
所述图像传感器:用于接收近红外荧光图像,并将近红外荧光图像发送给处理模块。
进一步限定,所述投影模块包括光源模块、电磁振镜模块和投影反射镜,所述光源模块发出的投影光源入射至投影反射镜上,所述投影反射镜将投影光源反射至电磁振镜模块上,所述电磁振镜模块产生周期性偏转,将投影光源投影在待定位组织区域上,在待定位组织区域上呈现近红外荧光图像的投影画面。
进一步限定,所述光源模块包括多个激光器和多个投影二向色镜,每个激光器对应一个投影二向色镜,多个投影二向色镜均与投影反射镜设置在同一光路中,所述投影二向色镜设置在激光器的出射端,且所述投影二向色镜的光轴方向与激光器的光轴方向垂直,多个激光器发出的激光通过多个投影二向色镜进行激光合束形成一束投影光源,投影光源入射至投影反射镜上。
进一步限定,所述投射比调节模块包括透镜组和微型电机,所述透镜组与微型电机连接,所述微型电机与处理模块连接,所述透镜组与电磁振镜模块设置在同一光路中,所述处理模块通过微型电机调节透镜组的投射比,对电磁振镜模块投影画面的视场角进行调节。
进一步限定,所述分光模块包括分光二向色镜和分光反射镜,所述分光二向色镜的光轴与荧光拍摄模块的入射光轴呈45°夹角,所述分光反射镜的光轴与投射比调节模块的出射光轴呈45°夹角,所述分光二向色镜的光轴和分光反射镜的光轴呈90°夹角。
基于上述的近红外荧光目标定位装置所形成的近红外荧光目标定位方法,包括以下步骤:
1)荧光目标物发出荧光;
2)采集荧光目标物呈现的近红外荧光图像;
3)对近红外荧光图像进行视觉处理;
4)将视觉处理后的近红外荧光图像根据调节的投射比投影至待定位组织区域。
进一步限定,所述步骤4)具体为:对投影模块的投射比进行调节,使调节后投影画面的视场角与荧光拍摄模块拍摄的视场角一致;将视觉处理后的近红外荧光图像根据调节后的投射比投影至待定位组织区域。
基于上述的近红外荧光目标定位装置所形成的近红外荧光目标定位装置的校准方法,包括投射比校准过程和定位精度校准过程;
所述投射比校准过程具体为:将荧光拍摄模块中的滤光片切换为可见光滤光片,令处理模块生成投影图像A,投影图像A的大小为投影模块的最大分辨率,将投影图像A发送给投影模块进行投影,让投影图像A充满整个投影模块的投影区域;固定荧光拍摄模块的拍摄位置,通过荧光拍摄模块对投影区域进行拍摄,得到投影图像B,将投影图像B发送至处理模块;处理模块接收投影图像B并提取投影图像B的高度和边界位置信息,反复对比投影图像B的高度和投影图像A的高度以及投影图像B的边界位置信息和投影图像A的边界位置信息,生成对比结果,根据对比结果不断调节投射比调节模块,直至投影图像B的高度大于投影图像A的高度,在投射比调节模块中锁定当前投影模块的投射比,完成投射比的校准。
所述定位精度校准过程具体为:将荧光拍摄模块中的滤光片切换为可见光滤光片,固定荧光拍摄模块的拍摄位置;移动校准卡的位置,使得荧光拍摄模块能够拍摄到校准卡90%以上的区域,拍摄校准卡的图像,得到校准图E;将校准图E传输至处理模块,通过处理模块进行视觉处理后生成校准图B;将校准图B传输给投影模块,投影模块通过分光模块将校准图B投影至校准卡上;通过荧光拍摄模块再次拍摄校准卡,得到校准图C,将校准图C传输至处理模块,通过处理模块对比校准图C和校准图B之间的像素偏差,依据特征点偏差对校准图C进行局部图像拉伸,修正特征点偏差,使校准图C中的像素点与校准图B的像素点匹配,保存修正参数至处理模块中,完成定位精度的校准。
与现有技术相比,本发明的有益效果在于:
1、本发明近红外荧光目标定位装置,其包括投影模块、分光模块、投射比调节模块、荧光拍摄模块、激发光源模块和处理模块,本发明通过激发光源模块激发荧光目标物发出荧光;通过荧光拍摄模块采集荧光目标物的近红外荧光图像,通过处理模块对近红外荧光图像进行视觉处理,视觉处理后通过投影模块进行投影,投影是根据投射比调节模块调节好的投射比进行的,将近红外荧光图像投影至待定位组织区域。本发明的通过投射比调节模块在荧光投影定位过程中对图像的投射比进行调节,使得调节后投影模块投影画面的视场角与荧光拍摄模块拍摄的视场角一致,能够满足不同焦距、不同视场角的镜头下的最佳投射比,达到投影光源的最佳功率,对投影硬件分辨率进行充分利用,确保图像定位清晰,提高了投影画面的质量;在用于医学影像设备中时,医生在术中通过显示器来在组织上确定待定位组织区域,实时的术区近红外荧光目标定位装置使医生更加专注于术区,在很短的时间内即可在组织上定位到目标区域,不仅降低了患者的手术风险,还提高了手术效率。
2、本发明的近红外荧光目标定位装置,其定位精度可达到像素级的误差,特别适用于对定位精度要求高的场景,例如:淋巴脉管的吻合手术,癌症肿瘤缘切、甲状旁腺定位等手术场景。
3、本发明在投影模块中设置电磁振镜模块,大大减少投影模块的体积,更加利于集成化设计,便于医生手持使用。
4、本发明在激发光源模块中通过主光源配合导光光纤将主光源的功率进行均匀分散,产生若干小功率光源,依据小功率光源的发散角,通过对小光源的照射角度进行排布,再使若干小功率光源经过激光分散片使光斑均匀,使激发区域均匀覆盖拍摄区域,采用多个小光源重叠成大光源可以降低单个光源的功率,避免人员操作不当对人身和物品造成伤害。
附图说明
图1为本申请近红外荧光目标定位装置的结构示意图;
图2为投影模块的结构示意图;
图3为分光模块的结构示意图;
图4为投射比调节模块的结构示意图;
图5为荧光拍摄模块的结构示意图;
图6为激发光源模块的结构示意图;
图7为校准卡的示意图;
图8为投射比校准过程示意图;
图9为定位精度校准过程示意图;
其中,1、投影模块,1-1、光源模块,1-2、电磁振镜模块,1-3、激光器,1-4、投影二向色镜,1-5、投影反射镜;2、分光模块,2-1、分光反射镜,2-2、分光二向色镜;3、投射比调节模块,3-1、透镜组,3-2、微型电机;4、荧光拍摄模块,4-1、图像传感器,4-2、滤光片,4-3、滤光片切换机构,4-4、镜头;5、激发光源模块,5-1、主光源,5-2、导光光纤,5-3、激光分散片;6-处理模块。
具体实施方式
下面结合附图及实施例对本发明的技术方案进行进一步地解释说明,但本发明并不限于以下说明的实施方式。
实施例1
参见图1,本实施例一种近红外荧光目标定位装置,包括投影模块1、分光模块2、投射比调节模块3、荧光拍摄模块4、激发光源模块5和处理模块6;具体的,荧光拍摄模块4的输入端通过分光模块2采集近红外荧光的图像,荧光拍摄模块4的输出端与处理模块6的输入端连接,处理模块6的输出端与投影模块1的输入端连接,处理模块6用于将荧光拍摄模块4采集的图像经过图像处理后,通过投影模块1和分光模块2将图像投影至待定位的组织区域,处理模块6的控制输出端还通过投射比调节模块3对投影模块1的投射比进行调节,使得投影模块1的视场角与荧光拍摄模块4中拍摄的视场角一致。
激发光源模块5:用于激发荧光目标物发出荧光;其中,激发光源模块5发出的激发光波长为荧光物质最佳激发波长,具体的,本实施例中用到的荧光分子为吲哚菁绿,故激发光源模块5发出的激发光波长为785nm;
荧光拍摄模块4:通过分光模块2采集荧光目标物呈现的近红外荧光图像,并将采集的近红外荧光图像发送给处理模块6;
处理模块6:接收近红外荧光图像,并对近红外荧光图像进行视觉处理,将视觉处理后的近红外荧光图像发送给投影模块1;同时处理模块6控制投射比调节模块3对投影模块1的投射比进行调节;
投射比调节模块3:用于根据处理模块6的控制对投影模块1的投射比进行调节,使调节后投影模块1投影画面的视场角与荧光拍摄模块4拍摄的视场角一致;
投影模块1:接收视觉处理后的近红外荧光图像,根据调节好的投射比将近红外荧光图像通过分光模块2投影至待定位组织区域。
参见图6,本实施例激发光源模块5包括主光源5-1、导光光纤5-2和激光分散片5-3,主光源5-1发出的激发光源通过导光光纤5-2传递至激光分散片5-3,激光分散片5-3对激发光源进行分散,使得激发光源的光斑分布均匀后照射至荧光目标物,激发荧光目标物发出荧光,主光源5-1与激光分散片5-3同光轴设置。具体的,主光源5-1配合导光光纤5-2将主光源5-1的功率进行均匀分散,产生若干小功率光源,依据小功率光源的发散角,通过对小光源的照射角度进行排布,令若干小功率光源经过激光分散片5-3使光斑均匀,使激发区域均匀覆盖拍摄区域,采用多个小光源重叠成大光源可以降低单个光源的功率,避免人员操作不当对人身和物品造成伤害。
参见图5,荧光拍摄模块4包括图像传感器4-1、滤光片4-2、滤光片切换机构4-3和镜头4-4,滤光片4-2包括可见光滤光片和近红外荧光滤光片,滤光片切换机构4-3与可见光滤光片或近红外荧光滤光片连接,滤光片切换机构4-3与处理模块6连接,处理模块6控制滤光片切换机构4-3对可见光滤光片或近红外荧光滤光片进行切换,镜头4-4与可见光滤光片或近红外荧光滤光片同光轴设置;具体的,镜头4-4设置在滤光片4-2的光源输入端,图像传感器4-1设置在滤光片4-2的光源输出端;滤光片4-2仅可见光通过或近红外荧光通过,即包含可见光滤光片和近红外荧光滤光片,滤光片切换机构4-3被处理模块6控制,滤光片切换机构4-3的切换动力可来自电磁、电机或者其他驱动源,用来选择透过450-650nm可见光或是透过800-900nm的近红外荧光。
镜头4-4:用于通过分光模块2采集荧光目标物呈现的近红外荧光图像,并将近红外荧光图像通过近红外荧光滤光片发送给图像传感器4-1;
图像传感器4-1:用于接收近红外荧光图像,并将近红外荧光图像发送给处理模块6。
参见图2,投影模块1包括光源模块1-1、电磁振镜模块1-2和投影反射镜1-5,光源模块1-1发出的投影光源入射至投影反射镜1-5上,投影反射镜1-5将投影光源反射至电磁振镜模块1-2上,电磁振镜模块1-2通过处理模块6的控制产生周期性偏转,将投影光源投影在待定位组织区域上,在待定位组织区域上呈现近红外荧光图像的投影画面;
光源模块1-1包括多个激光器1-3和多个投影二向色镜1-4,每个激光器1-3对应一个投影二向色镜1-4,多个投影二向色镜1-4均与投影反射镜1-5设置在同一光路中,投影二向色镜1-4设置在激光器1-3的出射端,且投影二向色镜1-4的光轴方向与激光器1-3的光轴方向垂直,多个激光器1-3发出的激光通过多个投影二向色镜1-4进行激光合束形成一束投影光源,投影光源入射至投影反射镜1-5上,利用人眼视觉暂留特性,形成投影画面;具体的,激光器1-3是由红、绿、蓝三个激光器1-3和三个投影二向色镜1-4组成的,每个投影二向色镜1-4应反射对应的激光器1-3的波长,透射比当前激光器1-3波长的更低波段的光。
参见图4,投射比调节模块3包括透镜组3-1和微型电机3-2,透镜组3-1与微型电机3-2连接,微型电机3-2与处理模块6连接,透镜组3-1与电磁振镜模块1-2设置在同一光路中,处理模块6通过微型电机3-2调节透镜组3-1的投射比,对电磁振镜模块1-2投影画面的视场角进行调节;具体的,透镜组3-1设置在投影模块1的出光端,通过微型电机3-2使得透镜组3-1移动调节投影画面投射比,使投影画面的视场角与镜头4-4的视场角相同。
参见图3,分光模块2包括分光二向色镜2-2和分光反射镜2-1,分光二向色镜2-2的光轴与荧光拍摄模块4的入射光轴呈45°夹角,分光反射镜2-1的光轴与投射比调节模块3的出射光轴呈45°夹角,分光二向色镜2-2的光轴和分光反射镜2-1的光轴呈90°夹角。分光二向色镜2-2能够反射波长为700nm以下的光,投射波长为800nm以上的光。
本实施例的处理模块6可以是计算机、嵌入式系统等一系列具有命令执行能力和图像处理能力的计算设备,主要负责接受荧光拍摄模块4的图像,经过计算生成投影图像,控制投射比调节模块3使投射比达到最佳大小,通过分析特征点差异对投影定位进行像素级校正,具体的,处理模块6对图形的分析、获取图像的高度信息、获取图像的边界位置信息、图像拉伸等图像处理操作,都通过运行OpenCV程序(计算机视觉处理软件)来进行的。
实施例2
本实施例近红外荧光目标定位方法,其是基于实施例1近红外荧光目标定位装置所形成的,其包括以下步骤:
1)荧光目标物发出荧光;具体的,激发光源模块5激发荧光目标物发出荧光;其中,激发光源模块5发出的激发光源的波长为荧光物质最佳激发波长,具体的,本实施例中用到的荧光分子为吲哚菁绿,故激发光源模块5发出的激发光波长为785nm;
2)采集荧光目标物呈现的近红外荧光图像;具体的,荧光拍摄模块4通过分光模块2采集荧光目标物呈现的近红外荧光图像,并将采集的近红外荧光图像发送给处理模块6;
3)对近红外荧光图像进行视觉处理;具体的,处理模块6接收近红外荧光图像,并对近红外荧光图像进行视觉处理,将视觉处理后的近红外荧光图像发送给投影模块1;同时处理模块6控制投射比调节模块3对投影模块1的投射比进行调节;
4)将视觉处理后的近红外荧光图像根据调节的投射比投影至待定位组织区域。具体的,投射比调节模块3根据处理模块6的控制对投影模块1的投射比进行调节,使调节后投影模块1投影画面的视场角与荧光拍摄模块4拍摄的视场角一致;投影模块1接收视觉处理后的近红外荧光图像,根据调节好的投射比将近红外荧光图像通过分光模块2投影至待定位组织区域。
实施例3
本实施例近红外荧光目标定位装置的校准方法,其是基于实施例1的近红外荧光目标定位装置所形成的,具体包括投射比校准过程和定位精度校准过程;因使用场景的变换、装置中每次更换不同焦距或视场角的镜头4-4的更换都需要对投影模块1进行投射比调节,令投影画面的覆盖区域与拍摄画面的覆盖区域相同,使投影模块1达到最优工作状态;同时近红外荧光目标定位装置在每次使用时需要使用投影定位校准来克服零件老化、外力干扰等因素造成的目标原位投影位置偏移。
参见图8,投射比校准过程具体为:将荧光拍摄模块4中的滤光片4-2切换为可见光滤光片,令处理模块6生成投影图像A,投影图像A的大小为投影模块1的最大分辨率,优选的,投影图像A的图像为矩形,使得图像充斥整个矩形投影区域的为荧光绿色显示,将投影图像A发送给投影模块1进行投影,让投影图像A充满整个投影模块1的投影区域,投影区域为纯色背景;固定荧光拍摄模块4的拍摄位置,具体的,拍摄位置距投影区域的距离为L,10cm≤L≤50cm,通过荧光拍摄模块4对投影区域进行拍摄,得到投影图像B,将投影图像B发送至处理模块6;处理模块6接收投影图像B并提取投影图像B的高度和边界位置信息,反复对比投影图像B的高度和投影图像A的高度以及投影图像B的边界位置信息和投影图像A的边界位置信息,生成对比结果,根据对比结果不断调节投射比调节模块3,处理模块6控制投射比调节模块3时透镜组3-1移动调节投影模块1的投射比;当对比结果持续处于阈值范围内时,停止透镜组3-1移动,使得投影图像B的高度大于投影图像A的高度,在投射比调节模块3中锁定当前投影模块1的投射比,完成投射比的校准。优选的,本实施例中为了达到最佳精度的投射比所设置的图像高度阈值差值为5个像素点,最终切换滤光片4-2为近红外荧光滤光片。
参见图9,定位精度校准过程具体为:将荧光拍摄模块4中的滤光片4-2切换为可见光滤光片,固定荧光拍摄模块4的拍摄位置,拍摄校准卡的图像,得到校准图A;具体的,参见图7,校准卡上的校准图的特征为边长为8cm*6cm的点阵,其中点位间隔为0.5cm,点位大小为直径1mm的圆,校准卡背景为白色,特征点位颜色为黑色;移动校准卡的位置,具体的,拍摄位置距投影区域的距离为L,10cm≤L≤50cm,使得荧光拍摄模块4能够拍摄到校准卡90%以上的区域,拍摄校准卡的图像,得到校准图E;将校准图E传输至处理模块6,通过处理模块6进行视觉处理后生成校准图B,校准图B的特征为图像中只保留图像E中的特征点位,为荧光绿色显示,其余区域为黑色;将校准图B传输给投影模块1,投影模块1通过分光模块2将校准图B投影至校准卡上;通过荧光拍摄模块4再次拍摄校准卡,得到校准图C,将校准图C传输至处理模块6,通过处理模块6对比校准图C和校准图B之间的像素偏差,依据特征点偏差对校准图C进行局部图像拉伸,修正特征点偏差,使校准图C中的像素点与校准图B的像素点匹配,保存修正参数至处理模块6中,完成定位精度的校准;切换滤光片4-2为近红外荧光滤光片,在后续的拍摄过程中,所拍摄的图像均通过该修正参数进行修正后再显示在待定位组织区域,实现像素级精度的定位校准,以及实时的目标定位功能。

Claims (10)

1.一种近红外荧光目标定位装置,其特征在于,包括投影模块(1)、分光模块(2)、投射比调节模块(3)、荧光拍摄模块(4)、激发光源模块(5)和处理模块(6);
所述激发光源模块(5):用于激发荧光目标物发出荧光;
所述荧光拍摄模块(4):通过分光模块(2)采集荧光目标物呈现的近红外荧光图像,并将采集的近红外荧光图像发送给处理模块(6);
所述处理模块(6):接收近红外荧光图像,并对近红外荧光图像进行视觉处理,将视觉处理后的近红外荧光图像发送给投影模块(1);同时处理模块(6)控制投射比调节模块(3)对投影模块(1)的投射比进行调节;
所述投射比调节模块(3):用于根据处理模块(6)的控制对投影模块(1)的投射比进行调节,使调节后投影模块(1)投影画面的视场角与荧光拍摄模块(4)拍摄的视场角一致;
所述投影模块(1):接收视觉处理后的近红外荧光图像,根据调节好的投射比将近红外荧光图像通过分光模块(2)投影至待定位组织区域。
2.如权利要求1所述的近红外荧光目标定位装置,其特征在于,所述激发光源模块(5)包括主光源(5-1)、导光光纤(5-2)和激光分散片(5-3),所述主光源(5-1)发出的激发光源通过导光光纤(5-2)传递至激光分散片(5-3),所述激光分散片(5-3)对激发光源进行分散,使得激发光源的光斑分布均匀后照射至荧光目标物,激发荧光目标物发出荧光,所述主光源(5-1)与激光分散片(5-3)同光轴设置。
3.如权利要求1所述的近红外荧光目标定位装置,其特征在于,所述荧光拍摄模块(4)包括图像传感器(4-1)、滤光片(4-2)、滤光片切换机构(4-3)和镜头(4-4),所述滤光片(4-2)包括可见光滤光片和近红外荧光滤光片,所述滤光片切换机构(4-3)与可见光滤光片或近红外荧光滤光片连接,所述滤光片切换机构(4-3)与处理模块(6)连接,所述处理模块(6)控制滤光片切换机构(4-3)对可见光滤光片或近红外荧光滤光片进行切换,所述镜头(4-4)与可见光滤光片或近红外荧光滤光片同光轴设置;
所述镜头(4-4):用于通过分光模块(2)采集荧光目标物呈现的近红外荧光图像,并将近红外荧光图像通过近红外荧光滤光片发送给图像传感器(4-1);
所述图像传感器(4-1):用于接收近红外荧光图像,并将近红外荧光图像发送给处理模块(6)。
4.如权利要求1所述的近红外荧光目标定位装置,其特征在于,所述投影模块(1)包括光源模块(1-1)、电磁振镜模块(1-2)和投影反射镜(1-5),所述光源模块(1-1)发出的投影光源入射至投影反射镜(1-5)上,所述投影反射镜(1-5)将投影光源反射至电磁振镜模块(1-2)上,所述电磁振镜模块(1-2)产生周期性偏转,将投影光源投影在待定位组织区域上,在待定位组织区域上呈现近红外荧光图像的投影画面。
5.如权利要求4所述的近红外荧光目标定位装置,其特征在于,所述光源模块(1-1)包括多个激光器(1-3)和多个投影二向色镜(1-4),每个激光器(1-3)对应一个投影二向色镜(1-4),多个投影二向色镜(1-4)均与投影反射镜(1-5)设置在同一光路中,所述投影二向色镜(1-4)设置在激光器(1-3)的出射端,且所述投影二向色镜(1-4)的光轴方向与激光器(1-3)的光轴方向垂直,多个激光器(1-3)发出的激光通过多个投影二向色镜(1-4)进行激光合束形成一束投影光源,投影光源入射至投影反射镜(1-5)上。
6.如权利要求4所述的近红外荧光目标定位装置,其特征在于,所述投射比调节模块(3)包括透镜组(3-1)和微型电机(3-2),所述透镜组(3-1)与微型电机(3-2)连接,所述微型电机(3-2)与处理模块(6)连接,所述透镜组(3-1)与电磁振镜模块(1-2)设置在同一光路中,所述处理模块(6)通过微型电机(3-2)调节透镜组(3-1)的投射比,对电磁振镜模块(1-2)投影画面的视场角进行调节。
7.如权利要求1所述的近红外荧光目标定位装置,其特征在于,所述分光模块(2)包括分光二向色镜(2-2)和分光反射镜(2-1),所述分光二向色镜(2-2)的光轴与荧光拍摄模块(4)的入射光轴呈45°夹角,所述分光反射镜(2-1)的光轴与投射比调节模块(3)的出射光轴呈45°夹角,所述分光二向色镜(2-2)的光轴和分光反射镜(2-1)的光轴呈90°夹角。
8.基于权利要求1所述的近红外荧光目标定位装置所形成的近红外荧光目标定位方法,其特征在于,包括以下步骤:
1)荧光目标物发出荧光;
2)采集荧光目标物呈现的近红外荧光图像;
3)对近红外荧光图像进行视觉处理;
4)将视觉处理后的近红外荧光图像根据调节的投射比投影至待定位组织区域。
9.如权利要求8所述的近红外荧光目标定位方法,其特征在于,所述步骤4)具体为:对投影模块(1)的投射比进行调节,使调节后投影画面的视场角与荧光拍摄模块(4)拍摄的视场角一致;将视觉处理后的近红外荧光图像根据调节后的投射比投影至待定位组织区域。
10.基于权利要求3所述的近红外荧光目标定位装置所形成的近红外荧光目标定位装置的校准方法,其特征在于,包括投射比校准过程和定位精度校准过程;
所述投射比校准过程具体为:将荧光拍摄模块(4)中的滤光片(4-2)切换为可见光滤光片,令处理模块(6)生成投影图像A,投影图像A的大小为投影模块(1)的最大分辨率,将投影图像A发送给投影模块(1)进行投影,让投影图像A充满整个投影模块(1)的投影区域;固定荧光拍摄模块(4)的拍摄位置,通过荧光拍摄模块(4)对投影区域进行拍摄,得到投影图像B,将投影图像B发送至处理模块(6);处理模块(6)接收投影图像B并提取投影图像B的高度和边界位置信息,反复对比投影图像B的高度和投影图像A的高度以及投影图像B的边界位置信息和投影图像A的边界位置信息,生成对比结果,根据对比结果不断调节投射比调节模块(3),直至投影图像B的高度大于投影图像A的高度,在投射比调节模块(3)中锁定当前投影模块(1)的投射比,完成投射比的校准;
所述定位精度校准过程具体为:将荧光拍摄模块(4)中的滤光片(4-2)切换为可见光滤光片,固定荧光拍摄模块(4)的拍摄位置;移动校准卡的位置,使得荧光拍摄模块(4)能够拍摄到校准卡90%以上的区域,拍摄校准卡的图像,得到校准图E;将校准图E传输至处理模块(6),通过处理模块(6)进行视觉处理后生成校准图B;将校准图B传输给投影模块(1),投影模块(1)通过分光模块(2)将校准图B投影至校准卡上;通过荧光拍摄模块(4)再次拍摄校准卡,得到校准图C,将校准图C传输至处理模块(6),通过处理模块(6)对比校准图C和校准图B之间的像素偏差,依据特征点偏差对校准图C进行局部图像拉伸,修正特征点偏差,使校准图C中的像素点与校准图B的像素点匹配,保存修正参数至处理模块(6)中,完成定位精度的校准。
CN202211613644.9A 2022-12-15 2022-12-15 一种近红外荧光目标定位装置及定位方法和校准方法 Active CN115736842B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211613644.9A CN115736842B (zh) 2022-12-15 2022-12-15 一种近红外荧光目标定位装置及定位方法和校准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211613644.9A CN115736842B (zh) 2022-12-15 2022-12-15 一种近红外荧光目标定位装置及定位方法和校准方法

Publications (2)

Publication Number Publication Date
CN115736842A true CN115736842A (zh) 2023-03-07
CN115736842B CN115736842B (zh) 2023-11-03

Family

ID=85346041

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211613644.9A Active CN115736842B (zh) 2022-12-15 2022-12-15 一种近红外荧光目标定位装置及定位方法和校准方法

Country Status (1)

Country Link
CN (1) CN115736842B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN86209389U (zh) * 1986-11-19 1988-06-29 江西省九江市师范专科学校 激光投影示波器
EP1308122A1 (de) * 2001-11-02 2003-05-07 Richard Wolf GmbH Vorrichtung zur bildgebenden Diagnose von Gewebe
CN104605824A (zh) * 2015-02-10 2015-05-13 安徽信美医学工程科技有限公司 一种病变部位显像投影导航装置
CN106520535A (zh) * 2016-10-12 2017-03-22 山东大学 一种基于光片照明的免标记细胞检测装置及方法
CN106896249A (zh) * 2015-12-19 2017-06-27 西安云阳网络科技有限责任公司 一种智能激光投影示波器
CN106901683A (zh) * 2017-05-05 2017-06-30 中国人民武装警察部队总医院 一种荧光内窥成像系统
US20170258528A1 (en) * 2015-08-24 2017-09-14 Synaptive Medical (Barbados) Inc. Medical imaging system for illuminating tissue samples using three-dimensional structured illumination microscopy
CN108420532A (zh) * 2018-04-04 2018-08-21 中国科学技术大学 一种手持式荧光影像导航定位装置
CN110833399A (zh) * 2019-11-29 2020-02-25 中国科学院自动化研究所 近红外二区单通道分时复用成像系统及其使用方法
CN111603140A (zh) * 2020-06-04 2020-09-01 北京瀚丞医用设备有限公司 生物目标原位可视的定位方法及系统
CN113949852A (zh) * 2020-07-17 2022-01-18 深圳光峰科技股份有限公司 投影方法、投影设备及存储介质
WO2022082930A1 (zh) * 2020-10-22 2022-04-28 南京诺源医疗器械有限公司 一种可见-近红外实时图像融合的荧光显微镜系统

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN86209389U (zh) * 1986-11-19 1988-06-29 江西省九江市师范专科学校 激光投影示波器
EP1308122A1 (de) * 2001-11-02 2003-05-07 Richard Wolf GmbH Vorrichtung zur bildgebenden Diagnose von Gewebe
CN104605824A (zh) * 2015-02-10 2015-05-13 安徽信美医学工程科技有限公司 一种病变部位显像投影导航装置
US20170258528A1 (en) * 2015-08-24 2017-09-14 Synaptive Medical (Barbados) Inc. Medical imaging system for illuminating tissue samples using three-dimensional structured illumination microscopy
CN106896249A (zh) * 2015-12-19 2017-06-27 西安云阳网络科技有限责任公司 一种智能激光投影示波器
CN106520535A (zh) * 2016-10-12 2017-03-22 山东大学 一种基于光片照明的免标记细胞检测装置及方法
CN106901683A (zh) * 2017-05-05 2017-06-30 中国人民武装警察部队总医院 一种荧光内窥成像系统
CN108420532A (zh) * 2018-04-04 2018-08-21 中国科学技术大学 一种手持式荧光影像导航定位装置
CN110833399A (zh) * 2019-11-29 2020-02-25 中国科学院自动化研究所 近红外二区单通道分时复用成像系统及其使用方法
CN111603140A (zh) * 2020-06-04 2020-09-01 北京瀚丞医用设备有限公司 生物目标原位可视的定位方法及系统
CN113949852A (zh) * 2020-07-17 2022-01-18 深圳光峰科技股份有限公司 投影方法、投影设备及存储介质
WO2022082930A1 (zh) * 2020-10-22 2022-04-28 南京诺源医疗器械有限公司 一种可见-近红外实时图像融合的荧光显微镜系统

Also Published As

Publication number Publication date
CN115736842B (zh) 2023-11-03

Similar Documents

Publication Publication Date Title
JP4672260B2 (ja) 画像装置
US7328060B2 (en) Cancer detection and adaptive dose optimization treatment system
US20110261175A1 (en) Multiple channel imaging system and method for fluorescence guided surgery
EP2412294A1 (en) Fluorescence observation system, fluorescence observation device, and fluorescence observation method
CN111803013A (zh) 一种内窥镜成像方法和内窥镜成像系统
CN1341003A (zh) 用于内窥镜的自发荧光成象系统
CN101389263A (zh) 眼科器械
CN107440669A (zh) 一种双通道内窥式成像系统
CN211270678U (zh) 眼底相机的光学系统及眼底相机
US20210267446A1 (en) Medical system, medical light source apparatus, and method in medical light source apparatus
CN108670172A (zh) 基于测光反馈的荧光导航系统及其术中荧光导航调整方法
CN109414160B (zh) 观察设备和控制观察设备的方法
CN106094224A (zh) 一种转折分光单元及内窥镜光学成像系统、成像方法
CN107356581A (zh) 全深度远端扫描的拉曼光谱仪
CN110140071B (zh) 光源装置、光源控制方法及图像采集系统
CN212326346U (zh) 一种内窥镜成像系统
CN115736842B (zh) 一种近红外荧光目标定位装置及定位方法和校准方法
CN112869703A (zh) 眼底相机的光学系统及眼底相机
US9232196B2 (en) Image capturing apparatus and endoscope system
US20210228065A1 (en) Medical control apparatus and medical observation system
US20170154418A1 (en) Method of Labeling Invisible Fluorescence by Visible Light with Self-Correction
WO2020071139A1 (ja) 医療用観察システム、医療用光源装置、及び医療用照明方法
WO2019181553A1 (ja) 手術顕微鏡システム
JP2001275961A (ja) 内視鏡装置
CN220124670U (zh) 一种原位成像显示系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20230919

Address after: A117-55, iChuangtu Zhongchuang Park, No.14 Gaoxin Second Road, Gaoxin District, Xi'an City, Shaanxi Province, 710075

Applicant after: Xi'an Changkong Medical Technology Service Co.,Ltd.

Address before: 710086 Room 403-7, Floor 4, Building 3, Fengyue Yunchuang Center, Hanchi 1st Road, Haojing Avenue, Fengdong New Town, Xi'an City, Shaanxi Province

Applicant before: Shaanxi Zhongke Chuangfu Medical Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Hu Yanzhao

Inventor after: He Shiming

Inventor after: Bao Guoqiang

Inventor after: An Yuan

Inventor after: Peng Shujia

Inventor after: Yang Qi

Inventor after: Guo Rong

Inventor after: Xu Peng

Inventor before: Bao Guoqiang

Inventor before: An Yuan

Inventor before: Peng Shujia

Inventor before: Yang Qi

Inventor before: Hu Yanzhao

Inventor before: Guo Rong

Inventor before: Li Jianchao

Inventor before: Xu Peng

Inventor before: He Shiming