CN102397106A - 多光谱分光融合外科手术引导系统 - Google Patents
多光谱分光融合外科手术引导系统 Download PDFInfo
- Publication number
- CN102397106A CN102397106A CN2011102923741A CN201110292374A CN102397106A CN 102397106 A CN102397106 A CN 102397106A CN 2011102923741 A CN2011102923741 A CN 2011102923741A CN 201110292374 A CN201110292374 A CN 201110292374A CN 102397106 A CN102397106 A CN 102397106A
- Authority
- CN
- China
- Prior art keywords
- image
- beam split
- light
- multispectral
- coloured image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 206010028980 Neoplasm Diseases 0.000 claims abstract description 27
- 230000003287 optical effect Effects 0.000 claims abstract description 18
- 210000001165 lymph node Anatomy 0.000 claims abstract description 16
- 210000001519 tissue Anatomy 0.000 claims abstract description 10
- 210000004204 blood vessel Anatomy 0.000 claims abstract description 5
- 230000004927 fusion Effects 0.000 claims description 29
- 238000001356 surgical procedure Methods 0.000 claims description 19
- 238000000034 method Methods 0.000 claims description 14
- 238000011282 treatment Methods 0.000 claims description 11
- 210000003484 anatomy Anatomy 0.000 claims description 7
- 239000000463 material Substances 0.000 claims description 6
- BFMYDTVEBKDAKJ-UHFFFAOYSA-L disodium;(2',7'-dibromo-3',6'-dioxido-3-oxospiro[2-benzofuran-1,9'-xanthene]-4'-yl)mercury;hydrate Chemical compound O.[Na+].[Na+].O1C(=O)C2=CC=CC=C2C21C1=CC(Br)=C([O-])C([Hg])=C1OC1=C2C=C(Br)C([O-])=C1 BFMYDTVEBKDAKJ-UHFFFAOYSA-L 0.000 claims description 4
- 210000001365 lymphatic vessel Anatomy 0.000 claims description 4
- 238000002834 transmittance Methods 0.000 claims description 3
- 238000012952 Resampling Methods 0.000 claims description 2
- 230000008878 coupling Effects 0.000 claims description 2
- 238000010168 coupling process Methods 0.000 claims description 2
- 238000005859 coupling reaction Methods 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims description 2
- 238000003384 imaging method Methods 0.000 abstract description 10
- 238000005516 engineering process Methods 0.000 abstract description 9
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 210000002751 lymph Anatomy 0.000 abstract description 2
- 230000001926 lymphatic effect Effects 0.000 description 8
- 239000000700 radioactive tracer Substances 0.000 description 8
- 239000000975 dye Substances 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 206010006187 Breast cancer Diseases 0.000 description 3
- 208000026310 Breast neoplasm Diseases 0.000 description 3
- 201000008275 breast carcinoma Diseases 0.000 description 3
- 210000004027 cell Anatomy 0.000 description 3
- 238000002347 injection Methods 0.000 description 3
- 239000007924 injection Substances 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- RBTBFTRPCNLSDE-UHFFFAOYSA-N 3,7-bis(dimethylamino)phenothiazin-5-ium Chemical compound C1=CC(N(C)C)=CC2=[S+]C3=CC(N(C)C)=CC=C3N=C21 RBTBFTRPCNLSDE-UHFFFAOYSA-N 0.000 description 2
- 206010005003 Bladder cancer Diseases 0.000 description 2
- 206010009944 Colon cancer Diseases 0.000 description 2
- SIKJAQJRHWYJAI-UHFFFAOYSA-N Indole Chemical compound C1=CC=C2NC=CC2=C1 SIKJAQJRHWYJAI-UHFFFAOYSA-N 0.000 description 2
- 206010027476 Metastases Diseases 0.000 description 2
- 208000005718 Stomach Neoplasms Diseases 0.000 description 2
- 208000007097 Urinary Bladder Neoplasms Diseases 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 2
- 239000002872 contrast media Substances 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 206010017758 gastric cancer Diseases 0.000 description 2
- 238000011835 investigation Methods 0.000 description 2
- 229960000907 methylthioninium chloride Drugs 0.000 description 2
- 238000012634 optical imaging Methods 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000002271 resection Methods 0.000 description 2
- 210000005005 sentinel lymph node Anatomy 0.000 description 2
- 201000011549 stomach cancer Diseases 0.000 description 2
- 239000000725 suspension Substances 0.000 description 2
- 201000005112 urinary bladder cancer Diseases 0.000 description 2
- 206010008342 Cervix carcinoma Diseases 0.000 description 1
- 208000001333 Colorectal Neoplasms Diseases 0.000 description 1
- 238000005481 NMR spectroscopy Methods 0.000 description 1
- 206010033701 Papillary thyroid cancer Diseases 0.000 description 1
- SJEYSFABYSGQBG-UHFFFAOYSA-M Patent blue Chemical compound [Na+].C1=CC(N(CC)CC)=CC=C1C(C=1C(=CC(=CC=1)S([O-])(=O)=O)S([O-])(=O)=O)=C1C=CC(=[N+](CC)CC)C=C1 SJEYSFABYSGQBG-UHFFFAOYSA-M 0.000 description 1
- 108700008625 Reporter Genes Proteins 0.000 description 1
- FAPWRFPIFSIZLT-UHFFFAOYSA-M Sodium chloride Chemical compound [Na+].[Cl-] FAPWRFPIFSIZLT-UHFFFAOYSA-M 0.000 description 1
- 208000006105 Uterine Cervical Neoplasms Diseases 0.000 description 1
- 238000010171 animal model Methods 0.000 description 1
- 210000001367 artery Anatomy 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 238000013130 cardiovascular surgery Methods 0.000 description 1
- 201000010881 cervical cancer Diseases 0.000 description 1
- 239000003610 charcoal Substances 0.000 description 1
- 238000013189 cholangiography Methods 0.000 description 1
- 230000003930 cognitive ability Effects 0.000 description 1
- 208000029742 colonic neoplasm Diseases 0.000 description 1
- 210000004351 coronary vessel Anatomy 0.000 description 1
- 238000002316 cosmetic surgery Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000004043 dyeing Methods 0.000 description 1
- 230000004064 dysfunction Effects 0.000 description 1
- 238000012142 en-bloc resection Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 210000003238 esophagus Anatomy 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000012632 fluorescent imaging Methods 0.000 description 1
- 230000008014 freezing Effects 0.000 description 1
- 238000007710 freezing Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- PZOUSPYUWWUPPK-UHFFFAOYSA-N indole Natural products CC1=CC=CC2=C1C=CN2 PZOUSPYUWWUPPK-UHFFFAOYSA-N 0.000 description 1
- RKJUIXBNRJVNHR-UHFFFAOYSA-N indolenine Natural products C1=CC=C2CC=NC2=C1 RKJUIXBNRJVNHR-UHFFFAOYSA-N 0.000 description 1
- 230000008595 infiltration Effects 0.000 description 1
- 238000001764 infiltration Methods 0.000 description 1
- 238000010253 intravenous injection Methods 0.000 description 1
- 229940074320 iso-sulfan blue Drugs 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 210000004880 lymph fluid Anatomy 0.000 description 1
- 230000036244 malformation Effects 0.000 description 1
- 230000009401 metastasis Effects 0.000 description 1
- 206010061289 metastatic neoplasm Diseases 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 229910021392 nanocarbon Inorganic materials 0.000 description 1
- 238000011275 oncology therapy Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000000505 pernicious effect Effects 0.000 description 1
- 235000013855 polyvinylpyrrolidone Nutrition 0.000 description 1
- 229920000036 polyvinylpyrrolidone Polymers 0.000 description 1
- 239000001267 polyvinylpyrrolidone Substances 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 239000002096 quantum dot Substances 0.000 description 1
- 238000011470 radical surgery Methods 0.000 description 1
- 230000002285 radioactive effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- NLUFDZBOHMOBOE-UHFFFAOYSA-M sodium;2-[[4-(diethylamino)phenyl]-(4-diethylazaniumylidenecyclohexa-2,5-dien-1-ylidene)methyl]benzene-1,4-disulfonate Chemical compound [Na+].C1=CC(N(CC)CC)=CC=C1C(C=1C(=CC=C(C=1)S([O-])(=O)=O)S([O-])(=O)=O)=C1C=CC(=[N+](CC)CC)C=C1 NLUFDZBOHMOBOE-UHFFFAOYSA-M 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 210000001082 somatic cell Anatomy 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000004611 spectroscopical analysis Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 208000030045 thyroid gland papillary carcinoma Diseases 0.000 description 1
- 231100000331 toxic Toxicity 0.000 description 1
- 230000002588 toxic effect Effects 0.000 description 1
- 210000004881 tumor cell Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Endoscopes (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
Abstract
本发明属于外科手术手术野目标定性定位的技术领域，具体是一种多光谱分光融合外科手术引导系统，解决了现有术中成像技术对于外科手术肿瘤定性定位技术存在目标无法分辨的问题。其包括光源部分、分光摄像部分和图像融合部分，光源部分包括环形的白光LED、近红外LED；分光摄像部分包括近焦镜头、分光镜片、中继透镜、滤光片以及镜筒；图像融合部分包括分别与近红外和彩色摄像CCD信号输出端连接的若干台视频解码器。本发明的有益效果：采用分光摄影分别摄取了手术野的解剖学彩色图像和肉眼看不到的近红外光学图像，并分别显示；采用图像融合，能够精准定位显示手术野中的血管、淋巴管、淋巴结和被荧光染料标记的肿瘤组织。
Description
技术领域
本发明属于外科手术手术野目标定性定位的技术领域，具体涉及一种多光谱分光融合外科手术引导系统。
背景技术
手术切除肿瘤，目前仍然是治疗肿瘤的最有效方法。肿瘤的根治性手术是指对原发灶的广泛切除，连同其周围的淋巴结整块切除。恶性肿瘤可以从局部向周围组织浸润和扩散，因此手术治疗的原则是切除原发灶及可能受累的周围组织，甚至切除一定范围的正常组织，以免边缘有癌细胞残留。但手术切除的范围过大，手术后有一定的后遗症和功能障碍，所以肿瘤手术范围是临床外科医生多年来一直在探讨的问题，在医学进一步发展的今天有必要深入研究。
现代术中肿瘤定性定位的技术包括如下：
1 .淋巴示踪剂
前哨淋巴结（sentinel lymph node, SLN）是最先接受肿瘤区域淋巴引流并最早发生肿瘤转移的特异淋巴结，它接受原始的淋巴液，引流量最大，最容易含有转移的肿瘤细胞。SLN 是癌细胞经淋巴转移的第一道屏障。如果SLN 无转移，该区域其他淋巴结发生转移的可能性很小。自1994年采用10 g·L-1的异硫蓝进行乳腺癌前哨淋巴结活检（Sentinel lymph node biopsy，SLNB）以来，各国医生尝试不同的活性染料以期达到最佳的SLNB效果。目前SLNB的方法有核素法、染料法和二法联合应用三种。染料法是一种重要的方法，选择理想的染料作为淋巴示踪剂是进一步提高SLNB 成功率的重要保障。目前，SLNB 中常用的淋巴示踪剂有异硫蓝、专利蓝和亚甲蓝。近年来，亚甲蓝作为淋巴示踪剂已广泛应用于膀胱癌、乳腺癌、宫颈癌、结直肠癌、胃癌、甲状腺乳头状癌、食管和骨科肿瘤等治疗中。
此外还有具有特异性淋巴示踪作用的纳米炭混悬液，该制剂是使用纳米炭、聚乙烯吡咯烷酮和生理盐水制备而成的纳米混悬注射液，将其于肿瘤部位注射后，能够迅速将周围的淋巴结染色，从而进行淋巴结的清除，方便了临床肿瘤治疗。最新的淋巴结示踪剂还有近红外荧光量子点（Near-Infrared Fluorescent Quantum Dots），在膀胱癌动物模型中应用表明，能够更好地示踪淋巴结[4]，但淋巴示踪剂都仅用于单纯的淋巴结示踪，不能用于切缘的确定。
2. 放射性示踪剂
T99m 硫胶体等静脉注射用一个手提式γ探测器探查淋巴结并切除,也属于淋巴示踪剂的一种。
3. 冰冻切片
冰冻切片，比较熟悉，手术中医生切除可疑的组织，取材后直接冻冻，经恒温式冰冻切片机切片，冰冻固定液固定，HE染色。恶性诊断符合率大约95％以上。但冰冻切片需要切除组织送检，医师操作的灵活性差、实时性差、重复性差、时间较长等缺点。
就目前而言，术中立即明确肿瘤的范围，识别微小转移瘤灶，证实瘤体被完整切除还有许多困难，缺乏循证医学的指标。如果术中使用X线能造成病人和医护人员的损伤，大量造影剂引发毒副作用、超声缺乏特异性、磁共振虽图像清晰但设备笨重[10]。肿瘤分子影像学的深入研究将有助于提高术中肿瘤识别的水平。
4. 术中成像技术
常规采用术前成像指导外科手术，然而由于术中病人体位的变化或环境变化带来的解剖位置变化，导致术前图像不能够准确的引导甚至带来误导。因此，术中成像技术便得到快速发展，如术中磁共振成像、术中三维超声、术中CT、术中三维C臂X光成像等。但对于精细无菌的外科开放手术而言，这些笨重的成像设备对外科手术有一定的影响。所以需要研究简单、方便、快捷、灵活的术中成像技术。
进一步分析近红外光学成像技术的优点和不足：生物体内的细胞或某种大分子标记荧光染料或报告基因时，应用体外特定波长的光波照射，穿过组织的光线，激发这些荧光材料发射荧光，体外光学影像设备摄取这些发射出的荧光，形成光学分子影像，这种光学分子影像将真实反映体内某种基因的表达或大分子的生物学特性，并动态记录和显示分子事件及其动力学过程。然而，近红外光人眼看不到，需要特殊的光学成像系统，以近红外荧光团为造影剂，当一种波长的近红外光照射外科手术野时，手术野发射出另外一种波长的近红外光，摄取这种发射的近红外光可以精确确定近红外荧光团的位置。当近红外荧光团标记到活体细胞、组织和器官时，通过手术野中的近红外光就可以显示组织的结构和病变部位。目前吲哚青绿作为近红外荧光显影剂，采用近红外光成像已经在乳腺癌、胃癌和结肠癌的临床治疗中应用。但是近红外图像只能显示出目标的大致轮廓，目标与背景的对比度较低、边缘模糊、细节无法分辨。
发明内容
本发明为了解决现有肿瘤定性定位技术存在上述的缺陷，而现有术中成像技术对于外科手术肿瘤定性定位技术也存在目标无法分辨等缺陷的问题，提供了一种多光谱分光融合外科手术引导系统。
本发明采用如下的技术方案实现：
一种多光谱分光融合外科手术引导系统，其特征在于包括光源部分、分光摄像部分和图像融合部分，
光源部分包括环形的白光LED和环形的近红外LED；
分光摄像部分包括近焦镜头、分光镜片、中继透镜、滤光片以及将上述各部分连接在一起的镜筒，镜筒为避光材料制成；
所述的近焦镜头与分光镜片配置于同一轴线上，分光镜片的光入射角为45°，设置一片或一片以上；
分光镜片所形成的第一个折射光路末端为彩色摄像CCD,其余光路末端为近红外摄像CCD，每个摄像CCD前面设置滤光片，近焦镜头和分光镜片之间、分光镜片与滤光片之间设置中继透镜；
图像融合部分包括分别与近红外摄像CCD和彩色摄像CCD信号输出端连接的若干台视频解码器，各视频解码器的数据输出端与融合处理板的数据输入端连接，融合处理板的数据输出端又与视频编码器的数据输入端连接，视频编码器的数据输出端与监视器的数据输入端连接。
白光LED的光亮度是 40,000 lux，波长400～650nm，近红外LED光强度4 mW/cm2。近焦镜头为50mm f/0.95光圈。分光镜片透射反射比是40/60。滤光片峰值透过率: T>90%，带宽20nm。镜筒固定于支架之上。支架固定于可移动的机械性横臂上，支架回转角度 360度，具有六个自由度运动。
图像融合方法为：代表手术野的解剖学结构的彩色摄像CCD摄取的可见光彩色图像，和代表手术野的血管、淋巴管、淋巴结和被荧光染料标记的肿瘤组织的近红外摄像CCD摄取的近红外图像融合，具体步骤如下：
1）、采用双线性插值法对彩色图像数据进行重采样，获得与全色图像P大小相同的重彩色图像[R，G，B]；
2）、采用算数平均法计算重彩色图像[R，G，B]的强度分量；
所述重采样重彩色图像[R，G，B]的强度分量用下列公式表示为：
3）、根据公式：
式中Pt为调整后的全色图像，μp为原始全色图像P的均值，σp为原始全色图像p的方差，μI为采样重彩色图像[R，G，B]的强度分量I的均值，σI为重样彩色图像[R，G，B]的强度分量I的方差
采用重采样重彩色图像[R，G， B]的强度分量的均值和方差调整全色图像P的均值和方差，使调整后的全色图像Pt的均值和方差于重采样重彩色图像[R，G，B]的强度分量的均值和方差匹配；
4）、将重样彩色图像[R，G，B]分量分别与（Pt-I）相加，获得最终的彩色图像[Rc，Gc，Bc]，所述的最终的彩色图像[Rc，Gc，Bc]用公式表示：
本发明的原理：本发明涉及多光谱图像实时融合外科手术引导的方法主要用于精准定位手术野中的血管、淋巴管、淋巴结和被荧光染料标记的肿瘤组织。针对可见光图像对比度相对较高，目标包含一定的细节信息,但在黑暗背景下具有不易观察的隐蔽性，而红外图像显示出目标的大致轮廓,目标与背景的对比度较低、边缘模糊、细节无法分辨，本发明采用光学技术向外科手术野照射可见光和特定波段的近红外光，通过分光摄像系统摄取手术野的解剖学彩色图像和肉眼看不到的近红外光学图像，再采用图像融合技术将同一视野同一时刻的图像重叠融合，使目标图像更加清晰。具体来说采用分光镜技术将手术野发射和反射的光分为可见光和近红外光，彩色CCD摄取红、绿、蓝的多光谱彩色影像，近红外CCD摄取近红外影像，两路已配准和同步的可见光与红外模拟视频信号经视频解码器形成数字信号，DSP 通过视频口读入并进行融合处理,待处理的图像和中间结果存放在片外大容量SDRAM 中；融合处理后的数据通过视频口进入视频编码器,输出到监视器上，融合后的数据存储在计算机硬盘。本发明所述的融合方法将彩色多光谱图像和近红外图像进行实时融合，使融合图像具有很高的空间细节表现能力和丰富的光谱信息，从而增强对图像实时判读的可靠性和认识能力，提高数据分类和目标识别的准确性。
本发明的有益效果：采用分光摄影分别摄取了手术野的解剖学彩色图像和肉眼看不到的近红外光学图像，并可以分别显示；采用图像融合，能够精准定位显示手术野中的血管、淋巴管、淋巴结和被荧光染料标记的肿瘤组织。本发明可以应用于生物活体近红外荧光成像的研究，人体肿瘤外科切除术中残余肿瘤的探查和识别、多种肿瘤前哨淋巴结定位、外科手术术中近红外荧光胆道造影和肝叶区分、心血管外科术中评估冠状动脉搭桥术效果、脑血管外科术中脑血管畸形的确定，以及整形外科穿支皮瓣的监测等，使现代外科发生根本的改变。
附图说明
图1为本发明的组成图，
图2为分光摄像装置结构示意图，
图3为实施例1中的可见光图像，
图4为近红外线图像，
图5为图3和4融合后的图像，
图中：1-近焦镜头，2-分光镜片，3-中继透镜，4-滤光片，5-彩色摄像CCD，6-镜筒，7-近红外摄像CCD，8-白光LED，9-近红外LED。
具体实施方式
结合附图对本发明的具体实施方式作进一步说明。
实施例：
多光谱分光融合外科手术引导系统，包括光源部分、分光摄像部分和图像融合部分，
光源部分包括环形的白光LED8和环形的近红外LED9。白光LED，光亮度是 40,000 lux，波长400～650nm，主要使手术野明亮清晰；近红外LED激发光源，光强度4 mW/cm2光源采用环型LED排列，所有LED都采用高度集成的LED驱动器控制，保持输出功率稳定。
分光摄像部分包括近焦镜头1、分光镜片2、中继透镜3、滤光片4以及将上述各部分连接在一起的镜筒6，镜筒6为避光材料制成。
近焦镜头1，近焦镜头要求为50mm f/0.95超大光圈，要摄取手术野的图像，距离一般是20-50厘米，太远太近都不适合，所以需要近焦镜头。
分光镜片2：将从手术野的光线分为可见光和近红外光，分光镜片2的功能是将一部分光反射，一部分光透射，也可以根据需要分成不同的波段，不同的光走不同光路；分光镜片透射反射比是40/60，光入射角是45°，根据需要可以一片或多片。
滤光片4：在每一个光路的末端及摄像CCD的前面，放置相应的荧光截止滤光片；截止波长根据需要选择，采用窄带滤光片，峰值透过率: T>90%，带宽20nm。
中继透镜3：在近焦镜头1与分光镜片2之间，分光镜片2和摄像CCD之间有中继透镜3。
摄像CCD： 2台以上，分光镜片2所形成的第一个折射光路末端为彩色摄像CCD 5, 摄取手术野的解剖学图像，接受通过第一片分光镜反射的光，其余光路末端为近红外摄像CCD 7依次类推。（本实施例以2台为例）
镜筒6：镜筒6由避光材料制成，将镜头、分光镜、中继透镜和摄像CCD连接在一起。整体镜筒将被固定在一个支架上，摄像CCD的点信号通过连线传出。支架固定于可移动的机械性横臂上，支架回转角度 360度，具有六个自由度运动，可实现镜头的前后、左右、上下的电动俯仰及旋转移动，使医生能得到最佳的观察角度。
图像融合部分包括分别与近红外摄像CCD和彩色摄像CCD信号输出端连接的若干台视频解码器，各视频解码器的数据输出端与融合处理板的数据输入端连接，融合处理板的数据输出端又与视频编码器的数据输入端连接，视频编码器的数据输出端与监视器的数据输入端连接。
工作步骤如下：
1、通过外科手术暴露肿瘤所在器官或位置，如图3；
2、将系统的摄像头对准手术野，显示图3；
3、在肿瘤周围注射近红外荧光剂；
4、启动系统摄像开关，通过分光摄像头摄取图3和4，及可见光图像和近红外图像，可见光为外科手术野解剖结构图，图4为淋巴结近红外影像，但图4很难判断其解剖部位；
5、同时系统采用图像融合技术，显示图5；
6、图5非系统直接摄取，而是图3和4的融合；
7、医生就可以通过图5准确判断肿瘤和区域淋巴结的解剖部位，指导外科医生彻底切除病灶。
Claims (8)
1.一种多光谱分光融合外科手术引导系统，其特征在于包括光源部分、分光摄像部分和图像融合部分，
光源部分包括环形的白光LED和环形的近红外LED；
分光摄像部分包括近焦镜头（1）、分光镜片（2）、中继透镜（3）、滤光片（4）以及将上述各部分连接在一起的镜筒（6），镜筒（6）为避光材料制成；
所述的近焦镜头（1）与分光镜片（2）设置于同一轴线上，分光镜片（2）的光入射角为45°，设置一片或一片以上；
分光镜片（2）所形成的第一个折射光路末端为彩色摄像CCD,其余光路末端为近红外摄像CCD（7），每个摄像CCD前面设置滤光片（4），近焦镜头（1）和分光镜片（2）之间、分光镜片（2）与滤光片（4）之间设置中继透镜（3）；
图像融合部分包括分别与近红外摄像CCD和彩色摄像CCD信号输出端连接的若干台视频解码器，各视频解码器的数据输出端与融合处理板的数据输入端连接，融合处理板的数据输出端又与视频编码器的数据输入端连接，视频编码器的数据输出端与监视器的数据输入端连接。
2.根据权利要求1所述的多光谱分光融合外科手术引导系统，其特征在于白光LED的光亮度是 40,000 lux，波长400～650nm，近红外LED光强度4 mW/cm2。
3.根据权利要求1所述的多光谱分光融合外科手术引导系统，其特征在于近焦镜头（1）为50mm f/0.95光圈。
4.根据权利要求1所述的多光谱分光融合外科手术引导系统，其特征在于分光镜片（2）透射反射比是40/60。
5.根据权利要求1所述的多光谱分光融合外科手术引导系统，其特征在于滤光片（4）峰值透过率: T>90%，带宽20nm。
6.根据权利要求1所述的多光谱分光融合外科手术引导系统，其特征在于镜筒（6）固定于支架之上。
7.根据权利要求6所述的多光谱分光融合外科手术引导系统，其特征在于支架固定于可移动的机械性横臂上，支架回转角度 360度，具有六个自由度运动。
8.根据权利要求1或2或3或4或5或6或7所述的多光谱分光融合外科手术引导系统，其特征在于图像融合方法为：
代表手术野的解剖学结构的彩色摄像CCD摄取的可见光彩色图像，和代表手术野的血管、淋巴管、淋巴结和被荧光染料标记的肿瘤组织的近红外摄像CCD摄取的近红外图像融合，
具体步骤如下：
1）、采用双线性插值法对彩色图像数据进行重采样，获得与全色图像P大小相同的重彩色图像[R，G，B]；
2）、采用算数平均法计算重彩色图像[R，G，B]的强度分量；
所述重采样重彩色图像[R，G，B]的强度分量用下列公式表示为：
3）、根据公式：
式中Pt为调整后的全色图像，μp为原始全色图像P的均值，σp为原始全色图像p的方差，μI为采样重彩色图像[R，G，B]的强度分量I的均值，σI为重样彩色图像[R，G，B]的强度分量I的方差
采用重采样重彩色图像[R，G， B]的强度分量的均值和方差调整全色图像P的均值和方差，使调整后的全色图像Pt的均值和方差于重采样重彩色图像[R，G，B]的强度分量的均值和方差匹配；
4）、将重样彩色图像[R，G，B]分量分别与（Pt-I）相加，获得最终的彩色图像[Rc，Gc，Bc]，所述的最终的彩色图像[Rc，Gc，Bc]用公式表示：
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2011102923741A CN102397106B (zh) | 2011-10-03 | 2011-10-03 | 多光谱分光融合外科手术引导系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2011102923741A CN102397106B (zh) | 2011-10-03 | 2011-10-03 | 多光谱分光融合外科手术引导系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102397106A true CN102397106A (zh) | 2012-04-04 |
| CN102397106B CN102397106B (zh) | 2013-07-10 |
Family
ID=45880009
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2011102923741A Active CN102397106B (zh) | 2011-10-03 | 2011-10-03 | 多光谱分光融合外科手术引导系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102397106B (zh) |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102706450A (zh) * | 2012-06-13 | 2012-10-03 | 西安电子科技大学 | 基于压缩感知的双通道多光谱视频成像仪及成像方法 |
| CN102721469A (zh) * | 2012-06-14 | 2012-10-10 | 中国科学院自动化研究所 | 双相机的多光谱成像系统和方法 |
| CN102809429A (zh) * | 2012-07-26 | 2012-12-05 | 中国科学院自动化研究所 | 基于双相机的多光谱成像系统和方法 |
| CN103006326A (zh) * | 2012-12-03 | 2013-04-03 | 中国科学院自动化研究所 | 视野可调双视频融合成像系统 |
| CN104202587A (zh) * | 2014-08-08 | 2014-12-10 | 娄定风 | 立体多光谱昆虫辨识装置及其识别方法 |
| CN105376503A (zh) * | 2015-12-14 | 2016-03-02 | 北京医千创科技有限公司 | 一种手术图像处理装置及方法 |
| CN106060364A (zh) * | 2016-07-28 | 2016-10-26 | 浙江宇视科技有限公司 | 光学透雾彩色图像采集方法及摄像机 |
| CN106236006A (zh) * | 2016-08-31 | 2016-12-21 | 杨晓峰 | 3d光学分子影像腹腔镜成像系统 |
| CN106361281A (zh) * | 2016-08-31 | 2017-02-01 | 北京数字精准医疗科技有限公司 | 荧光实时成像、融合方法及装置 |
| CN106447703A (zh) * | 2016-08-31 | 2017-02-22 | 北京数字精准医疗科技有限公司 | 近红外荧光与契伦科夫荧光融合成像方法及设备 |
| CN106510846A (zh) * | 2016-11-24 | 2017-03-22 | 南方医科大学 | 一种多探头兼容式原位投影成像处理系统 |
| CN106943193A (zh) * | 2017-04-27 | 2017-07-14 | 华中科技大学 | 共定位手术导航系统和相机头 |
| CN108309247A (zh) * | 2018-03-06 | 2018-07-24 | 南京生命源医药实业有限公司 | 肿瘤定位系统 |
| CN108478196A (zh) * | 2018-05-25 | 2018-09-04 | 北京数字精准医疗科技有限公司 | 基于分子影像的分光成像装置 |
| CN110720985A (zh) * | 2019-11-13 | 2020-01-24 | 安徽领航智睿科技有限公司 | 一种多模式引导的手术导航方法和系统 |
| CN111248855A (zh) * | 2018-11-30 | 2020-06-09 | 财团法人金属工业研究发展中心 | 光学显影装置以及光学显影方法 |
| CN112089403A (zh) * | 2020-10-02 | 2020-12-18 | 深圳市中安视达科技有限公司 | 多光谱医用多路成像方法及其系统 |
| CN113349707A (zh) * | 2013-12-31 | 2021-09-07 | 纪念斯隆-凯特琳癌症中心 | 用于荧光源实时多通道成像的系统、方法和设备 |
| WO2021227734A1 (zh) * | 2020-05-09 | 2021-11-18 | 凌昆 | 一种多图像传感器ar采集显示装置 |
| CN116236164A (zh) * | 2022-12-20 | 2023-06-09 | 哈尔滨海鸿基业科技发展有限公司 | 一种血运重建实时评估装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101214142A (zh) * | 2007-12-26 | 2008-07-09 | 北京理工大学 | 一种基于多光谱图像的医学手术导航跟踪装置 |
| US20080194972A1 (en) * | 2005-10-21 | 2008-08-14 | Olympus Medical Systems Corp. | Living body image pickup apparatus and living body imaging system |
| CN201668400U (zh) * | 2010-05-14 | 2010-12-15 | 温宇 | 双摄像机的x线诊断设备的影像系统 |
-
2011
- 2011-10-03 CN CN2011102923741A patent/CN102397106B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080194972A1 (en) * | 2005-10-21 | 2008-08-14 | Olympus Medical Systems Corp. | Living body image pickup apparatus and living body imaging system |
| CN101214142A (zh) * | 2007-12-26 | 2008-07-09 | 北京理工大学 | 一种基于多光谱图像的医学手术导航跟踪装置 |
| CN201668400U (zh) * | 2010-05-14 | 2010-12-15 | 温宇 | 双摄像机的x线诊断设备的影像系统 |
Cited By (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102706450A (zh) * | 2012-06-13 | 2012-10-03 | 西安电子科技大学 | 基于压缩感知的双通道多光谱视频成像仪及成像方法 |
| CN102706450B (zh) * | 2012-06-13 | 2014-03-12 | 西安电子科技大学 | 基于压缩感知的双通道多光谱视频成像仪及成像方法 |
| CN102721469A (zh) * | 2012-06-14 | 2012-10-10 | 中国科学院自动化研究所 | 双相机的多光谱成像系统和方法 |
| CN102721469B (zh) * | 2012-06-14 | 2015-05-13 | 中国科学院自动化研究所 | 双相机的多光谱成像系统和方法 |
| CN102809429A (zh) * | 2012-07-26 | 2012-12-05 | 中国科学院自动化研究所 | 基于双相机的多光谱成像系统和方法 |
| CN103006326A (zh) * | 2012-12-03 | 2013-04-03 | 中国科学院自动化研究所 | 视野可调双视频融合成像系统 |
| CN103006326B (zh) * | 2012-12-03 | 2016-03-23 | 中国科学院自动化研究所 | 视野可调双视频融合成像系统 |
| CN113349707A (zh) * | 2013-12-31 | 2021-09-07 | 纪念斯隆-凯特琳癌症中心 | 用于荧光源实时多通道成像的系统、方法和设备 |
| CN104202587A (zh) * | 2014-08-08 | 2014-12-10 | 娄定风 | 立体多光谱昆虫辨识装置及其识别方法 |
| CN105376503A (zh) * | 2015-12-14 | 2016-03-02 | 北京医千创科技有限公司 | 一种手术图像处理装置及方法 |
| CN105376503B (zh) * | 2015-12-14 | 2018-07-20 | 北京医千创科技有限公司 | 一种手术图像处理装置及方法 |
| CN106060364A (zh) * | 2016-07-28 | 2016-10-26 | 浙江宇视科技有限公司 | 光学透雾彩色图像采集方法及摄像机 |
| CN106447703A (zh) * | 2016-08-31 | 2017-02-22 | 北京数字精准医疗科技有限公司 | 近红外荧光与契伦科夫荧光融合成像方法及设备 |
| CN106361281A (zh) * | 2016-08-31 | 2017-02-01 | 北京数字精准医疗科技有限公司 | 荧光实时成像、融合方法及装置 |
| CN106236006A (zh) * | 2016-08-31 | 2016-12-21 | 杨晓峰 | 3d光学分子影像腹腔镜成像系统 |
| CN106510846B (zh) * | 2016-11-24 | 2019-10-11 | 南方医科大学 | 一种多探头兼容式原位投影成像处理系统 |
| CN106510846A (zh) * | 2016-11-24 | 2017-03-22 | 南方医科大学 | 一种多探头兼容式原位投影成像处理系统 |
| CN106943193A (zh) * | 2017-04-27 | 2017-07-14 | 华中科技大学 | 共定位手术导航系统和相机头 |
| CN108309247A (zh) * | 2018-03-06 | 2018-07-24 | 南京生命源医药实业有限公司 | 肿瘤定位系统 |
| CN108478196A (zh) * | 2018-05-25 | 2018-09-04 | 北京数字精准医疗科技有限公司 | 基于分子影像的分光成像装置 |
| CN111248855A (zh) * | 2018-11-30 | 2020-06-09 | 财团法人金属工业研究发展中心 | 光学显影装置以及光学显影方法 |
| CN110720985A (zh) * | 2019-11-13 | 2020-01-24 | 安徽领航智睿科技有限公司 | 一种多模式引导的手术导航方法和系统 |
| WO2021227734A1 (zh) * | 2020-05-09 | 2021-11-18 | 凌昆 | 一种多图像传感器ar采集显示装置 |
| CN112089403A (zh) * | 2020-10-02 | 2020-12-18 | 深圳市中安视达科技有限公司 | 多光谱医用多路成像方法及其系统 |
| CN116236164A (zh) * | 2022-12-20 | 2023-06-09 | 哈尔滨海鸿基业科技发展有限公司 | 一种血运重建实时评估装置 |
| CN116236164B (zh) * | 2022-12-20 | 2023-12-08 | 哈尔滨海鸿基业科技发展有限公司 | 一种血运重建实时评估装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102397106B (zh) | 2013-07-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102397106B (zh) | 多光谱分光融合外科手术引导系统 | |
| Shao et al. | Designing a wearable navigation system for image-guided cancer resection surgery | |
| JP6681334B2 (ja) | リアルタイムの蛍光源のマルチチャネル撮像のためのシステム、方法、および装置 | |
| Shin et al. | A fiber-optic fluorescence microscope using a consumer-grade digital camera for in vivo cellular imaging | |
| Tagaya et al. | A novel approach for sentinel lymph node identification using fluorescence imaging and image overlay navigation surgery in patients with breast cancer | |
| WO2016174911A1 (ja) | 光線力学診断装置及び光線力学診断方法 | |
| Liu et al. | Point-of-care pathology with miniature microscopes | |
| US11243166B2 (en) | Intraoperative near-infrared-I and near-infrared-II multi-spectral fluorescent navigation system and method of using the same | |
| CN106029000A (zh) | 用于引导医疗干预的成像和显示系统 | |
| Yang et al. | Mitigating fluorescence spectral overlap in wide-field endoscopic imaging | |
| van Willigen et al. | Multispectral fluorescence guided surgery; a feasibility study in a phantom using a clinical-grade laparoscopic camera system | |
| Charanya et al. | Trimodal color-fluorescence-polarization endoscopy aided by a tumor selective molecular probe accurately detects flat lesions in colitis-associated cancer | |
| Göbel et al. | Optical needle endoscope for safe and precise stereotactically guided biopsy sampling in neurosurgery | |
| Cha et al. | Real-time, label-free, intraoperative visualization of peripheral nerves and micro-vasculatures using multimodal optical imaging techniques | |
| CN106447703A (zh) | 近红外荧光与契伦科夫荧光融合成像方法及设备 | |
| Jiang et al. | Label-free imaging of brain and brain tumor specimens with combined two-photon excited fluorescence and second harmonic generation microscopy | |
| Yang et al. | Color-matched and fluorescence-labeled esophagus phantom and its applications | |
| Han et al. | SiPM-based gamma detector with a central GRIN lens for a visible/NIRF/gamma multi-modal laparoscope | |
| Lin et al. | Integrated autofluorescence endoscopic imaging and point-wise spectroscopy for real-time in vivo tissue measurements | |
| Mao et al. | Development and application of the near-infrared and white-light thoracoscope system for minimally invasive lung cancer surgery | |
| Darwiche et al. | “One-stop shop” spectral imaging for rapid on-site diagnosis of lung cancer: a future concept in nano-oncology | |
| Kakaletri et al. | Development, implementation and application of confocal laser endomicroscopy in brain, head and neck surgery—a review | |
| Hernandez Vargas et al. | Development of a drug–device combination for fluorescence-guided surgery in neuroendocrine tumors | |
| US20140180073A1 (en) | Portable digital imaging system for fluorescence-guided surgery | |
| Liu et al. | A co-axial projection surgical navigation system for breast cancer sentinel lymph node mapping: system design and clinical trial |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20120404 Assignee: Tiayuan Sai En Science and Technology Development Co., Ltd. Assignor: Yang Xiaofeng Contract record no.: 2015140000003 Denomination of invention: Multispectral light-splitting fused surgical operation guide system Granted publication date: 20130710 License type: Exclusive License Record date: 20150318 |
|
| LICC | Enforcement, change and cancellation of record of contracts on the licence for exploitation of a patent or utility model | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20180716 Address after: Room 408A, 122 Xuefu Street, Taiyuan High-tech Zone, Shanxi Province Patentee after: Tiayuan Sai En Science and Technology Development Co., Ltd. Address before: 030001 Jiefang Road, Taiyuan, Shanxi Province, No. 85 Patentee before: Yang Xiaofeng |