CN104367380B - 视野可切换的双光路分子影像导航系统及成像方法 - Google Patents
视野可切换的双光路分子影像导航系统及成像方法 Download PDFInfo
- Publication number
- CN104367380B CN104367380B CN201410754357.9A CN201410754357A CN104367380B CN 104367380 B CN104367380 B CN 104367380B CN 201410754357 A CN201410754357 A CN 201410754357A CN 104367380 B CN104367380 B CN 104367380B
- Authority
- CN
- China
- Prior art keywords
- image
- imaging
- camera
- module
- light source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 29
- 238000000034 method Methods 0.000 title claims abstract description 27
- 230000015572 biosynthetic process Effects 0.000 title claims abstract description 10
- 238000003384 imaging method Methods 0.000 claims abstract description 107
- 238000000799 fluorescence microscopy Methods 0.000 claims abstract description 9
- 238000001514 detection method Methods 0.000 claims abstract description 7
- 230000003287 optical effect Effects 0.000 claims description 52
- 239000013307 optical fiber Substances 0.000 claims description 21
- 230000005540 biological transmission Effects 0.000 claims description 7
- 230000001276 controlling effect Effects 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 239000003086 colorant Substances 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 230000001105 regulatory effect Effects 0.000 claims description 2
- 208000008918 voyeurism Diseases 0.000 claims 1
- 230000008569 process Effects 0.000 abstract description 9
- 230000008859 change Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 244000144985 peep Species 0.000 description 3
- 239000003550 marker Substances 0.000 description 2
- 230000013011 mating Effects 0.000 description 2
- 238000005481 NMR spectroscopy Methods 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002073 fluorescence micrograph Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- VYMDGNCVAMGZFE-UHFFFAOYSA-N phenylbutazonum Chemical compound O=C1C(CCCC)C(=O)N(C=2C=CC=CC=2)N1C1=CC=CC=C1 VYMDGNCVAMGZFE-UHFFFAOYSA-N 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Landscapes
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Endoscopes (AREA)
Abstract
本发明公布了一种视野可切换的双光路分子影像导航系统及成像方法，其中包括：相机模块，进行彩色成像及荧光成像；成像系统转换模块，根据成像需求来转换开放式成像方式或者内窥式成像方式；开放式成像模块，进行大视野观测成像；内窥式成像模块，进行深视野探测成像；数据处理模块，提供相机控制软件及图像采集、处理、显示方法；系统支撑模块，为导航设备提供支撑和连接。
Description
技术领域
本发明属于光学分子影像技术领域，涉及的内容包括激发荧光成像方法，图像处理方法，内窥式光学分子影像导航方法，开放式光学分子影像导航方法。
背景技术
分子影像是指在细胞和分子水平上对生物体进行无损的探测并进行成像，如核磁共振、PET、超声以及光学分子成像。作为其中重要的一种成像模态，光学分子影像凭借低成本、高通量、非侵入、非接触、非电离辐射、高灵敏度、高特异性等优势已经成为了研究热点。激发荧光分子成像技术是光学分子影像的一个重要的分支，它使用外部光源激发生物体内的荧光标记物，得到激发后的荧光标记物发射出近红外波段的荧光，使用高灵敏度的探测器接受荧光信息并形成荧光图像。
但是近红外波段的光人肉眼是不可见的，需要借助一定的设备来观测，光学分子影像导航设备就是用来辅助我们获知荧光信息。传统与光学分子影像技术相结合的导航设备受到成像深度的限制，而内窥式光学分子影像导航系统可以深入成像区域内部，解决了成像深度的问题。但是内窥式光学分子影像导航系统成像视野小，适用范围有限。
发明内容
为了解决现有光学分子影像导航系统中成像深度与成像广度的问题，本发明提供了一种视野可切换的双光路分子影像导航系统及成像方法，既可以探测较深的成像区域，也可观测大视野的成像区域。
本发明提出的一种视野可切换的双光路分子影像导航系统，包括相机模块10、成像系统转换模块20、开放式成像模块30、内窥式成像模块40、数据处理模块50、系统支撑模块60；
相机模块10，用于对送入成像系统转换模块20的光信号同时进行彩色成像及荧光成像，并向数据处理模块50输入相应的彩色图像和荧光图像；
成像系统转换模块20，用于对开放式成像模块30和内窥式成像模块40进行选择性切换，并与选择到的模块建立光信号的连接；
开放式成像模块30，用于大视野观测成像；
内窥式成像模块40，用于深视野探测成像；
数据处理模块50，用于控制相机模块10，并对控制相机模块10采集的图像进行处理、存储并显示；
系统支撑模块60，用于支撑和连接各部件。
优选的，所述的相机模块10包括用于彩色成像的彩色CCD相机11和用于荧光成像的荧光CCD相机12。
优选的，所述的成像系统转换模块20包括分光棱镜21、滤光片一22、滤光片二23、相机接口一24、相机接口二25、镜头转换器26；
分光棱镜21，用于将由镜头转换器26传输过来的光线一分为二，分别送入彩色CCD相机11和荧光CCD相机12中；
滤光片一22，用于过滤分光棱镜21传输来的光线，将波长在400nm～650nm之间的光线通过相机接口一24送入彩色CCD相机11中；
滤光片二23，用于过滤分光棱镜21传输来的光线，将波长在810nm～870nm之间的光线通过相机接口二25送入荧光CCD相机12中；
镜头转换器26，用于选择性连接开放式成像模块30和内窥式成像模块40。
优选的，所述的开放式成像模块30包括广角镜头31、白光光源一32、近红外光源一33、光纤34、成像区域35；
在使用过程中，白光光源一32、近红外光源一33通过光纤34对成像区域35进行照射，广角镜头31采集成像区域35的光信号并送入成像系统转换模块20中。
优选的，所述的内窥式成像模块40包括内窥镜镜头41、白光光源二42、近红外光源二43、内窥镜光纤44、探测区域45；
白光光源二42、近红外光源二43直接耦合进内窥镜光纤44中，在使用过程中，将内窥镜光纤44送入到探测区域45，将采集到的光信号通过内窥镜光纤44送入到内窥镜镜头41中，并进一步送入成像系统转换模块20中。
优选的，所述的成像系统转换模块20还包括转轴71，将成像系统转换模块20分为固定部分和转动部分，固定部分由分光棱镜21、滤光片一22、滤光片二23、相机接口一24、相机接口二25、转轴71构成，转动部分由镜头转换器26构成，转动部分通过转轴71与固定部分转动连接，镜头转换器26上开设有两个通孔，分别用于装设开放式成像模块30和内窥式成像模块40，在使用过程中旋转镜头转换器26使广角镜头31或内窥镜镜头41的光轴与成像系统转换模块20的固定部分的光轴成一条直线。
优选的，所述的数据处理模块50包括相机控制模块51、图像处理模块52、图像存储模块53、图像显示模块54；
相机控制模块51，用于调节彩色CCD相机11和荧光CCD相机12的参数；
图像处理模块52，用于将彩色CCD相机11和荧光CCD相机12采集到的荧光图像进行去噪、加伪彩处理，并利用图像融合算法将彩色图像和荧光图像融合；
图像存储模块53，用于存储彩色CCD相机11和荧光CCD相机12采集到的彩色图像、荧光图像以及图像处理模块52融合的图像；
图像显示模块54，用于将彩色图像、荧光图像及融合图像实时的显示在屏幕中。
优选的，所述的系统支撑模块60包括相机支架61、光源支架62、成像系统转换模块支架63、计算机支架64、显示器支架65、系统支架66；
相机支架61，用于支撑彩色CCD相机11和荧光CCD相机12；
光源支架62，用于支撑光源；
成像系统转换模块支架63，用于支撑成像系统转换模块20；
计算机支架64，用于支撑计算机；
显示器支架65，用于支撑显示器；
系统支架66，用于连接和支撑系统支撑模块60中各支架。
本发明还提出了一种视野可切换的双光路分子影像导航系统的成像方法，该方法包含以下步骤：
步骤S1：通过对探测区域的判断选择开放式成像模块30或内窥式成像模块40与成像系统转换模块20相连接；
步骤S2：当选择开放式成像模块30与成像系统转换模块20相连接时，使用白光光源一32及近红外光源一33照射成像区域35，调节广角镜头31光圈并使镜头对焦，然后同时通过荧光CCD相机12和彩色CCD相机11分别采集荧光图像和彩色图像；当选择内窥式成像模块40与成像系统转换模块20相连接时，调节内窥镜镜头41使其对焦，通过相机控制模块51增加荧光CCD相机12的曝光时间以及增益倍数，接着打开白光光源二42、近红外光源二43，将内窥镜光纤44深入到探测区域45内，通过移动内窥镜光纤44来寻找带荧光标记的部位，并同时通过荧光CCD相机12和彩色CCD相机11分别采集荧光图像和彩色图像；
步骤S3：若探测区域有较大的变化，则重新执行步骤S1、步骤S2；
步骤S4：利用图像处理模块52将荧光图像与彩色图像进行融合处理，得到融合图像，并通过图像显示模块54显示在计算机显示屏上。
优选的，所述的荧光图像与彩色图像的融合处理包括以下步骤：
步骤S41：检测彩色图像和荧光图像中的SIFT特征点；
步骤S42：在彩色图像和荧光图像上建立k-d树；
步骤S43：荧光图像中每个特征点与彩色图像相匹配；
步骤S44：随机选4对匹配点构成8个线性方程组计算彩色图像向荧光图像变换的单应矩阵H；
步骤S45：计算H的一致集；
步骤S46：重复执行步骤S44、步骤S45不少于500次，得到最大一致集；
步骤S47：最大一致集中的所有匹配点构成超定线性方程组，利用线性最小二乘法求解H；
步骤S48：通过H，将彩色图像转换到荧光图像的坐标系中，进行坐标变换；
步骤S49：给荧光图像添加伪彩，将处于同一坐标系下的彩色图像和添加伪彩后的荧光图像进行融合，得到融合图像。
本发明通过镜头转换器实现开放式成像模块或内窥式成像模块的选择，并通过成像系统转换模块中的分光器实现荧光图像和彩色图像的同时采集，采用一台设备既可有效的根据观测区域选择合适的观测模式，实现了成像深度与广度的有效兼容，拓宽了了分子影像导航系统的有效工作范围，具有广泛的应用场景。
附图说明
图1是依照本发明实施的视野可切换的双光路分子影像导航系统的架构图；
图2是依照本发明实施的视野可切换的双光路分子影像导航系统的开放式成像模块示意图；
图3是依照本发明实施的视野可切换的双光路分子影像导航系统的内窥式成像模块示意图；
图4是依照本发明实施的基于分光棱镜的光学分子影像导航系统的成像系统转换示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合附图和实施例子进一步说明。
根据图1所示，视野可切换的双光路分子影像导航系统包括：相机模块10、成像系统转换模块20、开放式成像模块30、内窥式成像模块40、数据处理模块50、系统支撑模块60。
其中相机模块10，包括用于彩色成像的彩色CCD相机11和用于荧光成像的荧光CCD相机12，用于对送入成像系统转换模块20的光信号同时进行彩色成像及荧光成像，并向数据处理模块50输入相应的彩色图像和荧光图像。
成像系统转换模块20包括分光棱镜21、滤光片一22、滤光片二23、相机接口一24、相机接口二25、镜头转换器26，用于对开放式成像模块30和内窥式成像模块40进行选择性切换，并与选择到的模块建立光信号的连接。分光棱镜21，用于将由镜头转换器26传输过来的光线一分为二，分别送入彩色CCD相机11和荧光CCD相机12中；滤光片一22，用于过滤分光棱镜21传输来的光线，将波长在400nm～650nm之间的光线通过相机接口一24送入彩色CCD相机11中；滤光片二23，用于过滤分光棱镜21传输来的光线，将波长在810nm～870nm之间的光线通过相机接口二25送入荧光CCD相机12中；镜头转换器26，用于选择性连接开放式成像模块30和内窥式成像模块40。
将成像系统转换模块20分为固定部分和转动部分，固定部分由分光棱镜21、滤光片一22、滤光片二23、相机接口一24、相机接口二25、转轴71构成，转动部分由镜头转换器26构成，转动部分通过转轴71与固定部分转动连接，镜头转换器26上开设有两个通孔，分别用于装设开放式成像模块30和内窥式成像模块40，在使用过程中旋转镜头转换器26使广角镜头31或内窥镜镜头41的光轴与成像系统转换模块20的固定部分的光轴成一条直线。
开放式成像模块30包括广角镜头31、白光光源一32、近红外光源一33、光纤34、成像区域35，用于大视野观测成像。在使用过程中，白光光源一32、近红外光源一33通过光纤34对成像区域35进行照射，广角镜头31采集成像区域35的光信号并送入成像系统转换模块20中。
内窥式成像模块40包括内窥镜镜头41、白光光源二42、近红外光源二43、内窥镜光纤44、探测区域45，用于深视野探测成像。白光光源二42、近红外光源二43直接耦合进内窥镜光纤44中，在使用过程中，将内窥镜光纤44送入到探测区域45，将采集到的光信号通过内窥镜光纤44送入到内窥镜镜头41中，并进一步送入成像系统转换模块20中。
数据处理模块50包括相机控制模块51、图像处理模块52、图像存储模块53、图像显示模块54，用于控制相机模块10，并对控制相机模块10采集的图像进行处理、存储并显示。相机控制模块51，用于调节彩色CCD相机11和荧光CCD相机12的参数；图像处理模块52，用于将彩色CCD相机11和荧光CCD相机12采集到的荧光图像进行去噪、加伪彩处理，并利用图像融合算法将彩色图像和荧光图像融合；图像存储模块53，用于存储彩色CCD相机11和荧光CCD相机12采集到的彩色图像、荧光图像以及图像处理模块52融合的图像；图像显示模块54，用于将彩色图像、荧光图像及融合图像实时的显示在屏幕中。
系统支撑模块60包括相机支架61、光源支架62、成像系统转换模块支架63、计算机支架64、显示器支架65、系统支架66，用于支撑和连接各部件。相机支架61，用于支撑彩色CCD相机11和荧光CCD相机12；光源支架62，用于支撑光源；成像系统转换模块支架63，用于支撑成像系统转换模块20；计算机支架64，用于支撑计算机；显示器支架65，用于支撑显示器；系统支架66，用于连接和支撑系统支撑模块60中各支架。
相机模块10中的彩色CCD相机11和荧光CCD相机12分别通过相机接口一24、相机接口二25与成像系统转换模块20相连接；开放式成像模块30的广角镜头31或内窥式成像模块40的内窥镜镜头41通过镜头转换器26与成像系统转换模块20相连接；数据处理模块50中的相机控制模块51通过相机数据线与相机模块10中的彩色CCD相机11和荧光CCD相机12进行数据传输；系统支撑模块60中的相机支架61用于支撑彩色CCD相机11和荧光CCD相机12，光源支架62用于支撑开放式成像模块30的白光光源一32、近红外光源一33以及内窥式成像模块40的白光光源二42、近红外光源二43，成像系统转换模块支架63用于支撑整个成像系统转换模块20，计算机支架64用于支撑数据处理模块50中用到的计算机，显示器支架65用于支撑数据处理模块50中用到的显示器，系统支架66用于各个模块之间的连接和支撑。
根据图2所示，本实施例开放式成像模块工作状态下：相机模块10，进行彩色成像及荧光成像；成像系统转换模块20，连接开放式成像模块30，并将开放式成像模块30采集到的光信号一分为二送入相机模块10中；开放式成像模块30，提供开放式成像方法；数据处理模块50，提供相机控制软件及图像采集、处理、显示方法。
开放式成像模块成像方式如下：使用白光光源一32及近红外光源一33照射成像区域35；光线由成像系统转换模块20将广角镜头31采集到的光信号一分为二经滤光片一22和滤光片二23过滤后分别送入彩色CCD相机11和荧光CCD相机12中；打开数据处理模块50中的相机控制模块51，开启图像采集模式，调整彩色CCD相机11和荧光CCD相机12的成像参数，以及图像存储模块53确定图像的存储位置；通过得到的采集图像，来调节广角镜头31光圈改变进光量，调节镜头对焦旋钮使镜头对焦；使用图像处理模块52将荧光CCD相机12采集到的荧光图像进行去噪、亮度调节、添加伪彩等处理，并与彩色图像进行匹配、融合处理，用图像显示模块54实时动态的显示在计算机显示屏上。
根据图3所示，本实施例内窥式成像模块工作状态下：相机模块10，进行彩色成像及荧光成像；成像系统转换模块20，连接内窥式成像模块40，并将内窥式成像模块40采集到的光信号一分为二送入相机模块10中；内窥式成像模块40，提供内窥式成像方法；数据处理模块50，提供相机控制软件及图像采集、处理、显示方法。
内窥式成像模块成像方式如下：将成像系统转换模块20的镜头转换器26与内窥式成像模块40的内窥镜镜头41相连接；将白光光源二42及近红外光源二43与内窥镜光纤44相连接，并打开白光光源二42及近红外光源二43的电源开关；将内窥镜光纤44探入探测区域45中，光线由成像系统转换模块20将内窥镜镜头41采集到的光信号一分为二经滤光片一22和滤光片二23过滤后分别送入彩色CCD相机11和荧光CCD相机12中；打开数据处理模块50中的相机控制模块51，开启图像采集模式，调整彩色CCD相机11和荧光CCD相机12的成像参数，以及图像存储模块53确定图像的存储位置；通过得到的采集图像，来调节内窥镜镜头41光圈改变进光量，调节镜头对焦旋钮使镜头对焦；使用图像处理模块52将荧光CCD相机12采集到的荧光图像进行去噪、亮度调节、添加伪彩等处理，并与彩色图像进行匹配、融合处理，用图像显示模块54实时动态的显示在计算机显示屏上。
根据图4所示，镜头转换器26通过转轴71与系统转换模块20的固定部分连接，并通过特设在转轴71上的弹簧及转动定位结构实现镜头转换器26的转动定位，方便的实现了工作模式下开放式成像模块30或内窥式成像模块的切换。本实施例中镜头转换器上开设有两个通孔，分别用于装设开放式成像模块30和内窥式成像模块40，在使用过程中旋转镜头转换器26使广角镜头31或内窥镜镜头41的光轴与成像系统转换模块20的固定部分的光轴成一条直线。
本实施例的成像方法包含以下步骤：
步骤S1：通过对探测区域的判断选择开放式成像模块30或内窥式成像模块40与成像系统转换模块20相连接；
步骤S2：当选择开放式成像模块30与成像系统转换模块20相连接时，使用白光光源一32及近红外光源一33照射成像区域35，调节广角镜头31光圈并使镜头对焦，然后同时通过荧光CCD相机12和彩色CCD相机11分别采集荧光图像和彩色图像；当选择内窥式成像模块40与成像系统转换模块20相连接时，调节内窥镜镜头41使其对焦，通过相机控制模块51增加荧光CCD相机12的曝光时间以及增益倍数，接着打开白光光源二42、近红外光源二43，将内窥镜光纤44深入到探测区域45内，通过移动内窥镜光纤44来寻找带荧光标记的部位，并同时通过荧光CCD相机12和彩色CCD相机11分别采集荧光图像和彩色图像；
步骤S3：若观测区域有较大的变化，则重新执行步骤S1、步骤S2；
步骤S4：利用图像处理模块52将荧光图像与彩色图像进行融合处理，得到融合图像，并通过图像显示模块54显示在计算机显示屏上。
本实施例在步骤S4中采用的图像融合处理方法的步骤如下：
步骤S41：检测彩色图像和荧光图像中的SIFT特征点；
步骤S42：在彩色图像和荧光图像上建立k-d树；
步骤S43：荧光图像中每个特征点与彩色图像相匹配；
步骤S44：随机选4对匹配点构成8个线性方程组计算彩色图像向荧光图像变换的单应矩阵H；
步骤S45：计算H的一致集；
步骤S46：重复执行步骤S44、步骤S45不少于500次，得到最大一致集；
步骤S47：最大一致集中的所有匹配点构成超定线性方程组，利用线性最小二乘法求解H；
步骤S48：通过H，将彩色图像转换到荧光图像的坐标系中，进行坐标变换；
步骤S49：给荧光图像添加伪彩，将处于同一坐标系下的彩色图像和添加伪彩后的荧光图像进行融合，得到融合图像。
本实施例结合了开放式成像方法成像视野广和内窥式成像方法探测视野深的优点，通过成像系统转换模块可以根据视野需求自由转换成像视野。同时该成像系统转换模块是双光路结构，可将镜头采集到的光线一分为二，用两台CCD相机实现荧光图像和彩色图像的同时采集采用一台设备既可有效的根据观测区域选择合适的观测模式，实现了成像深度与广度的有效兼容，拓宽了了分子影像导航系统的有效工作范围，具有广泛的应用场景。
在操作人员实际使用过程中，可以根据成像需求切换到合适的成像模式中。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，但是以上所述仅为本发明的具体实施方式本发明的保护范围并不仅限于此，凡在本发明的思想和规则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (7)
1.一种视野可切换的双光路分子影像导航系统，其特征在于，该系统包括相机模块(10)、成像系统转换模块(20)、开放式成像模块(30)、内窥式成像模块(40)、数据处理模块(50)、系统支撑模块(60)；
相机模块(10)，用于对送入成像系统转换模块(20)的光信号同时进行彩色成像及荧光成像，并向数据处理模块(50)输入相应的彩色图像和荧光图像；
成像系统转换模块(20)，用于对开放式成像模块(30)和内窥式成像模块(40)进行选择性切换，并与选择到的模块建立光信号的连接；
开放式成像模块(30)，用于大视野观测成像；
内窥式成像模块(40)，用于深视野探测成像；
数据处理模块(50)，用于控制相机模块(10)，并对控制相机模块(10)采集的图像进行处理、存储并显示；
系统支撑模块(60)，用于支撑和连接各部件；
所述的相机模块(10)包括用于彩色成像的彩色CCD相机(11)和用于荧光成像的荧光CCD相机(12)；
所述的成像系统转换模块(20)包括分光棱镜(21)、滤光片一(22)、滤光片二(23)、相机接口一(24)、相机接口二(25)、镜头转换器(26)；
分光棱镜(21)，用于将由镜头转换器(26)传输过来的光线一分为二，分别送入彩色CCD相机(11)和荧光CCD相机(12)中；
滤光片一(22)，用于过滤分光棱镜(21)传输来的光线，将波长在400nm～650nm之间的光线通过相机接口一(24)送入彩色CCD相机(11)中；
滤光片二(23)，用于过滤分光棱镜(21)传输来的光线，将波长在810nm～870nm之间的光线通过相机接口二(25)送入荧光CCD相机(12)中；
镜头转换器(26)，用于选择性连接开放式成像模块(30)和内窥式成像模块(40)。
2.根据权利要求1所述的视野可切换的双光路分子影像导航系统，其特征在于，所述的开放式成像模块(30)包括广角镜头(31)、白光光源一(32)、近红外光源一(33)、光纤(34)、成像区域(35)；
在使用过程中，白光光源一(32)、近红外光源一(33)通过光纤(34)对成像区域(35)进行照射，广角镜头(31)采集成像区域(35)的光信号并送入成像系统转换模块(20)中。
3.根据权利要求2所述的视野可切换的双光路分子影像导航系统，其特征在于，所述的内窥式成像模块(40)包括内窥镜镜头(41)、白光光源二(42)、近红外光源二(43)、内窥镜光纤(44)、探测区域(45)；
白光光源二(42)、近红外光源二(43)直接耦合进内窥镜光纤(44)中，在使用过程中，将内窥镜光纤(44)送入到探测区域(45)，将采集到的光信号通过内窥镜光纤(44)送入到内窥镜镜头(41)中，并进一步送入成像系统转换模块(20)中。
4.根据权利要求3所述的视野可切换的双光路分子影像导航系统，其特征在于，所述的成像系统转换模块(20)还包括转轴(71)，将成像系统转换模块(20)分为固定部分和转动部分，固定部分由分光棱镜(21)、滤光片一(22)、滤光片二(23)、相机接口一(24)、相机接口二(25)、转轴(71)构成，转动部分由镜头转换器(26)构成，转动部分通过转轴(71)与固定部分转动连接，镜头转换器(26)上开设有两个通孔，分别用于装设开放式成像模块(30)和内窥式成像模块(40)，在使用过程中旋转镜头转换器(26)使广角镜头(31)或内窥镜镜头(41)的光轴与成像系统转换模块(20)的固定部分的光轴成一条直线。
5.根据权利要求4所述的视野可切换的双光路分子影像导航系统，其特征在于，所述的数据处理模块(50)包括相机控制模块(51)、图像处理模块(52)、图像存储模块(53)、图像显示模块(54)；
相机控制模块(51)，用于调节彩色CCD相机(11)和荧光CCD相机(12)的参数；
图像处理模块(52)，用于将彩色CCD相机(11)和荧光CCD相机(12)采集到的荧光图像进行去噪、加伪彩处理，并利用图像融合算法将彩色图像和荧光图像融合；
图像存储模块(53)，用于存储彩色CCD相机(11)和荧光CCD相机(12)采集到的彩色图像、荧光图像以及图像处理模块(52)融合的图像；
图像显示模块(54)，用于将彩色图像、荧光图像及融合图像实时的显示在屏幕中。
6.根据权利要求5所述的视野可切换的双光路分子影像导航系统，其特征在于，所述的系统支撑模块(60)包括相机支架(61)、光源支架(62)、成像系统转换模块支架(63)、计算机支架(64)、显示器支架(65)、系统支架(66)；
相机支架(61)，用于支撑彩色CCD相机(11)和荧光CCD相机(12)；
光源支架(62)，用于支撑光源；
成像系统转换模块支架(63)，用于支撑成像系统转换模块(20)；
计算机支架(64)，用于支撑计算机；
显示器支架(65)，用于支撑显示器；
系统支架(66)，用于连接和支撑系统支撑模块(60)中各支架。
7.一种利用权利要求5所述系统的成像方法，其特征在于，所述的荧光图像与彩色图像的融合处理包括以下步骤：
步骤S41：检测彩色图像和荧光图像中的SIFT特征点；
步骤S42：在彩色图像和荧光图像上建立k-d树；
步骤S43：荧光图像中每个特征点与彩色图像相匹配；
步骤S44：随机选4对匹配点构成8个线性方程组计算彩色图像向荧光图像变换的单应矩阵H；
步骤S45：计算H的一致集；
步骤S46：重复执行步骤S44、步骤S45不少于500次，得到最大一致集；
步骤S47：最大一致集中的所有匹配点构成超定线性方程组，利用线性最小二乘法求解H；
步骤S48：通过H，将彩色图像转换到荧光图像的坐标系中，进行坐标变换；
步骤S49：给荧光图像添加伪彩，将处于同一坐标系下的彩色图像和添加伪彩后的荧光图像进行融合，得到融合图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410754357.9A CN104367380B (zh) | 2014-12-10 | 2014-12-10 | 视野可切换的双光路分子影像导航系统及成像方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410754357.9A CN104367380B (zh) | 2014-12-10 | 2014-12-10 | 视野可切换的双光路分子影像导航系统及成像方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104367380A CN104367380A (zh) | 2015-02-25 |
| CN104367380B true CN104367380B (zh) | 2016-09-07 |
Family
ID=52546751
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410754357.9A Active CN104367380B (zh) | 2014-12-10 | 2014-12-10 | 视野可切换的双光路分子影像导航系统及成像方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104367380B (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016090572A1 (zh) * | 2014-12-10 | 2016-06-16 | 中国科学院自动化研究所 | 视野可切换的双光路分子影像导航系统及成像方法 |
| JP6760370B2 (ja) * | 2016-06-09 | 2020-09-23 | 株式会社島津製作所 | 近赤外線イメージング装置 |
| CN106377218A (zh) * | 2016-10-11 | 2017-02-08 | 重庆金山医疗器械有限公司 | 一种双镜头胶囊内窥镜及其工作系统 |
| CN106725244A (zh) * | 2016-12-07 | 2017-05-31 | 哈尔滨海鸿基业科技发展有限公司 | 一种内窥镜双通道融合成像装置 |
| CN106821330A (zh) * | 2017-03-20 | 2017-06-13 | 深圳市和虎科技有限公司 | 用于分子影像手术的成像装置及设备 |
| CN109870116B (zh) * | 2017-12-05 | 2021-08-03 | 光宝电子(广州)有限公司 | 深度成像装置及其驱动方法 |
| CN108478174B (zh) * | 2018-03-20 | 2023-07-25 | 广东欧谱曼迪科技有限公司 | 基于曝光反馈的双相机系统及其术中荧光导航调整方法 |
| CN108965658A (zh) * | 2018-06-25 | 2018-12-07 | 中国科学院自动化研究所 | 面向深度数码变焦的精配准图像采集装置 |
| CN110626269A (zh) * | 2019-10-16 | 2019-12-31 | 湖北工业大学 | 一种基于意图辨识模糊控制的智能成像驾驶辅助系统及方法 |
| CN112190219A (zh) * | 2020-11-04 | 2021-01-08 | 王松 | 一种近红外光实时识别甲状旁腺腔镜系统及使用方法 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6293911B1 (en) * | 1996-11-20 | 2001-09-25 | Olympus Optical Co., Ltd. | Fluorescent endoscope system enabling simultaneous normal light observation and fluorescence observation in infrared spectrum |
| US6422994B1 (en) * | 1997-09-24 | 2002-07-23 | Olympus Optical Co., Ltd. | Fluorescent diagnostic system and method providing color discrimination enhancement |
| US6217510B1 (en) * | 1997-10-02 | 2001-04-17 | Olympus Optical Co., Ltd. | Endoscopes and endoscope devices which image regular observation images and fluorescent images as well as which provide easier operation of treatment tools |
| CN102151122B (zh) * | 2011-03-17 | 2012-12-19 | 中国科学院自动化研究所 | 激发荧光分子成像系统及一次荧光成像方法 |
| CN103300812A (zh) * | 2013-06-27 | 2013-09-18 | 中国科学院自动化研究所 | 基于内窥镜的多光谱视频导航系统和方法 |
| CN103385696B (zh) * | 2013-07-24 | 2014-11-26 | 中国科学院自动化研究所 | 一种激发荧光实时成像系统及方法 |
| CN104116497B (zh) * | 2014-07-22 | 2016-10-05 | 中国科学院自动化研究所 | 内窥式光学分子影像导航系统和多光谱成像方法 |
| CN204318916U (zh) * | 2014-12-10 | 2015-05-13 | 中国科学院自动化研究所 | 视野可切换的双光路分子影像导航系统 |
-
2014
- 2014-12-10 CN CN201410754357.9A patent/CN104367380B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN104367380A (zh) | 2015-02-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104367380B (zh) | 视野可切换的双光路分子影像导航系统及成像方法 | |
| ES2743759T3 (es) | Sistema de procesado de fusión de imágenes de luz visible e imágenes de infrarrojos y método de fusión | |
| CN204318916U (zh) | 视野可切换的双光路分子影像导航系统 | |
| CN103340601A (zh) | 基于内窥镜的多光谱成像系统和方法 | |
| CN102721469B (zh) | 双相机的多光谱成像系统和方法 | |
| CN104116497B (zh) | 内窥式光学分子影像导航系统和多光谱成像方法 | |
| CN103300812A (zh) | 基于内窥镜的多光谱视频导航系统和方法 | |
| CN105342561B (zh) | 无线声控穿戴式分子影像导航系统 | |
| CN109891875A (zh) | 图像传送设备、图像传送方法、程序和运动图像生成系统 | |
| CN110192390A (zh) | 头戴式显示器的光场捕获和渲染 | |
| CN110269700A (zh) | 增强现实手术显微镜和显微镜学方法 | |
| JP4865912B2 (ja) | 画像処理システム、外部装置およびその画像処理方法 | |
| CN102809429A (zh) | 基于双相机的多光谱成像系统和方法 | |
| JP2006238802A (ja) | 細胞観察装置、細胞観察方法、顕微鏡システム、及び細胞観察プログラム | |
| CN103385696A (zh) | 一种激发荧光实时成像系统及方法 | |
| CN106447703A (zh) | 近红外荧光与契伦科夫荧光融合成像方法及设备 | |
| WO2020045539A1 (ja) | 固体撮像装置、情報処理装置、情報処理システム、情報処理方法及びプログラム | |
| CN107270818A (zh) | 一种利用监测ccd实时测定激光探头与被照射面间距离和角度的方法 | |
| US11953376B2 (en) | Imaging apparatus, signal processing apparatus, signal processing method, and program | |
| WO2014205738A1 (zh) | 基于内窥镜的多光谱视频导航系统和方法 | |
| CN108720934A (zh) | 用于操作医学-光学显示系统的方法 | |
| WO2021075321A1 (ja) | 撮像装置、電子機器及び撮像方法 | |
| CN112089403A (zh) | 多光谱医用多路成像方法及其系统 | |
| Liu et al. | Bio-inspired multimodal 3D endoscope for image-guided and robotic surgery | |
| CN107811706B (zh) | 一种基于传像光纤的手术导航系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |