CN116982917A - 一种基于荧光寿命的内窥处理系统 - Google Patents
一种基于荧光寿命的内窥处理系统 Download PDFInfo
- Publication number
- CN116982917A CN116982917A CN202311210242.9A CN202311210242A CN116982917A CN 116982917 A CN116982917 A CN 116982917A CN 202311210242 A CN202311210242 A CN 202311210242A CN 116982917 A CN116982917 A CN 116982917A
- Authority
- CN
- China
- Prior art keywords
- target area
- fluorescence lifetime
- image
- information
- fluorescence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 40
- 238000003384 imaging method Methods 0.000 claims abstract description 83
- 239000013307 optical fiber Substances 0.000 claims abstract description 52
- 238000010168 coupling process Methods 0.000 claims abstract description 38
- 238000005859 coupling reaction Methods 0.000 claims abstract description 38
- 230000008878 coupling Effects 0.000 claims abstract description 37
- 238000012277 endoscopic treatment Methods 0.000 claims abstract description 19
- 230000001678 irradiating effect Effects 0.000 claims abstract description 4
- 238000000605 extraction Methods 0.000 claims description 19
- 238000001514 detection method Methods 0.000 claims description 18
- 239000000835 fiber Substances 0.000 claims description 15
- 238000007635 classification algorithm Methods 0.000 claims description 9
- 230000004927 fusion Effects 0.000 claims description 9
- 230000036962 time dependent Effects 0.000 claims description 6
- 238000000034 method Methods 0.000 abstract description 13
- 230000002708 enhancing effect Effects 0.000 abstract 1
- 238000013527 convolutional neural network Methods 0.000 description 8
- 210000002249 digestive system Anatomy 0.000 description 5
- 238000000386 microscopy Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000002485 urinary effect Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000002292 fluorescence lifetime imaging microscopy Methods 0.000 description 3
- 238000001727 in vivo Methods 0.000 description 3
- 210000000214 mouth Anatomy 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 210000000056 organ Anatomy 0.000 description 3
- 210000003491 skin Anatomy 0.000 description 3
- 239000000126 substance Substances 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000001574 biopsy Methods 0.000 description 2
- 239000007850 fluorescent dye Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 241000256626 Pterygota <winged insects> Species 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 238000004624 confocal microscopy Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00165—Optical arrangements with light-conductive means, e.g. fibre optics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/698—Matching; Classification
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Theoretical Computer Science (AREA)
- Optics & Photonics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Animal Behavior & Ethology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Radiology & Medical Imaging (AREA)
- Pathology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Signal Processing (AREA)
- Endoscopes (AREA)
Abstract
本公开提供了一种基于荧光寿命的内窥处理系统，所述系统包括：光源模块，用于发射脉冲激光；光纤耦合模块，用于传输所述脉冲激光和荧光信号；扫描成像模块，用于将所述脉冲激光依次照射在目标区域，收集、传输目标区域发出的荧光信号；分类模块，用于处理所述荧光信号得到所述目标区域的图像信息和荧光寿命信息，基于所述目标区域的图像信息和荧光寿命信息对所述目标区域进行分类得到分类结果。本公开有效的扩展了内窥处理系统的灵活性和临床实用性，通过对荧光寿命信息进行转换、特征提取等处理，增加寿命信息之间的关系，结合目标区域的图像信息和荧光寿命信息对目标区域进行分类，从而增强分类的鲁棒性、提高分类精度。
Description
技术领域
本公开涉及显微成像技术领域，具体涉及一种基于荧光寿命的内窥处理系统。
背景技术
荧光寿命成像显微术(Fluorescence Lifetime Imaging Microscopy，FLIM)是一种利用荧光染料固有特性的成像技术，由于荧光物质的荧光寿命与自身的结构、所处微环境的极性、粘度等条件有关，其可以同时获得分子状态以及空间分布的信息，这也使得该成像技术在生物学和医学领域得到了越来越广泛的应用。
内窥镜是临床诊疗中非常重要的手段，但常规内窥镜的分辨率低；基于相机的内窥镜是直接对组织一次成像，并不适用于所有系统的内窥成像；部分基于荧光寿命的内窥镜需要双色镜、滤光片等组件进行荧光信号的分离、过滤，部分基于荧光寿命的内窥镜直接基于荧光寿命对组织细胞进行分类。因此，需要提出一种新的共聚焦显微系统，将FLIM和内窥镜结合，不仅能实现对目标区域内组织器官的各细胞荧光寿命的测量和显微成像，还能对结合图像信息和荧光寿命信息对组织细胞进行高效地分类。
发明内容
本公开提供一种基于荧光寿命的内窥处理系统，以解决现有技术中常规内窥镜分辨率差难以测量体内细胞量级荧光寿命、需要双色镜、滤光片组件辅助荧光信号探测分析等难题，通过柔软的成像光纤束进入消化系统、泌尿系统等腔道组织器官内壁进行显微荧光寿命成像，并采用图像信息和荧光寿命信息相结合的分类方式对目标区域进行分类。
第一方面，本公开提供一种基于荧光寿命的内窥处理系统，所述系统包括：
光源模块，用于发射脉冲激光；
光纤耦合模块，用于传输所述脉冲激光和荧光信号；
扫描成像模块，用于将所述脉冲激光依次照射在目标区域，收集、传输目标区域发出的荧光信号；
分类模块，用于处理所述荧光信号得到所述目标区域的图像信息和荧光寿命信息，基于所述目标区域的图像信息和荧光寿命信息对所述目标区域进行分类得到分类结果。
根据本公开提供的一种基于荧光寿命的内窥处理系统，所述扫描成像模块包括：扫描单元、中继单元、耦合物镜单元、内窥成像单元，其中，所述内窥成像单元包括成像光纤束和微型物镜，所述成像光纤束用于传导脉冲激光至所述微型物镜、传导目标区域发出的荧光信号至所述耦合物镜单元，所述微型物镜用于将脉冲激光聚焦至目标区域、收集目标区域发出的荧光信号。
根据本公开提供的一种基于荧光寿命的内窥处理系统，所述扫描成像模块，用于将所述脉冲激光依次照射在目标区域，收集、传输目标区域发出的荧光信号，具体包括：控制所述扫描单元的脉冲激光对目标区域任一点位进行二维扫描，并经中继单元、耦合物镜单元传输至内窥成像单元；所述内窥成像单元将脉冲激光通过成像光纤束传导到所述微型物镜，所述微型物镜将脉冲激光聚焦至目标区域；所述内窥成像单元收集目标区域所述点位发出的荧光信号，并通过成像光纤束依次回传到内窥成像单元、耦合物镜单元、中继单元、扫描单元。
根据本公开提供的一种基于荧光寿命的内窥处理系统，所述分类模块包括探测单元和计算机单元，所述探测单元用于处理所述荧光信号得到所述目标区域的图像信息和荧光寿命信息，所述计算机单元用于基于所述目标区域的图像信息和荧光寿命信息对所述目标区域进行分类得到分类结果。
根据本公开提供的一种基于荧光寿命的内窥处理系统，所述探测单元包括单光子探测器和时间相关数据采集卡，其中，所述时间相关数据采集卡用于控制所述目标区域各像素点的采集数量，若所述采集数量为一个，则所述时间相关数据采集卡采集所述目标区域的图像信息，否则，所述时间相关数据采集卡采集所述目标区域的图像信息和荧光寿命信息。
根据本公开提供的一种基于荧光寿命的内窥处理系统，所述计算机单元用于基于所述目标区域的图像信息和荧光寿命信息对所述目标区域进行分类得到分类结果，具体包括：基于所述目标区域的图像信息获取空间图像；基于所述目标区域的荧光寿命信息获取寿命特征图像；对所述空间图像和所述寿命特征图像进行处理，获取所述目标区域的分类结果。
根据本公开提供的一种基于荧光寿命的内窥处理系统，所述基于所述目标区域的荧光寿命信息获取寿命特征图像，包括：根据所述目标区域各像素点的荧光寿命信息，构建各像素点的二维荧光寿命图像；针对各像素点的二维荧光寿命图像，采用局部寿命特征提取模块对所述二维荧光寿命图像相邻点提取，得到各像素点的局部寿命特征；采用全局寿命特征提取模块处理所述局部寿命特征，得到各像素点的全局寿命特征；将所述各像素点的局部寿命特征和所述各像素点的全局寿命特征进行融合，得到各像素点的寿命特征图像。
根据本公开提供的一种基于荧光寿命的内窥处理系统，所述将所述空间图像和所述寿命特征图像进行处理，获取所述目标区域的分类结果，包括：将所述空间图像和所述各像素点的寿命特征图像进行整合，得到目标区域的融合图像；采用预设分类算法对所述目标区域的融合图像进行分类，获取所述目标区域的分类结果。
根据本公开提供的一种基于荧光寿命的内窥处理系统，所述光纤耦合模块为至少包括三个接口的光纤耦合器，用于将所述脉冲激光传输至所述扫描成像模块，并将所述荧光信号传输至所述分类模块。
根据本公开提供的一种基于荧光寿命的内窥处理系统，所述微型物镜为单透镜、或格林透镜、或多个透镜组合。
综上所述，本公开提供的一种基于荧光寿命的内窥处理系统，通过成像光纤束和微型物镜解决高精度在体活检的难题，通过成像光纤束进入到人体有效的扩展了内窥处理系统的灵活性和临床实用性，在体实时的对病患皮肤、口腔、消化系统、泌尿系统等部位进行实时显微成像，并检测目标区域的图像信息和每一个像素点的荧光寿命信息；通过对荧光寿命信息进行二维转换、局部特征提取和全局特征提取增加寿命信息之间的关系，从而获得更多形式特征，以便于在后续分类时能够根据荧光寿命任意两个时间点的联系表征各像素点的寿命特性，提高分类精度；通过结合在体显微内窥成像的空间图像的图像信息和荧光寿命信息，对目标区域进行分类，从而进一步增强分类的鲁棒性，实现高效分类。
附图说明
为了更清楚地说明本公开或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本公开提供的一种基于荧光寿命的内窥处理系统的结构示意图；
图2是本公开提供的一种基于荧光寿命的内窥处理方法的流程示意图；
图3是本公开提供的一种荧光寿命曲线的示意图。
图标：10-光源模块；101-激光单元；20-光纤耦合模块；201-光纤耦合器；30-扫描成像模块；301-扫描单元；302-中继单元；303-耦合物镜单元；304内窥成像单元；3041-成像光纤束；3042-微型物镜；40-分类模块；401-探测单元；4011-单光子探测器；4012-时间相关数据采集卡；402-计算机单元。
具体实施方式
为使本公开的目的、技术方案和优点更加清楚，下面将结合本公开中的附图，对本公开中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
图1是本公开提供的一种基于荧光寿命的内窥处理系统的结构示意图。参照图1，所述系统包括：光源模块10、光纤耦合模块20、扫描成像模块30、分类模块40。
光源模块10，用于发射脉冲激光。
具体地，光源模块10包括激光单元101，用于发射脉冲激光，并发送脉冲触发信号至分类模块40的探测单元进行信号同步。
光纤耦合模块20，用于传输所述脉冲激光和荧光。
具体地，光纤耦合模块20为至少包括三个接口的光纤耦合器，且光纤耦合器的光纤纤芯具有共聚焦探测小孔的作用，用于将所述脉冲激光传输至所述扫描成像模块30，并将所述荧光信号传输至所述分类模块40。
其中，参照图1的光纤耦合器201具有四个接口，其中，接口201a用于连接光纤耦合模块20与光源模块10，并将光源模块10的激光单元101发射的脉冲激光传输至光纤耦合模块20；接口201b用于连接光纤耦合模块20与分类模块40，并将扫描成像模块30返回的荧光信号传输至分类模块40；接口201c用于连接光纤耦合模块20与扫描成像模块30，并将传输至光纤耦合模块20的脉冲激光传输至扫描成像模块30的各单元。
在一些实施例中，所述光纤耦合模块20可以采用单模光纤耦合的光纤耦合器，也可以采用单模光纤与多模光纤耦合的光纤耦合器，也可以采用双包层光纤与多模光纤耦合的光纤耦合器，本公开对此不作限定。
相对于现有技术通过双色镜、滤光片等组件进行激光和荧光的分离、过滤，本公开通过采用至少包括三个接口的光纤耦合器，使得激光单元发射的激光脉冲和扫描成像模块返回的荧光信号在光纤耦合器内分路，并通过不同接口传输，无需增加额外的双色镜、滤光片等组件通过分支线路实现荧光信号的返回，本公开的内窥处理系统结构设计更简单、组件数量更少，在实现高精度在体显微成像和分类的同时也控制了系统的成本。
扫描成像模块30，用于将所述脉冲激光依次照射在目标区域，收集、传输目标区域发出的荧光信号。
具体地，可以理解的是，所述扫描成像模块30包括：扫描单元301、中继单元302、耦合物镜单元303、内窥成像单元304。
其中，所述扫描单元301用于接收光纤耦合器201传输的脉冲激光并传输至中继单元302，还用于接收中继单元302传输的荧光信号并传输至光纤耦合器201。在一些实施例中，所述扫描单元301可以采用二维振镜，也可以采用微机电系统MEMS(MicroElectromechanical System)扫描镜，也可以采用其他扫描装置，本公开对此不作限定。
所述中继单元302，用于接收扫描单元301传输的脉冲激光并中继至耦合物镜单元303，还用于接收耦合物镜单元303传输的荧光信号并传输至扫描单元301。在一些实施例中，所述中继单元302可以采用2片透镜组成的4f系统，也可以采用一片或者多片透镜组成透镜系统，本公开对此不作限定。
所述耦合物镜单元303，用于接收中继单元302传输的脉冲激光并耦合至内窥成像单元304，还用于接收内窥成像单元304传输的荧光信号并传输至中继单元302。
所述内窥成像单元304，包括成像光纤束3041和微型物镜3042，所述成像光纤束3041用于传导脉冲激光至所述微型物镜3042、传导目标区域发出的荧光信号至所述耦合物镜单元303，所述微型物镜3042用于将脉冲激光聚焦至目标区域、收集目标区域发出的荧光信号。其中，所述成像光纤束3041由几百到几十万根光纤排列而成，用于将光信号由一端传导至另一端；所述微型物镜为单透镜、或格林透镜、或多个透镜组合，用于放大目标区域的细胞结构，提高内窥成像的分辨率，且采用透镜结构的微型物镜成本较低。
具体地，还可以理解的是，所述扫描成像模块30，用于将所述脉冲激光依次照射在目标区域，收集、传输目标区域发出的荧光信号，具体包括：
控制所述扫描单元301的脉冲激光对目标区域任一点位进行二维扫描，并经中继单元302、耦合物镜单元303传输至内窥成像单元304；
所述内窥成像单元304将脉冲激光通过成像光纤束3041传导到所述微型物镜3042，所述微型物镜3042将脉冲激光聚焦至目标区域；
所述内窥成像单元304收集目标区域所述点位发出的荧光信号，并通过成像光纤束3041依次回传到内窥成像单元304、耦合物镜单元303、中继单元302、扫描单元301。
分类模块40，用于处理所述荧光信号得到所述目标区域的图像信息和荧光寿命信息，基于所述目标区域的图像信息和荧光寿命信息对所述目标区域进行分类得到分类结果。
具体地，可以理解的是，所述分类模块40包括探测单元401和计算机单元402，探测单元401和计算机单元402连接，所述探测单元401用于处理所述荧光信号得到所述目标区域的图像信息和荧光寿命信息，所述计算机单元402用于基于所述目标区域的图像信息和荧光寿命信息对所述目标区域进行分类得到分类结果。
所述探测单元401包括单光子探测器4011和时间相关数据采集卡4012，其中，所述单光子探测器4011用于接收光纤耦合器201传输的荧光信号；所述时间相关数据采集卡4012用于控制所述目标区域各像素点的采集数量，若所述采集数量为一个，则所述时间相关数据采集卡4012采集所述目标区域的图像信息，否则，所述时间相关数据采集卡4012采集所述目标区域的图像信息和荧光寿命信息。
通过控制时间相关数据采集卡在各像素点处采集数值的数量，确定各像素点是否采集了荧光寿命信息，若时间相关数据采集卡在每个像素点只采集一个数值，获取的就是该像素点的图像信息，也即该像素点的灰度值。一方面，荧光寿命信息有助于辅助分析目标区域细胞是否发生病变，提高对目标区域的分类精度，也即，可以根据时间相关数据采集卡在各像素点的采集数量，确定是否采集了各像素点的荧光寿命信息，从而判断后续的分类是否可以结合荧光寿命信息；另一方面，在内窥处理仅需获取显微图像时，如耳腔内进入飞虫等异物时无需分析细胞情况，仅需要获取耳腔内显微图像以取出异物，故控制时间相关数据采集卡在各像素点处采集数值的数量，可以加快对目标区域的分类效率。
更具体地，时间相关数据采集卡4012接收激光单元101发出的脉冲触发信号，采集单光子探测器4011接收的荧光信号，获取所述目标区域各像素点的图像信息和荧光寿命信息，若时间相关数据采集卡4012的采集数量设置为一个，则只获取所述目标区域的图像信息，若时间相关数据采集卡4012的采集数量设置为多个，则获取所述目标区域的图像信息和荧光寿命信息。
具体地，还可以理解的是，所述计算机单元用于基于所述目标区域的图像信息和荧光寿命信息对所述目标区域进行分类得到分类结果，具体包括：基于所述目标区域的图像信息获取空间图像；基于所述目标区域的荧光寿命信息获取寿命特征图像；对所述空间图像和所述寿命特征图像进行处理，获取所述目标区域的分类结果。
其中，所述基于所述目标区域的荧光寿命信息获取寿命特征图像，包括：根据所述目标区域各像素点的荧光寿命信息，构建各像素点的二维荧光寿命图像；针对各像素点的二维荧光寿命图像，采用局部寿命特征提取模块对所述二维荧光寿命图像相邻点提取特征，得到各像素点的局部寿命特征；采用全局寿命特征提取模块处理所述局部寿命特征，得到各像素点的全局寿命特征；将所述各像素点的局部寿命特征和所述各像素点的全局寿命特征进行融合，得到各像素点的寿命特征图像。
所述将所述空间图像和所述寿命特征图像进行处理，获取所述目标区域的分类结果，包括：将所述空间图像和所述各像素点的寿命特征图像进行整合，得到目标区域的融合图像；采用预设分类算法对所述目标区域的融合图像进行分类，获取所述目标区域的分类结果。
通过对各像素点的荧光寿命信息进行处理，提取相邻点的局部寿命特征，再基于局部寿命特征计算全局寿命特征，能够对荧光寿命曲线进行更精细的特征提取、分析等，能够更好地分析荧光寿命曲线上任意两个时间点之间的特征联系，从而能够在后续的分类中结合更精确、更细致的荧光寿命特征进行分类，提高分类精度。
在上述实施例中，所述目标区域是指人体消化系统、泌尿系统等组织器官内壁的组织表面，通过微型物镜将脉冲激光聚焦在所述目标区域上进行成像并收集发出的荧光信号，再通过成像光纤束将荧光信号传输至耦合物镜单元、中继单元、扫描单元，然后经过光纤耦合模块进入分类模块。所述目标区域的图像信息包括各像素点的灰度值，所述目标区域的荧光寿命信息包括每个荧光染料或分子的特征参数，以及各像素点的一系列时间延迟的荧光信号。
本公开实施例提供的一种基于荧光寿命的内窥处理系统，通过成像光纤束和微型物镜解决高精度在体活检的难题，通过成像光纤束进入到人体有效的扩展了内窥处理系统的灵活性和临床实用性，在体实时的对病患皮肤、口腔、消化系统、泌尿系统等部位进行实时显微成像，并检测空间图像信息和每一个像素点的荧光寿命信息；通过对荧光寿命信息进行二维转换、局部特征提取和全局特征提取等增加寿命信息之间的关系，从而获得更多形式特征，以便于在后续分类时能够根据荧光寿命任意两个时间点的联系表征各像素点的寿命特性，提高分类精度；通过结合在体显微内窥成像的空间图像的图像信息和荧光寿命信息，对目标区域进行分类，从而进一步增强分类的鲁棒性，实现高效分类。
图2是本公开提供的一种基于荧光寿命的内窥处理方法的流程示意图，参照图2，所述方法包括：
S21，控制激光单元发射脉冲激光，并向探测单元发出脉冲触发信号。
S22，采用光纤耦合器传输所述脉冲激光传输至扫描单元。
具体地，采用光纤耦合器的第一接口接收激光单元的脉冲激光，并通过第二接口将所述脉冲激光传输至扫描单元，其中，第一接口参照图1中的接口201a，第二接口参照图1中的接口201c。
S23，将扫描单元传输的脉冲激光再依次传输至中继单元、耦合物镜单元、内窥成像单元，并将所述脉冲激光照射在目标区域，收集、传输目标区域发出的荧光信号。
具体地，控制扫描依次对目标区域的各点位进行扫描，以获取目标区域的图像信息和各像素点的荧光寿命信息。步骤S23具体包括以下步骤：
S231，控制所述扫描单元的脉冲激光依次对目标区域任一点位进行二维扫描，并经中继单元、耦合物镜单元传输至内窥成像单元；
S232，所述内窥成像单元将脉冲激光通过成像光纤束传导到所述微型物镜，所述微型物镜将脉冲激光依次聚焦至目标区域；
S233，所述内窥成像单元收集目标区域所述点位发出的荧光信号，并通过成像光纤束传输所述荧光信号。
S24，将所述荧光信号依次传输至内窥成像单元、耦合物镜单元、中继单元、扫描单元、光纤耦合器，再由探测单元接收所述荧光信号并处理所述荧光信号得到所述目标区域的图像信息和荧光寿命信息。
其中，步骤S24具体包括以下步骤：
S241，将所述荧光信号依次传输至内窥成像单元、耦合物镜单元、中继单元、扫描单元、光纤耦合器；
具体地，将内窥成像单元收集的目标区域发出的荧光信号经过耦合物镜单元、中继单元、扫描单元传输至光纤耦合器的第二接口，并由光纤耦合器的第三接口传输至探测单元，其中，光纤耦合器的第三接口参照图1中的接口201b。
S242，探测单元接收所述荧光信号并处理所述荧光信号得到所述目标区域的图像信息和荧光寿命信息；
具体地，探测单元的单光子探测器接收荧光信号，时间相关数据采集卡根据接收的脉冲触发信号，从单光子探测器获取目标区域各像素点的图像信息，包括各像素点的灰度值，并从单光子探测器按照一系列的时间延迟采集荧光信号，记为荧光寿命信息。
S25，采用计算机单元基于所述目标区域的图像信息和荧光寿命信息对所述目标区域进行分类得到分类结果。
S251，基于所述目标区域的图像信息获取空间图像；
具体地，基于图像信息所记录的各像素点的灰度值生成空间图像。
S252，基于所述目标区域的荧光寿命信息获取寿命特征图像；
具体地，基于荧光寿命信息所记录的一系列时间延迟的荧光信号，通过将荧光信号强度按照时间顺序列出，并绘制、计算各荧光信号强度的包络线，并确定荧光信号强度衰减到荧光信号强度初始值的1/e时的时间，即可确定该像素点的荧光寿命值。
更具体地，所述基于所述目标区域的荧光寿命信息获取寿命特征图像，包括：
步骤a1，根据所述目标区域各像素点的荧光寿命信息，构建各像素点的二维荧光寿命图像；
在一些实施例中，根据所述目标区域各像素点的荧光寿命信息构建各像素点的二维荧光寿命图像，即根据各像素点的荧光寿命信息绘制得到各像素点的荧光寿命曲线，将所述荧光寿命曲线从一维的矢量重排列为二维的矩阵，即可得到各像素点的二维荧光寿命图像。
在另一些实施例中，步骤a1之后，还可以基于各像素点的荧光寿命曲线计算各像素点的荧光寿命值，图3是本公开提供的一种荧光寿命曲线的示意图，参照图3，横轴表示时间，纵轴表示荧光信号强度，竖线表示某一像素点在各延迟时间下的荧光信号强度，曲线表示各荧光信号强度的包络线I(t) =I 0·e-t/τ，τ表示荧光寿命值。
步骤a2，针对各像素点的二维荧光寿命图像，采用局部寿命特征提取模块对所述二维荧光寿命图像相邻点提取特征，得到各像素点的局部寿命特征；
在一些实施例中，所述局部寿命特征提取模块可以是卷积神经网络，也可以卷积神经网络的部分结构，如卷积层，也可以是其他特征提取算法。对所述二维荧光寿命图像相邻点提取局部寿命特征，也即，针对步骤a1得到的任一像素点的二维荧光寿命图像，对其图像中的多个相邻点提取多个特征，记为该像素点的局部寿命特征。
步骤a3，采用全局寿命特征提取模块处理所述局部寿命特征，得到各像素点的全局寿命特征；
其中，所述全局寿命特征为一维向量。在一些实施例中，所述全局寿命特征提取模块可以是卷积神经网络，也可以是卷积神经网络的全连接层，也可以是其他特征提取算法。处理所述局部寿命特征，也即，针对步骤a2得到的任一像素点的局部寿命特征，按照局部寿命特征位置的不同分别赋予不同的权重，再对不同位置的局部寿命特征计算特征加权和，记为该像素点的全局寿命特征。其中，各像素点位置的权重一般设为经验值，也可以根据二维荧光寿命图像的分布情况进行确定，本公开对此不做限定。
步骤a4，将所述各像素点的局部寿命特征和所述各像素点的全局寿命特征进行融合，得到寿命特征图像。
在一些实施例中，步骤a4可以是，将各像素点的局部寿命特征和各像素点的全局寿命特征直接进行叠加处理，也可以是，通过矩阵融合算法将各像素点的局部寿命特征和各像素点的全局寿命特征进行融合，如通过卷积神经网络的全连接层将所述局部寿命特征和所述全局寿命特征进行融合，本公开对此不做限定。
S253，对所述空间图像和所述寿命特征图像进行处理，获取所述目标区域的分类结果。
具体地，步骤S253包括：
步骤b1，将所述空间图像和所述各像素点的寿命特征图像进行整合，得到目标区域的融合图像；
在一些实施例中，步骤b1可以是，先将空间图像和各像素点的寿命特征图像进行相加处理或者相乘处理，得到目标区域的融合图像。
步骤b2，采用预设分类算法对所述目标区域的融合图像进行分类，获取所述目标区域的分类结果。
其中，所述预设分类算法包括但不限于：卷积神经网络、支持向量机、随机森林算法等，且所述预设分类算法在应用于内窥处理之前，已经过样本数据的训练确定分类算法的相关参数，所述样本数据为经过标记过正常细胞、癌变细胞的图像数据。所述目标区域的分类结果包括正常细胞和癌变细胞，在一些实施例中，还可根据癌变细胞的数量或者病变程度，确定病症或癌症的风险等级。
以所述预设分类算法为卷积神经网络为例，假设所述局部寿命特征提取模块和全局寿命特征提取模块也均属于卷积神经网络的一部分，则采用样本数据训练所述预设分类算法包括：采用样本数据训练卷积神经网络，通过将基于所述空间图像和所述寿命特征图像得到的细胞分类结果与标记的分类结果进行比较，以进一步计算损失函数，再通过迭代训练逐步优化局部寿命特征提取模块和全局寿命特征提取模块的参数，调整提取、融合得到的寿命特征图像，从而改变损失函数的大小。其中，所述损失函数，可以采用聚焦损失函数、三元组损失函数、负对数似然函数、Kullback-Leibler散度等损失函数中的一种或多种，本公开对此不做限定。
需要说明的是，步骤S25之后，所述方法还包括：显示空间图像、荧光寿命值，以及目标区域的分类结果。所述计算机单元可以是具有显示屏的终端设备，此时，步骤S25之后可以直接采用计算机单元实时显示空间图像、荧光寿命值，以及目标区域的分类结果等；所述计算机单元也可以是一个不具有显示功能的单独处理模块，此时，可以采用额外的显示单元用于显示各结果，也可以将所述计算机单元连接至电子设备，如电脑等具有显示屏的终端设备，本公开对此不做限定。
本公开提供的一种基于荧光寿命的内窥处理方法，通过成像光纤束进入到人体有效的扩展了内窥处理系统的灵活性和临床实用性，在体实时的对病患皮肤、口腔、消化系统、泌尿系统等部位进行实时显微成像，并检测目标区域的图像信息和每一个像素点的荧光寿命信息；通过对荧光寿命信息进行二维转换、局部特征提取和全局特征提取等增加寿命信息之间的关系，从而获得更多形式特征，以便于在后续分类时能够根据荧光寿命任意两个时间点的联系表征各像素点的寿命特性，提高分类精度；通过结合在体显微内窥成像的空间图像的图像信息和荧光寿命信息，对目标区域进行分类，从而进一步增强分类的鲁棒性，实现高效分类。
以上所描述的基于荧光寿命的内窥处理系统和基于荧光寿命的内窥处理方法的实施例仅仅是示意性的，其中所使用的作为分离部件说明的“模块”、“单元”可以是实现预定功能的软件和/或硬件的组合，可以是或者也可以不是物理上分开的。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
最后应说明的是：以上实施例仅用以说明本公开的技术方案，而非对其限制；尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本公开各实施例技术方案的精神和范围都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种基于荧光寿命的内窥处理系统，其特征在于，所述系统包括：
光源模块，用于发射脉冲激光；
光纤耦合模块，用于传输所述脉冲激光和荧光信号；
扫描成像模块，用于将所述脉冲激光依次照射在目标区域，收集、传输目标区域发出的荧光信号；
分类模块，用于处理所述荧光信号得到所述目标区域的图像信息和荧光寿命信息，基于所述目标区域的图像信息和荧光寿命信息对所述目标区域进行分类得到分类结果。
2.如权利要求1所述的基于荧光寿命的内窥处理系统，其特征在于，所述扫描成像模块包括：扫描单元、中继单元、耦合物镜单元、内窥成像单元，其中，所述内窥成像单元包括成像光纤束和微型物镜，所述成像光纤束用于传导脉冲激光至所述微型物镜、传导目标区域发出的荧光信号至所述耦合物镜单元，所述微型物镜用于将脉冲激光聚焦至目标区域、收集目标区域发出的荧光信号。
3.如权利要求2所述的基于荧光寿命的内窥处理系统，其特征在于，所述扫描成像模块，用于将所述脉冲激光依次照射在目标区域，收集、传输目标区域发出的荧光信号，具体包括：
控制所述扫描单元的脉冲激光对目标区域任一点位进行二维扫描，并经中继单元、耦合物镜单元传输至内窥成像单元；
所述内窥成像单元将脉冲激光通过成像光纤束传导到所述微型物镜，所述微型物镜将脉冲激光聚焦至目标区域；
所述内窥成像单元收集目标区域所述点位发出的荧光信号，并通过成像光纤束依次回传到内窥成像单元、耦合物镜单元、中继单元、扫描单元。
4.如权利要求1所述的基于荧光寿命的内窥处理系统，其特征在于，所述分类模块包括探测单元和计算机单元，所述探测单元用于处理所述荧光信号得到所述目标区域的图像信息和荧光寿命信息，所述计算机单元用于基于所述目标区域的图像信息和荧光寿命信息对所述目标区域进行分类得到分类结果。
5.如权利要求4所述的基于荧光寿命的内窥处理系统，其特征在于，所述探测单元包括单光子探测器和时间相关数据采集卡，其中，所述时间相关数据采集卡用于控制所述目标区域各像素点的采集数量，若所述采集数量为一个，则所述时间相关数据采集卡采集所述目标区域的图像信息，否则，所述时间相关数据采集卡采集所述目标区域的图像信息和荧光寿命信息。
6.如权利要求4所述的基于荧光寿命的内窥处理系统，其特征在于，所述计算机单元用于基于所述目标区域的图像信息和荧光寿命信息对所述目标区域进行分类得到分类结果，具体包括：
基于所述目标区域的图像信息获取空间图像；
基于所述目标区域的荧光寿命信息获取寿命特征图像；
对所述空间图像和所述寿命特征图像进行处理，获取所述目标区域的分类结果。
7.如权利要求6所述的基于荧光寿命的内窥处理系统，其特征在于，所述基于所述目标区域的荧光寿命信息获取寿命特征图像，包括：
根据所述目标区域各像素点的荧光寿命信息，构建各像素点的二维荧光寿命图像；
针对各像素点的二维荧光寿命图像，采用局部寿命特征提取模块对所述二维荧光寿命图像相邻点提取特征，得到各像素点的局部寿命特征；
采用全局寿命特征提取模块处理所述局部寿命特征，得到各像素点的全局寿命特征；
将所述各像素点的局部寿命特征和所述各像素点的全局寿命特征进行融合，得到各像素点的寿命特征图像。
8.如权利要求7所述的基于荧光寿命的内窥处理系统，其特征在于，所述将所述空间图像和所述寿命特征图像进行处理，获取所述目标区域的分类结果，包括：
将所述空间图像和所述各像素点的寿命特征图像进行整合，得到目标区域的融合图像；
采用预设分类算法对所述目标区域的融合图像进行分类，获取所述目标区域的分类结果。
9.如权利要求1所述的基于荧光寿命的内窥处理系统，其特征在于，所述光纤耦合模块为至少包括三个接口的光纤耦合器，用于将所述脉冲激光传输至所述扫描成像模块，并将所述荧光信号传输至所述分类模块。
10.如权利要求2所述的基于荧光寿命的内窥处理系统，其特征在于，所述微型物镜为单透镜、或格林透镜、或多个透镜组合。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311210242.9A CN116982917A (zh) | 2023-09-19 | 2023-09-19 | 一种基于荧光寿命的内窥处理系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311210242.9A CN116982917A (zh) | 2023-09-19 | 2023-09-19 | 一种基于荧光寿命的内窥处理系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116982917A true CN116982917A (zh) | 2023-11-03 |
Family
ID=88532354
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311210242.9A Pending CN116982917A (zh) | 2023-09-19 | 2023-09-19 | 一种基于荧光寿命的内窥处理系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116982917A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102389288A (zh) * | 2011-07-20 | 2012-03-28 | 上海波汇通信科技有限公司 | 一种激光共聚焦显微内窥镜 |
| US20150260978A1 (en) * | 2012-09-28 | 2015-09-17 | Universität Heidelberg | High resolution microscopy by means of structured illumination at large working distances |
| CN108937824A (zh) * | 2018-08-02 | 2018-12-07 | 深圳大学 | 一种内窥成像装置和荧光寿命分布图像的获取方法 |
| CN111504497A (zh) * | 2019-01-31 | 2020-08-07 | 西安和其光电科技股份有限公司 | 一种基于荧光光纤的测温方法 |
| CN113288014A (zh) * | 2021-07-05 | 2021-08-24 | 上海交通大学 | 一种胶囊内窥镜系统 |
| CN115426934A (zh) * | 2020-04-27 | 2022-12-02 | 卡尔蔡司医疗技术股份公司 | 医疗光学系统、数据处理系统、计算机程序和非易失性计算机可读存储介质 |
-
2023
- 2023-09-19 CN CN202311210242.9A patent/CN116982917A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102389288A (zh) * | 2011-07-20 | 2012-03-28 | 上海波汇通信科技有限公司 | 一种激光共聚焦显微内窥镜 |
| US20150260978A1 (en) * | 2012-09-28 | 2015-09-17 | Universität Heidelberg | High resolution microscopy by means of structured illumination at large working distances |
| CN108937824A (zh) * | 2018-08-02 | 2018-12-07 | 深圳大学 | 一种内窥成像装置和荧光寿命分布图像的获取方法 |
| CN111504497A (zh) * | 2019-01-31 | 2020-08-07 | 西安和其光电科技股份有限公司 | 一种基于荧光光纤的测温方法 |
| CN115426934A (zh) * | 2020-04-27 | 2022-12-02 | 卡尔蔡司医疗技术股份公司 | 医疗光学系统、数据处理系统、计算机程序和非易失性计算机可读存储介质 |
| CN113288014A (zh) * | 2021-07-05 | 2021-08-24 | 上海交通大学 | 一种胶囊内窥镜系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5015776B2 (ja) | 蛍光の多重マーキング式顕微鏡的ファイバ・イメージング方法および装置 | |
| US8553337B2 (en) | Multi-path, multi-magnification, non-confocal fluorescence emission endoscopy apparatus and methods | |
| WO2019233425A1 (zh) | 一种基于光纤耦合器的共聚焦显微系统 | |
| Le Goualher et al. | Towards optical biopsies with an integrated fibered confocal fluorescence microscope | |
| WO2000041615A1 (en) | Spectral volume microprobe arrays | |
| US11803951B2 (en) | High resolution microendoscope employing differential structured illumination and method of using same | |
| Schlosser et al. | Fluorescence confocal endomicroscopy of the cervix: pilot study on the potential and limitations for clinical implementation | |
| Lane et al. | Confocal fluorescence microendoscopy of bronchial epithelium | |
| US10342433B2 (en) | Insitu diagnostic tool for digital pathology | |
| CN109674438B (zh) | 物镜可调节的腔体内窥镜探测装置及激光扫描腔体内窥镜 | |
| Wang et al. | Optical visualization of cerebral cortex by label-free multiphoton microscopy | |
| CN116982917A (zh) | 一种基于荧光寿命的内窥处理系统 | |
| KR102047247B1 (ko) | 다중 모달 융합 내시경 시스템 | |
| CN208837876U (zh) | 快速组织分子光谱成像装置 | |
| CN107361725B (zh) | 快速组织分子成像装置 | |
| CN106841141A (zh) | 一种基于光子重组的光纤环阵共振型压电扫描方法及装置 | |
| CN109758098B (zh) | 可变焦式腔体内窥镜探测装置及激光扫描腔体内窥镜 | |
| CN109656014B (zh) | 多路荧光收集装置及三维非线性激光扫描腔体内窥镜 | |
| CN208551741U (zh) | 快速组织分子成像装置 | |
| CN208551767U (zh) | 双轴组织分子成像装置 | |
| CN208837875U (zh) | 层析内窥显微成像装置 | |
| KR102579826B1 (ko) | 인공지능 기반 진단 보조 정보 제공 방법, 장치 및 시스템 | |
| KR102643066B1 (ko) | 인공지능 기반 의사 컬러링을 활용한 진단 보조 정보 제공 방법, 장치 및 시스템 | |
| JPH06281822A (ja) | 生体内計測装置 | |
| US11335454B2 (en) | Biopsy device for digital pathology and artificial intelligent analytics |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |