CN116385337B - 一种基于多光融合的甲状旁腺识别装置及方法 - Google Patents
一种基于多光融合的甲状旁腺识别装置及方法 Download PDFInfo
- Publication number
- CN116385337B CN116385337B CN202211613641.5A CN202211613641A CN116385337B CN 116385337 B CN116385337 B CN 116385337B CN 202211613641 A CN202211613641 A CN 202211613641A CN 116385337 B CN116385337 B CN 116385337B
- Authority
- CN
- China
- Prior art keywords
- information
- light
- image
- coordinate information
- boundary coordinate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 42
- 238000000034 method Methods 0.000 title claims abstract description 24
- 210000002990 parathyroid gland Anatomy 0.000 title claims description 36
- 230000000849 parathyroid Effects 0.000 claims abstract description 59
- 230000003287 optical effect Effects 0.000 claims description 92
- 210000001165 lymph node Anatomy 0.000 claims description 29
- 210000000577 adipose tissue Anatomy 0.000 claims description 27
- 230000005284 excitation Effects 0.000 claims description 24
- 210000001519 tissue Anatomy 0.000 claims description 22
- 238000001914 filtration Methods 0.000 claims description 10
- 238000002073 fluorescence micrograph Methods 0.000 claims description 8
- 238000003384 imaging method Methods 0.000 claims description 8
- 230000005540 biological transmission Effects 0.000 claims description 4
- 238000000701 chemical imaging Methods 0.000 abstract description 8
- 238000001514 detection method Methods 0.000 abstract description 3
- 210000001685 thyroid gland Anatomy 0.000 description 14
- 206010070834 Sensitisation Diseases 0.000 description 11
- 230000008313 sensitization Effects 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 4
- 238000004140 cleaning Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000003902 lesion Effects 0.000 description 3
- 102100036893 Parathyroid hormone Human genes 0.000 description 2
- 108090000445 Parathyroid hormone Proteins 0.000 description 2
- 208000024770 Thyroid neoplasm Diseases 0.000 description 2
- 230000004069 differentiation Effects 0.000 description 2
- 235000010469 Glycine max Nutrition 0.000 description 1
- 244000068988 Glycine max Species 0.000 description 1
- 208000013038 Hypocalcemia Diseases 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000004043 dyeing Methods 0.000 description 1
- 210000003372 endocrine gland Anatomy 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000008014 freezing Effects 0.000 description 1
- 238000007710 freezing Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000000705 hypocalcaemia Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 210000002751 lymph Anatomy 0.000 description 1
- 210000003563 lymphoid tissue Anatomy 0.000 description 1
- 230000003211 malignant effect Effects 0.000 description 1
- 239000000199 parathyroid hormone Substances 0.000 description 1
- 229960001319 parathyroid hormone Drugs 0.000 description 1
- 230000003248 secreting effect Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 201000002510 thyroid cancer Diseases 0.000 description 1
- 208000013076 thyroid tumor Diseases 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/10—Beam splitting or combining systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B5/00—Optical elements other than lenses
- G02B5/20—Filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Optics & Photonics (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Lining Or Joining Of Plastics Or The Like (AREA)
Abstract
本发明提出了一种基于多光融合的甲状旁腺识别装置及方法，属于激光检测技术领域，包括光源模块、分光成像模块、处理器模块和显示模块，本发明通过分光成像模块采集并生成待识别区域的黑白荧光图像和待识别区域的彩色可见光图像，并通过处理器模块对黑白荧光图像和彩色可见光图像进行处理，提取出荧光组织区域的边界坐标信息以及淋巴结及脂肪组织的边界坐标信息，并判断出具体的甲状旁腺荧光区域(部分第一边界坐标信息或待提取边界坐标信息)，将甲状旁腺荧光区域与彩色可见光图像进行融合，得到只携带甲状旁腺边界信息的彩色背景图像，以实现对甲状旁腺与淋巴结及脂肪组织之间的区分，避免甲状旁腺被错误的切除或损伤。
Description
技术领域
本发明属于激光检测技术领域，涉及医用检测技术，具体为一种基于多光融合的甲状旁腺识别装置及方法。
背景技术
近年来，甲状腺癌的发病率呈逐年增高的趋势，甲状腺部分切除或全部切除是大多数良性甲状腺病变和大多数恶性甲状腺病变的最佳选择，在甲状腺切除后为了防止甲状腺肿瘤病变复发，通常要清扫周围的淋巴结。甲状旁腺是人体中重要的内分泌腺，其主要功能是分泌甲状旁腺激素(简称PTH)，在甲状腺切除手术中，为了防止病人术后出现低钙血症需要保护甲状旁腺，但是由于甲状旁腺体积小，外观呈黄色或者棕黄色，形似大豆、数目及位置不完全确定，同时甲状旁腺与周围的淋巴结及脂肪组织从外观上很难区分，因此，甲状旁腺很容易被损坏或被错误地切除。
为了避免在甲状腺切除手术中以及淋巴结清扫过程中甲状旁腺被错误的切除，需要对甲状旁腺与淋巴结及脂肪组织进行识别；但是现有技术中还没有针对甲状旁腺与淋巴结及脂肪组织之间进行区分的技术，只有将甲状腺和甲状旁腺之间进行识别的技术，例如：肉眼识别法、快速冰冻法和“浮沉法”、染色识别法以及基于自发荧光识别法，基于自发荧光识别法是利用特定波长的光激发甲状旁腺，使甲状旁腺发出荧光，从而可以从甲状腺组织中区分出甲状旁腺和甲状腺，但是无法区分淋巴结及脂肪组织，同时在实际使用过程中发现，部分淋巴结在电刀灼烧后的脂肪组织也会产生荧光，产生干扰，造成甲状旁腺损伤，因此，在甲状腺切除手术中以及淋巴结清扫过程中如何区分甲状旁腺与淋巴结及脂肪组织成为了一大难题。
发明内容
针对上述所描述的在甲状腺切除手术中以及淋巴结清扫过程中无法区分甲状旁腺与淋巴结及脂肪组织，导致甲状旁腺被错误的切除或损伤的问题，本发明提出了一种基于多光融合的甲状旁腺识别装置及方法。
本发明通过分光成像模块采集并生成待识别区域的黑白荧光图像和待识别区域的彩色可见光图像，并通过处理器模块对黑白荧光图像和彩色可见光图像进行处理，提取出荧光团组织的边界坐标信息以及淋巴结及脂肪组织的边界坐标信息，并判断出具体的甲状旁腺荧光区域(部分第一边界坐标信息或待提取边界坐标信息)，将甲状旁腺荧光区域与彩色可见光图像进行融合，得到只携带甲状旁腺边界信息的彩色背景图像，以实现对甲状旁腺与淋巴结及脂肪组织之间的区分，避免甲状旁腺被错误的切除；其具体技术方案如下：
一种基于多光融合的甲状旁腺识别装置，包括光源模块、分光成像模块、处理器模块和显示模块，
所述光源模块用于发出近红外激发光源，通过近红外激发光源激发待识别区域发出荧光；
所述分光成像模块用于采集并生成待识别区域的黑白荧光图像和待识别区域的彩色可见光图像，并将黑白荧光图像和彩色可见光图像发送给处理器模块；
所述处理器模块用于接收黑白荧光图像和彩色可见光图像；基于图像目标识别原理对黑白荧光图像中的荧光团组织进行识别，并提取荧光团组织的边界坐标信息，作为第一边界坐标信息；基于图像目标识别原理对彩色可见光图像中的淋巴结及脂肪组织进行识别，并提取淋巴结及脂肪组织的边界坐标信息，作为第二边界坐标信息；
对比第一边界坐标信息和第二边界坐标信息是否存在重合区域；若第一边界坐标信息和第二边界坐标信息存在重合区域，则去除重合区域，形成部分第一边界坐标信息；若第一边界坐标信息和第二边界坐标信息不存在重合区域，则不需要去除区域，以第一边界坐标信息作为待提取边界坐标信息；其中，部分第一边界坐标信息和待提取边界坐标信息为甲状旁腺边界坐标信息；
将部分第一边界坐标信息生成的荧光图像或待提取边界坐标信息生成的荧光图像融合至彩色可见光图像中形成只携带甲状旁腺边界信息的彩色背景图像，将只携带甲状旁腺边界信息的彩色背景图像传输给显示模块；
所述显示模块用于接收只携带甲状旁腺边界信息的彩色背景图像，并对只携带甲状旁腺边界信息的彩色背景图像进行显示。
进一步限定，所述将部分第一边界坐标信息生成的荧光图像或待提取边界坐标信息生成的荧光图像融合至彩色可见光图像中形成只携带甲状旁腺边界信息的彩色背景图像的过程具体为：
将部分第一边界坐标信息生成的荧光图像或待提取边界坐标信息生成的荧光图像融合至彩色可见光图像中，生成图像融合掩膜图，对图像融合掩膜图进行伪彩色处理，形成只携带甲状旁腺边界信息的彩色背景图像。
进一步限定，所述分光成像模块包括镜头和分光模块，
所述镜头用于采集待识别区域的光信息，并将光信息传输给分光模块；
所述分光模块接收光信息，对近光信息中的激发光进行过滤处理，接着进行分光处理，将过滤后的光信息分为黑白荧光信息和彩色可见光信息，对黑白荧光信息分别进行过滤处理和感光处理后生成黑白荧光图像，对彩色可见光信息分别进行过滤处理和感光处理后生成彩色可见光图像，同时将黑白荧光图像和彩色可见光图像传输给处理器模块。
进一步限定，所述分光模块包括第一滤光片、第二滤光片、第三滤光片、第一感光平面、第二感光平面和分光镜，
所述第一滤光片用于接收光信息，并对光信息中的激发光进行过滤，并将过滤后的光信息发射给分光镜；
所述分光镜用于接收过滤后的光信息，并对过滤后的光信息进行分光处理，生成黑白荧光信息和彩色可见光信息；
将黑白荧光信息发射给第二滤光片，通过第二滤光片对黑白荧光信息进行过滤处理，并通过第一感光平面进行感光处理后生成黑白荧光图像，将彩色可见光信息发射给第三滤光片，通过第三滤光片对彩色可见光信息进行过滤处理，并通过第二感光平面进行感光处理后生成彩色可见光图像；
或将黑白荧光信息发射给第三滤光片，通过第三滤光片对黑白荧光信息进行过滤处理，并通过第二感光平面进行感光处理后生成黑白荧光图像，将彩色可见光信息发射给第二滤光片，通过第二滤光片对彩色可见光信息进行过滤处理，并通过第一感光平面进行感光处理后生成彩色可见光图像；
第一感光平面和第二感光平面将生成的黑白荧光图像和彩色可见光图像发送给处理器模块。
进一步限定，所述第一滤光片为带阻滤光片；所述第二滤光片和第三滤光片均为带通滤光片。
进一步限定，所述第一滤光片设置在镜头的光出射端，所述分光镜设置在第一滤光片的光出射端，所述第二滤光片设置在分光镜的透射光出射端，所述第一感光平面设置在第二滤光片的光出射端；所述第三滤光片设置在分光镜的反射光出射端，所述第二感光平面设置在第三滤光片光出射端；所述第一感光平面和第二感光平面均与处理器模块连接，所述第一滤光片和第二滤光片平行设置，且所述第一滤光片和第二滤光片均与第三滤光片垂直设置，所述第二滤光片与第一感光平面平行设置，所述第三滤光片与第二感光平面平行设置。
进一步限定，所述第一滤光片的带阻波长范围为770nm-790nm；所述第二滤光片的通过波长范围为400nm-700nm，所述第三滤光片的通过波长范围为800nm-1000nm。
进一步限定，所述光源模块为窄带激发光源。
利用上述的基于多光融合的甲状旁腺识别装置所形成的基于多光融合的甲状旁腺识别方法，包括以下步骤：
1)激发待识别区域发出荧光；
2)采集并生成待识别区域的黑白荧光图像和待识别区域的彩色可见光图像；
3)进行图像融合：
3.1)基于图像目标识别原理对黑白荧光图像中的荧光团组织进行识别，并提取荧光团组织的边界坐标信息，作为第一边界坐标信息；基于图像目标识别原理对彩色可见光图像中的淋巴结及脂肪组织进行识别，并提取淋巴结及脂肪组织的边界坐标信息，作为第二边界坐标信息；
3.2)对比第一边界坐标信息和第二边界坐标信息是否存在重合区域；若第一边界坐标信息和第二边界坐标信息存在重合区域，则去除重合区域，形成部分第一边界坐标信息；若第一边界坐标信息和第二边界坐标信息不存在重合区域，则不需要去除区域，以第一边界坐标信息作为待提取边界坐标信息；其中，部分第一边界坐标信息和待提取边界坐标信息为甲状旁腺边界坐标信息；
3.3)将部分第一边界坐标信息生成的荧光图像或待提取边界坐标信息生成的荧光图像融合至彩色可见光图像中形成只携带甲状旁腺边界信息的彩色背景图像；
4)对只携带甲状旁腺边界信息的彩色背景图像进行显示。
进一步限定，所述步骤3.3)具体为：将部分第一边界坐标信息生成的荧光图像或待提取边界坐标信息生成的荧光图像融合至彩色可见光图像中，生成图像融合掩膜图，对图像融合掩膜图进行伪彩色处理，形成只携带甲状旁腺边界信息的彩色背景图像。
与现有技术相比，本发明的有益效果在于：
1、本发明基于多光融合的甲状旁腺识别装置，其包括光源模块、分光成像模块、处理器模块和显示模块，在光源模块发出的近红外激发光源激发待识别区域(甲状腺组织部位)发出荧光后，通过分光成像模块采集并生成待识别区域的黑白荧光图像和待识别区域的彩色可见光图像，并通过处理器模块对黑白荧光图像和彩色可见光图像进行处理，提取出荧光团组织的边界坐标信息以及淋巴结及脂肪组织的边界坐标信息，并判断出具体的甲状旁腺荧组织(部分第一边界坐标信息或待提取边界坐标信息)，将甲状旁腺荧组织与彩色可见光图像进行融合，得到只携带甲状旁腺边界信息的彩色背景图像，以实现对甲状旁腺与淋巴结及脂肪组织之间的区分，避免甲状旁腺被错误的切除或损伤；通过显示模块对区分之后的待识别区域(甲状腺组织部位)进行识别，方便操作人员进行直观观察，快速了解术区组织信息，提高甲状腺手术效率，缩短手术时间，降低患者的手术风险。
2、本发明通过图像融合技术，可同时获取同一视场的不同光谱图像，避免了待融合图像存在配准误差，使融合后的特征目标边缘与背景完全匹配；本发明通过对第一边界坐标信息和第二边界坐标信息是否存在重合区域进行判断，若存在重合区域(该重合区域为电刀灼烧过的脂肪组织发出的荧光边界坐标信息)，进行去除，若不存在去除区域，则以第一边界坐标信息作为待提取边界坐标信息；将甲状旁腺、淋巴和脂肪组织区分开，并且不会将被电刀灼烧过的脂肪组织误判为甲状旁腺，提高系统识别准确率。
3、本发明还需要对图像融合掩膜图进行伪彩色处理，确定形成的融合图像清晰，并能够清楚显示甲状旁腺、淋巴结及脂肪组织以甲状腺。
4、本发明的分光成像模块包括镜头和分光模块，镜头用于采集待识别区域的光信息，分光模块用于将光信息中的激发光进行过滤，对过滤后的光信息进行分光处理以及感光处理形成黑白荧光图像和彩色可见光图像；用于后续通过黑白荧光图像和彩色可见光图像对甲状旁腺荧光团与淋巴结及脂肪组织进行区分。
附图说明
图1为本发明基于多光融合的甲状旁腺识别装置的结构示意图；
图2为分光模块的结构示意图；
图3为本发明基于多光融合的甲状旁腺识别方法的过程示意图；
其中，1-光源模块，2-镜头，3-分光模块，31-第一滤光片，32-第二滤光片，33-第三滤光片，34-第一感光平面，35-第二感光平面，36-分光镜，4-处理器模块，5-显示模块。
具体实施方式
下面结合附图及实施例对本发明的技术方案进行进一步地解释说明，但本发明并不限于以下说明的实施方式。
实施例1
参见图1，本实施例一种基于多光融合的甲状旁腺识别装置，包括光源模块1、分光成像模块、处理器模块4和显示模块5，
光源模块1用于发出近红外激发光源，通过近红外激发光源激发待识别区域发出荧光；具体的，本实施例的光源模块1是用来发出近红外激发光源的部件，优选的，本实施例的光源模块1是窄带激发光源，其发出光的波长为785nm的发光光源；
分光成像模块用于采集并生成待识别区域的黑白荧光图像和待识别区域的彩色可见光图像，并将黑白荧光图像和彩色可见光图像发送给处理器模块4；
处理器模块4用于接收黑白荧光图像和彩色可见光图像；基于图像目标识别原理对黑白荧光图像中的荧光团组织进行识别，并提取荧光团组织的边界坐标信息，作为第一边界坐标信息；基于图像目标识别原理对彩色可见光图像中的淋巴结及脂肪组织进行识别，并提取淋巴结及脂肪组织的边界坐标信息，作为第二边界坐标信息；
对比第一边界坐标信息和第二边界坐标信息是否存在重合区域；若第一边界坐标信息和第二边界坐标信息存在重合区域，则去除重合区域，形成部分第一边界坐标信息；若第一边界坐标信息和第二边界坐标信息不存在重合区域，则不需要去除区域，以第一边界坐标信息作为待提取边界坐标信息；其中，部分第一边界坐标信息和待提取边界坐标信息为甲状旁腺边界坐标信息；通过对第一边界坐标信息和第二边界坐标信息是否存在重合区域进行判断，若存在重合区域(该重合区域为电刀灼烧过的脂肪组织发出的荧光边界坐标信息)，进行去除，若不存在去除区域，则以第一边界坐标信息作为待提取边界坐标信息；将甲状旁腺、淋巴和脂肪组织区分开；
将部分第一边界坐标信息生成的荧光图像或待提取边界坐标信息生成的荧光图像融合至彩色可见光图像中形成只携带甲状旁腺边界信息的彩色背景图像，将只携带甲状旁腺边界信息的彩色背景图像传输给显示模块5；
显示模块5用于接收只携带甲状旁腺边界信息的彩色背景图像，并对只携带甲状旁腺边界信息的彩色背景图像进行显示。
本实施例中将部分第一边界坐标信息生成的荧光图像或待提取边界坐标信息生成的荧光图像融合至彩色可见光图像中形成只携带甲状旁腺边界信息的彩色背景图像的过程具体为：
将部分第一边界坐标信息生成的荧光图像或待提取边界坐标信息生成的荧光图像融合至彩色可见光图像中，生成图像融合掩膜图，对图像融合掩膜图进行伪彩色处理，形成只携带甲状旁腺边界信息的彩色背景图像。
分光成像模块包括镜头2和分光模块3，
镜头2用于采集待识别区域的光信息，并将光信息传输给分光模块3；
所述分光模块3接收光信息，对光信息中的激发光进行过滤处理，接着进行分光处理，将过滤后的光信息分为黑白荧光信息和彩色可见光信息，对黑白荧光信息分别进行过滤处理和感光处理后生成黑白荧光图像，对彩色可见光信息分别进行过滤处理和感光处理后生成彩色可见光图像，同时将黑白荧光图像和彩色可见光图像传输给处理器模块4。
优选的，本实施例中光源模块1的出光口与镜头2的进光口靠近且为同一朝向，使得在拍摄甲状旁组织部位时荧光更加清晰，同时另反射光的激光发垂直入射镜头2，使分光模块3更好的将激发光滤除；分光模块3设置在镜头2的光出射端。
优选的，本实施例的镜头2为近红外增透镜头，能够减少光线在介质中传播的损失，使甲状旁腺荧光更加清晰，镜头2的焦距是可调的，可以是手动调节也可以是由处理器模块4控制的电动调节，调节方式不影响最终结果，在本发明中不做限定，通过调节镜头2的焦距可清晰的放大术区，便于使用者观察。
参见图2，分光模块3包括第一滤光片31、第二滤光片32、第三滤光片33、第一感光平面34、第二感光平面35和分光镜36，
第一滤光片31用于接收光信息，并对光信息中的激发光进行过滤，并将过滤后的光信息发射给分光镜36；避免激发光对结果产生影响；第一滤光片31的带阻范围内应覆盖激发光波长；
分光镜36用于接收过滤后的光信息，并对过滤后的光信息进行分光处理，生成黑白荧光信息和彩色可见光信息；第一滤光片31的出射光入射至分光镜36，分光镜36的镜片可以是短波通过也可以是长波通过，本实施例中的分光镜36的镜片是长波通过；
将黑白荧光信息发射给第二滤光片32，通过第二滤光片32对黑白荧光信息进行过滤处理，并通过第一感光平面34进行感光处理后生成黑白荧光图像，将彩色可见光信息发射给第三滤光片33，通过第三滤光片33对彩色可见光信息进行过滤处理，并通过第二感光平面35进行感光处理后生成彩色可见光图像；
第一感光平面34和第二感光平面35将生成的黑白荧光图像和彩色可见光图像发送给处理器模块4，第一感光平面34和第二感光平面35均是将光信号转换为图像后传输给处理器模块4，其中，第一感光平面34和第二感光平面35均可以是CMOS图像传感器、单点扫描成像装置等，优选的，本实施例中第一感光平面34为黑白CCD图像传感器，第二感光平面35为彩色CCD图像传感器。
第一滤光片31为带阻滤光片；第二滤光片32和第三滤光片33均为带通滤光片，具体的，第一滤光片31的带阻波长范围为770nm-790nm；第二滤光片32的通过波长范围为400nm-700nm，第三滤光片33的通过波长范围为800nm-1000nm，分光镜36透过800nm以上的波段，且反射750nm以下的波段；
具体的，第一滤光片31、第二滤光片32、第三滤光片33、第一感光平面34、第二感光平面35和分光镜36之间的位置关系为：第一滤光片31设置在镜头2的光出射端，分光镜36设置在第一滤光片31的光出射端，第二滤光片32设置在分光镜36的透射光出射端，第一感光平面34设置在第二滤光片32的光出射端；第三滤光片33设置在分光镜36的反射光出射端，第二感光平面35设置在第三滤光片33光出射端；第一感光平面34和第二感光平面35均与处理器模块4连接；本实施例中第一滤光片31的镜片与分光镜36的镜片之间、第二滤光片32的镜片与分光镜36的镜片之间以及第三滤光片33与的镜片与分光镜36的镜片之间均呈45°夹角，第一滤光片31的镜片与第二滤光片32的镜片平行设置，且第一滤光片31的镜片与第二滤光片32的镜片均与第三滤光片33的镜片垂直设置，第一感光平面34的所在平面与第二滤光片32的镜片平行设置，第二感光平面35的所在平面与第三滤光片33的镜片平行设置。
实施例2
本实施例一种基于多光融合的甲状旁腺识别装置，其在实施例1的基础上，与实施例1不同的是，本实施例中的分光镜36的镜片是短波通过，本实施例中分光镜36用于接收过滤后的光信息，并对过滤后的光信息进行分光处理，生成黑白荧光信息和彩色可见光信息；将黑白荧光信息发射给第三滤光片33，通过第三滤光片33对黑白荧光信息进行过滤处理，并通过第二感光平面35进行感光处理后生成黑白荧光图像，将彩色可见光信息发射给第二滤光片32，通过第二滤光片32对彩色可见光信息进行过滤处理，并通过第一感光平面34进行感光处理后生成彩色可见光图像；
通过第一感光平面34和第二感光平面35将生成的黑白荧光图像和彩色可见光图像发送给处理器模块4。
本实施例中，第一滤光片31的带阻波长范围为770nm-790nm；第二滤光片32的通过波长范围为400-700nm，第三滤光片33的通过波长范围为800-1000nm；分光镜36的透过波段为750nm以下，反射波段为800nm以上；其余均与实施例1相同。
实施例3
参见图3，本实施例基于多光融合的甲状旁腺识别方法，其是在实施例1或实施例2基于多光融合的甲状旁腺识别装置的基础上形成的，其包括以下步骤：
1)激发待识别区域发出荧光；具体的，光源模块1用于发出近红外激发光源，通过近红外激发光源激发待识别区域发出荧光；
2)采集并生成待识别区域的黑白荧光图像和待识别区域的彩色可见光图像；具体的，通过分光成像模块采集并生成待识别区域的黑白荧光图像和待识别区域的彩色可见光图像，并将黑白荧光图像和彩色可见光图像发送给处理器模块4；
3)进行图像融合：
3.1)处理器模块4用于接收黑白荧光图像和彩色可见光图像；基于图像目标识别原理对黑白荧光图像中的甲状旁腺荧光团进行识别，并提取甲状旁腺荧光团的边界坐标信息，作为第一边界坐标信息；基于图像目标识别原理对彩色可见光图像中的淋巴结及脂肪组织进行识别，并提取淋巴结及脂肪组织的边界坐标信息，作为第二边界坐标信息；
3.2)对比第一边界坐标信息和第二边界坐标信息是否存在重合区域；若第一边界坐标信息和第二边界坐标信息存在重合区域，则去除重合区域，形成部分第一边界坐标信息；若第一边界坐标信息和第二边界坐标信息不存在重合区域，则不需要去除区域，以第一边界坐标信息作为待提取边界坐标信息；其中，部分第一边界坐标信息和待提取边界坐标信息为甲状旁腺边界坐标信息；
3.3)将部分第一边界坐标信息生成的荧光图像或待提取边界坐标信息生成的荧光图像融合至彩色可见光图像中形成只携带甲状旁腺边界信息的彩色背景图像，将只携带甲状旁腺边界信息的彩色背景图像传输给显示模块5；
4)对只携带甲状旁腺边界信息的彩色背景图像进行显示；具体的，通过显示模块5对只携带甲状旁腺边界信息的彩色背景图像进行显示。
步骤3.3)具体为：将部分第一边界坐标信息生成的荧光图像或待提取边界坐标信息生成的荧光图像融合至彩色可见光图像中，生成图像融合掩膜图，对图像融合掩膜图进行伪彩色处理，形成只携带甲状旁腺边界信息的彩色背景图像。
步骤2)具体为：
2.1)镜头2用于采集待识别区域的光信息，并将光信息传输给分光模块3；
2.2)分光模块3接收光信息，对近光信息进行过滤处理，接着进行分光处理，将光信息分为黑白荧光信息和彩色可见光信息，对黑白荧光信息分别进行过滤处理和感光处理后生成黑白荧光图像，对彩色可见光信息分别进行过滤处理和感光处理后生成彩色可见光图像；
步骤2.2)具体为：
2.2.1)第一滤光片31用于接收光信息，并对光信息中的激发光进行过滤，将过滤后的光信息发射给分光镜36；
2.2.2)分光镜36用于接收过滤后的光信息，并对过滤后的光信息进行分光处理，生成黑白荧光信息和彩色可见光信息；
2.2.3)将黑白荧光信息发射给第二滤光片32，通过第二滤光片32对黑白荧光信息进行过滤处理，并通过第一感光平面34进行感光处理后生成黑白荧光图像，将彩色可见光信息发射给第三滤光片33，通过第三滤光片33对彩色可见光信息进行过滤处理，并通过第二感光平面35进行感光处理后生成彩色可见光图像；
或将黑白荧光信息发射给第三滤光片33，通过第三滤光片33对黑白荧光信息进行过滤处理，并通过第二感光平面35进行感光处理后生成黑白荧光图像，将彩色可见光信息发射给第二滤光片32，通过第二滤光片32对彩色可见光信息进行过滤处理，并通过第一感光平面34进行感光处理后生成彩色可见光图像；
2.2.4)第一感光平面34和第二感光平面35将生成的黑白荧光图像和彩色可见光图像发送给处理器模块4。
本发明中的待识别区域是指甲状腺组织部位，甲状腺组织部位包括甲状腺、甲状旁腺以及淋巴结及脂肪组织。
Claims (8)
1.一种基于多光融合的甲状旁腺识别装置，其特征在于，包括光源模块(1)、分光成像模块、处理器模块(4)和显示模块(5)，
所述光源模块(1)用于发出近红外激发光源，通过近红外激发光源激发待识别区域发出荧光；
所述分光成像模块用于采集并生成待识别区域的黑白荧光图像和待识别区域的彩色可见光图像，并将黑白荧光图像和彩色可见光图像发送给处理器模块(4)；
所述处理器模块(4)用于接收黑白荧光图像和彩色可见光图像；基于图像目标识别原理对黑白荧光图像中的荧光团组织进行识别，并提取荧光团组织的边界坐标信息，作为第一边界坐标信息；基于图像目标识别原理对彩色可见光图像中的淋巴结及脂肪组织进行识别，并提取淋巴结及脂肪组织的边界坐标信息，作为第二边界坐标信息；
对比第一边界坐标信息和第二边界坐标信息是否存在重合区域；若第一边界坐标信息和第二边界坐标信息存在重合区域，则去除重合区域，形成部分第一边界坐标信息；若第一边界坐标信息和第二边界坐标信息不存在重合区域，则不需要去除区域，以第一边界坐标信息作为待提取边界坐标信息；其中，部分第一边界坐标信息和待提取边界坐标信息为甲状旁腺边界坐标信息；
将部分第一边界坐标信息生成的荧光图像或待提取边界坐标信息生成的荧光图像融合至彩色可见光图像中形成只携带甲状旁腺边界信息的彩色背景图像，将只携带甲状旁腺边界信息的彩色背景图像传输给显示模块(5)；
所述显示模块(5)用于接收只携带甲状旁腺边界信息的彩色背景图像，并对只携带甲状旁腺边界信息的彩色背景图像进行显示；
所述将部分第一边界坐标信息生成的荧光图像或待提取边界坐标信息生成的荧光图像融合至彩色可见光图像中形成只携带甲状旁腺边界信息的彩色背景图像的过程具体为：
将部分第一边界坐标信息生成的荧光图像或待提取边界坐标信息生成的荧光图像融合至彩色可见光图像中，生成图像融合掩膜图，对图像融合掩膜图进行伪彩色处理，形成只携带甲状旁腺边界信息的彩色背景图像；
所述分光成像模块包括镜头(2)和分光模块(3)，
所述镜头(2)用于采集待识别区域的光信息，并将光信息传输给分光模块(3)；
所述分光模块(3)接收光信息，对光信息中的激发光进行过滤处理，接着进行分光处理，将过滤后的光信息分为黑白荧光信息和彩色可见光信息，对黑白荧光信息分别进行过滤处理和感光处理后生成黑白荧光图像，对彩色可见光信息分别进行过滤处理和感光处理后生成彩色可见光图像，同时将黑白荧光图像和彩色可见光图像传输给处理器模块(4)。
2.如权利要求1所述的基于多光融合的甲状旁腺识别装置，其特征在于，所述分光模块(3)包括第一滤光片(31)、第二滤光片(32)、第三滤光片(33)、第一感光平面(34)、第二感光平面(35)和分光镜(36)，
所述第一滤光片(31)用于接收光信息，并对光信息中的激发光进行过滤，将过滤后的光信息发射给分光镜(36)；
所述分光镜(36)用于接收过滤后的光信息，并对过滤后的光信息进行分光处理，生成黑白荧光信息和彩色可见光信息；
将黑白荧光信息发射给第二滤光片(32)，通过第二滤光片(32)对黑白荧光信息进行过滤处理，并通过第一感光平面(34)进行感光处理后生成黑白荧光图像，将彩色可见光信息发射给第三滤光片(33)，通过第三滤光片(33)对彩色可见光信息进行过滤处理，并通过第二感光平面(35)进行感光处理后生成彩色可见光图像；
或将黑白荧光信息发射给第三滤光片(33)，通过第三滤光片(33)对黑白荧光信息进行过滤处理，并通过第二感光平面(35)进行感光处理后生成黑白荧光图像，将彩色可见光信息发射给第二滤光片(32)，通过第二滤光片(32)对彩色可见光信息进行过滤处理，并通过第一感光平面(34)进行感光处理后生成彩色可见光图像；
第一感光平面(34)和第二感光平面(35)将生成的黑白荧光图像和彩色可见光图像发送给处理器模块(4)。
3.如权利要求2所述的基于多光融合的甲状旁腺识别装置，其特征在于，所述第一滤光片(31)为带阻滤光片；所述第二滤光片(32)和第三滤光片(33)均为带通滤光片。
4.如权利要求3所述的基于多光融合的甲状旁腺识别装置，其特征在于，所述第一滤光片(31)设置在镜头(2)的光出射端，所述分光镜(36)设置在第一滤光片(31)的光出射端，所述第二滤光片(32)设置在分光镜(36)的透射光出射端，所述第一感光平面(34)设置在第二滤光片(32)的光出射端；所述第三滤光片(33)设置在分光镜(36)的反射光出射端，所述第二感光平面(35)设置在第三滤光片(33)光出射端；所述第一感光平面(34)和第二感光平面(35)均与处理器模块(4)连接；所述第一滤光片(31)和第二滤光片(32)平行设置，且所述第一滤光片(31)和第二滤光片(32)均与第三滤光片(33)垂直设置，所述第二滤光片(32)与第一感光平面(34)平行设置，所述第三滤光片(33)与第二感光平面(35)平行设置。
5.如权利要求2所述的基于多光融合的甲状旁腺识别装置，其特征在于，所述第一滤光片(31)的带阻波长范围为770nm-790nm；所述第二滤光片(32)的通过波长范围为400nm-700nm，所述第三滤光片(33)的通过波长范围为800nm-1000nm。
6.如权利要求1所述的基于多光融合的甲状旁腺识别装置，其特征在于，所述光源模块(1)为窄带激发光源。
7.利用权利要求1所述的基于多光融合的甲状旁腺识别装置所形成的基于多光融合的甲状旁腺识别方法，其特征在于，包括以下步骤：
1)激发待识别区域发出荧光；
2)采集并生成待识别区域的黑白荧光图像和待识别区域的彩色可见光图像；
3)进行图像融合：
3.1)基于图像目标识别原理对黑白荧光图像中的荧光团组织进行识别，并提取荧光团组织的边界坐标信息，作为第一边界坐标信息；基于图像目标识别原理对彩色可见光图像中的淋巴结及脂肪组织进行识别，并提取淋巴结及脂肪组织的边界坐标信息，作为第二边界坐标信息；
3.2)对比第一边界坐标信息和第二边界坐标信息是否存在重合区域；若第一边界坐标信息和第二边界坐标信息存在重合区域，则去除重合区域，形成部分第一边界坐标信息；若第一边界坐标信息和第二边界坐标信息不存在重合区域，则不需要去除区域，以第一边界坐标信息作为待提取边界坐标信息；其中，部分第一边界坐标信息和待提取边界坐标信息为甲状旁腺边界坐标信息；
3.3)将部分第一边界坐标信息生成的荧光图像或待提取边界坐标信息生成的荧光图像融合至彩色可见光图像中形成只携带甲状旁腺边界信息的彩色背景图像；
4)对只携带甲状旁腺边界信息的彩色背景图像进行显示。
8.如权利要求7所述的基于多光融合的甲状旁腺识别方法，其特征在于，所述步骤3.3)具体为：将部分第一边界坐标信息生成的荧光图像或待提取边界坐标信息生成的荧光图像融合至彩色可见光图像中，生成图像融合掩膜图，对图像融合掩膜图进行伪彩色处理，形成只携带甲状旁腺边界信息的彩色背景图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211613641.5A CN116385337B (zh) | 2022-12-15 | 2022-12-15 | 一种基于多光融合的甲状旁腺识别装置及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211613641.5A CN116385337B (zh) | 2022-12-15 | 2022-12-15 | 一种基于多光融合的甲状旁腺识别装置及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116385337A CN116385337A (zh) | 2023-07-04 |
| CN116385337B true CN116385337B (zh) | 2023-10-17 |
Family
ID=86960229
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211613641.5A Active CN116385337B (zh) | 2022-12-15 | 2022-12-15 | 一种基于多光融合的甲状旁腺识别装置及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116385337B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007070784A2 (en) * | 2005-12-12 | 2007-06-21 | The Uab Research Foundation | Fluorescent detection of cancer and fluorescent guided surgical removal |
| WO2014205738A1 (zh) * | 2013-06-27 | 2014-12-31 | 中国科学院自动化研究所 | 基于内窥镜的多光谱视频导航系统和方法 |
| CN208973832U (zh) * | 2018-05-02 | 2019-06-14 | 南开大学 | 基于自发荧光技术和谱域光学相干层析术的甲状腺颈部组织分类和识别系统 |
| CN112656369A (zh) * | 2020-11-30 | 2021-04-16 | 浙江大学医学院附属第一医院 | 一种基于ar技术的近红外荧光甲状旁腺的识别增强方法 |
| CN112704473A (zh) * | 2020-11-30 | 2021-04-27 | 浙江大学医学院附属第一医院 | 一种甲状旁腺的位置增强设备 |
| CN113520271A (zh) * | 2021-06-23 | 2021-10-22 | 王松 | 一种甲状旁腺功能成像方法、系统及内镜 |
| CN114170213A (zh) * | 2021-12-15 | 2022-03-11 | 高永楷 | 一种基于图像融合技术的甲状旁腺识别方法 |
| CN114343568A (zh) * | 2019-10-31 | 2022-04-15 | 因德斯马特有限公司 | 识别甲状旁腺位置并评估甲状旁腺存活率的设备及方法 |
| WO2022082930A1 (zh) * | 2020-10-22 | 2022-04-28 | 南京诺源医疗器械有限公司 | 一种可见-近红外实时图像融合的荧光显微镜系统 |
| CN114732448A (zh) * | 2022-03-23 | 2022-07-12 | 广州医科大学附属第五医院 | 基于荧光寿命和拉曼光谱成像的甲状腺手术内镜装置 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101847435B1 (ko) * | 2016-09-30 | 2018-04-10 | 부경대학교 산학협력단 | 부갑상선 실시간 이미징 장치 |
| KR101852403B1 (ko) * | 2017-11-17 | 2018-04-27 | 부경대학교 산학협력단 | 부갑상선 실시간 센싱 시스템 |
| US20210128054A1 (en) * | 2019-10-31 | 2021-05-06 | Inthesmart Co., Ltd. | Apparatus and Method for Viability Assessment of Tissue |
-
2022
- 2022-12-15 CN CN202211613641.5A patent/CN116385337B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007070784A2 (en) * | 2005-12-12 | 2007-06-21 | The Uab Research Foundation | Fluorescent detection of cancer and fluorescent guided surgical removal |
| WO2014205738A1 (zh) * | 2013-06-27 | 2014-12-31 | 中国科学院自动化研究所 | 基于内窥镜的多光谱视频导航系统和方法 |
| CN208973832U (zh) * | 2018-05-02 | 2019-06-14 | 南开大学 | 基于自发荧光技术和谱域光学相干层析术的甲状腺颈部组织分类和识别系统 |
| CN114343568A (zh) * | 2019-10-31 | 2022-04-15 | 因德斯马特有限公司 | 识别甲状旁腺位置并评估甲状旁腺存活率的设备及方法 |
| WO2022082930A1 (zh) * | 2020-10-22 | 2022-04-28 | 南京诺源医疗器械有限公司 | 一种可见-近红外实时图像融合的荧光显微镜系统 |
| CN112656369A (zh) * | 2020-11-30 | 2021-04-16 | 浙江大学医学院附属第一医院 | 一种基于ar技术的近红外荧光甲状旁腺的识别增强方法 |
| CN112704473A (zh) * | 2020-11-30 | 2021-04-27 | 浙江大学医学院附属第一医院 | 一种甲状旁腺的位置增强设备 |
| CN113520271A (zh) * | 2021-06-23 | 2021-10-22 | 王松 | 一种甲状旁腺功能成像方法、系统及内镜 |
| CN114170213A (zh) * | 2021-12-15 | 2022-03-11 | 高永楷 | 一种基于图像融合技术的甲状旁腺识别方法 |
| CN114732448A (zh) * | 2022-03-23 | 2022-07-12 | 广州医科大学附属第五医院 | 基于荧光寿命和拉曼光谱成像的甲状腺手术内镜装置 |
Non-Patent Citations (2)
| Title |
|---|
| 可见光和近红外荧光分光融合成像外科手术导航系统的研制;杨晓峰;武未;王国安;;生物医学工程学杂志(02);全文 * |
| 近红外荧光系统对甲状腺术中甲状旁腺识别临床应用研究;柳桢;殷德涛;王涛;马润声;刘晨光;;中国实用外科杂志(02);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116385337A (zh) | 2023-07-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107635451B (zh) | 用于在可见和红外波长下进行同时成像的方法和装置 | |
| US9767340B2 (en) | Latent fingerprint detectors and fingerprint scanners therefrom | |
| JP2020093114A (ja) | 生体認証装置 | |
| JP3753186B2 (ja) | レーザー誘導蛍光を利用した形成異常の診断 | |
| CN100377166C (zh) | 用于虹膜识别的方法和装置 | |
| US20140194748A1 (en) | Imaging device | |
| US20020037252A1 (en) | Method and apparatus for obtaining an optical tomographic image of a sentinel lymph node | |
| JP2004520105A (ja) | 蛍光及び反射率撮像と分光のための方法及び装置並びに多数の測定装置による電磁放射線の同時測定のための方法及び装置 | |
| JP2000139846A (ja) | 患者の皮膚組織への創傷の程度の診断用デ―タを発生するための方法および装置 | |
| EP2640254A1 (en) | In-vivo imaging device and method for performing spectral analysis | |
| WO1998000057A1 (en) | Spectroscopic probe for in vivo measurement of raman signals | |
| JPH10165365A (ja) | 内視鏡 | |
| CN112014965A (zh) | 一种可见-近红外实时图像融合的荧光显微镜系统 | |
| RU2008105215A (ru) | Комбинация оптической технологии в видимой области спектра и пассивной инфракрасной технологии и соответствующее устройство для выявления и идентификации предвестников рака кожи, родинок и опухолей с целью ранней диагностики | |
| WO2011084722A1 (en) | Excitation, detection, and projection system for visualizing target cancer tissue | |
| EP1169625A1 (en) | System and method for calibrating a reflection imaging spectrophotometer | |
| CN111616799A (zh) | 一种增强现实近红外荧光导航系统及方法 | |
| CN113950701A (zh) | 用于检测组织中的术中造影剂的成像系统 | |
| EP3241481B1 (en) | Dual path endoscope | |
| CN108523849A (zh) | 基于自发荧光技术和光学相干层析术的甲状腺颈部组织分类和识别系统及方法 | |
| CN106092996A (zh) | 一种基于自体荧光寿命的癌症诊断系统 | |
| CN116385337B (zh) | 一种基于多光融合的甲状旁腺识别装置及方法 | |
| JP2006267097A (ja) | 火炎可視化装置 | |
| CN110693458B (zh) | 基于近红外自体荧光的术中实时甲状旁腺识别方法 | |
| CN208973832U (zh) | 基于自发荧光技术和谱域光学相干层析术的甲状腺颈部组织分类和识别系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20230919 Address after: A117-55, iChuangtu Zhongchuang Park, No.14 Gaoxin Second Road, Gaoxin District, Xi'an City, Shaanxi Province, 710075 Applicant after: Xi'an Changkong Medical Technology Service Co.,Ltd. Address before: 710086 Room 403-7, Floor 4, Building 3, Fengyue Yunchuang Center, Hanchi 1st Road, Haojing Avenue, Fengdong New Town, Xi'an City, Shaanxi Province Applicant before: Shaanxi Zhongke Chuangfu Medical Technology Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |