CN114098653A - 一种多模态甲状旁腺识别系统及成像方法 - Google Patents
一种多模态甲状旁腺识别系统及成像方法 Download PDFInfo
- Publication number
- CN114098653A CN114098653A CN202111673424.0A CN202111673424A CN114098653A CN 114098653 A CN114098653 A CN 114098653A CN 202111673424 A CN202111673424 A CN 202111673424A CN 114098653 A CN114098653 A CN 114098653A
- Authority
- CN
- China
- Prior art keywords
- light
- parathyroid gland
- color
- parathyroid
- field image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000002990 parathyroid gland Anatomy 0.000 title claims abstract description 130
- 238000003384 imaging method Methods 0.000 title claims abstract description 57
- 230000005284 excitation Effects 0.000 claims abstract description 81
- 239000000523 sample Substances 0.000 claims abstract description 31
- 230000000007 visual effect Effects 0.000 claims abstract description 31
- 230000004927 fusion Effects 0.000 claims abstract description 30
- 230000001678 irradiating effect Effects 0.000 claims abstract description 19
- 230000015654 memory Effects 0.000 claims description 20
- 238000003860 storage Methods 0.000 claims description 15
- 230000000849 parathyroid Effects 0.000 claims description 13
- 238000000034 method Methods 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims description 9
- 206010028980 Neoplasm Diseases 0.000 claims description 5
- 210000001685 thyroid gland Anatomy 0.000 description 10
- 208000000038 Hypoparathyroidism Diseases 0.000 description 8
- 102000003982 Parathyroid hormone Human genes 0.000 description 6
- 108090000445 Parathyroid hormone Proteins 0.000 description 6
- 239000000199 parathyroid hormone Substances 0.000 description 6
- 229960001319 parathyroid hormone Drugs 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 208000024799 Thyroid disease Diseases 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000001356 surgical procedure Methods 0.000 description 4
- 201000002510 thyroid cancer Diseases 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- OYPRJOBELJOOCE-UHFFFAOYSA-N Calcium Chemical compound [Ca] OYPRJOBELJOOCE-UHFFFAOYSA-N 0.000 description 2
- 208000013038 Hypocalcemia Diseases 0.000 description 2
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 2
- 208000024770 Thyroid neoplasm Diseases 0.000 description 2
- 239000011575 calcium Substances 0.000 description 2
- 229910052791 calcium Inorganic materials 0.000 description 2
- 208000035850 clinical syndrome Diseases 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000002124 endocrine Effects 0.000 description 2
- 239000007850 fluorescent dye Substances 0.000 description 2
- 210000004907 gland Anatomy 0.000 description 2
- 201000005991 hyperphosphatemia Diseases 0.000 description 2
- 230000000705 hypocalcaemia Effects 0.000 description 2
- 238000011065 in-situ storage Methods 0.000 description 2
- 230000004060 metabolic process Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 229910052698 phosphorus Inorganic materials 0.000 description 2
- 239000011574 phosphorus Substances 0.000 description 2
- 230000001105 regulatory effect Effects 0.000 description 2
- 230000003248 secreting effect Effects 0.000 description 2
- 238000002054 transplantation Methods 0.000 description 2
- RBTBFTRPCNLSDE-UHFFFAOYSA-N 3,7-bis(dimethylamino)phenothiazin-5-ium Chemical compound C1=CC(N(C)C)=CC2=[S+]C3=CC(N(C)C)=CC=C3N=C21 RBTBFTRPCNLSDE-UHFFFAOYSA-N 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000000799 fluorescence microscopy Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- MOFVSTNWEDAEEK-UHFFFAOYSA-M indocyanine green Chemical compound [Na+].[O-]S(=O)(=O)CCCCN1C2=CC=C3C=CC=CC3=C2C(C)(C)C1=CC=CC=CC=CC1=[N+](CCCCS([O-])(=O)=O)C2=CC=C(C=CC=C3)C3=C2C1(C)C MOFVSTNWEDAEEK-UHFFFAOYSA-M 0.000 description 1
- 229960004657 indocyanine green Drugs 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 229960000907 methylthioninium chloride Drugs 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 229910021392 nanocarbon Inorganic materials 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0062—Arrangements for scanning
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
- A61B5/0035—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for acquisition of images from more than one imaging mode, e.g. combining MRI and optical tomography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0075—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/41—Detecting, measuring or recording for evaluating the immune or lymphatic systems
- A61B5/414—Evaluating particular organs or parts of the immune or lymphatic systems
- A61B5/415—Evaluating particular organs or parts of the immune or lymphatic systems the glands, e.g. tonsils, adenoids or thymus
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
- A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
- A61B8/085—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
- A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
- A61B8/5261—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from different diagnostic modalities, e.g. ultrasound and X-ray
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Heart & Thoracic Surgery (AREA)
- Surgery (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Vascular Medicine (AREA)
- Endocrinology (AREA)
- Immunology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
Abstract
本发明提供一种多模态甲状旁腺识别系统及成像方法，所述系统包括：光源模块，用于生成第一色光和第二色光；探头模块，所述成像模块包括成像单元，用于同步采集由所述第一色光照射到待检测甲状旁腺区域所激发的第一激发光和由所述第二色光照射到待检测甲状旁腺区域所激发的第二激发光，基于所述第一激发光生成第一色光视野图像，基于所述第二激发光生成第二色光视野图像，并将所述第一色光视野图像和第二色光视野图像传输给图像融合模块；所述图像融合模块，根据两种视野图像，生成融合图像，所述融合图像用于识别所述待检测甲状旁腺区域的甲状旁腺。本方案，有效提高了多模态甲状旁腺术中识别效率。
Description
技术领域
本发明涉及甲状旁腺识别技术领域，尤涉及一种多模态甲状旁腺识别系统及成像方法。
背景技术
甲状旁腺是人体最小的内分泌器官，正常成人的甲状旁腺一般有2对，每个腺体长3～8mm，宽2～5mm，厚0.5～2mm，呈棕黄色卵圆形，附在甲状腺背面，主要功能为分泌甲状旁腺激素(parathyroid hormone，PTH)，调节机体钙磷代谢。甲状旁腺功能减退症(hypoparathyroidism，HP)是由于体内PTH分泌过少或效应不足而引起的以低钙血症和高磷血症为特征的临床综合征。近十年来，甲状腺疾病尤其是甲状腺恶性肿瘤发病率逐年升高，甲状腺癌的发病增长率已位列我国肿瘤发病率首位，外科手术目前仍是治疗甲状腺疾病的最重要手段，而继发性HP是甲状腺外科手术中最常见的并发症之一，继发性HP约占所有HP发病数的75％。因此，甲状腺外科手术中对甲状旁腺的有效保护尤为必要。手术中要求手术医生尽可能原位保留、避免误切甲状旁腺，当术中必须连带切除甲状旁腺时，需进行甲状旁腺快速自体移植，而甲状旁腺术中准确识别/定位是甲状旁腺术中保护的前提。
发明人发现，现有近红外自体荧光显像系统仅支持单一荧光成像，临床使用时，需反复关闭手术室照明灯和手术无影灯以获得清晰近红外自荧光图像，无一款近红外自体荧光显像系统能同时采集甲状旁腺的自体荧光图像和手术视野的白光图像，手术医生术中需要进行视线更替，导致成像后的两个图像难以保持一致，进而导致甲状旁腺识别定位不准确。
发明内容
有鉴于此，本申请提供了一种多模态甲状旁腺识别系统及成像方法，以解决现有技术中白光成像和近红外自体荧光成像难以保持一致，导致甲状旁腺识别定位不准确的技术问题。
第一方面，根据本发明实施例提供的一种多模态甲状旁腺识别系统，包括：
光源模块，用于生成第一色光和第二色光；
探头模块，和光源模块连接，所述探头模块用于提供第一出光通道、第二出光通道、导光光路和二向色镜；其中，所述第一色光经由所述第一出光通道输出，所述第二色光经由所述第二出光通道输出，所述导光光路用于输入激发光，所述激发光包括由所述第一色光照射到待检测甲状旁腺区域所激发的第一激发光和由所述第二色光照射到待检测甲状旁腺区域所激发的第二激发光，输入所述导光光路的激发光经所述二向色镜分光后，分别输出为第一激发光和第二激发光；所述探头模块还包括成像单元，所述成像单元用于同步采集经二向色镜分光输出的第一激发光和第二激发光，基于所述第一激发光生成第一色光视野图像，基于所述第二激发光生成第二色光视野图像，并将所述第一色光视野图像和第二色光视野图像传输给图像融合模块；
所述图像融合模块，用于获取所述第一色光视野图像和第二色光视野图像，生成融合图像，所述融合图像用于识别所述待检测甲状旁腺区域的甲状旁腺。
优选地，所述探头模块提供的所述第一出光通道的出光口的截面为圆环形状；和/或，所述探头模块提供的所述第二出光通道的出光口的截面为圆环形状。
优选地，所述第一出光通道的出光口的截面的中心和所述导光光路的进光口的截面的中心重合；和/或，所述第二出光通道的出光口的截面的中心和所述导光光路的进光口的截面的中心重合。
优选地，所述探头模块还包括：
滤光单元，设置于所述二向色镜分光输出的第一激发光的光路上，用于对所述第一激发光进行滤光。
优选地，所述探头模块还包括：
导光单元，设置于所述二向色镜分光输出的第一激发光的光路上，用于使得所述二向色镜分光输出的第一激发光，经所述导光单元后输出，输出的方向和经所述二向色镜分光输出的第二激发光的输出方向一致。
优选地，所述成像单元包括：超高清CMOS传感器，用于对所述第一激发光和所述第二激发光同时成像。
优选地，所述多模态甲状旁腺识别系统还包括：
超声识别模块，用于对覆盖在脂肪或者肿瘤下的甲状旁腺进行识别。
第二方面，根据本发明实施例提供的一种多模态甲状旁腺成像方法，基于第一方面任一项所述的多模态甲状旁腺识别系统，所述方法包括：
生成第一色光和第二色光；
将所述探头模块对应提供的导光光路的进光口对准所述待检测甲状旁腺区域，接收从所述导光光路输入的激发光，其中，所述激发光包括由所述第一色光照射到待检测甲状旁腺区域所激发的第一激发光和由所述第二色光照射到待检测甲状旁腺区域所激发的第二激发光；
基于接收到的从所述导光光路输入的激发光，生成第一色光视野图像和第二色光视野图像，其中，所述第一色光视野图像和所述第一激发光相适应，所述第二色光视野图像和所述第二激发光相适应；
根据生成的所述第一色光视野图像和第二色光视野图像，生成对应的融合图像。
第三方面，根据本发明实施例提供的一种多模态甲状旁腺成像装置，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行所述第二方面所述的多模态甲状旁腺成像方法。
第四方面，根据本发明实施例提供的一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储有计算机指令，所述计算机指令被处理器执行时实现所述第二方面所述的多模态甲状旁腺成像方法。
本发明实施例提供的多模态甲状旁腺识别系统及成像方法，至少具有如下有益效果：
本发明实施例提供的多模态甲状旁腺识别系统及成像方法，可以通过光源模块生成第一色光和第二色光，将探头模块对准待检测甲状旁腺区域，通过探头模块通过第一出光通道和第二出光通道同时将第一色光和第二色光照射到待检测甲状旁腺区域，导光光路接收待检测甲状旁腺区域所激发的激发光，所述激发光包括由所述第一色光照射到待检测甲状旁腺区域所激发的第一激发光和由所述第二色光照射到待检测甲状旁腺区域所激发的第二激发光；输入所述导光光路的激发光经所述二向色镜分光后，分别输出为第一激发光和第二激发光；成像单元同步采集经二向色镜分光输出的第一激发光和第二激发光，并基于所述第一激发光生成第一色光视野图像，基于所述第二激发光生成第二色光视野图像；图像融合模块，接收所述第一色光视野图像和第二色光视野图像，并生成融合图像，所述融合图像用于识别所述待检测甲状旁腺区域的甲状旁腺。同时采集甲状旁腺的第一色光视野图像和第二色光视野图像，使得两个图像的成像视野保持一致，避免术中视线更替等因素造成的定位偏差及识别不准确的问题。无需手动反复关闭照明灯和手术无影灯，简化了术中的操作，提高了手术效率。同时采集的同视野的两个图像，这两个图像再进行融合时，图像融合的效率更高，进一步地提高了甲状旁腺的识别效率。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种多模态甲状旁腺识别系统框图；
图2为本发明实施例提供的一种同时生成的两种视野图像；
图3为本发明实施例提供的一种图像融合的示意图；
图4为本发明实施例提供的一种多模态甲状旁腺识别系统的部分框图；
图5为本发明实施例提供的一种多模态甲状旁腺成像方法流程图；
图6为本发明实施例提供的一种多模态甲状旁腺成像装置框图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
甲状旁腺是人体最小的内分泌器官，正常成人的甲状旁腺一般有2对，每个腺体长3～8mm，宽2～5mm，厚0.5～2mm，呈棕黄色卵圆形，附在甲状腺背面，主要功能为分泌甲状旁腺激素(parathyroid hormone，PTH)，调节机体钙磷代谢。甲状旁腺功能减退症(hypoparathyroidism，HP)是由于体内PTH分泌过少或效应不足而引起的以低钙血症和高磷血症为特征的临床综合征。近十年来，甲状腺疾病尤其是甲状腺恶性肿瘤发病率逐年升高，甲状腺癌的发病增长率已位列我国肿瘤发病率首位，外科手术目前仍是治疗甲状腺疾病的最重要手段，而继发性HP是甲状腺外科手术中最常见的并发症之一，继发性HP约占所有HP发病数的75％。因此，甲状腺外科手术中对甲状旁腺的有效保护尤为必要。手术中要求手术医生尽可能原位保留、避免误切甲状旁腺，当术中必须连带切除甲状旁腺时，需进行甲状旁腺快速自体移植，而甲状旁腺术中准确识别/定位是甲状旁腺术中保护的前提。
甲状旁腺的术中识别/定位通常运用肉眼识别、亚甲蓝染色甲状旁腺正显影、纳米炭染色甲状旁腺负显影、近红外/吲哚菁绿荧光显像、近红外自体荧光显像等技术。其中，近红外自体荧光显像技术的原理是使用近红外激发光照射甲状旁腺，不需要任何荧光染料，甲状旁腺即可发射出较强的自体荧光信号，利用甲状旁腺的自体荧光及其与甲状腺和周围组织的自体荧光的差异性(前者发光强度是后者的2.4～8.5倍)，使用成像系统收集自体荧光，转化为可见图像，从而鉴别出甲状旁腺。
近红外自体荧光显像技术因其独特的无需荧光染料的优势，已被广泛应用于甲状腺手术中、甲状旁腺手术中及切除的甲状腺标本中识别甲状旁腺，并提高了甲状旁腺的检出率。然而现有的甲状旁腺识别系统，在临床使用时，需反复关闭手术室照明灯和手术无影灯以获得清晰近红外自荧光图像，不能同时采集甲状旁腺的自体荧光图像和手术视野的白光图像，手术医生术中需要进行视线更替，导致成像后的两个图像难以保持一致，容易导致甲状旁腺术中发生定位偏差，导致甲状旁腺识别定位不准确。
实施例1
本发明实施例提供的一种多模态甲状旁腺识别系统，图1是本发明实施例提供的一种多模态甲状旁腺识别系统的框图。所述多模态甲状旁腺识别系统包括：
光源模块101，用于生成第一色光和第二色光；
探头模块102，和光源模块连接，所述探头模块用于提供第一出光通道、第二出光通道、导光光路和二向色镜；其中，所述第一色光经由所述第一出光通道输出，所述第二色光经由所述第二出光通道输出，所述导光光路用于输入激发光，所述激发光包括由所述第一色光照射到待检测甲状旁腺区域所激发的第一激发光和由所述第二色光照射到待检测甲状旁腺区域所激发的第二激发光，输入所述导光光路的激发光经所述二向色镜分光后，分别输出为第一激发光和第二激发光；所述探头模块还包括成像单元，所述成像单元用于同步采集经二向色镜分光输出的第一激发光和第二激发光，基于所述第一激发光生成第一色光视野图像，基于所述第二激发光生成第二色光视野图像，并将所述第一色光视野图像和第二色光视野图像传输给图像融合模块；
所述图像融合模块103，用于获取所述第一色光视野图像和第二色光视野图像，生成融合图像，所述融合图像用于识别所述待检测甲状旁腺区域的甲状旁腺。
在上述实施方式中，具体地，所述第一色光为白光，所述第二色光为近红外光。所述白光光源为冷光源，拟采用LED光源，所述近红外光光源为激光光源，可选地，所述近红外光的波长为785nm。进一步，所述LED光源的最大功率300W，所述激光光源的最低功率为500mW。
探头模块包括第一出光通道，第一出光通道和白光光源连接，第一出光通道用于将白光光源发出的白光进行输出，第二出光通道和激光光源连接，第二出光通道用于将激光光源发出的近红外光进行输出。将探头模块对准待检测甲状旁腺区域，使得第一出光通道输出的白光和第二出光通道输出的近红外光照射待检测甲状旁腺区域，白光和近红外光照射待检测甲状旁腺区域后产生对应的激发光，激发光包括由白光照射到待检测甲状旁腺区域所激发的白光激发光和由所述近红外光照射到待检测甲状旁腺区域所激发的近红外激发光。探头模块的导光光路的进光口对准待检测甲状旁腺区域，白光和近红外光照射待检测甲状旁腺区域后产生对应的激发光输入导光光路，导光光路的输出端设置有二向色镜，二向色镜将白光和近红外光照射待检测甲状旁腺区域后产生的对应的激发光进行分光，分成白光激发光和近红外激发光，分成的白光激发光和近红外激发光同时被成像单元采集，成像单元根据采集到的白光激发光生成白光视野图像，根据采集到的近红外激发光生成近红外自体荧光视野图像，如图2所示。生成白光视野图像和近红外自体荧光视野图像后，将生成的白光视野图像和近红外自体荧光视野图像传输给图像融合模块。
具体地，如图3所示，图像融合模块，接收探头模块传输的白光视野图像和近红外自体荧光视野图像，生成白光视野图像和近红外自体荧光视野图像的融合图像。
在上述实施方式中，具体地，通过光源模块生成第一色光和第二色光，将探头模块对准待检测甲状旁腺区域，通过探头模块通过第一出光通道和第二出光通道同时将第一色光和第二色光照射到待检测甲状旁腺区域，导光光路接收待检测甲状旁腺区域所激发的激发光，所述激发光包括由所述第一色光照射到待检测甲状旁腺区域所激发的第一激发光和由所述第二色光照射到待检测甲状旁腺区域所激发的第二激发光；输入所述导光光路的激发光经所述二向色镜分光后，分别输出为第一激发光和第二激发光；成像单元同步采集经二向色镜分光输出的第一激发光和第二激发光，并基于所述第一激发光生成第一色光视野图像，基于所述第二激发光生成第二色光视野图像；图像融合模块，接收所述第一色光视野图像和第二色光视野图像，并生成融合图像，所述融合图像用于识别所述待检测甲状旁腺区域的甲状旁腺。同时采集甲状旁腺的第一色光视野图像和第二色光视野图像，使得两个图像的成像上视野保持一致，避免术中视线更替等因素造成的定位偏差及识别不准确的问题。无需手动反复关闭照明灯和手术无影灯，简化了术中的操作，提高了手术效率。同时采集的同视野的两个图像，这两个图像再进行融合时，图像融合的效率更高，进一步地提高了甲状旁腺的识别效率。
在一个可选的实施方式中，所述探头模块提供的所述第一出光通道的出光口的截面为圆环形状。具体地，使得圆环形状出光口的截面可以使得白光光源照射至待检测甲状旁腺区域时，照明均匀、光强均匀，进而使得白光照射待检测甲状旁腺区域激发的激发光携带的信息更合理，使得基于白光激发光生成的待检测甲状旁腺区域的对应的白光视野图像更清晰。进一步地，所述探头模块提供的所述第二出光通道的出光口的截面为圆环形状。其可以使得生成的待检测甲状旁腺区域的对应的近红外自体荧光视野图像更清晰。进而进一步提高了融合图像的清晰度，提高了识别效率。
进一步地，所述第一出光通道的出光口的截面的中心和所述导光光路的进光口的截面的中心重合；和/或，所述第二出光通道的出光口的截面的中心和所述导光光路的进光口的截面的中心重合。
在一个可选地实施方式中，参见图4所示，所述探头模块还包括：
滤光单元401，设置于所述二向色镜分光输出的第一激发光的光路上，用于对所述第一激发光进行滤光。具体地，通过滤光单元，对二向色镜分光输出的白光激发光进行滤光，减少白光激发光中杂糅的近红外激发光，保证白光视野图像更清晰。进一步地，所述二向色镜分光输出的第二激发光的光路上，也可设置相应的滤光单元。
进一步地，所述探头模块还包括：
导光单元402，设置于所述二向色镜分光输出的第一激发光的光路上，用于使得所述二向色镜分光输出的第一激发光，经所述导光单元后输出，输出的方向和经所述二向色镜分光输出的第二激发光的输出方向一致。具体地，使得白光激发光和近红外激发光一致，不仅能确保两个成像的视野一致，还能使得探头的结构更加紧凑，提高适用性，以及甲状旁腺识别效率。
进一步地，所述成像单元包括：超高清CMOS传感器，用于对所述第一激发光和所述第二激发光同时成像。进一步地，芯片像素>200万，有效像素≥1920×1080p，60帧/秒，水平分辨率1200线。进一步地，成像单元涉及到信号的放大和传输，当摄像头拍摄到画面之后，将图像转换成数字信号，传输至计算机，再通过图像处理算法对图像进行处理。
在一个可选的实施方式中，所述多模态甲状旁腺识别系统还包括：
超声识别模块，用于对覆盖在脂肪或者肿瘤下的甲状旁腺进行识别。
实施例2
图5是本发明实施例提供的一种多模态甲状旁腺成像方法流程图。发明实施例提供的一种多模态甲状旁腺成像方法，基于系统实施例任一项所述的多模态甲状旁腺识别系统，所述方法包括如下步骤：
步骤S501、生成第一色光和第二色光；
步骤S502、将所述探头模块对应提供的导光光路的进光口对准所述待检测甲状旁腺区域，接收从所述导光光路输入的激发光，其中，所述激发光包括由所述第一色光照射到待检测甲状旁腺区域所激发的第一激发光和由所述第二色光照射到待检测甲状旁腺区域所激发的第二激发光；
步骤S503、基于接收到的从所述导光光路输入的激发光，生成第一色光视野图像和第二色光视野图像，其中，所述第一色光视野图像和所述第一激发光相适应，所述第二色光视野图像和所述第二激发光相适应；
步骤S504、根据生成的所述第一色光视野图像和第二色光视野图像，生成对应的融合图像。
本申请实施例提供的多模态甲状旁腺成像方法，可用于如上实施例1中所述的系统，相关细节参考上述系统实施例，其实现原理和技术效果类似，在此不再赘述。
需要说明的是：上述实施例中提供的多模态甲状旁腺识别系统在进行多模态甲状旁腺成像时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，以完成以上描述的全部或者部分功能，这里不再赘述。
实施例3
本发明实施例提供的一种多模态甲状旁腺成像装置，用于多模态甲状旁腺成像，如图6所示，该电子设备包括处理器601和存储器602，其中处理器601和存储器602可以通过总线或者其他方式连接，图6中以通过总线连接为例。
处理器601可以为中央处理器(Central Processing Unit，CPU)也可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、图形处理器(GraphicsProcessing Unit，GPU)、嵌入式神经网络处理器(Neural-network Processing Unit，NPU)或者其他专用的深度学习协处理器、专用集成电路(Application Specific IntegratedCircuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
存储器602作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中多模态甲状旁腺成像方法对应的程序指令/模块。处理器601通过运行存储在存储器602中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例2中的多模态甲状旁腺成像方法。
存储器602可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器601所创建的数据等。此外，存储器602可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器602可选包括相对于处理器601远程设置的存储器，这些远程存储器可以通过网络连接至处理器601。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个模块存储在所述存储器602中，当被所述处理器601执行时，执行如图5所示多模态甲状旁腺成像方法。
本发明实施例还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的多模态甲状旁腺成像方法。其中，所述非暂态计算机可读存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-StateDrive，SSD)等；所述非暂态计算机可读存储介质还可以包括上述种类的存储器的组合。
本领域内的技术人员应明白，本发明的实施例可提供为方法、装置或非暂态计算机可读存储介质均可涉及或包含计算机程序产品。
因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
显然，以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种多模态甲状旁腺识别系统，其特征在于，包括：
光源模块，用于生成第一色光和第二色光；
探头模块，和光源模块连接，所述探头模块用于提供第一出光通道、第二出光通道、导光光路和二向色镜；其中，所述第一色光经由所述第一出光通道输出，所述第二色光经由所述第二出光通道输出，所述导光光路用于输入激发光，所述激发光包括由所述第一色光照射到待检测甲状旁腺区域所激发的第一激发光和由所述第二色光照射到待检测甲状旁腺区域所激发的第二激发光，输入所述导光光路的激发光经所述二向色镜分光后，分别输出为第一激发光和第二激发光；所述探头模块还包括成像单元，所述成像单元用于同步采集经二向色镜分光输出的第一激发光和第二激发光，基于所述第一激发光生成第一色光视野图像，基于所述第二激发光生成第二色光视野图像，并将所述第一色光视野图像和第二色光视野图像传输给图像融合模块；
所述图像融合模块，用于获取所述第一色光视野图像和第二色光视野图像，生成融合图像，所述融合图像用于识别所述待检测甲状旁腺区域的甲状旁腺。
2.根据权利要求1所述的多模态甲状旁腺识别系统，其特征在于，所述探头模块提供的所述第一出光通道的出光口的截面为圆环形状；和/或，所述探头模块提供的所述第二出光通道的出光口的截面为圆环形状。
3.根据权利要求2所述的多模态甲状旁腺识别系统，其特征在于，所述第一出光通道的出光口的截面的中心和所述导光光路的进光口的截面的中心重合；和/或，所述第二出光通道的出光口的截面的中心和所述导光光路的进光口的截面的中心重合。
4.根据权利要求1-3任一项所述的多模态甲状旁腺识别系统，其特征在于，所述探头模块还包括：
滤光单元，设置于所述二向色镜分光输出的第一激发光的光路上，用于对所述第一激发光进行滤光。
5.根据权利要求4所述的多模态甲状旁腺识别系统，其特征在于，所述探头模块还包括：
导光单元，设置于所述二向色镜分光输出的第一激发光的光路上，用于使得所述二向色镜分光输出的第一激发光，经所述导光单元后输出，输出的方向和经所述二向色镜分光输出的第二激发光的输出方向一致。
6.根据权利要求5所述的多模态甲状旁腺识别系统，其特征在于，所述成像单元包括：超高清CMOS传感器，用于对所述第一激发光和所述第二激发光同时成像。
7.根据权利要求1所述的多模态甲状旁腺识别系统，其特征在于，还包括：
超声识别模块，用于对覆盖在脂肪或者肿瘤下的甲状旁腺进行识别。
8.一种多模态甲状旁腺成像方法，基于权利要求1-7任一项所述的多模态甲状旁腺识别系统，其特征在于，所述方法包括：
生成第一色光和第二色光；
将所述探头模块对应提供的导光光路的进光口对准所述待检测甲状旁腺区域，接收从所述导光光路输入的激发光，其中，所述激发光包括由所述第一色光照射到待检测甲状旁腺区域所激发的第一激发光和由所述第二色光照射到待检测甲状旁腺区域所激发的第二激发光；
基于接收到的从所述导光光路输入的激发光，生成第一色光视野图像和第二色光视野图像，其中，所述第一色光视野图像和所述第一激发光相适应，所述第二色光视野图像和所述第二激发光相适应；
根据生成的所述第一色光视野图像和第二色光视野图像，生成对应的融合图像。
9.一种多模态甲状旁腺成像装置，其特征在于，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行权利要求8所述的多模态甲状旁腺成像方法。
10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储有计算机指令，所述计算机指令被处理器执行时实现如权利要求8所述的多模态甲状旁腺成像方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111673424.0A CN114098653A (zh) | 2021-12-31 | 2021-12-31 | 一种多模态甲状旁腺识别系统及成像方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111673424.0A CN114098653A (zh) | 2021-12-31 | 2021-12-31 | 一种多模态甲状旁腺识别系统及成像方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114098653A true CN114098653A (zh) | 2022-03-01 |
Family
ID=80363134
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111673424.0A Pending CN114098653A (zh) | 2021-12-31 | 2021-12-31 | 一种多模态甲状旁腺识别系统及成像方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114098653A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090097022A1 (en) * | 2007-08-24 | 2009-04-16 | Dynamic Throughput Inc. | Discovery tool with integrated microfluidic biomarker optical detection array device and methods for use |
| CN108542497A (zh) * | 2018-03-06 | 2018-09-18 | 南京生命源医药实业有限公司 | 手术导航设备 |
| CN109924938A (zh) * | 2019-03-26 | 2019-06-25 | 华中科技大学苏州脑空间信息研究院 | 外置式双光源阴道镜成像系统 |
| CN111380843A (zh) * | 2019-06-28 | 2020-07-07 | 南京大学 | 一种高灵敏的可见-近红外双通道激光荧光显微镜的装置设计及其成像方法 |
| CN111970953A (zh) * | 2018-03-30 | 2020-11-20 | 光明之火生物科学公司 | 用于同时近红外光和可见光成像的系统和方法 |
| CN112190219A (zh) * | 2020-11-04 | 2021-01-08 | 王松 | 一种近红外光实时识别甲状旁腺腔镜系统及使用方法 |
| CN113520271A (zh) * | 2021-06-23 | 2021-10-22 | 王松 | 一种甲状旁腺功能成像方法、系统及内镜 |
-
2021
- 2021-12-31 CN CN202111673424.0A patent/CN114098653A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090097022A1 (en) * | 2007-08-24 | 2009-04-16 | Dynamic Throughput Inc. | Discovery tool with integrated microfluidic biomarker optical detection array device and methods for use |
| CN108542497A (zh) * | 2018-03-06 | 2018-09-18 | 南京生命源医药实业有限公司 | 手术导航设备 |
| CN111970953A (zh) * | 2018-03-30 | 2020-11-20 | 光明之火生物科学公司 | 用于同时近红外光和可见光成像的系统和方法 |
| CN109924938A (zh) * | 2019-03-26 | 2019-06-25 | 华中科技大学苏州脑空间信息研究院 | 外置式双光源阴道镜成像系统 |
| CN111380843A (zh) * | 2019-06-28 | 2020-07-07 | 南京大学 | 一种高灵敏的可见-近红外双通道激光荧光显微镜的装置设计及其成像方法 |
| CN112190219A (zh) * | 2020-11-04 | 2021-01-08 | 王松 | 一种近红外光实时识别甲状旁腺腔镜系统及使用方法 |
| CN113520271A (zh) * | 2021-06-23 | 2021-10-22 | 王松 | 一种甲状旁腺功能成像方法、系统及内镜 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8547425B2 (en) | Fluorescence observation apparatus and fluorescence observation method | |
| EP2412294B1 (en) | Fluorescence observation system, fluorescence observation device, and fluorescence observation method | |
| US20140085686A1 (en) | Fluorescence observation device | |
| JPWO2018159363A1 (ja) | 内視鏡システム及びその作動方法 | |
| JP6017219B2 (ja) | 蛍光観察装置および蛍光観察システム | |
| WO2013024773A1 (ja) | 蛍光観察装置および蛍光観察システム並びに蛍光画像処理方法 | |
| EP2520211B1 (en) | Fluorescence endoscope device | |
| JPWO2018180631A1 (ja) | 医療用画像処理装置及び内視鏡システム並びに医療用画像処理装置の作動方法 | |
| US20020021355A1 (en) | Video endoscope system | |
| US20180110414A1 (en) | Photodynamic diagnostic device and photodynamic diagnostic method | |
| CN104010558A (zh) | 荧光观察装置、荧光观察方法以及荧光观察装置的工作方法 | |
| US20140128680A1 (en) | Fluorescence endoscope apparatus | |
| US20200305721A1 (en) | Near-Infrared Fluorescence Imaging for Blood Flow and Perfusion Visualization and Related Systems and Computer Program Products | |
| EP2520212B1 (en) | Fluorescence endoscope device | |
| US20210145248A1 (en) | Endoscope apparatus, operating method of endoscope apparatus, and information storage medium | |
| US11509870B2 (en) | Image acquisition system and image acquisition method | |
| JP2022044652A (ja) | 内視鏡システム | |
| JP2016067706A (ja) | プロセッサ装置、内視鏡システム、プロセッサ装置の作動方法、及びプログラム | |
| US20230283742A1 (en) | Imaging system having structural data enhancement for non-visible spectra | |
| US8158919B2 (en) | Image capturing system, image capturing method, and computer readable medium | |
| CN109549614B (zh) | 内窥镜系统 | |
| EP2589328B1 (en) | Image processing apparatus and image processing method | |
| CN109276230A (zh) | 一种短波红外肿瘤成像系统及方法 | |
| KR101325054B1 (ko) | 형광 영상을 촬영하는 장치 및 방법 | |
| CN114098653A (zh) | 一种多模态甲状旁腺识别系统及成像方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |