CN115409830A - 一种输尿管肾盂肿瘤的检测系统、装置及存储介质 - Google Patents
一种输尿管肾盂肿瘤的检测系统、装置及存储介质 Download PDFInfo
- Publication number
- CN115409830A CN115409830A CN202211207359.7A CN202211207359A CN115409830A CN 115409830 A CN115409830 A CN 115409830A CN 202211207359 A CN202211207359 A CN 202211207359A CN 115409830 A CN115409830 A CN 115409830A
- Authority
- CN
- China
- Prior art keywords
- tumor
- raman spectrum
- training
- neural network
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 42
- 201000008946 renal pelvis neoplasm Diseases 0.000 title claims abstract description 40
- 210000000626 ureter Anatomy 0.000 title claims abstract description 19
- 238000003860 storage Methods 0.000 title claims abstract description 13
- 208000026517 ureter neoplasm Diseases 0.000 title description 2
- 206010028980 Neoplasm Diseases 0.000 claims abstract description 197
- 238000001237 Raman spectrum Methods 0.000 claims abstract description 101
- 230000008595 infiltration Effects 0.000 claims abstract description 99
- 238000001764 infiltration Methods 0.000 claims abstract description 99
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 54
- 239000000523 sample Substances 0.000 claims abstract description 28
- 238000012549 training Methods 0.000 claims description 83
- 230000015654 memory Effects 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 18
- 238000013528 artificial neural network Methods 0.000 claims description 15
- 238000002372 labelling Methods 0.000 claims description 15
- 210000001519 tissue Anatomy 0.000 claims description 14
- 238000012360 testing method Methods 0.000 claims description 8
- 208000009458 Carcinoma in Situ Diseases 0.000 claims description 6
- 210000002808 connective tissue Anatomy 0.000 claims description 5
- 201000004933 in situ carcinoma Diseases 0.000 claims description 4
- 230000003387 muscular Effects 0.000 claims description 4
- 238000012795 verification Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 2
- 238000000034 method Methods 0.000 abstract description 6
- 230000000694 effects Effects 0.000 abstract description 5
- 201000010099 disease Diseases 0.000 abstract description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 abstract description 3
- 238000001069 Raman spectroscopy Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 5
- 230000005284 excitation Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001575 pathological effect Effects 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 230000036210 malignancy Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 206010044412 transitional cell carcinoma Diseases 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/307—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the urinary organs, e.g. urethroscopes, cystoscopes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0075—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
- A61B5/0084—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/776—Validation; Performance evaluation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30084—Kidney; Renal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Surgery (AREA)
- General Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Public Health (AREA)
- Pathology (AREA)
- Software Systems (AREA)
- Animal Behavior & Ethology (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Multimedia (AREA)
- Optics & Photonics (AREA)
- Urology & Nephrology (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Quality & Reliability (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本申请属于肿瘤检测技术领域，公开了一种输尿管肾盂肿瘤的检测系统、装置及存储介质，该系统包括：图像获取模块，用于通过拉曼光谱探头获取待检测肿瘤的拉曼光谱图像；模型检测模块，用于通过训练好的卷积神经网络模型对待检测肿瘤的拉曼光谱图像进行识别，得到待检测肿瘤的浸润深度和肿瘤类型；结果输出模块，用于输出待检测肿瘤的浸润深度和肿瘤类型。本申请可以达到提高对肿瘤的检测准确性和及时评估病情的效果。
Description
技术领域
本申请涉及肿瘤检测技术领域，尤其涉及一种输尿管肾盂肿瘤的检测系统、装置及存储介质。
背景技术
现有的输尿管肾盂肿瘤的检测方法主要是通过输尿管软镜/硬镜的头端摄像头进行实时拍摄，医生基于实时拍摄的图像来寻找哪里有肿瘤，初步判断肿瘤大小、形态及浸润情况，然后利用活检钳抓取组织标本进行病理检测，再结合病灶处的影像信息来判断病灶情况。然而，目前的方法只能判断肿瘤突出部分的情况，无法判断肿瘤的浸润深度，对局部病灶的判断能力有限，难以准确地评估患者肿瘤的恶性程度；而且医生需要等病理检测结果出来才能进行判断，对病灶情况的判断不及时。可见，现有技术存在对肿瘤的检测准确性差且无法及时评估病情的问题。
发明内容
本申请提供了一种输尿管肾盂肿瘤的检测系统、装置及存储介质，能够提高对肿瘤的检测准确性，并及时评估病情。
第一方面，本申请实施例提供了一种输尿管肾盂肿瘤的检测系统，该系统包括：
图像获取模块，用于通过拉曼光谱探头获取待检测肿瘤的拉曼光谱图像；
模型检测模块，用于通过训练好的卷积神经网络模型对待检测肿瘤的拉曼光谱图像进行识别，得到待检测肿瘤的浸润深度和肿瘤类型；其中，训练好的卷积神经网络模型是基于不同浸润深度的输尿管肾盂肿瘤的拉曼光谱图像训练得到的，训练好的卷积神经网络模型用于根据肿瘤的拉曼光谱图像得到该肿瘤的浸润深度，并根据该肿瘤的浸润深度确定该肿瘤对应的肿瘤类型；
结果输出模块，用于输出待检测肿瘤的浸润深度和肿瘤类型。
在其中一个实施例中，该系统还包括：
训练图像获取模块，用于获取多张训练图像，训练图像为标注有浸润深度和肿瘤类型的输尿管镜下检测位置的拉曼光谱图像；
神经网络训练模块，用于基于多张训练图像对预设的卷积神经网络模型进行训练，得到训练好的卷积神经网络模型。
在其中一个实施例中，训练图像获取模块包括：
原始图像获取单元，用于获取多张原始图像；多张原始图像包括不同浸润深度的输尿管肾盂肿瘤的拉曼光谱图像、无浸润的输尿管肾盂肿瘤的拉曼光谱图像及正常组织的拉曼光谱图像；
原始图像标注单元，用于获取多张原始图像中的每张原始图像对应的标注信息，并根据每张原始图像对应的标注信息对该原始图像进行标注，得到多张训练图像；标注信息包括浸润深度和肿瘤类型。
在其中一个实施例中，神经网络训练模块包括：
训练图像分配单元，用于按照预设比例将多张训练图像随机分配为训练集和测试集；
神经网络训练单元，用于通过训练集中的训练图像对预设的卷积神经网络模型进行训练；
神经网络验证单元，用于使用测试集中的训练图像对训练后的卷积神经网络模型进行验证，得到训练好的卷积神经网络模型。
在其中一个实施例中，结果输出模块具体用于将待检测肿瘤的浸润深度和肿瘤类型输出给显示设备进行显示。
在其中一个实施例中，不同浸润深度的输尿管肾盂肿瘤包括无浸润的原位癌、浸润上皮下结缔组织的T1期肿瘤及浸润肌层的T2期肿瘤。
第二方面，本申请另一实施例提供了一种输尿管肾盂肿瘤的检测装置，该装置包括软镜鞘、软镜镜头、拉曼光谱探头、手柄、显示设备及计算机设备；软镜镜头和拉曼光谱探头并行设于软镜鞘中，手柄设于软镜鞘末端的外侧，计算机设备设于软镜鞘末端且分别与软镜镜头、拉曼光谱探头及显示设备连接；
计算机设备包括处理器和存储器，存储器中存储有计算机程序，处理器调用存储器中的计算机程序时执行如下步骤：
通过拉曼光谱探头获取待检测肿瘤的拉曼光谱图像；
通过训练好的卷积神经网络模型对待检测肿瘤的拉曼光谱图像进行识别，得到待检测肿瘤的浸润深度和肿瘤类型；其中，训练好的卷积神经网络模型是基于不同浸润深度的输尿管肾盂肿瘤的拉曼光谱图像训练得到的，训练好的卷积神经网络模型用于根据肿瘤的拉曼光谱图像得到该肿瘤的浸润深度，并根据该肿瘤的浸润深度确定该肿瘤对应的肿瘤类型；
输出待检测肿瘤的浸润深度和肿瘤类型。
在其中一个实施例中，处理器调用存储器中的计算机程序时还执行如下步骤：
获取多张训练图像，训练图像为标注有浸润深度和肿瘤类型的输尿管镜下检测位置的拉曼光谱图像；
基于多张训练图像对预设的卷积神经网络模型进行训练，得到训练好的卷积神经网络模型。
在其中一个实施例中，处理器调用存储器中的计算机程序时执行输出待检测肿瘤的浸润深度和肿瘤类型的步骤，包括：
将待检测肿瘤的浸润深度和肿瘤类型输出给显示设备进行显示。
第三方面，本申请一实施例提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如下步骤：
通过拉曼光谱探头获取待检测肿瘤的拉曼光谱图像；
通过训练好的卷积神经网络模型对待检测肿瘤的拉曼光谱图像进行识别，得到待检测肿瘤的浸润深度和肿瘤类型；其中，训练好的卷积神经网络模型是基于不同浸润深度的输尿管肾盂肿瘤的拉曼光谱图像训练得到的，训练好的卷积神经网络模型用于根据肿瘤的拉曼光谱图像得到该肿瘤的浸润深度，并根据该肿瘤的浸润深度确定该肿瘤对应的肿瘤类型；
输出待检测肿瘤的浸润深度和肿瘤类型。
综上所述，与现有技术相比，本申请实施例提供的技术方案带来的有益效果至少包括：
本申请实施例提供的一种输尿管肾盂肿瘤的检测系统，可以在软镜头端除了配备摄像头外，还配备拉曼光谱探头，通过拉曼光谱探头获取待检测肿瘤的拉曼光谱图像；然后通过训练好的卷积神经网络模型对待检测肿瘤的拉曼光谱图像进行识别，得到待检测肿瘤的浸润深度和肿瘤类型；最后输出待检测肿瘤的浸润深度和肿瘤类型。其中，训练好的卷积神经网络模型是基于不同浸润深度的输尿管肾盂肿瘤的拉曼光谱图像训练得到的，可以通过识别不同类型肿瘤的拉曼光谱图像来自动判断肿瘤浸润深度，然后根据肿瘤浸润深度确定肿瘤类型。因此，上述系统可根据待检测肿瘤的拉曼光谱图像得到其浸润深度，并根据浸润深度确定待检测肿瘤的肿瘤类型，既能提高对肿瘤的检测准确性，又能及时对肿瘤情况进行判断，从而在术中探查过程中即可对肿瘤浸润情况进行初步评估。
附图说明
图1为本申请一个示例性实施例提供的输尿管肾盂肿瘤的检测系统的结构图。
图2为本申请另一个示例性实施例提供的输尿管肾盂肿瘤的检测系统的结构图。
图3为本申请另一个示例性实施例提供的训练图像获取模块的结构图。
图4为本申请另一个示例性实施例提供的神经网络训练模块的结构图。
图5为本申请一个示例性实施例提供的输尿管肾盂肿瘤的检测装置的结构图。
图中：1、软镜镜头；2、拉曼光谱探头；3、软镜鞘；4、手柄；5、计算机设备；6、显示设备。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的一个实施例提供了一种输尿管肾盂肿瘤的检测系统，请参见图1，该系统包括：
图像获取模块100，用于通过拉曼光谱探头获取待检测肿瘤的拉曼光谱图像。
其中，图像获取模块100可以为数据处理器的数据接收端口，接收拉曼光谱探头发送过来的待检测肿瘤的拉曼光谱图像。拉曼光谱(Raman spectra)是一种散射光谱。光照射到物质上发生弹性散射和非弹性散射。弹性散射的散射光是与激发光波长相同的成分,非弹性散射的散射光有比激发光波长长的和短的成分，统称为拉曼效应。拉曼效应是光子与光学支声子相互作用的结果。由于拉曼效应起源于分子振动与转动，因此从拉曼光谱图像中可以得到分子振动能级与转动能级结构的信息。
模型检测模块200，用于通过训练好的卷积神经网络模型对待检测肿瘤的拉曼光谱图像进行识别，得到待检测肿瘤的浸润深度和肿瘤类型。
其中，训练好的卷积神经网络模型是基于不同浸润深度的输尿管肾盂肿瘤的拉曼光谱图像训练得到的，训练好的卷积神经网络模型用于根据肿瘤的拉曼光谱图像得到该肿瘤的浸润深度，并根据该肿瘤的浸润深度确定该肿瘤对应的肿瘤类型。
具体实施时，卷积神经网络模型可以采用现有技术中常用的分类网络，例如VGG-16、DenseNet或ResNet等，除了本实施例中提及的上述分类网络外，本实施例还可通过其他常见的卷积神经网络进行肿瘤检测，同时本说明书中未作详细描述的内容均属于本领域技术人员公知的现有技术。
在一些实施方式中，不同浸润深度的输尿管肾盂肿瘤包括无浸润的原位癌、浸润上皮下结缔组织的T1期肿瘤及浸润肌层的T2期肿瘤。具体地，由于不同浸润深度的肿瘤对应的拉曼光谱图像中拉曼波峰参数不同，因此基于肿瘤浸润深度与拉曼波峰参数的对应关系，可将待检测肿瘤分为无浸润的原位癌、浸润上皮下结缔组织的T1期肿瘤及浸润肌层的T2期肿瘤。
结果输出模块300，用于输出待检测肿瘤的浸润深度和肿瘤类型。
具体地，结果输出模块可以用于将待检测肿瘤的浸润深度和肿瘤类型输出给显示设备进行显示，作为对影像的补充，便于查看该系统对肿瘤的初步评估结果，可以为临床诊断提供更加全面的证据。
上述实施例提供的一种输尿管肾盂肿瘤的检测系统，可以在软镜头端除了配备摄像头外，还配备拉曼光谱探头，通过拉曼光谱探头获取待检测肿瘤的拉曼光谱图像；然后通过训练好的卷积神经网络模型对待检测肿瘤的拉曼光谱图像进行识别，得到待检测肿瘤的浸润深度和肿瘤类型；最后输出待检测肿瘤的浸润深度和肿瘤类型。其中，训练好的卷积神经网络模型是基于不同浸润深度的输尿管肾盂肿瘤的拉曼光谱图像训练得到的，可以通过识别不同类型肿瘤的拉曼光谱图像来自动判断肿瘤浸润深度，然后根据肿瘤浸润深度确定肿瘤类型。因此，上述系统可根据待检测肿瘤的拉曼光谱图像得到其浸润深度，并根据浸润深度确定待检测肿瘤的肿瘤类型，既能提高对肿瘤的检测准确性，又能及时对肿瘤情况进行判断，从而在术中探查过程中即可对肿瘤浸润情况进行初步评估，实现输尿管肾盂肿瘤的自动检测。
在一些实施例中，为了得到训练好的卷积神经网络模型，请参见图2，该系统还包括：
训练图像获取模块400，用于获取多张训练图像，训练图像为标注有浸润深度和肿瘤类型的输尿管镜下检测位置的拉曼光谱图像。
其中，请参见图3，训练图像获取模块400包括：
原始图像获取单元401，用于获取多张原始图像；多张原始图像包括不同浸润深度的输尿管肾盂肿瘤的拉曼光谱图像、无浸润的输尿管肾盂肿瘤的拉曼光谱图像及正常组织的拉曼光谱图像。
具体实施时，为了更好地训练卷积神经网络模型，获取的原始图像的数量应不少于一定数量，比如500张、800张、1000张或更大数值。
原始图像标注单元402，用于获取多张原始图像中的每张原始图像对应的标注信息，并根据每张原始图像对应的标注信息对该原始图像进行标注，得到多张训练图像；标注信息包括浸润深度和肿瘤类型。
其中，在原始图像为不同浸润深度的输尿管肾盂肿瘤的拉曼光谱图像时，其对应的标注信息中浸润深度为肿瘤实际上的浸润深度值或浸润深度范围，标注的肿瘤类型为浸润上皮下结缔组织的T1期肿瘤或浸润肌层的T2期肿瘤；在原始图像为无浸润的原位癌的拉曼光谱图像时，其对应的标注信息中浸润深度为零；在原始图像为正常组织的拉曼光谱图像时，只需标注该原始图像为正常组织，可以不标注其对应的浸润深度为零，或将其对应的浸润深度标注为空值。
例如：正常组织的拉曼光谱位于860cm-1～1939cm-1处的拉曼谱线强度明显比癌变组织中的相应光谱强度高，并且在1555cm-1～1560cm-1波数范围内处有明显的拉曼峰；相较于正常组织，无浸润的原位癌组织的拉曼光谱特性在1650cm-1～1760cm-1处的峰值发生了下降，而在1850cm-1～1960cm-1处的峰值发生了升高；T1期肿瘤组织的拉曼光谱特性在1950cm-1～2050cm-1处的峰值发生了下降，而在2050cm-1～2170cm-1处的峰值发生了升高；T2期肿瘤组织的拉曼光谱特性在2150cm-1～2250cm-1处的峰值发生了下降，而在2250cm-1～2370cm-1处的峰值发生了升高；正常组织和肿瘤组织的光谱的形状在2350cm-1～2470cm-1区间也存在着明显的差异。
具体实施时，医生可以在手术过程中利用拉曼光谱图像来检测不同尿路上皮细胞癌对应的拉曼波峰参数，并将同一病例的拉曼波峰参数与其影像学资料和术后标本检测结果进行对应，从而确定不同浸润深度的肿瘤所表现出的不同的拉曼波峰参数。
神经网络训练模块500，用于基于多张训练图像对预设的卷积神经网络模型进行训练，得到训练好的卷积神经网络模型。
其中，请参见图4，神经网络训练模块500包括：
训练图像分配单元501，用于按照预设比例将多张训练图像随机分配为训练集和测试集。
其中，预设比例可以为八比二、六比四等。具体地，将多张训练图像中的80％分给训练集，余下的20％分给测试集。
神经网络训练单元502，用于通过训练集中的训练图像对预设的卷积神经网络模型进行训练。
具体地，神经网络训练单元502通过训练集对卷积神经网络模型进行训练，卷积神经网络模型提取出训练图像中肿瘤的拉曼峰值参数，并基于拉曼峰值参数判断肿瘤浸润深度，将卷积神经网络模型判断的肿瘤浸润深度与标注的实际浸润深度进行对比来持续优化卷积神经网络模型，使得训练后的卷积神经网络模型具备更高的准确性。
神经网络验证单元503，用于使用测试集中的训练图像对训练后的卷积神经网络模型进行验证，得到训练好的卷积神经网络模型。
上述实施例可以利用训练集对卷积神经网络模型进行训练，再利用测试集对训练后的卷积神经网络模型进行验证，进一步保证训练好的卷积神经网络模型对肿瘤的检测准确性。
本申请的一个实施例提供了一种输尿管肾盂肿瘤的检测装置，请参见图5，该装置包括软镜镜头1、拉曼光谱探头2、软镜鞘3、手柄4、计算机设备5及显示设备6；软镜镜头1和拉曼光谱探头2并行设于软镜鞘3中，手柄4设于软镜鞘3末端的外侧，计算机设备5设于软镜鞘3末端且分别与软镜镜头1、拉曼光谱探头2及显示设备6连接。
计算机设备5包括处理器和存储器，存储器中存储有计算机程序，处理器调用存储器中的计算机程序时执行如下步骤：
通过拉曼光谱探头2获取待检测肿瘤的拉曼光谱图像。
通过训练好的卷积神经网络模型对待检测肿瘤的拉曼光谱图像进行识别，得到待检测肿瘤的浸润深度和肿瘤类型；其中，训练好的卷积神经网络模型是基于不同浸润深度的输尿管肾盂肿瘤的拉曼光谱图像训练得到的，训练好的卷积神经网络模型用于根据肿瘤的拉曼光谱图像得到该肿瘤的浸润深度，并根据该肿瘤的浸润深度确定该肿瘤对应的肿瘤类型。
输出待检测肿瘤的浸润深度和肿瘤类型。
其中，软镜镜头1、软镜鞘3和手柄4可以使用现有技术中的输尿管软镜结构，在软镜鞘3中增设拉曼光谱探头2，软镜镜头1拍摄的影像数据和拉曼光谱探头2获取到的拉曼光谱图像都被发送给计算机设备5进行处理。本说明书中未作详细描述的内容均属于本领域技术人员公知的现有技术。
具体地，医生将软镜鞘3伸入患者体内，通过显示设备6查看软镜镜头1实时拍摄的影像来寻找肿瘤，发现肿瘤后，利用拉曼光谱探头2检测该肿瘤的拉曼光谱图像，计算机设备5获取到肿瘤的拉曼光谱图像之后，通过训练好的卷积神经网络模型进行识别，输出该肿瘤的浸润深度和肿瘤类型。
对于本实施例中上述步骤的说明，请参见上述各系统实施例中对于图像获取模块100、模型检测模块200及结果输出模块300的说明内容，在此不再加以赘述。
在一些实施例中，处理器调用存储器中的计算机程序时还执行如下步骤：
获取多张训练图像，训练图像为标注有浸润深度和肿瘤类型的输尿管镜下检测位置的拉曼光谱图像；
基于多张训练图像对预设的卷积神经网络模型进行训练，得到训练好的卷积神经网络模型。
对于本实施例中上述步骤的说明，请参见上述各系统实施例中对于训练图像获取模块400和神经网络训练模块500的说明内容，在此不再加以赘述。
在一些实施例中，处理器调用存储器中的计算机程序时执行输出待检测肿瘤的浸润深度和肿瘤类型的步骤，包括：将待检测肿瘤的浸润深度和肿瘤类型输出给显示设备进行显示。
对于本实施例中上述步骤的说明，请参见上述各系统实施例中对于结果输出模块300的说明内容，在此不再加以赘述。
具体实施时，该计算机设备可以是终端，处理器用于提供计算和控制能力，存储器包括非易失性存储介质和内存储器，非易失性存储介质存储有操作系统和计算机程序，内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。
本申请的一个实施例提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如上述各实施例中输尿管肾盂肿瘤的检测装置的计算机设备所执行的步骤。
其中，所述计算机可读存储介质是指存储数据的载体，可以但不限于包括软盘、光盘、硬盘、闪存、优盘和/或记忆棒(Memory Stick)等，所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。
本实施例中提供的计算机可读存储介质的工作过程、工作细节和技术效果，可以参见上文中关于输尿管肾盂肿瘤的检测系统的实施例，于此不再赘述。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置或装置实施例而言，由于其基本相似于系统实施例，所以描述得比较简单，相关之处参见系统实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上对本申请所提供的技术方案进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方案及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本申请的限制。
以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (10)
1.一种输尿管肾盂肿瘤的检测系统，其特征在于，所述系统包括：
图像获取模块，用于通过拉曼光谱探头获取待检测肿瘤的拉曼光谱图像；
模型检测模块，用于通过训练好的卷积神经网络模型对所述待检测肿瘤的拉曼光谱图像进行识别，得到所述待检测肿瘤的浸润深度和肿瘤类型；其中，所述训练好的卷积神经网络模型是基于不同浸润深度的输尿管肾盂肿瘤的拉曼光谱图像训练得到的，所述训练好的卷积神经网络模型用于根据肿瘤的拉曼光谱图像得到该肿瘤的浸润深度，并根据该肿瘤的浸润深度确定该肿瘤对应的肿瘤类型；
结果输出模块，用于输出所述待检测肿瘤的浸润深度和肿瘤类型。
2.根据权利要求1所述的系统，其特征在于，所述系统还包括：
训练图像获取模块，用于获取多张训练图像，所述训练图像为标注有浸润深度和肿瘤类型的输尿管镜下检测位置的拉曼光谱图像；
神经网络训练模块，用于基于所述多张训练图像对预设的卷积神经网络模型进行训练，得到所述训练好的卷积神经网络模型。
3.根据权利要求2所述的系统，其特征在于，所述训练图像获取模块包括：
原始图像获取单元，用于获取多张原始图像；所述多张原始图像包括不同浸润深度的输尿管肾盂肿瘤的拉曼光谱图像、无浸润的输尿管肾盂肿瘤的拉曼光谱图像及正常组织的拉曼光谱图像；
原始图像标注单元，用于获取所述多张原始图像中的每张原始图像对应的标注信息，并根据每张原始图像对应的标注信息对该原始图像进行标注，得到所述多张训练图像；所述标注信息包括浸润深度和肿瘤类型。
4.根据权利要求3所述的系统，其特征在于，所述神经网络训练模块包括：
训练图像分配单元，用于按照预设比例将所述多张训练图像随机分配为训练集和测试集；
神经网络训练单元，用于通过所述训练集中的训练图像对预设的卷积神经网络模型进行训练；
神经网络验证单元，用于使用所述测试集中的训练图像对训练后的卷积神经网络模型进行验证，得到所述训练好的卷积神经网络模型。
5.根据权利要求1至4任一项所述的系统，其特征在于，所述结果输出模块具体用于将所述待检测肿瘤的浸润深度和肿瘤类型输出给显示设备进行显示。
6.根据权利要求1所述的系统，其特征在于，所述不同浸润深度的输尿管肾盂肿瘤包括无浸润的原位癌、浸润上皮下结缔组织的T1期肿瘤及浸润肌层的T2期肿瘤。
7.一种输尿管肾盂肿瘤的检测装置，其特征在于，所述装置包括软镜鞘、软镜镜头、拉曼光谱探头、手柄、显示设备及计算机设备；所述软镜镜头和所述拉曼光谱探头并行设于所述软镜鞘中，所述手柄设于所述软镜鞘末端的外侧，所述计算机设备设于所述软镜鞘末端且分别与所述软镜镜头、所述拉曼光谱探头及所述显示设备连接；
所述计算机设备包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时执行如下步骤：
通过所述拉曼光谱探头获取待检测肿瘤的拉曼光谱图像；
通过训练好的卷积神经网络模型对所述待检测肿瘤的拉曼光谱图像进行识别，得到所述待检测肿瘤的浸润深度和肿瘤类型；其中，所述训练好的卷积神经网络模型是基于不同浸润深度的输尿管肾盂肿瘤的拉曼光谱图像训练得到的，所述训练好的卷积神经网络模型用于根据肿瘤的拉曼光谱图像得到该肿瘤的浸润深度，并根据该肿瘤的浸润深度确定该肿瘤对应的肿瘤类型；
输出所述待检测肿瘤的浸润深度和肿瘤类型。
8.根据权利要求7所述的装置，其特征在于，所述处理器调用所述存储器中的计算机程序时还执行如下步骤：
获取多张训练图像，所述训练图像为标注有浸润深度和肿瘤类型的输尿管镜下检测位置的拉曼光谱图像；
基于所述多张训练图像对预设的卷积神经网络模型进行训练，得到所述训练好的卷积神经网络模型。
9.根据权利要求7或8所述的装置，其特征在于，所述处理器调用所述存储器中的计算机程序时执行所述输出所述待检测肿瘤的浸润深度和肿瘤类型的步骤，包括：
将所述待检测肿瘤的浸润深度和肿瘤类型输出给所述显示设备进行显示。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行时实现如下步骤：
通过所述拉曼光谱探头获取待检测肿瘤的拉曼光谱图像；
通过训练好的卷积神经网络模型对所述待检测肿瘤的拉曼光谱图像进行识别，得到所述待检测肿瘤的浸润深度和肿瘤类型；其中，所述训练好的卷积神经网络模型是基于不同浸润深度的输尿管肾盂肿瘤的拉曼光谱图像训练得到的，所述训练好的卷积神经网络模型用于根据肿瘤的拉曼光谱图像得到该肿瘤的浸润深度，并根据该肿瘤的浸润深度确定该肿瘤对应的肿瘤类型；
输出所述待检测肿瘤的浸润深度和肿瘤类型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211207359.7A CN115409830A (zh) | 2022-09-30 | 2022-09-30 | 一种输尿管肾盂肿瘤的检测系统、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211207359.7A CN115409830A (zh) | 2022-09-30 | 2022-09-30 | 一种输尿管肾盂肿瘤的检测系统、装置及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115409830A true CN115409830A (zh) | 2022-11-29 |
Family
ID=84167832
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211207359.7A Pending CN115409830A (zh) | 2022-09-30 | 2022-09-30 | 一种输尿管肾盂肿瘤的检测系统、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115409830A (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015154187A1 (en) * | 2014-04-08 | 2015-10-15 | Polyvalor, Limited Partnership | System and method for assessing a cancer status of biological tissue |
| US20180315506A1 (en) * | 2017-04-28 | 2018-11-01 | 4D Path Inc. | Apparatus, systems, and methods for rapid cancer detection |
| CN110728239A (zh) * | 2019-10-14 | 2020-01-24 | 青岛大学 | 一种利用深度学习的胃癌增强ct图像自动识别系统 |
| CN111091527A (zh) * | 2018-10-24 | 2020-05-01 | 华中科技大学 | 一种病理组织切片图像中病变区域自动检测方法及系统 |
| CN111210909A (zh) * | 2020-01-13 | 2020-05-29 | 青岛大学附属医院 | 一种基于深度神经网络的直肠癌t分期自动诊断系统及其构建方法 |
| CN111770720A (zh) * | 2018-01-17 | 2020-10-13 | 奥迪思医疗公司 | 用于实时拉曼光谱法以进行癌症检测的系统和方法 |
| CN112200770A (zh) * | 2020-09-08 | 2021-01-08 | 浙江大学山东工业技术研究院 | 一种基于拉曼光谱和卷积神经网络的肿瘤检测方法 |
| CN112651927A (zh) * | 2020-12-03 | 2021-04-13 | 北京信息科技大学 | 一种基于卷积神经网络与支持向量机的拉曼光谱智能识别方法 |
| CN113035292A (zh) * | 2021-04-21 | 2021-06-25 | 复旦大学 | 一种脑胶质瘤浸润区域pH值测定方法及系统 |
| CN114140378A (zh) * | 2021-09-26 | 2022-03-04 | 上海联影智能医疗科技有限公司 | 扫描图像处理方法、电子设备和可读介质 |
| CN114548322A (zh) * | 2022-03-04 | 2022-05-27 | 桂林医学院 | 一种基于CNN和ViT的胃癌浸润程度分类方法 |
| CN114923893A (zh) * | 2022-06-02 | 2022-08-19 | 西北大学 | 一种无损免标记快速乳腺癌拉曼光谱病理分级分期方法 |
-
2022
- 2022-09-30 CN CN202211207359.7A patent/CN115409830A/zh active Pending
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015154187A1 (en) * | 2014-04-08 | 2015-10-15 | Polyvalor, Limited Partnership | System and method for assessing a cancer status of biological tissue |
| US20180315506A1 (en) * | 2017-04-28 | 2018-11-01 | 4D Path Inc. | Apparatus, systems, and methods for rapid cancer detection |
| CN111770720A (zh) * | 2018-01-17 | 2020-10-13 | 奥迪思医疗公司 | 用于实时拉曼光谱法以进行癌症检测的系统和方法 |
| CN111091527A (zh) * | 2018-10-24 | 2020-05-01 | 华中科技大学 | 一种病理组织切片图像中病变区域自动检测方法及系统 |
| CN110728239A (zh) * | 2019-10-14 | 2020-01-24 | 青岛大学 | 一种利用深度学习的胃癌增强ct图像自动识别系统 |
| CN111210909A (zh) * | 2020-01-13 | 2020-05-29 | 青岛大学附属医院 | 一种基于深度神经网络的直肠癌t分期自动诊断系统及其构建方法 |
| CN112200770A (zh) * | 2020-09-08 | 2021-01-08 | 浙江大学山东工业技术研究院 | 一种基于拉曼光谱和卷积神经网络的肿瘤检测方法 |
| CN112651927A (zh) * | 2020-12-03 | 2021-04-13 | 北京信息科技大学 | 一种基于卷积神经网络与支持向量机的拉曼光谱智能识别方法 |
| CN113035292A (zh) * | 2021-04-21 | 2021-06-25 | 复旦大学 | 一种脑胶质瘤浸润区域pH值测定方法及系统 |
| CN114140378A (zh) * | 2021-09-26 | 2022-03-04 | 上海联影智能医疗科技有限公司 | 扫描图像处理方法、电子设备和可读介质 |
| CN114548322A (zh) * | 2022-03-04 | 2022-05-27 | 桂林医学院 | 一种基于CNN和ViT的胃癌浸润程度分类方法 |
| CN114923893A (zh) * | 2022-06-02 | 2022-08-19 | 西北大学 | 一种无损免标记快速乳腺癌拉曼光谱病理分级分期方法 |
Non-Patent Citations (5)
| Title |
|---|
| KEISUKE KUBOTA 等: "Medical image analysis: computer-aided diagnosis of gastric cancer invasion on endoscopic images" * |
| YAN ZHU 等: "Application of convolutional neural network in the diagnosis of the invasion depth of gastric cancer based on conventional endoscopy" * |
| 孙惠昕 等: "人工智能在癌症筛查中的研究进展" * |
| 李佳朔 等: "经尿道膀胱肿瘤整体剜除术治疗非肌层浸润性膀胱癌的研究进展" * |
| 王磊 等: "新型膀胱肿瘤光学诊断技术研究进展" * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11984217B2 (en) | Method and apparatus for processing histological image captured by medical imaging device | |
| US20030207250A1 (en) | Methods of diagnosing disease | |
| Das et al. | Elimination of specular reflection and identification of ROI: The first step in automated detection of Cervical Cancer using Digital Colposcopy | |
| CN111553892B (zh) | 基于深度学习的肺结节分割计算方法、装置及系统 | |
| CN111653365B (zh) | 一种鼻咽癌辅助诊断模型构建和辅助诊断方法及系统 | |
| CA2483420A1 (en) | Bio-spectral imaging system and methods for diagnosing cell disease state | |
| JP2014529158A (ja) | 生物試料をスペクトル画像により分析する方法およびシステム。 | |
| Guo et al. | Deep learning for assessing image focus for automated cervical cancer screening | |
| CN115049666B (zh) | 基于彩色小波协方差深度图模型的内镜虚拟活检装置 | |
| Bai et al. | Automatic segmentation of cervical region in colposcopic images using K-means | |
| US20110110575A1 (en) | Dental caries detector | |
| CN110946552B (zh) | 一种结合光谱和图像的宫颈癌前病变筛查方法 | |
| JP2016514869A (ja) | スペクトル画像による生物試料の分析方法およびシステム | |
| US10921252B2 (en) | Image processing apparatus and method of operating image processing apparatus | |
| US11633145B2 (en) | Specimen imaging with x-ray and optical measurement | |
| Domingues et al. | Computer vision in esophageal cancer: a literature review | |
| Das et al. | Preprocessing for automating early detection of cervical cancer | |
| Aggarwal et al. | Applications of multispectral and hyperspectral imaging in dermatology | |
| CN110693458A (zh) | 基于近红外自体荧光的术中实时甲状旁腺识别方法 | |
| Guidozzi et al. | The role of artificial intelligence in the endoscopic diagnosis of esophageal cancer: a systematic review and meta-analysis | |
| WO2022015728A1 (en) | Cellular diagnostic and analysis methods | |
| CN115409830A (zh) | 一种输尿管肾盂肿瘤的检测系统、装置及存储介质 | |
| CN114998644B (zh) | 肿瘤诊断系统及其构建方法、终端设备及存储介质 | |
| CN112884762A (zh) | 基于人工智能的胃活检组织学分型系统及分型方法 | |
| Tarnawski et al. | The role of computer-assisted analysis in the evaluation of nuclear characteristics for the diagnosis of precancerous and cancerous lesions by contact laryngoscopy |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20221129 |
|
| RJ01 | Rejection of invention patent application after publication |