CN110648304A - 一种手持硬质内窥镜智能辅助诊断方法 - Google Patents
一种手持硬质内窥镜智能辅助诊断方法 Download PDFInfo
- Publication number
- CN110648304A CN110648304A CN201810592408.0A CN201810592408A CN110648304A CN 110648304 A CN110648304 A CN 110648304A CN 201810592408 A CN201810592408 A CN 201810592408A CN 110648304 A CN110648304 A CN 110648304A
- Authority
- CN
- China
- Prior art keywords
- focus
- learning model
- deep learning
- lesion
- auxiliary diagnosis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003745 diagnosis Methods 0.000 title claims abstract description 51
- 238000000034 method Methods 0.000 title claims abstract description 27
- 230000003902 lesion Effects 0.000 claims abstract description 61
- 238000013136 deep learning model Methods 0.000 claims abstract description 51
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 238000000605 extraction Methods 0.000 claims abstract description 7
- 238000001839 endoscopy Methods 0.000 claims abstract description 6
- 238000010276 construction Methods 0.000 claims description 3
- 238000012847 principal component analysis method Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000013480 data collection Methods 0.000 claims 1
- 238000002405 diagnostic procedure Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 5
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 230000007547 defect Effects 0.000 description 2
- 230000002349 favourable effect Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000011369 optimal treatment Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Endoscopes (AREA)
Abstract
本发明公开了一种手持硬质内窥镜智能辅助诊断方法，包括如下步骤：S1)采集影像数据、构建训练样本集，包含影像数据预处理、病灶图像提取与病灶区域手工勾画；S2)生成智能辅助诊断深度学习模型，其包含病灶识别深度学习模型，病变辅助诊断深度学习模型，病灶自动勾画深度学习模型；S3)手持硬质内窥镜智能辅助诊断，在内窥镜检查过程中，辅助诊断实时同步进行，包含以下步骤：A1)病灶实时检测与识别；A2)病变类型实时判断；A3)病灶边缘实时自动勾画。本发明通过训练学习生成了病灶识别深度学习模型，病变辅助诊断深度学习模型，病灶自动勾画深度学习模型。因此，本发明有利于改善手持硬质内窥镜检查的效果与效率。
Description
技术领域
本发明涉及内窥镜智能辅助诊断技术领域，尤其涉及一种手持硬质内窥镜智能辅助诊断方法。
背景技术
内窥镜是一种广泛应用于外科手术和常规医疗检查的医疗器械，用于观察病人的病灶特征以便于医生得出最佳的治疗方案。手持硬质内窥镜能够有效克服现有设备复杂、使用不方便等缺点。而针对手持硬质内窥镜进行智能模型的训练和学习，用于辅助诊断，将显著改善内窥镜检查的效果与效率。
发明内容
针对现有技术的上述缺陷，本发明提供一种手持硬质内窥镜智能辅助诊断方法，通过手持硬质内窥镜智能辅助诊断方法有利于改善手持硬质内窥镜检查的效果与效率。
为了解决上述技术问题，本发明提供了如下的技术方案：
本发明提供一种手持硬质内窥镜智能辅助诊断方法，包括如下步骤：
S1)采集影像数据、构建训练样本集，包含影像数据预处理、病灶图像提取与病灶区域手工勾画；
S2)生成智能辅助诊断深度学习模型，其包含病灶识别深度学习模型，病变辅助诊断深度学习模型，病灶自动勾画深度学习模型；
S3)手持硬质内窥镜智能辅助诊断，在内窥镜检查过程中，辅助诊断实时同步进行，包含以下步骤：
A1)病灶实时检测与识别；
A2)病变类型实时判断；
A3)病灶边缘实时自动勾画。
作为本发明的一种优选技术方案，在步骤S1)中影像数据采集与训练样本集的构建包含影像数据预处理、病灶图像提取与病灶区手工勾画，其中：
影像数据预处理使用鲁棒主成分分析方法对手持硬质内窥镜所采集的影像视频数据分解成一组单帧图像进行去噪；
病灶图像提取与病灶区域手工勾画将包含病灶的单帧图像提取出来，并由医生对病灶边缘进行手工勾画；
所构建的训练样本集包含3个，病灶识别样本集输入为采集到影像视频数据所分解出的所有单帧图像，病变类型判断样本集输入为提取出的包含病灶的所有单帧图像，输出为其对应的病变类型，病灶自动勾画样本集输入为提取出的包含病灶的所有单帧图像，输出为经过手工勾画后包含病灶边缘的所有单帧图像。
作为本发明的一种优选技术方案，在步骤S2)中生成智能辅助诊断深度学习模型，其包含病灶识别深度学习模型、病变辅助诊断深度学习模型、病灶自动勾画深度学习模型，其中：
病灶识别深度学习模型，利用病灶识别样本集进行训练，使用在ImageNet上训练的 CNN分类网络作为预训练网络，进行有无病灶的二分类判别；
病变辅助诊断深度学习模型，利用病变类型判断样本集进行训练，使用在ImageNet 上训练的CNN分类网络作为预训练网络，进行病变类型多分类判别；
病灶自动勾画深度学习模型，利用病灶自动勾画样本集进行训练，在病变辅助诊断深度学习模型基础上，构造其对称网络，通过训练微调完成病灶区域的语义分割，从而自动勾画出病灶边缘。
本发明一种手持硬质内窥镜智能辅助诊断方法具有以下优点：手持硬质内窥镜智能辅助诊断方法生成智能辅助诊断深度学习模型，通过训练学习生成了病灶识别深度学习模型，病变辅助诊断深度学习模型，病灶自动勾画深度学习模型。因此，本发明的手持硬质内窥镜智能辅助诊断方法有利于改善手持硬质内窥镜检查的效果与效率。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
在附图中：
图1为本发明手持硬质内窥镜智能辅助诊断方法优选实施例的流程图。
具体实施方式
以下对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
实施例
实施例
如图1所示，本发明一种手持硬质内窥镜智能辅助诊断方法，包括如下步骤：
S1)采集影像数据、构建训练样本集，包含影像数据预处理、病灶图像提取与病灶区域手工勾画；
S2)生成智能辅助诊断深度学习模型，其包含病灶识别深度学习模型，病变辅助诊断深度学习模型，病灶自动勾画深度学习模型；
S3)手持硬质内窥镜智能辅助诊断，在内窥镜检查过程中，辅助诊断实时同步进行，包含以下步骤：
A1)病灶实时检测与识别；
A2)病变类型实时判断；
A3)病灶边缘实时自动勾画。
进一步的，在步骤S1)中影像数据采集与训练样本集的构建包含影像数据预处理、病灶图像提取与病灶区手工勾画，其中：
影像数据预处理使用鲁棒主成分分析方法对手持硬质内窥镜所采集的影像视频数据分解成一组单帧图像进行去噪；
病灶图像提取与病灶区域手工勾画将包含病灶的单帧图像提取出来，并由医生对病灶边缘进行手工勾画；
所构建的训练样本集包含3个，病灶识别样本集输入为采集到影像视频数据所分解出的所有单帧图像，病变类型判断样本集输入为提取出的包含病灶的所有单帧图像，输出为其对应的病变类型，病灶自动勾画样本集输入为提取出的包含病灶的所有单帧图像，输出为经过手工勾画后包含病灶边缘的所有单帧图像。
进一步的，在步骤S2)中生成智能辅助诊断深度学习模型，其包含病灶识别深度学习模型、病变辅助诊断深度学习模型、病灶自动勾画深度学习模型，其中：
病灶识别深度学习模型，利用病灶识别样本集进行训练，使用在ImageNet上训练的 CNN分类网络作为预训练网络，进行有无病灶的二分类判别；
病变辅助诊断深度学习模型，利用病变类型判断样本集进行训练，使用在ImageNet 上训练的CNN分类网络作为预训练网络，进行病变类型多分类判别；
病灶自动勾画深度学习模型，利用病灶自动勾画样本集进行训练，在病变辅助诊断深度学习模型基础上，构造其对称网络，通过训练微调完成病灶区域的语义分割，从而自动勾画出病灶边缘。
本发明一种手持硬质内窥镜智能辅助诊断方法生成智能辅助诊断深度学习模型，通过训练学习生成了病灶识别深度学习模型，病变辅助诊断深度学习模型，病灶自动勾画深度学习模型。因此，本发明的手持硬质内窥镜智能辅助诊断方法有利于改善手持硬质内窥镜检查的效果与效率。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (3)
1.一种手持硬质内窥镜智能辅助诊断方法，其特征在于，包括如下步骤：
S1)采集影像数据、构建训练样本集，包含影像数据预处理、病灶图像提取与病灶区域手工勾画；
S2)生成智能辅助诊断深度学习模型，其包含病灶识别深度学习模型，病变辅助诊断深度学习模型，病灶自动勾画深度学习模型；
S3)手持硬质内窥镜智能辅助诊断，在内窥镜检查过程中，辅助诊断实时同步进行，包含以下步骤：
A1)病灶实时检测与识别；
A2)病变类型实时判断；
A3)病灶边缘实时自动勾画。
2.根据权利要求1所述的一种手持硬质内窥镜智能辅助诊断方法，其特征在于，在步骤S1)中影像数据采集与训练样本集的构建包含影像数据预处理、病灶图像提取与病灶区手工勾画，其中：
影像数据预处理使用鲁棒主成分分析方法对手持硬质内窥镜所采集的影像视频数据分解成一组单帧图像进行去噪；
病灶图像提取与病灶区域手工勾画将包含病灶的单帧图像提取出来，并由医生对病灶边缘进行手工勾画；
所构建的训练样本集包含3个，病灶识别样本集输入为采集到影像视频数据所分解出的所有单帧图像，病变类型判断样本集输入为提取出的包含病灶的所有单帧图像，输出为其对应的病变类型，病灶自动勾画样本集输入为提取出的包含病灶的所有单帧图像，输出为经过手工勾画后包含病灶边缘的所有单帧图像。
3.根据权利要求2所述的一种手持硬质内窥镜智能辅助诊断方法，其特征在于，在步骤S2)中生成智能辅助诊断深度学习模型，其包含病灶识别深度学习模型、病变辅助诊断深度学习模型、病灶自动勾画深度学习模型，其中：
病灶识别深度学习模型，利用病灶识别样本集进行训练，使用在ImageNet上训练的CNN分类网络作为预训练网络，进行有无病灶的二分类判别；
病变辅助诊断深度学习模型，利用病变类型判断样本集进行训练，使用在ImageNet上训练的CNN分类网络作为预训练网络，进行病变类型多分类判别；
病灶自动勾画深度学习模型，利用病灶自动勾画样本集进行训练，在病变辅助诊断深度学习模型基础上，构造其对称网络，通过训练微调完成病灶区域的语义分割，从而自动勾画出病灶边缘。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810592408.0A CN110648304A (zh) | 2018-06-11 | 2018-06-11 | 一种手持硬质内窥镜智能辅助诊断方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810592408.0A CN110648304A (zh) | 2018-06-11 | 2018-06-11 | 一种手持硬质内窥镜智能辅助诊断方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110648304A true CN110648304A (zh) | 2020-01-03 |
Family
ID=69008642
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810592408.0A Pending CN110648304A (zh) | 2018-06-11 | 2018-06-11 | 一种手持硬质内窥镜智能辅助诊断方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110648304A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112788300A (zh) * | 2021-01-20 | 2021-05-11 | 肖志宏 | 一种新型关节腔内窥镜及其控制方法 |
| CN113469229A (zh) * | 2021-06-18 | 2021-10-01 | 中山大学孙逸仙纪念医院 | 一种基于深度学习的乳腺癌病灶自动标注方法及装置 |
| CN113744266A (zh) * | 2021-11-03 | 2021-12-03 | 武汉楚精灵医疗科技有限公司 | 一种病灶检测框的显示方法、装置、电子设备及存储介质 |
| CN114049934A (zh) * | 2021-11-10 | 2022-02-15 | 富士胶片（中国）投资有限公司 | 辅助诊断方法、装置、系统、设备和介质 |
-
2018
- 2018-06-11 CN CN201810592408.0A patent/CN110648304A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112788300A (zh) * | 2021-01-20 | 2021-05-11 | 肖志宏 | 一种新型关节腔内窥镜及其控制方法 |
| CN113469229A (zh) * | 2021-06-18 | 2021-10-01 | 中山大学孙逸仙纪念医院 | 一种基于深度学习的乳腺癌病灶自动标注方法及装置 |
| CN113744266A (zh) * | 2021-11-03 | 2021-12-03 | 武汉楚精灵医疗科技有限公司 | 一种病灶检测框的显示方法、装置、电子设备及存储介质 |
| CN114049934A (zh) * | 2021-11-10 | 2022-02-15 | 富士胶片（中国）投资有限公司 | 辅助诊断方法、装置、系统、设备和介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110648304A (zh) | 一种手持硬质内窥镜智能辅助诊断方法 | |
| JP6231885B2 (ja) | 頸部を検査する医療機器 | |
| CN109858540B (zh) | 一种基于多模态融合的医学图像识别系统及方法 | |
| CN108388841B (zh) | 基于多特征深度神经网络的宫颈活检区域识别方法及装置 | |
| US8958621B2 (en) | Corneal graft evaluation based on optical coherence tomography image | |
| CN113888518A (zh) | 一种基于深度学习分割、分类多任务的喉咽内镜肿瘤检测及良恶性分类方法 | |
| CN108229584A (zh) | 一种基于深度学习的多模态医学影像识别方法及装置 | |
| CN110338759B (zh) | 一种正面疼痛表情数据采集方法 | |
| CN104331694A (zh) | 医疗影像特征区域实时提取和标示方法 | |
| CN113129287A (zh) | 一种针对上消化道内镜影像的病灶自动留图方法 | |
| CN111839445A (zh) | 一种基于图像识别的结肠镜手术中窄带成像检测方法 | |
| CN108596174A (zh) | 一种皮肤病影像的病灶定位方法 | |
| Ahmed et al. | Cataract density ratio analysis under color image processing approach | |
| JP2022137211A (ja) | 内視鏡システム | |
| CN113786239A (zh) | 胃部消化道下手术器械追踪和实时预警的方法和系统 | |
| CN109241963A (zh) | 基于Adaboost机器学习的胶囊胃镜图像中出血点智能识别方法 | |
| CN113171053A (zh) | 一种融合近红外成像的内窥镜手术血管增强检测方法 | |
| CN109493340A (zh) | 一种胃镜下食管胃底静脉曲张辅助诊断系统及方法 | |
| Harangi et al. | Recognizing ureter and uterine artery in endoscopic images using a convolutional neural network | |
| WO2017193581A1 (zh) | 乳腺筛查图像自动处理系统及方法 | |
| US20240020823A1 (en) | Assistance diagnosis system for lung disease based on deep learning and assistance diagnosis method thereof | |
| Mithra et al. | Segmentation of mycobacterium tuberculosis bacterium from zn stained microscopic sputum images | |
| CN111126474B (zh) | 共聚焦激光显微内镜消化道图像识别方法及系统 | |
| WO2013150419A1 (en) | Quality-check during medical imaging procedure | |
| Remeseiro et al. | Automatic drusen detection from digital retinal images: AMD prevention |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200103 |
|
| WD01 | Invention patent application deemed withdrawn after publication |