CN114332056A - 一种基于目标检测算法的早期胃癌内镜实时辅助检测系统 - Google Patents
一种基于目标检测算法的早期胃癌内镜实时辅助检测系统 Download PDFInfo
- Publication number
- CN114332056A CN114332056A CN202111677304.8A CN202111677304A CN114332056A CN 114332056 A CN114332056 A CN 114332056A CN 202111677304 A CN202111677304 A CN 202111677304A CN 114332056 A CN114332056 A CN 114332056A
- Authority
- CN
- China
- Prior art keywords
- real
- gastric cancer
- endoscope
- early
- detection system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Endoscopes (AREA)
Abstract
本发明涉及一种基于目标检测算法的早期胃癌内镜实时辅助检测系统，建立基于Darknet53的Yolo检测模型，建模信息来源于对胃粘膜早期肿瘤性病变图像进行标注而得到的计算机可识别标注信息，所述的早期胃癌内镜实时辅助检测系统包括模型预测模块、图像获取模块和实时识别模块。本发明在普通光源或电子染色光源内镜检查下具有高敏感性提示能力的内镜辅诊系统，将深度学习技术应用于早期胃癌内镜实时辅助检测系统，通过使用该系统能够提高消化道重大疾病的早期检出率。
Description
技术领域
本发明涉及消化内镜检查技术和计算机视觉处理技术领域，具体涉及一种基于目标检测算法的早期胃癌内镜实时辅助检测系统。
背景技术
病灶检出是早期胃癌诊断的基础，其核心在于尽可能找出所有可疑病灶，保证不出现漏诊。胃镜结合活组织病理学检查(以下简称胃镜检查)是当前检出早期胃癌最主要的方法。由于不同内镜医师知识水平、操作经验等各不相同，内镜医师检查质量差异很大，经验不足的内镜医师常会出现漏诊。既往Meta分析显示，胃镜检查过程中胃癌漏诊率可高达10％。
为了提高内镜下病灶的检出率，防止漏诊，目前临床上在内镜检查时会采取一些辅助检查技术，如利用放大内镜观察胃黏膜血管形态，利用色素内镜或电子染色内镜增加对胃粘膜观察的准确性等。但是目前这些技术都属于被动应用，如何使用这些技术，何时让这些辅助技术介入到内镜观察，还有赖于医生的操作经验和意识。
发明内容
本发明的目的是针对上述问题提供一种基于目标检测算法的早期胃癌内镜实时辅助检测系统。
为实现上述目的，本发明提供的技术方案是：
一种基于目标检测算法的早期胃癌内镜实时辅助检测系统，建立基于Darknet53的Yolo检测模型，建模信息来源于对胃粘膜早期肿瘤性病变图像进行标注而得到的计算机可识别标注信息，所述的早期胃癌内镜实时辅助检测系统包括模型预测模块、图像获取模块和实时识别模块。
进一步的，所述的模型预测模块，是基于Darknet53的Yolo检测模型对胃粘膜早期肿瘤性病变图像所建立的训练好的检测模块。
进一步的，所述的图像获取模块，是在胃镜检查过程中将胃镜检查时的每一帧内镜检查图像传输到模型预测模块中，通过模型预测出当前帧是否存在黏膜异常，以及黏膜异常区域，并且将该区域框出，然后将结果实时反馈到视频显示装置上。
进一步的，所述的实时识别模块，是对图像获取模块所获得的图像信息通过逐帧分析，完成在整个内镜检查过程对上消化道黏膜异常的实时识别。
作为优选的方案，模型预测模块中，利用DarkNet-53结构，提取图像特征。
作为优选的方案，在DarkNet53的中间层增加目标检测模块，分别在不同的检测尺度下检测病灶。
本发明的早期胃癌内镜实时辅助检测系统用于内镜下的辅助诊断，不局限于白光内镜或电子染色内镜。
与现有技术相比，本发明的有益效果是：
本发明将深度学习技术应用于早期胃癌内镜实时辅助检测系统，使用该系统能够提高消化道重大疾病的早期检出率。
本发明的检测系统基于大量病例训练而成，可对内镜图像的每一个像素点进行分析，在对疾病的回顾性经验和分析精细度上，都具有较大优势。
本发明为不依赖操作者诊断经验和注意力的“主动辅助”检测系统，检测结果具有高度的客观性和一致性，可以和其他内镜辅助检查手段配合，获得更好的临床效果。
本发明为一种在普通光源或电子染色光源内镜检查下具有高敏感性提示能力的内镜辅诊系统，该早期胃癌内镜实时辅助检测系统用于内镜下的辅助诊断，不局限于白光内镜或电子染色内镜。
附图说明
图1：Darknet53网络结构图。
具体实施方式
以下通过实施例的形式对本发明的上述内容再作进一步的详细说明，但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明上述内容所实现的技术均属于本发明的范围。
本发明提供了一种基于目标检测算法的早期胃癌内镜实时辅助检测系统，建立基于Darknet53的Yolo检测模型，建模信息来源于对胃粘膜早期肿瘤性病变图像进行标注而得到的计算机可识别标注信息，早期胃癌内镜实时辅助检测系统包括模型预测模块、图像获取模块和实时识别模块。
其中，模型预测模块，是基于Darknet53的Yolo检测模型对胃粘膜早期肿瘤性病变图像所建立的训练好的检测模块。
图像获取模块，是在胃镜检查过程中将胃镜检查时的每一帧内镜检查图像传输到模型预测模块中，通过模型预测出当前帧是否存在黏膜异常，以及黏膜异常区域，并且将该区域框出，然后将结果实时反馈到视频显示装置上。
实时识别模块，是对图像获取模块所获得的图像信息通过逐帧分析，完成在整个内镜检查过程对上消化道黏膜异常的实时识别。
模型预测模块中，利用DarkNet-53结构，提取图像特征。
在DarkNet53的中间层增加目标检测模块，分别在不同的检测尺度下检测病灶。
在实施例中，具体建模方案示例如下：
利用YoLo神经网络进行建模，具体过程为：
(1)将所有图像压缩成426×426像素的固定尺寸，输入到模型中；
(2)利用DarkNet-53结构，提取图像特征。arknet53的网络结构如图1所示，其中左侧第一列方块×1，x2，x8分别表示该模块重复1次、2次和8次，左侧第二列方块是该模块的名字，Conv Block表示该模块是一个普通的卷积模块，Residual Bolck代表该模块是一个残差网络。
(3)在DarkNet53的中间层增加三个目标检测模块，分别在不同的检测尺度下检测病灶。
(4)将三个目标检测模块的检测结果进行处理，得到最终的检测结果。
本发明利用以Yolo算法为核心框架的计算机视觉目标检测算法处理内镜检查视频流，基于视频流中的图像信息，算法可以在内镜医生在胃镜检查视频流中实时提示早期胃部的肿瘤性病变。通过该模型对内镜图像进行处理，可以完成每秒30帧以上的处理任务，同时在检测效果上，可以达到90％以上的敏感性。
本发明的检测系统对早期胃癌的总体识别AUC可达0.887-0.940；在上皮内瘤变、粘膜内癌和粘膜下癌中表现稳定，AUC达0.937-0.946。
以上，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，依据本发明的技术实质，对以上实施例所作的任何简单的修改、等同替换与改进等，均仍属于本发明技术方案的保护范围之内。
Claims (7)
1.一种基于目标检测算法的早期胃癌内镜实时辅助检测系统，其特征在于：建立基于Darknet53的Yolo检测模型，建模信息来源于对胃粘膜早期肿瘤性病变图像进行标注而得到的计算机可识别标注信息，所述的早期胃癌内镜实时辅助检测系统包括模型预测模块、图像获取模块和实时识别模块。
2.根据权利要求1所述的基于目标检测算法的早期胃癌内镜实时辅助检测系统，其特征在于：所述的模型预测模块，是基于Darknet53的Yolo检测模型对胃粘膜早期肿瘤性病变图像所建立的训练好的检测模块。
3.根据权利要求1所述的基于目标检测算法的早期胃癌内镜实时辅助检测系统，其特征在于：所述的图像获取模块，是在胃镜检查过程中将胃镜检查时的每一帧内镜检查图像传输到模型预测模块中，通过模型预测出当前帧是否存在黏膜异常，以及黏膜异常区域，并且将该区域框出，然后将结果实时反馈到视频显示装置上。
4.根据权利要求1所述的基于目标检测算法的早期胃癌内镜实时辅助检测系统，其特征在于：所述的实时识别模块，是对图像获取模块所获得的图像信息通过逐帧分析，完成在整个内镜检查过程对上消化道黏膜异常的实时识别。
5.根据权利要求1所述的基于目标检测算法的早期胃癌内镜实时辅助检测系统，其特征在于：模型预测模块中，利用DarkNet-53结构，提取图像特征。
6.根据权利要求5所述的基于目标检测算法的早期胃癌内镜实时辅助检测系统，其特征在于：在DarkNet53的中间层增加目标检测模块，分别在不同的检测尺度下检测病灶。
7.根据权利要求1所述的基于目标检测算法的早期胃癌内镜实时辅助检测系统，其特征在于：所述的早期胃癌内镜实时辅助检测系统用于内镜下的辅助诊断，不局限于白光内镜或电子染色内镜。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111677304.8A CN114332056A (zh) | 2021-12-31 | 2021-12-31 | 一种基于目标检测算法的早期胃癌内镜实时辅助检测系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111677304.8A CN114332056A (zh) | 2021-12-31 | 2021-12-31 | 一种基于目标检测算法的早期胃癌内镜实时辅助检测系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114332056A true CN114332056A (zh) | 2022-04-12 |
Family
ID=81023131
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111677304.8A Pending CN114332056A (zh) | 2021-12-31 | 2021-12-31 | 一种基于目标检测算法的早期胃癌内镜实时辅助检测系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114332056A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116965765A (zh) * | 2023-08-01 | 2023-10-31 | 西安交通大学医学院第二附属医院 | 基于目标检测算法的早期胃癌内镜实时辅助检测系统 |
-
2021
- 2021-12-31 CN CN202111677304.8A patent/CN114332056A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116965765A (zh) * | 2023-08-01 | 2023-10-31 | 西安交通大学医学院第二附属医院 | 基于目标检测算法的早期胃癌内镜实时辅助检测系统 |
| CN116965765B (zh) * | 2023-08-01 | 2024-03-08 | 西安交通大学医学院第二附属医院 | 基于目标检测算法的早期胃癌内镜实时辅助检测系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2020071677A1 (ko) | 위 내시경 이미지의 딥러닝을 이용하여 위 병변을 진단하는 장치 및 방법 | |
| EP1997074B1 (en) | Device, system and method for automatic detection of contractile activity in an image frame | |
| US8478010B2 (en) | Image processing apparatus, image processing program recording medium, and image processing method | |
| WO2018165620A1 (en) | Systems and methods for clinical image classification | |
| WO2020071678A2 (ko) | 실시간으로 획득되는 위 내시경 이미지를 기반으로 위 병변을 진단하는 내시경 장치 및 방법 | |
| WO2021147429A1 (zh) | 内窥镜图像展示方法、装置、计算机设备及存储介质 | |
| CN104114077A (zh) | 图像处理装置和图像处理方法 | |
| CN110189303B (zh) | 一种基于深度学习和图像增强的nbi图像处理方法及其应用 | |
| WO2020215810A1 (zh) | 一种基于图像识别的结肠镜手术中窄带成像检测方法 | |
| WO2005039402A1 (en) | Diagnostic alignment of in vivo images | |
| CN111862090B (zh) | 一种基于人工智能的食管癌术前管理的方法和系统 | |
| CN115049666B (zh) | 基于彩色小波协方差深度图模型的内镜虚拟活检装置 | |
| JP4832794B2 (ja) | 画像処理装置及び画像処理プログラム | |
| Al-Rahayfeh et al. | Detection of bleeding in wireless capsule endoscopy images using range ratio color | |
| CN114399465B (zh) | 良恶性溃疡识别方法及系统 | |
| EP3986226A1 (en) | Method for real-time detection of objects, structures or patterns in a video, an associated system and an associated computer readable medium | |
| CN114782760B (zh) | 一种基于多任务学习的胃部疾病图片分类系统 | |
| JPWO2012042986A1 (ja) | 情報処理装置及びカプセル型内視鏡システム | |
| TWI738367B (zh) | 以卷積神經網路檢測物件影像之方法 | |
| CN114332056A (zh) | 一种基于目标检测算法的早期胃癌内镜实时辅助检测系统 | |
| CN112651375A (zh) | 基于深度学习模型的幽门螺杆菌胃部图像识别分类系统 | |
| Xu et al. | Upper gastrointestinal anatomy detection with multi‐task convolutional neural networks | |
| KR102103280B1 (ko) | 딥러닝 기반의 대장 질환 보조 진단 방법 | |
| CN113989236A (zh) | 一种胃镜图像智能目标检测系统及方法 | |
| CN108937871A (zh) | 一种消化道微光学相干断层成像图像分析系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |