CN110867249A - 一种下消化道隆起型病变实时检测智能平台 - Google Patents
一种下消化道隆起型病变实时检测智能平台 Download PDFInfo
- Publication number
- CN110867249A CN110867249A CN201910820200.4A CN201910820200A CN110867249A CN 110867249 A CN110867249 A CN 110867249A CN 201910820200 A CN201910820200 A CN 201910820200A CN 110867249 A CN110867249 A CN 110867249A
- Authority
- CN
- China
- Prior art keywords
- layer
- convolution
- platform
- detection
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003902 lesion Effects 0.000 title claims abstract description 34
- 238000011897 real-time detection Methods 0.000 title claims abstract description 7
- 238000003745 diagnosis Methods 0.000 claims abstract description 25
- 238000001514 detection method Methods 0.000 claims abstract description 22
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 17
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 238000012216 screening Methods 0.000 claims abstract description 10
- 238000011176 pooling Methods 0.000 claims abstract description 8
- 230000005284 excitation Effects 0.000 claims abstract description 4
- 238000013507 mapping Methods 0.000 claims abstract description 3
- 238000000034 method Methods 0.000 claims description 25
- 238000012545 processing Methods 0.000 claims description 13
- 238000000513 principal component analysis Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 claims description 4
- 210000005036 nerve Anatomy 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 230000002087 whitening effect Effects 0.000 claims description 4
- 238000007906 compression Methods 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims 1
- 210000001035 gastrointestinal tract Anatomy 0.000 abstract description 20
- 230000000694 effects Effects 0.000 abstract description 2
- 206010028980 Neoplasm Diseases 0.000 description 13
- 238000013528 artificial neural network Methods 0.000 description 13
- 241000282414 Homo sapiens Species 0.000 description 11
- 230000008569 process Effects 0.000 description 10
- 238000013473 artificial intelligence Methods 0.000 description 7
- 230000001079 digestive effect Effects 0.000 description 7
- 210000003750 lower gastrointestinal tract Anatomy 0.000 description 7
- 208000037062 Polyps Diseases 0.000 description 6
- 230000008901 benefit Effects 0.000 description 6
- 238000001839 endoscopy Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 230000002496 gastric effect Effects 0.000 description 5
- 201000011510 cancer Diseases 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 208000002699 Digestive System Neoplasms Diseases 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 238000012327 Endoscopic diagnosis Methods 0.000 description 2
- 208000005016 Intestinal Neoplasms Diseases 0.000 description 2
- 208000032177 Intestinal Polyps Diseases 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000013399 early diagnosis Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000000968 intestinal effect Effects 0.000 description 2
- 201000011591 microinvasive gastric cancer Diseases 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000004083 survival effect Effects 0.000 description 2
- 208000024891 symptom Diseases 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010006187 Breast cancer Diseases 0.000 description 1
- 208000026310 Breast neoplasm Diseases 0.000 description 1
- 201000009030 Carcinoma Diseases 0.000 description 1
- 206010009944 Colon cancer Diseases 0.000 description 1
- 208000001333 Colorectal Neoplasms Diseases 0.000 description 1
- 206010012688 Diabetic retinal oedema Diseases 0.000 description 1
- 208000000461 Esophageal Neoplasms Diseases 0.000 description 1
- 208000010201 Exanthema Diseases 0.000 description 1
- 206010030155 Oesophageal carcinoma Diseases 0.000 description 1
- 206010056342 Pulmonary mass Diseases 0.000 description 1
- 208000000453 Skin Neoplasms Diseases 0.000 description 1
- 208000005718 Stomach Neoplasms Diseases 0.000 description 1
- 206010064930 age-related macular degeneration Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000003749 cleanliness Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004195 computer-aided diagnosis Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 201000011190 diabetic macular edema Diseases 0.000 description 1
- 201000004101 esophageal cancer Diseases 0.000 description 1
- 201000005884 exanthem Diseases 0.000 description 1
- 206010017758 gastric cancer Diseases 0.000 description 1
- 238000000265 homogenisation Methods 0.000 description 1
- 206010020718 hyperplasia Diseases 0.000 description 1
- 230000008595 infiltration Effects 0.000 description 1
- 238000001764 infiltration Methods 0.000 description 1
- 230000002757 inflammatory effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 201000002313 intestinal cancer Diseases 0.000 description 1
- 208000002780 macular degeneration Diseases 0.000 description 1
- 230000003211 malignant effect Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 210000004877 mucosa Anatomy 0.000 description 1
- 238000012014 optical coherence tomography Methods 0.000 description 1
- 238000011369 optimal treatment Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 206010037844 rash Diseases 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 201000000849 skin cancer Diseases 0.000 description 1
- 206010040882 skin lesion Diseases 0.000 description 1
- 231100000444 skin lesion Toxicity 0.000 description 1
- 201000011549 stomach cancer Diseases 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7246—Details of waveform analysis using correlation, e.g. template matching or determination of similarity
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Data Mining & Analysis (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Mathematical Physics (AREA)
- Animal Behavior & Ethology (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physiology (AREA)
- Psychiatry (AREA)
- Signal Processing (AREA)
- Surgery (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Fuzzy Systems (AREA)
- Image Analysis (AREA)
- Endoscopes (AREA)
Abstract
本发明提供了一种下消化道隆起型病变实时检测智能平台，包括深度卷积神经网络，所述深度卷积神经网络包括：1）数据输入层，用于对原始内镜图像数据进行预处理；2）卷积层，用于提取输入内镜图像的不同特征，并导出结果；3）ReLU激励层，用于把卷积层的输出结果做非线性映射；4）池化层，用于筛选维度较小的特征；5）全连接层，用于计算病灶的诊断结果，并评分。本发明可对下消化道内窥镜进行辅助诊断，达到智能检测的效果。
Description
技术领域
本发明涉及一种基于智能神经网络的检测智能平台，特别是涉及一种下消化道隆起型病变实时检测智能平台。
背景技术
消化道内窥镜是消化道疾病检查和治疗的主要手段，也是消化道早期肿瘤检测的关键。消化道早期肿瘤筛查和检测意义重大：由于各类早期特异性症状不显著，又缺乏有效的筛查和早诊手段，很多病人在确诊时已属晚期，错过治疗最佳时期，病人5年的生存率不足30%。晚期消化道肿瘤患者生活质量差，给家庭及社会带来沉重的负担。而如果能够及时发现，大部分早期消化道肿瘤（Early Gastric Cancer）乃至癌前病变（PrecancerousLesion）在内镜下即可获得根治性治疗，5年生存率超过90％，大大节约了医疗资源和社会成本。因此，低成本且行之有效的早诊方法，可以把肿瘤消灭在萌芽状态，甚至防患于未然，对患者及其家庭乃至全社会都具有重要的意义。
消化道肿瘤分为上消化道肿瘤（食管癌，胃癌）和下消化道肿瘤（结直肠癌）。超过95%以上的下消化道肿瘤都是由肠道隆起型病变（息肉）演变而来，经历正常黏膜→增生→腺瘤形成→腺瘤癌变的过程，一般需要7-15年的时间。因此，超过40岁以上成年人每隔5年做一次下消化道内镜检查（肠镜），在肠镜手术中对各种隆起型病变做出适当的处理，可以有效预防下消化道肿瘤。由此推之，在下消化道内镜检查过程中，发现隆起型病变（息肉）是预防下消化道肿瘤的重中之重。
当前，在下消化道内镜检查过程中，医生主要是依靠肉眼观察发现息肉。这种方式主要依靠医生的个人能力。内镜医生的经验和疲劳程度，内镜医生检查的仔细程度，病人肠道的清洁度等，都会对息肉的发现率造成影响。同时，一些高危的扁平型和凹陷型息肉，由于外形本身特征不明确，也容易同正常肠壁组织、肠道皱襞相混淆，造成一定的漏检可能。据统计，肠道息肉的平均漏检率超过25%。
综上所述，发现下消化道隆起型病变时肠道肿瘤早筛的关键。当前在下消化道手术过程中，肠道息肉的检查主要依靠医生肉眼观察，该方法的主要缺点是在检查过程中受到医生主观因素和部分客观因素影响，不可避免的存在漏诊的可能性。
近年来，以深度神经网络为核心的人工智能技术在多个应用领域成绩斐然。近期一些研究成果表明，计算机通过深度神经网络算法，基于大规模数据集训练的人工智能模型可以在许多应用中取得接近甚至超过人类的表现，如Atari游戏、战略性棋类游戏（如AlphaGo）等。特别是在计算机视觉和图像处理方面，基于深度卷积神经网络算法建立的深度神经网络模型获得了前所未有的成功，在人脸识别，手写体识别等多个图像处理任务中准确率接近100%。人工智能技术，特别是深度卷积神经网络，在计算机视觉和影像处理方面的巨大潜能也被医学界所注意，一些利用卷积神经网络处理临床影像数据，从而实现计算机辅助诊断的研究也逐渐开展，并且取得了相当积极的效果。通过在临床专家标注的大规模的医学影像数据集进行训练，深度卷积神经网络能够拟合人类最优秀专家的诊断经验，从而在多个临床领域的图像识别工作取得了接近或者超越人类专家的表现。例如，斯坦福大学的联合研究团队通过深度卷积神经网络，用近13万张痣、皮疹和其他皮肤病变的图像训练机器识别其中的皮肤癌症状，准确率高达91%，达到了人类医生的诊断水平。加州大学圣地亚哥分校的研发团队通过20万张视网膜光学相干断层扫描技术图像，基于深度卷积神经网络和迁移学习技术，在诊断年龄相关性黄斑变性和糖尿病性黄斑水肿等疾病方面，准确率高达96.6%，敏感性和特异性都超过了97%。在其他一些临床应用，例如乳腺癌X射线诊断，肺小结节的CT诊断，病理图像的识别等方面，人工智能技术都取得了可媲美人类专家的诊断准确率。
发明内容
本发明提供了一种下消化道隆起型病变实时检测智能平台，以实现对下消化道内窥镜的辅助诊断效果。
本发明提供了一种下消化道隆起型病变实时检测智能平台，包括深度卷积神经网络，所述深度卷积神经网络包括：
1）数据输入层，用于对原始内镜图像数据进行预处理；
2）卷积层，用于提取输入内镜图像的不同特征，并导出结果；
3）ReLU激励层，用于把卷积层的输出结果做非线性映射；
4）池化层，用于筛选维度较小的特征；
5）全连接层，用于计算病灶的诊断结果，并评分。
进一步地，所述数据输入层的预处理方法包括去均值：将输入数据的各个维度都中心化为0，并将图像样本的中心拉回到高维空间坐标系原点上。
更进一步地，所述数据输入层的预处理方法包括归一化：将各个维度幅度归一化到同样的范围，降低各维度数据取值范围的差异而带来的干扰。
更进一步地，所述数据输入层的预处理方法还包括主成分分析/白化：使用PCA降维，并提取内镜图像中最主要的信息；对数据各个特征轴上的幅度归一化。
进一步地，所述卷积层由若干卷积单元组成，所述卷积层对内镜图像的病灶特征进行分级，并由各个卷积单元按照病灶特征的级别进行分别提取，形成卷积核，实现建模，导出结果。
更进一步地，所述卷积单元通过反向传播算法获得。
进一步地，所述池化层用于对卷积层输出的维度特征切分成若干个区域，提取各个区域的最大值或平均值，并筛选维度较小的特征。
进一步地，，所述全连接层用于将全部内镜图像中的病灶特征结合，将所有局部特征结合变成全局特征，并将病灶诊断结果计算评分，获得检测结果。
进一步地，所述检测智能平台还包括图像压缩过程，用于对每一帧原始内镜图像进行压缩，从而减小图像处理模型的规模。
进一步地，所述检测智能平台还包括检测端、显示端，所述检测端用于对病灶进行拍摄，并将图片传输给深度卷积神经，所述深度卷积神经将分析结果发送给显示端，所述显示端用于将分析结果进行显示。
本发明与现有技术相比，具有如下优点：
1安全性：本发明提供了一种新的下消化道内窥镜辅助诊断方式。但是该方式并不影响接受检查的患者的检查安全；同时，本发明作为人工智能应用平台，硬件系统的大小和可以离线使用的特性保障了医院数据的安全性；
2易用性：本平台可以即插即用到医院的内镜设备上，不需要额外的技术支持；
3灵活性；本发明可以同其他所有品牌的内镜设备相连接，具有很高的兼容性。
附图说明
图1为本发明实施例输出例图；
图2为本发明实施例ReLU激活函数的函数图像，函数形式为f\left(x\right)=max(0,x)；
图3为本发明实施例全连接层网络示意：输入为一张内镜图像，每一个卷积层都通过卷积激活函数和池化层，迭代计算出不同层级的特征，最后计算出该内镜图像通过网络判定为各类情况的概率；
图4为本发明实施例计算结果图；
图5为本发明实施例输出结果图；
图6为本发明实施例常规传输模式和超低数据传输延迟模式的工作方式图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
1.外观
本系统消化内镜（检测端）、电脑主机（安装有深度卷积神经网络系统）、显示器（显示端）组成，电脑主机的硬件和硬件结构如下：
| CPU | Intel i7 7700及以上 |
| 内存 | 16GB及以上 |
| 硬盘 | 64GB及以上 |
| 显示器 | 无要求 |
| 显卡 | 核心频率1594MHz及以上，显示存储11GB及以上 |
| 视频采集卡 | 支持分辨率800×600像素及以上，传输带宽400MB/s及以上 |
其中视频采集卡通过PCIE接口连接到计算机主板上，用来采集消化内镜的图像信号。
2.具体连接方式
传统的消化内镜的工作方式为消化内镜主机的视频输出接口，输出数字信号(DVI信号/SDI信号)或模拟信号（VGA信号/bnc信号/DB25信号)，直接同显示器所对应的信号输入接口相连接，然后将内镜在人体内所拍摄到的视频实时在显示器上播放出来，内镜医生通过观察显示器上所显示的图像，利用肉眼进行检查。
本发明实施例的下消化道隆起型病变实时检测智能平台，从硬件形态来看，是一台装载了视频采集卡的电脑主机。在使用时，主要连接方式为：消化道内镜主机视频输入接口，输出数字信号(DVI信号/SDI信号)或模拟信号（VGA信号/bnc信号/DB25信号)，同视频采集卡（连接至电脑主板的PCIE插槽）上相对应的接口相连，先将视频型号传输至电脑主机中，在电脑主机中进行处理。电脑主机再通过显卡，将信号以数字信号的方式输出（HDMI信号/DP信号），将处理结果显示在同电脑主机相连接的显示器上。具体连接方式如下图所示：
基于此连接方式，消化道内窥镜将镜头在人体内捕获的下消化道影像通过内镜主机传输出来，内镜主机通过本平台的视频采集卡将信号传送至平台中，平台利用深度神经网络模型逐帧分析传入的信号，对于每一帧上出现的隆起型病变做出警告，并且将警告结果显示在显示器上。显示结果如图1所示。
本发明实施例的深度神经网络算法具体来说为深度卷积神经网络。卷积神经网络与普通神经网络非常相似，它们都由具有可学习的权重和偏置常量的神经元组成。每个神经元都接收一些输入，并做一些点积计算。在本发明的实施例中，默认输入为经过预处理和挑选过的内镜图像本身，最终的输出一般是图像分为每个分类（例如恶性肿瘤，良性肿瘤，炎症）的概率。
在实际建模中，卷积神经网络主要通过以下层级结构实现为：
1）数据输入层，该层要做的处理主要是对原始内镜图像数据进行预处理，具体可以包括：
•去均值：把输入数据各个维度（像素点）都中心化为0，其目的就是把图像样本的中心拉回到高维空间坐标系原点上。
• 归一化：将各个维度幅度归一化到同样的范围，即减少各维度数据取值范围的差异而带来的干扰。
• 主成分分析（PCA）/白化：用PCA降维，提取内镜图像中最主要的信息。白化是对数据各个特征轴上的幅度归一化。
2）卷积层，卷积神经网路中每层卷积层由若干卷积单元组成，每个卷积单元的参数都是通过反向传播算法优化得到的。在研究中，卷积运算的目的是提取输入的内镜图像的不同特征，第一层卷积层可能只能提取一些病灶的低级特征如边缘、颜色和表面质地等层级，更多层的网络能从低级特征中迭代提取更复杂的特征，如浸润程度等。在卷积神经网络的这一层，每个神经元看做一个滤波器(卷积核)。卷积操作可以理解为有一个滑动窗口，把卷积核与对应的内镜图像中的像素做乘积然后求和，从而得到这些窗口区域的特征值。在具体应用中，往往有多个卷积核，可以认为，每个卷积核代表了一种图像模式，如果某个图像块与此卷积核卷积出的值大，则认为此图像块十分接近于此卷积核。在实际建模的过程中，卷积核的值是通过迭代学习得到的最优解；
3）ReLU （Rectified Linear Units layer）激励层，如图2所示，把卷积层输出结果做非线性映射；
4）池化层（Pooling layer），通常在卷积层之后会得到维度很大的特征，将特征切成几个区域，取其最大值或平均值，得到新的、维度较小的特征；
5）全连接层（ Fully-Connected layer）, 如图3所示，在这一层，之前学到的所有内镜图像中的病灶特征会被结合到一起，把所有局部特征结合变成全局特征，用来计算最后病灶诊断结果归结于每一类的得分。
在确定了网络结构之后，我们可以在每一帧图像上找出隆起型病变的位置，具体计算结果如图4所示，并且经过计算机的处理，将结果显示成为医生所能接受的方式，如图5所示。
由于本发明实施例的系统会对视频中采集到的每一帧图像进行处理，并且将处理过的图像重新显示到视频上，因此，在图像采集-处理-显示过程中不可避免的存在视频延迟现象，当延迟超过40毫秒时，医生可以感知到卡顿，因此，本发明实施例采用一系列方法降低图像采集-处理-显示过程中的延迟感。主要措施有：
（1）利用小规模神经网络代替大规模神经网络：在处理过程中，对每一帧图像进行压缩，从而减小图像处理模型的规模。这样，可以极大的减少图像处理的时间，单帧图像仅用20毫秒就可以处理完。
（2）利用超低数据传输延迟模式，如图6所示，该模式支持将采集画面分行采集和传输，降低采集延迟。采集到的视频数据通过采集卡视和PCIE接口可以直接传输至显卡。利用以上技术，本系统将传送处理延迟压低到医生可接受范围。
本发明实施例同传统方法（医生肉眼进行隆起型病变检查）相比，具有以下有益效果：
1解决医生经验不足问题
医生的经验问题会导致对下消化道隆起型病变的遗漏，一个熟练的内镜医生（5年资），大约做过的下消化道内镜手术约为2000例。本发明在建模过程中，模型所训练的消化内镜手术例数超过100，000例，将相当数量的内镜医师经验移植到模型中。从而不会出现因为经验不足导致漏诊问题。
2大幅度降低医生对于下消化道隆起型病变的漏诊率
普通人类医生对于下消化道隆起型病变的漏诊率平均超过25%，也就是说，普通人类医生对于下消化道隆起型病变的检测敏感度小于75%。本发明系统对于下消化道隆起型病变的检测敏感度超过98%，大幅降低了下消化道隆起型病变的遗漏可能。
3 解决医生的疲劳问题
普通医生由于疲劳问题，会导致检出率不稳定。本系统可以保证检查结果是长期稳定的。
综上所述，本发明可以带来巨大的社会效益和经济效益。我国每年内镜诊断例数超过6000万，而且这一数字还在不断增长中，消化内窥镜市场超过200亿，消化内窥镜辅助设施市场容量也超过10亿。经济效益巨大。此外，从临床和社会效益来说鉴于人工智能技术在处理医学影像方面优势明显，采用深度神经网络算法，基于高质量内镜图像建立能够识息肉等癌前病变的人工智能筛查诊断模型，有望解决或部分解下消化道早癌筛查诊断难度大，诊断水平受地域，医生经验局限的问题。具体来说：
（1）深度神经网络可以提高消化道早癌筛查的诊断准确性，降低误诊率。相比人类医生，深度神经网络可以通过超大数据集进行训练，拟合最优秀内镜医生的诊断经验，利用卷积，下采样，逐层学习等方法，提取出消化道早癌图像中更细微的形态学特征。基于这些更细微的特征，提出内镜诊断意见，提高癌前病变和胃癌早癌的内镜下诊断准确率；
（2）由于深度神经网络的阅片精度更高，达到了像素级。同时，由于不存在阅片疲劳等因素，可以预见，利用深度神经网络将有效的减少人为因素导致阅片时早癌被遗漏的情况，降低漏诊率；
（3）克服地域上的限制，利用平台智能技术延伸到各级医院，推动医疗同质化，让不同地点，不同经验水平的医生都能够得到模型的辅助诊断意见。低成本地，确确实实地，推动欠发达地区的癌前病变和早期肠癌的诊断水平。
最后应当说明的是，以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解，技术人员阅读本申请说明书后依然可以对本发明的具体实施方式进行修改或者等同替换，但这些修改或变更均未脱离本发明申请待批权利要求保护范围之内。
Claims (10)
1.一种下消化道隆起型病变实时检测智能平台，其特征在于，所述检测智能平台包括深度卷积神经网络，所述深度卷积神经网络包括：
1）数据输入层，用于对原始内镜图像数据进行预处理；
2）卷积层，用于提取输入内镜图像的不同特征，并导出结果；
3）ReLU激励层，用于把卷积层的输出结果做非线性映射；
4）池化层，用于筛选维度较小的特征；
5）全连接层，用于计算病灶的诊断结果，并评分。
2.根据权利要求1所述的检测智能平台，其特征在于，所述数据输入层的预处理方法包括去均值：将输入数据的各个维度都中心化为0，并将图像样本的中心拉回到高维空间坐标系原点上。
3.根据权利要求2所述的检测智能平台，其特征在于，所述数据输入层的预处理方法包括归一化：将各个维度幅度归一化到同样的范围，降低各维度数据取值范围的差异而带来的干扰。
4.根据权利要求3所述的检测智能平台，其特征在于，所述数据输入层的预处理方法还包括主成分分析/白化：使用PCA降维，并提取内镜图像中最主要的信息；对数据各个特征轴上的幅度归一化。
5.根据权利要求1所述的检测智能平台，其特征在于，所述卷积层由若干卷积单元组成，所述卷积层对内镜图像的病灶特征进行分级，并由各个卷积单元按照病灶特征的级别进行分别提取，形成卷积核，实现建模，导出结果。
6.根据权利要求5所述的检测智能平台，其特征在于，所述卷积单元通过反向传播算法获得。
7.根据权利要求1所述的检测智能平台，其特征在于，所述池化层用于对卷积层输出的维度特征切分成若干个区域，提取各个区域的最大值或平均值，并筛选维度较小的特征。
8.根据权利要求1所述的检测智能平台，其特征在于，所述全连接层用于将全部内镜图像中的病灶特征结合，将所有局部特征结合变成全局特征，并将病灶诊断结果计算评分，获得检测结果。
9.根据权利要求1所述的检测智能平台，其特征在于，所述检测智能平台还包括图像压缩过程，用于对每一帧原始内镜图像进行压缩，从而减小图像处理模型的规模。
10.根据权利要求1所述的检测智能平台，其特征在于，所述检测智能平台还包括检测端、显示端，所述检测端用于对病灶进行拍摄，并将图片传输给深度卷积神经，所述深度卷积神经将分析结果发送给显示端，所述显示端用于将分析结果进行显示。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910820200.4A CN110867249A (zh) | 2019-09-01 | 2019-09-01 | 一种下消化道隆起型病变实时检测智能平台 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910820200.4A CN110867249A (zh) | 2019-09-01 | 2019-09-01 | 一种下消化道隆起型病变实时检测智能平台 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110867249A true CN110867249A (zh) | 2020-03-06 |
Family
ID=69652018
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910820200.4A Pending CN110867249A (zh) | 2019-09-01 | 2019-09-01 | 一种下消化道隆起型病变实时检测智能平台 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110867249A (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017041052A1 (en) * | 2015-09-03 | 2017-03-09 | Neptune Medical | Device for endoscopic advancement through the small intestine |
| CN109118485A (zh) * | 2018-08-13 | 2019-01-01 | 复旦大学 | 基于多任务神经网络的消化道内镜图像分类及早癌检测系统 |
| CN109949275A (zh) * | 2019-02-26 | 2019-06-28 | 中山大学肿瘤防治中心 | 一种上消化道内镜图像的诊断方法及装置 |
-
2019
- 2019-09-01 CN CN201910820200.4A patent/CN110867249A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017041052A1 (en) * | 2015-09-03 | 2017-03-09 | Neptune Medical | Device for endoscopic advancement through the small intestine |
| CN109118485A (zh) * | 2018-08-13 | 2019-01-01 | 复旦大学 | 基于多任务神经网络的消化道内镜图像分类及早癌检测系统 |
| CN109949275A (zh) * | 2019-02-26 | 2019-06-28 | 中山大学肿瘤防治中心 | 一种上消化道内镜图像的诊断方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 邓宁，牛宇, 旅游教育出版社 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7335552B2 (ja) | 画像診断支援装置、学習済みモデル、画像診断支援装置の作動方法および画像診断支援プログラム | |
| Ohmori et al. | Endoscopic detection and differentiation of esophageal lesions using a deep neural network | |
| Hwang et al. | Polyp detection in wireless capsule endoscopy videos based on image segmentation and geometric feature | |
| Liedlgruber et al. | Computer-aided decision support systems for endoscopy in the gastrointestinal tract: a review | |
| Li et al. | Computer-based detection of bleeding and ulcer in wireless capsule endoscopy images by chromaticity moments | |
| Pogorelov et al. | Deep learning and hand-crafted feature based approaches for polyp detection in medical videos | |
| US9445713B2 (en) | Apparatuses and methods for mobile imaging and analysis | |
| CN111899229A (zh) | 一种基于深度学习多模型融合技术的胃早癌辅助诊断方法 | |
| JP4450973B2 (ja) | 診断支援装置 | |
| CN113379693B (zh) | 基于视频摘要技术的胶囊内镜关键病灶图像检测方法 | |
| CN111278348A (zh) | 基于消化器官的内视镜影像的疾病的诊断支援方法、诊断支援系统、诊断支援程序及存储着此诊断支援程序的计算机能够读取的记录介质 | |
| KR102168485B1 (ko) | 실시간으로 획득되는 위 내시경 이미지를 기반으로 위 병변을 진단하는 내시경 장치 및 방법 | |
| CN107767365A (zh) | 一种内窥镜图像处理方法及系统 | |
| JP7550409B2 (ja) | 画像診断装置、画像診断方法、および画像診断プログラム | |
| Naz et al. | Detection and classification of gastrointestinal diseases using machine learning | |
| CN112884759B (zh) | 一种乳腺癌腋窝淋巴结转移状态的检测方法及相关装置 | |
| Maghsoudi et al. | A computer aided method to detect bleeding, tumor, and disease regions in Wireless Capsule Endoscopy | |
| Bindhu et al. | Semi-automated segmentation scheme for computerized axial tomography images of esophageal tumors | |
| CN111341441A (zh) | 一种肠胃科病模型构建方法及诊断系统 | |
| Bejakovic et al. | Analysis of Crohn's disease lesions in capsule endoscopy images | |
| CN116206741A (zh) | 一种消化科医疗信息处理系统及方法 | |
| CN108960305A (zh) | 一种内镜影像判定系统及方法 | |
| Jaya et al. | Identification of retinoblastoma using the extreme learning machine | |
| Hossain et al. | Easy scheme for ulcer detection in wireless capsule endoscopy images | |
| Meyer-Veit et al. | Hyperspectral Wavelength Analysis with U-Net for Larynx Cancer Detection. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200306 |