CN116740475A - 一种基于状态分类的消化道图像识别方法和系统 - Google Patents
一种基于状态分类的消化道图像识别方法和系统 Download PDFInfo
- Publication number
- CN116740475A CN116740475A CN202311024952.2A CN202311024952A CN116740475A CN 116740475 A CN116740475 A CN 116740475A CN 202311024952 A CN202311024952 A CN 202311024952A CN 116740475 A CN116740475 A CN 116740475A
- Authority
- CN
- China
- Prior art keywords
- digestive tract
- image
- detected
- feature set
- branch network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 210000001035 gastrointestinal tract Anatomy 0.000 title claims abstract description 337
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000004043 dyeing Methods 0.000 claims abstract description 56
- 230000003321 amplification Effects 0.000 claims abstract description 25
- 238000003199 nucleic acid amplification method Methods 0.000 claims abstract description 25
- 238000007689 inspection Methods 0.000 claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 16
- 238000010606 normalization Methods 0.000 claims abstract description 11
- QTBSBXVTEAMEQO-UHFFFAOYSA-N Acetic acid Chemical compound CC(O)=O QTBSBXVTEAMEQO-UHFFFAOYSA-N 0.000 claims description 63
- KHLVKKOJDHCJMG-QDBORUFSSA-L indigo carmine Chemical compound [Na+].[Na+].N/1C2=CC=C(S([O-])(=O)=O)C=C2C(=O)C\1=C1/NC2=CC=C(S(=O)(=O)[O-])C=C2C1=O KHLVKKOJDHCJMG-QDBORUFSSA-L 0.000 claims description 20
- 229960003988 indigo carmine Drugs 0.000 claims description 20
- 235000012738 indigotine Nutrition 0.000 claims description 20
- 239000004179 indigotine Substances 0.000 claims description 20
- 238000012549 training Methods 0.000 claims description 15
- 238000013527 convolutional neural network Methods 0.000 claims description 10
- 230000000740 bleeding effect Effects 0.000 claims description 8
- 238000013135 deep learning Methods 0.000 claims description 7
- 230000002496 gastric effect Effects 0.000 claims description 7
- 210000002784 stomach Anatomy 0.000 claims description 7
- 238000012952 Resampling Methods 0.000 claims description 6
- 230000002572 peristaltic effect Effects 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 230000001131 transforming effect Effects 0.000 claims description 6
- 210000003238 esophagus Anatomy 0.000 claims description 3
- 230000001079 digestive effect Effects 0.000 abstract description 9
- 238000004458 analytical method Methods 0.000 abstract description 3
- 238000013473 artificial intelligence Methods 0.000 abstract description 3
- 238000001514 detection method Methods 0.000 abstract description 3
- 239000010410 layer Substances 0.000 description 27
- ZCYVEMRRCGMTRW-UHFFFAOYSA-N 7553-56-2 Chemical compound [I] ZCYVEMRRCGMTRW-UHFFFAOYSA-N 0.000 description 17
- 229910052740 iodine Inorganic materials 0.000 description 17
- 239000011630 iodine Substances 0.000 description 17
- 238000010186 staining Methods 0.000 description 12
- 238000000605 extraction Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 7
- 239000002344 surface layer Substances 0.000 description 7
- 230000004913 activation Effects 0.000 description 6
- 230000002439 hemostatic effect Effects 0.000 description 6
- 238000011176 pooling Methods 0.000 description 6
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 235000000177 Indigofera tinctoria Nutrition 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 229940097275 indigo Drugs 0.000 description 4
- COHYTHOBJLSHDF-UHFFFAOYSA-N indigo powder Natural products N1C2=CC=CC=C2C(=O)C1=C1C(=O)C2=CC=CC=C2N1 COHYTHOBJLSHDF-UHFFFAOYSA-N 0.000 description 4
- 239000000463 material Substances 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000002183 duodenal effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000002429 large intestine Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000004064 recycling Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 210000000813 small intestine Anatomy 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明请求保护一种基于状态分类的消化道图像识别方法和系统，通过获取待检测消化道图像，对待检测消化道图像进行缩放和归一化处理，得到待检测标准消化道图像；将待检测标准消化道图像输入多个分支网络，得到在各个分支网络下的待检测消化道图像概率特征集；依据待检测消化道图像概率特征集，获取待检测消化道图像的检查类别结果。本发明可以清楚地分辨出当前的消化镜下的状态，对图像的多维度特征进行针对性分析，综合考虑当前检测图像的光源、染色、器械使用和放大情况，对于人工智能在消化内镜下的应用起着十分重要的作用，作为辅助决策可以提供很多可供参考的信息和逻辑指导。
Description
技术领域
本发明的技术领域为计算机智慧医疗领域，应用在医学中的消化内镜，具体的，涉及一种基于状态分类的消化道图像识别方法和系统。
背景技术
对内镜下消化道组织和异物的识别是消化内镜视觉辅助诊断的基础，只有识别出组织和异物，才能去分析和提示这些组织和异物的问题。传统的消化道组织和异物的识别为医生通过肉眼观察发现消化道内异物或病变组织，准确发现和描述消化道组织和异物需要医生具备丰富的经验，并且医生通过回忆方式记录这些内容，若检查次数过多，容易记录混乱，此外，组织或异物的识别和记录没有科学的手段和方法，无法为后续的研究提供支持。
消化内镜的镜下状态多种多样。对于这样的多分类任务，可以利用卷积神经网络进行状态识别。卷积神经网络在计算机领域算是较为成熟的技术，但是没有产品将其应用在消化内镜的镜下状态识别中。清楚地分辨出当前镜下状态对于人工智能在消化内镜下的应用起着十分重要的作用，作为辅助决策可以提供很多可供参考的信息和逻辑指导。
发明内容
为了解决当前消化道检测图像识别结果不准确的问题，本发明请求保护一种基于状态分类的消化道图像识别方法和系统。
根据本发明第一方面，本发明请求保护一种基于状态分类的消化道图像识别方法，包括：
获取待检测消化道图像，对待检测消化道图像进行缩放和归一化处理，得到待检测标准消化道图像；
将待检测标准消化道图像输入多个分支网络，得到在各个分支网络下的待检测消化道图像概率特征集；
依据待检测消化道图像概率特征集，获取待检测消化道图像的检查类别结果；
多个分支网络至少包括第一分支网络、第二分支网络、第三分支网络、第四分支网络；
将待检测标准消化道图像输入多个分支网络，得到在各个分支网络下的待检测消化道图像概率特征集，具体包括：
获取待检测标准消化道图像的第一特征集、第二特征集、第三特征集和第四特征集，分别对应输入第一分支网络、第二分支网络、第三分支网络和第四分支网络；
各个分支网络运算分别得到第一输出结果、第二输出结果、第三输出结果和第四输出结果；
依据输出结果获取在各个分支网络下的待检测消化道图像概率特征集。
第一分支网络、第二分支网络、第三分支网络、第四分支网络为经过深度学习训练的卷积神经网络；
第一特征集为光源相关特征集，第二特征集为染色相关特征集，第三特征集为器械相关特征集，第四特征集为放大识别特征集。
进一步地，获取待检测消化道图像，对待检测消化道图像进行缩放和归一化处理，得到待检测标准消化道图像，具体包括：
根据目标消化道纹理与选定的消化道模板的消化道纹理的空间位置关系，对选定的消化道模板进行变换，使选定的消化道模板的消化道纹理与目标消化道纹理对齐，包括：根据目标消化道纹理的方向向量，通过旋转变换将选定的消化道模板进行旋转；根据目标消化道纹理的褶皱长度，对选定的消化道模板进行等比例缩放；根据目标消化道纹理的生长点位置，对选定的消化道模板进行平移；
根据选定的消化道模板的消化道纹理点，对目标消化道纹理曲线进行重采样，使目标消化道纹理与选定的消化道模板中消化道纹理顶点个数相同且位置关系对应；根据目标消化道纹理和选定的消化道模板的消化道纹理的各顶点序号，建立两个消化道纹理之间的控制点对应关系；
根据消化道蠕动方向向量，将消化道图像的主方向旋转至相同坐标轴方向，以及将消化道图像的网格模型在三个坐标轴方向上进行等比例缩放，得到待检测标准消化道图像。
进一步地，
第一输出结果包括白光光源、NBI-BLI-OE-1光源、LCI光源的识别概率值；
第二输出结果包括未染色、碘染、靛胭脂染色、醋酸染色、出血的识别概率值；
第三输出结果包括无器械、有器械的识别概率值；
第四输出结果包括非放大模式、食管部放大模式、胃部放大模式的识别概率值；
待检测消化道图像概率特征集为各个输出结果中的多个要素的识别概率值形成的多元组。
进一步地，依据待检测消化道图像概率特征集，获取待检测消化道图像的检查类别结果，具体包括：
依据待检测消化道图像概率特征集，获取各个输出结果的识别结果；
依据识别结果，得到待检测消化道图像的检查类别结果；
将待检测消化道图像的检查类别结果和识别结果形成五元组存储。
根据本发明第二方面，本发明请求保护一种基于状态分类的消化道图像识别系统，包括：
标准处理模块，获取待检测消化道图像，对所述待检测消化道图像进行缩放和归一化处理，得到待检测标准消化道图像；
分支处理模块，将所述待检测标准消化道图像输入多个分支网络，得到在各个分支网络下的待检测消化道图像概率特征集；
结果输出模块，依据所述待检测消化道图像概率特征集，获取所述待检测消化道图像的检查类别结果；
多个分支网络至少包括第一分支网络、第二分支网络、第三分支网络、第四分支网络；
将待检测标准消化道图像输入多个分支网络，得到在各个分支网络下的待检测消化道图像概率特征集，具体包括：
获取待检测标准消化道图像的第一特征集、第二特征集、第三特征集和第四特征集，分别对应输入第一分支网络、第二分支网络、第三分支网络和第四分支网络；
各个分支网络运算分别得到第一输出结果、第二输出结果、第三输出结果和第四输出结果；
依据输出结果获取在各个分支网络下的待检测消化道图像概率特征集。
第一分支网络、第二分支网络、第三分支网络、第四分支网络为经过深度学习训练的卷积神经网络；
第一特征集为光源相关特征集，第二特征集为染色相关特征集，第三特征集为器械相关特征集，第四特征集为放大识别特征集。
进一步地，获取待检测消化道图像，对待检测消化道图像进行缩放和归一化处理，得到待检测标准消化道图像，具体包括：
根据目标消化道纹理与选定的消化道模板的消化道纹理的空间位置关系，对选定的消化道模板进行变换，使选定的消化道模板的消化道纹理与目标消化道纹理对齐，包括：根据目标消化道纹理的方向向量，通过旋转变换将选定的消化道模板进行旋转；根据目标消化道纹理的褶皱长度，对选定的消化道模板进行等比例缩放；根据目标消化道纹理的生长点位置，对选定的消化道模板进行平移；
根据选定的消化道模板的消化道纹理点，对目标消化道纹理曲线进行重采样，使目标消化道纹理与选定的消化道模板中消化道纹理顶点个数相同且位置关系对应；根据目标消化道纹理和选定的消化道模板的消化道纹理的各顶点序号，建立两个消化道纹理之间的控制点对应关系；
根据消化道蠕动方向向量，将消化道图像的主方向旋转至相同坐标轴方向，以及将消化道图像的网格模型在三个坐标轴方向上进行等比例缩放，得到待检测标准消化道图像。
进一步地，
第一输出结果包括白光光源、NBI-BLI-OE-1光源、LCI光源的识别概率值；
第二输出结果包括未染色、碘染、靛胭脂染色、醋酸染色、出血的识别概率值；
第三输出结果包括无器械、有器械的识别概率值；
第四输出结果包括非放大模式、食管部放大模式、胃部放大模式的识别概率值；
待检测消化道图像概率特征集为各个输出结果中的多个要素的识别概率值形成的多元组。
进一步地，依据待检测消化道图像概率特征集，获取待检测消化道图像的检查类别结果，具体包括：
依据待检测消化道图像概率特征集，获取各个输出结果的识别结果；
依据识别结果，得到待检测消化道图像的检查类别结果；
将待检测消化道图像的检查类别结果和识别结果形成五元组存储。
本发明请求保护一种基于状态分类的消化道图像识别方法和系统，通过获取待检测消化道图像，对待检测消化道图像进行缩放和归一化处理，得到待检测标准消化道图像；将待检测标准消化道图像输入多个分支网络，得到在各个分支网络下的待检测消化道图像概率特征集；依据待检测消化道图像概率特征集，获取待检测消化道图像的检查类别结果。本发明可以清楚地分辨出当前的消化镜下的状态，对图像的多维度特征进行针对性分析，综合考虑当前检测图像的光源、染色、器械使用和放大情况，对于人工智能在消化内镜下的应用起着十分重要的作用，作为辅助决策可以提供很多可供参考的信息和逻辑指导。
附图说明
图1为本发明所请求保护的一种基于状态分类的消化道图像识别方法的工作流程图；
图2为本发明所请求保护的一种基于状态分类的消化道图像识别方法的第二工作流程图；
图3为本发明所请求保护的一种基于状态分类的消化道图像识别方法的第三工作流程图；
图4为本发明所请求保护的一种基于状态分类的消化道图像识别方法的第四工作流程图；
图5为本发明所请求保护的一种基于状态分类的消化道图像识别系统的结构模块图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。可以理解，本申请所使用的术语“第一”、“第二”等可在本文本中用于描述各种元件，但除非特别说明，这些元件不受这些术语限制。这些术语仅用于将第一个元件与另外一个元件区分。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
根据本发明第一实施例，参照附图1，本发明请求保护一种基于状态分类的消化道图像识别方法，包括：
获取待检测消化道图像，对待检测消化道图像进行缩放和归一化处理，得到待检测标准消化道图像；
将待检测标准消化道图像输入多个分支网络，得到在各个分支网络下的待检测消化道图像概率特征集；
依据待检测消化道图像概率特征集，获取待检测消化道图像的检查类别结果。
其中，在该实施例中，所述消化道包括上消化道和下消化道，上消化道的图像包括了咽部图像、食管部图像、胃部图像、十二指肠部图像；下消化道的图像包括了例如大肠部图像、小肠部图像、回盲瓣部图像。在内窥镜所进行的消化道检查中，内窥镜在消化道内移动且不断进行拍摄，以此来获得所在位置相关的视频流。
进一步地，参照附图2，获取待检测消化道图像，对待检测消化道图像进行缩放和归一化处理，得到待检测标准消化道图像，具体包括：
根据目标消化道纹理与选定的消化道模板的消化道纹理的空间位置关系，对选定的消化道模板进行变换，使选定的消化道模板的消化道纹理与目标消化道纹理对齐。
具体包括：根据目标消化道纹理的方向向量，通过旋转变换将选定的消化道模板进行旋转；根据目标消化道纹理的褶皱长度，对选定的消化道模板进行等比例缩放；根据目标消化道纹理的生长点位置，对选定的消化道模板进行平移；
根据选定的消化道模板的消化道纹理点，对目标消化道纹理曲线进行重采样，使目标消化道纹理与选定的消化道模板中消化道纹理顶点个数相同且位置关系对应；根据目标消化道纹理和选定的消化道模板的消化道纹理的各顶点序号，建立两个消化道纹理之间的控制点对应关系；
根据消化道蠕动方向向量，将消化道图像的主方向旋转至相同坐标轴方向，以及将消化道图像的网格模型在三个坐标轴方向上进行等比例缩放，得到待检测标准消化道图像。
进一步地，多个分支网络至少包括第一分支网络、第二分支网络、第三分支网络、第四分支网络；
参照附图3，将待检测标准消化道图像输入多个分支网络，得到在各个分支网络下的待检测消化道图像概率特征集，具体包括：
获取待检测标准消化道图像的第一特征集、第二特征集、第三特征集和第四特征集，分别对应输入第一分支网络、第二分支网络、第三分支网络和第四分支网络；
各个分支网络运算分别得到第一输出结果、第二输出结果、第三输出结果和第四输出结果；
依据输出结果获取在各个分支网络下的待检测消化道图像概率特征集。
其中，在该实施例中，以MobileNetV2为例，流程图中的“输入分支网络”，其实是对输入图像在做特征提取的步骤，相当于表1中的A部分，随后的四个分支，相当于有4个B部分中的子网络接在了A的末端。
表1 输入分支网络结构划分表
表1中，t为扩展因子，c是输出特征矩阵深度，n是bottleneck的重复次数，s是步距。
预设的轻量型卷积神经网络包括依次连接的输入层、表层特征提取部分、高级语义特征提取部分backbone、第一卷积层、全局平均池化层GAP、第二卷积层以及分类层。
表层特征提取部分，包括三个依次连接的卷积模块，每个卷积模块包括依次连接的一个卷积层、一个DROPOUT层以及一个Liner层；高级语义特征提取部分包括若干个Bottleneck模块，其中表层特征提取部分的输出端还与高级语义特征提取部分中的第二个Bottleneck模块的输入端连接；分类层为由多个分类器构成的分类层。
先提取网络输入的表层特征，从而能够获得更多的细节信息；表层特征提取部分的输出还与高级语义特征提取部分中的第一个Bottleneck模块的输出深度串联后输入至第二个Bottleneck模块中，进而提取深层特征，加强特征传递。
第一卷积层、全局平均池化层GAP、第二卷积层构成网络的最后一层，GAP层不在最后的位置而是在卷积模块之前。GAP通过计算输入的高度和宽度维度的均值来执行下采样，对于输出的每一个通道的特征图的所有像素计算一个平均值，经过全局平均池化之后就得到一个维度与类别数相同的特征向量，然后直接输入到softmax层。全局平均池化可以在一定程度上抑制过拟合，而且经过全局平均池化后，网络能够适应输入信号长度的变化，当不同输入信号长度输入后，经过卷积等各个层的运算到达全局池化层，网络输出的维度等于输入的通道数，使得输入尺寸更加灵活。NDROPOUT表示无DROPOUT层，即网络端部的卷积模块中只有卷积层和激活函数。
分类层为由多个分类器构成的分类层，对于通信数据来说，要恢复的信息比特流的位数如果过多，随着比特数的增长，分类器的类别数目也会成指数爆炸增长。因为比特数据虽然只有0、1两类，但M个比特的排列组合就会有2M种，即输入的信息比特为M位时，单分类器要分出的类别就为2M种。对于比特数较少的情况，单分类器实现分类任务没有问题，而当M较大时，例如当M＝16时，2M＝65536，即单分类器要包含65536个类别，此时对于普通的计算设备，由于算力的限制，实现就会比较困难。当M＝32时，2M＝4294967296，一个单分类器包含如此多的类别进行分类任务是不现实的，主要原因是神经网络最后的分类层(全连接层+softmax)隐节点数量与类别数一般一致，包含如此大的隐节点数量增加了网络的空间复杂度和时间复杂度。此外，对于每种分类类别，往往都需要一定的训练样本，因此，训练样本数量远远大于2M，产生如此多的训练样本数量是不经济的，而且训练样本数量增加，训练的计算复杂度也会变得很高，网络将难以在有限时间内收敛。基于深度学习的信道译码研究也一定程度上受到这种情况影响，称为“维度灾难”。若要实现高阶调制，比特数同样也不能过小。因此在网络分类层采用了多个分类器的结构，来实现信息比特流的恢复可以有效解决上述问题。
本实施例中所提供的轻量型卷积神经网络最后的分类层，并不是只用一个单分类器来实现分类功能，而是采用了共享网络结构的多个分类器来实现比特流的恢复，分类器的个数与要恢复的信息比特流的位数一致。每一个分类器恢复的是信息比特流中的一个比特，每个分类器分类的类别为2，即恢复的比特是0或1，避免了单分类器要分类的类别过多的问题。
高级语义特征提取部分包括10个Bottleneck模块，Bottleneck模块的具体设置各不相同，具体设置可以如图3所示，括号内的数字代表的是卷积层中卷积核的个数，也称为通道数，从Bottleneck1至Bottleneck4，深度卷积层中卷积核的大小为1×3，Bottleneck5-10模块的卷积核的大小为1×5。RE表示在此Bottleneck模块中使用Liner作为激活函数；HS表示在此Bottleneck模块中使用HardSwish作为激活函数，也即Bottleneck1-3模块的激活函数为Liner函数，Bottleneck4-10模块的激活函数为HardSwish函数，由于特征图尺寸在较表层中往往更大，因此较表层的激活成本更高，在本实施例中，表层网络Bottleneck1-3模块中使用Liner作为激活函数，在深层网络Bottleneck4-10模块中使用HardSwish函数作为激活函数，可以有效缩短网络训练时间。
进一步地，第一分支网络、第二分支网络、第三分支网络、第四分支网络为经过深度学习训练的卷积神经网络；
第一特征集为光源相关特征集，第二特征集为染色相关特征集，第三特征集为器械相关特征集，第四特征集为放大识别特征集；
第一输出结果包括白光光源、NBI-BLI-OE-1光源、LCI光源的识别概率值；
第二输出结果包括未染色、碘染、靛胭脂染色、醋酸染色、出血的识别概率值；
第三输出结果包括无器械、有器械的识别概率值；
第四输出结果包括非放大模式、食管部放大模式、胃部放大模式的识别概率值；
待检测消化道图像概率特征集为各个输出结果中的多个要素的识别概率值形成的多元组。
其中，在该实施例中，获取胃肠镜采集的待检测消化道图像的灰度强度分量数据，将灰度强度分量数据输入至光源分支网络中，得到待检测消化道图像对应的光源属于不同预设类型光源的识别可能性。
具体的，计算灰度强度分量数据和标定矩阵的乘积，得到第一灰度强度分量数据；对第一灰度强度分量数据进行一阶求导，得到第二灰度强度分量数据；对第二灰度强度分量数据进行降维处理，得到第三灰度强度分量数据；将第三灰度强度分量数据输入至光源分支网络中，得到待检测消化道图像对应的光源属于不同预设类型光源的识别可能性。
光源分支网络可以为预先训练好的，可以识别出灰度强度分量数据属于不同预设类型光源的识别可能性。在光源分支网络训练的过程中，采用的训练数据可以为已知光源类型的灰度强度分量数据。比如，本实施例中预设的手术治疗光源类型有3种，对于每种光源类型，都可以采集在该光源类型下的多个图像的灰度强度分量数据，也就是说，每种光源类型可以对应有多个灰度强度分量数据，每个灰度强度分量数据对应不同图像，这些图像可以按照灰度强度场景来划分，即每个图像都可以对应一个灰度强度场景。灰度强度场景表示图像中所包含的灰度强度信息，当一个图像中仅包含一种灰度强度时，此时可以该图像的灰度强度场景描述为单色场景；当一个图像中包含多种灰度强度时，此时可以该图像的灰度强度场景描述为混色场景。因此，在训练光源分支网络时，对于同一种光源类型，可以采用不同灰度强度场景所对应的不同图像的灰度强度分量数据来训练光源分支网络，以使光源分支网络可以依据灰度强度分量数据准确地识别出待检测消化道图像属于不同预设类型光源的识别可能性。
光源分支网络输出的识别可能性的数量可以等于预设类型光源的种类数量，也可以小于预设类型光源的种类数量。比如，预设类型光源有3种，光源分支网络可以输出3个识别可能性，3个识别可能性可以为待检测消化道图像分别属于3种预设类型光源的识别可能性；光源分支网络还可以仅输出3个识别可能性，3个识别可能性可以为待检测消化道图像分别属于3种预设类型光源的识别可能性中值最大的3个识别可能性；比如，光源分支网络还可以仅输出1个识别可能性，该识别可能性为3种预设类型光源的识别可能性中值最大的概率。
其中，在该实施例中，对碘染、靛胭脂染色和醋酸染色分别进行关键点提取，基于碘染、靛胭脂染色和醋酸染色的关键点，建立醋酸染色到碘染、靛胭脂染色的仿射矩阵；
在碘染、靛胭脂染色上提取图像块，基于图像块建立训练图像数据集；根据仿射矩阵判断判断提取的图像块是否位于被染色区域，如果位于被染色区域标记为正样本，否则标记为负样本。
具体的，分别对碘染、靛胭脂染色和醋酸染色的前景信息和背景信息进行区分，分别检测碘染、靛胭脂染色的前景信息和醋酸染色的前景信息中组织的位置，将该组织完整的从碘染、靛胭脂染色和醋酸染色上提取出来，形成组织碘染、靛胭脂染色和醋酸染色；对组织碘染、靛胭脂染色和醋酸染色分别进行关键点提取，匹配组织碘染、靛胭脂染色和醋酸染色的关键点，建立醋酸染色到组织碘染、靛胭脂染色的仿射矩阵。
分别从组织碘染、靛胭脂染色和醋酸染色提取关键点；
计算碘染、靛胭脂染色和醋酸染色关键点的相似度；
根据关键点的相似度建立组织碘染、靛胭脂染色和醋酸染色的关键点匹配对；基于关键点匹配对生成仿射矩阵；
提取醋酸染色中被醋酸染色的消化道组织所在位置，生成醋酸染色标记网格图，将仿射矩阵作用于醋酸染色标记网格图，得到其对应的组织碘染、靛胭脂染色的消化道组织标记网格图。
其中，在该实施例中，根据待检测消化道图像的器械图像识别出待检测消化道图像的手术钳判断信息；获取待检测消化道图像的识别传感器中的记录的止血钳，并根据从图像识别模块获取的手术钳判断信息校验止血钳是否正确。
具体的，采集待检测消化道图像的器械图像；提取视觉采集装置采集的器械图像的图像特征信息，并将所提取的图像特征信息与存储器所存储的图像特征信息进行匹配，将所匹配到的图像特征信息对应的手术器械的器械信息确定为待检测消化道图像的手术钳判断信息。
读取识别传感器中记录的止血钳；获取所确定的待检测消化道图像的手术钳判断信息，并将止血钳与手术钳判断信息进行比对，以判断识别传感器中记录的止血钳是否正确。
读取识别传感器中记录的第一校验值，按照第二预设校验算法对止血钳进行计算得到第二校验值，判断第一校验值与第二校验值是否匹配。
其中，在该实施例中，针对第四输出结果包括非放大模式、食管部放大模式、胃部放大模式的识别概率值包括：
将已拉伸分辨率图像以及根据已拉伸分辨率图像生成的待检测消化道图像的配置信息存储在分辨率存储器中，已拉伸分辨率图像为对显示屏系统采集的原始分辨率图像进行拉伸处理后得到的，待检测消化道图像用于在消化镜显示屏上进行显示；
根据分辨率数据处理请求，得到待检测消化道图像的配置信息和已拉伸分辨率图像；
根据配置信息对已拉伸分辨率图像进行回收处理，得到基础分辨率图像；
根据配置信息对基础分辨率图像进行放大处理，得到待检测消化道图像；
对待检测消化道图像进行显示；
根据车载显示屏上的任一分辨率图像区域内的显示分辨率图像中的各个目标像素点的位置坐标信息，在分辨率存储器中搜索得到与位置坐标信息相匹配的待检测消化道图像；
将目标像素点的像素值与对应的待检测消化道图像的像素值进行比对分析，根据比对分析结果判断是否存在放大。
进一步地，参照附图4，依据待检测消化道图像概率特征集，获取待检测消化道图像的检查类别结果，具体包括：
依据待检测消化道图像概率特征集，获取各个输出结果的识别结果；
依据识别结果，得到待检测消化道图像的检查类别结果；
将待检测消化道图像的检查类别结果和识别结果形成五元组存储。
其中，在该实施例中，每个分支网络的输出结果本质上都是一个经过softmax操作之后的向量，将每一个分支网络的多个输出结果进行元组构建，形成多元组形式的识别结果。
例如，染色分支网络在某一次对待检测消化道图像的识别结果是[0, 0.1, 0.7,0.2]，分别代表了染色分支四个结果的预测概率值。
其中，未染色的概率为0；
碘染的概率为0.1；
靛胭脂染色的概率为0.7；
醋酸染色的概率为0.2。
在这种情况下，采用赢者通吃的策略，该方案下认定染色分支网络的识别结果为“靛胭脂染色”。
类似的，光源识别分支网络、器械识别分支网络、放大识别分支网络都采用相同的策略。因此，将预测向量，转为单一的预测类别。
基于上述多个分支网络的排列组合的结果策略设定如下：
当放大识别分支网络识别结果为“食管放大”or“胃部放大”，则判断检查类型分支输出“详细检查”。
当染色分支网络识别结果为“碘染”or“靛胭脂染色”or“醋酸染色”，则判断检查类型分支输出“详细检查”。
当器械识别分支网络识别结果为“有器械”，且染色识别结果不是“明显出血”，则判断检查类型分支输出“钳除并取活检”。
当器械识别分支网络识别结果为“有器械”，且染色识别结果是“明显出血”，则判断检查类型分支输出“手术”。
除以上4种情况外的任意组合，判断检查类型分支输出“常规检查”。
需要强调的是，每一帧都会有一个对应的检查类型的结果。所以一个病人的检查/手术全程，会有得到上万个上述的五元组结果（光源状态、染色状态、器械状态、放大状态、检查类型）。我们的专利便于医生在之后进行回溯性工作的时候，可以快速定位到某个病例的某些特殊场景。比如医生想要调出患者的手术相关的图像。
根据本发明第二实施例，参照附图5，本发明请求保护一种基于状态分类的消化道图像识别系统，包括：
标准处理模块，获取待检测消化道图像，对待检测消化道图像进行缩放和归一化处理，得到待检测标准消化道图像；
分支处理模块，将待检测标准消化道图像输入多个分支网络，得到在各个分支网络下的待检测消化道图像概率特征集；
结果输出模块，依据待检测消化道图像概率特征集，获取待检测消化道图像的检查类别结果。
进一步地，获取待检测消化道图像，对待检测消化道图像进行缩放和归一化处理，得到待检测标准消化道图像，具体包括：
根据目标消化道纹理与选定的消化道模板的消化道纹理的空间位置关系，对选定的消化道模板进行变换，使选定的消化道模板的消化道纹理与目标消化道纹理对齐，包括：根据目标消化道纹理的方向向量，通过旋转变换将选定的消化道模板进行旋转；根据目标消化道纹理的褶皱长度，对选定的消化道模板进行等比例缩放；根据目标消化道纹理的生长点位置，对选定的消化道模板进行平移；
根据选定的消化道模板的消化道纹理点，对目标消化道纹理曲线进行重采样，使目标消化道纹理与选定的消化道模板中消化道纹理顶点个数相同且位置关系对应；根据目标消化道纹理和选定的消化道模板的消化道纹理的各顶点序号，建立两个消化道纹理之间的控制点对应关系；
根据消化道蠕动方向向量，将消化道图像的主方向旋转至相同坐标轴方向，以及将消化道图像的网格模型在三个坐标轴方向上进行等比例缩放，得到待检测标准消化道图像。
进一步地，多个分支网络至少包括第一分支网络、第二分支网络、第三分支网络、第四分支网络；
将待检测标准消化道图像输入多个分支网络，得到在各个分支网络下的待检测消化道图像概率特征集，具体包括：
获取待检测标准消化道图像的第一特征集、第二特征集、第三特征集和第四特征集，分别对应输入第一分支网络、第二分支网络、第三分支网络和第四分支网络；
各个分支网络运算分别得到第一输出结果、第二输出结果、第三输出结果和第四输出结果；
依据输出结果获取在各个分支网络下的待检测消化道图像概率特征集。
进一步地，第一分支网络、第二分支网络、第三分支网络、第四分支网络为经过深度学习训练的卷积神经网络；
第一特征集为光源相关特征集，第二特征集为染色相关特征集，第三特征集为器械相关特征集，第四特征集为放大识别特征集；
第一输出结果包括白光光源、NBI-BLI-OE-1光源、LCI光源的识别概率值；
第二输出结果包括未染色、碘染、靛胭脂染色、醋酸染色、出血的识别概率值；
第三输出结果包括无器械、有器械的识别概率值；
第四输出结果包括非放大模式、食管部放大模式、胃部放大模式的识别概率值；
待检测消化道图像概率特征集为各个输出结果中的多个要素的识别概率值形成的多元组。
进一步地，依据待检测消化道图像概率特征集，获取待检测消化道图像的检查类别结果，具体包括：
依据待检测消化道图像概率特征集，获取各个输出结果的识别结果；
依据识别结果，得到待检测消化道图像的检查类别结果；
将待检测消化道图像的检查类别结果和识别结果形成五元组存储。
本领域技术人员能够理解，本公开所披露的内容可以出现多种变型和改进。例如，以上所描述的各种设备或组件可以通过硬件实现，也可以通过软件、固件、或者三者中的一些或全部的组合实现。
本公开中使用了流程图用来说明根据本公开的实施例的方法的步骤。应当理解的是，前面或后面的步骤不一定按照顺序来精确的进行。相反，可以按照倒序或同时处理各种步骤。同时，也可以将其他操作添加到这些过程中。
本领域普通技术人员可以理解上述方法中的全部或部分的步骤可通过计算机程序来指令相关硬件完成，程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本公开并不限制于任何特定形式的硬件和软件的结合。
除非另有定义，这里使用的所有术语具有与本公开所属领域的普通技术人员共同理解的相同含义。还应当理解，诸如在通常字典里定义的那些术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义，而不应用理想化或极度形式化的意义来解释，除非这里明确地这样定义。
以上是对本公开的说明，而不应被认为是对其的限制。尽管描述了本公开的若干示例性实施例，但本领域技术人员将容易地理解，在不背离本公开的新颖教学和优点的前提下可以对示例性实施例进行许多修改。因此，所有这些修改都意图包含在权利要求书所限定的本公开范围内。应当理解，上面是对本公开的说明，而不应被认为是限于所公开的特定实施例，并且对所公开的实施例以及其他实施例的修改意图包含在所附权利要求书的范围内。本公开由权利要求书及其等效物限定。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
Claims (8)
1.一种基于状态分类的消化道图像识别方法，其特征在于，包括：
获取待检测消化道图像，对所述待检测消化道图像进行缩放和归一化处理，得到待检测标准消化道图像；
将所述待检测标准消化道图像输入多个分支网络，得到在各个分支网络下的待检测消化道图像概率特征集；
依据所述待检测消化道图像概率特征集，获取所述待检测消化道图像的检查类别结果；
所述多个分支网络至少包括第一分支网络、第二分支网络、第三分支网络、第四分支网络；
所述将所述待检测标准消化道图像输入多个分支网络，得到在各个分支网络下的待检测消化道图像概率特征集，具体包括：
获取所述待检测标准消化道图像的第一特征集、第二特征集、第三特征集和第四特征集，分别对应输入第一分支网络、第二分支网络、第三分支网络和第四分支网络；
各个分支网络运算分别得到第一输出结果、第二输出结果、第三输出结果和第四输出结果；
依据所述输出结果获取在各个分支网络下的待检测消化道图像概率特征集；
所述第一分支网络、第二分支网络、第三分支网络、第四分支网络为经过深度学习训练的卷积神经网络；
所述第一特征集为光源相关特征集，所述第二特征集为染色相关特征集，所述第三特征集为器械相关特征集，所述第四特征集为放大识别特征集。
2.如权利要求1所述的一种基于状态分类的消化道图像识别方法，其特征在于，
所述获取待检测消化道图像，对所述待检测消化道图像进行缩放和归一化处理，得到待检测标准消化道图像，具体包括：
根据目标消化道纹理与选定的消化道模板的消化道纹理的空间位置关系，对所述选定的消化道模板进行变换，使所述选定的消化道模板的消化道纹理与目标消化道纹理对齐，包括：根据目标消化道纹理的方向向量，通过旋转变换将选定的消化道模板进行旋转；根据目标消化道纹理的褶皱长度，对选定的消化道模板进行等比例缩放；根据目标消化道纹理的生长点位置，对选定的消化道模板进行平移；
根据选定的消化道模板的消化道纹理点，对目标消化道纹理曲线进行重采样，使目标消化道纹理与选定的消化道模板中消化道纹理顶点个数相同且位置关系对应；根据目标消化道纹理和选定的消化道模板的消化道纹理的各顶点序号，建立两个消化道纹理之间的控制点对应关系；
根据消化道蠕动方向向量，将消化道图像的主方向旋转至相同坐标轴方向，以及将消化道图像的网格模型在三个坐标轴方向上进行等比例缩放，得到待检测标准消化道图像。
3.如权利要求2所述的一种基于状态分类的消化道图像识别方法，其特征在于，
所述第一输出结果包括白光光源、NBI-BLI-OE-1光源、LCI光源的识别概率值；
所述第二输出结果包括未染色、碘染、靛胭脂染色、醋酸染色、出血的识别概率值；
所述第三输出结果包括无器械、有器械的识别概率值；
所述第四输出结果包括非放大模式、食管部放大模式、胃部放大模式的识别概率值；
待检测消化道图像概率特征集为各个所述输出结果中的多个要素的识别概率值形成的多元组。
4.如权利要求3所述的一种基于状态分类的消化道图像识别方法，其特征在于，
所述依据所述待检测消化道图像概率特征集，获取所述待检测消化道图像的检查类别结果，具体包括：
依据所述待检测消化道图像概率特征集，获取各个输出结果的识别结果；
依据所述识别结果，得到所述待检测消化道图像的检查类别结果；
将所述待检测消化道图像的检查类别结果和所述识别结果形成五元组存储。
5.一种基于状态分类的消化道图像识别系统，其特征在于，包括：
标准处理模块，获取待检测消化道图像，对所述待检测消化道图像进行缩放和归一化处理，得到待检测标准消化道图像；
分支处理模块，将所述待检测标准消化道图像输入多个分支网络，得到在各个分支网络下的待检测消化道图像概率特征集；
结果输出模块，依据所述待检测消化道图像概率特征集，获取所述待检测消化道图像的检查类别结果；
所述多个分支网络至少包括第一分支网络、第二分支网络、第三分支网络、第四分支网络；
所述将所述待检测标准消化道图像输入多个分支网络，得到在各个分支网络下的待检测消化道图像概率特征集，具体包括：
获取所述待检测标准消化道图像的第一特征集、第二特征集、第三特征集和第四特征集，分别对应输入第一分支网络、第二分支网络、第三分支网络和第四分支网络；
各个分支网络运算分别得到第一输出结果、第二输出结果、第三输出结果和第四输出结果；
依据所述输出结果获取在各个分支网络下的待检测消化道图像概率特征集；
所述第一分支网络、第二分支网络、第三分支网络、第四分支网络为经过深度学习训练的卷积神经网络；
所述第一特征集为光源相关特征集，所述第二特征集为染色相关特征集，所述第三特征集为器械相关特征集，所述第四特征集为放大识别特征集。
6.如权利要求5所述的一种基于状态分类的消化道图像识别系统，其特征在于，
所述获取待检测消化道图像，对所述待检测消化道图像进行缩放和归一化处理，得到待检测标准消化道图像，具体包括：
根据目标消化道纹理与选定的消化道模板的消化道纹理的空间位置关系，对所述选定的消化道模板进行变换，使所述选定的消化道模板的消化道纹理与目标消化道纹理对齐，包括：根据目标消化道纹理的方向向量，通过旋转变换将选定的消化道模板进行旋转；根据目标消化道纹理的褶皱长度，对选定的消化道模板进行等比例缩放；根据目标消化道纹理的生长点位置，对选定的消化道模板进行平移；
根据选定的消化道模板的消化道纹理点，对目标消化道纹理曲线进行重采样，使目标消化道纹理与选定的消化道模板中消化道纹理顶点个数相同且位置关系对应；根据目标消化道纹理和选定的消化道模板的消化道纹理的各顶点序号，建立两个消化道纹理之间的控制点对应关系；
根据消化道蠕动方向向量，将消化道图像的主方向旋转至相同坐标轴方向，以及将消化道图像的网格模型在三个坐标轴方向上进行等比例缩放，得到待检测标准消化道图像。
7.如权利要求6所述的一种基于状态分类的消化道图像识别系统，其特征在于，
所述第一输出结果包括白光光源、NBI-BLI-OE-1光源、LCI光源的识别概率值；
所述第二输出结果包括未染色、碘染、靛胭脂染色、醋酸染色、出血的识别概率值；
所述第三输出结果包括无器械、有器械的识别概率值；
所述第四输出结果包括非放大模式、食管部放大模式、胃部放大模式的识别概率值；
待检测消化道图像概率特征集为各个所述输出结果中的多个要素的识别概率值形成的多元组。
8.如权利要求7所述的一种基于状态分类的消化道图像识别系统，其特征在于，
所述依据所述待检测消化道图像概率特征集，获取所述待检测消化道图像的检查类别结果，具体包括：
依据所述待检测消化道图像概率特征集，获取各个输出结果的识别结果；
依据所述识别结果，得到所述待检测消化道图像的检查类别结果；
将所述待检测消化道图像的检查类别结果和所述识别结果形成五元组存储。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311024952.2A CN116740475B (zh) | 2023-08-15 | 2023-08-15 | 一种基于状态分类的消化道图像识别方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311024952.2A CN116740475B (zh) | 2023-08-15 | 2023-08-15 | 一种基于状态分类的消化道图像识别方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116740475A true CN116740475A (zh) | 2023-09-12 |
| CN116740475B CN116740475B (zh) | 2023-10-17 |
Family
ID=87906476
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311024952.2A Active CN116740475B (zh) | 2023-08-15 | 2023-08-15 | 一种基于状态分类的消化道图像识别方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116740475B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109118485A (zh) * | 2018-08-13 | 2019-01-01 | 复旦大学 | 基于多任务神经网络的消化道内镜图像分类及早癌检测系统 |
| CN109919212A (zh) * | 2019-02-26 | 2019-06-21 | 中山大学肿瘤防治中心 | 消化道内镜影像中肿瘤的多尺度检测方法及装置 |
| CN110009623A (zh) * | 2019-04-10 | 2019-07-12 | 腾讯科技（深圳）有限公司 | 一种图像识别模型训练及图像识别方法、装置及系统 |
| CN110991561A (zh) * | 2019-12-20 | 2020-04-10 | 山东大学齐鲁医院 | 一种下消化道内窥镜图像识别方法及系统 |
| CN115040054A (zh) * | 2022-05-30 | 2022-09-13 | 延安大学附属医院 | 一种消化道病变内镜定位装置 |
-
2023
- 2023-08-15 CN CN202311024952.2A patent/CN116740475B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109118485A (zh) * | 2018-08-13 | 2019-01-01 | 复旦大学 | 基于多任务神经网络的消化道内镜图像分类及早癌检测系统 |
| CN109919212A (zh) * | 2019-02-26 | 2019-06-21 | 中山大学肿瘤防治中心 | 消化道内镜影像中肿瘤的多尺度检测方法及装置 |
| CN110009623A (zh) * | 2019-04-10 | 2019-07-12 | 腾讯科技（深圳）有限公司 | 一种图像识别模型训练及图像识别方法、装置及系统 |
| CN110473192A (zh) * | 2019-04-10 | 2019-11-19 | 腾讯医疗健康(深圳)有限公司 | 消化道内镜图像识别模型训练及识别方法、装置及系统 |
| CN110991561A (zh) * | 2019-12-20 | 2020-04-10 | 山东大学齐鲁医院 | 一种下消化道内窥镜图像识别方法及系统 |
| CN115040054A (zh) * | 2022-05-30 | 2022-09-13 | 延安大学附属医院 | 一种消化道病变内镜定位装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116740475B (zh) | 2023-10-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Jin et al. | DUNet: A deformable network for retinal vessel segmentation | |
| Pogorelov et al. | Deep learning and hand-crafted feature based approaches for polyp detection in medical videos | |
| CN113496489B (zh) | 内窥镜图像分类模型的训练方法、图像分类方法和装置 | |
| Sekuboyina et al. | A convolutional neural network approach for abnormality detection in wireless capsule endoscopy | |
| WO2017055412A1 (en) | Method and system for classification of endoscopic images using deep decision networks | |
| CN111275041B (zh) | 内窥镜图像展示方法、装置、计算机设备及存储介质 | |
| CN112614128B (zh) | 一种基于机器学习的内镜下辅助活检的系统及方法 | |
| CN109997147A (zh) | 用于诊断耳部病理的耳镜图像分析的系统和方法 | |
| CN109635871B (zh) | 一种基于多特征融合的胶囊内窥镜图像分类方法 | |
| CN110335241B (zh) | 肠镜检查后对肠道准备自动进行评分的方法 | |
| CN114399465B (zh) | 良恶性溃疡识别方法及系统 | |
| CN112466466B (zh) | 基于深度学习的消化道辅助检测方法、装置和计算设备 | |
| WO2023284246A1 (zh) | 内镜图像特征点提取方法 | |
| Gueye et al. | Automatic detection of colonoscopic anomalies using capsule endoscopy | |
| CN117115448B (zh) | 基于深度神经网络的图像语义分割方法、装置及设备 | |
| Vasilakakis et al. | DINOSARC: Color features based on selective aggregation of chromatic image components for wireless capsule endoscopy | |
| CN116740475B (zh) | 一种基于状态分类的消化道图像识别方法和系统 | |
| CN113689430B (zh) | 肠镜检查状态监测的图像处理方法与装置 | |
| Zhou et al. | Capsule endoscopy images classification by random forests and ferns | |
| CN115908224A (zh) | 目标检测模型的训练方法、目标检测方法和训练装置 | |
| Zhou et al. | Wireless capsule endoscopy video automatic segmentation | |
| Atasoy et al. | Endoscopic video manifolds | |
| Dayananda | Novel Convoluted local energy oriented patten (CLEOP) for the classification of wireless capsule endoscopy images | |
| Bayazitov et al. | The effectiveness of automatic laparoscopic diagnostics of liver pathology using different methods of digital images classification | |
| Zhou et al. | A novel method for capsule endoscopy video automatic segmentation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |