CN110598582A - 一种眼图像处理模型构建方法和装置 - Google Patents
一种眼图像处理模型构建方法和装置 Download PDFInfo
- Publication number
- CN110598582A CN110598582A CN201910787871.5A CN201910787871A CN110598582A CN 110598582 A CN110598582 A CN 110598582A CN 201910787871 A CN201910787871 A CN 201910787871A CN 110598582 A CN110598582 A CN 110598582A
- Authority
- CN
- China
- Prior art keywords
- attention
- channel
- image processing
- processing model
- residual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 54
- 238000010276 construction Methods 0.000 title claims abstract description 14
- 238000013145 classification model Methods 0.000 claims abstract description 30
- 230000001575 pathological effect Effects 0.000 claims abstract description 30
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims abstract description 21
- 238000001514 detection method Methods 0.000 claims abstract description 20
- 238000013507 mapping Methods 0.000 claims abstract description 18
- 238000012549 training Methods 0.000 claims abstract description 15
- 238000000034 method Methods 0.000 claims abstract description 13
- 238000012800 visualization Methods 0.000 claims abstract description 13
- 230000007246 mechanism Effects 0.000 claims abstract description 11
- 230000003213 activating effect Effects 0.000 claims abstract description 7
- 238000011176 pooling Methods 0.000 claims description 22
- 238000010586 diagram Methods 0.000 claims description 15
- 230000004913 activation Effects 0.000 claims description 11
- 239000013598 vector Substances 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000012986 modification Methods 0.000 claims description 3
- 230000004048 modification Effects 0.000 claims description 3
- 230000004931 aggregating effect Effects 0.000 claims description 2
- 230000007170 pathology Effects 0.000 abstract description 2
- 206010038933 Retinopathy of prematurity Diseases 0.000 description 20
- 230000006870 function Effects 0.000 description 4
- 238000012216 screening Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 201000004569 Blindness Diseases 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000009901 attention process Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 208000018773 low birth weight Diseases 0.000 description 1
- 231100000533 low birth weight Toxicity 0.000 description 1
- 230000002028 premature Effects 0.000 description 1
- 230000002062 proliferating effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002207 retinal effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Public Health (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Ophthalmology & Optometry (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Pathology (AREA)
- Quality & Reliability (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种眼图像处理模型构建方法和装置，方法包括：设置残差网络以作为基础处理模型；在残差块末端增加特征检测模块，获得分类模型；基于ROP图片训练所述分类模型；基于加权梯度类激活映射处理所述分类模型，实现病理部位的定位和可视化，输出对应的病理图像和/或类型信息。装置用于执行方法。本发明通过设置基础处理模型；在残差块末端增加特征检测模块；能够通过注意机制降低非目标特征的干扰，提高识别效率。基于ROP图片训练分类模型以明确适用的范围；基于加权梯度类激活映射处理分类模型，实现病理部位的定位和可视化，输出对应的病理图像和/或类型信息，能够明确显示病理结构，有助于提高医生针对于具体病状的研判能力。
Description
技术领域
本发明涉及图像处理技术领域，尤其是一种眼图像处理模型构建方法和装置。
背景技术
早产儿视网膜病变(retinopathy of prematurity，ROP)是一种视网膜血管增生性疾病，主要见于早产儿和低出生体重儿。ROP是儿童失明的主要原因。早期筛查和及时治疗对预防ROP失明至关重要。由于筛查工作量大及专业眼科医生不足等因素，研究自动ROP筛查的方法有望减轻医生负担，具有一定的临床价值。现有的自动ROP筛查方法仅仅给出一个诊断结果，不能进一步的给与医师更多的识别的支持。
发明内容
本发明实施例旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明实施例的一个目的是提供一种眼图像处理模型构建方法和装置。
本发明所采用的技术方案是：
第一方面，本发明实施例提供一种眼图像处理模型构建方法，包括：设置残差网络以作为基础处理模型；在残差网络的残差块的末端增加基于注意机制的特征检测模块，获得分类模型；基于ROP图片训练所述分类模型；基于加权梯度类激活映射处理所述分类模型，实现病理部位的定位和可视化，输出对应的病理图像和/或类型信息。
优选地，所述特征检测模块包括：用于基于特征的通道间关系输出通道注意图的通道注意单元；用于基于特征之间的空间关系输出空间注意图的空间注意单元；所述残差块的末端输出的网络中间特征图，依次与所述通道注意图、所述空间注意图执行元素乘法。
优选地，所述通道注意图为一维的通道注意图，所述空间注意图为二维的空间注意图，元素乘法执行期间，通过维度广播保持元素乘法的矩阵的维度。
优选地，所述输出通道注意图包括：分别基于全局平均池化和全局最大池化聚合所述残差块输出的特征图的空间信息，得到平均池化特征和全局池化特征将和并行传递到全连接层，得到对应的特征向量，标记为通道特征向量；基于元素求和的方式合并所述通道特征向量，得到通道注意图。
优选地，所述输出空间注意图包括：沿着通道轴线执行平均池化，得到二维映射沿着通道轴线执行最大池化，得到二维映射连接和执行卷积，得到空间注意图MS。
优选地，所述残差网络为ResNet50。
优选地，通道注意图中的通道注意力其中，σ为sigmoid函数，FCs为两层全连接层。
优选地，空间注意图中的空间注意力其中，σ为sigmoid函数，f7×7为执行7×7的卷积运算。
第二方面，本发明实施例提供一种眼图像处理模型构建装置，包括初始设置单元，用于设置残差网络以作为基础处理模型；修改单元，用于在残差网络的残差块的末端增加基于注意机制的特征检测模块，获得分类模型；训练单元，用于基于ROP图片训练所述分类模型；可视化单元，用于基于加权梯度类激活映射处理所述分类模型，实现病理部位的定位和可视化，输出对应的病理图像和/或类型信息。
第三方面，本发明实施例提供一种眼图像处理模型，包括：残差网络、特征检测模块和加权梯度类激活映射模块；所述特征检测模块连接所述残差网络的残差块的末端，所述加权梯度类激活映射模块连接所述残差网络的最后一层卷积层。
本发明实施例的有益效果是：
本发明实施例通过设置残差网络以作为基础处理模型；在残差网络的残差块的末端增加基于注意机制的特征检测模块，获得分类模型；能够通过注意机制降低非目标特征的干扰，提高识别效率。基于ROP图片训练分类模型以明确适用的范围；基于加权梯度类激活映射处理分类模型，实现病理部位的定位和可视化，输出对应的病理图像和/或类型信息，能够明确显示病理结构，有助于提高医生针对于具体病状的研判能力。
附图说明
图1是眼图像处理模型构建方法的一种实施例的流程图；
图2是眼图像处理模型构建装置的一种实施例的连接图；
图3是眼图像处理对比图；
图4是基于残差网络的眼部图像处理框架图；
图5是基于残差网络的眼部图像处理示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
实施例1。
本实施例提供如图1所示的一种眼图像处理模型构建方法，包括：
S1、设置残差网络以作为基础处理模型；
S2、在残差网络的残差块的末端增加基于注意机制的特征检测模块，获得分类模型；
S3、基于ROP图片训练分类模型；
S4、基于加权梯度类激活映射处理分类模型，实现病理部位的定位和可视化，输出对应的病理图像和/或类型信息。
具体的处理模型构建原理包括：
使用ResNet50作为基础的图像处理的神经网络，利用一个包括通道注意力和空间注意力的特征检测模块来增强神经网络特征表示能力，让神经网络能更加关注于病理结构区域。
残差网络包括若干残差块(residual block)，在残差块的最后一层网络后连接特征检测模块，其目的在于增强其特征表示能力，残差网络的其他部分和常规的残差网络一致。将增加了基于注意机制的特征检测模块的残差网络标记为分类模型。
利用RetCam3等系统采集的眼底图像数据，通过人工辨识的方法标记眼底图像，得到对应的训练组和验证组，标记训练组和验证组为ROP图片。
基于加权梯度类激活映射(Grad-CAM)的原理处理分类模型，具体包括：将分类模型的最后一层卷积层输出的特征图，连接到GAP(Global Average Pooling)得到了最后一个卷积层每个特征图的均值，通过加权和得到输出。同时，针对于不同的图片的类别，每个特征图的均值都有一个对应的参数(即特征权重)。在本实施例中，该参数为通过实验得到的针对于ROP图像的参数。通过与ROP对应的参数，能够实现病理部位的可视化。通过简单的像素图像的边界的确定，即可以实现在病理部位的外围增加一个方框，同时也可以输出各种文字。
通过进过训练的分类模型，能够执行图片的类型的判断。在本实施例主要是判断符合ROP特征的图像。还可以结合判断结果，输出具体的文字说明。同时，通过Grad-CAM，能够输出附有框的病理部位的图像，有助于快速查找对应的图像，提高眼部图像处理的效率。
注意机制通过关注重要特征，抑制不必要的特征，可提高DCNNs(深度卷积神经网络的表达能力。给定一个网络中间特征图F∈RC×H×W作为输入(即残差块输出的特征，C/H/W为维度值)，通道注意单元和空间注意单元依次生成一维通道注意力图Mc∈RC×1×1和二维空间注意力图Ms∈R1×H×W，整个注意过程可以概括为：其中表示元素乘法。
为了保证相乘的两个矩阵维数相同，在元素乘法过程中，对注意力图的数值进行相应的广播：通道注意力图沿着空间维度广播，空间注意力图沿着通道维度广播。F′是经过通道注意的输出，即通道特征向量，F″是最后精制输出，其目的在于提高值得关注的特征(在本实施例为ROP相关的特征)的识别和处理。即用于基于特征的通道间关系输出通道注意图的通道注意单元；用于基于特征之间的空间关系输出空间注意图的空间注意单元；残差块的末端输出的网络中间特征图，依次与通道注意图、空间注意图执行元素乘法。通道注意图为一维的通道注意图，空间注意图为二维的空间注意图，元素乘法执行期间，通过维度广播保持元素乘法的矩阵的维度。
通道注意力的原理包括：
特征图的每个通道都被看作是一个特征检测器，通道的注意力集中在对给定的输入图像有意义的“什么”上。
利用特征的通道间关系，生成了一个通道注意力图：为了有效地计算通道注意力，本实施例压缩了输入特征图的空间维数。首先使用全局平均池化和全局最大池化聚合了特征图(即网络中间特征图)的通道信息。生成了两个不同的通道上下文表达式：和分别表示全局平均池化特征和全局最大池化特征。然后，将这两个特征并行地传递到共享的两层全连接层。最后，使用元素求和的方法合并输出特征向量来生成我们的通道注意图Mc∈RC×1×1。通道注意力计算为：
其中，σ为sigmoid函数，FCs为共享的两层全连接层，对应的全连接层的权重分别为W0∈RC/r×C，W1∈RC×C/r，FCs＝W0×W1。
为了减少计算参数量，可以将第一个全连接层激活大小设置为其中r是缩小率。
空间注意力的原理包括：
与通道注意力不同，空间注意力注重的是“哪里”有大量的信息，是对通道注意力的补充。
利用特征间的空间关系生成空间注意力图：为了计算空间注意力，首先沿着通道轴执行平均池化操作和最大池化操作，来生成两个2D映射：和分别表示通道上的平均池化特征和最大池化特征。然后，将这两个特征连接起来，运用1个卷积操作来生成的二维空间注意力图MS∈R1×H×W。空间注意力计算为：
其中σ为sigmoid函数。f7×7表示滤波器执行大小为7×7的卷积运算。
本模型在测试、训练过程中，所用评价指标包括：准确性(ACC)、灵敏度(SEN)、特异性(SPEC)、精确率(PPV)、F1分数(F1)和曲线下面积(AUC)。其定义为： 其中，TP、FP、TN和FN分别代表真阳性,假阳性,真阴性和假阴性。
眼图像处理模型的工作流程包括：
给定一个输入图像，首先从已经训练完毕的网络中获得类预测，作为诊断结果。接下来，为预测的类生成类激活图，并使用适当的阈值进行二值化。这就产生了像素的连接段，在最大的轮廓周围绘制边界矩形。一般情况下，对于如图3a所示的预测为ROP的眼部图像，图3b中的矩形框区域即为病理结构。因此，可以通过提供病理结构单位来解释为何属于ROP。
如图4所示的基于残差网络的眼部图像处理框架：
输入眼部图像；进过卷积处理(具体包括执行：7x7卷积、BN、Relu和Maxpool)；特征图经过残差块处理+基于注意力的特征检测得到特征图；全局平均池化特征图+全连接层处理得到分类结果；加权梯度类激活映射处理特征图得到病理结构定位；
结合分类结果和病理结构定位输出符合ROP的眼部图像，此时，ROP的眼部图像上显示有定位病理结构的标记框。
如图5所示的基于残差网络的眼部图像处理示意图。
输入图像经过Conv、BN、Relu和Maxpool处理，特征图经过残差块处理+基于注意力的特征检测得到特征图；全局平均池化特征图+全连接层处理得到分类结果(输出与分类结果匹配的特征权重，W1～Wn)；加权梯度类激活映射(根据分类结果匹配的特征权重)处理特征图得到病理结构定位。
实施例2。
本实施例提供如图2的一种眼图像处理模型构建装置包括：
初始设置单元1，用于设置残差网络以作为基础处理模型；
修改单元2，用于在残差网络的残差块的末端增加基于注意机制的特征检测模块，获得分类模型；
训练单元3，用于基于ROP图片训练分类模型；
可视化单元4，用于基于加权梯度类激活映射处理分类模型，实现病理部位的定位和可视化，输出对应的病理图像和/或类型信息。
本实施例提供一种眼图像处理模型，包括：残差网络、特征检测模块和加权梯度类激活映射模块；特征检测模块连接残差网络的残差块的末端，加权梯度类激活映射模块连接残差网络的最后一层卷积层。
以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
Claims (10)
1.一种眼图像处理模型构建方法，其特征在于，包括：
设置残差网络以作为基础处理模型；
在残差网络的残差块的末端增加基于注意机制的特征检测模块，获得分类模型；
基于ROP图片训练所述分类模型；
基于加权梯度类激活映射处理所述分类模型，实现病理部位的定位和可视化，输出对应的病理图像和/或类型信息。
2.根据权利要求1所述的一种眼图像处理模型构建方法，其特征在于，所述特征检测模块包括：
用于基于特征的通道间关系输出通道注意图的通道注意单元；
用于基于特征之间的空间关系输出空间注意图的空间注意单元；
所述残差块的末端输出的网络中间特征图，依次与所述通道注意图、所述空间注意图执行元素乘法。
3.根据权利要求2所述的一种眼图像处理模型构建方法，其特征在于，所述通道注意图为一维的通道注意图，所述空间注意图为二维的空间注意图，元素乘法执行期间，通过维度广播保持元素乘法的矩阵的维度。
4.根据权利要求2所述的一种眼图像处理模型构建方法，其特征在于，所述输出通道注意图包括：
分别基于全局平均池化和全局最大池化聚合所述残差块输出的特征图的空间信息，得到平均池化特征和全局池化特征
将和并行传递到全连接层，得到对应的特征向量，标记为通道特征向量；
基于元素求和的方式合并所述通道特征向量，得到通道注意图。
5.根据权利要求2所述的一种眼图像处理模型构建方法，其特征在于，所述输出空间注意图包括：
沿着通道轴线执行平均池化，得到二维映射
沿着通道轴线执行最大池化，得到二维映射
连接和执行卷积，得到空间注意图MS。
6.根据权利要求1所述的一种眼图像处理模型构建方法，其特征在于，所述残差网络为ResNet50。
7.根据权利要求4所述的一种眼图像处理模型构建方法，其特征在于，通道注意图中的通道注意力其中，σ为sigmoid函数，FCs为两层全连接层。
8.根据权利要求5所述的一种眼图像处理模型构建方法，其特征在于，空间注意图中的空间注意力其中，σ为sigmoid函数，f7×7为执行7×7的卷积运算。
9.一种眼图像处理模型构建装置，其特征在于，包括：
初始设置单元，用于设置残差网络以作为基础处理模型；
修改单元，用于在残差网络的残差块的末端增加基于注意机制的特征检测模块，获得分类模型；
训练单元，用于基于ROP图片训练所述分类模型；
可视化单元，用于基于加权梯度类激活映射处理所述分类模型，实现病理部位的定位和可视化，输出对应的病理图像和/或类型信息。
10.一种眼图像处理模型，其特征在于，包括：
残差网络、特征检测模块和加权梯度类激活映射模块；
所述特征检测模块连接所述残差网络的残差块的末端，所述加权梯度类激活映射模块连接所述残差网络的最后一层卷积层。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910787871.5A CN110598582A (zh) | 2019-08-26 | 2019-08-26 | 一种眼图像处理模型构建方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910787871.5A CN110598582A (zh) | 2019-08-26 | 2019-08-26 | 一种眼图像处理模型构建方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110598582A true CN110598582A (zh) | 2019-12-20 |
Family
ID=68855423
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910787871.5A Pending CN110598582A (zh) | 2019-08-26 | 2019-08-26 | 一种眼图像处理模型构建方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110598582A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111191737A (zh) * | 2020-01-05 | 2020-05-22 | 天津大学 | 基于多尺度反复注意力机制的细粒度图像分类方法 |
| CN111369528A (zh) * | 2020-03-03 | 2020-07-03 | 重庆理工大学 | 基于深度卷积网络的冠状动脉血管造影图像狭窄区域标示方法 |
| CN111539524A (zh) * | 2020-03-23 | 2020-08-14 | 字节跳动有限公司 | 轻量级自注意力模块、神经网络模型和神经网络构架的搜索方法 |
| CN111583184A (zh) * | 2020-04-14 | 2020-08-25 | 上海联影智能医疗科技有限公司 | 图像分析方法、网络、计算机设备和存储介质 |
| CN111582376A (zh) * | 2020-05-09 | 2020-08-25 | 北京字节跳动网络技术有限公司 | 神经网络的可视化方法、装置、电子设备和介质 |
| CN112101424A (zh) * | 2020-08-24 | 2020-12-18 | 深圳大学 | 一种视网膜病变识别模型的生成方法、识别装置及设备 |
| CN112494063A (zh) * | 2021-02-08 | 2021-03-16 | 四川大学 | 一种基于注意力机制神经网络的腹部淋巴结分区方法 |
| CN112863081A (zh) * | 2021-01-04 | 2021-05-28 | 西安建筑科技大学 | 一种蔬菜水果自动称重分类结算的装置及方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108021916A (zh) * | 2017-12-31 | 2018-05-11 | 南京航空航天大学 | 基于注意力机制的深度学习糖尿病视网膜病变分类方法 |
| CN109448006A (zh) * | 2018-11-01 | 2019-03-08 | 江西理工大学 | 一种注意力机制u型密集连接视网膜血管分割方法 |
| CN109858429A (zh) * | 2019-01-28 | 2019-06-07 | 北京航空航天大学 | 一种基于卷积神经网络的眼底图像病变程度识别与可视化系统 |
| US20190180441A1 (en) * | 2016-08-18 | 2019-06-13 | Google Llc | Processing fundus images using machine learning models |
-
2019
- 2019-08-26 CN CN201910787871.5A patent/CN110598582A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190180441A1 (en) * | 2016-08-18 | 2019-06-13 | Google Llc | Processing fundus images using machine learning models |
| CN108021916A (zh) * | 2017-12-31 | 2018-05-11 | 南京航空航天大学 | 基于注意力机制的深度学习糖尿病视网膜病变分类方法 |
| CN109448006A (zh) * | 2018-11-01 | 2019-03-08 | 江西理工大学 | 一种注意力机制u型密集连接视网膜血管分割方法 |
| CN109858429A (zh) * | 2019-01-28 | 2019-06-07 | 北京航空航天大学 | 一种基于卷积神经网络的眼底图像病变程度识别与可视化系统 |
Non-Patent Citations (1)
| Title |
|---|
| SANGHYUN WOO等: "CBAM: Convolutional Block Attention Module", 《LECTURE NOTES IN COMPUTER SCIENCE》 * |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111191737A (zh) * | 2020-01-05 | 2020-05-22 | 天津大学 | 基于多尺度反复注意力机制的细粒度图像分类方法 |
| CN111369528B (zh) * | 2020-03-03 | 2022-09-09 | 重庆理工大学 | 基于深度卷积网络的冠状动脉血管造影图像狭窄区域标示方法 |
| CN111369528A (zh) * | 2020-03-03 | 2020-07-03 | 重庆理工大学 | 基于深度卷积网络的冠状动脉血管造影图像狭窄区域标示方法 |
| CN111539524A (zh) * | 2020-03-23 | 2020-08-14 | 字节跳动有限公司 | 轻量级自注意力模块、神经网络模型和神经网络构架的搜索方法 |
| CN111539524B (zh) * | 2020-03-23 | 2023-11-28 | 字节跳动有限公司 | 轻量级自注意力模块和神经网络构架的搜索方法 |
| CN111583184A (zh) * | 2020-04-14 | 2020-08-25 | 上海联影智能医疗科技有限公司 | 图像分析方法、网络、计算机设备和存储介质 |
| CN111582376B (zh) * | 2020-05-09 | 2023-08-15 | 抖音视界有限公司 | 神经网络的可视化方法、装置、电子设备和介质 |
| CN111582376A (zh) * | 2020-05-09 | 2020-08-25 | 北京字节跳动网络技术有限公司 | 神经网络的可视化方法、装置、电子设备和介质 |
| CN112101424A (zh) * | 2020-08-24 | 2020-12-18 | 深圳大学 | 一种视网膜病变识别模型的生成方法、识别装置及设备 |
| CN112101424B (zh) * | 2020-08-24 | 2023-08-04 | 深圳大学 | 一种视网膜病变识别模型的生成方法、识别装置及设备 |
| CN112863081A (zh) * | 2021-01-04 | 2021-05-28 | 西安建筑科技大学 | 一种蔬菜水果自动称重分类结算的装置及方法 |
| CN112494063A (zh) * | 2021-02-08 | 2021-03-16 | 四川大学 | 一种基于注意力机制神经网络的腹部淋巴结分区方法 |
| CN112494063B (zh) * | 2021-02-08 | 2021-06-01 | 四川大学 | 一种基于注意力机制神经网络的腹部淋巴结分区方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110598582A (zh) | 一种眼图像处理模型构建方法和装置 | |
| US20210406591A1 (en) | Medical image processing method and apparatus, and medical image recognition method and apparatus | |
| KR102058884B1 (ko) | 치매를 진단을 하기 위해 홍채 영상을 인공지능으로 분석하는 방법 | |
| El Asnaoui | Design ensemble deep learning model for pneumonia disease classification | |
| KR102311654B1 (ko) | 피부 이미지 기반의 인공지능 딥러닝을 이용한 피부질환 판별용 api 엔진을 구성하는 스마트 피부질환 판별 플랫폼시스템 | |
| CN112233117A (zh) | 一种新冠肺炎ct检测识别定位系统及计算设备 | |
| Chen et al. | PCAT-UNet: UNet-like network fused convolution and transformer for retinal vessel segmentation | |
| CN114998210B (zh) | 一种基于深度学习目标检测的早产儿视网膜病变检测系统 | |
| CN113191390B (zh) | 一种图像分类模型的构建方法、图像分类方法及存储介质 | |
| US11830187B2 (en) | Automatic condition diagnosis using a segmentation-guided framework | |
| CN114693971A (zh) | 分类预测模型生成方法及分类预测方法、系统、平台 | |
| CN114445356A (zh) | 基于多分辨率的全视野病理切片图像肿瘤快速定位方法 | |
| WO2024074921A1 (en) | Distinguishing a disease state from a non-disease state in an image | |
| Ha et al. | Deep-learning-based enhanced optic-disc photography | |
| JP2019095980A (ja) | 分類装置、分類方法、プログラム、ならびに、情報記録媒体 | |
| Zang et al. | Interpretable diabetic retinopathy diagnosis based on biomarker activation map | |
| Hua et al. | DRAN: Densely reversed attention based convolutional network for diabetic retinopathy detection | |
| CN114360695B (zh) | 乳腺超声扫查分析辅助系统、介质及设备 | |
| CN116468702A (zh) | 黄褐斑评估方法、装置、电子设备及计算机可读存储介质 | |
| US20230137369A1 (en) | Aiding a user to perform a medical ultrasound examination | |
| CN111062935B (zh) | 一种乳腺肿瘤检测方法、存储介质及终端设备 | |
| Rahman et al. | Deep learning-based left ventricular ejection fraction estimation from echocardiographic videos | |
| CN113902743A (zh) | 一种基于云端计算的糖尿病视网膜病变的识别方法及装置 | |
| Lensink et al. | Segmentation of pulmonary opacification in chest ct scans of covid-19 patients | |
| Vasant Bidwe et al. | Attention-Focused Eye Gaze Analysis to Predict Autistic Traits Using Transfer Learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191220 |