CN112734737A - 一种基于vgg孪生网络的脑胶质瘤关键帧智能抓取系统 - Google Patents
一种基于vgg孪生网络的脑胶质瘤关键帧智能抓取系统 Download PDFInfo
- Publication number
- CN112734737A CN112734737A CN202110062021.6A CN202110062021A CN112734737A CN 112734737 A CN112734737 A CN 112734737A CN 202110062021 A CN202110062021 A CN 202110062021A CN 112734737 A CN112734737 A CN 112734737A
- Authority
- CN
- China
- Prior art keywords
- image
- key frame
- vgg
- module
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 201000007983 brain glioma Diseases 0.000 title claims abstract description 23
- 238000012549 training Methods 0.000 claims abstract description 26
- 206010030113 Oedema Diseases 0.000 claims abstract description 18
- 238000000034 method Methods 0.000 claims abstract description 15
- 210000004556 brain Anatomy 0.000 claims abstract description 14
- 238000000605 extraction Methods 0.000 claims abstract description 11
- 238000007781 pre-processing Methods 0.000 claims abstract description 9
- 230000011218 segmentation Effects 0.000 claims abstract description 6
- 238000012360 testing method Methods 0.000 claims abstract description 5
- 238000002790 cross-validation Methods 0.000 claims abstract description 4
- 238000002372 labelling Methods 0.000 claims abstract description 4
- 238000010276 construction Methods 0.000 claims abstract description 3
- 238000011176 pooling Methods 0.000 claims description 26
- 239000013598 vector Substances 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 10
- 230000017074 necrotic cell death Effects 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 210000003625 skull Anatomy 0.000 claims description 5
- 208000003174 Brain Neoplasms Diseases 0.000 claims description 4
- 238000012952 Resampling Methods 0.000 claims description 4
- 238000012800 visualization Methods 0.000 claims description 3
- 239000003086 colorant Substances 0.000 claims description 2
- 206010028980 Neoplasm Diseases 0.000 description 7
- 238000003745 diagnosis Methods 0.000 description 6
- 230000004913 activation Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 201000011510 cancer Diseases 0.000 description 2
- 238000007917 intracranial administration Methods 0.000 description 2
- 206010003571 Astrocytoma Diseases 0.000 description 1
- 241000282414 Homo sapiens Species 0.000 description 1
- 201000010133 Oligodendroglioma Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 208000005017 glioblastoma Diseases 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000003703 image analysis method Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 230000036210 malignancy Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 230000002980 postoperative effect Effects 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Molecular Biology (AREA)
- Evolutionary Biology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明涉及一种基于VGG孪生网络的脑胶质瘤关键帧智能抓取系统，包括，预处理模块；分割标注模块；构建数据库模块，从已有的病人脑部MR三维图像中挑选出不同类型的图像数据，包含：轴向非核心区图像、轴向水肿区图像、轴向关键帧、冠状面非核心区图像、冠状面水肿区图像、冠状面关键帧、矢状面非核心区图像、矢状面水肿区图像、矢状面关键帧、黑色背景图像；每个类型的图像数据被划分到同一组别，其中三组，包括轴向关键帧、轴向关键帧和矢状面关键帧，分别为三个方向上的关键帧，其他七个组别进行对比训练；VGG孪生网络构建及训练模块；构建VGG孪生网络，将预处理后的数据库十组图像划分训练集和测试集，采用十折交叉验证法进行训练；关键帧提取模块。
Description
技术领域
本发明涉及医学图像处理领域，具体设计一种基于VGG孪生网络对脑部MR图像中的脑胶质瘤区域进行关键帧抓取的计算机系统。
背景技术
脑肿瘤是由于细胞的异常发育所致，这种细胞以不受控制的方式增殖。中国脑肿瘤发病率和死亡率位居世界第一。脑胶质瘤是颅内最常见的恶性肿瘤，约占颅内肿瘤的40％～50％。脑胶质瘤恶性程度大，对人类的生命健康有着巨大的威胁。根据细胞种类的不同可以将脑胶质瘤分为星形细胞瘤、胶质母细胞瘤、少枝胶质细胞瘤等多种类型。不同种类细胞瘤的治疗和预后各不相同，及时准确的对脑胶质瘤区域定位，识别对病人术后效果有巨大的影响。而对脑胶质瘤的诊断受医生资历以及诊疗状态的影响，并且在拖动图像判断中医生可能会忽略部分微小的病变点位。能及时准确的将脑胶质瘤切片图像进行关键帧的提取，能有效助力医生对病人的诊疗过程。
经过专利申请人检索，目前与医学图像关键帧提取有关的国内发明专利主要集中在基于图像分类来进行关键帧的提取工作。李雷来等通过计算待分类图像和原型图像之间的欧氏距离来确定待分类图像的图像类别[1]，钱林学等通过计算结节图像外接矩形对角线距离来确定关键帧[2]，陆唯佳等通过采集显微镜视野下的医学影像视频流，提取视频帧中的单帧图像特征映射出包含关键帧信息的诊断分类结果[3]。
相对而言基于图像分类的关键帧提取检测方向较为单一，鲁棒性较差。
参考文献：
[1]李雷来，王健宗，瞿晓阳，专利名称：医学图像分类方法、装置、设备及存储介质，申请号：202011009811.X
[2]钱林学，卜云芸，庞浩，刘涛，专利名称：一种医学超声图像辅助诊断系统自动更新的方法及系统，申请号：202010029036.8
[3]陆唯佳，姚建华，韩骁，周昵昀，专利名称：医学影像分析方法、装置、计算机设备和存储介质，申请号：201910176877.9
发明内容
本发明提供了一种脑部序列MR图像的关键帧智能提取系统。本发明能基于VGG孪生网络进行脑胶质瘤关键帧的智能提取，具有良好的准确性和鲁棒性。本发明的技术方案如下：
一种基于VGG孪生网络的脑胶质瘤关键帧智能抓取系统，包括，
预处理模块，其作用是对脑部MR图像进行颅骨剥离、线性配准、空间分辨率重新采样预处理，以减少无效图像信息对图像处理的影响。
分割标注模块，其作用是对预处理完的脑部MR图像，进行图像的分割标注，将感兴趣区域的三个区域：水肿区、坏死区及增强区，分别用不同像素值进行标注，并添加索引图像，分别用不同颜色代表脑胶质瘤的水肿区、坏死区和增强区，以实现标分割标注的可视化；
构建数据库模块，从已有的病人脑部MR三维图像中挑选出不同类型的图像数据，包含：轴向非核心区图像、轴向水肿区图像、轴向关键帧、冠状面非核心区图像、冠状面水肿区图像、冠状面关键帧、矢状面非核心区图像、矢状面水肿区图像、矢状面关键帧、黑色背景图像；每个类型的图像数据被划分到同一组别；数据库图像一共十组，其中三组，包括轴向关键帧、轴向关键帧和矢状面关键帧，分别为三个方向上的关键帧，其他七个组别进行对比训练；
VGG孪生网络构建及训练模块
构建VGG孪生网络，将预处理后的数据库十组图像划分训练集和测试集，采用十折交叉验证法进行训练，VGG孪生网络由输入层、卷积层、最大池化层、全连接层和输出层组成；训练方式为每次任意选取任意两组图像进行训练，如果图像来源组别相同，则给予网络输入标签为1的信息；如果图像来源组别不同，则给予网络输入标签为0的信息；
首先将预处理后的任意两组图像进行resize处理，输入初始网络权重，通过孪生神经网络的卷积层和池化层进行对两组图像的特征提取，获取到统一尺度下的不同图像数据的特征信息，将特征信息一维化，求取两个特征向量的插值L1范数后，经过全连接层取sigmoid函数，得出图像数据相似度数值，利用标签信息和图像数据相似度数值来计算交叉熵损失函数来进行反向传播更新权重信息，直到得到预期的loss值停止训练；
关键帧提取模块
对于新的图像，将其预处理并进行对脑肿瘤区域的分割标注后，与同一方向的关键帧图像输入VGG孪生网络模型进行图像数据进行特征提取，求取两个特征向量的插值L1范数后，经过全连接层取sigmoid函数，得出此图像与关键帧图像数据相似度数值，在与同一方向的n幅关键帧图像进行相似度比较时，如果任一次相似度数值结果小于0.5，即排除此图像为此方向上的图像的关键帧，否则，将此新的图像归类为同一方向上的关键帧，实现关键帧的智能抓取，其中，n＞5。
本发明提出一种准确度高，速度快且对不同形态肿瘤图像数据适应性强的脑胶质瘤关键帧智能抓取计算机系统。该系统使用VGG孪生网络来进行图像数据相似度匹配判断。由成像设备获取到的脑部MR图像是三维切片图像数据，轴向、冠状面以及矢状面三个平面都存在几百张切片数据，将医生已经挑选出的关键帧作为数据库，经过神经网络训练，通过新入组图像和数据库图像的相似度计算，智能确定新入组图像数据中的关键帧。本发明能自动实现脑胶质瘤三维图像的关键帧智能提取，对不同形态的肿瘤图像数据适应性好，精度高，速度快。
附图说明
图1：本发明方法流程图
图2：数据库图像分类图例
图3：孪生网络结构图
图4：图像相似度计算图例
图5：关键帧提取流程图
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图1及具体实施方案进行详细描述。
本发明专利主要是利用VGG孪生网络对不同脑胶质瘤区域图像进行特征向量提取，然后进行交叉熵损失函数计算，通过计算结果得出输入的两幅图像的相似度对比，将新入组图像与图像数据库中的多张图像进行相似度对比后，通过阈值控制来确定新入组脑胶质瘤图像中的关键帧，而后将关键帧推送给医生进行进一步的诊断和处理。具体如下：
1.MR图像预处理及分割标注模块
对脑部MR图像进行颅骨剥离、线性配准、空间分辨率重新采样。对于脑部MR图像而言，肿瘤区域为感兴趣区域，脑部结构组织为背景区域，而颅骨部分为干扰因素。进行颅骨剥离能有效减少干扰因素对图像处理的影响，并减少后续计算参数量，有效提高图像处理速度。线性配准有很高的临床应用价值，进行线性配准和空间分辨率重新采样后能将不同格式数据标准化，方便后续进一步处理，有效保证病理区域图样的统一性和完整性。
预处理完毕的图像数据输入卷积神经网络进行图像的分割标注，将感兴趣区域的三个区域：水肿区、坏死区及增强区分别用不同像素值进行标注，并添加索引图像，分别用绿色、红色、黄色代表脑胶质瘤的水肿区、坏死区、增强区，实现标分割标注的可视化，方便后续医生对图像数据关键帧的识别挑选工作。
完成图像处理工作后，将进行数据库建立工作。富有诊断经验的医生将从30例病人脑部MR三维图像中挑选出十种类型的图像数据，共计3000张，示例图见附图2，包含：轴向非核心区图像、轴向水肿区图像、轴向关键帧、冠状面非核心区图像、冠状面水肿区图像、冠状面关键帧、矢状面非核心区图像、矢状面水肿区图像、矢状面关键帧、黑色背景图像。
2.VGG孪生网络模块
将预处理后的数据库图像输入VGG孪生网络，采用十折交叉验证法进行训练。将医生识别挑选到的3000张图像数据随机分成十份，每份300张图像数据，每次选取其中一份作为测试集，剩余九份作为训练集用于训练模型和调参，训练结束后更换下一份作为测试集，重复上述过程直到全部循环结束。
本发明采用VGG孪生网络进行训练，由输入层、卷积层、最大池化层、全连接层和输出层组成，模型结构及数据在神经网络中各层维度的变化如附图3所示，该模型具体参数如下：
1)输入层Input：
分别在两路相同神经网络中输入两张不同组别的726*644的脑胶质瘤MR图像，每张图像都进行了预处理以及肿瘤区域的分割标注，将其尺寸resize为224*224*3。
2)卷积层Conv1：
采用大小为3*3的卷积核，对输入数据进行步长为1的两次padding＝1补零卷积操作，得到的特征网络为224*224*64，卷积Shape运算公式如公式所示：
其中，Hout和Wout表示输出卷积Shape，padding表示补零操作，dilation表示空洞卷积操作，kernel_size表示卷积核大小，stride表示步长。
采用ReLU函数对卷积层Conv1的输出进行激活操作，ReLU函数的公式如式所示：
f(x)＝max(0,x)
3)池化层MP1：
选用最大池化方式，池化核的大小为2，步长为2，经过池化层后，特征网络为112*112*64。池化公式如式所示：
其中N为数据量，C为数据通道数，h为图像高度，w为图像宽度，stride为步长，卷积核大小为kH×kW。
4)卷积层Conv2：
采用大小为3*3的卷积核，对输入数据进行步长为1的两次padding＝1补零卷积操作，得到的特征网络为112*112*128。
采用ReLU函数对卷积层Conv2的输出进行激活操作。
5)池化层MP2:
选用最大池化方式，池化核的大小为2，步长为2，经过池化层后，特征网络为56*56*128。
6)卷积层Conv3：
采用大小为3*3的卷积核，对输入数据进行步长为1的三次padding＝1补零卷积操作，得到的特征网络为56*56*256。
采用ReLU函数对卷积层Conv3的输出进行激活操作。
7)池化层MP3:
选用最大池化方式，池化核的大小为2，步长为2，经过池化层后，特征网络为28*28*256。
8)卷积层Conv4：
采用大小为3*3的卷积核，对输入数据进行步长为1的三次padding＝1补零卷积操作，得到的特征网络为28*28*512。
采用ReLU函数对卷积层Conv4的输出进行激活操作。
9)池化层MP4:
选用最大池化方式，池化核的大小为2，步长为2，经过池化层后，特征网络为14*14*512。
10)卷积层Conv5：
采用大小为3*3的卷积核，对输入数据进行步长为1的三次padding＝1补零卷积操作，得到的特征网络为14*14*512。
采用ReLU函数对卷积层Conv5的输出进行激活操作。
11)池化层MP5:
选用最大池化方式，池化核的大小为2，步长为2，经过池化层后，特征网络为7*7*512。
12)特征向量层：
将特征网络平铺为一维特征向量，将两路一维特征向量相减并取绝对值，输出两个特征向量的插值L1范数即两个特征向量之间的距离。
13)全连接层DC1：
全连接层DC1单元数设为512，输出长度为512的1维向量。
14)全连接层DC2：
全连接层DC2单元数设为1，输出长度为1的1维向量。
15)输出层Output：
最终将1维特征向量经过sigmoid函数计算，得出两张图像数据的相似度数值。利用标签信息和图像数据相似度数值来计算交叉熵损失函数来进行反向传播更新权重信息，直到得到预期的loss值停止训练。sigmoid函数如式所示：
3.关键帧提取模块
完成神经网络模型训练后，轴向、冠状面和矢状面分别由医生挑出10张具有不同形态特征的脑胶质瘤图像关键帧。将新入组图像与对应方向关键帧输入VGG孪生网络进行相似度比较，得出图像相似度数值，示例图如附图4，左侧为新入组图像，右侧为对应方向关键帧，上侧为相似度比较结果。如果任一次相似度数值结果小于0.5，即排除本张新入组图像为关键帧，随即进行下一张图像判定；如果所有相似度数值结果大于0.5，即确定本张新入组图像为关键帧，进行抓取保存，随即进行下一张图像判定。流程图见附图5，具体步骤描述如下：
1)首先选取第一张关键帧y1作为相似度比较对象，将其和新入组图像一同输入VGG孪生网络。
2)判别相似度结果是否大于0.5，如果大于0.5，转入3)，次数k＝1；如果小于0.5，转入4)。
3)输入下一张关键帧yk+1，判别相似度结果是否大于0.5，如果大于0.5，转入3)，并次数k＝k+1，如果k＝10，转入5)；如果小于0.5，转入4)。
4)本张新入组图像判定为非关键帧，读取下一张新入组图像。转入1)。
5)本张新入组图像判定为关键帧，保存本张图像进入关键帧序列，读取下一张新入组图像。转入1)。
按照以上步骤，可遍历整个新入组图像数据集，完成对关键帧序列的筛选。
Claims (1)
1.一种基于VGG孪生网络的脑胶质瘤关键帧智能抓取系统，包括，
预处理模块，其作用是对脑部MR图像进行颅骨剥离、线性配准、空间分辨率重新采样预处理，以减少无效图像信息对图像处理的影响。
分割标注模块，其作用是对预处理完的脑部MR图像，进行图像的分割标注，将感兴趣区域的三个区域：水肿区、坏死区及增强区，分别用不同像素值进行标注，并添加索引图像，分别用不同颜色代表脑胶质瘤的水肿区、坏死区和增强区，以实现标分割标注的可视化；
构建数据库模块，从已有的病人脑部MR三维图像中挑选出不同类型的图像数据，包含：轴向非核心区图像、轴向水肿区图像、轴向关键帧、冠状面非核心区图像、冠状面水肿区图像、冠状面关键帧、矢状面非核心区图像、矢状面水肿区图像、矢状面关键帧、黑色背景图像；每个类型的图像数据被划分到同一组别；数据库图像一共十组，其中三组，包括轴向关键帧、轴向关键帧和矢状面关键帧，分别为三个方向上的关键帧，其他七个组别进行对比训练；
VGG孪生网络构建及训练模块
构建VGG孪生网络，将预处理后的数据库十组图像划分训练集和测试集，采用十折交叉验证法进行训练，VGG孪生网络由输入层、卷积层、最大池化层、全连接层和输出层组成；训练方式为每次任意选取任意两组图像进行训练，如果图像来源组别相同，则给予网络输入标签为1的信息；如果图像来源组别不同，则给予网络输入标签为0的信息；
首先将预处理后的任意两组图像进行resize处理，输入初始网络权重，通过孪生神经网络的卷积层和池化层进行对两组图像的特征提取，获取到统一尺度下的不同图像数据的特征信息，将特征信息一维化，求取两个特征向量的插值L1范数后，经过全连接层取sigmoid函数，得出图像数据相似度数值，利用标签信息和图像数据相似度数值来计算交叉熵损失函数来进行反向传播更新权重信息，直到得到预期的loss值停止训练；
关键帧提取模块
对于新的图像，将其预处理并进行对脑肿瘤区域的分割标注后，与同一方向的关键帧图像输入VGG孪生网络模型进行图像数据进行特征提取，求取两个特征向量的插值L1范数后，经过全连接层取sigmoid函数，得出此图像与关键帧图像数据相似度数值，在与同一方向的n幅关键帧图像进行相似度比较时，如果任一次相似度数值结果小于0.5，即排除此图像为此方向上的图像的关键帧，否则，将此新的图像归类为同一方向上的关键帧，实现关键帧的智能抓取，其中，n＞5。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110062021.6A CN112734737A (zh) | 2021-01-18 | 2021-01-18 | 一种基于vgg孪生网络的脑胶质瘤关键帧智能抓取系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110062021.6A CN112734737A (zh) | 2021-01-18 | 2021-01-18 | 一种基于vgg孪生网络的脑胶质瘤关键帧智能抓取系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112734737A true CN112734737A (zh) | 2021-04-30 |
Family
ID=75592009
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110062021.6A Pending CN112734737A (zh) | 2021-01-18 | 2021-01-18 | 一种基于vgg孪生网络的脑胶质瘤关键帧智能抓取系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112734737A (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107992826A (zh) * | 2017-12-01 | 2018-05-04 | 广州优亿信息科技有限公司 | 一种基于深度孪生网络的人流检测方法 |
| CN109920518A (zh) * | 2019-03-08 | 2019-06-21 | 腾讯科技（深圳）有限公司 | 医学影像分析方法、装置、计算机设备和存储介质 |
| CN111274641A (zh) * | 2020-01-21 | 2020-06-12 | 江苏艾佳家居用品有限公司 | 一种基于孪生网络的房屋布局方法及系统 |
-
2021
- 2021-01-18 CN CN202110062021.6A patent/CN112734737A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107992826A (zh) * | 2017-12-01 | 2018-05-04 | 广州优亿信息科技有限公司 | 一种基于深度孪生网络的人流检测方法 |
| CN109920518A (zh) * | 2019-03-08 | 2019-06-21 | 腾讯科技（深圳）有限公司 | 医学影像分析方法、装置、计算机设备和存储介质 |
| CN111274641A (zh) * | 2020-01-21 | 2020-06-12 | 江苏艾佳家居用品有限公司 | 一种基于孪生网络的房屋布局方法及系统 |
Non-Patent Citations (3)
| Title |
|---|
| DEXING ZHONG ET AL.: "Palmprint Recognition Using Siamese Network", 《CCBR2018》 * |
| YU FU ET AL.: "Deep model with Siamese network for viable and necrotic tumor regions assessment in osteosarcoma", 《MEDICAL PHYSICS》 * |
| 李金泽: "多模态磁共振儿童精神障碍的模式分类", 《中国优秀博硕士学位论文全文数据库（硕士）医药卫生科技辑》 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112150428B (zh) | 一种基于深度学习的医学图像分割方法 | |
| Zhang et al. | Automated semantic segmentation of red blood cells for sickle cell disease | |
| CN111931811B (zh) | 一种基于超像素图像相似度的计算方法 | |
| Gao et al. | On combining morphological component analysis and concentric morphology model for mammographic mass detection | |
| Pan et al. | Cell detection in pathology and microscopy images with multi-scale fully convolutional neural networks | |
| CN110335665A (zh) | 一种应用于医学图像辅助诊断分析的以图搜图方法及系统 | |
| Khairandish et al. | A hybrid model of faster R-CNN and SVM for tumor detection and classification of MRI brain images | |
| CN109727197B (zh) | 一种医学图像超分辨率重建方法 | |
| Zhou | Modality-level cross-connection and attentional feature fusion based deep neural network for multi-modal brain tumor segmentation | |
| CN114864075A (zh) | 一种基于病理图像的胶质瘤级别分析方法及装置 | |
| EP4327333A1 (en) | Methods and systems for automated follow-up reading of medical image data | |
| CN110288577A (zh) | 一种3d实现多器官病灶整合的控制方法及控制装置 | |
| CN107590806B (zh) | 一种基于大脑医学成像的检测方法和系统 | |
| CN114283406A (zh) | 细胞图像识别方法、装置、设备、介质及计算机程序产品 | |
| Datta et al. | Brain tumor image pixel segmentation and detection using an aggregation of GAN models with vision transformer | |
| CN114862868B (zh) | 基于ct灌注源数据的脑卒中最终梗死区分割方法 | |
| Islam et al. | An improved deep learning-based hybrid model with ensemble techniques for brain tumor detection from MRI image | |
| CN115984257A (zh) | 一种基于多尺度transformer的多模态医学图像融合方法 | |
| CN112734737A (zh) | 一种基于vgg孪生网络的脑胶质瘤关键帧智能抓取系统 | |
| Chai et al. | DPD-Net: Dual-path Proposal Discriminative Network for abnormal cell detection in cervical cytology images | |
| Kumar et al. | An efficient framework for brain cancer identification using deep learning | |
| Lin et al. | A 3D Multi-Scale Multi-Attention UNet for Automatic Hippocampal Segmentation | |
| Legarreta et al. | Tractography filtering using autoencoders. | |
| Su et al. | Whole slide cervical image classification based on convolutional neural network and random forest | |
| Yu et al. | Research on 3D Medical Image Segmentation based on improved 3D-Unet |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210430 |
|
| RJ01 | Rejection of invention patent application after publication |