CN106845529B - 基于多视野卷积神经网络的影像特征识别方法 - Google Patents

基于多视野卷积神经网络的影像特征识别方法 Download PDF

Info

Publication number
CN106845529B
CN106845529B CN201611261265.2A CN201611261265A CN106845529B CN 106845529 B CN106845529 B CN 106845529B CN 201611261265 A CN201611261265 A CN 201611261265A CN 106845529 B CN106845529 B CN 106845529B
Authority
CN
China
Prior art keywords
layer
neural network
image
view
convolutional neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611261265.2A
Other languages
English (en)
Other versions
CN106845529A (zh
Inventor
刘达
刘奎
侯蓓蓓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baihui Weikang Technology Co Ltd
Original Assignee
Beijing Baihui Weikang Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baihui Weikang Technology Co Ltd filed Critical Beijing Baihui Weikang Technology Co Ltd
Priority to CN201611261265.2A priority Critical patent/CN106845529B/zh
Publication of CN106845529A publication Critical patent/CN106845529A/zh
Application granted granted Critical
Publication of CN106845529B publication Critical patent/CN106845529B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多视野卷积神经网络的影像特征识别方法，包括：收集历史数据库中的带有正负标签的CT影像，建立数据集；利用图像分割算法判断数据集中每一CT影像中所标定特征的位置区域，提取不同像素大小的敏感区域；构建多视野卷积神经网络；将提取的不同像素大小的敏感区域作为样本输入至多视野卷积神经网络，并对多视野卷积神经网络进行训练，获得训练好的多视野卷积神经网络；采用对待识别的CT影像进行处理，将提取到的不同像素大小的敏感区域输入到训练好的多视野卷积神经网络中进行特征识别，根据识别结果来确定待识别CT影像的正负标签。上述方案不仅实现了端到端的图像识别，而且还确保了识别精确度。

Description

基于多视野卷积神经网络的影像特征识别方法
技术领域
本发明涉及CT影像匹配识别技术领域，尤其涉及一种基于多视野卷积神经网络的影像特征识别方法。
背景技术
目前，用于图像自动分类的大多数方法并不是端到端的，这意味着在匹配识别之前还需要用预定义的滤波器提取特征(如方向梯度直方图，本地二进制模式等)或手动提取图像的特征(如几何、纹理、外观等)。特征学习是直接从训练数据中直接学习的高阶表征。人工神经网络(ANN)从原始的数据中学习到特征，然而，由于传统的人工神经网络的全连接和浅层网络结构，无法提取独立性强的高阶特征，严重限制了实际图像数据的应用。
深度卷积神经网络(DNN)是一种快速的，可扩展的，端到端的学习框架，推进计算机视觉的快速发展。基于卷积神经网络(CNN)的车型分类、定位、语义分割和动作识别已达到目前最先进的水平。
但是，目前还没有较为完善的用于CT影像识别的CNN技术。
发明内容
本发明的目的是提供一种基于多视野卷积神经网络的特征识别方法，不仅实现了端到端的影像识别，而且还确保了识别精确度。
本发明的目的是通过以下技术方案实现的：
一种基于多视野卷积神经网络的影像特征识别方法，包括：
步骤一、收集历史数据库中的带有正负标签的CT影像，建立数据集；
步骤二、利用图像分割算法判断数据集中每一CT影像中所标定特征的位置区域，提取不同像素大小的敏感区域；
步骤三、构建多视野卷积神经网络，网络构架包括：相互交替的卷积层与池化层，后接一个全连接层，最后的输出层是Softmax分类器；
步骤四、将提取的不同像素大小的敏感区域作为样本输入至多视野卷积神经网络，并对多视野卷积神经网络进行训练，获得训练好的多视野卷积神经网络；
步骤五、采用步骤二的方式对待识别的CT影像进行处理，将提取到的不同像素大小的敏感区域输入到训练好的多视野卷积神经网络中进行特征识别，根据识别结果来确定待识别CT影像的正负标签。
所述提取不同像素大小的敏感区域包括：
判断出CT影像中所标定特征的位置区域，所标定特征即用于特征识别的特征，再从中提取S个像素大小分别为M1,M2,…,MS的敏感区域。
所述对多视野卷积神经网络进行训练包括：
随机初始化各层参数，包括：卷积层的卷积核，全连接层的权重矩阵与偏置向量以及Softmax分类器的参数，并进行前向传播；
权值更新：基于前向传播各层的输出以及训练集的标签进行逐层反向传播，确定各层参数，完成对整个多视角神经网络有监督的训练；
微调网络参数：利用Dropout技术对整个网络进行微调；
选择模型超参：将步骤二中得到的敏感区域随机均分为N份，利用N折交叉验证技术，选择使得模型泛化性能最好的超参。
前向传播包括：
第一层为卷积层C1，其表达式为：
Figure BDA0001199842310000021
Figure BDA0001199842310000022
其中，X为输入的样本，
Figure BDA0001199842310000023
表示卷积层C1的第i个特征向量的输入，
Figure BDA0001199842310000024
表示卷积层C1第i个卷积核，valid表示conv所表示的卷积运算是窄卷积运算，
Figure BDA0001199842310000025
表示连接输入层和卷积层C1的偏置向量，
Figure BDA0001199842310000026
表示卷积层C1第i个特征向量的激活值，f为卷积层的激活函数；
第二层是池化层S2，其表达式为：
Figure BDA0001199842310000027
Figure BDA0001199842310000028
其中，
Figure BDA0001199842310000029
表示池化层S2第i个特征向量的输入，
Figure BDA00011998423100000210
表示池化层S2第i个特征向量的激活值，down表示下采样，
Figure BDA00011998423100000211
表示池化层S2下采样操作的系数，
Figure BDA00011998423100000212
表示连接卷积层C1和池化层S2的偏置向量；
第三层是卷积层C3，其表达式为：
Figure BDA0001199842310000031
Figure BDA0001199842310000032
其中，
Figure BDA0001199842310000033
表示卷积层C3第i个特征向量的输入，
Figure BDA0001199842310000034
表示卷积层C3第i个卷积核，*表示卷积运算，
Figure BDA0001199842310000035
表示卷积层C3第i个特征向量的激活值，
Figure BDA0001199842310000036
表示连接池化层S2和卷积层C3的偏置向量，
Figure BDA0001199842310000037
表示池化层S2的输出；
第四层为池化层S4，其表达式为：
Figure BDA0001199842310000038
Figure BDA00011998423100000322
其中，
Figure BDA0001199842310000039
表示池化层S4第i个特征向量的输入，
Figure BDA00011998423100000310
表示池化层S4池化操作的系数，
Figure BDA00011998423100000311
表示第4层第i个特征向量的激活值
Figure BDA00011998423100000312
表示连接输入层和池化层S4的偏置向量；
第五层为全连接层，将
Figure BDA00011998423100000313
顺序展开成向量，并有序连接成一个长向量，作为Softmax分类器的输入；其表达式为：
Figure BDA00011998423100000314
其中，
Figure BDA00011998423100000315
池化层S4的输出，
Figure BDA00011998423100000316
表示全连接层第i个特征向量的激活值；
第六层为Softmax分类器，其表达式为：
Figure BDA00011998423100000317
Figure BDA00011998423100000318
其中，θj表示该层的参数，P(yi＝j|xi；θ)表示Softmax分类器输出概率，yi表示Softmax分类器的分类结果，J(θ)表示目标函数，m表示样本个数，k表示类别数，
Figure BDA00011998423100000319
表示该层参数矩阵的转置，θij表示全连接层和Softmax分类器之间的系数矩阵，xi表示所给定的样本i，θc表示连接全连接FC层和第c个类别输出器的参数，
Figure BDA00011998423100000320
是权重衰减项，
Figure BDA00011998423100000321
表示权重衰减项系数。
反向传播包括：
Softmax分类器的反向传播：
Figure BDA00011998423100000411
θj＝θj-α▽θJ(θ)
其中，m表示样本个数；δ(6)表示反向传播中根据Softmax层计算的残差项，α表示网络学习率；
全连接层的反向传播：将δ(6)依照前向传播的规格进行拆分，其表达式为：
δ(5)＝inconcatenate(δ(6))；
卷积层的反向传播：
Figure BDA0001199842310000041
Figure BDA0001199842310000042
Figure BDA0001199842310000043
其中，s＝1,3，up表示上采样运算，(*)st表示遍历*的所有元素，
Figure BDA0001199842310000044
表示
Figure BDA0001199842310000045
所连接的池化层S2中
Figure BDA0001199842310000046
中相关的元素构成的矩阵。
池化层的反向传播：
Figure BDA0001199842310000047
Figure BDA0001199842310000048
Figure BDA0001199842310000049
其中，q＝2,4，
Figure BDA00011998423100000410
full表示宽卷积运算。
利用Dropout技术对整个网络进行微调包括：
每m个样本为一个批次做梯度下降，每次梯度下降的时候每个隐藏节点以概率P1随机忽略；每个输入节点以概率P2随机忽略；
在测试的时候，输入层与卷积层之间的权重乘以(1-P2)，其他层的权重乘以(1-P1)。
所述将步骤二中得到的敏感区域随机均分为N份，利用N折交叉验证技术，选择使得模型泛化性能最好的超参包括：
首先固定超参，然后把步骤二中得到的敏感区域随机均分为N份，将第1份作为验证集，剩下的N-1份作为训练集，对多视野卷积神经网络进行训练；
将验证集数据输入到训练后的多视野卷积神经网络里面，得到多视野卷积神经网络的识别准确率；再将第2份最为验证集，剩下的N-1份作为训练集，对多视野卷积神经网络进行训练，将验证集数据输入到训练后的多视野卷积神经网络里面，得到第二个多视野卷积神经网络的识别准确率；
如此重复N次，得到N个识别准确率，对这N个识别准确率进行平均，得到在这组超参下所训练出来的多视野卷积神经网络的识别准确率；然后换一组超参，重复上述步骤，选出使得识别准确率最高的超参组合作为最终对于超参的设定。
所述根据识别结果来确定待识别CT影像的正负标签包括：
若待识别CT影像中的特征与带有正标签的CT影像中标定特征匹配，则确定待识别CT影像为正标签；
若待识别CT影像中的特征与带有负标签的CT影像中标定特征匹配，则确定待识别CT影像为负标签。
由上述本发明提供的技术方案可以看出，采用端到端的图像处理方式，避免了繁琐的预处理过程；此外，还以深度学习为基础，构建多视野的卷积神经网络，以所标定特征的多个视野为输入，达到更高识别精确度。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
图1为本发明实施例提供的一种基于多视野卷积神经网络的影像特征识别方法的流程图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
图1为本发明实施例提供的一种基于多视野卷积神经网络的影像特征识别方法的流程图。如图1所示，其主要包括如下步骤：
步骤一、收集历史数据库中的带有正负标签的CT影像，建立数据集。
此处的，正负标签可以指代CT影像的属性；例如，可以根据CT影像中标定的良恶性来确定，以便于后续特征识别后为待识别影像赋予相应的标签。
步骤二、利用图像分割算法判断数据集中每一CT影像中所标定特征的位置区域，提取不同像素大小的敏感区域。
本发明实施例中，所标定特征可以根据实际情况来选定，例如，可以将CT影像中某个器官或者组织作为标定特征；但是，本发明并不关注所标定特征的具体种类。
提取不同像素大小的敏感区域，也就是提取不同视野的敏感区域；例如，判断出CT影像中所标定特征的位置区域后，从中提取S个像素大小分别为M1,M2,…,MS的敏感区域。
步骤三、构建多视野卷积神经网络，网络构架包括：相互交替的卷积层与池化层，后接一个全连接层，最后的输出层是Softmax分类器。
本发明实施例中，相互交替的卷积层与池化层的具体数量可以根据实际情况来确定，如果卷积层与池化层各两个，则网络的层次依次是：多视野输入层、卷积层、池化层、卷积层、池化层、全连接层以及输出层(Softmax分类器)。
设定第一个卷积层的卷积核长度ks1，特征向量个数为c1；设定第一个池化层的池化长度设置为np1；设定第二个卷积层的卷积核长度ks2,特征向量个数为c2；设定第一个池化层的池化长度设置为np1。
步骤四、将提取的不同像素大小的敏感区域作为样本输入至多视野卷积神经网络，并对多视野卷积神经网络进行训练，获得训练好的多视野卷积神经网络。
本发明实施例中，多视野卷积神经网络训练的过程如下：
1、随机初始化各层参数，包括：卷积层的卷积核，全连接层的权重矩阵与偏置向量以及Softmax分类器的参数，并进行前向传播。
前向传播的过程如下：
第一层为卷积层C1，其表达式为：
Figure BDA0001199842310000061
Figure BDA0001199842310000062
其中，X为输入的样本，
Figure BDA0001199842310000063
表示卷积层C1的第i个特征向量(特征向量的尺寸随着敏感区域的增大而变多，导致运算量不同，训练时间和精度都不同)的输入，
Figure BDA0001199842310000071
表示卷积层C1第i个卷积核，valid表示conv所表示的卷积运算是窄卷积运算('valid'表示影像边界处理的一种模式)，
Figure BDA0001199842310000072
表示连接输入层和卷积层C1的偏置向量；
Figure BDA0001199842310000073
表示卷积层C1第i个特征向量的激活值，f为卷积层的激活函数；
第二层是池化层S2，其表达式为：
Figure BDA0001199842310000074
Figure BDA0001199842310000075
其中，
Figure BDA0001199842310000076
表示池化层S2第i个特征向量的输入，
Figure BDA0001199842310000077
表示池化层S2第i个特征向量的激活值，down表示下采样，
Figure BDA0001199842310000078
表示池化层S2下采样操作的系数，
Figure BDA0001199842310000079
表示连接卷积层C1和池化层S2的偏置向量；
第三层是卷积层C3，其表达式为：
Figure BDA00011998423100000710
Figure BDA00011998423100000711
其中，
Figure BDA00011998423100000712
表示卷积层C3第i个特征向量的输入，
Figure BDA00011998423100000713
表示卷积层C3第i个卷积核，*表示卷积运算，
Figure BDA00011998423100000714
表示卷积层C3第i个特征向量的激活值，
Figure BDA00011998423100000715
表示连接池化层S2和卷积层C3的偏置向量，
Figure BDA00011998423100000716
表示池化层S2的输出；
第四层为池化层S4，其表达式为：
Figure BDA00011998423100000717
Figure BDA00011998423100000718
其中，
Figure BDA00011998423100000719
表示池化层S4第i个特征向量的输入，
Figure BDA00011998423100000720
表示池化层S4池化层下采样操作的系数，
Figure BDA00011998423100000721
表示池化层S4第i个特征向量的激活值；
Figure BDA00011998423100000722
表示连接卷积层C3和池化层S4的偏置向量；
第五层为全连接FC层，将
Figure BDA00011998423100000723
顺序展开成向量，并有序连接成一个长向量，作为Softmax分类器的输入；其表达式为：
Figure BDA00011998423100000724
其中，
Figure BDA00011998423100000725
池化层S4的输出，即全连接层的输入，
Figure BDA00011998423100000726
表示全连接层第i个特征向量的激活值；
第六层为Softmax分类器，其表达式为：
Figure BDA00011998423100000727
Figure BDA0001199842310000081
其中，θj表示该层的参数，P(yi＝j|xi；θ)表示Softmax分类器输出概率，yi表示Softmax分类器的分类结果，J(θ)表示目标函数，m表示样本个数，k表示类别数，
Figure BDA0001199842310000082
表示该层参数矩阵的转置，θij表示全连接层和Softmax分类器之间的系数矩阵，xi表示所给定的样本i，θc表示连接全连接FC层和第c个类别输出器的参数；
Figure BDA0001199842310000083
是权重衰减项，
Figure BDA0001199842310000084
表示权重衰减项系数，防止模型过拟合。
2、权值更新：基于前向传播各层的输出以及训练集的标签进行逐层反向传播，确定各层参数，完成对整个多视角神经网络有监督的训练。
反向传播的过程如下：
Softmax分类器的反向传播：
Figure BDA0001199842310000085
θj＝θj-α▽θJ(θ)
其中，m表示样本个数；δ(6)表示反向传播中根据Softmax层计算的残差项，α表示网络学习率。
全连接层的反向传播：将δ(6)依照前向传播的规格进行拆分，其表达式为：
δ(5)＝inconcatenate(δ(6))；
其中，δ(5)表示反向传播中根据全连接层计算的残差项。
卷积层的反向传播：
Figure BDA0001199842310000086
Figure BDA0001199842310000087
Figure BDA0001199842310000088
其中，s＝1,3，up表示上采样运算，(*)st表示遍历*的所有元素，
Figure BDA0001199842310000089
表示
Figure BDA00011998423100000810
所连接的池化层S2中
Figure BDA00011998423100000811
中相关的元素构成的矩阵。
池化层的反向传播：
Figure BDA0001199842310000091
Figure BDA0001199842310000092
Figure BDA0001199842310000093
其中，q＝2,4，
Figure BDA0001199842310000094
full表示宽卷积运算，此处的'full'与前文的'valid'是相对的，表示两种不同的边界处理方式。
3、微调网络参数，利用Dropout技术对整个网络进行微调，在有大量训练样本的情况下，微调能显著提升分类器性能。
微调过程如下：
每m个样本为一个批次做梯度下降，每次梯度下降的时候每个隐藏节点以概率P1随机忽略；每个输入节点以概率P2随机忽略；每次的权重更新只更新保留下来的节点所对应的权重。忽略并不意味着删除，每次权重更新的过程都要从所有的节点中随机选择，更新也是在上次更新后的基础之上进行更新。
在测试的时候，输入层与卷积层之间的权重乘以(1-P2)，其他层的权重乘以(1-P1)。
4、选择模型超参：将步骤二中得到的敏感区域随机均分为N份，利用N折交叉验证技术，选择使得模型泛化性能最好的超参。
在模型训练的过程中需要几个参数事先确定下来，这样的参数叫做超参。为了选出使得模型性能最好的超参，采用N折交叉验证技术进行选择，过程如下：
首先固定超参，然后把步骤二中得到的敏感区域随机均分为N份，将第1份作为验证集，剩下的N-1份作为训练集，对多视野卷积神经网络进行训练；
将验证集数据输入到训练后的多视野卷积神经网络里面，得到多视野卷积神经网络的识别准确率；再将第2份最为验证集，剩下的N-1份作为训练集，对多视野卷积神经网络进行训练，将验证集数据输入到训练后的多视野卷积神经网络里面，得到第二个多视野卷积神经网络的识别准确率；
如此重复N次，得到N个识别准确率，对这N个识别准确率进行平均，得到在这组超参下所训练出来的多视野卷积神经网络的识别准确率；然后换一组超参，重复上述步骤，选出使得识别准确率最高的超参组合作为最终对于超参的设定。
步骤五、采用步骤二的方式对待识别的CT影像进行处理，将提取到的不同像素大小的敏感区域输入到训练好的多视野卷积神经网络中进行特征识别，根据识别结果来确定待识别CT影像的正负标签。
具体的：
若待识别CT影像中的特征与带有正标签的CT影像中标定特征匹配，则确定待识别CT影像为正标签；
若待识别CT影像中的特征与带有负标签的CT影像中标定特征匹配，则确定待识别CT影像为负标签。
本发明实施例上述方案中，采用端到端的图像处理方式，避免了繁琐的预处理过程；此外，还以深度学习为基础，构建多视野的卷积神经网络，以所标定特征的多个视野为输入，达到更高识别精确度。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (6)

1.一种基于多视野卷积神经网络的影像特征识别方法，其特征在于，包括：
步骤一、收集历史数据库中的带有正负标签的CT影像，建立数据集；
步骤二、利用图像分割算法判断数据集中每一CT影像中所标定特征的位置区域，提取不同像素大小的敏感区域；所述提取不同像素大小的敏感区域包括：判断出CT影像中所标定特征的位置区域，所标定特征即用于特征识别的特征，再从中提取S个像素大小分别为M1,M2,…,MS的敏感区域；
步骤三、构建多视野卷积神经网络，网络构架包括：相互交替的卷积层与池化层，后接一个全连接层，最后的输出层是Softmax分类器；
步骤四、将提取的不同像素大小的敏感区域作为样本输入至多视野卷积神经网络，并对多视野卷积神经网络进行训练，获得训练好的多视野卷积神经网络；
步骤五、采用步骤二的方式对待识别的CT影像进行处理，将提取到的不同像素大小的敏感区域输入到训练好的多视野卷积神经网络中进行特征识别，根据识别结果来确定待识别CT影像的正负标签；
多视野卷积神经网络的前向传播包括：
第一层为卷积层C1，其表达式为：
Figure FDA0002606497850000011
Figure FDA0002606497850000012
其中，X为输入的样本，
Figure FDA0002606497850000013
表示卷积层C1的第i个特征向量的输入，keri 1表示卷积层C1第i个卷积核，valid表示conv所表示的卷积运算是窄卷积运算，
Figure FDA0002606497850000014
表示连接输入层和卷积层C1的偏置向量，
Figure FDA0002606497850000015
表示卷积层C1第i个特征向量的激活值，f为卷积层的激活函数；
第二层是池化层S2，其表达式为：
Figure FDA0002606497850000016
Figure FDA0002606497850000017
其中，
Figure FDA0002606497850000018
表示池化层S2第i个特征向量的输入，
Figure FDA0002606497850000019
表示池化层S2第i个特征向量的激活值，down表示下采样，
Figure FDA00026064978500000110
表示池化层S2下采样操作的系数，bi 2表示连接卷积层C1和池化层S2的偏置向量；
第三层是卷积层C3，其表达式为：
Figure FDA0002606497850000021
Figure FDA0002606497850000022
其中，
Figure FDA0002606497850000023
表示卷积层C3第i个特征向量的输入，keri 3表示卷积层C3第i个卷积核，*表示卷积运算，
Figure FDA0002606497850000024
表示卷积层C3第i个特征向量的激活值，bi 3表示连接池化层S2和卷积层C3的偏置向量，
Figure FDA0002606497850000025
表示池化层S2的输出；
第四层为池化层S4，其表达式为：
Figure FDA0002606497850000026
Figure FDA0002606497850000027
其中，
Figure FDA0002606497850000028
表示池化层S4第i个特征向量的输入，
Figure FDA0002606497850000029
表示池化层S4池化操作的系数，
Figure FDA00026064978500000210
表示池化层S4第i个特征向量的激活值，
Figure FDA00026064978500000211
表示连接输入层和池化层S4的偏置向量；
第五层为全连接层，将
Figure FDA00026064978500000212
顺序展开成向量，并有序连接成一个长向量，作为Softmax分类器的输入；其表达式为：
Figure FDA00026064978500000213
其中，
Figure FDA00026064978500000214
池化层S4的输出，
Figure FDA00026064978500000215
表示全连接层第i个特征向量的激活值；
第六层为Softmax分类器，其表达式为：
Figure FDA00026064978500000216
Figure FDA00026064978500000217
其中，θj表示该层的参数矩阵，P(yi＝j|xi；θ)表示Softmax分类器输出概率，yi表示Softmax分类器的分类结果，J(θ)表示目标函数，m表示样本个数，k表示类别数，
Figure FDA00026064978500000218
表示该层参数矩阵的转置，θij表示全连接层和Softmax分类器之间的系数矩阵，xi表示所给定的样本i，θc表示连接全连接FC层和第c个类别输出器的参数，
Figure FDA00026064978500000219
是权重衰减项，
Figure FDA00026064978500000220
表示权重衰减项系数。
2.根据权利要求1所述的一种基于多视野卷积神经网络的影像特征识别方法，其特征在于，所述对多视野卷积神经网络进行训练包括：
随机初始化各层参数，包括：卷积层的卷积核，全连接层的权重矩阵与偏置向量以及Softmax分类器的参数，并进行前向传播；
权值更新：基于前向传播各层的输出以及训练集的标签进行逐层反向传播，确定各层参数，完成对整个多视角神经网络有监督的训练；
微调网络参数：利用Dropout技术对整个网络进行微调；
选择模型超参：将步骤二中得到的敏感区域随机均分为N份，利用N折交叉验证技术，选择使得模型识别性能最好的超参。
3.根据权利要求1所述的一种基于多视野卷积神经网络的影像特征识别方法，其特征在于，反向传播包括：
Softmax分类器的反向传播：
Figure FDA0002606497850000031
θj＝θj-α▽θJ(θ)
其中，m表示样本个数；δ(6)表示反向传播中根据Softmax层计算的残差项，α表示网络学习率；
全连接层的反向传播：将δ(6)依照前向传播的规格进行拆分，其表达式为：
δ(5)＝inconcatenate(δ(6))；
卷积层的反向传播：
Figure FDA0002606497850000032
Figure FDA0002606497850000033
Figure FDA0002606497850000034
其中，s＝1,3，up表示上采样运算，(*)st表示遍历*的所有元素，
Figure FDA0002606497850000035
表示(δi (3))所连接的池化层S2中
Figure FDA0002606497850000036
中相关的元素构成的矩阵；
池化层的反向传播：
Figure FDA0002606497850000037
Figure FDA0002606497850000038
Figure FDA0002606497850000039
其中，q＝2,4，
Figure FDA00026064978500000310
full表示宽卷积运算。
4.根据权利要求2所述的一种基于多视野卷积神经网络的影像特征识别方法，其特征在于，利用Dropout技术对整个网络进行微调包括：
每m个样本为一个批次做梯度下降，每次梯度下降的时候每个隐藏节点以概率P1随机忽略；每个输入节点以概率P2随机忽略；
在测试的时候，输入层与卷积层之间的权重乘以1-P2，其他层的权重乘以1-P1。
5.根据权利要求2所述的一种基于多视野卷积神经网络的影像特征识别方法，其特征在于，所述将步骤二中得到的敏感区域随机均分为N份，利用N折交叉验证技术，选择使得模型泛化性能最好的超参包括：
首先固定超参，然后把步骤二中得到的敏感区域随机均分为N份，将第1份作为验证集，剩下的N-1份作为训练集，对多视野卷积神经网络进行训练；
将验证集数据输入到训练后的多视野卷积神经网络里面，得到多视野卷积神经网络的识别准确率；再将第2份作为验证集，剩下的N-1份作为训练集，对多视野卷积神经网络进行训练，将验证集数据输入到训练后的多视野卷积神经网络里面，得到第二个多视野卷积神经网络的识别准确率；
如此重复N次，得到N个识别准确率，对这N个识别准确率进行平均，得到在这组超参下所训练出来的多视野卷积神经网络的识别准确率；然后换一组超参，重复上述步骤，选出使得识别准确率最高的超参组合作为最终对于超参的设定。
6.根据权利要求1所述的一种基于多视野卷积神经网络的影像特征识别方法，其特征在于，所述根据识别结果来确定待识别CT影像的正负标签包括：
若待识别CT影像中的特征与带有正标签的CT影像中标定特征匹配，则确定待识别CT影像为正标签；
若待识别CT影像中的特征与带有负标签的CT影像中标定特征匹配，则确定待识别CT影像为负标签。
CN201611261265.2A 2016-12-30 2016-12-30 基于多视野卷积神经网络的影像特征识别方法 Active CN106845529B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611261265.2A CN106845529B (zh) 2016-12-30 2016-12-30 基于多视野卷积神经网络的影像特征识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611261265.2A CN106845529B (zh) 2016-12-30 2016-12-30 基于多视野卷积神经网络的影像特征识别方法

Publications (2)

Publication Number Publication Date
CN106845529A CN106845529A (zh) 2017-06-13
CN106845529B true CN106845529B (zh) 2020-10-27

Family

ID=59113641

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611261265.2A Active CN106845529B (zh) 2016-12-30 2016-12-30 基于多视野卷积神经网络的影像特征识别方法

Country Status (1)

Country Link
CN (1) CN106845529B (zh)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107491736A (zh) * 2017-07-20 2017-12-19 重庆邮电大学 一种基于卷积神经网络的路面附着系数辨识方法
CN107316079A (zh) * 2017-08-08 2017-11-03 珠海习悦信息技术有限公司 终端卷积神经网络的处理方法、装置、存储介质及处理器
CN107657603B (zh) * 2017-08-21 2020-07-14 北京精密机电控制设备研究所 一种基于智能视觉的工业外观检测方法
CN107730503B (zh) * 2017-09-12 2020-05-26 北京航空航天大学 三维特征嵌入的图像对象部件级语义分割方法与装置
CN107886049B (zh) * 2017-10-16 2022-08-26 江苏省气象服务中心 一种基于摄像探头的能见度识别预警方法
CN108038543B (zh) * 2017-10-24 2021-01-22 华南师范大学 期望与反期望深度学习方法和神经网络系统
CN107798381B (zh) * 2017-11-13 2021-11-30 河海大学 一种基于卷积神经网络的图像识别方法
CN107958271A (zh) * 2017-12-06 2018-04-24 电子科技大学 基于膨胀卷积的多尺度特征的皮肤病变深度学习识别系统
CN107977969B (zh) * 2017-12-11 2020-07-21 北京数字精准医疗科技有限公司 一种内窥镜荧光图像的分割方法、装置及存储介质
CN108647834B (zh) * 2018-05-24 2021-12-17 浙江工业大学 一种基于卷积神经网络结构的交通流预测方法
CN109191425B (zh) * 2018-07-23 2022-02-11 中国科学院自动化研究所 基于多层神经网络模型医学影像分析方法
CN110795976B (zh) 2018-08-03 2023-05-05 华为云计算技术有限公司 一种训练物体检测模型的方法、装置以及设备
CN109063687A (zh) * 2018-08-29 2018-12-21 长江大学 一种基于深度卷积神经网络的微地震p波识别方法及系统
CN110163057B (zh) * 2018-10-29 2023-06-09 腾讯科技（深圳）有限公司 目标检测方法、装置、设备和计算机可读介质
CN109508746A (zh) * 2018-11-16 2019-03-22 西安电子科技大学 基于卷积神经网络的脉冲星候选体识别方法
CN109544550B (zh) * 2018-12-05 2021-10-22 易必祥 基于ct影像智能检测和识别方法及系统
CN109657719B (zh) * 2018-12-19 2022-09-30 浙江大学常州工业技术研究院 一种基于卷积神经网络的图像识别方法
CN109711449A (zh) * 2018-12-20 2019-05-03 北京以萨技术股份有限公司 一种基于全卷积网络的图像分类算法
CN109768944A (zh) * 2018-12-29 2019-05-17 苏州联讯仪器有限公司 一种基于卷积神经网络的信号调制码型识别方法
CN109774740A (zh) * 2019-02-03 2019-05-21 湖南工业大学 一种基于深度学习的轮对踏面损伤故障诊断方法
CN110164519B (zh) * 2019-05-06 2021-08-06 北京工业大学 一种基于众智网络的用于处理电子病历混合数据的分类方法
CN111914984B (zh) * 2019-05-07 2023-10-27 财团法人成大研究发展基金会 用于辨识装置的人工神经网络正规化系统
US11556801B2 (en) * 2019-08-19 2023-01-17 Via Technologies, Inc. Neural network image identification system, neural network building system and method
CN110569852B (zh) * 2019-09-10 2021-10-15 瑞森网安(福建)信息科技有限公司 基于卷积神经网络的图像识别方法
CN111310675A (zh) * 2020-02-20 2020-06-19 上海赛可出行科技服务有限公司 基于卷积神经网络的高架识别辅助定位方法
CN111582395B (zh) * 2020-05-13 2023-06-09 金陵科技学院 一种基于卷积神经网络的产品质量分类系统
CN112179169B (zh) * 2020-06-04 2022-06-14 无锡市普尔换热器制造有限公司 一种三流体换热器的控制温度换热方法
CN112270660B (zh) * 2020-09-30 2022-09-09 四川大学 基于深度神经网络的鼻咽癌放疗靶区自动分割方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105447569B (zh) * 2015-12-18 2018-10-19 北京柏惠维康科技有限公司 一种基于深度学习的乳腺癌细胞特征分析系统
CN106097340A (zh) * 2016-06-12 2016-11-09 山东大学 一种基于卷积分类器的自动检测并勾画肺结节所在位置的方法

Also Published As

Publication number Publication date
CN106845529A (zh) 2017-06-13

Similar Documents

Publication Publication Date Title
CN106845529B (zh) 基于多视野卷积神经网络的影像特征识别方法
CN110414377B (zh) 一种基于尺度注意力网络的遥感图像场景分类方法
CN110443143B (zh) 多分支卷积神经网络融合的遥感图像场景分类方法
CN106920243B (zh) 改进的全卷积神经网络的陶瓷材质件序列图像分割方法
CN107066559B (zh) 一种基于深度学习的三维模型检索方法
US20190087726A1 (en) Hypercomplex deep learning methods, architectures, and apparatus for multimodal small, medium, and large-scale data representation, analysis, and applications
CN113378632A (zh) 一种基于伪标签优化的无监督域适应行人重识别算法
CN114841257B (zh) 一种基于自监督对比约束下的小样本目标检测方法
CN109165743A (zh) 一种基于深度压缩自编码器的半监督网络表示学习算法
CN112330684B (zh) 对象分割方法、装置、计算机设备及存储介质
CN110119805B (zh) 基于回声状态网络分类的卷积神经网络算法
CN108595558B (zh) 一种数据均衡策略和多特征融合的图像标注方法
CN112288011A (zh) 一种基于自注意力深度神经网络的图像匹配方法
CN113095333B (zh) 无监督特征点检测方法及装置
CN111667016B (zh) 一种基于prototype的增量式信息分类方法
CN114511576B (zh) 尺度自适应特征增强深度神经网络的图像分割方法与系统
CN113569895A (zh) 图像处理模型训练方法、处理方法、装置、设备及介质
CN116580257A (zh) 特征融合模型训练及样本检索方法、装置和计算机设备
CN109544610A (zh) 一种基于卷积神经网络的图像配准方法
CN113298129B (zh) 基于超像素和图卷积网络的极化sar图像分类方法
CN114038055A (zh) 一种基于对比学习和生成对抗网络的图像生成方法
CN113870157A (zh) 一种基于CycleGAN的SAR图像合成方法
CN112488209A (zh) 一种基于半监督学习的增量式图片分类方法
CN110555461A (zh) 基于多结构卷积神经网络特征融合的场景分类方法及系统
CN114861842B (zh) 少样本目标检测方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: 100191 Room 501, floor 5, building 9, No. 35 Huayuan North Road, Haidian District, Beijing

Patentee after: Beijing Baihui Weikang Technology Co.,Ltd.

Address before: 100191 Room 303, building 3, No.9 Huayuan East Road, Haidian District, Beijing

Patentee before: Beijing Baihui Wei Kang Technology Co.,Ltd.

CP03 Change of name, title or address