CN109726769A - 一种基于卷积核权重参数的目标分类和角度估计方法 - Google Patents

Abstract

本发明提供了一种基于卷积核权重参数的目标分类和角度估计方法，属于图像处理技术领域。本发明通过构建空不变卷积网络，对其训练得到空不变卷积网络的权重函数，并根据空不变卷积网络的权重函数得到卷积核权重参数和偏置参数以及全连接层权重参数，对卷积核权重参数进行旋转处理得到卷积层权重参数，并将卷积层权重参数和全连接层权重参数加载至构建的组合网络中，输入图片至组合网络中，在对图片图标分类的同时，提供目标的角度信息。

Description

一种基于卷积核权重参数的目标分类和角度估计方法

技术领域

本发明属于图像处理技术领域，特别涉及一种基于卷积核权重参数的目标 分类和角度估计方法。

背景技术

近年来，以人工神经网络为基础的深度学习算法成为图像和自然语言处理、 自动驾驶、智能机器人等领域的研究热点，并在目标分类、检测、语义分割等 任务以及工程实践中取得了优异成绩。与传统机器学习方法相比，含有大量参 数的卷积层可以从训练数据中自动地提取目标低、中和高级特征，使深度卷积 网络实现分类检测。

虽然深度卷积网络具有很高的识别能力，并在一定程度上能够兼容平移变 换和伸缩变换，但是其对目标的旋转是敏感的，特别对于生物医学和遥感领域 的图像识别及语义分割等问题，例如在空中遥感图像中，地面目标在图像中的 角度是不定的。普通深度卷积网络通常只用于旋转目标的分类，无法在分类的 同时提供目标的角度信息。

发明内容

为了解决现有技术中卷积网络在分类过程中无法预测目标角度的问题，本 发明提供了一种基于卷积核权重参数的目标分类和角度估计方法。

一种基于卷积核权重参数的目标分类和角度估计方法，包括：

S1、构建包含L个卷积层和M个全连接层的空不变卷积网络，其中，所述 空不变卷积网络中的卷积核为W，卷积核W的宽度为d，卷积核W的高度为d， 卷积核输入通道数为C；

S2、构建掩码卷积核W_mask和共享卷积核W_share，所述空不变卷积网络中每个 卷积核W对应一个掩码卷积核W_mask和一个共享卷积核W_share；

S3、初始化网络参数；

S4、训练所述空不变卷积网络，得到所述空不变卷积网络的权重参数；

S5、根据所述空不变卷积网络的权重参数得到卷积层中卷积核权重参数和 偏置参数以及全连接层权重参数，旋转所述空不变卷积网络的卷积核权重参数 得到n+1个卷积层权重参数；

S6、构建包含n+1个子网络的组合网络，所述子网络共用全连接层，将所 述步骤S5得到的所述n+1个卷积层权重参数分别加载到所述n+1个子网络中， 将所述全连接层权重参数加载到所述组合网络中的全连接层中，得到加载权重 参数的组合网络；

S7、将图片输入到所述加载权重参数的组合网络中，得到图片中目标的分 类和角度。

进一步地，所述步骤S1包括：

构建包含L个卷积层和M个全连接层的卷积网络，以全局平均池化层替换 所述卷积网络中的最后一个池化层，得到空不变卷积网络，其中，所述空不变 卷积网络中的卷积核为W，卷积核W的宽度为d，卷积核W的高度为d，卷积 核输入通道数为C，输入至全连接层的特征图的宽和高均为1。

进一步地，所述步骤S2包括：

构建掩码卷积核W_mask，所述空不变卷积网络中每个卷积核W对应一个掩码 卷积核W_mask，W_mask的宽高均为d，W_mask的输入通道数为C，W_mask中的权重参数 不随训练更新；

构建掩码卷积核W_share，所述空不变卷积网络中每个卷积核W对应一个掩码 卷积核W_share，W_share的宽高均为1，W_share的输入通道数为C。

进一步地，所述步骤S3包括：

基于等方差初始化方法初始化所述空不变卷积网络中卷积核权重参数、全 连接层权重参数和共享卷积核权重参数；

使用常数c初始化卷积层偏置参数和全连接层偏置参数；

使用常数0初始化掩码卷积核W_mask所有通道中宽和高坐标为 (1,1)，(1,d)，(d,1)，(d,d)的权重参数W_mask(1,1,：)、W_mask(1,d,：)、W_mask(d,1,：)、W_mask(d,d,：)， 使用常数1初始化W_mask中W_mask(1,1,：)、W_mask(1,d,：)、W_mask(d,1,：)、W_mask(d,d,：)之外其 他位置的参数。

进一步地，所述步骤S4包括：

S41、以共享卷积核W_share的权重参数替换所述空不变卷积网络中卷积核W 中宽高坐标为位置的权重参数替换后的卷积核仍为W；

S42、将S41中替换后的W与掩码卷积核W_mask点乘，将运算结果赋给W， 即所述空不变卷积网络中的卷积核W＝W⊙W_mask，其中，⊙表示点乘；

S43、将训练数据输入至所述空不变卷积网络，得到所述空不变卷积网络 的分类预测结果；

S44、根据所述分类预测结果，采用后向传播算法更新所述空不变卷积网 络权重参数和共享卷积核W_share权重参数；

S45、判断迭代更新次数是否达到预设步数N步；

S46、若迭代达到N步，保存得到所述空不变卷积网络的权重参数；

S47、若迭代未达到N步，流程返回所述步骤S41。

进一步地，所述步骤S5包括：

根据所述空不变卷积网络的权重参数，卷积层中卷积核权重参数和偏置参 数组成的卷积层权重参数为P^k，全连接层权重参数为P^fc；

保持卷积层偏置参数不变，旋转卷积核参数a度，得到由旋转处理后的卷 积核权重参数和未旋转处理的偏执参数组成的卷积层权重参数P^k _a；

持续旋转卷积核参数，直到获得卷积核权重参数旋转n×a度的卷积层权 重参数P^k _n*a，其中，(n+1)×a＝360。

进一步地，所述旋转卷积核参数的方法为插值旋转法或者移格旋转法。

进一步地，所述步骤S6包括：

构建n+1个互相独立的只含有卷积层和池化层的子网络，每个子网络的结 构与所述空不变卷积网络中全连接层之前的网络结构相同，所述n+1个子网络 共用全连接层，子网络共用的全连接层的结构与所述空不变卷积网络中全连接 层结构相同，得到组合网络；

将步骤S5得到的n+1个卷积层权重参数分别加载到独立的 所述组合网络的n+1个子网络中，将所述步骤S5得到的全连接层权重参数P^fc加载到所述组合网络的全连接层，得到加载权重参数的组合网络。

进一步地，所述步骤S7包括：

将图片输入至所述加载权重参数的组合网络中，得到n+1组输出，每组输 出中包含图片中目标所述分类及属于该分类的概率，每组输出对应所述组合网 络中的一个子网络；

计算n+1组输出中概率的最大值，令概率最大的输出对应的分类为图片中 目标的分类，令概率最大的输出对应的子网络中卷积核权重参数旋转处理的角 度即为目标的角度。

本发明的有益效果：本发明提供了一种基于卷积核权重参数的目标分类和 角度估计方法，其构造的网络在对图片图标分类的同时，提供目标的角度信息。

附图说明

图1为本发明实施例提供的流程图。

图2为图1中步骤S4的流程图。

具体实施方式

下面结合附图对本发明的实施例做进一步的说明。

请参阅图1，本发明提供了一种基于卷积核权重参数的目标分类和角度估 计方法，通过以下步骤实现：

S1、构建包含L个卷积层和M个全连接层的空不变卷积网络，其中，空不 变卷积网络中的卷积核为W，卷积核W的宽度为d，卷积核W的高度为d，卷 积核输入通道数为C。

本实施例中，构建包含L个卷积层和M个全连接层的标准卷积网络，以全 局平均池化层替换卷积网络中的最后一个池化层，得到空不变卷积网络。

优选地，构建包含4个卷积层和2个全连接层的卷积网络；卷积核的宽高 均为4，第一个卷积层的通道数为32，第二个卷积层的通道数为64，第三个卷 积层的通道数为128，第四个卷积层通道数为256，第一个全连接层输出通道 数为1024，第二个全连接层输出通道数为10。

本实施例中，标准卷积网络由交替出现的卷积层、池化层以及最后的全连 接层组成。通常情况下，池化层在卷积层之后，与卷积层成对出现。各卷积层 能够提取出物体边、角、形状等不同抽象程度的空间特征。池化层对卷积层的 特征输出进行降维，减少网络中数据流量，提高运算效率。全连接层起到分类 器作用，根据卷积层提取的特征信息对物体进行分类处理。卷积层和池化层的 输入称为输入特征图，卷积层和池化层的输出称为输出特征图，输入特征图和 输出特征图均是三维张量，这三维分别对应特征图的宽、特征图的高和特征图 的通道数。卷积网络中需要训练的参数包括：卷积层中卷积核权重参数，卷积层中偏置参数，全连接层中的权重参数和全连接层的偏置参数。

本实施例中，全局平均池化层则采用与特征图大小相同的滤波器，计算整 张特征图切片的均值，使得输出的宽为1，输出的高为1。

S2、构建掩码卷积核W_mask和共享卷积核W_share，空不变卷积网络中每个卷积 核W对应一个掩码卷积核W_mask和一个共享卷积核W_share。

S21、根据标准卷积核构建掩码卷积核W_mask，空不变卷积网络中每个卷积 核W对应一个掩码卷积核W_mask，W_mask的宽高均为d，W_mask的输入通道数为C， W_mask中的权重参数不随训练更新。优选地，W_mask的宽高均为4，输入通道数与 对应的卷积核相同

S22、根据标准卷积核构建掩码卷积核W_share，空不变卷积网络中每个卷积 核W对应一个掩码卷积核W_share，W_share的宽高均为1，W_share的输入通道数与对应 的卷积核相同。

本实施例中，标准卷积核是卷积网络的基本构造单元，是一个三维张量， 分别对应空间上的宽、高和卷积核的深度通道数。记卷积核为W₀，则有

其中，w为卷积核的宽，h为卷积核的高，C₀表示卷积核的通道数，等于 输入特征图的通道数。卷积核中宽为i，高为j位置处的权值为 W₀(i,j,：),1≤i≤w,1≤j≤h，“：”表示包含卷积核所有通道。

S3、初始化网络参数。

S31、基于等方差初始化方法初始化空不变卷积网络中卷积核权重参数、 全连接层权重参数和共享卷积核权重参数。

S32、使用常数c初始化卷积层偏置参数和全连接层偏置参数。

S33、使用常数0初始化掩码卷积核W_mask所有通道中宽和高坐标为(1,1)，(1,d)，(d,1)，(d,d)的权重参数W_mask(1,1,：)、W_mask(1,d,：)、W_mask(d,1,：)、W_mask(d,d,：)， 使用常数1初始化W_mask中W_mask(1,1,：)、W_mask(1,d,：)、W_mask(d,1,：)、W_mask(d,d,：)之外其 他位置的参数。优选地，使用常数0初始化掩码卷积核W_mask所有通道中宽和高 坐标为(1,1)，(1,4)，(4,1)，(4,4)的权重参数W_mask(1,1,：)、W_mask(1,4,：)、W_mask(4,1,：)、W_mask(4,4,：)， 使用常数1初始化W_mask中W_mask(1,1,：)、W_mask(1,4,：)、W_mask(4,1,：)、W_mask(4,4,：)之外其 他位置的参数。

本实施例中，等方差初始化方法Xavier为定义参数所在层的输入维度为n₁， 输出维度为n₂，那么参数将以均匀分布的方式在的范围内 进行初始化。

S4、训练空不变卷积网络，得到空不变卷积网络的权重参数。

请参阅图2，步骤S4通过以下分步骤实现：

S41、以共享卷积核W_share的权重参数替换空不变卷积网络中卷积核W中宽 高坐标为位置的权重参数 替换后的卷积核仍为W。优选地， 以共享卷积核W_share的权重参数替换空不变卷积网络中卷积核W中宽高坐标为 (2,3)、(3,2)、(2,3)、(3,3)位置的权重参数W(2,3,:)、W(3,2,:)、W(2,3,:)、W(3,3,:)。

S42、将S41中替换后的W与掩码卷积核W_mask点乘，将运算结果赋给W， 即空不变卷积网络中的卷积核W＝W⊙W_mask，其中，⊙表示点乘。

S43、将训练数据输入至空不变卷积网络，得到空不变卷积网络的分类预 测结果。

S44、根据分类预测结果，采用后向传播算法更新空不变卷积网络权重参 数和共享卷积核W_share权重参数。

S45、判断迭代更新次数是否达到预设步数N步，其中，N为预设的迭代 阈值。

S46、若迭代达到N步，保存得到空不变卷积网络的权重参数。

本实施例中，迭代次数达到N步之后结束训练，保存得到空不变卷积网络 的权重参数。

S47、若迭代未达到N步，流程返回步骤S41。

本实施例中，后向传播算法是一种与最优化方法结合使用的，用来训练人 工神经网络的方法。该方法对网络中所有权重计算损失函数的梯度，这个梯度 会反馈给最优化方法，用来更新权值以最小化损失函数。

S5、根据空不变卷积网络的权重参数得到卷积层中卷积核权重参数和偏置 参数以及全连接层权重参数，旋转空不变卷积网络的卷积核权重参数得到卷积 层权重参数。

S51、根据空不变卷积网络的权重参数，卷积层中卷积核权重参数和偏置 参数组成的卷积层权重参数为P^k，全连接层权重参数为P^fc。

S52、保持卷积层偏置参数不变，旋转卷积核参数a度，优选为45度，得 到由旋转处理后的卷积核权重参数和未旋转处理的偏执参数组成的卷积层权 重参数P^k _a，即P^k _45°

本实施例中，对卷积核权重参数进行旋转处理的方法为插值旋转法或者移 格旋转法。

本实施例中，插值旋转法为在对图像进行旋转操作时，部分原坐标经过变 换后变为非整数，需要通过插值的方法实现坐标的映射，插值方法包括双线性 插值、最近邻插值的插值方法。

本实施例的优选实施例中，采用移格旋转法时，固定卷积核每个通道的卷 积核参数中，宽高坐标为(1,1)(1,4)、(4,1)、(4,4)、(2,2)、(2,3)、(3,2)、(3,3)位置的值不变，(1,2)位置的值移动至(2,1)处，(2,1)位 置的值移动至(3,1)处，(3,1)位置的值移动至(4,2)处，(4,2)位置的值 移动至(4,3)处，(4,3)位置的值移动至(3,4)处，(3,4)位置的值移动至(2,4)处，(2,4)位置的值移动至(1,3)处，(1,3)位置的值移动至(1,2) 处。

S53、重复步骤S52持续旋转卷积核参数，直到获得卷积核权重参数旋转 n×a度的卷积层权重参数P^k _n*a，其中，(n+1)×a＝360。即旋转90，135，180， 225，270，315度的卷积层权重参数一共得到n+1＝8 个卷积层权重参数。

S6、构建包含n+1个子网络的组合网络，所述子网络共用全连接层，将所 述步骤S5得到的所述n+1个卷积层权重参数分别加载到所述n+1个子网络中， 将所述全连接层权重参数加载到所述组合网络中的全连接层中，得到加载权重 参数的组合网络。

S61、构建n+1＝8个互相独立的只含有卷积层和池化层的子网络，每个子 网络的结构与空不变卷积网络中全连接层之前的网络结构相同，所有子网络共 用全连接层，子网络共用的全连接层的结构与空不变卷积网络中全连接层结构 相同，得到组合网络。

S62、将步骤S5得到的n+1个卷积层权重参数即分别加载到组合网络每个独立的子网络 中，将步骤S5得到的全连接层权重参数P^fc加载到组合网络的全连接层，得到 加载权重参数的组合网络。

S7、将图片输入到加载权重参数的组合网络中，得到图片中目标的分类和 角度。

S71、将图片输入至加载权重参数的组合网络中，得到n+1＝8组输出，每 组输出中包含图片中目标分类及属于该分类的概率，每组输出对应组合网络中 的一个子网络；

S72、计算n+1＝8组输出中概率的最大值，该最大值对应的分类为图片中 目标的分类，该输出对应的子网络中卷积核权重参数旋转处理的角度即为目标 的角度。即，若取得最大值的输出为第4个子网络，则第4个子网络的输出的 分类为该目标的分类；而第4个子网络对应的卷积核权重参数P^k ₁₃₅中旋转处理 的角度135度为该目标的角度。得到目标的分类和角度信息。

本领域的普通技术人员将会意识到，这里的实施例是为了帮助读者理解本 发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施 例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱 离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保 护范围内。

Claims (9)

1.一种基于卷积核权重参数的目标分类和角度估计方法，其特征在于，包括：

S1、构建包含L个卷积层和M个全连接层的空不变卷积网络，其中，所述空不变卷积网络中的卷积核为W，卷积核W的宽度为d，卷积核W的高度为d，卷积核输入通道数为C；

S2、构建掩码卷积核W_mask和共享卷积核W_share，所述空不变卷积网络中每个卷积核W对应一个掩码卷积核W_mask和一个共享卷积核W_share；

S3、初始化网络参数；

S4、训练所述空不变卷积网络，得到所述空不变卷积网络的权重参数；

S5、根据所述空不变卷积网络的权重参数得到卷积层中卷积核权重参数和偏置参数组成的卷积层权重参数以及全连接层权重参数，旋转所述空不变卷积网络的卷积核权重参数得到n+1个卷积层权重参数；

S6、构建包含n+1个子网络的组合网络，所述子网络共用全连接层，将所述步骤S5得到的所述n+1个卷积层权重参数分别加载到所述n+1个子网络中，将所述全连接层权重参数加载到所述组合网络中的全连接层中，得到加载权重参数的组合网络；

S7、将图片输入到所述加载权重参数的组合网络中，得到图片中目标的分类和角度。

2.如权利要求1所述的基于卷积核权重参数的目标分类和角度估计方法，其特征在于，所述步骤S1包括：

构建包含L个卷积层和M个全连接层的卷积网络，以全局平均池化层替换所述卷积网络中的最后一个池化层，得到空不变卷积网络，其中，所述空不变卷积网络中的卷积核为W，卷积核W的宽度为d，卷积核W的高度为d，卷积核输入通道数为C，输入至全连接层的特征图的宽和高均为1。

3.如权利要求1所述的基于卷积核权重参数的目标分类和角度估计方法，其特征在于，所述步骤S2包括：

构建掩码卷积核W_mask，所述空不变卷积网络中每个卷积核W对应一个掩码卷积核W_mask，W_mask的宽高均为d，W_mask的输入通道数为C，W_mask中的权重参数不随训练更新；

构建掩码卷积核W_share，所述空不变卷积网络中每个卷积核W对应一个掩码卷积核W_share，W_share的宽高均为1，W_share的输入通道数为C。

4.如权利要求1所述的基于卷积核权重参数的目标分类和角度估计方法，其特征在于，所述步骤S3包括：

基于等方差初始化方法初始化所述空不变卷积网络中卷积核权重参数、全连接层权重参数和共享卷积核权重参数；

使用常数c初始化卷积层偏置参数和全连接层偏置参数；

使用常数0初始化掩码卷积核W_mask所有通道中宽和高坐标为(1,1)，(1,d)，(d,1)，(d,d)的权重参数W_mask(1,1,：)、W_mask(1,d,：)、W_mask(d,1,：)、W_mask(d,d,：)，使用常数1初始化W_mask中W_mask(1,1,：)、W_mask(1,d,：)、W_mask(d,1,：)、W_mask(d,d,：)之外其他位置的参数。

5.如权利要求1所述的基于卷积核权重参数的目标分类和角度估计方法，其特征在于，所述步骤S4包括：

S41、以共享卷积核W_share的权重参数替换所述空不变卷积网络中卷积核W中宽高坐标为位置的权重参数替换后的卷积核仍为W；

S42、将S41中替换后的W与掩码卷积核W_mask点乘，将运算结果赋给W，即所述空不变卷积网络中的卷积核W＝W⊙W_mask，其中，⊙表示点乘；

S43、将训练数据输入至所述空不变卷积网络，得到所述空不变卷积网络的分类预测结果；

S44、根据所述分类预测结果，采用后向传播算法更新所述空不变卷积网络权重参数和共享卷积核W_share权重参数；

S45、判断迭代更新次数是否达到预设步数N步；

S46、若迭代达到N步，保存得到所述空不变卷积网络的权重参数；

S47、若迭代未达到N步，流程返回所述步骤S41。

6.如权利要求1所述的基于卷积核权重参数的目标分类和角度估计方法，其特征在于，所述步骤S5包括：

根据所述空不变卷积网络的权重参数，卷积层中卷积核权重参数和偏置参数组成的卷积层权重参数为P^k，全连接层权重参数为P^fc；

保持卷积层偏置参数不变，旋转卷积核参数a度，得到由旋转处理后的卷积核权重参数和未旋转处理的偏执参数组成的卷积层权重参数P^k _a；

持续旋转卷积核参数，直到获得卷积核权重参数旋转n×a度的卷积层权重参数P^k _n*a，其中，(n+1)×a＝360。

7.如权利要求6所述的基于卷积核权重参数的目标分类和角度估计方法，其特征在于，所述旋转卷积核参数的方法为插值旋转法或者移格旋转法。

8.如权利要求6所述的基于卷积核权重参数的目标分类和角度估计方法，其特征在于，所述步骤S6包括：

构建n+1个互相独立的只含有卷积层和池化层的子网络，每个子网络的结构与所述空不变卷积网络中全连接层之前的网络结构相同，所述n+1个子网络共用全连接层，子网络共用的全连接层的结构与所述空不变卷积网络中全连接层结构相同，得到组合网络；

将步骤S5得到的n+1个卷积层权重参数分别加载到独立的所述组合网络的n+1个子网络中，将所述步骤S5得到的全连接层权重参数P^fc加载到所述组合网络的全连接层，得到加载权重参数的组合网络。

9.如权利要求1所述的基于卷积核权重参数的目标分类和角度估计方法，其特征在于，所述步骤S7包括：

将图片输入至所述加载权重参数的组合网络中，得到n+1组输出，每组输出中包含图片中目标所述分类及属于该分类的概率，每组输出对应所述组合网络中的一个子网络；

计算n+1组输出中概率的最大值，令概率最大的输出对应的分类为图片中目标的分类，令概率最大的输出对应的子网络中卷积核权重参数旋转处理的角度即为目标的角度。