CN110427941A - 一种基于关键点的区域建议生成方法 - Google Patents

Abstract

本发明适用于深度学习技术领域，提供一种基于关键点的区域建议生成方法，包括如下步骤：S1、对关键点集D进行二样本抽样并生成矩形框；S2、建立各矩形框的正负标签及回归值数组；S3、基于面积大小对矩形框进行分组，基于组别数来构建表示正负标签的特征立方体，称为标签特征；S4、基于4倍组别数来构建表示回归变量的特征立方体，称为回归特征；S5、将矩形框的正负标签映射到标签特征上；S6、将矩形框的回归值数组映射到回归特征上；S7、将标签特征和回归特征代入已知的卷积网络训练，生成区域建议。提供了一种基于关键点的区域建议生成方法，将目标的局部属性应用于区域建议，提高了区域建议的智能性、针对性。

Description

一种基于关键点的区域建议生成方法

技术领域

本发明属于深度学技术领域，提供了一种基于关键点的区域建议生成方法。

背景技术

图像中一般目标的检测是一个复杂问题，其中的一个难点是需要对不同的目标分配一个准确的矩形定位框，如Zhaowei Cai and Nuno Vasconcelos,Cascade R-CNN:delving into high quality object detection,IEEE Conference on Computer Visionand Pattern Recognition(CVPR)2018,pp.6154-6162。过去二十年，基于卷积神经网络的方法在目标检测问题上取得了令人瞩目的成绩。通常基于卷积神经网络的目标检测方法可以分为两类：一是基于区域建议的二阶段方法；二是不需要区域建议的一阶段方法。基于区域建议的方法包括Fast R-CNN(Ross Girshick,Fast R-CNN,IEEE InternationalConference on Computer Vision(ICCV),(2015),pp.1440-1448)、Faster R-CNN(Shaoqing Ren,Kaiming He,Ross Girshick,and Jian Sun,Faster R-CNN:Towardsreal-time object detection with region proposal networks,IEEE Transactions onPattern Analysis And Machine Intelligence,2017,39:1137-1149)、R-FCN(JifengDai,Yi Li,Kaiming He,Jian Sun,R-FCN:Object detection via region-based fullyconvolutional networks,30th Conference on Neural Information ProcessingSystems,2016,pp.379-387)等，其中Fast R-CNN通过选择性搜索产生区域建议，Faster R-CNN和R-FCN都通过RPN网络，在整个图像上直接产生固定大小和宽高比的矩形框用于区域建议的产生。

与选择性搜索相比，直接生成矩形框的方法速度较快，但是直接生成的方法忽略了图像本身的角点、边缘等局部属性，具有一定的盲目性，其“吸附”目标的智能性有待提高。

发明内容

本发明实施例提供了一种基于关键点的区域建议生成方法，针对二阶段目标识别方法，通过局部关键点诱导卷积特征，用于提高区域建议产生的智能性。

本发明是这样实现的，一种基于关键点的区域建议生成方法，所述方法具体包括如下步骤：

S1、对关键点集D进行二样本抽样并生成矩形框；

S2、建立各矩形框的正负标签及回归值数组；

S3、基于面积大小对矩形框进行分组，基于组别数来构建表示正负标签的特征立方体，称为标签特征；

S4、基于4倍组别数来构建表示回归变量的特征立方体，称为回归特征；

S5、将矩形框的正负标签映射到标签特征上；

S6、将矩形框的回归值数组映射到回归特征上；

S7、将完成相关映射的标签特征和回归特征代入已知的卷积网络训练，生成区域建议。

进一步的，矩形框的构建方法具体如下：

在关键点集D中任意抽取两个关键点p_i和p_j，以关键点p_i和p_j作为矩形框对角线上的两端点，来构建矩形框a_ij。

进一步的，矩形框的分组方法具体如下：

基于面积大小对矩形框进行分组，分成c个组别，其中S_max为工作数据集中所有图像的最大尺寸面积。

进一步的，矩形框的正负标签的建立方法如下：

计算矩形框与标注区域的交集与并集的比值；

若比值大于设定值，则矩形框的标签设为正标签1，否则矩形框的标签设为负标签0。

进一步的，矩形框的回归值数组建立方法如下：

对于标签为正标签1的矩形框，回归值数组为矩形框与标注区域之间中心点的横坐标差、中心点的纵坐标差、宽度差、高度差所组成的四元数组。

进一步的，正负标签的特征立方体的构建方法具体如下：

正负标签特征立方体的通道数设置为c，宽和高分别为w＝[W/shrank]和h＝[H/shrank]，其中，W和H为设输入图像的宽和高，shrank为卷积网络中池化操作所产生的缩减倍数。

进一步的，回归变量特征立方体的构建方法具体如下：

回归变量特征立方体的通道数设置为4c，宽和高分别为w＝[W/shrank]和h＝[H/shrank]，其中，W和H为设输入图像的宽和高，shrank为卷积网络中池化操作所产生的缩减倍数。

进一步的，回归值数组到回归特征的映射方法具体如下：

针对矩形框ai^j，(1)若矩形框面积s(a_ij)大于16，将图像的最大面积S^max除以矩形框面积S(a_ij)，若S_max/S(a_ij)的比值落在(2^k,2^k+1]的区间内，则将矩形框aij的正标签或负标签映射到特征的第k个通道上的[ct_ij/shrank]坐标点处，其中k＝0,1,2,…,c-2；(2)若矩形框面积S(a_ij)小于等于16，则将矩形框a_ij的正标签或负标签映射到特征的第c-1个通道上的[ct_ij/shrank]坐标点处，其中，ct_ij为矩形框a_ij中心点坐标。

进一步的，所述步骤S5具体如下：

对于标签为正标签1的矩形框a_ij，若矩形框a_ij属于第k个组别，则将矩形框a_ij的回归值数组依次映射到第4k到4k+3个通道的[ct_ij/shrank]坐标点处。

本发明提供的基于关键点的区域建议生成方法具如下益效果：

1.提供了一种基于关键点的区域建议生成方法，将目标的局部属性应用于区域建议，提高了区域建议的智能性、针对性。

2.该方法首先提取图像中的关键点；其次生成训练矩形框；再次，构建表示正负标签和回归变量的特征立方体；然后建立矩形框到正负标签特征和回归特征的映射；最后，将标签特征和回归特征用于深度神经网络的训练，生成区域建议，以便实现区域建议的智能化。

附图说明

图1为本发明实施例提供的基于关键点的区域建议生成方法流程图；

图2是本发明的具体实施方式的由关键点生成矩形框的示意图。

图3是本发明的具体实施方式的矩形面积框分组的示意图。

图4是本发明的具体实施方式的标签特征的构造示意图。

图5是本发明的具体实施方式的回归变量特征的构造示意图。

图6是本发明的具体实施方式的矩形框到标签特征的映射的示意图。

图7是本发明的具体实施方式的矩形框到标签特征的映射的示意图。

图8是本发明的具体实施方式的从关键点到卷积特征的构造方法示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明是通过关键点诱导适用于密度不均匀和大小不规范的异质矩形框的卷积特征，用于区域建议的训练，其中密度不均匀是指矩形框在图像中的分布密度不均匀，如集中分布在左上角，大小不规范是指矩形框的尺寸不统一；矩形框卷积特征该构造方法的梗概如图2-图7所示。首先，通过检测到的关键点，生成矩形框集合，如图2所示；其次将矩形框按照面积大小进行分组，如图3所示；再次，根据组别数设计标签特征的尺寸，如图4所示；然后，根据组别数的4倍设计回归特征的尺寸，如图5所示；再将矩形框的标签映射到标签特征上，如图6所示，然后，将矩形框的回归值映射到回归特征上，如图7所示；最后，将标签特征和回归特征代入卷积网络训练生成区域建议，如图8所示。

图1为本发明实施例提供的基于关键点的候选目标生成方法流程图，该方法具体包括如下步骤：

S1、对关键点集D进行二样本抽样并生成矩形框；

本发明所要解决的问题是由关键点集D诱导用于深度学习的特征，以便训练出吸附于关键点这一局部属性的区域建议，使区域建议具有一定的智能性、针对性。在本发明实施例中，关键点集D已基于图像处理技术提取出来，如基于Harris角点检测图像中的关键点坐标，形成关键点集D，基于关键点集D来生成矩形框，假定关键点集中有n个关键点，可以形成n(n-1)/2个矩形框，即在关键点集D中任意抽取两个样本关键点p_i和p_j，以样本关键点p_i和p_j作为矩形框对角线上的两端点，来构建矩形框。假定样本关键点p_i和p_j的坐标分别为(x_i,y_i)、(x_j,y_j)，构成矩形框的四个端点坐标依次为(x_i,y_i)、(x_j,y_i)、(x_j,y_j)及(x_i,y_j)；

S2、建立各矩形框的正负标签及回归值数组；

矩形框的正负标签的建立方法如下：根据训练数据集，计算矩形框与标注区域的交集与并集的比值，根据比值对矩形框进行0标签或1标签的映射，若比值大于设定值，则矩形框的标签设为正标签1，否则矩形框的标签设为负标签0；

其中标注区域是数据集自带的，是指已经在图像上标识了目标的位置和类别。

矩形框的回归值数组建立方法如下：对于标签为正标签1的矩形框，回归值数组为矩形框与标注区域之间中心点的横坐标差、中心点的纵坐标差、宽度差、高度差所组成的四元数组；

正样本为目标样本，负样本不是目标样本，因此不需要回归坐标位置。

S3、基于面积大小对矩形框进行分组，基于组别数来构建表示正负标签的特征立方体，称为标签特征；

在本发明实施例中，步骤S3具体包括如下步骤：

S31、基于面积大小对矩形框进行分组，分成c个组别，其中S_max为工作数据集中所有图像的最大尺寸面积；

S32、正负标签特征立方体的通道数设置为c，宽和高分别为w＝[W/shrank]和h＝[H/shrank]，标签特征立方体的宽和高由卷积网络的池化操作确定，设输入图像的宽和高分别为W和H，卷积网络中池化操作所产生的缩减倍数为shrank，则标签特征立方体的宽和高分别为w＝[W/shrank]和h＝[H/shrank]

在本发明实施例中，步骤S31具体包括如下步骤：

设D＝{p_i＝(x_i,y_i)|i＝0,1,…,N}是检测到的关键点集合，矩形框集合A＝{a_ij＝(x_i,y_i,x_j,y_j)}，其中x_i≤x_j,yi≤y_j，(x_i,yi),(x_j,y_j)∈D；设数据集中所有图像的最大尺寸为S_max，则A的分组为：A＝A₀∪A₁∪…∪A_c-1(如图3所示)，其中第0组矩形框，a_ij∈A₀满足s(a_ij)＞S_max/2，其中第k(k＝1,…,c-2)组矩形框，a_ij∈A₁满足S_max/2^k+1＜s(a_ij)≤S_max/2^k，第c-1组a_ij∈A_c-1满足s(a_ij)≤16，s(●)表示●的面积；也即：c＝[ln(S^max/16)/ln(2)]+1，[●]表示●的整数部分。

获取数据集中所有图像的最大尺寸面积，其尺寸为S_max，从最大尺寸S_max开始重复模2，直到结果小于等于16，设总共除了c次，其中c＝[ln(S_max/16)/ln(2)]+1，正负标签特征立方体的通道数设置为c(正负标签的特征立方体长度)，标签特征立方体的宽和高由卷积网络的池化操作确定，设输入图像的宽和高分别为W和H，卷积网络中池化操作所产生的缩减倍数为shrank，则标签特征立方体的宽和高分别为w＝[W/shrank]和h＝[H/shrank]，通道数设置为c。

S4、基于4倍组别数来构建表示回归变量的特征立方体，称为回归特征；

设输入图像的宽和高分别为W和H，则回归特征的宽和高分别为：w＝[W/shrank]和h＝[H/shrank]，通道数设置为4c。

S5、将矩形框的正负标签映射到标签特征上；

若矩形框共分为c个组别，则标签特征上设有c个通道，对于任一待映射矩形框，若矩形框a_ij＝(x_i,y_i,x_j,y_j)∈A_k，矩形框a_ij的中心点坐标为：ct_ij＝((x_i+x_j)/2,(y_i+y_j)/2)，则将a_ij的正负标签映射到第k个通道上的[ct_ij/shrank]坐标点处，其映射过程具体如下：

(1)针对矩形框ai_j，若该矩形框面积s(ai_j)大于16，将图像的最大面积S_max除以该矩形框面积S(a_ij)，若S_xam/S(a_ij)的比值落在[2^k,2^k+1)的区间内，则将矩形框a_ij的正标签或负标签映射到特征的第k个通道上的[ct_ij/shrank]坐标点处，其中k＝0,1,2,…,c-2；(2)该矩形框面积s(a_ij)小于等于16，则将矩形框a_ij的正标签或负标签映射到特征的第c-1个通道上的[ct_ij/shrank]坐标点处，其中c＝[ln(S_max/16)/ln(2)]+1，[●]表示●的整数部分，其具体实现方法如下：

对于任意一个待映射矩形，(1)当该矩形框面积大于16时，若该矩形框面积大于S_max/2，则将该矩形映射到第0个通道上；若该矩形框面积小于等于S_max/2大于S_max/4，则将该矩形映射到第1个通道上；以此类推，直到倒数第二个通道映射完毕；(2)若该矩形框面积小于等于16，则将该矩形的正标签或负标签映射到特征的最后一个通道上的某个位置，其中所述的某个位置为图像中待映射矩形的中心点位置经卷积网络卷积所得到的坐标位置。

S6、将矩形框的回归值数组映射到回归特征上；

对于标签为正标签1的矩形框a_ij，若a_ij＝(x_i,y_i,x_j,y_j)∈A_k，即最大尺寸矩形框面积S_max除以矩形面积S(a_ij)，若S_max/S(a_ij)的比值落在[2^k,2^k+1)的区间内，即矩形框a_ij∈A_k，其中心点坐标为：ct_ij＝((x_i+x_j)/2,(y_i+y_j)/2)，则将a_ij的回归值四元数组依次映射到第4k到4k+3个通道的[ct_ij/shrank]坐标点处。

S7、将完成相关映射的标签特征和回归特征代入已知的卷积网络训练，生成区域建议。

在本发明实施例中，完成相关映射的标签特征和回归特征分别是指：完成正负标签映射的标签特征及完成回归值数组映射的回归特征，此外，训练区域建议的神经网络采用现有的。

本发明提供的基于关键点的区域建议生成方法具如下益效果：

1.提供了一种基于关键点的区域建议生成方法，将目标的局部属性应用于区域建议，提高了区域建议的智能性、针对性。

2.该方法首先提取图像中的关键点；其次生成训练矩形框；再次，构建表示正负标签和回归变量的特征立方体；然后建立矩形框到正负标签特征和回归特征的映射；最后，将标签特征和回归特征用于深度神经网络的训练，生成区域建议，以便实现区域建议的智能化。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于关键点的区域建议生成方法，其特征在于，所述方法具体包括如下步骤：

S1、对关键点集D进行二样本抽样并生成矩形框；

S2、建立各矩形框的正负标签及回归值数组；

S3、基于面积大小对矩形框进行分组，基于组别数来构建表示正负标签的特征立方体，称为标签特征；

S4、基于4倍组别数来构建表示回归变量的特征立方体，称为回归特征；

S5、将矩形框的正负标签映射到标签特征上；

S6、将矩形框的回归值数组映射到回归特征上；

S7、将完成相关映射的标签特征和回归特征代入已知的卷积网络训练，生成区域建议。

2.如权利要求1所述基于关键点的区域建议生成方法，其特征在于，矩形框的构建方法具体如下：

在关键点集D中任意抽取两个样本关键点p_i和p_j，以样本关键点p_i和p_j作为矩形框对角线上的两端点，来构建矩形框a_ij。

3.如权利要求1所述基于关键点的区域建议生成方法，其特征在于，矩形框的分组方法具体如下：

基于面积大小对矩形框进行分组，分成c个组别，其中c＝[ln(S_max/16)/ln2]+1，S_max为工作数据集中所有图像的最大尺寸面积。

4.如权利要求1所述基于关键点的区域建议生成方法，其特征在于，矩形框的正负标签的建立方法如下：

计算矩形框与标注区域的交集与并集的比值；

若比值大于设定值，则矩形框的标签设为正标签1，否则矩形框的标签设为负标签0。

5.如权利要求1所述基于关键点的区域建议生成方法，其特征在于，矩形框的回归值数组建立方法如下：

对于标签为正标签1的矩形框，回归值数组为矩形框与标注区域之间中心点的横坐标差、中心点的纵坐标差、宽度差、高度差所组成的四元数组。

6.如权利要求3所述基于关键点的区域建议生成方法，其特征在于，正负标签的特征立方体的构建方法具体如下：

正负标签特征立方体的通道数设置为c，宽和高分别为w＝[W/shrank]和h＝[H/shrank]，其中，W和H为设输入图像的宽和高，shrank为卷积网络中池化操作所产生的缩减倍数。

7.如权利要求3所述基于关键点的区域建议生成方法，其特征在于，回归变量特征立方体的构建方法具体如下：

回归变量特征立方体的通道数设置为4c，宽和高分别为w＝[W/shrank]和h＝[H/shrank]，其中，W和H为设输入图像的宽和高，shrank为卷积网络中池化操作所产生的缩减倍数。

8.如权利要求6所述基于关键点的区域建议生成方法，其特征在于，回归值数组到回归特征的映射方法具体如下：

针对矩形框a_ij，(1)若矩形框面积s(a_ij)大于16，将图像的最大面积S^max除以矩形框面积S(a_ij)，若S_max/S(a_ij)的比值落在[2^k,2^k+1)的区间内，则将矩形框a_ij的正标签或负标签映射到特征的第k个通道上的[ct_ij/shrank]坐标点处，其中k＝0,1,2,…,c-2；(2)若矩形框面积S(a_ij)小于等于16，则将矩形框a_ij的正标签或负标签映射到特征的第c-1个通道上的[ct_ij/shrank]坐标点处，其中，ct_ij为矩形框a_ij中心点坐标。

9.如权利要求7所述基于关键点的区域建议生成方法，其特征在于，所述步骤S5具体如下：

对于标签为正标签1的矩形框a_ij，若矩形框a_ij属于第k个组别，则将矩形框a_ij的回归值数组依次映射到第4k到4k+3个通道的[ct_ij/shrank]坐标点处。