CN109063748B - 基于数据增强的目标检测方法 - Google Patents

Abstract

本发明公开了一种基于数据增强的目标检测方法，其包括如下步骤：获取目标原始图像，在所述原始图像上添加标注框；对获得的原始图像进行透视变换，生成透视变换图像；进行标注对齐，将变换后的标注框变为可训练的矩形标注框；使用原始图像对透视变换后的图像进行黑边填充；进行目标检测。本发明针对有效样本稀缺的问题，利用透视变换对已有样本进行增强，自动生成新的高质量的标注图像，从而提高深度神经网络的效果。

Description

基于数据增强的目标检测方法

技术领域

本发明属于图像识别技术领域，具体涉及一种针对有效样本稀缺的情况下基于透视变换数据增强的目标检测方法，特别适用于输电线路目标检测。

背景技术

近几年中，深度神经网络在目标检测任务中取得了巨大成功。深度神经网络的性能在很大程度上依赖于海量的训练数据，然而在现实世界的应用中，大量有效的输电线路数据很难获得，这是因为它们涉及高昂的采集成本和标注成本。因此需要利用有效的数据通过数据增强获得更好的效果。文章“Imagenet classification with deepconvolutional neural networks.In Advances in neural information processingsystems”中使用水平反射和颜色扰动进行图像分类。文章“Effective training of aneural network character classifier for word recognition”提出了“笔画扭曲”技术来进行单词识别，这种技术在倾斜、旋转和缩放等方面增加了微小的变化。在文章“RandomErasing Data Augmentation”中，目标检测采用随机擦除，降低了过度拟合的风险。文章“Abayesian data augmentation approach for learning deep models.In Advances inNeural Information Processing Systems”使用贝叶斯DA算法，基于从注释训练集中得到的分布来生成数据。文章“Dataset augmentation in feature space”则不是在输入空间中进行转换，而是在学习的特征空间中进行转换。以上这些公开的技术，得到的图像与真实环境并不匹配。

发明内容

本发明旨在至少解决现有技术中存在的技术问题，特别创新地提出了一种基于数据增强的目标检测方法。

为了实现本发明的上述目的，本发明提供了一种基于数据增强的目标检测方法，其包括如下步骤：

S1，获取目标原始图像，在所述原始图像上添加标注框；

S2，对步骤S1获得的原始图像进行透视变换，生成透视变换图像；

S3，进行标注对齐，将变换后的标注框变为可训练的矩形标注框；

S4，使用原始图像对透视变换后的图像进行黑边填充；

S5，基于Faster-RCNN检测器进行目标检测。

本发明将透视变换应用于数据增强，透视变换能够模拟不同拍摄角度下成像，提高了图像与真实环境的匹配度。

本发明针对有效样本稀缺的问题，利用透视变换对已有样本进行增强，自动生成新的高质量的标注图像，从而提高深度神经网络的效果。

在本发明的一种优选实施方式中，所述透视变换的方法为：

假设X₀、X₁分别为原始图像和透视变换后图像上的点，其齐次坐标分别为X₀＝[x₀,y₀,w₀]，X₁＝[x₁,y₁,w₁]，则透视变换表示为：

X₁＝X₀P (1)

其中，

为透视矩阵，可以拆为四个部分，

表示线性变换，[p₃₁ p₃₂]用于平移，[p₁₃ p₂₃]^T产生透视变换，X₀和X₁的笛卡尔坐标表示为X₀＝[x₀/w₀,y₀/w₀]，X₁＝[x₁/w₁,y₁/w₁]。

在本发明的另一种优选实施方式中，所述生成透视变换图像的方法为：

选取原始图像的四个顶点A,B,C,D以及输出图像中的四个随机采样点A_θ,B_θ,C_θ,D_θ来生成透视变换矩阵，即将原始图像的四个顶点透视投影到新图像中的四个采样点A_θ,B_θ,C_θ,D_θ，随机采样点

A_θ＝(x_tl,y_tl),B_θ＝(x_bl,W-y_bl),C_θ＝(H-x_br,W-y_br),D_θ＝(H-x_tr,y_tr) (2)

由透视因子θ控制，

x_tl,x_bl,x_br,x_tr∈(0,H*(λθ))，y_tl,y_bl,y_br,y_tr∈(0,W*(λθ))， (3)

其中λ为平衡参数，H,W分别表示原始图像的长和宽；

通过对应的4对点A,B,C,D、A_θ,B_θ,C_θ,D_θ，得到透视变换矩阵P，用求得的变换矩阵对原始图像中的所有像素点进行变换，从而得到新的图像；在生成的图像中，图像信息外的部分用黑色象素点填充。

本发明对于图像中较远和较小的目标(如防震锤、绝缘子等)，它们在图像中以一种近似平面的状态呈现，透视变换可以模拟出这类目标在不同拍摄角度下的形状；对于较近且较大的目标(如杆塔)，它们在图像中有着一定的立体状态，其它面的信息在该图像平面中没有呈现，所以这类目标的透视变换仅是增加了样本的多样性。

在本发明的另一种优选实施方式中，所述标注对齐的方法为：

原始图像中的矩形标注框用[x_min,y_min,x_max,y_max]表示，(x_min,y_min)，(x_max,y_max)分别表示该矩形框左上角和右下角坐标，经过透视变换得到的非矩形标注框的四个顶点坐标变为a^*＝(x₁,y₁),b^*＝(x₂,y₂),c^*＝(x₃,y₃),d^*＝(x₄,y₄)，

令

则

表示变换后标注框。

本发明可以自动生成新的标注样本，显著降低了昂贵的手动标注时间，并且可以轻松地应用于其他数据集和任务。

在本发明的另一种优选实施方式中，所述黑边填充的方法为：

假设原始图像I的大小为M×N，构造两个大小为3M×3N的图像I_M和I_B，I_M为原始图像的镜像图，以原始图像I为中心，通过将其进行水平和垂直翻转，组合构成镜像图片I_M；I_B以原始图像I为中心，四周以黑边填充，构成黑边环绕的图像I_B，此时，在图像I_B中原始图像I的四个顶点的坐标分别为：

A₁＝(N,M),B₁＝(2N,M),C₁＝(N,2M),D₁＝(2N,2M).

然后，通过同一个变换矩阵P，对I_M、I_B进行同样的透视变换得到

在

中，A₁,B₁,C₁,D₁投影后的点

坐标可以通过公式(1)透视变换得到；由公式(2)得到

定义

则A₀,B₀,C₀,D₀构成四边形

的外接矩形；

在图像

中，根据点A₀,B₀,C₀,D₀的坐标裁减出矩形，该矩形即为原图填充后的图像。进一步提高了生成样本的质量。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明一种优选实施方式中不同θ取值下的透视变换效果图，其中，图1(a)为θ取0.3时的透视变换效果图，图1(b)为θ取0.9时的透视变换效果图；

图2是标注对齐时边界框的透视变换；

图3是黑边填充方法示意图；

图4是目标检测的检测结果示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

当人眼观看场景时，距离远的物体看起来比距离近的物体小，这通常被称为透视。摄像机工作原理与人类视觉工作原理相同。透视变换是一种特定的单应性变换，是将同一个三维物体分别投影到两个不同投影平面下的两幅图像联系起来。这意味着相机在不同位置和角度拍摄的图像可以通过透视变换来实现。

假设X₀、X₁分别为原始图像和透视变换后图像上的点，其齐次坐标分别为X₀＝[x₀,y₀,w₀]，X₁＝[x₁,y₁,w₁]，则透视变换可以简单表示为：

X₁＝X₀P (1)，

其中

为透视矩阵，可以拆为四个部分，

表示线性变换，如缩放、翻转，[p₃₁ p₃₂]用于平移，[p₁₃ p₂₃]^T产生透视变换。X₀和X₁的笛卡尔坐标可以表示为X₀＝[x₀/w₀,y₀/w₀]，X₁＝[x₁/w₁,y₁/w₁]，具体透视矩阵内元素的取值可根据现有的透视矩阵求解方法获取。

由上可知，透视变换矩阵可以通过使用对应于透视变换的四对像素点齐次坐标来求得；另一方面，给定透视变换矩阵，可以完成图像中所有象素点的透视变换。

基于此，本发明提供了一种基于数据增强的目标检测方法，以下以输电线路为目标进行说明，其包括如下步骤：

S1，获取输电线路原始图像，在所述原始图像上添加标注框,在本实施方式中，输电线路原始图像通过无人机拍摄得到，使用标注软件LabeI Image手工标注13个类别：1)传输线目标：杆塔，导线，陶瓷绝缘子，玻璃绝缘子，复合绝缘子，FX绝缘子，DB绝缘子，FDZ绝缘子，FR绝缘子；2)外破场景：建筑，房屋，卡车，小汽车。

S2，对步骤S1获得的原始图像进行透视变换，生成透视变换图像；

S3，进行标注对齐，将变换后的标注框变为可训练的矩形标注框；

S4，使用原始图像对透视变换后的图像进行黑边填充；

S5，进行输电线路目标检测。

在本发明的一种优选实施方式中，具体步骤为

第一步，生成透视变换图像。

在数据增强中，要通过透视变换生成和原图大小相同的新图像。首先，选取原始图像的四个顶点A,B,C,D以及输出图像中的四个随机采样点A_θ,B_θ,C_θ,D_θ来生成透视变换矩阵，即将原始图像的四个顶点透视投影到新图像中的四个采样点A_θ,B_θ,C_θ,D_θ。随机采样点A_θ＝(x_tl,y_tl),B_θ＝(x_bl,W-y_bl),C_θ＝(H-x_br,W-y_br),D_θ＝(H-x_tr,y_tr)由透视因子θ控制，x_tl,x_bl,x_br,x_tr∈(0,H*(λθ))，y_tl,y_bl,y_br,y_tr∈(0,W*(λθ))，其中λ为平衡参数，通常选取λ＝0.3，H,W分别表示原始图像的长和宽。

在生成新的样本过程中，通过对应的4对点A,B,C,D、A_θ,B_θ,C_θ,D_θ，通过等式(1)得到透视变换矩阵P，之后用求得的变换矩阵便可对原始图像中的所有像素点进行变换，从而得到新的图像，如图1所示。在生成的图像中，图像信息外的部分用黑色象素点填充。

透视变换中，透视因子θ影响透视效果。不同的透视因子θ会产生不同的透视变换效果，图1表示了不同θ取值下的透视变换效果。可以看出，θ值越大，透视效果越明显。当透视因子θ值相同时，由于公式(3)中的整数是随机选取的，故也会产生不同的透视变换，如图1(a)中的上、下两个透视变换效果图所示。

透视变换是对平面的变换，对于图像中较远和较小的目标(如防震锤、绝缘子等)，它们在图像中以一种近似平面的状态呈现，因此透视变换可以模拟出这类目标在不同拍摄角度下的形状；对于较近且较大的目标(如杆塔)，它们在图像中有着一定的立体状态，其它面的信息在该图像平面中没有呈现，所以这类目标的透视变换仅是增加了样本的多样性。

第二步，标注对齐。

透视变换能够生成目标处于不同状态的新图像，但是，其用于数据增强存在一个问题。透视变换后，原始图像中的矩形标注框(如图中A所示)会被变换为任意四边形，如图中B所示，但深度神经网络无法训练非矩形标注框。因此，需要处理变换后的标注框，使其变为可训练的矩形标注框。

通常情况下，图像中的矩形标注框用[x_min,y_min,x_max,y_max]表示，(x_min,y_min)，(x_max,y_max)分别表示该矩形框左上角和右下角坐标。假设通过公式(1)得到的非矩形标注框的四个顶点坐标变为a^*＝(x₁,y₁),b^*＝(x₂,y₂),c^*＝(x₃,y₃),d^*＝(x₄,y₄)，

令

则

即可表示变换后标注框，如图中C所示。得到的矩形标注框可以超出实际图像的边界。第三步，填充黑边。

通过透视变换及标注对齐，已经能够自动生成新的标注图像。但是图像在透视变换后存在黑色边缘，为了进一步提高生成样本的质量，将使用原始图像对透视变换后的图像进行黑边填充。

假设原始图像I的大小为M×N。首先我们构造两个大小为3M×3N的图像I_M和I_B。I_M为原始图像的镜像图，以原始图像I为中心，通过将其进行水平和垂直翻转，组合构成镜像图片I_M；I_B同样以原始图像I为中心，四周以黑边填充，构成黑边环绕的图像I_B。此时，在图像I_B中原始图像I的四个顶点的坐标分别为：

A₁＝(N,M),B₁＝(2N,M),C₁＝(N,2M),D₁＝(2N,2M).

然后，通过同一个变换矩阵P，对I_M、I_B进行同样的透视变换得到

在

中，A₁,B₁,C₁,D₁投影后的点

坐标可以通过公式(1)得到。然后由公式(2)，能够找出

定义

则A₀,B₀,C₀,D₀构成四边形

的外接矩形。

最后，在图像

中，根据点A₀,B₀,C₀,D₀的坐标裁减出矩形，该矩形即为原图填充后的图像。填充黑边过程如图3所示。

第四步，目标检测。本发明基于Faster-RCNN检测器进行输电线路目标检测，Faster RCNN兼顾了检测精度和效率，综合性能最优。

经过上述步骤，通过透视变换已经自动生成新的标注图像，然后基于Faster-RCNN检测器进行输电线路目标检测。该模型由ImageNet分类模型初始化，然后在增强的输电线路数据集上进行微调。使用VGG16架构并训练100K次。得到的检测结果如图4所示。

本发明针对有效样本稀缺的问题，利用透视变换对已有样本进行增强，自动生成新的高质量的标注图像，从而提高深度神经网络的效果。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (4)

1.一种基于数据增强的目标检测方法，其特征在于，包括如下步骤：

S1，获取目标原始图像，在所述原始图像上添加标注框；

S2，对步骤S1获得的原始图像进行透视变换，生成透视变换图像；

S3，进行标注对齐，将变换后的标注框变为可训练的矩形标注框；

S4，使用原始图像对透视变换后的图像进行黑边填充,所述黑边填充的方法为：

假设原始图像I的大小为M×N，构造两个大小为3M×3N的图像I₀和I₁，I₀为原始图像的镜像图，以原始图像I为中心，通过将其进行水平和垂直翻转，组合构成镜像图片I₀；I₁以原始图像I为中心，四周以黑边填充，构成黑边环绕的图像I₁，此时，在图像I₁中原始图像I的四个顶点的坐标分别为：

A₁＝(N,M),B₁＝(2N,M),C₁＝(N,2M),D₁＝(2N,2M).

然后，通过同一个变换矩阵P，对I₀、I₁进行同样的透视变换得到

在

中，A₁,B₁,C₁,D₁投影后的点

坐标可以通过透视变换得到；经过标注对齐，得到

定义

则A₀,B₀,C₀,D₀构成四边形

的外接矩形，(x_min,y_min)，(x_max,y_max)分别表示该矩形框左上角和右下角坐标；

在图像I₀中，根据点A₀,B₀,C₀,D₀的坐标裁减出矩形，该矩形即为原图填充后的图像；

S5，进行目标检测。

2.根据权利要求1所述的基于数据增强的目标检测方法，其特征在于，所述透视变换的方法为：

假设X₀、X₁分别为原始图像和透视变换后图像上的点，其齐次坐标分别为X₀＝[x₀,y₀,w₀]，X₁＝[x₁,y₁,w₁]，则透视变换表示为：

X₁＝X₀P (1)

其中，

为透视矩阵，可以拆为四个部分，

表示线性变换，[p₃₁ p₃₂]用于平移，[p₁₃ p₂₃]^T产生透视变换，X₀和X₁的笛卡尔坐标表示为X₀＝[x₀/w₀,y₀/w₀]，X₁＝[x₁/w₁,y₁/w₁]，w₀、w₁表示坐标轴的远近参数。

3.根据权利要求1所述的基于数据增强的目标检测方法，其特征在于，所述生成透视变换图像的方法为：

选取原始图像的四个顶点A,B,C,D以及输出图像中的四个随机采样点A_θ,B_θ,C_θ,D_θ来生成透视变换矩阵，即将原始图像的四个顶点透视投影到新图像中的四个采样点A_θ,B_θ,C_θ,D_θ，随机采样点A_θ＝(x_tl,y_tl),B_θ＝(x_bl,W-y_bl),C_θ＝(H-x_br,W-y_br),D_θ＝(H-x_tr,y_tr)由透视因子θ控制，x_tl,x_bl,x_br,x_tr∈(0,H*(λθ))，y_tl,y_bl,y_br,y_tr∈(0,W*(λθ))，其中λ为平衡参数，H,W分别表示原始图像的长和宽；

通过对应的4对点A,B,C,D、A_θ,B_θ,C_θ,D_θ，得到透视变换矩阵P，用求得的变换矩阵对原始图像中的所有像素点进行变换，从而得到新的图像；在生成的图像中，图像信息外的部分用黑色象素点填充。

4.根据权利要求1所述的基于数据增强的目标检测方法，其特征在于，所述标注对齐的方法为：

原始图像中的矩形标注框用[x_min,y_min,x_max,y_max]表示，(x_min,y_min)，(x_max,y_max)分别表示该矩形框左上角和右下角坐标，经过透视变换得到的非矩形标注框的四个顶点坐标变为a^*＝(x₁,y₁),b^*＝(x₂,y₂),c^*＝(x₃,y₃),d^*＝(x₄,y₄)，

令

则

表示变换后标注框。

Images