CN107273937A - 一种视频及图像中目标任意角度标记方法 - Google Patents

Abstract

本发明公开一种视频及图像中目标任意角度标记方法，用于提高算法的识别率，包括：加载至少一张图片；选择一张图片，在图像中标记目标突出点；根据输入点集，利用函数寻找给定点集的最小面积的包围矩形最小外接矩形，或者根据实际需要直接标记出多边形；在目标跟踪标记模式下允许给标记框加上ID，可以用于训练跟踪算法在不同帧识别同一个的目标；标记结果显示在图片相应位置，人工确认目标被正确标记后可选择是否删除标记框、添加或删除其中的标记点，重新生成标记框，再次供用户确认；确认无误后用选择后决定是否在这张图片上继续标记其他目标，标记完所有目标后手动结束标记。

Description

一种视频及图像中目标任意角度标记方法

技术领域

本发明属于计算机图像中目标检测识别领域，尤其涉及一种视频及图像中目标任意角度标记方法，用于提高算法的识别率。

背景技术

在视频目标跟踪及图像目标检测识别领域中，用于训练的正样本的标注准确性，对训练模型的精度起着重要作用。高精度的训练模型能够让算法更准确地检测和识别图像中的目标位置、形状、类别等特征。用于训练的正样本，通常根据所要完成的任务设计样本标注方式。

传统的目标检测和识别算法是用平行或垂直于图像XY轴的矩形框标记图像中的目标，对于在地面拍摄的视频或图像，目标往往平行或垂直于地面，用平行或垂直于图像XY轴的矩形框标记可以较为接近物体轮廓。然而，当目标在空中运动或在空中动态采集的视频或图像，其中的目标在图像中往往是任意角度的，传统的平行或垂直于图像XY轴的角度固定的矩形标注框必然包含较多实际上并不是目标而是目标周围背景的部分，这样的标注样本用于训练会降低算法效率甚至影响检测和识别的速度和准确率。因此本发明旨在根据目标在图像中的位置，设计任意角度目标标记工具，使得图像标记能尽可能贴近目标的真实形状，减少标记区域的无关背景面积，提高训练的效率和准确率，进而提高检测和识别的速度和准确率。

发明内容

本发明目的在于提供一种用于图像检测和识别中用于训练目标内容的标记方法。

本发明的特征在于标记方法与传统的方法的不同，有三种标记算法及每个目标身份编号方式：

1、任取3个及以上点，求包围正样本目标的任意角度(但不垂直于xy轴)最小外接矩形；

2、任取3个及以上点，求平行于XY轴的最小外接矩，而传统方法是通过拖拽形成的矩形框；

3、取任意点数，贴近于目标形状，连接每个点形成贴近目标形状的封闭编辑框；

4、对于用于视频目标跟踪的每一个目标，可以手工对目标编号，以便验证算法的跟踪性能。

本发明意在创新图像标记方式，使得图像标记能尽可能贴近目标的真实形状，减少标记区域的无关背景面积，提高训练的效率和准确率，进而提高检测和识别的速度和准确率。具体方式是根据一个多边形的外接矩形至少存在一条边与原多边形重合定理，利用数学函数通过建立凸外形并且旋转外形以寻找给定点集的最小面积的包围矩形最小外接矩形。至少标记三个目标的边缘点，算法就能求出最小包围面积的外接矩形，所以可以根据实际情况，将目标最突出的点标记后，算法函数会自动求出最小包围面积的外接矩形。这样的方法与传统方法相比更加灵活和高效，矩形角度不再固定，标记的矩形框更好的贴近真实的目标形状，尽可能减少了无关部分的面积。

为实现上述目的，本发明采用如下的技术方案：

一种视频及图像中目标任意角度标记方法，包括以下步骤：

步骤(1)、加载一张或多张图片；

步骤(2)、选择一张图片，在图像中标记目标突出点，更具实际情况至少标记三个点；

步骤(3)、根据输入点集，利用函数寻找点集的最小包围面积的外接矩形，或者根据实际需要直接标记出多边形；最小外接矩形函数计算并返回指定点集的最小区域边界矩形，输出是矩形的四个点坐标；

步骤(4)、可选择给标记框加上ID，可以用于训练跟踪算法在不同帧识别同一个的目标；

步骤(5)、人工确认目标被正确标记后可选择是否删除标记框，添加或删除其中的标记点重新执行步骤(3)(4)，生成标记框供用户确认；

步骤(6)、用户确认后决定是否在这张图片上继续标记其他目标；

步骤(7)、标记完所有目标后手动结束标记，软件自动生成用于训练的txt和xml文件；

步骤(8)、用户决定是否标记剩余图片，或者重新执行步骤(1)。

作为优选，步骤(3)中利用最小外接矩形函数，输入标记点，根据点集求出标记目标的最小外接矩形具体如下：

在初始xy坐标系中建立点集P＝{(x₁,y₁),(x₂,y₂),…,(x_n,y_n)|n≥3}，同时生成标志集合B＝{b₁,b₂,…,b_n}，生成端点集合E＝{p₁,p₂,p₃,p₄,d}以及已旋转角度D，且初始值为0，s点集个数大于等于3且没有上限，

根据一个多边形的外接矩形至少存在一条边与原多边形重合定理求最小外接矩形矩形，取点集中x和y的最小值为轴心H，找出在初始坐标系中y值最小的点，如果有若干点y值同为最小，取其中x值最大的点，并将标志b_i值设1，由此点做平行于x轴的直线，接着逆时针旋转角度，直至射线碰到其余点中的一个为止，并且此时与多边形的一条边重合时，记录逆时针旋转角度θ，已旋转角度值D更新为D加上θ的和，根据θ角和轴心H旋转变换坐标系。根据新坐标系转换原有标记集合中的坐标，存入标记集合，

根据坐标系变换公式：

x′＝xcosα+ysinα

y′＝ycosα-xsinα

x′和y′为坐标变换后的坐标值，α是逆时针旋转角度θ，将每个点变换后的值存入标记集合，

接下来我们开始求最小外接矩形，此时直线上的这两个点，在新坐标系中y值最小，所以只需要找出变换坐标系后，标记集合中x′值最大、y′值最小的点以及y′值最大的点再与已经确定的这条边即可构建一个外接矩形，做出包含所有标记点的最小包围面积外接矩形并记算面积大小，记为S，并且记录矩形四个端点，将四个端点和已旋转角度值D存入端点集合E，

随后从x′值同为最小的点中选择y′值最大的点，继续重复以上求外接矩形操作；如果面积小于之前的面积则更新面积值和端点值，否则跳过更新面积和端点值，继续执行，直到射线碰到的这一点在对应的标志集合里的值为1，

接着根据端点集合E里的四个点坐标p₁，p₂，p₃，p₄和旋转角度d反向求出在初始坐标系下包含所有标记点的最小包围面积外接矩形的端点值，应为最后直线旋转碰到标志值为1的点时，已旋转角度一定是小于等于2π的，所以有：

和为端点在初始坐标系下的外接矩形端点坐标值，和为端点集合里端点在当前坐标系的坐标值。

附图说明

图1为视频及图像中目标任意角度标记方法的流程图；

图2为对于求多边形的外接矩形的流程示意图；

图3是坐标系转换示意图；

图4是第一次转换坐标系后求第一个外接矩形示意图；

图5是第二次转换坐标系后求第二个外接矩形示意图。

具体实施方式

如图1所示，本发明提供一种视频及图像中目标任意角度标记方法，具体为：加载一张或多张图片，选择一张图片，在图像中标记目标突出点，更具实际情况至少标记三个点。根据输入点集，利用函数寻找给定点集的最小面积的包围矩形最小外接矩形，或者根据实际需要直接标记出多边形。选择最小外接矩形模式的由最小外接矩形函数计算并返回指定点集的最小区域边界矩形，输出是矩形的四个点坐标；在目标跟踪标记模式下允许给标记框加上ID，可以用于训练跟踪算法在不同帧识别同一个的目标。标记结果显示在图片相应位置，人工确认目标被正确标记后可选择是否删除标记框、添加或删除其中的标记点，重新生成标记框，再次供用户确认。确认无误后用选择后决定是否在这张图片上继续标记其他目标，标记完所有目标后手动结束标记，软件自动生成用于训练的txt和xml文件。最后由用户决定是否标记已加载的剩余图片，或者加载新的图片，再或者结束标记。

如图2所示，首先加载需要用于训练的图片，选择标记模式，分标记多边形框和标记生成外接矩形框。接着选择目标用途，目标跟踪或者目标检测识别，选择用于目标跟踪标记框生成后需要输入目标ID。

之后人工标记第一个目标外凸的点，不应少于三个点，如果应用于目标跟踪还需要输入目标ID。

利用最小外接矩形函数，输入标记点，根据点集求出标记目标的最小外接矩形具体过程如下：在初始xy坐标系中建立点集P＝{(x₁,y₁),(x₂,y₂),…,(x_n,y_n)|n≥3}，同时生成标志集合B＝{b₁,b₂,…,b_n}，生成端点集合E＝{p₁,p₂,p₃,p₄,d}以及已旋转角度D，且初始值为0，s点集个数大于等于3且没有上限。

求最小外接矩形的原理是根据一个多边形的外接矩形至少存在一条边与原多边形重合定理，因为人工标记目标外凸的点，所以点集连线应该一个凸多边形，外接矩形的一条边一定是多边形的一条边重合，所以只需要根据多边形每一条边各生成一个外接矩形，之后比较这些矩形的面积即可取最小面积的那个外接矩形为最小外接矩形。

首先在初始坐标系中，取点集中x和y的最小值为轴心H，，找y值最小的点，如果有若干点y值同为最小，取其中x值最大的点，并将标志b_i值设1，由此点做平行于x轴的直线，接着逆时针旋转角度，直至射线碰到其余点中的一个为止，并且此时与多边形的一条边重合时，记录逆时针旋转角度θ，已旋转角度值D更新为D加上θ的和，根据θ角和轴心H旋转变换坐标系。根据新坐标系转换原有标记集合中的坐标，存入标记集合。

根据坐标系变换公式：

x′＝xcosα+ysinα

y′＝ycosα-xsinα

x′和y′为坐标变换后的坐标值，α是逆时针旋转角度θ，坐标变换原理如图3所示。

接下来我们开始求最小外接矩形，图4说明了在初始坐标系下转换坐标系，求第一个外接矩形的过程。

此时直线上的这两个点，在新坐标系中y值最小，所以只需要找出变换坐标系后，标记集合中x′值最大、y′值最小的点以及y′值最大的点再与已经确定的这条边即可构建一个外接矩形，做出包含所有标记点的最小包围面积外接矩形并记算面积大小，记为S，并且记录矩形四个端点，将四个端点和已旋转角度值D存入端点集合E。

随后从x′值同为最小的点中选择y′值最大的点，继续重复以上求外接矩形操作如图5所示，图5展示了在第二次变换坐标系后求第二个外界矩形的示意图，之后会继续转换坐标系求下一个外接矩形，原理相同。如果接下来生成的外接矩形的面积小于之前外接矩形的面积则更新面积值和端点值，否则跳过更新面积和端点值，继续执行，直到射线碰到的这一点在对应的标志集合里的值为1时结束整个操作。

接着根据端点集合E里的四个点坐标p₁，p₂，p₃，p₄和旋转角度d反向求出在初始坐标系下包含所有标记点的最小包围面积外接矩形的端点值(以及目标的ID)。应为最后直线旋转碰到标志值为1的点时，已旋转角度一定是小于等于2π的，所以有：

和为端点在初始坐标系下的外接矩形端点坐标值，α为逆时针旋转角度θ，坐标系转换原理如图3所示，和为端点集合里端点在当前坐标系的坐标值。

输出矩形框在显示在屏幕中图片的相应位置上，人工检查标记是否包含了目标的实际形状，如未能正确标记可以删除标记框，并且添加或删除标任意记点，重新运行以上操作生成标记矩形框。

确认标记无误后(如果用于目标跟踪用途，需要输入目标ID)开始标记这张图片里的下一个目标直至手动结束此张图片的标记，最后生成关于这张图片的用于训练的txt和xml文件。接着用户可以选择继续标记剩余图片或是添加图片。

Claims (2)

1.一种视频及图像中目标任意角度标记方法，其特征在于，包括以下步骤：

步骤(1)、加载至少一张图片；

步骤(2)、选择一张图片，在图像中标记目标突出点；

步骤(3)、根据输入点集，利用函数寻找给定点集的最小面积的包围矩形最小外接矩形，或者根据实际需要直接标记出多边形；最小外接矩形函数计算并返回指定点集的最小区域边界矩形，输出是矩形的四个点坐标；

步骤(4)、选择给标记框加上ID，可以用于训练跟踪算法在不同帧识别同一个的目标；

步骤(5)、人工确认目标被正确标记后可选择是否删除标记框，添加或删除其中的标记点重新执行步骤(3)(4)，生成标记框供用户确认；

步骤(6)、用户确认后决定是否在这张图片上继续标记其他目标；

步骤(7)、标记完所有目标后手动结束标记，软件自动生成用于训练的txt和xml文件；

步骤(8)、用户决定是否标记剩余图片，或者重新执行步骤(1)。

2.如权利要求1所述的视频及图像中目标任意角度标记方法，其特征在于，步骤(3)中利用最小外接矩形函数，输入标记点，根据点集求出标记目标的最小外接矩形具体如下：

在初始xy坐标系中建立点集P＝{(x₁,y₁),(x₂,y₂),…,(x_n,y_n)|n≥3}，同时生成标志集合B＝{b₁,b₂,…,b_n}，生成端点集合E＝{p₁,p₂,p₃,p₄,d}以及已旋转角度D，且初始值为0，s点集个数大于等于3且没有上限，

根据一个多边形的外接矩形至少存在一条边与原多边形重合定理求最小外接矩形矩形，取点集中x和y的最小值为轴心H，找出在初始坐标系中y值最小的点，如果有若干点y值同为最小，取其中x值最大的点，并将标志b_i值设1，由此点做平行于x轴的直线，接着逆时针旋转角度，直至射线碰到其余点中的一个为止，并且此时与多边形的一条边重合时，记录逆时针旋转角度θ，已旋转角度值D更新为D加上θ的和，根据θ角和轴心H旋转变换坐标系。根据新坐标系转换原有标记集合中的坐标，存入标记集合，

根据坐标系变换公式：

x′＝x cosα+y sinα

y′＝y cosα-x sinα

x′和y′为坐标变换后的坐标值，α是逆时针旋转角度θ，将每个点变换后的值存入标记集合，

接下来我们开始求最小外接矩形，此时直线上的这两个点，在新坐标系中y值最小，所以只需要找出变换坐标系后，标记集合中x′值最大、y′值最小的点以及y′值最大的点再与已经确定的这条边即可构建一个外接矩形，做出包含所有标记点的最小包围面积外接矩形并记算面积大小，记为S，并且记录矩形四个端点，将四个端点和已旋转角度值D存入端点集合E，

随后从x′值同为最小的点中选择y′值最大的点，继续重复以上求外接矩形操作；如果面积小于之前的面积则更新面积值和端点值，否则跳过更新面积和端点值，继续执行，直到射线碰到的这一点在对应的标志集合里的值为1，

接着根据端点集合E里的四个点坐标p₁，p₂，p₃，p₄和旋转角度d反向求出在初始坐标系下包含所有标记点的最小包围面积外接矩形的端点值，应为最后直线旋转碰到标志值为1的点时，已旋转角度一定是小于等于2π的，所以有：

<mrow> <msub> <mi>x</mi> <msubsup> <mi>p</mi> <mi>i</mi> <mo>&amp;prime;</mo> </msubsup> </msub> <mo>=</mo> <msub> <mi>x</mi> <msub> <mi>p</mi> <mi>i</mi> </msub> </msub> <mi>cos</mi> <mrow> <mo>(</mo> <mn>2</mn> <mi>&amp;pi;</mi> <mo>-</mo> <mi>&amp;alpha;</mi> <mo>)</mo> </mrow> <mo>+</mo> <msub> <mi>y</mi> <msub> <mi>p</mi> <mi>i</mi> </msub> </msub> <mi>sin</mi> <mrow> <mo>(</mo> <mn>2</mn> <mi>&amp;pi;</mi> <mo>-</mo> <mi>&amp;alpha;</mi> <mo>)</mo> </mrow> </mrow>

<mrow> <msub> <mi>y</mi> <msubsup> <mi>p</mi> <mi>i</mi> <mo>&amp;prime;</mo> </msubsup> </msub> <mo>=</mo> <msub> <mi>y</mi> <msub> <mi>p</mi> <mi>i</mi> </msub> </msub> <mi>cos</mi> <mrow> <mo>(</mo> <mn>2</mn> <mi>&amp;pi;</mi> <mo>-</mo> <mi>&amp;alpha;</mi> <mo>)</mo> </mrow> <mo>+</mo> <msub> <mi>x</mi> <msub> <mi>p</mi> <mi>i</mi> </msub> </msub> <mi>sin</mi> <mrow> <mo>(</mo> <mn>2</mn> <mi>&amp;pi;</mi> <mo>-</mo> <mi>&amp;alpha;</mi> <mo>)</mo> </mrow> </mrow>

和为端点在初始坐标系下的外接矩形端点坐标值，和为端点集合里端点在当前坐标系的坐标值。