CN112926566A - 一种基于网页验证码的图像标注方法 - Google Patents

Abstract

本发明公开了一种基于网页验证码的图像标注方法，该方法依托于网页验证登录，通过用户登录对数据集进行标注。该方法在仅用对图像进行少量的标注，通过该方法可获得详细的标注信息。不仅能够获得目标的大小，同时也能获得目标做图像的坐标。本发明的图像标注方法在标注坐标计算中引入权重系数k_i且限制∑k_i＝1，可以有效抑制远离实际标注点的坐标，使得标注信息更加准确。

Description

一种基于网页验证码的图像标注方法

技术领域：

本发明属于图像处理领域，具体设计一种基于网页验证码的图像标注方法。

背景技术：

当前人工智能领域往往需要特别是目标检测领域往往需要大量带有标注的数据集，当前对数据集特别是较为冷门研究方向的标注主要依赖于科研人员进行标注，这很大程度上对科研进度产生很大影响。而目前各大网站为防止机器人恶意登录而造成的网站拥堵，纷纷推出各种人机验证方法，当前主流的方式还是利用图片验证码区分登录者是否为机器人。

常见的图像标注工作往往依赖于人工标注，有些公司利用其人机交互验证码对其进行标注，减少了人工开销，但仍存在些许不足。

当前利用验证码对数据集进行标记的解决方案有Google的人机验证方法，其将待标记图像划分为9块区域，用户需标注出含有目标物的区域。这种方法虽然较为简单，但其标注误差往往会很大，同时无法有效的区分出同一图像中不同的目标。使用标记框对目标进行标记，虽然能够很好的标记出目标物的位置跟大小，但往往需要大量的重复劳动，这将极大浪费研究者的工作时间。而一个网页往往会有大量的用户进行访问和登录，相较于将图像划分为多个区域进行标注，利用方形框对目标进行标注花费的时间并不比选取含有目标物的区域这种方法多多少，但其却能准确标注出目标物的位置和大小。

发明内容：

为解决现有技术中存在问题，本发明利用用户在登录网站时需要的人机验证方法，提出一种基于网页验证码的图像标注方法,其技术方案如下：

一种基于网页验证码的图像标注方法，该方法包括：

1)获取待标注的的图像集R中每一图像中目标数，再将待标注的图像集R划分为数据集R₁和数据集R₂，标注出数据集R₁中各图像上的目标，该标注方法为通过左上角坐标和右下角坐标构建矩形框标注图像上的目标，每一个矩形框标注一个目标；数据集R₁中的每一张图像对应形成一个矩形框数组

其中，

分别为第l个目标的左上角横坐标和左上角纵坐标；

k为数据集R₁中的图像序号；

分别为第l个目标的右下角横坐标和右下角纵坐标；

n_k为数据集R₁中第k张图像上目标总数；

2)从数据集R₁和数据集R₂中分别随机抽取一张图像作为网页验证码，对用户进行人机验证，用户通过矩形框分别标注出抽取的两张图像上的目标，之后对应返回两个多维数组

以及

其中，

分别为从数据集R₁抽取图像第l个目标的左上角横坐标和左上角纵坐标；

分别为从数据集R₁抽取图像第l个目标的右下角横坐标和右下角纵坐标；

Xl_i,Yl_i分别为从数据集R₂抽取图像第i个目标的左上角横坐标和左上角纵坐标；

Xr_i,Yr_i分别为从数据集R₂抽取图像第i个目标的右下角横坐标和右下角纵坐标；

3)分别计算数组

所包含的每一个矩形框与相同图像在步骤1)中形成的矩形框数组

中对应矩形框的交并比IOU，若IOU＞0.8的数量为n_k时，该用户通过人机验证，同时将该用户返回的数组C₂＝[Xl_i,Yl_i,Xr_i,Yr_i]，i∈[1,m]记录至数据库中，并记步骤2)中从数据集R₂抽取的图像的被标注次数加1；

4)当数据集R₂中任意一张图像的被标注次数大于阈值T₁时，对其进行如下聚类处理：

设该被标注次数大于阈值T₁的图像对应的矩形框数组B＝[xl_i,yl_i,xr_i,yr_i],i的取值范围是1～m；其中，xl_i,yl_i分别为该图像第i个目标的左上角横坐标和左上角纵坐标；xr_i,yr_i分别为该图像第i个目标的右下角横坐标和右下角纵坐标；i为图像中目标序号；

再计算各个矩形框的中心坐标

i的取值范围是1～m；

5)基于该图像目标数量j,则聚类数为j，随机生成j个聚类质心(μ₁,μ₂,…,μ_j)，分别计算各个矩形框中心坐标b_i到聚类质心μ₁,μ₂,…,μ_j的距离

P_j为中心坐标b_i与j个类中距离最小的那个类，即b_i∈P_j，则得到各个类所含有的矩形框中心坐标；

6)重新计算各个类的聚类质心μ₁,μ₂,…,μ_j，即计算P_j各个类中矩形框中心坐标的平均值返回步骤5，直至聚类质心坐标变化率小于阈值T₂时，进入步骤7)

7)聚类结束，得到P_j各个组别中所包含的矩形框；

8)分别根据每一组别中左上角和右下角坐标的分布密度，设置该组别对应的左上角和右下角坐标的权重系数，并根据权重系数k_i且∑k_i＝1，求出该组别对应左上角和右下角坐标，作为该组别对应最终标注坐标(x,y)＝k_i(x_i,y_i)；

9)通过上述方法，得到各个组别[P₁,P₂,…,P_n]标注框的左上角坐标和右下角坐标[XL_n,YL_n,XR_n,YR_n]，同时将该图像加入到数据集R₁中用于人机验证。

优选地，所述数据集R₁和数据集R₂中图像数目比例为1:9。

优选地，步骤1)中所述标注采用人工标注。

优选地，步骤3)所述数据集R₂抽取的图像的被标注次数初值取0。

优选地，步骤4)中所述阈值T₁取[100,150]中整数。

优选地，步骤6)中所述阈值T₂的取值范围是0～20。

本发明相比于现有技术具有如下有益效果

本发明依托于网页验证登录，通过用户登录对数据集进行标注。相对于其他方法，本方法在仅用对图像进行少量的标注，通过本方法后即可获得详细的标注信息。不仅能够获得目标的大小，同时也能获得目标做图像的坐标。

本发明在标注坐标计算中引入权重系数k_i且限制∑k_i＝1，可以有效抑制远离实际标注点的坐标，使得标注信息更加准确。

附图说明：

图1为本发明的整体框架图；

图2为IOU的计算示意图；

图3为用户标注矩形框B示意图。

具体实施方式：

下面结合具体实施例及对应附图对本发明作进一步说明。

实施例一

本实施例的一种基于网页验证码的图像标注方法，如图1～图3所示，该方法包括：

1)获取待标注的的图像集R中每一图像中目标数，再将待标注的图像集R按图像数目1：9的比例划分为数据集R₁和数据集R₂，再人工标注出数据集R₁中各图像上的目标，该标注方法为通过左上角坐标和右下角坐标构建矩形框标注图像上的目标，每一个矩形框标注一个目标；数据集R₁中的每一张图像对应形成一个矩形框数组

l∈[1,n_k]；

其中，

分别为第l个目标的左上角横坐标和左上角纵坐标；

k为数据集R₁中的图像序号；

分别为第l个目标的右下角横坐标和右下角纵坐标；

l为图像中目标序号，n_k为数据集R₁中第k张图像上目标总数；

2)从数据集R₁和数据集R₂中分别随机抽取一张图像作为网页验证码，对用户进行人机验证，用户通过矩形框分别标注出抽取的两张图像上的目标，之后对应返回两个多维数组

以及

其中，

分别为从数据集R₁抽取图像第l个目标的左上角横坐标和左上角纵坐标；

分别为从数据集R₁抽取图像第l个目标的右下角横坐标和右下角纵坐标；

Xl_i,Yl_i分别为从数据集R₂抽取图像第i个目标的左上角横坐标和左上角纵坐标；

Xr_i,Yr_i分别为从数据集R₂抽取图像第i个目标的右下角横坐标和右下角纵坐标；

l为从数据集R₁抽取图像中目标序号，g为从数据集R₁抽取图像对应的用户标注框的总数；

i为从数据集R₂抽取图像中目标序号，m为从数据集R₂抽取图像对应的用户标注框的总数；

3)分别计算数组

所包含的每一个矩形框与相同图像在步骤1)中形成的矩形框数组

中对应矩形框的交并比IOU，若IOU＞0.8的数量为n_k时，该用户通过人机验证，同时将该用户返回的数组C₂＝[Xl_i,Yl_i,Xr_i,Yr_i]，i∈[1,m]记录至数据库中，并记步骤2)中从数据集R₂抽取的图像的被标注次数加1；数据集R₂抽取的图像的被标注次数初值取0。

4)当数据集R₂中任意一张图像的被标注次数大于阈值T₁时，进行标注框分类，对其进行聚类处理，阈值T₁取[100,150]中整数；该聚类处理过程如下：

设该被标注次数大于阈值T₁的图像对应的矩形框数组B＝[xl_i,yl_i,xr_i,yr_i],i的取值范围是1～m；其中，xl_i,yl_i分别为该图像第i个目标的左上角横坐标和左上角纵坐标；xr_i,yr_i分别为该图像第i个目标的右下角横坐标和右下角纵坐标；i为图像中目标序号；

再计算各个矩形框的中心坐标

i的取值范围是1～m；

5)基于该图像目标数量j,则聚类数为j，随机生成j个聚类质心(μ₁,μ₂,…,μ_j)，分别计算各个矩形框中心坐标b_i到聚类质心(μ₁,μ₂,…,μ_j)的距离

P_j为中心坐标b_i与j个类中距离最小的那个类，即b_i∈P_j，则得到各个类所含有的矩形框中心坐标；

6)重新计算各个类的聚类质心μ₁,μ₂,…,μ_j，即计算P_j各个类中矩形框中心坐标的平均值返回步骤5，直至聚类质心坐标变化率小于阈值T₂时，进入步骤7)；阈值T₂为每次迭代后每个类前后质心的距离，T₂的取值范围是0～20。

7)聚类结束，得到P_j各个组别中所包含的矩形框；

8)在实际标注中，用户标注的位置与实际位置往往符合正态分布N(μ,σ²)，故分别根据每一组别中左上角和右下角坐标的分布密度，设置该组别对应的左上角和右下角坐标的权重系数，并根据权重系数k_i且∑k_i＝1，求出该组别对应左上角和右下角坐标，作为该组别对应最终标注坐标(x,y)＝k_i(x_i,y_i)；

9)通过上述方法，得到各个组别[P₁,P₂,…,P_n]标注框的左上角坐标和右下角坐标[XL_n,YL_n,XR_n,YR_n]，同时将该图像加入到数据集R₁中用于人机验证。

Claims (6)

1.一种基于网页验证码的图像标注方法，其特征在于：该方法包括：

1)获取待标注的的图像集R中每一图像中目标数，再将待标注的图像集R划分为数据集R₁和数据集R₂，标注出数据集R₁中各图像上的目标，该标注方法为通过左上角坐标和右下角坐标构建矩形框标注图像上的目标，每一个矩形框标注一个目标；数据集R₁中的每一张图像对应形成一个矩形框数组

其中，

分别为第l个目标的左上角横坐标和左上角纵坐标；

k为数据集R₁中的图像序号；

分别为第l个目标的右下角横坐标和右下角纵坐标；

n_k为数据集R₁中第k张图像上目标总数；

2)从数据集R₁和数据集R₂中分别随机抽取一张图像作为网页验证码，对用户进行人机验证，用户通过矩形框分别标注出抽取的两张图像上的目标，之后对应返回两个多维数组

以及C₂＝[Xl_i,Yl_i,Xr_i,Yr_i]i∈[1,m]；

其中，

分别为从数据集R₁抽取图像第l个目标的左上角横坐标和左上角纵坐标；

分别为从数据集R₁抽取图像第l个目标的右下角横坐标和右下角纵坐标；

Xl_i,Yl_i分别为从数据集R₂抽取图像第i个目标的左上角横坐标和左上角纵坐标；

Xr_i,Yr_i分别为从数据集R₂抽取图像第i个目标的右下角横坐标和右下角纵坐标；

3)分别计算数组

所包含的每一个矩形框与相同图像在步骤1)中形成的矩形框数组

中对应矩形框的交并比IOU，若IOU＞0.8的数量为n_k时，该用户通过人机验证，同时将该用户返回的数组C₂＝[Xl_i,Yl_i,Xr_i,Yr_i]，i∈[1,m]记录至数据库中，并记步骤2)中从数据集R₂抽取的图像的被标注次数加1；

4)当数据集R₂中任意一张图像的被标注次数大于阈值T₁时，对其进行如下聚类处理：

设该被标注次数大于阈值T₁的图像对应的矩形框数组B＝[xl_i,yl_i,xr_i,yr_i],i的取值范围是1～m；其中，xl_i,yl_i分别为该图像第个i目标的左上角横坐标和左上角纵坐标；xr_i,yr_i分别为该图像第i个目标的右下角横坐标和右下角纵坐标；i为图像中目标序号；

再计算各个矩形框的中心坐标

i的取值范围是1～m；

5)基于该图像目标数量j,则聚类数为j，随机生成j个聚类质心(μ₁,μ₂,…,μ_j)，分别计算各个矩形框中心坐标b_i到聚类质心μ₁,μ₂,…,μ_j的距离

P_j为中心坐标b_i与j个类中距离最小的那个类，即b_i∈P_j，则得到各个类所含有的矩形框中心坐标；

6)重新计算各个类的聚类质心μ₁,μ₂,…,μ_j，即计算P_j各个类中矩形框中心坐标的平均值返回步骤5，直至聚类质心坐标变化率小于阈值T₂时，进入步骤7)

7)聚类结束，得到P_j各个组别中所包含的矩形框；

8)分别根据每一组别中左上角和右下角坐标的分布密度，设置该组别对应的左上角和右下角坐标的权重系数，并根据权重系数k_i且∑k_i＝1，求出该组别对应左上角和右下角坐标，作为该组别对应最终标注坐标(x,y)＝k_i(x_i,y_i)；

9)通过上述方法，得到各个组别[P₁,P₂,…,P_n]标注框的左上角坐标和右下角坐标[XL_n,YL_n,XR_n,YR_n]，同时将该图像加入到数据集R₁中用于人机验证。

2.根据权利要求1所述的基于网页验证码的图像标注方法，其特征在于：所述数据集R₁和数据集R₂中图像数目比例为1:9。

3.根据权利要求1所述的基于网页验证码的图像标注方法，其特征在于：步骤1)中所述标注采用人工标注。

4.根据权利要求1所述的基于网页验证码的图像标注方法，其特征在于：步骤3)所述数据集R₂抽取的图像的被标注次数初值取0。

5.根据权利要求1-4任一所述的基于网页验证码的图像标注方法，其特征在于：步骤4)中所述阈值T₁取[100,150]中整数。

6.根据权利要求1-4任一所述的基于网页验证码的图像标注方法，其特征在于：步骤6)中所述阈值T₂的取值范围是0～20。

Images