CN117274205A - 一种基于新型数据标注与数据增强的四边形检测方法 - Google Patents

Abstract

本发明公开了一种基于新型数据标注与数据增强的四边形检测方法，涉及数据检测技术领域，包括数据搜集模块、数据标注模块、数据增强模块和模型训练模块，据搜集模块用于批量搜集大量需要进行四边形检测的图片，包括检测图片中待检测物体不完整的图片，得到四边形待测数据库，数据标准模块用于对于不完全处于图片范围内的待检测物体，根据物体在图片内已有的点位信息推测出图片范围之外的其他点的位置。本发明一种基于新型数据标注与数据增强的四边形检测方法，使得四边形检测框更加准确且更加符合实际待检测物体的形状规则，符合实际物体的形状，使得四边形的检测结果更加符合实际物体的形状，增加四边形检测的精确性。

Description

一种基于新型数据标注与数据增强的四边形检测方法

技术领域

本发明涉及数据检测技术领域，特别涉及一种基于新型数据标注与数据增强的四边形检测方法。

背景技术

四边形是在同一平面上由四条直线所围成的几何图形，由不在同一直线上的四条线段依次首尾相接围成的封闭的平面图形或立体图形叫四边形，由凸四边形和凹四边形组成，顺次连接任意四边形上的中点所得四边形叫中点四边形，中点四边形都是平行四边形，菱形的中点四边形是矩形，矩形中点四边形是菱形，等腰梯形的中点四边形是菱形，正方形中点四边形就是正方形。

现有的四边形检测方法主要存在以下两个问题：1、标注过程中，遇到拍照物体部分超出图片范围，四边形的四点将会以截断方式进行标注，不符合实际物体的形状；2、训练过程中，对四边形标注与图片进行透视变化时，四边形超出图片范围的部分也进行截断或者超出范围的点不进行模型训练，不符合实际物体的形状；由于以上问题，导致模型训练效果有待提高。

因此，现提出一种基于新型数据标注与数据增强的四边形检测方法解决上述问题。

发明内容

本发明的主要目的在于提供一种基于新型数据标注与数据增强的四边形检测方法，以解决上述背景中提出的问题。

为实现上述目的，本发明采取的技术方案为：一种基于新型数据标注与数据增强的四边形检测方法，包括数据搜集模块、数据标注模块、数据增强模块和模型训练模块；

所述数据搜集模块用于批量搜集大量需要进行四边形检测的图片，包括检测图片中待检测物体不完整的图片，得到四边形待测数据库；

所述数据标准模块用于对于不完全处于图片范围内的待检测物体，根据物体在图片内已有的点位信息推测出图片范围之外的其他点的位置，然后按照四边形四点顺序进行标注；

所述数据增强模块用于对需要进行透视变换数据增强的图片和四边形框同时进行同样透视变换操作，得到透视变换后的图片形状和四边形框对应的四点标注；

所述模型训练模块用于将做完数据增强后的图片与四点坐标同时送入神经网络进行四边形检测模型的训练，无论最终的四点坐标有无超出图片范围都进行回归四点坐标。

所述数据搜集模块包括图像采集、图形比对及图形残缺定位；

所述图像采集采用扫描仪对待检测四边形进行初级扫描，得到初级扫描点信息，并添加标注框；

所述图像比对用于通过初级扫描点信息与四边形完整图片进行比对，得到四边形不完全处于图片范围内的残缺图片，并进入图形残缺定位进行初级定位。

所述数据标注模块包括已有点位置信息、定位计算和推测范围外的点位置；

所述已有点位置信息用于接收所得到的四边形点的位置信息，对于完全处于图片内的待检测物体，直接标注四边形的四点。

所述定位计算用于对于不完全处于图片范围内的待检测物体，根据物体在图片内已有的点位信息推测出图片范围之外的其他点的位置，推测出范围外的点位置；

假设原始图像I的大小为M×N，构造两个大小为3M×3N的图像I0和I1，I0为原始图像的镜像图，以原始图像I为中心，四周以黑边填充，构成黑边环绕的图像I1，此时，在图像I1中原始图像I的四个顶点的坐标分别为：

A1＝(N,M),B1＝(2N,M),C1＝(N,2M),D1＝(2N,2M)，然后，通过同一个变换矩阵P，对I0、I1进行同样的透视变换得到I1、I2，在I1中，A1,B1,C1,D1投影后的点坐标可以通过透视变换得到；经过标注对齐，得到A0＝(X min，Y min)，B0＝(X max，Y min)，C0＝(X min，Ymax)，D0＝(X max，Y max)；

则A0,B0,C0,D0构成四边形A1,B1,C1,D1的外接矩形,(Xmin,Ymin)，分别表示该矩形框左上角和右下角坐标；根据点A0,B0,C0,D0的坐标裁减出矩形，该矩形即为原图填充后的图像,从而进行目标检测。

所述数据增强模块包括图片比对、透视变换矫正、透视变换逆变换及最小外接矩阵；

所述图片比对用于对原图进行数据比对；

选取原始图像的四个顶点A,B,C,D以及输出图像中的四个随机采样点A0,B0,C0,D0来生成透视变换矩阵，即将原始图像的四个顶点透视投影到新图像中的四个采样点A0,B0,C0,D0，随机采样点A0＝(x1,y1),B0＝(x1,W-y1),C0＝(H-x2,W-y2),D0＝(H-x3,y3)由透视因子0控制，x1,x1,x2,x3∈(0,H*(λ0))，y1,y1,y2,y3∈(0,W*(λ0))，其中λ为平衡参数，H,W分别表示原始图像的长和宽；

通过对应的4对点A,B,C,D、A0,B0,C0,D0，得到透视变换矩阵P，用求得的变换矩阵对原始图像中的所有像素点进行变换，从而得到新的图像；在生成的图像中，图像信息外的部分用黑色象素点填充。

所述透视变换矫正将原始图像中的矩形标注框用[a,b,c,d]表示，(X1,Y2)，(x1,y1)分别表示该矩形框左上角和右下角坐标，经过透视变换得到的非矩形标注框的四个顶点坐标变为a1＝(x1,y1),b1＝(x2,y2),c1＝(x3,y3),d1＝(x4,y4)，令Xmin＝min{x1,x2,x3,x4}Xmax＝max{x1,x2,x3,x4},Ymin＝min{y1,y2,y3,y4},Ymax＝max{y1,y2,y3,y4}；则{Xmin,Xmax,Ymin,Ymax}表示变换后标注框；

如果图片中有任一一点超出图像范围，则计算出将图片转为正矩形框后对应的四点坐标；

通过图片与计算出图片到透视变换矩阵M，通过图片四边形的宽高，得到四边形的四个顶点,将四边形使用透视变换矩阵M进行变换得到转正后的图片四点坐标四边形，计算四边形所围成的矩形四边形与所围成的四边形的交集的最小外界矩形的四点十字标，十字标即为实际待检测矩形物体的区域再将十字标进行透视变换矩阵M的逆变换M得到最后一点,最后一点即为原图与原标注做完数据增强后的真正四点坐标位置。

所述模型训练模块包括数据记录仪、神经网络和回归四点坐标；

所述数据记录仪用于记录和储存四边形检测的数据执行内容；

所述神经网络将做完数据增强后的图片与四点坐标同时送入神经网络进行四边形检测模型的训练，实现回归四点坐标。

一种基于新型数据标注与数据增强的四边形检测方法，其步骤如下：

步骤一：批量搜集大量需要进行四边形检测的图片，包括检测图片中待检测物体不完整的图片；

步骤二：对于完全处于图片内的待检测物体，直接标注四边形的四点；对于不完全处于图片范围内的待检测物体，根据物体在图片内已有的点位信息推测出图片范围之外的其他点的位置，然后按照四边形四点顺序进行标注；

步骤三：对需要进行透视变换数据增强的图片和四边形框同时进行同样透视变换操作，得到透视变换后的图片和四边形框对应的四点标注图片。如果图片中有任一一点超出图像范围，则进行以下操作：

a.计算出将图片转为正矩形框后对应的四点坐标；

b.通过图片与计算出图片到透视变换矩阵M；

c.通过图片四边形的宽高，得到四边形的四个顶点,将四边形使用透视变换矩阵M进行变换得到转正后的图片四点坐标四边形；

d.计算四边形所围成的矩形四边形与所围成的四边形的交集的最小外界矩形的四点十字标，十字标即为实际待检测矩形物体的区域；

e.再将十字标进行透视变换矩阵M的逆变换M得到最后一点,最后一点即为原图与原标注做完数据增强后的真正四点坐标位置；

步骤四：将做完数据增强后的图片与四点坐标同时送入神经网络进行四边形检测模型的训练，无论最终的四点坐标有无超出图片范围都需要进行回归四点坐标。

本发明具有如下有益效果：

1.本发明中，通过数据标注模块，数据标注模块首先对已有点的位置进行数据信息获取，获取后对于不完全处于图片范围内的待检测物体进行定位计算，根据物体在图片内已有的点位信息推测出图片范围之外的其他点的位置，然后按照四边形四点顺序进行标注，推测出范围外的点位置信息，使得四边形检测框更加准确且更加符合实际待检测物体的形状规则，符合实际物体的形状。

2.本发明中，通过数据增强模块，数据增强部分的五个步骤，使用透视矫正变换、透视矫正逆变换以及使用矫正图片与矫正坐标计算交集最小外界矩形等操作，使得四边形的检测结果更加符合实际物体的形状，增加四边形检测的精确性。

3.本发明中，通过模型训练模块，将做完数据增强后的图片与四点坐标同时送入神经网络进行四边形检测模型的训练，无论最终的四点坐标有无超出图片范围都进行回归四点坐标。

附图说明

图1为本发明一种基于新型数据标注与数据增强的四边形检测方法的系统架构图；

图2为本发明一种基于新型数据标注与数据增强的四边形检测方法的数据标准模块的构架图；

图3为本发明一种基于新型数据标注与数据增强的四边形检测方法的数据增强模块的构架图；

图4为本发明一种基于新型数据标注与数据增强的四边形检测方法的模型训练模块的构架图。

具体实施方式

为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。

实施例一

请参照图1-2所示：一种基于新型数据标注与数据增强的四边形检测方法，包括数据搜集模块、数据标注模块、数据增强模块和模型训练模块；

数据搜集模块用于批量搜集大量需要进行四边形检测的图片，包括检测图片中待检测物体不完整的图片，得到四边形待测数据库；

数据标准模块用于对于不完全处于图片范围内的待检测物体，根据物体在图片内已有的点位信息推测出图片范围之外的其他点的位置，然后按照四边形四点顺序进行标注；

数据增强模块用于对需要进行透视变换数据增强的图片和四边形框同时进行同样透视变换操作，得到透视变换后的图片形状和四边形框对应的四点标注；

模型训练模块用于将做完数据增强后的图片与四点坐标同时送入神经网络进行四边形检测模型的训练，无论最终的四点坐标有无超出图片范围都进行回归四点坐标。

数据搜集模块包括图像采集、图形比对及图形残缺定位；

图像采集采用扫描仪对待检测四边形进行初级扫描，得到初级扫描点信息，并添加标注框；

图像比对用于通过初级扫描点信息与四边形完整图片进行比对，得到四边形不完全处于图片范围内的残缺图片，并进入图形残缺定位进行初级定位。

数据标注模块包括已有点位置信息、定位计算和推测范围外的点位置；

已有点位置信息用于接收所得到的四边形点的位置信息，对于完全处于图片内的待检测物体，直接标注四边形的四点。

定位计算用于对于不完全处于图片范围内的待检测物体，根据物体在图片内已有的点位信息推测出图片范围之外的其他点的位置，推测出范围外的点位置；

假设原始图像I的大小为M×N，构造两个大小为3M×3N的图像I0和I1，I0为原始图像的镜像图，以原始图像I为中心，四周以黑边填充，构成黑边环绕的图像I1，此时，在图像I1中原始图像I的四个顶点的坐标分别为：

A1＝(N,M),B1＝(2N,M),C1＝(N,2M),D1＝(2N,2M)，然后，通过同一个变换矩阵P，对I0、I1进行同样的透视变换得到I1、I2，在I1中，A1,B1,C1,D1投影后的点坐标可以通过透视变换得到；经过标注对齐，得到A0＝(X min，Y min)，B0＝(X max，Y min)，C0＝(X min，Ymax)，D0＝(X max，Y max)；

则A0,B0,C0,D0构成四边形A1,B1,C1,D1的外接矩形,(Xmin,Ymin)，分别表示该矩形框左上角和右下角坐标；根据点A0,B0,C0,D0的坐标裁减出矩形，该矩形即为原图填充后的图像,从而进行目标检测。

数据标注模块首先对已有点的位置进行数据信息获取，获取后对于不完全处于图片范围内的待检测物体进行定位计算，根据物体在图片内已有的点位信息推测出图片范围之外的其他点的位置，然后按照四边形四点顺序进行标注，推测出范围外的点位置信息，使得四边形检测框更加准确且更加符合实际待检测物体的形状规则，符合实际物体的形状。

实施例二

请参照图3所示：一种基于新型数据标注与数据增强的四边形检测方法，包括数据搜集模块、数据标注模块、数据增强模块和模型训练模块；

数据搜集模块用于批量搜集大量需要进行四边形检测的图片，包括检测图片中待检测物体不完整的图片，得到四边形待测数据库；

数据标准模块用于对于不完全处于图片范围内的待检测物体，根据物体在图片内已有的点位信息推测出图片范围之外的其他点的位置，然后按照四边形四点顺序进行标注；

数据增强模块用于对需要进行透视变换数据增强的图片和四边形框同时进行同样透视变换操作，得到透视变换后的图片形状和四边形框对应的四点标注；

模型训练模块用于将做完数据增强后的图片与四点坐标同时送入神经网络进行四边形检测模型的训练，无论最终的四点坐标有无超出图片范围都进行回归四点坐标。

数据增强模块包括图片比对、透视变换矫正、透视变换逆变换及最小外接矩阵；

图片比对用于对原图进行数据比对；

选取原始图像的四个顶点A,B,C,D以及输出图像中的四个随机采样点A0,B0,C0,D0来生成透视变换矩阵，即将原始图像的四个顶点透视投影到新图像中的四个采样点A0,B0,C0,D0，随机采样点A0＝(x1,y1),B0＝(x1,W-y1),C0＝(H-x2,W-y2),D0＝(H-x3,y3)由透视因子0控制，x1,x1,x2,x3∈(0,H*(λ0))，y1,y1,y2,y3∈(0,W*(λ0))，其中λ为平衡参数，H,W分别表示原始图像的长和宽；

通过对应的4对点A,B,C,D、A0,B0,C0,D0，得到透视变换矩阵P，用求得的变换矩阵对原始图像中的所有像素点进行变换，从而得到新的图像；在生成的图像中，图像信息外的部分用黑色象素点填充。

透视变换矫正将原始图像中的矩形标注框用[a,b,c,d]表示，(X1,Y2)，(x1,y1)分别表示该矩形框左上角和右下角坐标，经过透视变换得到的非矩形标注框的四个顶点坐标变为a1＝(x1,y1),b1＝(x2,y2),c1＝(x3,y3),d1＝(x4,y4)，令Xmin＝min{x1,x2,x3,x4}Xmax＝max{x1,x2,x3,x4},Ymin＝min{y1,y2,y3,y4},Ymax＝max{y1,y2,y3,y4}；则{Xmin,Xmax,Ymin,Ymax}表示变换后标注框；

如果图片中有任一一点超出图像范围，则计算出将图片转为正矩形框后对应的四点坐标；

通过图片与计算出图片到透视变换矩阵M，通过图片四边形的宽高，得到四边形的四个顶点,将四边形使用透视变换矩阵M进行变换得到转正后的图片四点坐标四边形，计算四边形所围成的矩形四边形与所围成的四边形的交集的最小外界矩形的四点十字标，十字标即为实际待检测矩形物体的区域再将十字标进行透视变换矩阵M的逆变换M得到最后一点,最后一点即为原图与原标注做完数据增强后的真正四点坐标位置。

数据增强部分的五个步骤，使用透视矫正变换、透视矫正逆变换以及使用矫正图片与矫正坐标计算交集最小外界矩形等操作，使得四边形的检测结果更加符合实际物体的形状，增加四边形检测的精确性。

实施例三

请参照图4所示：一种基于新型数据标注与数据增强的四边形检测方法，包括数据搜集模块、数据标注模块、数据增强模块和模型训练模块；

数据搜集模块用于批量搜集大量需要进行四边形检测的图片，包括检测图片中待检测物体不完整的图片，得到四边形待测数据库；

数据标准模块用于对于不完全处于图片范围内的待检测物体，根据物体在图片内已有的点位信息推测出图片范围之外的其他点的位置，然后按照四边形四点顺序进行标注；

数据增强模块用于对需要进行透视变换数据增强的图片和四边形框同时进行同样透视变换操作，得到透视变换后的图片形状和四边形框对应的四点标注；

模型训练模块用于将做完数据增强后的图片与四点坐标同时送入神经网络进行四边形检测模型的训练，无论最终的四点坐标有无超出图片范围都进行回归四点坐标。

模型训练模块包括数据记录仪、神经网络和回归四点坐标；

数据记录仪用于记录和储存四边形检测的数据执行内容；

神经网络将做完数据增强后的图片与四点坐标同时送入神经网络进行四边形检测模型的训练，实现回归四点坐标。

模型训练模块将做完数据增强后的图片与四点坐标同时送入神经网络进行四边形检测模型的训练，无论最终的四点坐标有无超出图片范围都进行回归四点坐标。

本发明中，一种基于新型数据标注与数据增强的四边形检测方法，本发明是对现有的四边形检测方法的标注方法与数据增强方法进行优化，从而增加超出图片范围或者处于图片边界的四边形的检测精度，在数据标注阶段，数据标注模块首先对已有点的位置进行数据信息获取，获取后对于不完全处于图片范围内的待检测物体进行定位计算，根据物体在图片内已有的点位信息推测出图片范围之外的其他点的位置，然后按照四边形四点顺序进行标注，推测出范围外的点位置信息，使得四边形检测框更加准确且更加符合实际待检测物体的形状规则，符合实际物体的形状；在数据增强阶段，通过数据增强部分的五个步骤，使用透视矫正变换、透视矫正逆变换以及使用矫正图片与矫正坐标计算交集最小外界矩形等操作，使得四边形的检测结果更加符合实际物体的形状，增加四边形检测的精确性；通过模型训练模块，将做完数据增强后的图片与四点坐标同时送入神经网络进行四边形检测模型的训练，无论最终的四点坐标有无超出图片范围都进行回归四点坐标。整个系统智能化强，实用性强。

一种基于新型数据标注与数据增强的四边形检测方法，其步骤如下：

步骤一：批量搜集大量需要进行四边形检测的图片，包括检测图片中待检测物体不完整的图片；

步骤二：对于完全处于图片内的待检测物体，直接标注四边形的四点；对于不完全处于图片范围内的待检测物体，根据物体在图片内已有的点位信息推测出图片范围之外的其他点的位置，然后按照四边形四点顺序进行标注；

步骤三：对需要进行透视变换数据增强的图片和四边形框同时进行同样透视变换操作，得到透视变换后的图片和四边形框对应的四点标注图片。如果图片中有任一一点超出图像范围，则进行以下操作：

a.计算出将图片转为正矩形框后对应的四点坐标；

b.通过图片与计算出图片到透视变换矩阵M；

c.通过图片四边形的宽高，得到四边形的四个顶点,将四边形使用透视变换矩阵M进行变换得到转正后的图片四点坐标四边形；

d.计算四边形所围成的矩形四边形与所围成的四边形的交集的最小外界矩形的四点十字标，十字标即为实际待检测矩形物体的区域；

e.再将十字标进行透视变换矩阵M的逆变换M得到最后一点,最后一点即为原图与原标注做完数据增强后的真正四点坐标位置；

步骤四：将做完数据增强后的图片与四点坐标同时送入神经网络进行四边形检测模型的训练，无论最终的四点坐标有无超出图片范围都需要进行回归四点坐标。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (8)

1.一种基于新型数据标注与数据增强的四边形检测系统，其特征在于，所述一种基于新型数据标注与数据增强的四边形检测系统包括数据搜集模块、数据标注模块、数据增强模块和模型训练模块；

所述数据搜集模块用于批量搜集大量需要进行四边形检测的图片，包括检测图片中待检测物体不完整的图片，得到四边形待测数据库；

所述数据标准模块用于对于不完全处于图片范围内的待检测物体，根据物体在图片内已有的点位信息推测出图片范围之外的其他点的位置，然后按照四边形四点顺序进行标注；

所述数据增强模块用于对需要进行透视变换数据增强的图片和四边形框同时进行同样透视变换操作，得到透视变换后的图片形状和四边形框对应的四点标注；

所述模型训练模块用于将做完数据增强后的图片与四点坐标同时送入神经网络进行四边形检测模型的训练，无论最终的四点坐标有无超出图片范围都进行回归四点坐标。

2.根据权利要求1所述的系统，其特征在于：所述数据搜集模块包括图像采集、图形比对及图形残缺定位；

所述图像采集采用扫描仪对待检测四边形进行初级扫描，得到初级扫描点信息，并添加标注框；

所述图像比对用于通过初级扫描点信息与四边形完整图片进行比对，得到四边形不完全处于图片范围内的残缺图片，并进入图形残缺定位进行初级定位。

3.根据权利要求1所述的系统，其特征在于：所述数据标注模块包括已有点位置信息、定位计算和推测范围外的点位置；

所述已有点位置信息用于接收所得到的四边形点的位置信息，对于完全处于图片内的待检测物体，直接标注四边形的四点。

4.根据权利要求3所述的系统，其特征在于：所述定位计算用于对于不完全处于图片范围内的待检测物体，根据物体在图片内已有的点位信息推测出图片范围之外的其他点的位置，推测出范围外的点位置；

假设原始图像I的大小为M×N，构造两个大小为3M×3N的图像I0和I1，I0为原始图像的镜像图，以原始图像I为中心，四周以黑边填充，构成黑边环绕的图像I1，此时，在图像I1中原始图像I的四个顶点的坐标分别为：

A1＝(N,M),B1＝(2N,M),C1＝(N,2M),D1＝(2N,2M)，然后，通过同一个变换矩阵P，对I0、I1进行同样的透视变换得到I1、I2，在I1中，A1,B1,C1,D1投影后的点坐标可以通过透视变换得到；经过标注对齐，得到A0＝(X min，Y min)，B0＝(X max，Y min)，C0＝(X min，Ymax)，D0＝(X max，Y max)；

则A0,B0,C0,D0构成四边形A1,B1,C1,D1的外接矩形,(Xmin,Ymin)，分别表示该矩形框左上角和右下角坐标；根据点A0,B0,C0,D0的坐标裁减出矩形，该矩形即为原图填充后的图像,从而进行目标检测。

5.根据权利要求1所述的系统，其特征在于：所述数据增强模块包括图片比对、透视变换矫正、透视变换逆变换及最小外接矩阵；

所述图片比对用于对原图进行数据比对；

选取原始图像的四个顶点A,B,C,D以及输出图像中的四个随机采样点A0,B0,C0,D0来生成透视变换矩阵，即将原始图像的四个顶点透视投影到新图像中的四个采样点A0,B0,C0,D0，随机采样点A0＝(x1,y1),B0＝(x1,W-y1),C0＝(H-x2,W-y2),D0＝(H-x3,y3)由透视因子0控制，x1,x1,x2,x3∈(0,H*(λ0))，y1,y1,y2,y3∈(0,W*(λ0))，其中λ为平衡参数，H,W分别表示原始图像的长和宽；

通过对应的4对点A,B,C,D、A0,B0,C0,D0，得到透视变换矩阵P，用求得的变换矩阵对原始图像中的所有像素点进行变换，从而得到新的图像；在生成的图像中，图像信息外的部分用黑色象素点填充。

6.根据权利要求5所述的系统，其特征在于：所述透视变换矫正将原始图像中的矩形标注框用[a,b,c,d]表示，(X1,Y2)，(x1,y1)分别表示该矩形框左上角和右下角坐标，经过透视变换得到的非矩形标注框的四个顶点坐标变为a1＝(x1,y1),b1＝(x2,y2),c1＝(x3,y3),d1＝(x4,y4)，令Xmin＝min{x1,x2,x3,x4}Xmax＝max{x1,x2,x3,x4},Ymin＝min{y1,y2,y3,y4},

Ymax＝max{y1,y2,y3,y4}；则{Xmin,Xmax,Ymin,Ymax}表示变换后标注框；

如果图片中有任一一点超出图像范围，则计算出将图片转为正矩形框后对应的四点坐标；

通过图片与计算出图片到透视变换矩阵M，通过图片四边形的宽高，得到四边形的四个顶点,将四边形使用透视变换矩阵M进行变换得到转正后的图片四点坐标四边形，计算四边形所围成的矩形四边形与所围成的四边形的交集的最小外界矩形的四点十字标，十字标即为实际待检测矩形物体的区域再将十字标进行透视变换矩阵M的逆变换M得到最后一点,最后一点即为原图与原标注做完数据增强后的真正四点坐标位置。

7.根据权利要求1所述的系统，其特征在于：所述模型训练模块包括数据记录仪、神经网络和回归四点坐标；

所述数据记录仪用于记录和储存四边形检测的数据执行内容；

所述神经网络将做完数据增强后的图片与四点坐标同时送入神经网络进行四边形检测模型的训练，实现回归四点坐标。

8.一种基于新型数据标注与数据增强的四边形检测方法，其步骤如下：

步骤一：批量搜集大量需要进行四边形检测的图片，包括检测图片中待检测物体不完整的图片；

步骤二：对于完全处于图片内的待检测物体，直接标注四边形的四点；对于不完全处于图片范围内的待检测物体，根据物体在图片内已有的点位信息推测出图片范围之外的其他点的位置，然后按照四边形四点顺序进行标注；

步骤三：对需要进行透视变换数据增强的图片和四边形框同时进行同样透视变换操作，得到透视变换后的图片和四边形框对应的四点标注图片。如果图片中有任一一点超出图像范围，则进行以下操作：

a.计算出将图片转为正矩形框后对应的四点坐标；

b.通过图片与计算出图片到透视变换矩阵M；

c.通过图片四边形的宽高，得到四边形的四个顶点,将四边形使用透视变换矩阵M进行变换得到转正后的图片四点坐标四边形；

d.计算四边形所围成的矩形四边形与所围成的四边形的交集的最小外界矩形的四点十字标，十字标即为实际待检测矩形物体的区域；

e.再将十字标进行透视变换矩阵M的逆变换M得到最后一点,最后一点即为原图与原标注做完数据增强后的真正四点坐标位置；

步骤四：将做完数据增强后的图片与四点坐标同时送入神经网络进行四边形检测模型的训练，无论最终的四点坐标有无超出图片范围都需要进行回归四点坐标。