CN112766181B - 一种提高线图识别准确率的方法 - Google Patents

Abstract

本发明涉及线图识别技术领域，具体地说，涉及一种提高线图识别准确率的方法，其包括以下步骤：一、判断候选框的位置信息，确定与该候选框的交并比最大的两个真实框；二、分别计算候选框和两个真实框顶点连线的斜率；三、根据斜率判断候选框中是否存在目标。本发明以计算与真实框斜率比值的方式来判别正负样本，提升这类真实框正被选为正样本的概率，提高召回率。

Description

一种提高线图识别准确率的方法

技术领域

本发明涉及线图识别技术领域，具体地说，涉及一种提高线图识别准确率的方法。

背景技术

图表理解，是计算机通过对数据集中的图片和给定的标注进行一定的处理，研究图像中各目标的性质及其相互关系，并得出对图像内容含义的理解以及对原来客观场景的解释，进而完成下游任务的过程。其中视觉问答任务是图表理解的一种应用，向视觉问答系统提供一张图像并给出关于这张图像的自然语言问题，任务是提供一个准确的自然语言答案。

在进行图表理解任务时，需要对图像本身进行一定的处理来为后续阶段的任务提供足够的信息，普遍的方法同时也是本发明涉及的方法即对图片进行目标检测，检测出图片中有效目标对象，例如线图。

数学图表包括常见的图形类型，它们同时对连续和分类信息进行建模，例如直线、点线、垂直和水平条形图、饼图。问题类型可能包括大小、最大值、最小值、中位数、曲线下面积、平滑度和交点等。

对图片的处理，需要先对图片进行标注，目前主流的标注格式是将存在的目标的通过矩形框出来，取中心锚点坐标(x,y)确定矩形框的位置信息，取矩形框的宽度w和高度h确定矩形框的大小，即标注中的(x,y,w,h)。

接着对图片进行目标检测。首先判断候选框中是否存在有效的目标，以及判断具体属于哪一类的目标。对候选框的判断，即对大量的候选框进行筛选，候选框与真实框重叠的部分是否达到设定的阈值，如果达到阈值即判定候选框内存在有效的目标对象。再对目标检测结果进行分类，具有相同标签的检测框代表属于同一对象，此时我们得到不同对象的一系列目标检测框，采用框的中心点线图的关键点，这步操作将目标检测框映射到线图的关键点。

在目标检测过程中，需要从大量候选锚点中选出指定少量的锚点进行二分类，为二分类概率预测提供真实值。对于设定好的每一个真实边框，选择与它重叠度最高的锚点作为正样本；对于剩下的锚点，从中选择和任意一个真实边框重叠度超过阈值(0.7)的锚点，作为正样本；随机选择和真实框重叠度小于(1-阈值＝0.3)的锚点作为负样本。正负样本分别为前景或背景，实现二分类。

在处理视觉问答的折线图时，目前普遍使用的方法是计算候选框与真实框的交并比，若计算值超过设定的阈值，则看作真实框。即利用区域生成网络的思想，输入图片有大量候选框，根据候选框与真实框重叠度大小，若大于某一值，则认定该框中存在目标，即存在线的一部分，进入下一步通过目标检测得出线图的类别，即颜色；反之则认为不存在线。

现在使用的方法中，如果有一个存在目标的候选框，位于两个真实框之间，但与两个真实框的重叠度都达不到阈值，则不会被判为是正样本，被认定为不存在目标。如图2所示，两个旁边的框为设定的真实框，中间的框肉眼识别会被认为正样本，但使用计算重叠度的方式则不会被认为是正样本的候选框。

针对这种类似情况，提出新的判别方式，提升这类正样本被选中的概率，提高召回率。

发明内容

本发明的内容是提供一种提高线图识别准确率的方法，其能够克服现有技术的某种或某些缺陷。

根据本发明的一种提高线图识别准确率的方法，其包括以下步骤：

一、判断候选框的位置信息，确定与该候选框的交并比最大的两个真实框；

二、分别计算候选框和两个真实框顶点连线的斜率；

三、根据斜率判断候选框中是否存在目标。

作为优选，步骤一中，两个真实框与候选框预测概率最高的标签信息均相同，即真实框中包含的目标类别与候选框包含的目标类别相同。

作为优选，步骤二中，斜率的计算方法如下：

设真实框坐标分别为(x₁,y₁,w₁,h₁)和(x₂,y₂,w₂,h₂)，候选框坐标为(x₀,y₀,w₀,h₀)；

(1)、计算折线的斜率判断折线为上升或下降，

若k>0，则折线为上升趋势，反之为下降趋势；

(2)、若折线为下降趋势，则分别利用三个框的坐标，求出三个框的左上坐标作为第(4)步计算变量；

其中，

(3)、若折线为上升趋势，则使用左下顶点作为第(4)步计算变量；

其中，

(4)、分别计算候选框与两个真实框之间顶点连线的斜率；

作为优选，步骤三中，是否存在目标的判断方法为：

若

其中ε为设定的阈值，则认为该候选框中存在目标，即存在折线；反之，则不存在。

本发明以计算与真实框斜率比值的方式来判别正负样本，提升这类真实框正被选为正样本的概率，提高召回率。

附图说明

图1为实施例1中一种提高线图识别准确率的方法的流程图；

图2为背景技术中真实框和候选框的示意图；

图3为实施例1中下降趋势的折线示意图；

图4为实施例1中上升趋势的折线示意图；

图5为实施例1中不存在折线的示意图。

具体实施方式

为进一步了解本发明的内容，结合附图和实施例对本发明作详细描述。应当理解的是，实施例仅仅是对本发明进行解释而并非限定。

实施例1

一种提高线图识别准确率的方法，其包括以下步骤：

一、判断候选框的位置信息，确定与该候选框的交并比最大的两个真实框；两个真实框与候选框预测概率最高的标签信息均相同，即真实框中包含的目标类别与候选框最可能包含的目标类别相同；

二、分别计算候选框和两个真实框顶点连线的斜率；计算方法如下：

每个框的位置由(x,y,w,h)来确定，其中(x,y)为其锚点即中心点坐标。由锚点坐标可得到分别得到框的四个顶点的坐标，同时，折线可分为上升(折线斜率大于0)和下降(折线斜率小于0)两种，计算候选框和真实框顶点连线斜率分为两个阶段：

设真实框坐标分别为(x₁,y₁,w₁,h₁)和(x₂,y₂,w₂,h₂)，候选框坐标为(x₀,y₀,w₀,h₀)；

(1)、计算折线的斜率判断折线为上升或下降，

若k>0，则折线为上升趋势，反之为下降趋势；

(2)、若折线为下降趋势，如图3所示，则分别利用三个框的坐标，求出三个框的左上坐标作为第(4)步计算变量；

其中，

(3)、若折线为上升趋势，如图4所示，则使用左下顶点作为第(4)步计算变量；

其中，

(4)、分别计算候选框与两个真实框之间顶点连线的斜率；

三、根据斜率判断候选框中是否存在目标；

若

其中ε为设定的阈值，则认为该候选框中存在目标，即存在折线；反之，如图5所示，则不存在。

本实施例以计算与真实框斜率比值的方式来判别正负样本，提升这类真实框正被选为正样本的概率，提高召回率。

以上示意性的对本发明及其实施方式进行了描述，该描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。所以，如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。

Claims (2)

1.一种提高线图识别准确率的方法，其特征在于：包括以下步骤：

一、判断候选框的位置信息，确定与该候选框的交并比最大的两个真实框；

二、分别计算候选框和两个真实框顶点连线的斜率；

三、根据斜率判断候选框中是否存在目标；

步骤二中，斜率的计算方法如下：

设真实框坐标分别为(x₁,y₁,w₁,h₁)和(x₂,y₂,w₂,h₂)，候选框坐标为(x₀,y₀,w₀,h₀)；

(1)、计算折线的斜率判断折线为上升或下降，

若k>0，则折线为上升趋势，反之为下降趋势；

(2)、若折线为下降趋势，则分别利用三个框的坐标，求出三个框的左上坐标作为第(4)步计算变量；

其中，

(3)、若折线为上升趋势，则使用左下顶点作为第(4)步计算变量；

其中，

(4)、分别计算候选框与两个真实框之间顶点连线的斜率；

步骤三中，是否存在目标的判断方法为：

若

其中ε为设定的阈值，则认为该候选框中存在目标，即存在折线；反之，则不存在。

2.根据权利要求1所述的一种提高线图识别准确率的方法，其特征在于：步骤一中，两个真实框与候选框预测概率最高的标签信息均相同，即真实框中包含的目标类别与候选框包含的目标类别相同。

Images