CN113096051A

CN113096051A - 一种基于消失点检测的图矫正方法

Info

Publication number: CN113096051A
Application number: CN202110483616.9A
Authority: CN
Inventors: 雷昊
Original assignee: Shanghai Lingmou Intelligent Technology Co ltd
Current assignee: Shanghai Lingmou Intelligent Technology Co ltd
Priority date: 2021-04-30
Filing date: 2021-04-30
Publication date: 2021-07-09
Anticipated expiration: 2041-04-30
Also published as: CN113096051B

Abstract

本发明公开了一种基于消失点检测的图矫正方法，涉及图像处理领域，包括：提取原始图片中的垂直线段和水平线段；垂直线段中同方向最多的消失点作为垂直消失点；根据同方向对水平线段分组，分组中外接矩形面积最大的一组作为水平消失点；最后根据垂直和水平消失点对原始图片进行矫正。本发明使用消失点对图片内提取的直线段进行分组，并通过计算水平线段组覆盖的面积确定水平消失点，能有效的去除天花板，地面，墙体等不相关的干扰，同时也能有效区分多组不同方向或者间隔的货架/冰柜，找到主体区域，进行正确矫正。

Description

一种基于消失点检测的图矫正方法

技术领域

本发明涉及图像处理领域，尤其涉及一种基于消失点检测的图矫正方法。

背景技术

在零售稽查场景中，稽查员需要拍摄大量的货架以及冰柜场景。由于拍照的不稳定性以及场地的限制，很多情况下无法保证货架、冰柜排面与相机成像平面保持平行。从而会引起拍摄图片的倾斜导致失真，这时候就需要对图像作矫正，让图片看起来接近正面拍摄。

目前常用的矫正算法的流程如下：

1.对图片作简单预处理并检测直线段；

2.对检测出的直线段，根据其与水平方向的角度，分为垂直线段，水平线段以及其他线段三组；

由第二步得到的垂直线段及水平线段两组线段，计算出矫正图像所需要的单应性矩阵，将图像矫正成为正视图。

但是，由于照片拍摄场景比较复杂，地面，天花板，墙面以及立柱上提取的线条都会影响矫正结果。或者一个场景中出现多个朝向不一致的货架时，主体货架受到周边的影响，也会引起矫正错误。通过计算直线段与图片水平方向的角度，并不能准确找到照片主体区域中的水平线段，从而无法对照片主体区域进行正确矫正。

因此，本领域的技术人员致力于开发一种基于消失点检测的图矫正方法，克服拍摄现场环境的干扰，对拍摄图片的倾斜失真进行矫正。

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是提取拍摄图片的垂直线段，以及主体货架的水平线段，据此对图片进行矫正。

为实现上述目的，本发明提供了一种一种基于消失点检测的图矫正方法，包括以下步骤：

步骤1、读取原始图片；

步骤2、提取原始图片上的直线段集合L；

步骤3、从L中提取垂直线段集合Lv，其余部分记为Lh；

步骤4、提取垂直消失点；

步骤5、提取水平消失点；

步骤6、根据垂直消失点和水平消失点，对原始图片进行矫正。

进一步地，步骤3中提取Lv的方法具体为：

与原始图片垂直方向夹角小于垂直判定角的直线段记为Lv。

进一步地，垂直判定角小于等于15度。

进一步地，步骤4具体为：

步骤4.1、任取Lv中两条直线段，计算其交点P；

步骤4.2、计算Lv中与P同方向的直线段个数C_P；

步骤4.3、取C_P中最大的点作为垂直消失点。

进一步地，同方向的判定方法为：

任取一条待判定直线段，作待判定直线段的中点与P的连线，连线与待判定直线段形成锐角夹角θ，如果θ小于同方向判定角，则待判定直线段与P对应的两条直线段同方向，否则不同方向。

进一步地，同方向判定角小于等于5度。

进一步地，所述步骤5具体为：

步骤5.1、任取Lh中两条直线段，计算他们的交点Q；

步骤5.2、抽取Lh中与Q同方向的直线段，保存为一组水平线段；

步骤5.3、重复步骤5.1和步骤5.2，继续处理Lh中的剩余直线段，得到多组水平线段；

步骤5.4、计算多组水平线段中每组直线段外接矩形的面积，取外接矩形的面积中最大的一组对应的交点，作为所述水平消失点。

进一步地，步骤5具体为：

步骤5.1、任取Lh中两条直线段，计算他们的交点Q；

步骤5.4、取多组水平线段中直线段最多的一组对应的交点，作为水平消失点。

进一步地，步骤5.3中，如果已经取得3组水平线段，则退出循环。

进一步地，步骤5.3中，如果Lh中剩下的直线段少于4个，则退出循环。

本发明使用消失点对图片内提取的直线段进行分组，根据图像中商品和货架的检出，确定垂直和水平线段。并通过计算水平线段组覆盖的面积，确定主体区域，能有效的去除掉天花板，地面，墙体等不相关的干扰，同时也能有效区分多组不同方向或者间隔的货架/冰柜，找到主体区域，从而帮助图像正确矫正。

以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。

附图说明

图1是本发明的流程图；

图2是本发明示例的货架的原始图；

图3是本发明示例的货架错误的矫正图；

图4是本发明直线段同方向判定方法示意图；

图5是本发明示例的货架矫正图。

具体实施方式

以下参考说明书附图介绍本发明的多个优选实施例，使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现，本发明的保护范围并非仅限于文中提到的实施例。

在附图中，结构相同的部件以相同数字标号表示，各处结构或功能相似的组件以相似数字标号表示。附图所示的每一组件的尺寸和厚度是任意示出的，本发明并没有限定每个组件的尺寸和厚度。为了使图示更清晰，附图中有些地方适当夸大了部件的厚度。

如图1所示，为基于消失点检测的图矫正方法，按以下步骤进行图矫正：

步骤一、导入拍摄的图片；

步骤二、检测图片中的直线段；

如图2所示，为拍摄的货架的原始图，图中除了主体货架外，还存在朝向不一致的货架。在提取图片中的直线段时，除了主体货架的商品、货架的层板，还有旁边的货架以及地面的铺装，都会提取出直线段。

人造空间中存在大量的平行物体，比如立柱边缘，货架层边缘，冰柜边缘等等。3D空间中的平行线，如果不是与相机像平面平行，投影到2D像平面上会交汇于一点，我们称之为消失点。找到消失点就可以对图像内的直线段进行分组。对于货架和冰柜，都有一组垂直消失点以及多组水平消失点。

如果不能很好地排除非主体货架以及地面的干扰，按照传统方法，根据线段与水平方向角度的大小确定水平线，则会以地面、临近货架等错误的水平线段为基准，对原始图片进行矫正，如图3所示，将地面上铺装形成的线条以及旁边的货架形成的水平线段当成了矫正的参照线，得到错误的矫正图。

本实施例中采用使用OpenCV库读取原始图像，使用LSD线段检测算法，获取图片内的直线段集合L；

步骤三、从L中提取垂直线段集合Lv，以及水平线段集合Lh；

为区分直线段集合L中的垂直线段和水平线段，需要计算L内所有直线段与水平方向的夹角α，并将其归一化到[0,180)度之间；如果夹角α<0,则α＝180+α；如果夹角α>180,则α＝α-180。

完成归一化后，通过L内直线段与原始图片垂直方向的夹角是否小于垂直判定角来判定该线段是否为垂线，如果该夹角小于垂直判定角，则判定该直线段为垂线；如果大于垂直判定角，则判定该直线段不是垂线。

本实施例中取垂直判定角为15度，即L内直线段与水平方向的夹角位于75度到105度之间的线段，判定为垂直线段，该垂直线段的集合记为Lv。

剩余部分的直线段的集合，记为Lh。

步骤四、提取垂直消失点；

对于Lv中的直线段：

a.任意取两个线段，计算他们对应直线的交点；(如其不相交，则更换其中一条线段继续)；

b.根据a得到的交点，计算与交点同方向的直线段个数；

同方向判定方法如图4所示：

两条直线段A、B相交于点F；

对于另外两条直线段c、d，要判断c、d是否和A、B同方向；

分别做F到c，d中点的连线；

该连线和c、d的夹角分别为θ1、θ2；

引入同方向判定角，如果夹角小于等于同方向判定角，则判断该线段和A、B同方向；如果夹角大于同方向判定角，则判断该线段和A、B不同方向；

本实施例中设定同方向判定角为5度；

θ1<5度，则c与A、B同方向；

θ2>5度，则d与A、B不同方向。

c.同方向直线段最多的点作为垂直消失点。

步骤五、提取水平消失点；

对于Lh中的直线段：

a.任意取两个直线段，计算他们的交点；

b.根据a得到的交点，按照步骤4中计算同方向线段相同的方法，抽取与交点同方向的直线段；

c.保存b得到的交点和直线段作为一组水平线段；

d.如果已经取得3组水平线段或者剩下的直线段少于4个，退出当前循环；

e.重复a；

对于a-e里取得的水平线段组，如果只有1个，则该组水平线段作为矫正使用的水平线段；对应的交点为水平消失点；

对于a-e里取得的水平线段组，如果数量大于1：

则，

f.计算每组水平线段组中的直线段的外接矩形的面积；

g.取外接矩形的面积最大的一组水平线段，作为矫正使用的水平线段；对应的交点为水平消失点；

或者：

h.取水平线段组中直线段最多的一组，作为矫正使用的水平线段；对应的交点为水平消失点。

步骤六、矫正；

利用步骤四和步骤五中取得的垂直和水平消失点，采用RANSAC计算变换矩阵，使得变换后，两个点落于无穷远处，保存矫正结果。

矫正后的结果如图5所示，正确识别到了主体货架的垂直和水平线段，并据此对倾斜的图片进行了正确的矫正。

使用消失点对提取的直线段分组，将同方向的直线段分到一组，同组的直线段在3D空间中平行。照片主体区域的平行线段，覆盖区域也最大。采用计算覆盖面积的方式取得场景主体区域的平行线段，据此对图像进行矫正，对主体区域的矫正效果明显。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims

1.一种基于消失点检测的图矫正方法，其特征在于，所述方法包括以下步骤：

步骤1、读取原始图片；

步骤2、提取所述原始图片上的直线段集合L；

步骤3、从所述L中提取垂直线段集合Lv，其余部分记为Lh；

步骤4、提取垂直消失点；

步骤5、提取水平消失点；

步骤6、根据所述垂直消失点和所述水平消失点，对所述原始图片进行矫正。

2.如权利要求1所述的基于消失点检测的图矫正方法，其特征在于，所述步骤3中提取Lv的方法具体为：

与所述原始图片垂直方向夹角小于垂直判定角的直线段记为Lv。

3.如权利要求2所述的基于消失点检测的图矫正方法，其特征在于，所述垂直判定角小于等于15度。

4.如权利要求1所述的基于消失点检测的图矫正方法，其特征在于，所述步骤4具体为：

步骤4.1、任取所述Lv中两条直线段，计算其交点P；

步骤4.2、计算所述Lv中与所述P同方向的直线段个数C_P；

步骤4.3、取所述C_P中最大的点作为所述垂直消失点。

5.如权利要求4所述的基于消失点检测的图矫正方法，其特征在于，所述同方向的判定方法为：

任取一条待判定直线段，作所述待判定直线段的中点与所述P的连线，所述连线与所述待判定直线段形成锐角夹角θ，如果θ小于同方向判定角，则所述待判定直线段与所述P对应的两条直线段同方向，否则不同方向。

6.如权利要求5所述的基于消失点检测的图矫正方法，其特征在于，所述同方向判定角小于等于5度。

7.如权利要求5所述的基于消失点检测的图矫正方法，其特征在于，所述步骤5具体为：

步骤5.1、任取所述Lh中两条直线段，计算他们的交点Q；

步骤5.2、抽取所述Lh中与所述Q同方向的直线段，保存为一组水平线段；

步骤5.3、重复所述步骤5.1和所述步骤5.2，继续处理所述Lh中的剩余直线段，得到多组水平线段；

步骤5.4、计算所述多组水平线段中每组直线段外接矩形的面积，取所述外接矩形的面积中最大的一组对应的交点，作为所述水平消失点。

8.如权利要求5所述的基于消失点检测的图矫正方法，其特征在于，所述步骤5具体为：

步骤5.1、任取所述Lh中两条直线段，计算他们的交点Q；

步骤5.4、取所述多组水平线段中直线段最多的一组对应的交点，作为所述水平消失点。

9.如权利要求7或8所述的基于消失点检测的图矫正方法，其特征在于，所述步骤5.3中，如果已经取得3组所述水平线段，则退出循环。

10.如权利要求7或8所述的基于消失点检测的图矫正方法，其特征在于，所述步骤5.3中，如果所述Lh中剩下的直线段少于4个，则退出循环。