CN110782390A - 图像的矫正处理方法及装置、电子设备 - Google Patents

Abstract

本公开提供一种图像的矫正处理方法及装置、电子设备；涉及图像处理技术领域。图像的矫正处理方法包括：获取图像中对象的轮廓直线段，得到第一直线段集合；根据目标对象的形状特征，在第一直线段集合中确定目标轮廓直线段；获取与目标轮廓直线段相关的关键点，并根据关键点的当前位置信息和矫正处理后的目标位置信息确定映射关系；根据映射关系，对图像进行透视变换，以使矫正处理后的图像中目标对象与用户视角基本垂直。本技术方案能够批量矫正斜拍生成的图像的质量，使得用户方便快捷的获取图像中目标对象信息。

Description

图像的矫正处理方法及装置、电子设备

技术领域

本公开涉及图像处理技术领域，具体而言，涉及一种图像的矫正处理方法、图像的矫正处理装置，以及实现上述图像的矫正处理方法的电子设备。

背景技术

图像采集过程中，鉴于客观原因(如，地理位置的限制、拍摄目标过高等)或主观原因(采集人员懈怠等)导致拍摄人员斜拍目标，因此拍摄出的图像与用户视角不垂直。造成图像质量较低，甚至可能出现无效图像。

相关技术中，通过加强运营的方式教育拍摄人员，使其将镜头正对拍摄目标进行拍摄，从而在源头上降低斜拍图像的生成。而对于已经生成的斜拍图像，可以通过图像处理软件(如，Photoshop等)一一将图像进行矫正。

然而，相关技术提供的方案存在处理效率低的问题。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种图像的矫正处理方法、图像的矫正处理装置、电子设备，进而在一定程度上克服由于相关技术中图像的矫正处理效率低的问题。

根据本公开的第一方面，提供一种图像的矫正处理方法，上述方法包括：获取图像中对象的轮廓直线段，得到第一直线段集合；根据目标对象的形状特征，在上述第一直线段集合中确定目标轮廓直线段；获取与上述目标轮廓直线段相关的关键点，并根据上述关键点的当前位置信息和矫正处理后的目标位置信息确定映射关系；以及，根据上述映射关系，对上述图像进行透视变换，以使矫正处理后的图像中上述目标对象与用户视角基本垂直。

在本公开的一种示例性实施例中，基于前述实施例上述获取图像中对象的轮廓直线段，包括：对上述图像进行预处理得到预处理后的图像；以及，通过直线检测获取上述预处理后的图像中对象的轮廓直线段。

在本公开的一种示例性实施例中，基于前述实施例上述根据目标对象的形状特征，在上述第一直线段集合中确定目标轮廓直线段，包括：通过滑动窗口方式处理上述第一直线段集合中的轮廓直线段；以及，根据目标对象的形状特征确定目标窗口，以及在上述目标窗口对应的第二轮廓集合中获取至少两条目标轮廓直线段。

在本公开的一种示例性实施例中，基于前述实施例在上述确定目标轮廓直线段之前，上述方法还包括：根据上述目标对象在上述图像中的位置特征，对上述第一直线段集合进行筛选。

在本公开的一种示例性实施例中，基于前述实施例上述获取与上述目标轮廓直线段相关的关键点，包括：确定与上述图像的边缘平行的两条边线；以及，确定上述目标轮廓直线段所在的直线与上述两条边线的交点为上述关键点。

在本公开的一种示例性实施例中，基于前述实施例上述两条边线为上述图像的左边线和上述图像的右边线。

在本公开的一种示例性实施例中，基于前述实施例上述根据上述关键点的当前位置信息和矫正处理后的目标位置信息确定映射关系，包括：

在同一坐标系中，获取与上述关键点在上述图像中的当前位置坐标，以及，确定上述关键点在上述图像中的目标位置坐标；

根据上述当前位置坐标和上述目标位置坐标，确定上述映射关系。

在本公开的一种示例性实施例中，基于前述实施例上述根据上述映射关系，对上述图像进行透视变换，包括：

将上述图像中的像素位置信息作为原坐标，根据上述映射关系，将上述原坐标转为目标坐标。

根据本公开的第二方面，提供了一种图像的矫正处理装置，上述装置包括：轮廓线获取模块，被配置为获取图像中对象的轮廓直线段，得到第一直线段集合；目标轮廓线确定模块，被配置为根据目标对象的形状特征，在上述第一直线段集合中确定目标轮廓直线段；映射关系确定模块，被配置为获取与上述目标轮廓直线段相关的关键点，并根据上述关键点的当前位置信息和矫正处理后的目标位置信息确定映射关系；以及，变换模块，被配置为根据上述映射关系，对上述图像进行透视变换，以使矫正处理后的图像中上述目标对象与用户视角基本垂直。

在本公开的一种示例性实施例中，基于前述实施例，上述轮廓直线段获取模块，包括：预处理单元和直线检测单元。其中：

上述预处理单元被配置为：对上述图像进行预处理得到预处理后的图像；上述直线检测单元被配置为：通过直线检测获取上述预处理后的图像中对象的轮廓直线段。

在本公开的一种示例性实施例中，基于前述实施例，上述目标轮廓直线段确定模块，包括：滑窗处理单元和目标窗口确定单元。其中：

上述滑窗处理单元被配置为：通过滑动窗口方式处理上述第一直线段集合中的轮廓直线段；上述目标窗口确定单元被配置为：根据目标对象的形状特征确定目标窗口，以及在上述目标窗口对应的第二轮廓集合中获取至少两条目标轮廓直线段。

在本公开的一种示例性实施例中，基于前述实施例，上述图像的矫正处理装置还包括：直线段筛选模块。其中：

上述直线段筛选模块被配置为：在上述滑窗处理单元确定目标轮廓直线段之前，根据上述目标对象在上述图像中的位置特征，对上述第一直线段集合进行筛选。

在本公开的一种示例性实施例中，基于前述实施例，上述映射关系确定模块，被具体配置为：确定与上述图像的边缘平行的两条边线；以及，确定上述目标轮廓直线段所在的直线与上述两条边线的交点为上述关键点。

在本公开的一种示例性实施例中，基于前述实施例，上述两条边线为上述图像的左边线和上述图像的右边线。

在本公开的一种示例性实施例中，基于前述实施例，上述映射关系确定模块，还被具体配置为：在同一坐标系中，获取与上述关键点在上述图像中的当前位置坐标，以及，确定上述关键点在上述图像中的目标位置坐标；根据上述当前位置坐标和上述目标位置坐标，确定上述映射关系。

在本公开的一种示例性实施例中，基于前述实施例，上述变换模块，被具体配置为：将上述图像中的像素位置信息作为原坐标，根据上述映射关系，将上述原坐标转为目标坐标。

根据本公开的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，上述计算机程序被处理器执行时实现上述第一方面中任意实施例上述的图像的矫正处理方法。

根据本公开的第四方面，提供一种电子设备，包括：处理器；以及存储器，用于存储上述处理器的可执行指令；其中，上述处理器配置为经由执行上述可执行指令来执行上述第一方面中任意实施例上述的图像的矫正处理方法。

本公开示例性实施例可以具有以下部分或全部有益效果：

在本公开的一示例实施方式所提供的图像的矫正处理方法中，首先获取图像中对象的轮廓直线段，然后，根据目标对象(例如图像中的兴趣部分)的形状特征，在上述第一直线段集合中确定目标轮廓直线段。进一步地，获取与上述目标轮廓直线段相关的关键点，并根据关键点的当前位置信息和矫正处理后的目标位置信息确定映射关系；最后，根据映射关系，对图像进行透视变换，以使矫正处理后的图像中上述目标对象与用户视角基本垂直。本技术方案能够批量矫正斜拍生成的图像的质量，使得用户方便快捷的获取图像中目标对象信息。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了可以应用本公开实施例的一种图像的矫正处理方法及装置的示例性系统架构的示意图；

图2示意性示出了根据本公开的一实施例的图像的矫正处理方法的流程图；

图3示意性示出了根据本公开的一实施例的待矫正处理的图像；

图4示意性示出了根据本公开的一实施例的直线段获取方法的流程图；

图5示意性示出了本公开一实施例中轮廓直线段的示意图；

图6示意性示出了本公开另一实施例中轮廓直线段的属性值的确定方法示意图；

图7示意性示出了根据本公开的一实施例的目标轮廓直线段获取方法的流程图；

图8示意性示出了根据本公开的一实施例的关键点的确定方法的示意图；

图9示意性示出了根据本公开的一实施例的关键点的确定方法的流程图；

图10示意性地示出了根据本公开一实施例的矫正处理后的图像；

图11示意性示出了根据本公开的一实施例的图像的矫正处理装置的结构图；

图12示出了适于用来实现本公开实施例的电子设备的计算机系统的结构示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

图1示出了可以应用本公开实施例的一种图像的矫正处理方法及装置的示例性应用环境的系统架构的示意图。

如图1所示，系统架构100可以包括终端设备101、102、103中的一个或多个，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。终端设备101、102、103可以是具有显示屏的各种电子设备，包括但不限于台式计算机、便携式计算机、智能手机和平板电脑等等。应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。比如服务器105可以是多个服务器组成的服务器集群等。

本公开实施例所提供的图像的矫正处理方法一般由服务器105执行，相应地，图像的矫正处理装置一般设置于服务器105中。但本领域技术人员容易理解的是，本公开实施例所提供的图像的矫正处理方法也可以由终端设备101、102、103执行，相应的，图像的矫正处理装置也可以设置于终端设备101、102、103中，本示例性实施例中对此不做特殊限定。

举例而言，在一种示例性实施例中，可以是终端设备101、102、103获取待处理的图像并发送至服务器105，从而，服务器105在上述图像中获取图像所包含对象的轮廓直线段，得到第一直线段集合；然后，服务器105根据目标对象的形状特征，在上述第一直线段集合中确定目标轮廓直线段。进一步地，服务器105获取与上述目标轮廓直线段相关的关键点，并根据上述关键点的当前位置信息和矫正处理后的目标位置信息确定映射关系；服务器105再根据上述映射关系，对整个图像进行透视变换。示例性的，在矫正处理后的图像中，目标对象与用户视角基本垂直，服务器105还可以将上述矫正处理后的图像发送至终端设备101、102、103，从而，用户可以通过终端设备101、102、103方便地观看上述矫正处理后的图像。

示例性的，一种使用场景可以是：通过街景图像的采集来丰富地理信息系统。具体的，可以通过众包方式采集街景图像，通过街景图像获取兴趣点(Point of Interest，简称：POI)信息。进而，根据POI信息来更新或丰富地理信息系统，以使得地理信息系统更加贴近现实，以方便用户使用。

其中，上述众包方式是一个公司或机构把过去由员工执行的工作任务，以自由自愿的形式外包给非特定的(而且通常是大型的)大众志愿者的做法。上述POI可以是一栋房子、一个商铺、一个邮筒、一个公交站等。

示例性的，以POI为店铺招牌为例进行说明。对于斜拍生成的图像，会导致POI店铺招牌与观察者的时间不垂直(例如，倾斜或旋转等)。从而导致图像中POI店铺招牌形变较大，POI审核人员难以判断店铺招牌上面的文字，使得采集到的照片质量大大下降，甚至可能出现无效图像。

本技术方案旨在解决斜拍生成的图像问题，将斜拍生成的图像进行矫正处理，以使得图像中POI投影到用户视觉平面。从而，提高图像质量以及提升有效图像的占比。进而，可以根据矫正处理后的图像进行后期处理(如，图像识别等)，有利于提升后期处理的效率。

以下对本公开实施例的技术方案进行详细阐述：

图2示意性示出了根据本公开的一实施例的图像的矫正处理方法的流程图。具体的，参考图2，该图所示实施例包括：

步骤S210，获取图像中对象的轮廓直线段，得到第一直线段集合；

步骤S220，根据目标对象的形状特征，在所述第一直线段集合中确定目标轮廓直线段；

步骤S230，获取与所述目标轮廓直线段相关的关键点，并根据所述关键点的当前位置信息和矫正处理后的目标位置信息确定映射关系；以及，

步骤S240，根据所述映射关系，对所述图像进行透视变换，以使矫正处理后的图像中所述目标对象与用户视角基本垂直。

需要说明的是：上述矫正处理后的图像中所述目标对象与上述用户视角之间夹角在[90-l，90+j]度的范围内，其中，l和j均为较小的正数值，例如可以为5或10等。

在图2所示实施例提供的技术方案中，首先获取图像中对象的轮廓直线段，然后，根据目标对象(例如图像中的兴趣部分)的形状特征，在上述第一直线段集合中确定目标轮廓直线段。进一步地，获取与所述目标轮廓直线段相关的关键点，并根据关键点的当前位置信息和矫正处理后的目标位置信息确定映射关系；最后，根据映射关系，对图像进行透视变换，以使矫正处理后的图像中所述目标对象与用户视角基本垂直。本技术方案能够批量矫正斜拍生成的图像的质量，使得用户方便快捷的获取图像中目标对象信息。

以下对图2所示实施例中各个步骤的具体实施方式进行详细阐述：

在示例性的实施例中，步骤S210中的图像可以是包含斜拍POI的图像，为了便于统计图像中的POI，通过本技术方案对图像进行矫正处理。示例性的，参考图3，图像中的POI为店铺招牌为例进行说明。示例性的，图像包含多个对象，如：墙壁、台阶、地砖等。每个对象由各自的轮廓线构成。本实施例中，基于图像中对象的轮廓线显示图像矫正处理。具体的：

在步骤S210中，获取图像中对象的轮廓直线段，得到第一直线段集合。示例性的，图4示意性示出了根据本公开的一实施例的直线段获取方法的流程图。具体的，参考图4，该图所示实施例包括步骤S410-步骤S430。

在步骤S410中，获取原始图像的灰度图，对所述灰度图进行高斯滤波得到模糊图像。

在示例性的实施例中，获取对矫正处理的图像之后先进行高斯滤波，从而为识别图像中的各个对象而抽取出特征(如，边缘纹理的特征等)。示例性的，可以通过高通滤波，得到图像中边缘和纹理细节等高频信号。

在步骤S420中，对所述模糊图像进行边缘检测和膨胀处理，得到预处理后的图像。

在示例性的实施例中，对高斯滤波之后的图像进行关于对象的边缘检测和膨胀处理，从而得到预处理后的图像。

通过步骤S410和步骤S420对矫正处理的图像进行预处理，以提升轮廓直线段的获取准确度。

在步骤S430中，通过直线检测获取所述预处理后的图像中对象的轮廓直线段。

在示例性的实施例中，参考图5，可以通过霍夫变换检测出上述预处理后的图像中对象的轮廓直线段，得到第一直线段集合。示例性的，上述第一直线段集合中，每一轮廓直线段包含以下属性值：直线段在上述图像中呈现的角度值，以及，直线段在上述图像中所处的位置信息。具体的，参考图6，根据图像600的左上，以及左上角为交点的两边确定一坐标系XOY。

其中，根据步骤S430在图像600中检测出轮廓直线段61、轮廓直线段62。其中，轮廓直线段61的属性值包括：在图像600中呈现的角度值N，以及，在图像600中所处的位置信息(如，轮廓直线段61的中点坐标A1(x1，y1))。同理，轮廓直线段62的属性值包括：在图像500中呈现的角度值M，以及，在图像600中所处的位置信息(如，轮廓直线段62的中点坐标A2(x2，y2))。

继续参考图2，在确定上述第一直线段集合之后，在步骤S220中，根据目标对象的形状特征，在所述第一直线段集合中确定目标轮廓直线段。上述目标对象即可以是POI，本实施例中，POI为图像中的店铺招牌。其中，店铺招牌的形状特征包括一组对边的轮廓线一般是平行的，则在图像中，尤其是斜拍图像中，店铺招牌的轮廓直线段表现为基本平行。示例性的，一条轮廓直线段的角度值为α，则与其基本平行的角度值可以在区间[α-Δ，α+Δ]内，其中，Δ为较小度数值，如，5度。

在示例性的实施例中，图7示意性示出了根据本公开的一实施例的目标轮廓直线段获取方法的流程图。具体的，参考图7，该图所示实施例包括步骤S710-步骤S730。

在步骤S710中，根据所述目标对象在所述图像中的位置特征，对所述第一直线段集合进行筛选。

在示例性的实施例中，上述第一直线段集合中包含图像中多个对象的轮廓直线段，为了提升确定目标轮廓线段的效率，可以先根据目标对象在图像中的位置特征筛选上述第一直线段。示例性的，本实施例中，POI为店铺招牌时，其在图像中的位置特征一般是处于图像较靠上的位置。则可以确定一高度阈值，并将高度阈值与上述第一直线段集合中轮廓直线段在图像的中位置信息进行比对，进而，将位于图像较靠下对象的轮廓线段筛除掉，而保留图像中较靠上对象的轮廓直线段，用于后续确定目标轮廓直线段。

在步骤S720中，通过滑动窗口方式处理所述筛选后的第一直线段集合中的轮廓直线段。

在示例性的实施例中，首先可以根据目标对象的形状特征确定滑动窗口的属性值，包括：窗口宽度W和滑动步长step。示例性的，斜拍图像中，店铺招牌的轮廓直线段表现为基本平行，如误差在Δ范围内。则上述窗口宽度W的值属于以下区间：[(tanβ1，tan(β1+Δ))，(tan(β2-Δ)),tanβ2]。示例性的，上述β1可以取值为150度，上述β2可以取值为30度。另外，滑动步长的大小可以根据实际需求确定，本实施例性的实施例中滑动步长step取值为3度。

在示例性的实施例中，以上述窗口宽度值W和上述滑动步长step对上述筛选后的第一直线段集进行检测。示例性的，以角度值A为检测起点，则处于第一窗口中的角度范围为[A，A+W]，对第一窗口中的直线段进行检测以获取基本平行的轮廓直线段的数量；进一步地，根据滑动步长step确定第二窗口，则处于第一窗口中的角度范围为[A+step，A+step+W]，对第二窗口中的直线段进行检测以获取基本平行的轮廓直线段的数量。以此类推，通过上述滑动窗口实现对筛选后的第一直线段集合中的轮廓直线段的检测。

其中，筛选后的第一直线段集中的直线段以极坐标的形式表示。

在步骤S730中，根据目标对象的形状特征确定目标窗口，以及在所述目标窗口对应的第二轮廓集合中获取至少两条目标轮廓直线段。

上本实施例中，目标对象(即，POI店铺招牌)的形状特征确为一组对边基本平行，从而，在步骤S720的处理过程中，获取平行轮廓直线段数量最多的一目标窗口，并在目标窗口对应的第二轮廓集合中获取两条目标轮廓直线段(即上述POI店铺招牌的一组对边)。

示例性的，参考图8，结合目标对象的形状特征以及目标对象在图像中的位置特征，确定目标轮廓直线段为POI店铺招牌的一组对边(S1和S2)。

在示例性的实施例中，在确定上述目标轮廓直线段之后，在步骤S230中，获取与所述目标轮廓直线段相关的关键点。

示例性的，图9示意性示出了根据本公开的一实施例的关键点的确定方法的流程图。具体的，参考图9，该图所示实施例包括步骤S910和步骤S920。

在步骤S910中，确定与所述图像的边缘平行的两条边线。

在示例性的实施例中，斜拍图像中(无论是拍摄镜头处于目标对象的左侧、右侧、上侧或者下侧)，对应于POI的目标轮廓直线段所在的直线与图像的一组对边所在的直线相交，当然，也可以说是与平行于图像边缘的一组平行线相交。

在本实施例中，上述两条边线具体为图像的左边线和所述图像的右边线。参考图8，以图中OL所在的直线为上述左边线，JK所在的直线为上述右边线。

在步骤S920中，确定所述目标轮廓直线段所在的直线与所述两条边线的交点为所述关键点。

示例性的，参考图8，目标轮廓直线段(POI店铺招牌的一组对边)为S1和S2所在的直线分别为T1和T2。在本实施例中，将直线T1、直线T2与上述左边线和右边线的交点作(a、b、c、d)为上述关键点。

在示例性的实施例中，在确定上述关键点之后，在步骤S230中，还根据所述关键点的当前位置信息和矫正处理后的目标位置信息确定映射关系。具体的，在同一坐标系中，获取与所述关键点在所述图像中的当前位置坐标，以及，确定所述关键点在所述图像中的目标位置坐标；以及，根据所述当前位置坐标和所述目标位置坐标，确定所述映射关系。

在示例性的实施例中，上述当前位置信息为斜拍图像(矫正处理前图像)中关键点的位置信息。在本实施例中，通过坐标的信息表示位置信息。则具体确定上述关键点的当前坐标的一种具体实施方式可以是：

将直线T1、直线T2转换为y＝k*x+b形式，得到两个直线方程：y＝k1*x+b1和y＝k2*x+b2。然后，根据两直线方程确定上述关键点的坐标为：a(0，b1)，c(w，k1*w+b1)，b(0，b2)，d(w，k2*w+b2)。

示例性的，图10示意性地示出了根据本公开一实施例的矫正处理后的图像。为了达到矫正处理后的图像中所述目标对象与用户视角基本垂直的视角效果，POI的上述两条轮廓线应当是水平呈现在矫正处理后的图像中。从而，在本实施例中，上述关键点a’与c’的纵坐标应相同，上述关键点b’与d’的纵坐标应相同。从而，可以确定上述关键点的目标位置信息可以为，第一组：a’(0，max(b1,k1*w+b1))，c’(w，max(b1,k1*w+b1))，b(0，max(b2,k2*w+b2))，d(w，max(b2,k2*w+b2))，或第二组：a’(0，min(b1,k1*w+b1))，c’(w，min(b1,k1*w+b1))，b(0，min(b2,k2*w+b2))，d(w，min(b2,k2*w+b2))。

示例性的，根据以下因素：目标对象在图像中所处的位置特征(包括：较靠上、较靠下)以及坐标系的确定方式(以图像左上角为原点、以图像左下角为坐标原点)，确定选择上述第一组或第二组作为关键点的目标坐标信息。在本实施例中，目标对象POI店铺招牌在图像中所处的位置特征为：较靠上，以及坐标系是以图像左上角为原点确定的，从而，选择上述第一组作为关键点的目标坐标信息。

在示例性的实施例中，利用opencv中的getPerspectiveTransform函数，根据上述关键点的当前坐标和目标坐标，计算得到映射矩阵。从而，确定了步骤S230中的映射关系。

继续参考图2，在确定上述映射关系之后，在步骤S240中，根据所述映射关系，对所述图像进行透视变换，以使矫正处理后的图像中所述目标对象与用户视角基本垂直。

在示例性的实施例中，利用上述映射矩阵将整张图像做透视变换。具体的，利用opencv中的warpPerspective函数，传入待矫正处理的图像和上述映射矩阵，实现透视变换。从而将上述图像中各像素的位置信息作为原坐标，根据所述映射关系，将上述原坐标转为目标坐标，得到图10所示的矫正处理后的图像。

通过本技术方案可以解决斜拍图像中查看POI不便的问题，通过本技术方案将斜拍图像进行矫正处理，能够有效提升图像质量。进而，根据矫正处理后的图像进行后期处理(如，图像识别等)，有利于提升后期处理的效率。例如，在应用光学字符识别(OpticalCharacter Recognition，简称：OCR)等技术识别图像中的文字时，经过本技术方案处理后的图像的识别准确度得到显著提升。

本领域技术人员可以理解实现上述实施方式的全部或部分步骤被实现为由处理器(包含CPU和GPU)执行的计算机程序。在该计算机程序被处理器执行时，执行本公开提供的上述方法所限定的上述功能。所述的程序可以存储于一种计算机可读存储介质中，该存储介质可以是只读存储器，磁盘或光盘等。

此外，需要注意的是，上述附图仅是根据本公开示例性实施方式的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

进一步的，本示例实施方式中，还提供了一种图像的矫正处理装置。参考图11所示，该图像的矫正处理装置1100包括：轮廓线获取模块1101、目标轮廓线确定模块1102、映射关系确定模块1103以及变换模块1104。其中：

上述轮廓线获取模块，被配置为获取图像中对象的轮廓直线段，得到第一直线段集合；

上述目标轮廓线确定模块1102，被配置为根据目标对象的形状特征，在上述第一直线段集合中确定目标轮廓直线段；

上述映射关系确定模块1103，被配置为获取与上述目标轮廓直线段相关的关键点，并根据上述关键点的当前位置信息和矫正处理后的目标位置信息确定映射关系；

上述变换模块1104，被配置为根据上述映射关系，对上述图像进行透视变换，以使矫正处理后的图像中上述目标对象与用户视角基本垂直。

在本公开的一种示例性实施例中，基于前述实施例，上述轮廓直线段获取模块1101，包括：预处理单元和直线检测单元。其中：

上述预处理单元被配置为：对上述图像进行预处理得到预处理后的图像；上述直线检测单元被配置为：通过直线检测获取上述预处理后的图像中对象的轮廓直线段。

在本公开的一种示例性实施例中，基于前述实施例，上述目标轮廓直线段确定模块1102，包括：滑窗处理单元和目标窗口确定单元。其中：

上述滑窗处理单元被配置为：通过滑动窗口方式处理上述第一直线段集合中的轮廓直线段；上述目标窗口确定单元被配置为：根据目标对象的形状特征确定目标窗口，以及在上述目标窗口对应的第二轮廓集合中获取至少两条目标轮廓直线段。

在本公开的一种示例性实施例中，基于前述实施例，上述图像的矫正处理装置1100还包括：直线段筛选模块。其中：

上述直线段筛选模块被配置为：在上述滑窗处理单元确定目标轮廓直线段之前，根据上述目标对象在上述图像中的位置特征，对上述第一直线段集合进行筛选。

在本公开的一种示例性实施例中，基于前述实施例，上述映射关系确定模块1103，被具体配置为：确定与上述图像的边缘平行的两条边线；以及，确定上述目标轮廓直线段所在的直线与上述两条边线的交点为上述关键点。

在本公开的一种示例性实施例中，基于前述实施例，上述两条边线为上述图像的左边线和上述图像的右边线。

在本公开的一种示例性实施例中，基于前述实施例，上述映射关系确定模块1103，还被具体配置为：在同一坐标系中，获取与上述关键点在上述图像中的当前位置坐标，以及，确定上述关键点在上述图像中的目标位置坐标；根据上述当前位置坐标和上述目标位置坐标，确定上述映射关系。

在本公开的一种示例性实施例中，基于前述实施例，上述变换模块1104，被具体配置为：将上述图像中的像素位置信息作为原坐标，根据上述映射关系，将上述原坐标转为目标坐标。

上述图像的矫正处理装置中各模块或单元的具体细节已经在对应的图像的矫正处理方法中进行了详细的描述，因此此处不再赘述。

图12示出了适于用来实现本发明实施例的电子设备的计算机系统的结构示意图。

需要说明的是，图12示出的电子设备的计算机系统1200仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图12所示，计算机系统1200包括处理器1201，其中处理器1201可以包含：图形处理单元(Graphics Processing Unit，GPU)、中央处理单元(Central Processing Unit，CPU)，其可以根据存储在只读存储器(Read-Only Memory，ROM)1202中的程序或者从储存部分1208加载到随机访问存储器(Random Access Memory，RAM)1203中的程序而执行各种适当的动作和处理。在RAM 1203中，还存储有系统操作所需的各种程序和数据。处理器(GPU/CPU)1201、ROM 1202以及RAM 1203通过总线1204彼此相连。输入/输出(Input/Output，I/O)接口1205也连接至总线1204。

以下部件连接至I/O接口1205：包括键盘、鼠标等的输入部分1206；包括诸如阴极射线管(Cathode Ray Tube，CRT)、液晶显示器(Liquid Crystal Display，LCD)等以及扬声器等的输出部分1207；包括硬盘等的储存部分1208；以及包括诸如LAN(Local AreaNetwork，局域网)卡、调制解调器等的网络接口卡的通信部分1209。通信部分1209经由诸如因特网的网络执行通信处理。驱动器1210也根据需要连接至I/O接口1205。可拆卸介质1211，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1210上，以便于从其上读出的计算机程序根据需要被安装入储存部分1208。

特别地，根据本公开的实施例，下文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1209从网络上被下载和安装，和/或从可拆卸介质1211被安装。在该计算机程序被处理器(GPU/CPU)1201执行时，执行本申请的系统中限定的各种功能。在一些实施例中，计算机系统1200还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

需要说明的是，本公开实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。

作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现上述实施例中所述的方法。

例如，所述的电子设备可以实现如图2中所示的：步骤S210，获取图像中对象的轮廓直线段，得到第一直线段集合；步骤S220，根据目标对象的形状特征，在所述第一直线段集合中确定目标轮廓直线段；步骤S230，获取与所述目标轮廓直线段相关的关键点，并根据所述关键点的当前位置信息和矫正处理后的目标位置信息确定映射关系；以及，步骤S240，根据所述映射关系，对所述图像进行透视变换，以使矫正处理后的图像中所述目标对象与用户视角基本垂直。

又如，所述的电子设备可以实现如图3至图8中所示的各个步骤。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本公开实施方式的方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种图像的矫正处理方法，其特征在于，所述方法包括：

获取图像中对象的轮廓直线段，得到第一直线段集合；

根据目标对象的形状特征，在所述第一直线段集合中确定目标轮廓直线段；

获取与所述目标轮廓直线段相关的关键点，并根据所述关键点的当前位置信息和矫正处理后的目标位置信息确定映射关系；

根据所述映射关系，对所述图像进行透视变换，以使矫正处理后的图像中所述目标对象与用户视角基本垂直。

2.根据权利要求1所述的图像的矫正处理方法，其特征在于，所述获取图像中对象的轮廓直线段，包括：

对所述图像进行预处理得到预处理后的图像；

通过直线检测获取所述预处理后的图像中对象的轮廓直线段。

3.根据权利要求1所述的图像的矫正处理方法，其特征在于，所述根据目标对象的形状特征，在所述第一直线段集合中确定目标轮廓直线段，包括：

通过滑动窗口方式处理所述第一直线段集合中的轮廓直线段；

根据目标对象的形状特征确定目标窗口，以及在所述目标窗口对应的第二轮廓集合中获取至少两条目标轮廓直线段。

4.根据权利要求3所述的图像的矫正处理方法，其特征在于，在所述确定目标轮廓直线段之前，所述方法还包括：

根据所述目标对象在所述图像中的位置特征，对所述第一直线段集合进行筛选。

5.根据权利要求3所述的图像的矫正处理方法，其特征在于，所述获取与所述目标轮廓直线段相关的关键点，包括：

确定与所述图像的边缘平行的两条边线；

确定所述目标轮廓直线段所在的直线与所述两条边线的交点为所述关键点。

6.根据权利要求5所述的图像的矫正处理方法，其特征在于，所述两条边线为所述图像的左边线和所述图像的右边线。

7.根据权利要求3至6中任意一项所述的图像的矫正处理方法，其特征在于，所述根据所述关键点的当前位置信息和矫正处理后的目标位置信息确定映射关系，包括：

在同一坐标系中，获取与所述关键点在所述图像中的当前位置坐标，以及，确定所述关键点在所述图像中的目标位置坐标；

根据所述当前位置坐标和所述目标位置坐标，确定所述映射关系。

8.根据权利要求1所述的图像的矫正处理方法，其特征在于，所述根据所述映射关系，对所述图像进行透视变换，包括：

将所述图像中的像素位置信息作为原坐标，根据所述映射关系，将所述原坐标转为目标坐标。

9.一种图像的矫正处理装置，其特征在于，所述装置包括：

轮廓线获取模块，被配置为获取图像中对象的轮廓直线段，得到第一直线段集合；

目标轮廓线确定模块，被配置为根据目标对象的形状特征，在所述第一直线段集合中确定目标轮廓直线段；

映射关系确定模块，被配置为获取与所述目标轮廓直线段相关的关键点，并根据所述关键点的当前位置信息和矫正处理后的目标位置信息确定映射关系；

变换模块，被配置为根据所述映射关系，对所述图像进行透视变换，以使矫正处理后的图像中所述目标对象与用户视角基本垂直。

10.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至8中任意一项所述的图像的矫正处理方法。

Images