CN108038826A - 透视变形的搁架图像的校正方法和装置 - Google Patents

Abstract

本申请公开了一种搁架图像的校正方法和装置，其中方法包括：提取搁架图像的一部分，作为子图像；提取子图像的边缘特征；识别边缘特征中的线段；基于边缘特征中的线段，分别确定在将子图像分割为上、下两部分后上、下两部分中的最长线段；将最长线段所在的直线与子图像边缘相交得到的交点作为基准点，计算透视校正矩阵；利用透视校正矩阵对搁架图像进行透视变换，得到校正后的搁架图像。本申请的搁架图像的校正方法，由于考虑到搁架的图像的特殊性，采用边缘检测算法和直线检测算法结合，能够很好地识别搁架的各个层板，从而得到校正矩阵的基准点，通过校正矩阵对整个图片进行校正，从而实现对搁架图片的校正。

Description

透视变形的搁架图像的校正方法和装置

技术领域

本申请涉及图像处理方法和装置，特别是涉及搁架图像的校正方法和装置，尤其是透视变形的货架图像的校正方法和装置，以及计算机设备、计算机可读存储介质和计算机程序产品。

背景技术

在现实生活中，通过手持设备对搁架，诸如货架进行拍摄获得的照片，通常存在透视变形的问题。现有技术中存在对诸如文档的二维平面物体的照片的校正方法，并且取得了较好的效果。其原因在于，文档是为二维平面物体，且内容规整，线段方向多为垂直或水平，通过形态学变换后，可以通过聚类，获得水平消失线与垂直消失线。例如，一种文档照片处理方法中所公开的技术可以解决透视变形文档的校正问题，该技术的核心方法是通过聚类的方式获得文档的水平消失线及垂直消失线，以确定透视校正矩阵。然而这种方法并不能应用在对货架照片的校正上。因为在货架照片中，货架及其中的货物，均为三维立体物，各种货物包装各异，且货架周边的环境复杂，因此货架照片无法通过聚类方法确定水平与垂直方向。

发明内容

本申请的目的在于克服上述问题或者至少部分地解决或缓减解决上述问题。

根据本申请的一个方面，提供了一种搁架图像的校正方法，包括：

步骤1，提取搁架图像的一部分，作为子图像；

步骤2，提取所述子图像的边缘特征；

步骤3，识别所述边缘特征中的线段；

步骤4，基于所述边缘特征中的线段，分别确定在将所述子图像分割为上、下两部分后所述上、下两部分中的最长线段；

步骤5，将所述最长线段所在的直线与所述子图像边缘相交得到的交点作为基准点，计算透视校正矩阵；

步骤6，利用所述透视校正矩阵对所述搁架图像进行透视变换，得到校正后的搁架图像。

本申请的搁架图像校正方法，由于考虑到搁架的图像的特殊性，采用边缘检测算法和直线检测算法结合，能够很好地识别搁架的各个层板，从而得到校正矩阵的基准点，通过校正矩阵对整个图片进行校正，从而实现对搁架图片的校正。

可选地，所述提取搁架图像的一部分，所述步骤1包括：将搁架图像分割成三行三列，提取中央的部分，作为子图像。

本申请的采用九宫格方式将搁架图像进行分割，提取搁架图像的中央部分，作为子图像，并对子图像进行处理，能够排除图像边缘变形对图像处理质量的影响，减小了计算量。

可选地，所述步骤2包括：利用索贝尔(Sobel)边缘检测算法提取所述子图像的边缘特征。

可选地，所述步骤3：利用霍夫(Hough)变换识别所述边缘特征中的线段。

考虑到搁架图像的特殊性，使用霍夫变换能够很好地识别层板，从而对后续的透视校正矩阵提供参考数据。

根据本申请的另一个方面，提供了一种搁架图像校正的装置，包括：

图像提取单元，所述图像提取单元被配置成提取搁架图像的一部分，作为子图像；

边缘特征提取单元，所述边缘特征提取单元被配置成提取所述图像提取单元得到的所述子图像的边缘特征；

线段识别单元，所述线段识别单元被配置成识别所述边缘特征提取单元得到的所述边缘特征中的线段；

最长线段确定单元，所述最长线段确定单元被配置成基于所述线段识别单元中的所述线段，分别确定在将所述子图像分割为上、下两部分后所述上、下两部分中的最长线段；

透视校正矩阵计算单元，所述透视校正矩阵计算单元被配置成将所述最长线段确定单元得到的所述最长线段所在的直线与所述子图像边缘相交得到的交点作为基准点，计算透视校正矩阵；

图像校正单元，所述图像校正单元被配置成利用所述透视校正矩阵计算单元得到的所述透视校正矩阵对所述搁架图像进行透视变换，得到校正后的搁架图像。

可选地，所述图像提取单元被配置成将搁架图像分割成三行三列，提取中央的部分，作为子图像。

可选地，其特征在于，所述边缘特征提取单元被配置成利用索贝尔边缘检测算法提取所述子图像的边缘特征。

根据本申请的另一个方面，提供了一种计算机设备，包括存储器、处理器和存储在所述存储器内并能由所述处理器运行的计算机程序，其中，所述处理器执行所述计算机程序时实现上述的搁架图像的校正方法。

根据本申请的另一个方面，提供了一种计算机可读存储介质，优选为非易失性可读存储介质，其内存储有计算机程序，所述计算机程序在由处理器执行时实现上述的搁架图像的校正方法。

根据本申请的另一个方面，提供了一种计算机程序产品，包括计算机可读代码，当所述计算机可读代码由计算机设备执行时，导致所述计算机设备执行上述的搁架图像的校正方法。

根据下文结合附图对本申请的具体实施例的详细描述，本领域技术人员将会更加明了本申请的上述以及其他目的、优点和特征。

附图说明

后文将参照附图以示例性而非限制性的方式详细描述本申请的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解，这些附图未必是按比例绘制的。附图中：

图1是根据本申请搁架图像校正方法的一个实施方式的流程图；

图2是搁架图像的一个示例；

图3是对搁架图像的子图像进行边缘特征提取和霍夫变换后的图像；

图4是对搁架图像的子图像进行线段检测和校正的示意图；

图5是对校正后的搁架图像的一个示例；

图6是根据本申请搁架图像校正装置的一个实施方式的框图。

具体实施方式

根据下文结合附图对本申请的具体实施例的详细描述，本领域技术人员将会更加明了本申请的上述以及其他目的、优点和特征。

参见图1，本发明提供了一种搁架图像校正方法，其中，搁架图像如图2所示，该方法包括下列步骤：

步骤1，提取搁架图像的一部分，作为子图像；

步骤2，提取子图像的边缘特征；

步骤3，识别边缘特征中的线段；

步骤4，基于边缘特征中的线段，分别确定在将该子图像分割为上、下两部分后该上、下两部分中的最长线段；

步骤5，将该最长线段所在的直线与该子图像边缘相交得到的交点作为基准点，计算透视校正矩阵；

步骤6，利用该透视校正矩阵对该搁架图像进行透视变换，得到校正后的搁架图像。

在本申请中，搁架应当做广泛的理解，可以理解成能够搁置物品的架子，诸如，货架、书架、花架等。

在一个优选的实施方案中，该提取搁架图像的一部分，作为子图像的步骤可以包括：

将搁架图像分割成三行三列，提取中央的部分，作为子图像。

具体地，采用九宫格的形式将搁架图像分成九个部分，提取最中间的部分，作为子图像。由于通常而言，拍摄的图像中最中间的部分变形程度最低，因此利用该部分进行运算，能够得到较好的透视校正矩阵。可以理解的是，也可以将搁架图像分为其他数量的部分，选择变形程度最低的部分作为子图像。

本申请选择图像的中间部分作为子图像的原因是为了减少计算量，并且由于图像中间部分一般是货架，因此选择这部分进行处理会使得计算结果更加准确。

在一个优选的实施方案中，该提取该子图像的边缘特征的步骤具体为：

利用索贝尔边缘检测算法提取该子图像的边缘特征。

具体的，该步骤可以包括：

(1)分别将水平模板和竖直模板的中心与搁架图像中的一个像素重合；

(2)将模板内的系数与该搁架图像中对应的像素值相乘；

具体地，以大小为3的卷积核为例，计算采用如下公式(1)和(2)：

其中，G_x为搁架图像x方向的近似梯度，G_y为搁架图像y方向的近似梯度，I为该搁架图像中对应的像素值；

(3)将水平模板和竖直模板沿着搁架图像移动到下一个像素，重复步骤(2)；

(4)分别将利用水平模板和竖直模板得到的所有相乘后的结果相加，计算采用如下公式(3)：

G＝|G_x|+|G_y| (3)

其中，G为梯度的近似值，|G_x|和|G_y|分别为G_x和G_y的绝对值。

(5)取两个相加后的值，赋予步骤(1)中搁架图像中的该像素，作为该像素的新的灰度值；

(6)选择适当的阈值，如果新像素的灰度值大于或者等于该阈值，则认为该像素是搁架图像的边缘特征。

边缘特征提取的结果如图3所示，可以看出，搁架的层板成直线或者基本连续的线段，其他货物的边缘特征也能够体现出来，但是通常不是直线或者基本连续的线段。

可以理解地是，也可以采用其他边缘检测算法实现，例如，Roberts算法，Prewitt算法，Canny算法和Log算法等。

在一个优选的实施方案中，该识别该边缘特征中的线段的步骤包括：利用霍夫变换识别该边缘特征中的线段。

具体地，该步骤可以采用如下方法：

(1)根据子图像的尺寸选择适当大小的霍夫变换累加器；

(2)对子图像作霍夫变换，将结果存入霍夫变换累加器；

(3)根据设定的阈值将霍夫变换累加器中累加值小于阈值的点的累加值设置为零；

(4)将霍夫变换累加器中的累加值按照从大到小排序，并记录对应的点；

(5)将对应的点依次连接，得到线段。

如图3所示，最上方和最下方的两条较粗的灰色直线为利用霍夫变换识别的最长线段，优选地，可以对得到的线段标注颜色，以便更加直观地观测。

可以理解的是，也可以选择其他变换算法识别线段，例如，LSD(Line SegmentDetector直线分段检测器)算法。

基于该边缘特征中的线段，分别确定在将该子图像分割为上、下两部分后该上、下两部分中的最长线段。将子图像分成两部分，是为了尽可能多得利用子图像中的货架数据。通过线段长度的比较，得到两个部分最长的两个线段。

优选地，将该最长线段所在的直线与该子图像边缘相交得到的交点作为基准点，计算透视校正矩阵。

具体地，计算透视校正矩阵的步骤是：

如图4所示，黑色方框表示子图像范围，中间黑色斜线为检测到的最长线段。在该图中，(x₀,y₀)、(x₂,y₂)之间的线段以及(x₄,y₄)、(x₃,y₃)之间的线段构成了两个最长线段。在校正后的图像中，这两个线段应当分别被校正为变为由(u₀,v₀)、(u₂,v₂)和(u₄,v₄)、(u₃,v₃)构成的平行线段，如图5中虚线所示。透视校正矩阵的计算步骤具体是：将4个交点的像素灰度值和校正后的像素灰度值代入下面的公式(4)，可以得到透视校正矩阵的系数m_ij，因而得到透视校正矩阵M_s，M_s的形式如公式(5)所示。

其中，(x_i,y_i)是第i个像素点的像素灰度值，(u_i,v_i)是校正后的第i个像素点的像素灰度值，(u_i,v_i)为校正后像素点i的像素灰度值，M_s为透视校正矩阵，为第i个像素点的向量，优选地，i＝1,2,3,4。

得到透视校正矩阵后，搁架图像的其他部分可以采用该透视校正矩阵进行校正，得到校正后的搁架图像，参见图5，可见，原始的变形的搁架图像已经被校正成水平角度拍摄的搁架图像，从而能对搁架上的商品进行更好地识别。便于后期对图像进行全景拼接等。

本发明通过选择中央子图像中的最长线段，获取货架照片中层板的方向，再通过层板的方向，对图片的其他部分进行透视校正，因此图片的校正成功率较高。

参见图6，根据本发明的另一方面，还提供了一种搁架图像校正装置，包括：

图像提取单元，该图像提取单元被配置成提取搁架图像的一部分，作为子图像；

边缘特征提取单元，该边缘特征提取单元被配置成提取图像提取单元得到的子图像的边缘特征；

线段识别单元，该线段识别单元被配置成识别边缘特征提取单元得到的边缘特征中的线段；

最长线段确定单元，该最长线段确定单元被配置成基于线段识别单元中的线段，分别确定在将子图像分割为上、下两部分后上、下两部分中的最长线段；

透视校正矩阵计算单元，该透视校正矩阵计算单元被配置成将最长线段确定单元得到的最长线段所在的直线与子图像边缘相交得到的交点作为基准点，计算透视校正矩阵；

图像校正单元，该图像校正单元被配置成利用透视校正矩阵计算单元得到的透视校正矩阵对搁架图像进行透视变换，得到校正后的搁架图像。

在一个优选的实施方案中，该图像提取单元具体被配置成将搁架图像分割成三行三列，提取中央的部分，作为子图像。

在一个优选的实施方案中，该边缘特征提取单元具体被配置成利用索贝尔边缘检测算法提取该子图像的边缘特征。

优选地，边缘特征提取单元包括：

(1)像素选择模块，被配置成分别将水平模板和竖直模板的中心与搁架图像中的一个像素重合；

(2)乘法模块，被配置成将模板内的系数与该搁架图像中对应的像素值相乘；

(3)模板移动模块，被配置成将水平模板和竖直模板沿着搁架图像移动到下一个像素，并重新执行乘法模块；

(4)加法模块，被配置成分别将利用水平模板和竖直模板得到的所有相乘后的结果相加；

(5)比较模块，被配置成取两个相加后的值中的最大值，赋予像素选择模块中搁架图像中的该像素，作为该像素的新的灰度值；

(6)边缘特征确认模块，被配置成选择适当的阈值，如果新像素的灰度值大于或者等于该阈值，则认为该像素是搁架图像的边缘特征。

在一个优选的实施方案中，线段识别单元，该线段识别单元被配置成识别该边缘特征中的线段。

具体地，线段识别单元可以包括：

(1)霍夫变换累加器选择模块，被配置成根据子图像的尺寸选择适当大小的霍夫变换累加器；

(2)霍夫变换模块，被配置成对子图像作霍夫变换，将结果存入霍夫变换累加器；

(3)阈值比较模块，被配置根据设定的阈值将霍夫变换累加器中累加值小于阈值的点的累加值设置为零；

(4)排序模块，被配置成将霍夫变换累加器中的累加值按照从大到小排序，并记录对应的点；

(5)线段取得模块，被配置成将对应的点依次连接，得到线段。

在一个优选的实施方案中，透视校正矩阵计算单元，该透视校正矩阵计算单元被配置成将该最长线段所在的直线与该子图像边缘相交得到的交点作为基准点，计算透视校正矩阵。透视校正矩阵的计算过程与上述搁架图像校正方法中透视校正矩阵的计算方法相同或者相似。

可选地，在本申请中，搁架图像校正的装置也可以理解为与搁架图像校正的方法对应一致的装置，因此搁架图像校正的装置的各个模块实现的功能与方法中的各个步骤对应一致。

根据本发明的另一个方面，还提供了一种计算机设备，包括存储器、处理器和存储在该存储器内并能由该处理器运行的计算机程序，其中，该处理器执行该计算机程序时实现上述的搁架图像校正方法。

根据本发明的另一个方面，还提供了一种计算机可读存储介质，优选为非易失性可读存储介质，其内存储有计算机程序，该计算机程序在由处理器执行时实现上述的搁架图像校正方法。

根据本发明的另一个方面，还提供了一种计算机程序产品，包括计算机可读代码，当该计算机可读代码由计算机设备执行时，导致该计算机设备执行上述的搁架图像校正方法。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、获得其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令处理器完成，所述的程序可以存储于计算机可读存储介质中，所述存储介质是非短暂性(英文：non-transitory)介质，例如随机存取存储器，只读存储器，快闪存储器，硬盘，固态硬盘，磁带(英文：magnetic tape)，软盘(英文：floppy disk)，光盘(英文：optical disc)及其任意组合。

以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (10)

1.一种搁架图像的校正方法，包括：

步骤1，提取搁架图像的一部分，作为子图像；

步骤2，提取所述子图像的边缘特征；

步骤3，识别所述边缘特征中的线段；

步骤4，基于所述边缘特征中的线段，分别确定在将所述子图像分割为上、下两部分后所述上、下两部分中的最长线段；

步骤5，将所述最长线段所在的直线与所述子图像边缘相交得到的交点作为基准点，计算透视校正矩阵；

步骤6，利用所述透视校正矩阵对所述搁架图像进行透视变换，得到校正后的搁架图像。

2.根据权利要求1中所述的搁架图像的校正方法，其特征在于，所述步骤1包括：将所述搁架图像分割成三行三列，提取中央的部分作为子图像。

3.根据权利要求1所述的搁架图像的校正方法，其特征在于，所述步骤2包括：利用索贝尔边缘检测算法提取所述子图像的边缘特征。

4.根据权利要求1至3中任一项所述的搁架图像的校正方法，其特征在于，所述步骤3包括：利用霍夫变换识别所述边缘特征中的线段。

5.一种搁架图像校正装置，包括：

图像提取单元，所述图像提取单元被配置成提取搁架图像的一部分，作为子图像；

边缘特征提取单元，所述边缘特征提取单元被配置成提取所述图像提取单元得到的所述子图像的边缘特征；

线段识别单元，所述线段识别单元被配置成识别所述边缘特征提取单元得到的所述边缘特征中的线段；

最长线段确定单元，所述最长线段确定单元被配置成基于所述线段识别单元中的所述线段，分别确定在将所述子图像分割为上、下两部分后所述上、下两部分中的最长线段；

透视校正矩阵计算单元，所述透视校正矩阵计算单元被配置成将所述最长线段确定单元得到的所述最长线段所在的直线与所述子图像边缘相交得到的交点作为基准点，计算透视校正矩阵；

图像校正单元，所述图像校正单元被配置成利用所述透视校正矩阵计算单元得到的所述透视校正矩阵对所述搁架图像进行透视变换，得到校正后的搁架图像。

6.根据权利要求5所述的搁架图像的校正装置，其特征在于，所述图像提取单元被配置成将搁架图像分割成三行三列，提取中央的部分，作为子图像。

7.根据权利要求5或6所述的搁架图像的校正装置，其特征在于，所述边缘特征提取单元被配置成利用索贝尔边缘检测算法提取所述子图像的边缘特征。

8.一种计算机设备，包括存储器、处理器和存储在所述存储器内并能由所述处理器运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如权利要求1至4中任一项所述的搁架图像的校正方法。

9.一种计算机可读存储介质，优选为非易失性可读存储介质，其内存储有计算机程序，所述计算机程序在由处理器执行时实现如权利要求1至4中任一项所述的搁架图像的校正方法。

10.一种计算机程序产品，包括计算机可读代码，当所述计算机可读代码由计算机设备执行时，导致所述计算机设备执行如权利要求1至4中任一项所述的搁架图像的校正方法。