CN117333374A - 一种基于图像直线段信息的书脊图像校正方法 - Google Patents

Abstract

本发明提供了一种基于图像直线段信息的书脊图像校正方法，属于图像处理技术领域，对原始图像进行分割处理，获取原始分割图像的分割掩膜，并计算掩膜边缘曲线；根据掩膜边缘曲线，计算近似直线段组各直线段的倾角数据，根据线性旋转变换矩阵进行旋转变换，获取分割变换图像；根据分割变换图像进行仿射变换处理，获取粗校正分割图像；通过直线段检测模型检测预处理分割图像中的直线段信息，获取斜率参数，计算透视变换矩阵对粗校正分割图像进行透视变换；识别透视分割图像的无效区域进行裁切，获取校正书脊图像。上述方法解决了书脊图像存在扭转失真、透视失真、旋转失真以及边角失真的问题，方便图书盘点后续过程中对书脊图像的识别处理。

Description

一种基于图像直线段信息的书脊图像校正方法

技术领域

本发明涉及图像处理技术领域，特别涉及一种基于图像直线段信息的书脊图像校正方法。

背景技术

目前，在对图书馆内的书籍进行盘点过程中，需要对每一本书籍的书脊进行一次拍摄，由于设备、时间等限制，并不具备可执行性。

因此，现有的解决方案往往通过图像采集设备，对多本在架书籍的书脊基于一张数字图像中进行采集，并通过各类数字信号处理、机器学习或深度学习方法对数字图像进行分割，以得到每本书籍的书脊图像。

所采集到的书脊图像，通常具有以下四种类型的失真：

由于书籍本身作为一种非刚体固体，其本身往往存在由摆放、临近书籍挤压、装订老化等因素在长、宽、高三维度上造成的扭转，这导致其书脊经采集、分割后的图像，相比纯平面的真值图像并不总是一个简单的平行四边形，因而出现扭转失真；

当书籍的书脊面因透视关系，在图像采集平面上的投影与平面的中心偏离时，出现透视失真；

当书籍存在倾角时，采集、分割得到的图像与图像真值存在线性旋转偏差，出现旋转失真；

当分割模型对含有多个书脊的图像中，相对书架倾斜角度较大的书脊进行分割时，受各类算法本身的局限性，使得到的掩膜区域并不总是包含书脊的全部边线与边缘角点，出现边角失真。

基于上述扭转失真、透视失真、旋转失真以及边角失真给基于图像处理的书籍管理在分类识别、光学字符识别(Optical Character Recognition，OCR)等下游任务中造成干扰，影响图书馆的建库、盘点的自动化进行。

基于上述失真问题，CN104966081B《书脊图像识别方法》提出通过LSWMS边缘检测得到边缘线段，经一系列滤波操作后取得一对平行长线段作为书脊长边线，这种方法将书籍视作了长、宽、高边线均各自平行的刚体，难以解决“扭转失真”问题；CN112116611B《一种书脊分割与文字识别系统及方法》计算了拟合后的全局直线平均角度值，并仅在平面上做仿射旋转变换，将得到的书脊在数字图像采集平面上的投影中心，简单地认为与采集平面的中心近似重合，虽然能近似解决“旋转失真”，但仍难以解决“透视失真”问题；CN111401252A《一种基于视觉图书盘点系统的书脊匹配方法》通过ORB算法提取了书脊的四个边缘角点以进行透视变换，该方法认为得到的书脊图像包含书脊的全部边线和边缘角点，但难以解决“边角失真”问题。

因此，提出一种基于图像直线段信息的书脊图像校正方法。

发明内容

为解决上述技术问题，本发明提供一种基于图像直线段信息的书脊图像校正方法，用以解决采集到的书脊图像存在扭转失真、透视失真、旋转失真以及边角失真的问题。

本发明实施例中提供了一种基于图像直线段信息的书脊图像校正方法，包括：

获取原始图像；

对所述原始图像进行分割处理，获取原始分割图像；

获取所述原始分割图像的分割掩膜，并计算所述分割掩膜的掩膜边缘曲线；

根据所述掩膜边缘曲线，计算所述原始分割图像的近似直线段组；

根据所述近似直线段组中各直线段的倾角数据，计算线性旋转变换矩阵；

根据所述线性旋转变换矩阵对所述原始分割图像进行旋转变换，获取分割变换图像；

根据所述分割变换图像进行仿射变换处理，获取粗校正分割图像；

对所述粗校正分割图像进行预处理，获取预处理分割图像；

通过直线段检测模型检测所述预处理分割图像的直线段信息，构建水平直线段组和垂直直线段组；

基于所述水平直线段组和所述垂直直线段组，获取透视变换的斜率参数；

根据所述斜率参数，对预处理分割图像构建最小外接四边形作为透视变换四边形，以所述透视变换四边形的顶点作为透视变换角点，计算透视变换矩阵；

通过所述透视变换矩阵对所述粗校正分割图像进行透视变换，获取透视分割图像；

识别所述透视分割图像的无效区域进行裁切，获取校正书脊图像。

优选的，一种基于图像直线段信息的书脊图像校正方法，所述步骤：获取所述原始分割图像的分割掩膜，并计算所述分割掩膜的掩膜边缘曲线，包括：

对所述原始分割图像进行灰度化处理，获取灰度分割图像；

对所述灰度分割图像进行降噪处理，获取降噪灰度分割图像；

通过高阈值参数对所述降噪灰度分割图像进行二值化处理，得到近似二值化掩膜；

对所述二值化掩膜进行腐蚀处理和中值滤波处理，获取所述分割掩膜；

基于边缘检测算法对所述分割掩膜进行边缘检测，得到所述掩膜边缘曲线。

优选的，一种基于图像直线段信息的书脊图像校正方法，所述步骤：根据所述掩膜边缘曲线，计算所述原始分割图像的近似直线段组，包括：

对所述掩膜边缘曲线进行变换处理，获取变换直线段组；

以所述原始分割图像的高度乘以预设比值，得到动态长度阈值；

根据所述动态长度阈值对所述变换直线段组进行过滤，获取所述近似直线段组。

优选的，一种基于图像直线段信息的书脊图像校正方法，所述步骤：根据所述近似直线段组中各直线段的倾角数据，计算线性旋转变换矩阵，包括：

通过旋转角计算所述近似直线段组各直线段的斜率，并以各直线段的斜率计算各直线段的倾角数据；

获取所述倾角数据中的最大值，构建所述线性旋转变换矩阵。

优选的，一种基于图像直线段信息的书脊图像校正方法，所述步骤：根据所述线性旋转变换矩阵对所述原始分割图像进行旋转变换，获取分割变换图像，包括：

创建画布；

设所述画布的宽度为W，高度为H，旋转角为α，所述原始分割图像的宽度为w，高度为h，则W和H的表达式为：

W＝h·sinα+w·cosα

H＝h·cosα+w·sinα

根据所述线性旋转变换矩阵，在所述画布上对所述分割变换图像进行旋转变换，获取所述分割变换图像。

优选的，一种基于图像直线段信息的书脊图像校正方法，所述步骤：根据所述分割变换图像进行仿射变换处理，获取粗校正分割图像，包括：

计算所述画布中心点与所述分割变换图像中心点的距离数据，根据所述距离数据，计算仿射变换矩阵；

根据所述仿射变换矩阵对所述分割变换图像进行仿射变换操作，获取仿射变换图像；

识别所述仿射变换图像的有效部分，构建最小外接矩形；

以所述最小外接矩形为边界，对所述仿射变换图像进行裁切，获取所述粗校正分割图像。

优选的，一种基于图像直线段信息的书脊图像校正方法，所述步骤：对所述粗校正分割图像进行预处理，获取预处理分割图像，包括：

获取所述粗校正分割图像；

对所述粗校正分割图像进行对比度增强处理，获取增强分割图像；

对所述增强分割图像进行边缘锐化处理，获取锐化增强分割图像；

对所述锐化增强分割图像进行张量化处理，获取预处理分割图像。

优选的，一种基于图像直线段信息的书脊图像校正方法，所述步骤：通过直线段检测模型检测所述预处理分割图像的直线段，构建水平直线段组和垂直直线段组，包括：

通过直线段检测模型检测所述预处理分割图像的直线段；

计算所述预处理分割图像中直线段的斜率，获取所述预处理分割图像中直线段的倾角数据；当所述倾角数据小于预设倾角阈值，则将所述直线段归为水平直线段；当所述倾角数据大于预设倾角阈值，则将所述直线段归为垂直直线段；

根据所述预处理分量图像中的所述水平直线段构建水平直线段组，根据所述预处理分量图像中的所述垂直直线段构建垂直直线段组。

优选的，一种基于图像直线段信息的书脊图像校正方法，所述步骤：基于所述水平直线段组和所述垂直直线段组，获取透视变换的斜率参数，包括：

识别所述水平直线段组中的水平直线段在所述预处理分割图像中的位置，分别构建图像上区域水平直线段分组和图像下区域水平直线段分组；

计算所述图像上区域水平直线段分组中所有水平直线段的斜率，根据所述水平直线段的斜率计算相应的水平直线段倾角；统计所述图像上区域水平直线段分组中所述水平直线段倾角对应的水平直线段数量，将水平直线段数量最多的所述水平直线段倾角对应的斜率作为透视变换的上直线斜率参数；

计算所述图像下区域水平直线段分组中所有水平直线段的斜率，根据所述水平直线段的斜率计算相应的水平直线段倾角；统计所述图像下区域水平直线段分组中所述水平直线段倾角对应的水平直线段数量，将水平直线段数量最多的所述水平直线段倾角对应的斜率作为透视变换的下直线斜率参数；

识别所述垂直直线段组中的垂直直线段在所述预处理分割图像中的位置，分别构建图像左区域垂直直线段分组和图像右区域垂直直线段分组；

计算所述图像左区域垂直直线段分组中所有垂直直线段的斜率，根据所述垂直直线段的斜率计算相应的垂直直线段倾角，将垂直直线段倾角近似的所述垂直直线段进行拟合处理，选取所述图像左区域垂直直线段分组中线段最长的所述垂直直线段的斜率作为透视变换的左直线斜率参数；

计算所述图像右区域垂直直线段分组中所有垂直直线段的斜率，根据所述垂直直线段的斜率计算相应的垂直直线段倾角，将垂直直线段倾角近似的所述垂直直线段进行拟合处理，选取所述图像右区域垂直直线段分组中线段最长的所述垂直直线段的斜率作为透视变换的右直线斜率参数。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

图1为本发明所提供一种基于图像直线段信息的书脊图像校正方法的结构示意图；

图2为本发明所提供一具体实施例的原始分割图像；

图3为本发明所提供一具体实施例的校正书脊图像；

图4为本发明所提供另一具体实施例的原始分割图像；

图5为本发明所提供另一具体实施例的校正书脊图像。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

本发明实施例提供了一种基于图像直线段信息的书脊图像校正方法，参考图1，包括：

获取原始图像；

对原始图像进行分割处理，获取原始分割图像；

获取原始分割图像的分割掩膜，并计算分割掩膜的掩膜边缘曲线；

根据掩膜边缘曲线，计算原始分割图像的近似直线段组；

根据近似直线段组中各直线段的倾角数据，计算线性旋转变换矩阵；

根据线性旋转变换矩阵对原始分割图像进行旋转变换，获取分割变换图像；

根据分割变换图像进行仿射变换处理，获取粗校正分割图像；

对粗校正分割图像进行预处理，获取预处理分割图像；

通过直线段检测模型检测预处理分割图像的直线段信息，构建水平直线段组和垂直直线段组；

基于水平直线段组和垂直直线段组，获取透视变换的斜率参数；

根据斜率参数，对预处理分割图像构建最小外接四边形作为透视变换四边形，以透视变换四边形的顶点作为透视变换角点，计算透视变换矩阵；

通过透视变换矩阵对粗校正分割图像进行透视变换，获取透视分割图像；

识别透视分割图像的无效区域进行裁切，获取校正书脊图像。

上述基于图像直线段信息的书脊图像校正方法的工作原理在于：通过对包含多本书籍的原始图像进行分割处理，获取包含单本书籍的原始分割图像；获取原始分割图像的分割掩膜，并计算掩膜边缘曲线；根据掩膜边缘曲线，计算原始分割图像的近似直线段组，并通过近似直线段组中各直线段的倾角数据，计算线性旋转变换矩阵；根据线性旋转变换矩阵对原始分割图像进行旋转变换，获取分割变换图像；对分割变换图像进行仿射变换处理，获取粗校正分割图像；对粗校正分割图像进行预处理，获取预处理分割图像；通过直线段检测模型检测预处理分割图像的直线段信息，构建水平直线段组和垂直直线段组；基于水平直线段组和垂直直线段组，获取透视变换的斜率参数；根据斜率参数，对与处理图像构建最小外接四边形作为透视变换四边形，以透视变换四边形的顶点作为透视变换角点，计算透视变换矩阵；通过透视变换矩阵对粗校正分割图像进行透视变换，获取透视分割图像；并识别透视分割图像的无效区域进行裁切，获取校正书脊图像。

上述基于图像直线段信息的书脊图像校正方法的有益效果在于：通过对包含多本书籍的原始图像进行分割处理，实现了对包含单本书籍的原始分割图像的获取；根据原始分割图像的分割掩膜，计算掩膜边缘曲线，获取近似直线段组，使得近似直线段的获取不依赖于原始分割图像中书脊的边线和边缘角点，解决了传统技术中边角失真问题；并根据线性旋转变换矩阵对原始分割图像进行旋转变换，使得旋转失真的偏差角降低到预设偏差范围内，从而有效地解决了旋转失真的问题；通过直线段检测模型基于全局检测预处理分割图像的直线段信息，构建水平直线段组和垂直直线段组，进一步根据斜率参数，对分割变换图像构建透视变换四边形进行透视变换处理，以解决图像扭转失真、旋转失真和透视失真问题；上述方法将书脊视为可在长、宽、高三维度进行扭转的非刚体，默认书脊边线之间存在不平行，根据直线段检测模型检测到的直线段信息构建透视变换四边形，以实现对书脊图像的校正处理。

在一个实施例中，将上述方法应用到图书馆自动或半自动盘点过程中，校正输入的原始图像，减轻后续书籍图像处理的压力，降低图像处理的故障率。

在一个实施例中，直线段检测模型，包括SOLD2模型传统线段检测算法(如LSD、FLD、MCMLSD、LSM、CannyLines等)、基于深度学习模型算法实现的方法(如LCNN、TP-LSD、Wireframe等)。

在一具体实施例中，原始分割图像如图2所示，经过上述方法处理后，获取的校正书脊图像如图3所示，使得旋转失真的偏差角降低到4°内。

在另一具体实施例中，原始分割图像如图4所示，经过上述方法处理后，获取的校正书脊图像如图5所示。

实施例2：

一种基于图像直线段信息的书脊图像校正方法，步骤：获取原始分割图像的分割掩膜，并计算分割掩膜的掩膜边缘曲线，包括：

对原始分割图像进行灰度化处理，获取灰度分割图像；

对灰度分割图像进行降噪处理，获取降噪灰度分割图像；

通过高阈值参数对降噪灰度分割图像进行二值化处理，得到近似二值化掩膜；

对二值化掩膜进行腐蚀处理和中值滤波处理，获取分割掩膜；

基于边缘检测算法对分割掩膜进行边缘检测，得到掩膜边缘曲线。

以上实施例中，对原始分割图像进行灰度化处理、降噪处理以及二值化处理，获取原始分割图像的近似二值化掩膜；并对近似二值化掩膜进行腐蚀处理和中值滤波处理，以对近似二值化掩膜消除掩膜边缘的锯齿和噪声点，获取边缘较为平滑的分割掩膜，基于边缘检测算法对分割掩膜进行边缘检测，得到掩膜边缘曲线。

以上实施例中，对灰度分割图像进行降噪处理的方法，包括高斯模糊平滑化处理、滤波器处理(如中值滤波器、自适应LMS维纳滤波器等)、数学建模处理(如借助稀疏模型、梯度模型或马尔可夫随机场模型)、基于机器学习处理(如通过DnCNN、FFDnet、CBDnet、Neighbor2Neighbor等深度学习模型实现)、基于超分辨率处理(如通过插值或GAN对抗生成网络等方法)。

以上实施例中，边缘检测算法包括基于算子实现的边缘检测算法法(可用的算子如Sobel、Prewitt、Roberts、Marr-Hildreth等)以及基于深度学习网络实现的边缘检测方法(如SAM分割模型的边缘检测模块)。

实施例3：

一种基于图像直线段信息的书脊图像校正方法，步骤：根据掩膜边缘曲线，计算原始分割图像的近似直线段组，包括：

对掩膜边缘曲线进行变换处理，获取变换直线段组；

以原始分割图像的高度乘以预设比值，得到动态长度阈值；

根据动态长度阈值对变换直线段组进行过滤，获取近似直线段组。

以上实施例中，通过对掩膜边缘曲线进行变换处理，实现对变换直线段组的获取，并根据动态长度阈值对变换直线段组进行过滤，实现对近似直线段组获取。其中动态长度阈值以原始分割图像的高度乘以预设比值获取，使得近似直线段组中的近似直线段均小于动态长度阈值，去除干扰信息的影响。

以上实施例中，对掩膜边缘曲线变换处理方法包括Hough变换法。

实施例4：

一种基于图像直线段信息的书脊图像校正方法，步骤：根据近似直线段组中各直线段的倾角数据，计算线性旋转变换矩阵，包括：

通过旋转角计算近似直线段组各直线段的斜率，并以各直线段的斜率计算各直线段的倾角数据；

获取倾角数据中的最大值，构建线性旋转变换矩阵。

以上实施例中，通过旋转角计算近似直线段组各直线段的斜率，并以各直线段的斜率计算各直线段的倾角数据，取倾角数据中的最大值，构建线性旋转变换矩阵。

以上技术的效果在于：通过旋转角实现对近似直线段组中各直线段的斜率计算，并选取根据各直线段的斜率相应的倾角数据的最大值，以实现对线性旋转变换矩阵的获取，进一步根据线性旋转变换矩阵对原始分割图像进行旋转变换，以解决原始分割图像的旋转失真问题。

实施例5：

一种基于图像直线段信息的书脊图像校正方法，步骤：根据线性旋转变换矩阵对原始分割图像进行旋转变换，获取分割变换图像，包括：

创建画布；

设画布的宽度为W，高度为H，旋转角为α，原始分割图像的宽度为w，高度为h，则W和H的表达式为：

W＝h·sinα+w·cosα

H＝h·cosα+w·sinα

根据线性旋转变换矩阵，在画布上对分割变换图像进行旋转变换，获取分割变换图像。

以上实施例中，根据原始分割图像的宽度、高度和旋转角，创建画布；并通过线性旋转变换矩阵，在画布上对分割变换图像进行旋转变换，获取分割变换图像。

以上技术的有益效果在于：根据线性旋转变换矩阵，基于画布上对分割变换图像进行旋转变换，实现对分割变换图像获取。

实施例6：

一种基于图像直线段信息的书脊图像校正方法，步骤：根据分割变换图像进行仿射变换处理，获取粗校正分割图像，包括：

计算画布中心点与分割变换图像中心点的距离数据，根据距离数据，计算仿射变换矩阵；

根据仿射变换矩阵对分割变换图像进行仿射变换操作，获取仿射变换图像；

识别仿射变换图像的有效部分，构建最小外接矩形；

以最小外接矩形为边界，对仿射变换图像进行裁切，获取粗校正分割图像。

以上实施例中，通过画布中心点与分割变换图像中心点的距离数据，计算仿射变换矩阵，并根据仿射变换矩阵对分割变换图像进行仿射变换操作，获取仿射变换图像；根据仿射变换图像的有效部分，构建最小外接矩形对仿射变换图像进行裁切，获取粗校正分割图像。

以上技术的有益效果在于：通过画布中心点与分割变换图像中心点的距离数据获取的仿射变换矩阵，实现了对分割变换图像的仿射变换处理；并通过构建最小外接矩形裁切去仿射变换图像中的无效部分，获取粗校正分割图像，以实现对原始分割图像的旋转失真校正。

实施例7：

一种基于图像直线段信息的书脊图像校正方法，步骤：对粗校正分割图像进行预处理，获取预处理分割图像，包括：

获取粗校正分割图像；

对粗校正分割图像进行对比度增强处理，获取增强分割图像；

对增强分割图像进行边缘锐化处理，获取锐化增强分割图像；

对锐化增强分割图像进行张量化处理，获取预处理分割图像。

以上实施例中，对粗校正分割图像进行对比度增强、边缘锐化以及张量化处理，获取预处理分割图像。

以上技术的有益效果在于：通过对粗校正分割图像进行对比度增强、边缘锐化，有效地提取了粗校正分割图像的边缘特征，并对锐化增强分割图像进行张量化处理，以实现对粗校正分割图像的预处理，方便直线段检测模型对预处理分割图像中直线段的检测。

实施例8：

一种基于图像直线段信息的书脊图像校正方法，步骤：通过直线段检测模型检测预处理分割图像的直线段，构建水平直线段组和垂直直线段组，包括：

通过直线段检测模型检测预处理分割图像的直线段；

计算预处理分割图像中直线段的斜率，获取预处理分割图像中直线段的倾角数据；当倾角数据小于预设倾角阈值，则将直线段归为水平直线段；当倾角数据大于预设倾角阈值，则将直线段归为垂直直线段；

根据预处理分割图像中的水平直线段构建水平直线段组，根据预处理分量图像中的垂直直线段构建垂直直线段组。

以上实施例中，通过直线段检测模型检测预处理分割图像的直线段，并计算预处理分割图像中直线段的斜率，根据直线段斜率计算相应的倾角数据；当倾角数据小于预设倾角阈值，则将直线段归为水平直线段；当倾角数据大于预设倾角阈值，则将直线段归为垂直直线段，分别构建水平直线段组和垂直直线段组。

以上技术的有益效果在于：通过直线段检测模型，实现了对预处理分割图像中全局直线段的检测，并计算直线段的斜率和相应的倾角数据，基于预设倾角阈值对倾角数据进行判断分析，对直线段进行水平直线段和垂直直线段分组，从而实现了对预处理分割图像中直线段基于全局区间的识别分类。

实施例9：

一种基于图像直线段信息的书脊图像校正方法，步骤：基于水平直线段组和垂直直线段组，获取透视变换的斜率参数，包括：

识别水平直线段组中的水平直线段在预处理分割图像中的位置，分别构建图像上区域水平直线段分组和图像下区域水平直线段分组；

计算图像上区域水平直线段分组中所有水平直线段的斜率，根据水平直线段的斜率计算相应的水平直线段倾角；统计图像上区域水平直线段分组中水平直线段倾角对应的水平直线段数量，将水平直线段数量最多的水平直线段倾角对应斜率作为透视变换的上直线斜率参数；

计算图像下区域水平直线段分组中所有水平直线段的斜率，根据水平直线段的斜率计算相应的水平直线段倾角；统计图像下区域水平直线段分组中水平直线段倾角对应的水平直线段数量，将水平直线段数量最多的水平直线段倾角对应斜率作为透视变换的下直线斜率参数；

识别垂直直线段组中的垂直直线段在预处理分割图像中的位置，分别构建图像左区域垂直直线段分组和图像右区域垂直直线段分组；

计算图像左区域垂直直线段分组中所有垂直直线段的斜率，根据垂直直线段的斜率计算相应的垂直直线段倾角，将垂直直线段倾角近似的垂直直线段进行拟合处理，选取图像左区域垂直直线段分组中线段最长的垂直直线段的斜率作为透视变换的左直线斜率参数；

计算图像右区域垂直直线段分组中所有垂直直线段的斜率，根据垂直直线段的斜率计算相应的垂直直线段倾角，将垂直直线段倾角近似的垂直直线段进行拟合处理，选取图像右区域垂直直线段分组中线段最长的垂直直线段的斜率作为透视变换的右直线斜率参数。

以上实施例中，通过识别水平直线段组中的水平直线段在预处理分割图像中的位置，分别构建图像上区域水平直线段分组和图像下区域水平直线段分组；分别计算图像上区域水平直线段分组和图像下区域水平直线段分组中水平直线段的斜率，并计算相应的水平直线段倾角，将具有相同水平直线段倾角对应数量最多的水平直线段的斜率分别作为透视变换的上直线斜率参数、下直线斜率参数。

以上实施例中，通过识别垂直直线段组中的垂直直线段在预处理分割图像中的位置，分别构建图像左区域垂直直线段分组和图像右区域垂直直线段分组；分别计算图像左区域垂直直线段分组和图像右区域垂直直线段分组中所有垂直直线段的斜率，并计算相应的垂直直线段倾角，将垂直直线段倾角近似的垂直直线段进行拟合处理，分别在图像左区域垂直直线段分组和图像右区域垂直直线段分组中获取线段最长的垂直直线段的斜率分别作为透视变换的左直线斜率参数、右直线斜率参数。

以上技术的有益效果在于：通过分别识别水平直线段组中水平直线段和垂直直线段组中垂直直线段在预处理分割图像中的位置，并进行相应的分组；在图像上区域水平直线段分组和图像下区域水平直线段分组中对水平直线段、在图像左区域垂直直线段分组和图像右区域垂直直线段分组中对垂直直线段分别进行斜率分析，倾角计算，获取透视变换的上直线斜率参数、下直线斜率参数、左直线斜率参数、右直线斜率参数，进而实现了透视变换参数的获取。

以上实施例中，计算获取的水平直线段倾角保留两位小数并赋值到双精度浮点数变量。

以上实施例中，对图像上区域水平直线段分组和图像下区域水平直线段分组中的水平直线段基于K-means聚类法进行处理，获取透视变换的上直线斜率参数和下直线斜率参数。

以上实施例中，对图像左区域垂直直线段分组和图像右区域垂直直线段分组中垂直直线段倾角近似的垂直直线段进行拟合处理，拟合处理方法包括聚类法、固定阈值范围的直线拟合、分段线性回归法、模型拟合-随机采样一致法(PCL RANSAC)等。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (9)

1.一种基于图像直线段信息的书脊图像校正方法，其特征在于，包括，

获取原始图像；

对所述原始图像进行分割处理，获取原始分割图像；

获取所述原始分割图像的分割掩膜，并计算所述分割掩膜的掩膜边缘曲线；

根据所述掩膜边缘曲线，计算所述原始分割图像的近似直线段组；

根据所述近似直线段组中各直线段的倾角数据，计算线性旋转变换矩阵；

根据所述线性旋转变换矩阵对所述原始分割图像进行旋转变换，获取分割变换图像；

根据所述分割变换图像进行仿射变换处理，获取粗校正分割图像；

对所述粗校正分割图像进行预处理，获取预处理分割图像；

通过直线段检测模型检测所述预处理分割图像的直线段信息，构建水平直线段组和垂直直线段组；

基于所述水平直线段组和所述垂直直线段组，获取透视变换的斜率参数；

根据所述斜率参数，对预处理分割图像构建最小外接四边形作为透视变换四边形，以所述透视变换四边形的顶点作为透视变换角点，计算透视变换矩阵；

通过所述透视变换矩阵对所述粗校正分割图像进行透视变换，获取透视分割图像；

识别所述透视分割图像的无效区域进行裁切，获取校正书脊图像。

2.根据权利要求1所述的一种基于图像直线段信息的书脊图像校正方法，其特征在于，所述步骤：获取所述原始分割图像的分割掩膜，并计算所述分割掩膜的掩膜边缘曲线，包括：

对所述原始分割图像进行灰度化处理，获取灰度分割图像；

对所述灰度分割图像进行降噪处理，获取降噪灰度分割图像；

通过高阈值参数对所述降噪灰度分割图像进行二值化处理，得到近似二值化掩膜；

对所述二值化掩膜进行腐蚀处理和中值滤波处理，获取所述分割掩膜；

基于边缘检测算法对所述分割掩膜进行边缘检测，得到所述掩膜边缘曲线。

3.根据权利要求1所述的一种基于图像直线段信息的书脊图像校正方法，其特征在于，所述步骤：根据所述掩膜边缘曲线，计算所述原始分割图像的近似直线段组，包括：

对所述掩膜边缘曲线进行变换处理，获取变换直线段组；

以所述原始分割图像的高度乘以预设比值，得到动态长度阈值；

根据所述动态长度阈值对所述变换直线段组进行过滤，获取所述近似直线段组。

4.根据权利要求1所述的一种基于图像直线段信息的书脊图像校正方法，其特征在于，所述步骤：根据所述近似直线段组中各直线段的倾角数据，计算线性旋转变换矩阵，包括：

通过旋转角计算所述近似直线段组各直线段的斜率，并以各直线段的斜率计算各直线段的倾角数据；

获取所述倾角数据中的最大值，构建所述线性旋转变换矩阵。

5.根据权利要求1所述的一种基于图像直线段信息的书脊图像校正方法，其特征在于，所述步骤：根据所述线性旋转变换矩阵对所述原始分割图像进行旋转变换，获取分割变换图像，包括：

创建画布；

设所述画布的宽度为W，高度为H，旋转角为α，所述原始分割图像的宽度为w，高度为h，则W和H的表达式为：

W＝h·sinα+w·cosα

H＝h·cosα+w·sinα

根据所述线性旋转变换矩阵，在所述画布上对所述分割变换图像进行旋转变换，获取所述分割变换图像。

6.根据权利要求1所述的一种基于图像直线段信息的书脊图像校正方法，其特征在于，所述步骤：根据所述分割变换图像进行仿射变换处理，获取粗校正分割图像，包括：

计算所述画布中心点与所述分割变换图像中心点的距离数据，根据所述距离数据，计算仿射变换矩阵；

根据所述仿射变换矩阵对所述分割变换图像进行仿射变换操作，获取仿射变换图像；

识别所述仿射变换图像的有效部分，构建最小外接矩形；

以所述最小外接矩形为边界，对所述仿射变换图像进行裁切，获取所述粗校正分割图像。

7.根据权利要求1所述的一种基于图像直线段信息的书脊图像校正方法，其特征在于，所述步骤：对所述粗校正分割图像进行预处理，获取预处理分割图像，包括：

获取所述粗校正分割图像；

对所述粗校正分割图像进行对比度增强处理，获取增强分割图像；

对所述增强分割图像进行边缘锐化处理，获取锐化增强分割图像；

对所述锐化增强分割图像进行张量化处理，获取预处理分割图像。

8.根据权利要求1所述的一种基于图像直线段信息的书脊图像校正方法，其特征在于，所述步骤：通过直线段检测模型检测所述预处理分割图像的直线段，构建水平直线段组和垂直直线段组，包括：

通过直线段检测模型检测所述预处理分割图像的直线段；

计算所述预处理分割图像中直线段的斜率，获取所述预处理分割图像中直线段的倾角数据；当所述倾角数据小于预设倾角阈值，则将所述直线段归为水平直线段；当所述倾角数据大于预设倾角阈值，则将所述直线段归为垂直直线段；

根据所述预处理分量图像中的所述水平直线段构建水平直线段组，根据所述预处理分量图像中的所述垂直直线段构建垂直直线段组。

9.根据权利要求1所述的一种基于图像直线段信息的书脊图像校正方法，其特征在于，所述步骤：基于所述水平直线段组和所述垂直直线段组，获取透视变换的斜率参数，包括：

识别所述水平直线段组中的水平直线段在所述预处理分割图像中的位置，分别构建图像上区域水平直线段分组和图像下区域水平直线段分组；

计算所述图像上区域水平直线段分组中所有水平直线段的斜率，根据所述水平直线段的斜率计算相应的水平直线段倾角；统计所述图像上区域水平直线段分组中所述水平直线段倾角对应的水平直线段数量，将水平直线段数量最多的所述水平直线段倾角对应的斜率作为透视变换的上直线斜率参数；

计算所述图像下区域水平直线段分组中所有水平直线段的斜率，根据所述水平直线段的斜率计算相应的水平直线段倾角；统计所述图像下区域水平直线段分组中所述水平直线段倾角对应的水平直线段数量，将水平直线段数量最多的所述水平直线段倾角对应的斜率作为透视变换的下直线斜率参数；

识别所述垂直直线段组中的垂直直线段在所述预处理分割图像中的位置，分别构建图像左区域垂直直线段分组和图像右区域垂直直线段分组；

计算所述图像左区域垂直直线段分组中所有垂直直线段的斜率，根据所述垂直直线段的斜率计算相应的垂直直线段倾角，将垂直直线段倾角近似的所述垂直直线段进行拟合处理，选取所述图像左区域垂直直线段分组中线段最长的所述垂直直线段的斜率作为透视变换的左直线斜率参数；

计算所述图像右区域垂直直线段分组中所有垂直直线段的斜率，根据所述垂直直线段的斜率计算相应的垂直直线段倾角，将垂直直线段倾角近似的所述垂直直线段进行拟合处理，选取所述图像右区域垂直直线段分组中线段最长的所述垂直直线段的斜率作为透视变换的右直线斜率参数。