CN111507908A - 图像矫正处理方法、装置、存储介质及计算机设备 - Google Patents

图像矫正处理方法、装置、存储介质及计算机设备 Download PDF

Info

Publication number
CN111507908A
CN111507908A CN202010164108.XA CN202010164108A CN111507908A CN 111507908 A CN111507908 A CN 111507908A CN 202010164108 A CN202010164108 A CN 202010164108A CN 111507908 A CN111507908 A CN 111507908A
Authority
CN
China
Prior art keywords
image
key object
redian
point
object information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010164108.XA
Other languages
English (en)
Other versions
CN111507908B (zh
Inventor
黎安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202010164108.XA priority Critical patent/CN111507908B/zh
Priority to PCT/CN2020/099032 priority patent/WO2021179485A1/zh
Publication of CN111507908A publication Critical patent/CN111507908A/zh
Application granted granted Critical
Publication of CN111507908B publication Critical patent/CN111507908B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种图像矫正处理方法、装置、存储介质及计算机设备，涉及图像处理技术领域，主要目的在于能够检测和利用图像的关键对象对图像进行矫正处理，从而避免了直线检测算法带来的误差，减少后续的处理工作，进而提高图像矫正处理的效率，降低图像矫正处理的误检率和漏检率。所述方法包括：获取待矫正图像，根据预设的角度类型对所述图像进行分类，并按照分类后的角度类型对所述图像进行转正处理；根据所述转正后的图像，检测关键对象信息；利用所述关键对象信息，进行图像矫正处理。本发明适用于图像矫正处理。

Description

图像矫正处理方法、装置、存储介质及计算机设备
技术领域
本发明涉及图像处理技术领域，特别是涉及一种图像矫正处理的方法、装置、存储介质及计算机设备。
背景技术
随着深度学习技术越来越成熟，图像分析与识别技术愈发受到关注，广泛应用于不同的领域。在上传图像时，由于拍照设备原因或人为因素，通过拍照方式获取到的图像通常会存在倾斜角度大，表面变形、分辨率过低、光照不均等情况，给后续图像分割、检测和识别带来极大困难。
目前，通常使用Hough变换检测直线的方法，对图像进行倾斜矫正，然而，这种方法鲁棒性差，运算量大，程序执行慢，而且针对背景复杂的图像，往往会误检测出很多的直线，需要大量的后处理方法去筛选图像直线，导致图像矫正处理的效率低下，误检率和漏检率极高。
发明内容
有鉴于此，本发明提供一种图像矫正处理方法、装置、存储介质及计算机设备，主要目的在于能够检测和利用图像的关键对象对图像进行矫正处理，从而避免了使用直线检测算法带来的误差，减少后续的处理工作，进而提高图像矫正处理的效率，降低图像矫正处理的误检率和漏检率。
依据本发明一个方面，提供了一种图像矫正处理方法，包括：
获取待矫正图像，根据预设的角度类型对所述图像进行分类，并按照分类后的角度类型对所述图像进行转正处理；
根据所述转正后的图像，检测关键对象信息；
利用所述关键对象信息，进行图像矫正处理。
可选地，所述根据预设的角度类型对所述图像进行分类，包括：
根据预设的角度类型，以DenseNet分类网络为图像角度分类器，搭建并训练DenseNet分类模型；
所述按照分类后的角度类型对所述图像进行转正处理，包括：
根据预设的函数对所述图像进行转正处理；
对所述转正处理后的图像进行归一化和标准化处理；
所述归一化处理根据以下函数计算：
Figure BDA0002406795950000021
其中：xi，y分别表示归一化处理前后的像素坐标值，min(x)，max(x)分别表示所述图像像素的最小值和最大值；
所述标准化处理根据以下函数计算：
Figure BDA0002406795950000022
其中：std表示标准差，μ表示图像的均值，x表示图像矩阵，σ表示标准方差，N表示图像像素数量。
进一步地，所述根据预设的函数对所述图像进行转正处理，包括：
根据OpenCV函数对所述图像进行转正处理。
可选地，所述根据所述转正后的图像，检测关键对象信息，包括：
根据预设的缩放标准，对所述图像进行缩放处理；
生成所述缩放图像的真实标签图；
所述生成真实标签图的过程根据以下函数：
Figure BDA0002406795950000023
其中：A表示关键对象是否被遮挡，若没有被遮挡表示1，反之为-1，σ取值1.5，x和y表示图像G(x，y)中对应点的像素坐标值，xl和yl表示缩放图像中对应点的像素坐标值；
根据所述真实标签图，以及优化损失算法，检测关键对象信息；
所述优化计算损失函数为：
Figure BDA0002406795950000024
其中：x和y表示对应点的像素坐标值，
Figure BDA0002406795950000025
表示标签，
Figure BDA0002406795950000026
表示实际预测结果。
进一步地，所述根据预设的缩放标准，对所述图像进行缩放处理，包括：
利用卷积神经网络对所述图像进行缩放处理，得到缩放后的特征映射图。
可选地，所述利用所述关键对象信息，进行图像矫正处理，包括：
根据所述关键对象信息以及预设的图像矫正处理函数，对所述图像进行透视变换处理，得到矫正后的图像；
所述进行透视变换处理中旋转角度坐标的计算过程包括：O点为圆心,点P绕点O旋转redian弧度之后,点P的坐标变换为点Q的计算公式为:
Q.x＝P.x*cos(redian)-P.y*sin(redian)；
Q.y＝P.x*sin(redian)+P.y*cos(redian)；
P.x、Q.x和Q.y分别表示P点和Q点的像素坐标值，redian表示为弧度，弧度与角度的变换公式为:
redian＝pi*180/angle；
其中：redian表示为弧度，pi表示π常量，angle表示所述弧度对应的角度值；
若O点不是圆心,点P绕点O旋转redian弧度之后,点P的坐标变换为Q的计算公式为如下所示:
Q.x＝(P.x-O.x)*cos(redian)-(P.y-O.y)*sin(redian)+O.x；
Q.y＝(P.x-O.x)*sin(redian)+(P.y-O.y)*cos(redian)+O.y。
其中：P.x、P.x、Q.x、Q.y、O.x和O.y分别表示P点、Q点和O点的像素坐标值，redian表示为弧度。
可选地，所述对所述图像进行缩放处理之后，所述方法还包括：
根据所述缩放后的图像，以及预先训练的关键对象检测模型进行计算，以获得关键对象信息，所述预先训练的关键对象检测模型的训练样本数据是通过提取所述图像的检测对象信息得到的。
获取所述图像的样本数据信息，所述样本数据信息包括所述图像的检测对象信息；
根据所述样本数据信息、真实标签图以及关键对象的平均损失，对所述关键对象检测模型进行训练。
依据本发明另一个方面，提供了一种图像矫正处理装置，包括：
分类单元，用于获取待矫正图像，根据预设的角度类型对所述图像进行分类，并按照分类后的角度类型对所述图像进行转正处理；
检测单元，用于根据所述转正后的图像，检测关键对象信息；
矫正单元，用于利用所述关键对象信息，进行图像矫正处理。
可选地，所述分类单元包括：
分类模块，用于根据预设的角度类型和图像角度分类器对所述图像进行分类；
转正模块，用于根据预设的函数对所述图像进行转正处理；
处理模块，用于对所述转正处理后的图像进行归一化和标准化处理。
可选地，所述检测单元包括：
缩放模块，用于根据预设的缩放标准，对所述图像进行缩放处理；
生成模块，用于生成所述缩放图像的真实标签图；
检测模块，用于根据所述真实标签图，以及优化损失算法，检测关键对象信息。
进一步地，
所述缩放模块，具体用于利用卷积神经网络对所述图像进行缩放处理，得到缩放后的特征映射图。
可选地，所述矫正单元包括：
透视变换模块，用于根据所述关键对象信息以及预设的图像矫正处理函数，对所述图像进行透视变换处理，得到矫正后的图像。
可选地，所述装置还包括：
计算单元，用于根据所述缩放后的图像，以及预先训练的关键对象检测模型进行计算，以获得关键对象信息，所述预先训练的关键对象检测模型的训练样本数据是通过提取所述图像的检测对象信息得到的。
可选地，所述装置还包括：
获取单元，用于获取所述图像的样本数据信息，所述样本数据信息包括所述图像的检测对象信息；
训练模型，用于根据所述样本数据信息、真实标签图以及关键对象的平均损失，对所述关键对象检测模型进行训练。
根据本发明的又一方面，提供了一种存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如上述图像矫正处理方法对应的操作。
根据本发明的再一方面，提供了一种终端，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述图像矫正处理方法对应的操作。
本发明提供一种图像矫正处理方法、装置、存储介质及计算机设备，与现有技术使用Hough变换检测直线的方法，对图像进行倾斜矫正相比，本发明通过获取待矫正图像，根据预设的角度类型对所述图像进行分类，并按照分类后的角度类型对所述图像进行转正处理；根据所述转正后的图像，检测关键对象信息；利用所述关键对象信息，进行图像矫正处理。从而避免了直线检测算法带来的误差，减少后续的处理工作，进而提高图像矫正处理的效率，降低图像矫正处理的误检率和漏检率。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了本发明实施例提供的一种图像矫正处理方法流程图；
图2示出了本发明实施例提供的一种图像矫正处理装置的结构示意图；
图3示出了本发明实施例提供的另一种图像矫正处理装置结构示意图；
图4示出了本发明实施例提供的一种计算机设备的实体结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
如背景技术所述，目前，通常使用Hough变换检测直线的方法对图像进行倾斜矫正，然而，这种方法鲁棒性差，运算量大，程序执行慢，而且针对背景复杂的图像，往往会误检测出很多的直线，需要大量的后处理方法去筛选图像直线，导致图像矫正处理的效率低下，误检率和漏检率极高。
为了解决上述问题，本发明实施例提供了一种图像矫正处理方法，如图1所示，所述方法包括：
101、获取待矫正图像，根据预设的角度类型对所述图像进行分类，并按照分类后的角度类型对所述图像进行转正处理。
其中，所述待矫正图像可以包括用户上传的医疗发票图像、证券图像等。所述预设的角度类型可以为根据待矫正图像预先设置的图像分类角度值。具体地，将获取到的待矫正图像按照预设的角度类型进行分类，并将不同角度类型的图像旋转对应的角度，以使得所述图像转至标准角度，如所述标准角度可以为0°。
需要说明的是，为了尽可能将待矫正图像旋转至标准角度，可以尽量多的设置角度类型，以提高图像转正的精度。例如，若设置角度类型为0°、90°、180°、270°，待矫正图像的倾斜角度为80°，则系统经过计算后将待矫正图像的角度类型分类为90°，并根据90°角度类型图像的旋转方式，将所述图像旋转90°，使其角度转正，但存在偏差；而若在设置角度类型时将角度类型设置为每10°一类，则可以将上述待矫正图像分类为80°，进而刚好旋转至0°，方便后续的识别。
102、根据所述转正后的图像，检测关键对象信息。
其中，所述关键对象信息可以为所述图像中需要识别到的信息，如发票图像中的纳税人标识、发票标识、开票日期等。所述检测关键对象信息的具体过程可以包括：a)将待矫正图像进行缩放处理，如可以先将所述图像统一缩放至512*512大小，得到大小为256*256*3的图像，为了减少计算量，可以进一步将所述图像缩放至32*32大小；b)利用关键对象检测算法对所述图像进行关键对象的识别，所述关键对象检测算法具体可以为预先训练的关键对象检测模型等；c)将所述关键对象检测算法输出的结果确认为所述待矫正图像的关键对象信息。
103、利用所述关键对象信息，进行图像矫正处理。
其中，所述图像矫正处理具体可以为对图像进行透视变换，由于现有的直线检测算法只能在一定程度上解决2D平面水平视角问题，并不能解决3D视角问题，因此，本发明可以在获取待矫正图像的关键对象后，再进行透视变换处理，从而解决待矫正图像的3D视角问题。具体过程可以包括：根据获取的关键对象信息和预设的矫正处理函数进行计算，可以实现图像的透视变换，即图像的任意旋转，从而对所述图像进行矫正，所述预设的矫正处理函数具体可以为OpenCV相关函数，将所述关键对象信息作为所述OpenCV函数的参数输入并执行，即可以实现所述图像的任意角度旋转。
本发明提供一种图像矫正处理方法，与现有技术使用Hough变换检测直线的方法，对图像进行倾斜矫正相比，本发明通过获取待矫正图像，根据预设的角度类型对所述图像进行分类，并按照分类后的角度类型对所述图像进行转正处理；根据所述转正后的图像，检测关键对象信息；利用所述关键对象信息，进行图像矫正处理。从而避免了直线检测算法带来的误差，减少后续的处理工作，进而提高图像矫正处理的效率，降低图像矫正处理的误检率和漏检率。
进一步的，为了更好的说明上述图像矫正处理方法的过程，作为对上述实施例的细化和扩展，本发明实施例提供了几种可选实施例，但不限于此，具体如下所示：
在本发明的一个可选实施例，为了提高图像分类的效率，所述步骤101具体可以包括：根据预设的角度类型和图像角度分类器对所述图像进行分类。其中，所述图像角度分类器具体可以为DenseNet分类网络，所述分类的具体过程可以包括：首先搭建DenseNet分类模型，根据不同角度图像以及不同角度图像对应的类别标签，训练所述DenseNet分类模型，直至DenseNet分类模型对不同角度图像的分类能力达到预设要求，然后输入待矫正图像，对所述待矫正图像进行分类。
对于本发明实施例，为了将所述图像转至标准角度，所述步骤101具体还可以包括：根据预设的函数对所述图像进行转正处理。所述预设函数具体可以为OpenCV函数。具体过程可以包括：加载所述图像；对所加载的图像进行预处理，如对图像进行白平衡、对图像的对比度和亮度进行调节等；利用函数确定图像边缘，对图像进行二值化处理并得出二值图,即将图像上的像素点的灰度值设置为0或255，将整个图像呈现出明显的黑白效果，利用canny算子检测图像中所有线条；根据所确定的图像边缘确定方位定点；以所确定的方位定点作为输入，通过OpenCV函数对图像进行矫正。
对于本发明实施例，为了得到统一像素的图像，所述步骤101具体又可以包括：对所述转正处理后的图像进行归一化和标准化处理。其中，所述图像归一化处理和标准化处理可以对图像进行一系列标准的处理变换，使之变换为固定标准形式的过程。将图像的形式转换为统一标准。具体地，所述归一化可以根据以下函数进行计算：
Figure BDA0002406795950000081
其中：xi，y分别可以表示归一化处理前后的像素坐标值，min(x)，max(x)分别可以表示所述图像像素的最小值和最大值。所述标准化可以根据以下函数计算：
Figure BDA0002406795950000082
std可以表示标准差，μ可以表示图像的均值，x可以表示图像矩阵，σ可以表示标准方差，N可以表示图像像素数量，以得到统一像素的图像。
在本发明的另一个可选实施例，为了检测关键对象信息，所述步骤102具体可以包括：根据预设的缩放标准，对所述图像进行缩放处理；生成所述缩放图像的真实标签图；根据所述真实标签图，以及优化损失算法，检测关键对象信息。
其中，所述生成真实标签图的过程可以根据以下函数：
Figure BDA0002406795950000091
其中：A可以表示关键对象是否被遮挡，如果没有被遮挡表示1，反之为-1。σ可以取值1.5，使用概率表示越接近真实位置的像素点的值为1，偏离关键对象的位置用0，使用高斯函数恰好满足距离关键对象位置越近的像素点的概率越接近1，远离关键对象的像素值接近0，x，y分别表示所述像素点的位置坐标。
为了检测关键对象信息，在通过计算得到真实标签图后，可以通过优化计算损失函数：
Figure BDA0002406795950000092
其中：x和y表示对应点的像素坐标值，
Figure BDA0002406795950000093
可以表示标签，
Figure BDA0002406795950000094
表示实际预测结果，x，y分别表示所述像素点的位置坐标，得到的计算结果为一个关键对象
Figure BDA0002406795950000095
的损失，最后计算32个点的平均损失
Figure BDA0002406795950000096
求解损失，得到最优结果，即为所述图像的关键对象，需要说明的是，在实际的生产数据中，用户上传的图像，如发票等，都是完整的，因此得到的关键对象都是没有被遮挡。
对于本发明实施例，为了对图像进行缩放处理，所述步骤102具体还可以包括：利用卷积神经网络对所述图像进行缩放处理，得到缩放后的特征映射图。其中，为了便于识别的关键对象，并使多张图像对齐，可以将待矫正图像统一缩放至32*32大小。具体地，可以利用神经网络中的添加卷积及池化操作，即卷积神经网络(Convolutional Neural Network，简称CNN)，是一种前馈神经网络，人工神经元可以响应周围单元，可以进行大型图像处理。卷积神经网络包括卷积层和池化层，卷积过程可以包括：首先用一个可训练的滤波器fx卷积一个输入的图像(第一阶段是输入的图像，后面的阶段是卷积特征map)，然后加偏置bx，得到卷积层Cx。子采样过程具体可以包括：将每邻域四个像素求和变为一个像素，通过标量Wx+1加权，再增加偏置bx+1，通过sigmoid激活函数，产生一个缩小四倍的特征映射图Sx+1。
在本发明的又一个可选实施例，为了解决所述图像的透视问题，所述步骤103具体可以包括：根据所述关键对象信息以及预设的图像矫正处理函数，对所述图像进行透视变换处理，得到矫正后的图像。其中，所述预设的图像矫正处理函数可以为OpenCV函数。具体地，利用所述OpenCV函数直接将关键对象作为函数参数进行输入运行，可以实现图片的任意角度旋转，具体过程可以包括：默认旋转45度时,所扩展的图像最大,即为根号2倍的长或宽的最大值,将图像填充到可能达到的最大；使用getRotationMatrix2D函数求取旋转矩阵,使用warpAffine函数旋转矩阵；求旋转之后包括图像的最大的矩形；删除多余的黑色边框。
对应的，旋转角度坐标的计算过程可以包括：如果O点为圆心,则点P绕点O旋转redian弧度之后,点P的坐标变换为点Q的计算公式可以为:
Q.x＝P.x*cos(redian)-P.y*sin(redian)
Q.y＝P.x*sin(redian)+P.y*cos(redian)
P.x、Q.x和Q.y分别表示P点和Q点的像素坐标值，redian可以表示为弧度，弧度与角度的变换公式可以为:
redian＝pi*180/angle
其中：redian表示为弧度，pi表示π常量，angle表示所述弧度对应的角度值；
如果O点不是圆心,则点P绕点O旋转redian弧度之后,点P的坐标变换为Q的计算公式可以为如下所示:
Q.x＝(P.x-O.x)*cos(redian)-(P.y-O.y)*sin(redian)+O.x
Q.y＝(P.x-O.x)*sin(redian)+(P.y-O.y)*cos(redian)+O.y
其中：P.x、P.x、Q.x、Q.y、O.x和O.y分别表示P点、Q点和O点的像素坐标值，redian表示为弧度。
需要说明的是，本发明中可以选取一个点为圆心，将关键对象作为旋转的对象，对所述图像进行校正。
在本发明的再一个可选实施例，为了检测关键对象，所述方法还可以包括：根据所述缩放后的图像，以及预先训练的关键对象检测模型进行计算，以获得关键对象信息，所述预先训练的关键对象检测模型的训练样本数据是通过提取所述图像的检测对象信息得到的。
其中，所述提取所述图像的检测对象信息可以包括，提取所述图像的像素点信息等。具体地，可以根据所述图像和预先训练的关键对象检测模型进行计算，从而输出关键对象信息。
在本发明的一个可选实施例，为了训练关键对象检测模型，所述方法还可以包括：获取所述图像的样本数据信息，所述样本数据信息包括所述图像的检测对象信息；根据所述样本数据信息、真实标签图以及关键对象的平均损失，对所述关键对象检测模型进行训练。
其中，所述关键对象检测模型的训练过程包括：向前传播阶段：a)从样本集中取一个样本(X,Yp)，将X输入网络；由于此步骤是对关键点对象检测模型fan的训练过程，因此，样本集中的输入是图片中所有的检测对象，如像素点，输出为被确定的关键对象，如被确定是关键对象的像素点，b)计算相应的实际输出Op。向后传播阶段：a)计算实际输出Op与相应的理想输出Yp的差；b)按极小化误差的方法反向传播调整权矩阵。
本发明提供一种图像矫正处理方法，与现有技术使用Hough变换检测直线的方法，对图像进行倾斜矫正相比，本发明通过获取待矫正图像，根据预设的角度类型对所述图像进行分类，并按照分类后的角度类型对所述图像进行转正处理；根据所述转正后的图像，检测关键对象信息；利用所述关键对象信息，进行图像矫正处理。从而避免了直线检测算法带来的误差，减少后续的处理工作，进而提高图像矫正处理的效率，降低图像矫正处理的误检率和漏检率。
进一步的，作为对上述图1所示方法的实现，本发明实施例提供了一种图像矫正处理装置，如图2所示，该装置包括：分类单元21、检测单元22、矫正单元23。
分类单元21，可以用于获取待矫正图像，根据预设的角度类型对所述图像进行分类，并按照分类后的角度类型对所述图像进行转正处理；
检测单元22，可以用于根据所述转正后的图像，检测关键对象信息；
矫正单元23，可以用于利用所述关键对象信息，进行图像矫正处理。
进一步地，所述分类单元21，可以包括：分类模块211、转正模块212和处理模块213，如图3所示。
所述分类模块211，可以用于根据预设的角度类型和图像角度分类器对所述图像进行分类；
所述转正模块212，可以用于根据预设的函数对所述图像进行转正处理；
所述处理模块213，可以用于对所述转正处理后的图像进行归一化和标准化处理。
进一步地，所述检测单元22，可以包括：缩放模块221、生成模块222和检测模块223。
所述缩放模221，可以用于根据预设的缩放标准，对所述图像进行缩放处理；
所述生成模块222，可以用于生成所述缩放图像的真实标签图；
所述检测模块223，可以用于根据所述真实标签图，以及优化损失算法，检测关键对象信息。
进一步地，所述缩放模块221，具体可以用于利用卷积神经网络对所述图像进行缩放处理，得到缩放后的特征映射图。
进一步地，所述矫正单元23，可以包括：透视变换模块211。
所述透视变换模块231，可以用于根据所述关键对象信息以及预设的图像矫正处理函数，对所述图像进行透视变换处理，得到矫正后的图像。
进一步地，所述装置还可以包括：
计算单元24，可以用于根据所述缩放后的图像，以及预先训练的关键对象检测模型进行计算，以获得关键对象信息，所述预先训练的关键对象检测模型的训练样本数据是通过提取所述图像的检测对象信息得到的。
进一步地，所述装置还可以包括：
获取单元25，可以用于获取所述图像的样本数据信息，所述样本数据信息包括所述图像的检测对象信息；
训练模型26，可以用于根据所述样本数据信息、真实标签图以及关键对象的平均损失，对所述关键对象检测模型进行训练。
基于上述如图1所示方法，相应的，本发明实施例还提供了一种存储介质，所述存储介质可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器，所述存储介质中存储有至少一可执行指令，所述执行指令使处理器执行以下步骤：获取待矫正图像，根据预设的角度类型对所述图像进行分类，并按照分类后的角度类型对所述图像进行转正处理；根据所述转正后的图像，检测关键对象信息；利用所述关键对象信息，进行图像矫正处理。
基于上述如图1所示方法和如图2所示装置的实施例，本发明实施例还提供了一种计算机设备，如图4所示，处理器(processor)31、通信接口(Communications Interface)32、存储器(memory)33、以及通信总线34。其中：处理器31、通信接口32、以及存储器33通过通信总线34完成相互间的通信。通信接口34，用于与其它设备比如用户端或其它服务器等的网元通信。处理器31，用于执行程序，具体可以执行上述图像矫正处理方法实施例中的相关步骤。具体地，程序可以包括程序代码，该程序代码包括计算机操作指令。处理器31可能是中央处理器CPU，或者是特定集成电路ASIC(Application Specific IntegratedCircuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。
终端包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。存储器33，用于存放程序。存储器33可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。程序具体可以用于使得处理器31执行以下操作：获取待矫正图像，根据预设的角度类型对所述图像进行分类，并按照分类后的角度类型对所述图像进行转正处理；根据所述转正后的图像，检测关键对象信息；利用所述关键对象信息，进行图像矫正处理。
本发明提供一种图像矫正处理装置、存储介质及计算机设备，与现有技术使用Hough变换检测直线的方法，对图像进行倾斜矫正相比，本发明通过获取待矫正图像，根据预设的角度类型对所述图像进行分类，并按照分类后的角度类型对所述图像进行转正处理；根据所述转正后的图像，检测关键对象信息；利用所述关键对象信息，进行图像矫正处理。从而避免了直线检测算法带来的误差，减少后续的处理工作，进而提高图像矫正处理的效率，降低图像矫正处理的误检率和漏检率。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
可以理解的是，上述方法及装置中的相关特征可以相互参考。另外，上述实施例中的“第一”、“第二”等是用于区分各实施例，而并不代表各实施例的优劣。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (10)

1.一种图像矫正处理方法，其特征在于，包括：
获取待矫正图像，根据预设的角度类型对所述图像进行分类，并按照分类后的角度类型对所述图像进行转正处理；
根据所述转正后的图像，检测关键对象信息；
利用所述关键对象信息，进行图像矫正处理。
2.根据权利要求1的方法，其特征在于，所述根据预设的角度类型对所述图像进行分类，包括：
根据预设的角度类型，以DenseNet分类网络为图像角度分类器，搭建并训练DenseNet分类模型；
所述按照分类后的角度类型对所述图像进行转正处理，包括：
根据预设的函数对所述图像进行转正处理；
对所述转正处理后的图像进行归一化和标准化处理；
所述归一化处理根据以下函数计算：
Figure FDA0002406795940000011
其中：xi，y分别表示归一化处理前后的像素坐标值，min(x)，max(x)分别表示所述图像像素的最小值和最大值；
所述标准化处理根据以下函数计算：
Figure FDA0002406795940000012
其中：std表示标准差，μ表示图像的均值，x表示图像矩阵，σ表示标准方差，N表示图像像素数量。
3.根据权利要求2的方法，其特征在于，所述根据预设的函数对所述图像进行转正处理，包括：
根据OpenCV函数对所述图像进行转正处理。
4.根据权利要求1的方法，其特征在于，所述根据所述转正后的图像，检测关键对象信息，包括：
根据预设的缩放标准，对所述图像进行缩放处理；
生成所述缩放图像的真实标签图；
所述生成真实标签图的过程根据以下函数：
Figure FDA0002406795940000021
其中：A表示关键对象是否被遮挡，若没有被遮挡表示1，反之为-1，σx、σ取值1.5，x和y表示图像G(x，y)中对应点的像素坐标值，xl和yl表示缩放图像中对应点的像素坐标值；
根据所述真实标签图，以及优化损失算法，检测关键对象信息；
所述优化计算损失函数为：
Figure FDA0002406795940000022
其中：x和y表示对应点的像素坐标值，
Figure FDA0002406795940000023
表示标签，
Figure FDA0002406795940000024
表示实际预测结果。
5.根据权利要求4的方法，其特征在于，所述根据预设的缩放标准，对所述图像进行缩放处理，包括：
利用卷积神经网络对所述图像进行缩放处理，得到缩放后的特征映射图。
6.根据权利要求1的方法，其特征在于，所述利用所述关键对象信息，进行图像矫正处理，包括：
根据所述关键对象信息以及预设的图像矫正处理函数，对所述图像进行透视变换处理，得到矫正后的图像；
所述进行透视变换处理中旋转角度坐标的计算过程包括：O点为圆心,点P绕点O旋转redian弧度之后,点P的坐标变换为点Q的计算公式为:
Q.x＝P.x*cos(redian)-P.y*sin(redian)；
Q.y＝P.x*sin(redian)+P.y*cos(redian)；
其中：P.x、Q.x和Q.y分别表示P点和Q点的像素坐标值，redian表示为弧度；
弧度与角度的变换公式为:
redian＝pi*180/angle；
其中：redian表示为弧度，pi表示π常量，angle表示所述弧度对应的角度值；
若O点不是圆心,点P绕点O旋转redian弧度之后,点P的坐标变换为Q的计算公式为如下所示:
Q.x＝(P.x-O.x)*cos(redian)-(P.y-O.y)*sin(redian)+O.x；
Q.y＝(P.x-O.x)*sin(redian)+(P.y-O.y)*cos(redian)+O.y；
其中：P.x、P.x、Q.x、Q.y、O.x和O.y分别表示P点、Q点和O点的像素坐标值，redian表示为弧度。
7.根据权利要求4的方法，其特征在于，所述对所述图像进行缩放处理之后，所述方法还包括：
获取所述图像的样本数据信息，所述样本数据信息包括所述图像的检测对象信息；
根据所述样本数据信息、真实标签图以及关键对象的平均损失，对所述关键对象检测模型进行训练；
根据所述缩放后的图像，以及预先训练的关键对象检测模型进行计算，以获得关键对象信息，所述预先训练的关键对象检测模型的训练样本数据是通过提取所述图像的检测对象信息得到的。
8.一种图像矫正处理装置，其特征在于，包括：
分类单元，用于获取待矫正图像，根据预设的角度类型对所述图像进行分类，并按照分类后的角度类型对所述图像进行转正处理；
检测单元，用于根据所述转正后的图像，检测关键对象信息；
矫正单元，用于利用所述关键对象信息，进行图像矫正处理。
9.一种存储介质，其上存储有计算机程序，所述存储介质中存储有至少一可执行指令，所述执行指令使处理器执行如权利要求1-7中任一项所述的图像矫正处理方法对应的操作。
10.一种计算机设备，包括处理器、存储器、通信接口和通信总线所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信，所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-7中任一项所述的图像矫正处理方法对应的操作。
CN202010164108.XA 2020-03-11 2020-03-11 图像矫正处理方法、装置、存储介质及计算机设备 Active CN111507908B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010164108.XA CN111507908B (zh) 2020-03-11 2020-03-11 图像矫正处理方法、装置、存储介质及计算机设备
PCT/CN2020/099032 WO2021179485A1 (zh) 2020-03-11 2020-06-29 图像矫正处理方法、装置、存储介质及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010164108.XA CN111507908B (zh) 2020-03-11 2020-03-11 图像矫正处理方法、装置、存储介质及计算机设备

Publications (2)

Publication Number Publication Date
CN111507908A true CN111507908A (zh) 2020-08-07
CN111507908B CN111507908B (zh) 2023-10-20

Family

ID=71871555

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010164108.XA Active CN111507908B (zh) 2020-03-11 2020-03-11 图像矫正处理方法、装置、存储介质及计算机设备

Country Status (2)

Country Link
CN (1) CN111507908B (zh)
WO (1) WO2021179485A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114037992A (zh) * 2021-10-28 2022-02-11 软通动力信息技术(集团)股份有限公司 仪表示数识别方法、装置、电子设备及存储介质
CN114648611B (zh) * 2022-04-12 2023-07-18 清华大学 局域轨道函数的三维重构方法及装置
CN115115552B (zh) * 2022-08-25 2022-11-18 腾讯科技（深圳）有限公司 图像矫正模型训练及图像矫正方法、装置和计算机设备
CN115619678B (zh) * 2022-10-31 2024-04-19 锋睿领创(珠海)科技有限公司 一种图像变形的矫正方法、装置、计算机设备及存储介质
CN115578729B (zh) * 2022-11-21 2023-03-21 国网浙江省电力有限公司信息通信分公司 数字员工ai智能流程编排方法
CN115984856A (zh) * 2022-12-05 2023-04-18 百度(中国)有限公司 文档图像矫正模型的训练方法、文档图像的矫正方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140233800A1 (en) * 2013-02-15 2014-08-21 Samsung Electronics Co., Ltd. Method of tracking object and electronic device supporting the same
US20170148222A1 (en) * 2014-10-31 2017-05-25 Fyusion, Inc. Real-time mobile device capture and generation of art-styled ar/vr content
WO2019011249A1 (zh) * 2017-07-14 2019-01-17 腾讯科技（深圳）有限公司 一种图像中物体姿态的确定方法、装置、设备及存储介质
CN109583445A (zh) * 2018-11-26 2019-04-05 平安科技（深圳）有限公司 文字图像校正处理方法、装置、设备及存储介质
CN110188747A (zh) * 2019-04-28 2019-08-30 广州华多网络科技有限公司 一种文本图像的倾斜校正方法、装置以及图像处理设备
CN110460769A (zh) * 2019-07-05 2019-11-15 浙江大华技术股份有限公司 图像矫正方法、装置、计算机设备和存储介质
CN110866871A (zh) * 2019-11-15 2020-03-06 深圳市华云中盛科技股份有限公司 文本图像矫正方法、装置、计算机设备及存储介质
CN110866525A (zh) * 2019-11-26 2020-03-06 深圳市信联征信有限公司 图像角度矫正方法、装置、计算机设备及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108764257B (zh) * 2018-05-23 2022-03-04 郑州金惠计算机系统工程有限公司 一种多视角的指针式仪表识别方法
CN110276755B (zh) * 2019-06-25 2021-07-06 广东工业大学 一种肿瘤位置定位系统及相关装置
CN110363116B (zh) * 2019-06-28 2021-07-23 上海交通大学 基于gld-gan的不规则人脸矫正方法、系统及介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140233800A1 (en) * 2013-02-15 2014-08-21 Samsung Electronics Co., Ltd. Method of tracking object and electronic device supporting the same
US20170148222A1 (en) * 2014-10-31 2017-05-25 Fyusion, Inc. Real-time mobile device capture and generation of art-styled ar/vr content
WO2019011249A1 (zh) * 2017-07-14 2019-01-17 腾讯科技（深圳）有限公司 一种图像中物体姿态的确定方法、装置、设备及存储介质
CN109583445A (zh) * 2018-11-26 2019-04-05 平安科技（深圳）有限公司 文字图像校正处理方法、装置、设备及存储介质
CN110188747A (zh) * 2019-04-28 2019-08-30 广州华多网络科技有限公司 一种文本图像的倾斜校正方法、装置以及图像处理设备
CN110460769A (zh) * 2019-07-05 2019-11-15 浙江大华技术股份有限公司 图像矫正方法、装置、计算机设备和存储介质
CN110866871A (zh) * 2019-11-15 2020-03-06 深圳市华云中盛科技股份有限公司 文本图像矫正方法、装置、计算机设备及存储介质
CN110866525A (zh) * 2019-11-26 2020-03-06 深圳市信联征信有限公司 图像角度矫正方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN111507908B (zh) 2023-10-20
WO2021179485A1 (zh) 2021-09-16

Similar Documents

Publication Publication Date Title
CN111507908B (zh) 图像矫正处理方法、装置、存储介质及计算机设备
US10319107B2 (en) Remote determination of quantity stored in containers in geographical region
JP6400117B2 (ja) 交通標識を認識する方法及び装置
WO2022170844A1 (zh) 一种视频标注方法、装置、设备及计算机可读存储介质
CN109886124B (zh) 一种基于线束描述子图像匹配的无纹理金属零件抓取方法
JP2008077626A (ja) 物体認識装置、物体認識方法、物体認識プログラム、特徴量登録装置、特徴量登録方法、及び特徴量登録プログラム
JP2007128374A (ja) 物体認識方法、物体認識用のプログラムならびにその記憶媒体、および物体認識装置
CN111738320B (zh) 基于模板匹配的遮挡工件识别方法
CN112053441A (zh) 一种室内鱼眼图像的全自动布局恢复方法
CN111429344A (zh) 基于感知哈希的激光slam闭环检测方法及系统
CN114037992A (zh) 仪表示数识别方法、装置、电子设备及存储介质
CN111950554A (zh) 一种身份证识别方法、装置、设备及存储介质
CN117557565B (zh) 一种锂电池极片的检测方法及其装置
CN113313725B (zh) 含能材料药桶的桶口识别方法及系统
CN108960246B (zh) 一种用于图像识别的二值化处理装置及方法
CN113095316B (zh) 基于多级融合和角点偏移的图像旋转目标检测方法
Zhao et al. MOCC: A fast and robust correlation-based method for interest point matching under large scale changes
Cai et al. Feature detection and matching with linear adjustment and adaptive thresholding
CN115937839A (zh) 一种大角度车牌图像识别方法、计算设备及存储介质
CN113033256B (zh) 一种指尖检测模型的训练方法和设备
CN113255405B (zh) 车位线识别方法及其系统、车位线识别设备、存储介质
CN112183650B (zh) 一种在相机失焦情况下的数字检测识别方法
CN114267038B (zh) 铭牌的类型识别方法、装置、存储介质及设备
CN112270323B (zh) 智能医疗复检控制方法、系统、介质、计算机设备及应用
JP2004178210A (ja) 画像処理方法及び画像認識方法並びにこれらの方法をコンピュータにより実行させるプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant