CN108780572B - 图像校正的方法及装置 - Google Patents

图像校正的方法及装置 Download PDF

Info

Publication number
CN108780572B
CN108780572B CN201780005563.1A CN201780005563A CN108780572B CN 108780572 B CN108780572 B CN 108780572B CN 201780005563 A CN201780005563 A CN 201780005563A CN 108780572 B CN108780572 B CN 108780572B
Authority
CN
China
Prior art keywords
quadrangle
groups
aspect ratio
image
quadrilateral
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780005563.1A
Other languages
English (en)
Other versions
CN108780572A (zh
Inventor
秦超
郜文美
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN108780572A publication Critical patent/CN108780572A/zh
Application granted granted Critical
Publication of CN108780572B publication Critical patent/CN108780572B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

根据本发明实施例提供的一种图像校正方法，获取待校正图像的四边形的第一宽高比以及所述四边形的几何特征；根据所述四边形的几何特征获取所述四边形的补偿因子；根据所述四边形的第一宽高比和所述四边形的补偿因子，计算所述四边形的第二宽高比；根据所述四边形的第二宽高比计算变换矩阵；根据所述变换矩阵校正所述待校正图像。通过本申请提供的方案，可以获得更接近被摄物体原始宽高比的估计值，从而获得与被摄物体原始宽高比基本一致的校正图像。

Description

图像校正的方法及装置
技术领域
本申请涉及图像处理领域，尤其涉及一种图像校正的方法及装置。
背景技术
随着智能终端的快速普及，使用智能终端获取资料成为越来越多用户的选择。智能终端使用的摄像头硬件不断升级，软件功能也越来越丰富，图像校正作为其中一项特色功能，可以满足广大用户获取各类图像的需求。
当智能终端从正面获取被摄物体的图像时，能够得到与被摄物体比例基本一致的图像，从而供用户查阅或者进行光学字符识别(Optical Character Recognition，OCR)。然而，当智能终端从侧面获取被摄物体的图像时，图像会产生透视畸变，这将影响查阅或识别，因此有必要对畸变图像进行校正。
发明内容
本申请描述了一种图像校正的方法和装置，通过提高对原始图像宽高比估计的准确度，可以获得与原始图像比例基本一致的校正图像。
第一方面，提供了一种图像校正方法，该方法获取待校正图像的四边形的第一宽高比以及所述四边形的几何特征；根据所述四边形的几何特征获取所述四边形的补偿因子；根据所述四边形的第一宽高比和所述四边形的补偿因子，计算所述四边形的第二宽高比；根据所述四边形的第二宽高比计算变换矩阵；根据所述变换矩阵校正所述待校正图像。通过补偿四边形的第一宽高比，可以从整体上提升校正后图像中的矩形的宽高比的准确性。
在一个可能的设计中，根据所述四边形的几何特征获取所述四边形补偿因子的步骤包括，根据所述四边形的几何特征和补偿公式获取所述四边形的补偿因子。所述补偿公式的确定方法包括：获取已知宽高比的矩形在N个不同角度下的N个图像，其中，N为不小于2的整数；从所述N个图像的每一个图像中，获取所述矩形的第一宽高比以及矩形的几何特征，得到N组所述矩形的补偿因子与所述矩形的几何特征的对应数据；根据所述N组对应数据拟合补偿公式。通过获取已知宽高比的矩形在多个角度下的图像，借助统计的方法拟合补偿公式，使得补偿的结果更加准确。
在一个可能的设计中，根据所述N组对应数据拟合补偿公式的步骤包括，将N组对应数据分为对应不同几何特征的多个类型，根据所述多个类型中的每一类数据分别拟合补偿公式。这样，可以对多种拍摄场景进行组合，细化场景分类，每一种场景使用一个补偿公式，使得补偿的结果更加准确。
在一个可能的设计中，所述补偿公式在校正图像前预先确定。由此，校正图像过程可以得到简化。
在一个可能的设计中，所述几何特征包括距离特征或角度特征中的至少一种。通过不同类型的几何特征，可以确定不同的图像获取场景。
在一个可能的设计中，所述角度特征包括：所述四边形的两组对边夹角的差值；或者所述四边形的两组对边夹角的差值的三角函数值；或者所述四边形的两组对边夹角的三角函数值的差值。这样，可以得到一组特征，所述特征能够有效地表示四边形的倾斜程度。
在一个可能的设计中，所述几何特征包括第一几何特征和第二几何特征。所述第一几何特征包括以下特征中的至少一种：所述四边形的最长边的长度与所述待校正图像的边长的比值，或者所述四边形的对角线长度与所述待校正图像的对角线长度的比值，或者所述四边形的两组对边夹角的大小，或者所述四边形的两组对边夹角的三角函数值。所述第二几何特征包括：所述四边形的两组对边夹角的差值，或者所述四边形的两组对边夹角的差值的三角函数值，或者所述四边形的两组对边夹角的三角函数值的差值，或者所述四边形的两组对边夹角的差值的绝对值，或者所述四边形的两组对边夹角的差值的绝对值的三角函数值，或者所述四边形的两组对边夹角的三角函数值的差值的绝对值。这样，可以得到一组特征，所述特征能够有效地表示四边形的相对大小、距离镜头的相对远近，以及四边形倾斜程度。通过不同类型的几何特征，可以确定不同的拍摄场景，获取适合不同拍摄场景的补偿公式。
在一个可能的设计中，所述四边形或矩形的第一宽高比为宽度估计值和高度估计值的比值，所述宽度估计值是与水平方向夹角较小的中位线长度，所述高度估计值是与竖直方向夹角较小的中位线长度。这样，可以获得接近原始宽高比并且有规律可循的宽高比初步估计。
在一个可能的设计中，所述四边形或矩形的第一宽高比为宽度估计值和高度估计值的比值，所述宽度估计值是与水平方向夹角较小的一组对边中的长边长度，所述高度估计值是与竖直方向夹角较小的一组对边中的长边长度。这样，可以获得接近原始宽高比并且有规律可循的宽高比初步估计。
在一个可能的设计中，所述补偿公式的函数形式包括一次函数、二次函数或更高次函数形式。这样，可以确定补偿公式的通用形式，通过计算函数的参数即可获得补偿公式。
第二方面，提供了一种设备，其中包括：第一获取模块，用于获取待校正图像中的四边形的第一宽高比以及所述四边形的几何特征；第二获取模块，用于根据所述四边形的几何特征获取所述四边形的补偿因子；第一计算模块，用于根据所述四边形的第一宽高比和所述四边形的补偿因子，计算所述四边形的第二宽高比；第二计算模块，用于根据所述四边形的第二宽高比计算变换矩阵；校正模块，用于根据所述变换矩阵校正所述待校正图像。通过补偿因子补偿四边形的第一宽高比，可以从整体上提升校正后图像中矩形的宽高比的准确性。
在一个可能的设计中，所述第二获取模块用于根据所述四边形的几何特征和补偿公式获取所述四边形的补偿因子。所述第二获取模块包括：第一获取单元，用于获取已知宽高比的矩形在N个不同角度下的N个图像，其中，N为不小于2的整数；第二获取单元，获取所述矩形的宽高比以及所述矩形的几何特征，得到N组所述矩形的补偿因子与所述矩形的几何特征的对应数据；拟合单元，用于根据所述N组对应数据拟合补偿公式。通过获取已知宽高比的矩形在多个角度下的图像，借助统计的方法拟合补偿公式，使得补偿的结果更加准确。
在一个可能的设计中，所述拟合单元还包括：分类子模块，用于将所述N组对应数据分为多个类型；拟合子模块，用于根据所述多个类型中的每一类数据分别拟合补偿公式。这样，可以对多种拍摄场景进行组合，细化场景分类，每一类使用一个补偿公式，使得补偿的结果更加准确。
在一个可能的设计中，所述补偿公式在校正图像前预先确定。由此，校正图像过程可以得到简化。
在一个可能的设计中，所述几何特征包括距离特征或角度特征中的至少一种。通过不同类型的几何特征，可以确定不同的图像获取场景。
在一个可能的设计中，所述角度特征包括：所述四边形的两组对边夹角的差值；或者所述四边形的两组对边夹角的差值的三角函数值；或者所述四边形的两组对边夹角的三角函数值的差值。这样，可以得到一组特征，所述特征能够有效地表示四边形的倾斜程度。
在一个可能的设计中，所述几何特征包括第一几何特征和第二几何特征。所述第一几何特征包括以下特征中的至少一种：所述四边形的最长边的长度与所述待校正图像的边长的比值，或者所述四边形的对角线长度与所述待校正图像的对角线长度的比值，或者所述四边形的两组对边夹角的大小，或者所述四边形的两组对边夹角的三角函数值。所述第二几何特征包括：所述四边形的两组对边夹角的差值，或者所述四边形的两组对边夹角的差值的三角函数值，或者所述四边形的两组对边夹角的三角函数值的差值，或者所述四边形的两组对边夹角的差值的绝对值，或者所述四边形的两组对边夹角的差值的绝对值的三角函数值，或者所述四边形的两组对边夹角的三角函数值的差值的绝对值。这样，可以得到一组特征，所述特征能够有效地表示四边形的相对大小、距离镜头的相对远近，以及四边形倾斜程度。通过不同类型的几何特征，可以确定不同的拍摄场景，获取适合不同拍摄场景的补偿公式。
在一个可能的设计中，所述四边形或矩形的第一宽高比为宽度估计值和高度估计值的比值，所述宽度估计值是与水平方向夹角较小的中位线长度，所述高度估计值是与竖直方向夹角较小的中位线长度。这样，可以获得接近原始宽高比并且有规律可循的宽高比初步估计。
在一个可能的设计中，所述四边形或矩形的第一宽高比为宽度估计值和高度估计值的比值，所述宽度估计值是与水平方向夹角较小的一组对边中的长边长度，所述高度估计值是与竖直方向夹角较小的一组对边中的长边长度。这样，可以获得接近原始宽高比并且有规律可循的宽高比初步估计。
在一个可能的设计中，所述补偿公式的函数形式包括一次函数、二次函数或更高次函数形式。这样，可以确定补偿公式的通用形式，通过计算函数的参数即可获得补偿公式。
第三方面，提供了一种设备，其中包括：一个或多个处理器，存储器，以及一个或多个程序，所述一个或多个程序被存储在存储器中并被配置为被一个或多个处理器执行，所述一个或多个程序包括用于执行第一方面所述的方法的指令。
第四方面，提供了一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使得计算机执行第一方面所述的方法。
第五方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行第一方面所述的方法。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。显而易见地，下面附图中反映的仅仅是本发明的一部分实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他实施方式。而所有这些实施例或实施方式都在本申请的保护范围之内。
图1为本发明实施例的一种图像校正场景示意图；
图2为本发明实施例的一种图像校正方法的流程图；
图3为本发明实施例的第一宽高比的示意图；
图4为本发明实施例的一种补偿公式确定方法的流程图；
图5为本发明实施例的获取已知宽高比的矩形的N个图像的示意图；
图6为本发明实施例的根据图像倾斜姿态分类的示意图；
图7为本发明实施例的根据图像距离分类的示意图；
图8为本发明实施例的根据图像倾斜姿态和距离分类的示意图；
图9为本发明实施例的另一种补偿公式确定方法的流程图；
图10为本发明实施例的一种设备的结构示意图；
图11为本发明实施例的一种第二获取模块的结构示意图；
图12为本发明实施例的另一种第二获取模块的结构示意图；
图13为本发明实施例的另一种设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行进一步描述。
图1示出了本发明实施例的一种图像获取场景的示意图。被摄物体102被放置在支撑结构103上，设备101拍摄被摄物体102的图像。被摄物体102可以是任何一种包含文字和/或图像的物体，例如，文稿、图片、名片、证件、书籍、幻灯片、白板、路牌和广告标识等物体。设备101可以是任何一种能够获取图像或处理图像的设备，例如，移动电话(或称“手机”)、平板电脑(Tablet Personal Computer，TPC)、计算机、数码相机、可穿戴式设备(WearableDevice)、虚拟现实设备、数字广播终端、消息收发设备、游戏控制台、医疗设备、健身设备、个人数字助理(Personal Digital Assistant，PDA)、电子书阅读器(e-book reader)和扫描仪等设备。设备101可以通过摄像头、相机或光学传感器等光学元件获取图像，所述光学元件可以内置在设备101中，也可以外接到设备101。为清楚和方便起见，本申请的光学元件统一采用摄像头描述。在图1的(A)部分中，当设备101从正面拍摄时，能够获得与被摄物体102比例基本一致的图像104。
然而，如图1的(B)部分所示，当设备101从侧面拍摄被摄物体102时，透视效应将导致获取的图像104’产生畸变，因此需要校正该畸变图像104’。在图像校正过程中，首先输入图像104’，然后检测图像中的四边形，接着根据该四边形估计被摄物体102的宽高比，并根据估计出的宽高比计算变换矩阵，最后利用该变换矩阵将畸变图像104’校正为矩形图像104”。上述图像校正过程在估计宽高比时使用了复杂的公式，该公式基于假定的镜头焦距参数。在实际应用中，由于镜头焦距不同于假定的镜头焦距，导致对被摄物体的宽高比估计误差较大，尤其当设备101的倾斜角度较大时，宽高比的估计值与实际值的偏差更大。
下面结合图2至图6说明本发明实施例的一种图像校正方法。图2示出了所述方法的流程图，所述方法可以由设备101执行，该方法包括：
步骤201，获取待校正图像的四边形的第一宽高比R0以及四边形的几何特征；
步骤202，根据四边形的几何特征获取四边形的补偿因子k；
步骤203，根据四边形的第一宽高比R0和四边形的补偿因子k，计算四边形的第二宽高比R1；
步骤204，根据四边形的第二宽高比R1计算变换矩阵K；
步骤205，根据变换矩阵K校正待校正图像。
其中，步骤201至步骤203将在下文详细阐述；步骤204和205可以采用已有的方法，此处不再赘述。
在步骤201中，首先，获取被摄物体的待校正图像。所述待校正图像可以是摄像头实时获取的图像，例如拍摄被摄物体或者抓取被摄物体预览视频的帧，也可以是已有的图像，例如存储在存储器上的图像。被摄物体可以是整体呈现为矩形，例如前文提到的文稿、图片、名片、证件、书籍、幻灯片、白板、路牌和广告标识等物体，也可以是局部区域包括矩形，例如在被摄物体中包含矩形的图像或者文字区块。
然后，提取待校正图像中的四边形。在一个示例中，设备101检测四边形边缘，从而提取图像中的四边形。四边形边缘的检测算法可以采用已知的方法，此处不再赘述。
在另一个示例中，用户可以手动选择图像中的四边形，例如，用户拖动图像中的四边形选框的四个角点，选择图像中的四边形，从而提取图像中的四边形。
最后，完成四边形提取之后，根据提取的四边形可以获得四边形的四个角点坐标，从而计算四边形的第一宽高比R0以及四边形的几何特征。
四边形的第一宽高比R0是对四边形原始宽高比的初步估计，可以用四边形的宽度估计值We与高度估计值He的比值来表示，即R0＝We/He。在一个示例中，第一宽高比R0可以是四边形相邻边长度的比值。如图3的(A)部分所示，从四边形的两组对边中，分别确定水平对边和竖直对边，将水平对边中较长的一边CD的长度lCD作为宽度估计值We，即We＝lCD，将竖直对边中较长的一边AD的长度lAD作为高度估计值He，即He＝lAD，因此，第一宽高比R0＝We/He＝lCD/lAD。所述水平对边和竖直对边的确定步骤包括：比较四边形的任意两个相邻边与水平方向的夹角大小，夹角较小的一边及其对边为水平对边，剩下的一组对边为竖直对边。可选的，也可以比较任意两个相邻边与竖直方向的夹角大小，夹角较小的一边及其对边为竖直对边，剩下的一组对边为水平对边。
在另一个示例中，第一宽高比R0可以是四边形的两条中位线的长度的比值。如图3的(B)部分所示，在四边形的两个中位线中，将与水平方向夹角较小的中位线BD的长度lBD作为宽度估计值We，即We＝lBD，将与竖直方向夹角较小的中位线AC的长度lAC作为高度估计值He，即He＝lAC，因此，第一宽高比R0＝We/He＝lBD/lAC。
四边形的几何特征包括角度特征。在一个示例中，角度特征可以包括四边形的两组对边夹角(即水平对边夹角θH与竖直对边夹角θV)，以及两组对边夹角之差的绝对值δ(即δ＝|θH-θV|)。上述两组对边夹角中较小的对边夹角可以用于判断四边形失真较小的对边的倾斜程度：所述较小的对边夹角越大，则倾斜程度越大；对边夹角越小，则倾斜程度越小。所述两组对边夹角之差的绝对值δ可以用于判断图像整体的变形程度：绝对值δ越大，则变形程度越大；绝对值δ越小，则变形程度越小。
在另一个示例中，角度特征可以包括四边形的两组对边夹角的三角函数值，以及两组对边夹角之差的绝对值的三角函数值或者两组对边夹角的三角函数值之差的绝对值。所述三角函数值包括正弦值、正切值、余弦值或余切值。所述两组对边夹角的三角函数值可以用于判断四边形失真较小的对边的倾斜程度，所述两组对边夹角之差的绝对值的三角函数值或者两组对边夹角的三角函数值之差的绝对值可以用于判断图像整体的变形程度。
为清楚和方便起见，本发明实施例在提到四边形的几何特征时，如果没有其它说明，是指四边形的两组对边夹角θH和θV以及两组对边夹角之差的绝对值δ。当本发明实施例所述的方法应用到几何特征包括三角函数值的实施例时，可以用两组对边夹角的三角函数值替换相应的两组对边夹角，同时可以用两组对边夹角之差的绝对值的三角函数值或者两组对边夹角的三角函数值之差的绝对值替换相应的两组对边夹角之差的绝对值。
需要说明的是，上述四边形的各边长度、中位线长度、对边夹角及其三角函数值可以通过四边形的四个角点坐标计算获得，这属于本领域的常规几何知识，此处不再赘述。
在步骤202中，根据四边形的几何特征和补偿公式，将四边形的几何特征代入到补偿公式中，可以获得四边形的补偿因子。所述补偿公式反映几何特征与补偿因子k的关系，其一般形式为k＝f(x)，其中，x表示几何特征，k表示补偿因子。补偿公式的函数形式可以是一次函数、二次函数或更高次函数形式。补偿公式可以在实施本发明实施例的图像校正方法前预先确定，也可以在实施本发明实施例的图像校正方法的过程中确定。由于在不同的图像获取场景中，四边形的倾斜姿态也不同，因此，可以根据四边形倾斜姿态的特点对四边形分类，针对每一类四边形分别确定一个补偿公式。所述补偿公式的确定方法的流程图如图4所示，该方法可以由设备101执行，其中包括：
步骤2021，获取已知宽高比的矩形在N个不同角度下的N个图像；
步骤2022，从N个图像的每一个图像中，获取矩形的第一宽高比RQ和几何特征，得到N组矩形的补偿因子kQ与几何特征的对应数据；
步骤2023，将N组对应数据分为多个类型；
步骤2024，根据多个类型的每一类数据分别拟合补偿公式。
在步骤2021中，可以通过设备110的摄像头获取已知宽高比的矩形在N个不同角度下的N个图像。获取N个图像可以通过摄像头拍摄所述矩形，也可以通过抓取所述矩形的预览视频的帧。如图5的(A)部分所示，所述矩形的原始宽高比可以是任何已知的数值，例如，所述矩形的原始宽高比R＝1(即正方形)。为方便起见，本文采用R＝1的矩形统一描述。
为了获取在N个不同角度下的N个图像，在一个示例中，如图5的(B)部分所示，在空间三维直角坐标系中，矩形所在的平面与XOY平面重合，当设备在空间中的P点获取矩形的图像时，所述角度可以用P点在XOY平面的投影P’与X轴正向的夹角α＝∠P’OZ，以及P点与Z轴正向的夹角β＝∠P’OZ的组合来表示，其中，α和β的数值范围分别为α∈[0°，360°)，β∈[0°，90°)。当设备从Z轴上的一个点获取矩形的图像时(即从正面拍摄)，角度α＝β＝0°。角度的数量N是不小于2的整数，用于满足获取补偿公式的基本条件。由于补偿公式的精度随着数量N的增加而提高，因此，为了获得更精确的补偿公式，可以在更多的角度下获取更多的图像。作为一个例子，在α∈[0°，360°)的范围内每隔45°(即α分别取0°，45°，90°，……，315°)选定一个方向，并在这些方向上，在β∈(0°，90°)范围内每隔4°(即β分别取4°，8°，……，88°)获取一个图像。需要说明的是，上述角度范围和角度间隔只是示例，也可以选择其它的角度范围和角度间隔，从而获取更多或更少的图像。
在另一个示例中，如图5的(C)部分所示，所述矩形在图像中显示为四边形Q，通过选择四边形Q的不同的水平对边夹角θQH和竖直对边夹角θQV(附图标记未示出)，从而获取N个图像。作为一个例子，可以在水平对边夹角θQH∈[0°，50°]的范围内每隔1°获取一个图像；同时，在竖直对边夹角θQV∈[0°，50°]的范围内，每隔1°获取一个图像。作为另一个例子，也可以每隔2°获取一个图像。需要说明的是，上述角度范围和角度间隔只是示例，也可以选择其它的角度范围和角度间隔。
在步骤2022中，矩形的第一宽高比RQ与四边形的第一宽高比R0相应，当四边形的第一宽高比R0采用相邻边长度的比值时，矩形的第一宽高比RQ也采用对应的相邻边长度的比值。当四边形的第一宽高比R0采用两条中位线长度的比值时，矩形的第一宽高比RQ也采用对应的两条中位线长度的比值。获取矩形第一宽高比RQ的具体方法可以参见步骤201的记载，此处不再赘述。
矩形的几何特征与四边形的几何特征相应，当四边形的几何特征包括四边形的两组对边夹角θH和θV以及两组对边夹角之差的绝对值δ时，矩形的几何特征也包括两组对边夹角θQH和θQV以及两组对边夹角之差的绝对值δQ＝|θQH-θQV|。
矩形的补偿因子kQ与四边形的补偿因子k相应，矩形的补偿因子kQ反映了矩形的原始宽高比R与第一宽高比RQ之间的关系。在一个示例中，矩形的补偿因子kQ可以用矩形的原始宽高比R与第一宽高比RQ的比值来表示，即kQ＝R/RQ。在另一个示例中，矩形的补偿因子可以用矩形的第一宽高比RQ与矩形的原始宽高比R的比值来表示，即kQ＝RQ/R。由于矩形的原始宽高比R与第一宽高比RQ都是已知的数值，因此可以得到一组矩形的补偿因子kQ与几何特征的对应数据，即补偿因子kQ、两组对边夹角θQH和θQV以及两组对边夹角之差的绝对值δQ。对N个图像执行上述操作，可以得到N组矩形的补偿因子kQ与矩形的几何特征的对应数据。
在步骤2023中，将矩形的几何特征与分类阈值进行比较，从而将所述N组对应数据分入与四边形类型相应的类型。在一个示例中，如图6所示，四边形可以分为以下四类：水平单边倾斜，水平双边倾斜，竖直单边倾斜，竖直双边倾斜。将矩形的两组对边夹角θQH和θQV与角度分类阈值θT进行比较，从而将所述N组对应数据分入与四边形类型对应的四种类型。其中，图6的(A)部分所示的水平单边倾斜类的水平对边夹角θQH小于竖直对边夹角θQV，且角度分类阈值θT在两组对边夹角之间；图6的(B)部分所示的水平双边倾斜类的水平对边夹角θQH小于竖直对边夹角θQV，且角度分类阈值θT小于水平对边夹角θQH；图6的(C)部分所示的竖直单边倾斜类的竖直对边夹角θQV小于水平对边夹角θQH，且角度分类阈值θT在两组对边夹角之间；图6的(D)部分所示的竖直双边倾斜类的竖直对边夹角θQV小于水平对边夹角θQH，且角度分类阈值θT小于竖直对边夹角θQV。
角度分类阈值θT可用于将所述N组对应数据按照一定比例或者均匀地分入对应的四边形类型，并对待校正四边形进行分类，以便选择相应的补偿公式。在一个示例中，角度分类阈值θT可以是矩形的水平对边夹角θQH或者竖直对边夹角θQV的统计分位数。所述分位数包括四分位数或者其它比例的分位数。例如，角度分类阈值θT可以是选择水平对边夹角θQH的中位数(也称第二四分位数，即所有水平对边夹角θQH由小到大排列后排在第50％的数值)，也可以是竖直对边夹角θQV的中位数，还可以是水平对边夹角的中位数和竖直对边夹角的中位数的均值。
在另一个示例中，角度分类阈值θT也可以是矩形的水平对边夹角θQH或者竖直对边夹角θQV的均值。
在另一个示例中，角度分类阈值θT还可以根据经验取值，例如，从[2°，5°]的范围内取值。
在步骤2024中，在所述N组对应数据中的每一类数据中，根据矩形的两组对边夹角之差的绝对值δQ与补偿因子kQ拟合补偿公式。在一个示例中，表1示出了水平单边倾斜类型中矩形的两组对边夹角之差的绝对值δQ与补偿因子kQ的对应数据，由此可以拟合出水平单边倾斜类型的补偿公式。补偿公式的形式可以是以下任意一种，其中，x表示几何特征，k表示补偿因子：
一次函数(也称线性函数)，即：k＝a*x+b，其中，参数a和b通过表1中的数据拟合确定，其中，a＝0.0095，b＝0.9409。
二次函数，即：k＝a*x2+b*x+c，其中，参数a，b和c通过表1中的数据拟合确定，其中，a＝0.0003，b＝0.0013，c＝0.9858。
三次函数，即：k＝a*x3+b*x2+c*x+d，其中，参数a，b，c和d通过表1中的数据拟合确定，其中，a＝-5E-6，b＝0.0005，c＝-0.0018，d＝0.9945。
四次函数，即：k＝a*x4+b*x3+c*x2+d*x+e，其中，参数a，b，c，d和e通过表1中的数据拟合确定，其中，a＝3E-7，b＝-2E-5，c＝0.0009，d＝-0.0046，e＝0.9991。
五次函数，即：k＝a*x5+b*x4+c*x3+d*x2+e*x+f，其中，参数a，b，c，d，e和f通过表1中数据拟合确定，其中，a＝3E-9，b＝-7E-8，c＝-8E-6，d＝0.0006，e＝-0.0026，f＝0.9961。
本领域技术人员能够了解，只要能够通过拟合算法获得符合精度要求的结果，补偿模板选择五次以上的高次函数也是可以的。上述拟合的算法可以采用已知的算法，此处不再赘述。
表1绝对值δQ与补偿因子kQ的对应数据表
Figure BDA0001717392760000081
在补偿公式确定后，将待校正四边形的两组对边夹角θH和θV与角度分类阈值θT进行比较，从而将待校正四边形分为相应的类型，选择该类型下的补偿公式，并将两组对边夹角之差的绝对值δ代入到补偿公式中，算出四边形的补偿因子k。对待校正四边形的分类可参照步骤2023的描述，此处不再赘述。
在步骤203中，四边形的第二宽高比R1是对第一宽高比R0进行补偿后的结果，用作四边形宽高比的最终估计。由于四边形的补偿因子k与矩形的补偿因子kQ相应，因此，当矩形的补偿因子kQ为原始宽高比R与第一宽高比RQ的比值时，四边形的第二宽高比R1可以用补偿因子k与第一宽高比R0的乘积表示，即R1＝k*R0。当矩形的补偿因子kQ为第一宽高比RQ与原始宽高比R的比值时，四边形的第二宽高比R1可以用第一宽高比R0与补偿因子k的比值表示，即R1＝R0/k。将前述步骤得到的第一宽高比R0和补偿因子k的数值代入上述表达式，可以获得第二宽高比R1的值。
在本发明实施例中，通过对不同角度的图像获取场景进行分类，针对每个类型的图像获取场景通过统计方法获取补偿公式，对四边形宽高比的初步估计进行补偿，从而使校正后的图像宽高比更接近被摄物体的原始宽高比，提高了图像校正的效果。
本发明实施例还提供了另一种图像校正方法，下面结合图2、图4、图7和图8说明该方法。所述图像校正方法的流程图如图2所示，其中，该方法的步骤203至205与前文所述的步骤203至205相同，此处不再赘述。以下，针对步骤201和202与前文所述的步骤201和202之间的区别进行说明。
在步骤201中，四边形的几何特征包括第一几何特征和第二几何特征。其中，第一几何特征为长度特征和角度特征的组合，用于对四边形进行分类。长度特征可以包括四边形的边长占比D。边长占比D可以用于判断被摄物体与摄像头之间的相对距离。边长占比越大，被摄物体与摄像头的距离越近；边长占比越小，被摄物体与摄像头的距离越远。在一个示例中，边长占比D可以是四边形最长边的长度h与待校正图像的边长(例如，图像的高度H或者宽度W)的比值，即D＝h/H或者D＝h/W。
在另一个示例中，边长占比D为四边形的对角线长度l与待校正图像的对角线长度L的比值，即D＝l/L。
角度特征可以包括两组对边夹角θH和θV，也可以包括四边形的两组对边夹角的三角函数值，例如，两组对边夹角的正弦值、正切值、余弦值或余切值。上述数值可以用于判断四边形失真较小的对边的倾斜程度。
第二几何特征包括四边形的角度特征，用于计算补偿因子k。四边形的角度特征可以包括两组对边夹角之差的绝对值δ(即δ＝|θH-θV|)，也可以包括两组对边夹角的差值，或者两组对边夹角之差的三角函数值，或者两组对边夹角的三角函数值之差，或者或者两组对边夹角之差的绝对值的三角函数值，或者两组对边夹角的三角函数值之差的绝对值。上述数值可以用于判断图像整体的变形程度。
为清楚和方便起见，本发明实施例在提到四边形的几何特征时，如果没有其它说明，是指四边形的边长占比D＝h/H、两组对边夹角θH和θV以及两组对边夹角之差的绝对值δ。当本发明实施例所述的方法应用到几何特征包括三角函数值的实施例时，可以用两组对边夹角的三角函数值替换相应的两组对边夹角，同时可以用两组对边夹角之差的绝对值的三角函数值或者两组对边夹角的三角函数值之差的绝对值替换相应的两组对边夹角之差的绝对值。
在步骤202中，根据四边形的几何特征和补偿公式获取补偿因子。其中，将四边形的第二几何特征代入到补偿公式中，可以算出四边形的补偿因子。补偿公式可以反映第二几何特征与补偿因子k的关系，其形式与前文步骤202所述的相同。由于在不同的图像获取场景中，除了拍摄角度不同将导致四边形Q的倾斜姿态不同外，拍摄距离不同将导致四边形Q的大小也不同，因此，可以根据距离和倾斜姿态的特点对四边形分类，针对每一类四边形分别确定一个补偿公式。所述补偿公式确定方法的流程图如图4所示。其中，该方法的步骤2021和2024与前文所述的步骤2021和2024相同，此处不再赘述。以下，针对步骤2022和2023与前文所述的步骤2022和2023之间的区别进行说明。
在步骤2022中，由于矩形的几何特征与待校正四边形的几何特征相应，当待校正四边形的几何特征包括第一几何特征和第二几何特征时，矩形的几何特征也包括相应的第一几何特征和第二几何特征。作为一个例子，当四边形的第一几何特征包括边长占比D、两组对边夹角θH和θV，第二几何特征包括两组对边夹角之差的绝对值δ时，矩形的第一几何特征相应地包括边长占比DQ、两组对边夹角θQH和θQV，第二几何特征包括两组对边夹角之差的绝对值δQ＝|θQH-θQV|，由此获得N组矩形的补偿因子kQ、第一几何特征和第二几何特征的对应数据。
在步骤2023中，将矩形的第一几何特征与分类阈值进行比较，从而将所述N组对应数据分入与四边形类型对应的类型。在一个示例中，四边形根据距离可以分为以下三类：近距、中距和远距类。在其它一些示例中，四边形可以分为近、远距两类，或者分为近、中近、中、中远、远距五类。需要说明的是，上述分类不应成为对本申请的限制，只要分类能够描述被摄物体与设备之间距离的远近程度。
在对所述N组对应数据进行分类的过程中，作为一个例子，可以先比较矩形的边长占比DQ与距离分类阈值T，将N组对应数据分入与四边形距离类型相应的大类数据；然后，再比较矩形的两组对边夹角θQH和θQV与角度分类阈值θT，从而进一步将每一大类数据分入与四边形倾斜类型相应的小类数据。作为另一个例子，也可以先比较矩形的两组对边夹角θQH和θQV与角度分类阈值θT，将N组对应数据分入与四边形倾斜类型相应的大类数据；然后，再比较矩形的边长占比DQ与距离分类阈值T，进一步将每一大类数据分入与四边形距离类型相应的小类数据。
在上述过程中，确定角度分类阈值θT和根据倾斜姿态分类可以参照前文所述的步骤2023的记载，此处不再赘述。距离分类阈值T可用于将所述N组对应数据按照一定比例或者基本均匀地分入对应的四边形距离类型，并对待校正四边形进行分类，以便选择相应的补偿公式。在一个示例中，距离分类阈值T可以是矩形边长占比DQ的统计分位数，例如，距离分类阈值T可以是边长占比DQ的1/3分位数(即所有数值由小到大排列后排在1/3位置的数值)和2/3分位数(即所有数值由小到大排列后排在2/3位置的数值)。
在另一个示例中，距离分类阈值T也可以是矩形边长占比DQ的均值。
在另一个示例中，距离分类阈值T还可以根据经验取值，例如0.5和0.8。
作为一个例子，如图7所示，当距离分类阈值T为一组数0.5和0.8时，四边形可以分为远、中、近距三类。其中，图7的(A)部分所示的近距类四边形的边长占比h/H>0.8；图7的(B)部分所示的中距类四边形的边长占比0.5<h/H<0.8；图7的(C)部分所示的远距类四边形的边长占比h/H<0.5。将N组对应数据分为对应三种距离的三大类数据，然后再将每一大类数据分为对应四种倾斜姿态的四小类数据，如图8所示，由此得到十二组数据。
在本发明实施例中，通过对不同距离和角度的场景进行分类，进一步细化了图像获取场景的类型，使得每一类图像获取场景对应的补偿公式能够更准确地反映四边形的几何特征与补偿因子的关系，因此校正后的图像宽高比更接近被摄物体的实际宽高比，从而提高了每一类场景下的图像校正的效果。
本发明实施例还提供了另一种图像校正方法，下面结合图2和图9说明该方法。所述图像校正方法的流程图如图2所示，其中，该方法的步骤203至205与前文所述的步骤203至205相同，此处不再赘述。以下，针对步骤201和202与前文所述的步骤201和202之间的区别进行说明。
在步骤201中，四边形的几何特征可以是四边形的两组对边夹角之差。在一个示例中，所述两组对边夹角之差可以是水平对边夹角θH与竖直对边夹角θV的差值δHV＝θH-θV。所述差值δHV的大小可以用于判断图像整体的倾斜程度，差值δHV的符号用于表示倾斜方向(即水平或竖直倾斜)，当δHV>0时，图像整体呈水平倾斜，当δHV<0时，图像整体呈竖直倾斜。
在另一个示例中，所述两组对边夹角的差还可以是竖直对边夹角与水平对边夹角的差值δVH＝θV-θH。当δVH>0时，矩形图像整体呈竖直倾斜，当δVH<0时，矩形图像整体呈水平倾斜。
在其它一些示例中，四边形的几何特征还可以是两组对边夹角之差的三角函数值，或者两组对边夹角的三角函数值之差。这些几何特征可以表示图像整体的倾斜程度和倾斜方向。
为清楚和方便起见，本发明实施例在提到四边形的几何特征时，如果没有其它说明，是指四边形的两组对边夹角之差δHV。当本发明实施例所述的方法应用到几何特征包括三角函数值的实施例时，可以用两组对边夹角之差的三角函数值或者两组对边夹角的三角函数值之差替换相应的两组对边夹角之差。
在步骤202中，将四边形的几何特征代入到补偿公式中，可以算出四边形的补偿因子k。补偿公式可以反映几何特征与补偿因子k的关系，其形式与前文步骤202所述的相同。由于四边形的两组对边夹角之差可以表示图像整体的倾斜程度和倾斜方向，因此，可以不对四边形进行分类，采用一个补偿公式就可以表示四边形的几何特征与补偿因子k的关系。
下面结合图9说明本发明实施例的另一种补偿公式的确定方法，该方法可以由设备101执行，其中包括：
步骤2021’，获取已知宽高比的矩形在N个不同角度下的N个图像。
步骤2022’，从N个图像的每一个图像中，获取矩形的第一宽高比RQ和几何特征，得到N组矩形的补偿因子kQ与几何特征的对应数据。
步骤2023’，根据N组补偿因子kQ和几何特征的对应数据拟合补偿公式。
由于步骤2021’与前文步骤2021类似，此处不再赘述。下面具体说明步骤2022’和步骤2023’。
在步骤2022’中，由于矩形的几何特征与四边形的几何特征相应，当四边形的几何特征包括两组对边夹角之差时，矩形的几何特征也包括两组对边夹角之差。作为一个例子，当四边形的几何特征包括两组对边夹角θH与θV的差值δHV时，矩形的几何特征也包括两组对边夹角θQH与θQV的差值δQHV＝θQH-θQV。由此，得到N组矩形的补偿因子kQ与几何特征δHV的对应数据。
在步骤2023’中，由于四边形未分类，因此可以不对N组对应数据进行分类，直接根据矩形的两组对边夹角之差δQHV与补偿因子kQ拟合补偿公式。在一个示例中，表2示出了矩形的两组对边夹角之差δQHV与补偿因子kQ的对应数据，由此可以拟合出补偿公式。作为一个例子，所述补偿公式是二次函数，即：k＝a*x2+b*x+c，其中，x表示几何特征，k表示补偿因子，参数a，b和c通过表2中数据拟合确定，其中，a＝0.0001，b＝0.0165，c＝1.0。
本领域技术人员能够了解，只要能够通过拟合算法获得符合精度要求的结果，补偿模板选择一次、三次或更高次函数也是可以的。上述拟合的算法可以采用已知的算法，此处不再赘述。
表2两组对边夹角之差δQHV与补偿因子kQ的对应数据表
Figure BDA0001717392760000121
Figure BDA0001717392760000131
在本发明实施例中，通过选择能够表示四边形整体倾斜情况的几何特征，可以减少图像获取场景的类型，同时保证补偿公式仍然能够准确地反映四边形的几何特征与补偿因子的关系，因此简化了图像校正的步骤，提升了图像校正的处理速度。
图10为本发明实施例的一种设备的结构示意图，如图10所示，该设备1000包括：第一获取模块1001、第二获取模块1002、第一计算模块1003和第二计算模块1004和校正模块1005。其中，第一获取模块1001，用于获取待校正图像中的四边形的第一宽高比以及所述四边形的几何特征。第二获取模块1002，用于根据所述四边形的几何特征获取所述四边形的补偿因子。第一计算模块1003，用于根据所述四边形的第一宽高比和所述四边形的补偿因子，计算所述四边形的第二宽高比。第二计算模块1004，用于根据所述四边形的第二宽高比计算变换矩阵。校正模块1005，用于根据所述变换矩阵校正所述待校正图像。
图11为本发明实施例的一种第二获取模块的结构示意图，如图11所示，所述第二获取模块1002还包括：第一获取单元10021、第二获取单元10022、分类单元10023和拟合单元10024。其中，第一获取单元10021用于获取已知宽高比的矩形在N个不同角度下的N个图像，其中，N为不小于2的整数；第二获取单元10022用于获取所述矩形的宽高比以及所述矩形的几何特征，得到N组所述矩形的补偿因子与所述矩形的几何特征的对应数据；分类单元10023用于将所述N组对应数据分为多个类型；拟合单元10024用于根据所述多个类型中的每一类数据分别拟合补偿公式。
图12为本发明实施例的另一种第二获取模块的结构示意图，如图12所示，所述第二获取模块1002还包括：第一获取单元10021’、第二获取单元10022’和拟合单元10023’。其中，第一获取单元10021’用于获取已知宽高比的矩形在N个不同角度下的N个图像，其中，N为不小于2的整数；第二获取单元10022用于获取所述矩形的宽高比以及所述矩形的几何特征，得到N组所述矩形的补偿因子与所述矩形的几何特征的对应数据；拟合单元10023’，用于根据所述N组对应数据拟合补偿公式。
本发明实施例提供的设备用于实现上述图1至图9中所示的实施例的方法，具体的流程或原理可以参见上述方法实施例。
图13示出了本发明实施例的另一种设备的结构图，如图13所示，所述设备1300包括：处理器1301，摄像头1302，用户输入设备1303，显示器1304，存储器1305，以及一个或多个程序。为了方便说明，图13仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本申请上述方法实施例及申请文件的其他部分。本领域技术人员应当知晓，上述处理器1301，摄像头1302，用户输入设备1303，显示器1304和存储器1305等硬件的数量可以为一个或多个，这取决于设备1300的种类。
处理器1301与摄像头1302、用户输入设备1303、显示器1304和存储器1305通过一条或多条总线连接。处理器1301接收来自摄像头1302的图像和来自用户输入设备1303的用户指令，调用存储器1305存储的执行指令进行处理，并发送给显示器1304进行呈现。处理器1301可以是中央处理器(Central Processing Unit，CPU)，通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific IntegratedCircuit，ASIC)，现场可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、晶体管逻辑器件，硬件部件或者其任意组合。处理器1301可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器1301也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等等。作为示例，所述处理器1301用于支持设备1300执行图2中的步骤202至204、图4中的步骤2022至2024，以及图9中的步骤2022’和2023’。
摄像头1302将获取的图像传输给处理器1301。摄像头1302还可以是数字照相机(也称数码相机、数字相机)、扫描仪或其它能够获取图像的光学装置。获取的图像从内容的角度区分，可以是图像，也可以是文稿，还可以是同时包含图像和文稿的混合图像。作为示例，摄像头1302用于支持设备执行图2中的步骤201、图4中的步骤2021和图9中的步骤2021’。
用户输入设备1302接收用户的操作指令，并传输给处理器1301处理。所述用户输入设备1302包括触摸屏、按键或麦克风。
显示器1304呈现预览图像、校正后的图像以及人机交互界面。显示器1304可以是内置在设备1300上的显示屏，也可以是外接到设备1300的其它外部显示设备。
存储器1305存储图像、预置模型以及一个或多个程序。存储器1305可以是任何计算机可读存储介质。所述一个或多个程序存储在存储器中并被配置为被一个或多个处理器执行，既包括设备操作系统的执行指令，也包括设备应用程序的执行指令，例如本发明实施例中校正图像的执行指令。
在上述本发明实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读介质向另一个计算机可读介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(Digital Subscriber Line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如，固态硬盘(Solid State Disk，SSD))等。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应当理解的是，以上所述仅为本发明技术方案的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (22)

1.一种图像校正方法，其特征在于，所述方法包括：
获取待校正图像的四边形的第一宽高比以及所述四边形的几何特征；
根据所述四边形的几何特征获取所述四边形的补偿因子；
根据所述四边形的第一宽高比和所述四边形的补偿因子，计算所述四边形的第二宽高比；
根据所述四边形的第二宽高比计算变换矩阵；
根据所述变换矩阵校正所述待校正图像；
根据所述四边形的几何特征获取所述四边形补偿因子包括：根据所述四边形的几何特征和补偿公式获取所述四边形的补偿因子；
所述补偿公式的确定方法包括：
获取已知宽高比的矩形在N个不同角度下的N个图像，其中，N为不小于2的整数；
从所述N个图像的每一个图像中，获取所述矩形的第一宽高比以及矩形的几何特征，得到N组所述矩形的补偿因子与所述矩形的几何特征的对应数据；
根据所述N组对应数据拟合补偿公式。
2.根据权利要求1所述的图像校正方法，其特征在于，所述根据所述N组对应数据拟合补偿公式包括：将所述N组对应数据分为多个类型；根据所述多个类型中的每一类数据分别拟合补偿公式。
3.根据权利要求1所述的图像校正方法，其特征在于，所述补偿公式在校正图像前预先确定。
4.根据权利要求1所述的图像校正方法，其特征在于，所述几何特征包括距离特征或角度特征中的至少一种。
5.根据权利要求4所述的图像校正方法，其特征在于，所述角度特征包括：
所述四边形的两组对边夹角的差值；
或者，所述四边形的两组对边夹角的差值的三角函数值；
或者，所述四边形的两组对边夹角的三角函数值的差值。
6.根据权利要求1所述的图像校正方法，其特征在于，所述几何特征包括第一几何特征和第二几何特征，
所述第一几何特征包括以下特征中的至少一种：
所述四边形的最长边的长度与所述待校正图像的边长的比值；
或者，所述四边形的对角线长度与所述待校正图像的对角线长度的比值；
或者，所述四边形的两组对边夹角的大小；
或者，所述四边形的两组对边夹角的三角函数值；
所述第二几何特征包括：
所述四边形的两组对边夹角的差值；
或者，所述四边形的两组对边夹角的差值的三角函数值；
或者，所述四边形的两组对边夹角的三角函数值的差值；
或者，所述四边形的两组对边夹角的差值的绝对值；
或者，所述四边形的两组对边夹角的差值的绝对值的三角函数值；
或者，所述四边形的两组对边夹角的三角函数值的差值的绝对值。
7.根据权利要求1-6任一项所述的图像校正方法，其特征在于，所述四边形或矩形的第一宽高比为宽度估计值和高度估计值的比值，所述宽度估计值是与水平方向夹角较小的中位线长度，所述高度估计值是与竖直方向夹角较小的中位线长度。
8.根据权利要求1-6任一项所述的图像校正方法，其特征在于，所述四边形或矩形的第一宽高比为宽度估计值和高度估计值的比值，所述宽度估计值是与水平方向夹角较小的一组对边中的长边长度，所述高度估计值是与竖直方向夹角较小的一组对边中的长边长度。
9.根据权利要求1-6任一项所述的图像校正方法，其特征在于，补偿公式的函数形式为一次函数、二次函数或更高次函数形式。
10.根据权利要求7所述的图像校正方法，其特征在于，补偿公式的函数形式为一次函数、二次函数或更高次函数形式。
11.一种设备，其特征在于，所述设备包括：
第一获取模块，用于获取待校正图像中的四边形的第一宽高比以及所述四边形的几何特征；
第二获取模块，用于根据所述四边形的几何特征获取所述四边形的补偿因子；
第一计算模块，用于根据所述四边形的第一宽高比和所述四边形的补偿因子，计算所述四边形的第二宽高比；
第二计算模块，用于根据所述四边形的第二宽高比计算变换矩阵；
校正模块，用于根据所述变换矩阵校正所述待校正图像；所述第二获取模块用于根据所述四边形的几何特征和补偿公式获取所述四边形的补偿因子；
所述第二获取模块包括：
第一获取单元，用于获取已知宽高比的矩形在N个不同角度下的N个图像，其中，N为不小于2的整数；
第二获取单元，用于获取所述矩形的宽高比以及所述矩形的几何特征，得到N组所述矩形的补偿因子与所述矩形的几何特征的对应数据；
拟合单元，用于根据所述N组对应数据拟合补偿公式。
12.根据权利要求11所述的设备，其特征在于，所述拟合单元还包括：
分类子模块，用于将所述N组对应数据分为多个类型；
拟合子模块，用于根据所述多个类型中的每一类数据分别拟合补偿公式。
13.根据权利要求11所述的设备，其特征在于，所述补偿公式在校正图像前预先确定。
14.根据权利要求11所述的设备，其特征在于，所述几何特征包括距离特征或角度特征中的至少一种。
15.根据权利要求14所述的设备，其特征在于，所述角度特征包括：
所述四边形的两组对边夹角的差值；
或者，所述四边形的两组对边夹角的差值的三角函数值；
或者，所述四边形的两组对边夹角的三角函数值的差值。
16.根据权利要求11所述的设备，其特征在于，所述几何特征包括第一几何特征和第二几何特征；
所述第一几何特征包括以下特征中的至少一种：
所述四边形的最长边的长度与所述待校正图像的边长的比值；
或者，所述四边形的对角线长度与所述待校正图像的对角线长度的比值；
或者，所述四边形的两组对边夹角的大小；
或者，所述四边形的两组对边夹角的三角函数值；
所述第二几何特征包括：
所述四边形的两组对边夹角的差值；
或者，所述四边形的两组对边夹角的差值的三角函数值；
或者，所述四边形的两组对边夹角的三角函数值的差值；
或者，所述四边形的两组对边夹角的差值的绝对值；
或者，所述四边形的两组对边夹角的差值的绝对值的三角函数值；
或者，所述四边形的两组对边夹角的三角函数值的差值的绝对值。
17.根据权利要求11-16任一项所述的设备，其特征在于，所述四边形或矩形的第一宽高比为宽度估计值和高度估计值的比值，所述宽度估计值是与水平方向夹角较小的中位线长度，所述高度估计值是与竖直方向夹角较小的中位线长度。
18.根据权利要求11-16任一项所述的设备，其特征在于，所述四边形或矩形的第一宽高比为宽度估计值和高度估计值的比值，所述宽度估计值是与水平方向夹角较小的一组对边中的长边长度，所述高度估计值是与竖直方向夹角较小的一组对边中的长边长度。
19.根据权利要求11-16任一项所述的设备，其特征在于，补偿公式的函数形式为一次函数、二次函数或者更高次函数形式。
20.根据权利要求17所述的设备，其特征在于，补偿公式的函数形式为一次函数、二次函数或者更高次函数形式。
21.一种设备，其特征在于，所述设备包括显示器，一个或多个处理器，存储器，以及一个或多个程序，所述一个或多个程序存储在存储器中并被配置为被一个或多个处理器执行，所述一个或多个程序包括用于执行如权利要求1-10任一项所述的方法的指令。
22.一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行如权利要求1-10任一项所述的方法。
CN201780005563.1A 2017-02-22 2017-02-22 图像校正的方法及装置 Active CN108780572B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/074432 WO2018152710A1 (zh) 2017-02-22 2017-02-22 图像校正的方法及装置

Publications (2)

Publication Number Publication Date
CN108780572A CN108780572A (zh) 2018-11-09
CN108780572B true CN108780572B (zh) 2021-04-20

Family

ID=63253488

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780005563.1A Active CN108780572B (zh) 2017-02-22 2017-02-22 图像校正的方法及装置

Country Status (2)

Country Link
CN (1) CN108780572B (zh)
WO (1) WO2018152710A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111652937B (zh) * 2019-03-04 2023-11-03 广州汽车集团股份有限公司 车载相机标定方法和装置
CN110717492B (zh) * 2019-10-16 2022-06-21 电子科技大学 基于联合特征的图纸中字符串方向校正方法
CN112837394A (zh) * 2019-11-25 2021-05-25 珠海金山办公软件有限公司 一种多边形绘制方法、装置、电子设备及可读存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1582459A (zh) * 2001-06-12 2005-02-16 奥普提克斯晶硅有限公司 矫正梯形畸变的系统及方法
CN1996389A (zh) * 2007-01-09 2007-07-11 北京航空航天大学 基于共线特征点的摄像机畸变快速校正方法
CN101803391A (zh) * 2007-08-14 2010-08-11 伊斯曼柯达公司 使用全色像素的像素纵横比校正
CN102648622A (zh) * 2009-10-28 2012-08-22 夏普株式会社 图像处理装置、图像处理方法、图像处理程序、记录有图像处理程序的记录介质
CN102903092A (zh) * 2012-09-07 2013-01-30 珠海一多监测科技有限公司 一种基于四点变换的图像自适应校正方法
CN105430230A (zh) * 2014-09-12 2016-03-23 卡西欧计算机株式会社 页面图像校正装置
WO2016199080A1 (en) * 2015-06-12 2016-12-15 Moleskine S.P.A. Method of correcting a captured image, method of selecting a drawing sketched on a page or on two adjacent pages of a notebook, a relative app for smartphone, a hardback notebook and a hardback agenda

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6429166A (en) * 1987-07-24 1989-01-31 Sharp Kk Picture rotating device
JP2001036727A (ja) * 1999-07-21 2001-02-09 Konica Corp 画像読取装置及び画像形成装置
CN102254171A (zh) * 2011-07-13 2011-11-23 北京大学 一种基于文本边界的中文文档图像畸变校正方法
US9135720B2 (en) * 2013-03-27 2015-09-15 Stmicroelectronics Asia Pacific Pte. Ltd. Content-based aspect ratio detection
CN105450900B (zh) * 2014-06-24 2019-01-18 佳能株式会社 用于文档图像的畸变校正方法和设备
CN106296745B (zh) * 2015-05-26 2019-03-12 富士通株式会社 对文档图像进行校正的方法和装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1582459A (zh) * 2001-06-12 2005-02-16 奥普提克斯晶硅有限公司 矫正梯形畸变的系统及方法
CN1996389A (zh) * 2007-01-09 2007-07-11 北京航空航天大学 基于共线特征点的摄像机畸变快速校正方法
CN101803391A (zh) * 2007-08-14 2010-08-11 伊斯曼柯达公司 使用全色像素的像素纵横比校正
CN102648622A (zh) * 2009-10-28 2012-08-22 夏普株式会社 图像处理装置、图像处理方法、图像处理程序、记录有图像处理程序的记录介质
CN102903092A (zh) * 2012-09-07 2013-01-30 珠海一多监测科技有限公司 一种基于四点变换的图像自适应校正方法
CN105430230A (zh) * 2014-09-12 2016-03-23 卡西欧计算机株式会社 页面图像校正装置
WO2016199080A1 (en) * 2015-06-12 2016-12-15 Moleskine S.P.A. Method of correcting a captured image, method of selecting a drawing sketched on a page or on two adjacent pages of a notebook, a relative app for smartphone, a hardback notebook and a hardback agenda

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Custom aspect ratio correction for unwrapped omnidirectional;Chong, N. S., et al;《Computers & Electrical Engineering》;20140430;第3卷(第40期);全文 *
畸变汽车牌照图像的空间校正;郝永杰等;《西南交通大学学报》;20020828;全文 *

Also Published As

Publication number Publication date
WO2018152710A1 (zh) 2018-08-30
CN108780572A (zh) 2018-11-09

Similar Documents

Publication Publication Date Title
US11501507B2 (en) Motion compensation of geometry information
EP3614340B1 (en) Methods and devices for acquiring 3d face, and computer readable storage media
US10915998B2 (en) Image processing method and device
WO2018214365A1 (zh) 图像校正方法、装置、设备、系统及摄像设备和显示设备
US9275281B2 (en) Mobile image capture, processing, and electronic form generation
US9807263B2 (en) Mobile document capture assistance using augmented reality
US10909719B2 (en) Image processing method and apparatus
CN108780572B (zh) 图像校正的方法及装置
CN113126937B (zh) 一种显示终端调整方法及显示终端
CN112241933A (zh) 人脸图像处理方法、装置、存储介质及电子设备
CN113627428A (zh) 文档图像矫正方法、装置、存储介质及智能终端设备
CN112584034B (zh) 图像处理方法、图像处理装置及应用其的电子设备
CN109690568A (zh) 一种处理方法及移动设备
CN111325798A (zh) 相机模型纠正方法、装置、ar实现设备及可读存储介质
CN109690611B (zh) 一种图像校正方法及装置
CN107330849B (zh) 一种全景图像拼接的方法、装置、设备及存储介质
US8983227B2 (en) Perspective correction using a reflection
CN108932703B (zh) 图片处理方法、图片处理装置及终端设备
CN110677586B (zh) 图像显示方法、图像显示装置及移动终端
CN115983304A (zh) 一种二维码动态调整方法、装置、电子设备及存储介质
US20230186596A1 (en) Object recognition method, apparatus, device and storage medium
CN113724141B (zh) 一种图像校正方法、装置及电子设备
CN114387165A (zh) 图像处理方法、图像处理装置、电子设备、存储介质
TWI826119B (zh) 影像處理方法、系統以及非暫態電腦可讀取記錄媒體
WO2023193648A1 (zh) 一种图像处理方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant