CN109034153B - 一种应用于图像旋转的图像保真的方法及装置 - Google Patents

一种应用于图像旋转的图像保真的方法及装置 Download PDF

Info

Publication number
CN109034153B
CN109034153B CN201810803980.7A CN201810803980A CN109034153B CN 109034153 B CN109034153 B CN 109034153B CN 201810803980 A CN201810803980 A CN 201810803980A CN 109034153 B CN109034153 B CN 109034153B
Authority
CN
China
Prior art keywords
fidelity
region
sample image
boundary
unknown pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810803980.7A
Other languages
English (en)
Other versions
CN109034153A (zh
Inventor
马文伟
王强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taikang Insurance Group Co Ltd
Taikang Online Property Insurance Co Ltd
Original Assignee
Taikang Insurance Group Co Ltd
Taikang Online Property Insurance Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taikang Insurance Group Co Ltd, Taikang Online Property Insurance Co Ltd filed Critical Taikang Insurance Group Co Ltd
Priority to CN201810803980.7A priority Critical patent/CN109034153B/zh
Publication of CN109034153A publication Critical patent/CN109034153A/zh
Application granted granted Critical
Publication of CN109034153B publication Critical patent/CN109034153B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
    • G06V30/194—References adjustable by an adaptive method, e.g. learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种应用于图像旋转的图像保真的方法及装置，首先确定样本图像旋转后的关键信息区域的最小外接矩形为目标外接矩形，然后确定未知像素值区域，所述未知像素值区域为所述样本图像旋转后在其旋转前的图像区域中没有图像显示内容的区域，根据所述目标外接矩形与未知像素区域的位置关系，确定保真边界，最后根据确定的保真边界截取旋转后的所述关键信息区域图像作为保真样本图像。该方法及装置将旋转后引入的未知像素值区域截取在保真图像之外，获取保真样本图像，可继续用于扩充训练样本数量，丰富样本特征，提高深度学习算法模型的识别和泛化能力。

Description

一种应用于图像旋转的图像保真的方法及装置
技术领域
本发明涉及数据增强技术，更具体的说，是涉及一种应用于图像旋转的图像保真的方法及装置。
背景技术
深度学习是机器学习中一种基于对数据进行表征学习的方法。目前，深度学习技术已经逐渐应用到各领域，在各行业发挥重要作用。
将深度学习应用到OCR(Optical Character Recognition，光学字符识别) 领域，检测图像中的文字区域及识别文字内容，也是目前深度学习的一个应用方向。然而，由于没有大规模可用的文字检测识别数据集，且获取大量带标注的训练数据成本高，因此需要采用计算机视觉领域的数据增强技术对图像进行旋转、平移、缩放、加噪、模糊等几种操作及组合，生成大量样本，使得机器学习模型具备强大的识别和泛化能力。例如，图1示出了一张用于身份识别的文字样本经过数据增强生成七张训练图像，依次为原始图像、旋转图像、平移图像、放大图像、模糊图像、加噪图像、旋转模糊图像和旋转加噪图像。
图像旋转是数据增强技术的关键部分，然而，现有技术中，图像旋转后通常会引入一些未知像素值，如图1(b)所示，图像旋转后重要信息区域(文本信息)外接矩形包含未知像素值，即黑色填充区域。这就导致旋转后的图像失真，影响深度学习模型的训练。目前图像旋转引入的未知像素值区域如何处理尚无很好的解决方案。
发明内容
有鉴于此，本发明提供了一种应用于图像旋转的图像保真的方法及装置，以克服现有技术中图像旋转引入未知像素值而导致的图像失真的问题。
为实现上述目的，本发明提供如下技术方案：
一种应用于图像旋转的图像保真的方法，包括：
确定样本图像旋转后的关键信息区域的最小外接矩形为目标外接矩形；
确定未知像素值区域，所述未知像素值区域为所述样本图像旋转后在其旋转前的图像区域中没有图像显示内容的区域；
根据所述目标外接矩形与所述未知像素区域的位置关系，确定保真边界；
根据确定的保真边界截取旋转后的所述关键信息区域图像作为保真样本图像。
可选的，所述根据所述目标外接矩形与未知像素区域的位置关系，确定保真边界，包括：
判断所述目标外接矩形是否与所述未知像素区域重叠；
根据所述目标外接矩形与所述未知像素区域的重叠情况，确定保真边界。
可选的，所述根据所述目标外接矩形与所述未知像素区域的重叠情况，确定保真边界，包括：
在所述目标外接矩形与所述未知像素区域存在重叠时，确定最小外接矩形不与所述未知像素区域重叠的关键信息区域，并将所述最小外接矩形的边界确定为保真边界；
在所述目标外接矩形与所述未知像素区域不存在重叠时，将所述目标外接矩形的边界确定为保真边界。
可选的，所述判断所述目标外接矩形是否与所述未知像素区域重叠，包括：
判断所述目标外接矩形分别在上、下、左、右四个方向上是否与所述未知像素值区域重叠。
可选的，所述判断所述目标外接矩形分别在上、下、左、右四个方向上是否与所述未知像素值区域重叠，包括：
当公式
Figure BDA0001737767300000021
成立，判断所述目标外接矩形左侧与所述未知像素值区域存在重叠，其中Δw1为所述样本图像旋转前所述关键信息区域左边侧距离所述样本图像左边侧的垂直距离，α为旋转角度，x0'和x3'为旋转后所述关键信息区域左侧两个顶点的横坐标值；
当公式
Figure BDA0001737767300000031
成立，判断所述目标外接矩形右侧与所述未知像素值区域存在重叠，其中Δw2为所述样本图像旋转前所述关键信息区域右边侧距离所述样本图像右边侧的垂直距离，x1'和x2'为旋转后所述关键信息区域右侧两个顶点的横坐标值；
当公式
Figure BDA0001737767300000032
成立，判断所述目标外接矩形上侧与所述未知像素值区域存在重叠，其中Δh1为所述样本图像旋转前所述关键信息区域上边侧距离所述样本图像上边侧的垂直距离，y0'和y1'为旋转后所述关键信息区域上侧两个顶点的纵坐标值；
当公式
Figure BDA0001737767300000033
成立，判断所述目标外接矩形下侧与所述未知像素值区域存在重叠，其中Δh2为所述样本图像旋转前所述关键信息区域下边侧距离所述样本图像下边侧的垂直距离，y2'和y3'为旋转后所述关键信息区域下侧两个顶点的纵坐标值。
可选的，所述根据所述目标外接矩形与未知像素区域的位置关系，确定保真边界，包括：
当所述目标外接矩形在左侧与所述未知像素值区域存在重叠时，采用公式
Figure BDA0001737767300000034
确定左侧的保真边界，当所述目标外接矩形在左侧与所述未知像素值区域不存在重叠时，采用公式
Figure BDA0001737767300000035
确定左侧的保真边界，其中lef为所述样本图像在旋转后左侧的保真边界；
当所述目标外接矩形在右侧与所述未知像素值区域存在重叠时，采用公式
Figure BDA0001737767300000036
确定右侧的保真边界，当所述目标外接矩形在右侧与所述未知像素值区域不存在重叠时，采用公式
Figure BDA0001737767300000037
确定右侧的保真边界，其中rig为所述样本图像在旋转后右侧的保真边界。
可选的，所述根据所述目标外接矩形与未知像素区域的位置关系，确定保真边界，，包括：
当所述目标外接矩形在上侧与所述未知像素值区域存在重叠时，采用公式
Figure BDA0001737767300000041
确定上侧的保真边界，当所述目标外接矩形在上侧与所述未知像素值区域不存在重叠时，采用公式
Figure BDA0001737767300000042
确定上侧的保真边界，其中top为所述样本图像在旋转后上侧的保真边界；
当所述目标外接矩形在下侧与所述未知像素值区域存在重叠时，采用公式
Figure BDA0001737767300000043
确定下侧的保真边界，当所述目标外接矩形在下侧与所述未知像素值区域不存在重叠时，采用公式
Figure BDA0001737767300000044
确定下侧的保真边界，其中bot为所述样本图像在旋转后下侧的保真边界。
一种应用于图像旋转的图像保真的装置，包括：
矩形确定模块，用于确定样本图像旋转后的关键信息区域的最小外接矩形为目标外接矩形；
未知区域确定模块，用于确定未知像素值区域，所述未知像素值区域为所述样本图像旋转后在其旋转前的图像区域中没有图像显示内容的区域；
边界确定模块，用于根据所述目标外接矩形与未知像素区域的位置关系，确定保真边界；
图像截取模块，用于根据确定的保真边界截取旋转后的所述关键信息区域图像作为保真样本图像。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一种所述的应用于图像旋转的图像保真的方法。
一种电子设备，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行上述任一种所述的应用于图像旋转的图像保真的方法。
经由上述的技术方案可知，与现有技术相比，本发明实施例公开了一种应用于图像旋转的图像保真的方法及装置，首先确定样本图像旋转后的关键信息区域的最小外接矩形为目标外接矩形，然后确定未知像素值区域，所述未知像素值区域为所述样本图像旋转后在其旋转前的图像区域中没有图像显示内容的区域，根据所述目标外接矩形与未知像素区域的位置关系，确定保真边界，最后根据确定的保真边界截取旋转后的所述关键信息区域图像作为保真样本图像。该方法及装置将旋转后引入的未知像素值区域截取在保真图像之外，获取保真样本图像，可继续用于扩充训练样本数量，丰富样本特征，提高深度学习算法模型的识别和泛化能力。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例公开的原始图像样本及其训练图像；
图2为本发明实施例公开的应用于图像旋转的图像保真的方法流程图；
图3为本发明实施例公开的关键信息区域示意图；
图4为本发明实施例公开的旋转坐标示意图；
图5为本发明实施例公开的一个图像旋转坐标示意图；
图6为本发明实施例公开的另一个图像旋转坐标示意图；
图7为本发明实施例公开的截取保真图像过程示意图；
图8为本发明实施例公开的应用于图像旋转的图像保真的装置的结构示意图；
图9为本发明实施例公开的一种边界确定模块的结构示意图；
图10为本发明实施例公开的另一种边界确定模块的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图2为本发明实施例公开的应用于图像旋转的图像保真的方法流程图，参见图2所示，应用于图像旋转的图像保真的方法可以包括：
步骤201：确定样本图像旋转后的关键信息区域的最小外接矩形为目标外接矩形。
其中，所述关键信息区域可以为矩形。以一个固定点为原点，所述样本图像的关键信息区域的各个顶点坐标值可以确定。本实施例中，可以首先确定所述样本图像旋转后的四个顶点坐标值，后续确定所述样本图像旋转后所述关键信息区域的目标外接矩形中是否存在未知像素区域，以便计算保真边界时使用。
所述关键信息区域可以是文字区域或其他例如图画、符号区域，为了便于计算，可以将关键信息区域确定为矩形的区域，如图3所示，其中框住“武汉市东西湖区”字体的区域为关键信息区域。样本图像中的关键信息区域可以是人工选择出来的区域，也可以是在进行样本合成时，预先设置好的区域。
图4为本发明实施例公开的旋转坐标示意图，其中坐标(x0,y0)围绕任意点 (rx,ry)顺时针旋转α角度，新坐标为(x0',y0')，结合图4所示，具体的，计算确定样本图像旋转后的关键信息区域的四个顶点坐标值，可以根据公式
Figure BDA0001737767300000061
计算确定。
所述目标外接矩形的四个边与X轴平行或Y轴平行，即为水平线或垂直线。
步骤202：确定未知像素值区域，所述未知像素值区域为所述样本图像旋转后在其旋转前的图像区域中没有图像显示内容的区域。
图5为本发明实施例公开的一个图像旋转坐标示意图，其中左图为原始的样本图像，矩形ABCD为文本区域，即关键信息区域，右图为旋转后样本图像，文本区域经过旋转后得到倾斜矩形A'B'C'D'。图5中，左图中EFGH为样本图像旋转前所在区域，右图中EFGH形成的矩形所划定的区域为所述样本图像旋转前的图像区域，其中黑色区域部分为样本图像旋转引入的未知像素值区域。
步骤203：根据所述目标外接矩形与未知像素区域的位置关系，确定保真边界。
在一个实现中，所述根据所述目标外接矩形与未知像素区域的位置关系，确定保真边界，可以包括：判断所述目标外接矩形是否与所述未知像素区域重叠，根据所述目标外接矩形与所述未知像素区域的重叠情况，确定保真边界。所述判断所述目标外接矩形是否与所述未知像素区域重叠，可以包括：判断所述目标外接矩形分别在上、下、左、右四个方向上是否与所述未知像素值区域重叠。
所述根据所述目标外接矩形与所述未知像素区域的重叠情况，确定保真边界，可以包括：在所述目标外接矩形与所述未知像素区域存在重叠时，确定最小外接矩形不与所述未知像素区域重叠的关键信息区域，并将所述最小外接矩形的边界确定为保真边界；在所述目标外接矩形与所述未知像素区域不存在重叠时，将所述目标外接矩形的边界确定为保真边界。后续从所述保真边界处截取所述样本图像，得到的矩形图像即为保真样本图像。所述保真边界为垂直线段或水平线段。
结合图5，具体的，所述判断所述目标外接矩形分别在上、下、左、右四个方向上是否与所述未知像素值区域重叠，可以根据公式
Figure RE-GDA0001821580160000071
是否成立，判断所述目标外接矩形分别在上、下、左、右四个方向上是否存在未知像素值区域。其中，Δw1为所述样本图像旋转前所述关键信息区域左边侧距离所述样本图像左边侧的垂直距离，Δw2为所述样本图像旋转前所述关键信息区域右边侧距离所述样本图像右边侧的垂直距离，α为旋转角度，x0'和x3' 为旋转后所述关键信息区域左侧两个顶点的横坐标值，x1'和x2'为旋转后所述关键信息区域右侧两个顶点的横坐标值，Δh1为所述样本图像旋转前所述关键信息区域上边侧距离所述样本图像上边侧的垂直距离，Δh2为所述样本图像旋转前所述关键信息区域下边侧距离所述样本图像下边侧的垂直距离，y0'和y1'为旋转后所述关键信息区域上侧两个顶点的纵坐标值，y2'和y3'为旋转后所述关键信息区域下侧两个顶点的纵坐标值。在一个示例中，Δw1和Δw2可以相同，Δh1和Δh2也可以相同。
在各个方向上对应的上述公式成立时，则确定所述目标外接矩形分别与各方向上的未知像素区域存在重叠。具体地，公式
Figure BDA0001737767300000081
成立，判断所述目标外接矩形左侧与所述未知像素值区域存在重叠；公式
Figure BDA0001737767300000082
成立，判断所述目标外接矩形右侧与所述未知像素值区域存在重叠；公式
Figure BDA0001737767300000083
成立，判断所述目标外接矩形上侧与所述未知像素值区域存在重叠；公式
Figure BDA0001737767300000084
成立，判断所述目标外接矩形下侧与所述未知像素值区域存在重叠。
在确定所述目标外接矩形中与未知像素区域存在重叠时，则旋转后所述关键信息区域的目标外接矩形中的图像失真，为了获得旋转后不失真的最大文本区域图像，需要计算确定不包括未知像素区域的最小外接矩形对应的图像区域，获得保真的样本图像。
图5中，旋转后文本区域的目标外接矩形与样本图像旋转引入的未知像素值区域存在重叠。图6为本发明实施例公开的另一个图像旋转坐标示意图，图6中，旋转后文本区域外接矩形与样本图像旋转引入的未知像素值区域不存在重叠。结合图5和图6所示，所述根据所述目标外接矩形与未知像素区域的位置关系，确定保真边界，可以包括：
当所述目标外接矩形在左侧与未知像素值区域存在重叠时，采用公式
Figure BDA0001737767300000085
确定左侧的保真边界，当所述目标外接矩形在左侧与未知像素值区域不存在重叠时，采用公式
Figure BDA0001737767300000091
确定左侧的保真边界，其中lef为所述样本图像在旋转后左侧的保真边界；
当所述目标外接矩形在右侧与未知像素值区域存在重叠时，采用公式
Figure BDA0001737767300000092
确定右侧的保真边界，当所述目标外接矩形在右侧与未知像素值区域不存在重叠时，采用公式
Figure BDA0001737767300000093
确定右侧的保真边界，其中rig为所述样本图像在旋转后右侧的保真边界；
当所述目标外接矩形在上侧与未知像素值区域存在重叠时，采用公式
Figure BDA0001737767300000094
确定上侧的保真边界，当所述目标外接矩形在上侧与未知像素值区域不存在重叠时，采用公式
Figure BDA0001737767300000095
确定上侧的保真边界，其中top为所述样本图像在旋转后上侧的保真边界；
当所述目标外接矩形在下侧与未知像素值区域存在重叠时，采用公式
Figure BDA0001737767300000096
确定下侧的保真边界，当所述目标外接矩形在下侧与未知像素值区域不存在重叠时，采用公式
Figure BDA0001737767300000097
确定下侧的保真边界，其中bot为所述样本图像在旋转后下侧的保真边界。
在一个实施例中，所述样本图像旋转前所述关键信息区域左边侧距离所述样本图像左边侧的垂直距离Δw1与所述样本图像旋转前所述关键信息区域右边侧距离所述样本图像右边侧的垂直距离Δw2相同，均为Δw。在所述目标外接矩形在左侧和右侧与未知像素值区域存在重叠时，采用公式
Figure BDA0001737767300000101
确定左侧和右侧的保真边界，其中 lef和rig分别为所述样本图像在旋转后左侧和右侧的保真边界。
水平方向上，旋转后的文本区域外接矩形与样本图像旋转引入的未知像素值区域存在重叠，为了获得剩余的不失真矩形文本区域图像，根据数据推导，可以得到旋转后文本区域保真边界计算公式如上。
在所述目标外接矩形在左侧和右侧与未知像素值区域不存在重叠时，采用公式
Figure BDA0001737767300000102
确定左侧和右侧的保真边界，其中 lef和rig分别为所述样本图像在旋转后左侧和右侧的保真边界。
在确定所述目标外接矩形中与未知像素区域不存在重叠时，可以直接截取旋转后文本图像的目标外接矩形区域作为保真样本图像，该图像为保真图像。
在一个实施例中，所述样本图像旋转前所述关键信息区域上边侧距离所述样本图像上边侧的垂直距离Δh1与所述样本图像旋转前所述关键信息区域下边侧距离所述样本图像下边侧的垂直距离Δh2相同，均为Δh。在所述目标外接矩形在上侧和下侧与未知像素值区域存在重叠时，采用公式
Figure BDA0001737767300000103
确定上侧和下侧的保真边界，其中 top和bot分别为所述样本图像在旋转后上侧和下侧的保真边界。
垂直方向上，旋转后的文本区域的目标外接矩形与样本图像旋转引入的未知像素值区域存在重叠，为了获得剩余的不失真矩形文本区域图像，根据数据推导，可以得到旋转后文本区域保真边界计算公式如上。
在所述目标外接矩形在上侧和下侧与未知像素值区域不存在重叠时，采用公式
Figure BDA0001737767300000104
确定上侧和下侧的保真边界，其中 top和bot分别为所述样本图像在旋转后上侧和下侧的保真边界。
在确定所述目标外接矩形中与未知像素区域不存在重叠时，可以直接截取旋转后文本图像的目标外接矩形区域作为保真样本图像，该图像为保真图像。
步骤204：根据确定的保真边界截取旋转后的所述关键信息区域图像作为保真样本图像。
图7为本发明实施例公开的截取保真图像过程示意图，其中上面为旋转后文本区域外接矩形与未知像素值区域重叠时保真图像截取示意图，下面为旋转后文本区域外接矩形与未知像素值区域不重叠时保真图像示意图。其中每行图像从左到右依次为：原始样本图像、旋转后样本图像和保真样本图像，旋转后样本图像中的方框为截取范围。
本实施例中，所述应用于图像旋转的图像保真的方法将旋转后引入的未知像素值区域截取在保真图像之外，获取保真样本图像，可继续用于扩充训练样本数量，丰富样本特征，提高深度学习算法模型的识别和泛化能力。
对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
上述本发明公开的实施例中详细描述了方法，对于本发明的方法可采用多种形式的装置实现，因此本发明还公开了一种装置，下面给出具体的实施例进行详细说明。
图8为本发明实施例公开的应用于图像旋转的图像保真的装置的结构示意图，参见图8所示，应用于图像旋转的图像保真的装置80可以包括：
矩形确定模块801，用于确定样本图像旋转后的关键信息区域的最小外接矩形为目标外接矩形。
其中，所述关键信息区域为矩形。以一个固定点为原点，所述样本图像的关键信息区域的各个顶点坐标值可以确定。本实施例中，可以首先确定所述样本图像旋转后的四个顶点坐标值，后续确定所述样本图像旋转后所述关键信息区域的目标外接矩形中是否存在未知像素区域，以及计算保真边界时使用。
所述关键信息区域可以是文字区域或其他例如图画、符号区域，为了便于计算，可以将关键信息区域确定为矩形的区域。样本图像中的关键信息区域可以是人工选择出来的区域，也可以是在进行样本合成时，预先设置好的区域。
结合图4所示，具体的，所述计算确定样本图像旋转后的关键信息区域的四个顶点坐标值，可以根据公式
Figure BDA0001737767300000121
计算确定。
所述目标外接矩形的四个边与X轴平行或Y轴平行，即为水平线或垂直线。
未知区域确定模块802，用于确定未知像素值区域，所述未知像素值区域为所述样本图像旋转后在其旋转前的图像区域中没有图像显示内容的区域。
结合图5，其中黑色区域部分为样本图像旋转引入的未知像素值区域。
边界确定模块803，用于根据所述目标外接矩形与未知像素区域的位置关系，确定保真边界。
图9为本发明实施例公开的一种边界确定模块的结构示意图，如图9所示，在一个实现中，所述边界确定模块803可以包括：重叠判断模块901，用于判断所述目标外接矩形是否与所述未知像素区域重叠；边界确定子模块 902，用于根据所述目标外接矩形与所述未知像素区域的重叠情况，确定保真边界。所述重叠判断模块901具体可用于：判断所述目标外接矩形分别在上、下、左、右四个方向上是否与所述未知像素值区域重叠。
图10为本发明实施例公开的另一种边界确定模块的结构示意图，如图10所示，在另外一个实施方式中，所述边界确定模块803可以包括：第一确定子模块1001，用于在所述目标外接矩形与所述未知像素区域存在重叠时，确定最小外接矩形不与所述未知像素区域重叠的关键信息区域，并将所述最小外接矩形的边界确定为保真边界；第二确定子模块1002，用于在所述目标外接矩形与所述未知像素区域不存在重叠时，将所述目标外接矩形的边界确定为保真边界。
结合图5，具体的，所述判断所述目标外接矩形分别在上、下、左、右四个方向上是否与所述未知像素值区域重叠，可以根据公式
Figure RE-GDA0001821580160000131
是否成立，判断所述目标外接矩形分别在上、下、左、右四个方向上是否存在未知像素值区域。其中，Δw1为所述样本图像旋转前所述关键信息区域左边侧距离所述样本图像左边侧的垂直距离，Δw2为所述样本图像旋转前所述关键信息区域右边侧距离所述样本图像右边侧的垂直距离，α为旋转角度，x0' 和x3'为旋转后所述关键信息区域左侧两个顶点的横坐标值，x1'和x2'为旋转后所述关键信息区域右侧两个顶点的横坐标值，Δh1为所述样本图像旋转前所述关键信息区域上边侧距离所述样本图像上边侧的垂直距离，Δh2为所述样本图像旋转前所述关键信息区域下边侧距离所述样本图像下边侧的垂直距离，y0' 和y1'为旋转后所述关键信息区域上侧两个顶点的纵坐标值，y2'和y3'为旋转后所述关键信息区域下侧两个顶点的纵坐标值。在一个示例中，Δw1和Δw2可以相同，Δh1和Δh2也可以相同。
在各个方向上对应的上述公式成立时，则确定所述目标外接矩形分别与各方向上的未知像素区域存在重叠。具体地，公式
Figure BDA0001737767300000132
成立，判断所述目标外接矩形左侧与所述未知像素值区域存在重叠；公式
Figure BDA0001737767300000133
成立，判断所述目标外接矩形右侧与所述未知像素值区域存在重叠；公式
Figure BDA0001737767300000141
成立，判断所述目标外接矩形上侧与所述未知像素值区域存在重叠；公式
Figure BDA0001737767300000142
成立，判断所述目标外接矩形下侧与所述未知像素值区域存在重叠。
在确定所述目标外接矩形中存在未知像素区域时，则旋转后所述关键信息区域的目标外接矩形中的图像失真，为了获得旋转后不失真的最大文本区域图像，需要计算确定不包括未知像素区域的最小外接矩形对应的图像区域，获得保真的样本图像。
图5中，旋转后文本区域的目标外接矩形与样本图像旋转引入的未知像素值区域存在重叠。图6中，旋转后文本区域外接矩形与样本图像旋转引入的未知像素值区域不存在重叠。结合图5和图6所示，所述根据所述目标外接矩形与未知像素区域的位置关系，确定保真边界，可以包括：
当所述目标外接矩形在左侧与未知像素值区域存在重叠时，采用公式
Figure BDA0001737767300000143
确定左侧的保真边界，当所述目标外接矩形在左侧与未知像素值区域不存在重叠时，采用公式
Figure BDA0001737767300000144
确定左侧的保真边界，其中lef为所述样本图像在旋转后左侧的保真边界；
当所述目标外接矩形在右侧与未知像素值区域存在重叠时，采用公式
Figure BDA0001737767300000145
确定右侧的保真边界，当所述目标外接矩形在右侧与未知像素值区域不存在重叠时，采用公式
Figure BDA0001737767300000146
确定右侧的保真边界，其中rig为所述样本图像在旋转后右侧的保真边界；
当所述目标外接矩形在上侧与未知像素值区域存在重叠时，采用公式
Figure BDA0001737767300000147
确定上侧的保真边界，当所述目标外接矩形在上侧与未知像素值区域不存在重叠时，采用公式
Figure BDA0001737767300000151
确定上侧的保真边界，其中top为所述样本图像在旋转后上侧的保真边界；
当所述目标外接矩形在下侧与未知像素值区域存在重叠时，采用公式
Figure BDA0001737767300000152
确定下侧的保真边界，当所述目标外接矩形在下侧与未知像素值区域不存在重叠时，采用公式
Figure BDA0001737767300000153
确定下侧的保真边界，其中bot为所述样本图像在旋转后下侧的保真边界。
在一个实施例中，所述样本图像旋转前所述关键信息区域左边侧距离所述样本图像左边侧的垂直距离Δw1与所述样本图像旋转前所述关键信息区域右边侧距离所述样本图像右边侧的垂直距离Δw2相同，均为Δw。在所述目标外接矩形在左侧和右侧与未知像素值区域存在重叠时，采用公式
Figure RE-GDA0001821580160000155
确定左侧和右侧的保真边界，其中 lef和rig分别为所述样本图像在旋转后左侧和右侧的保真边界。
水平方向上，旋转后的文本区域外接矩形与样本图像旋转引入的未知像素值区域存在重叠，为了获得剩余的不失真矩形文本区域图像，根据数据推导，可以得到旋转后文本区域保真边界计算公式如上。
在所述目标外接矩形在左侧和右侧与未知像素值区域不存在重叠时，采用公式
Figure BDA0001737767300000155
确定左侧和右侧的保真边界，其中 lef和rig分别为所述样本图像在旋转后左侧和右侧的保真边界。
在确定所述目标外接矩形中与未知像素区域不存在重叠时，可以直接截取旋转后文本图像的目标外接矩形区域作为保真样本图像，该图像为保真图像。
在一个实施例中，所述样本图像旋转前所述关键信息区域上边侧距离所述样本图像上边侧的垂直距离Δh1与所述样本图像旋转前所述关键信息区域下边侧距离所述样本图像下边侧的垂直距离Δh2相同，均为Δh。在所述目标外接矩形在上侧和下侧与未知像素值区域存在重叠时，采用公式
Figure BDA0001737767300000161
确定上侧和下侧的保真边界，其中 top和bot分别为所述样本图像在旋转后上侧和下侧的保真边界。
垂直方向上，旋转后的文本区域的目标外接矩形与样本图像旋转引入的未知像素值区域存在重叠，为了获得剩余的不失真矩形文本区域图像，根据数据推导，可以得到旋转后文本区域保真边界计算公式如上。
在所述目标外接矩形在上侧和下侧与未知像素值区域不存在重叠时，采用公式
Figure BDA0001737767300000162
确定上侧和下侧的保真边界，其中 top和bot分别为所述样本图像在旋转后上侧和下侧的保真边界。
在确定所述目标外接矩形中与未知像素区域不存在重叠时，可以直接截取旋转后文本图像的目标外接矩形区域作为保真样本图像，该图像为保真图像。
图像截取模块804，用于根据确定的保真边界截取旋转后的所述关键信息区域图像作为保真样本图像。
本实施例中，所述应用于图像旋转的图像保真的装置将旋转后引入的未知像素值区域截取在保真图像之外，获取保真样本图像，可继续用于扩充训练样本数量，丰富样本特征，提高深度学习算法模型的识别和泛化能力。
上述实施例中的所述的任意一种应用于图像旋转的图像保真的装置包括处理器和存储器，上述实施例中的矩形确定模块、未知区域确定模块、边界确定模块图像截取模块等均作为程序模块存储在存储器中，由处理器执行存储在所述存储器中的上述程序模块来实现相应的功能。
处理器中包含内核，由内核去存储器中调取相应的程序模块。内核可以设置一个或多个，通过调整内核参数来实现回访数据的处理。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器 (RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。
本发明实施例提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现上述实施例中所述的应用于图像旋转的图像保真的方法。
本发明实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述实施例中所述的应用于图像旋转的图像保真的方法。
进一步，本实施例提供了一种电子设备，包括处理器以及存储器。其中存储器用于存储所述处理器的可执行指令，所述处理器配置为经由执行所述可执行指令来执行上述实施例中所述的应用于图像旋转的图像保真的方法。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (6)

1.一种应用于图像旋转的图像保真的方法，其特征在于，包括：
确定样本图像旋转后的关键信息区域的最小外接矩形为目标外接矩形；
确定未知像素值区域，所述未知像素值区域为所述样本图像旋转后在其旋转前的图像区域中没有图像显示内容的区域；
根据所述目标外接矩形与所述未知像素区域的位置关系，确定保真边界，包括：判断所述目标外接矩形是否与所述未知像素区域重叠；根据所述目标外接矩形与所述未知像素区域的重叠情况，确定保真边界；
所述判断所述目标外接矩形是否与所述未知像素区域重叠，包括判断所述目标外接矩形分别在上、下、左、右四个方向上是否与所述未知像素值区域重叠，具体包括：
当公式
Figure FDA0003337960630000011
成立，判断所述目标外接矩形左侧与所述未知像素值区域存在重叠，其中Δw1为所述样本图像旋转前所述关键信息区域左边侧距离所述样本图像左边侧的垂直距离，α为旋转角度，x0'和x3'为旋转后所述关键信息区域左侧两个顶点的横坐标值；
当公式
Figure FDA0003337960630000012
成立，判断所述目标外接矩形右侧与所述未知像素值区域存在重叠，其中Δw2为所述样本图像旋转前所述关键信息区域右边侧距离所述样本图像右边侧的垂直距离，x1'和x2'为旋转后所述关键信息区域右侧两个顶点的横坐标值；
当公式
Figure FDA0003337960630000013
成立，判断所述目标外接矩形上侧与所述未知像素值区域存在重叠，其中Δh1为所述样本图像旋转前所述关键信息区域上边侧距离所述样本图像上边侧的垂直距离，y0'和y1'为旋转后所述关键信息区域上侧两个顶点的纵坐标值；
当公式
Figure FDA0003337960630000014
成立，判断所述目标外接矩形下侧与所述未知像素值区域存在重叠，其中Δh2为所述样本图像旋转前所述关键信息区域下边侧距离所述样本图像下边侧的垂直距离，y2'和y3'为旋转后所述关键信息区域下侧两个顶点的纵坐标值；
所述根据所述目标外接矩形与未知像素区域的位置关系，确定保真边界，包括：
当所述目标外接矩形在左侧与所述未知像素值区域存在重叠时，采用公式
Figure FDA0003337960630000015
确定左侧的保真边界，当所述目标外接矩形在左侧与所述未知像素值区域不存在重叠时，采用公式
Figure FDA0003337960630000021
lef＝min(x0',x3')确定左侧的保真边界，其中lef为所述样本图像在旋转后左侧的保真边界；
当所述目标外接矩形在右侧与所述未知像素值区域存在重叠时，采用公式
Figure FDA0003337960630000022
确定右侧的保真边界，当所述目标外接矩形在右侧与所述未知像素值区域不存在重叠时，采用公式
Figure FDA0003337960630000023
rig＝max(x1',x2')确定右侧的保真边界，其中rig为所述样本图像在旋转后右侧的保真边界；
根据确定的保真边界截取旋转后的所述关键信息区域图像作为保真样本图像。
2.根据权利要求1所述的应用于图像旋转的图像保真的方法，其特征在于，所述根据所述目标外接矩形与所述未知像素区域的重叠情况，确定保真边界，包括：
在所述目标外接矩形与所述未知像素区域存在重叠时，确定最小外接矩形不与所述未知像素区域重叠的关键信息区域，并将所述最小外接矩形的边界确定为保真边界；
在所述目标外接矩形与所述未知像素区域不存在重叠时，将所述目标外接矩形的边界确定为保真边界。
3.根据权利要求1所述的应用于图像旋转的图像保真的方法，其特征在于，所述根据所述目标外接矩形与未知像素区域的位置关系，确定保真边界，包括：
当所述目标外接矩形在上侧与所述未知像素值区域存在重叠时，采用公式
Figure FDA0003337960630000024
确定上侧的保真边界，当所述目标外接矩形在上侧与所述未知像素值区域不存在重叠时，采用公式
Figure FDA0003337960630000025
top＝min(y0',y1')确定上侧的保真边界，其中top为所述样本图像在旋转后上侧的保真边界；
当所述目标外接矩形在下侧与所述未知像素值区域存在重叠时，采用公式
Figure FDA0003337960630000031
确定下侧的保真边界，当所述目标外接矩形在下侧与所述未知像素值区域不存在重叠时，采用公式
Figure FDA0003337960630000032
bot＝max(y2',y3')确定下侧的保真边界，其中bot为所述样本图像在旋转后下侧的保真边界。
4.一种应用于图像旋转的图像保真的装置，其特征在于，包括：
矩形确定模块，用于确定样本图像旋转后的关键信息区域的最小外接矩形为目标外接矩形；
未知区域确定模块，用于确定未知像素值区域，所述未知像素值区域为所述样本图像旋转后在其旋转前的图像区域中没有图像显示内容的区域；
边界确定模块，用于根据所述目标外接矩形与未知像素区域的位置关系，确定保真边界；
所述边界确定模块包括：
重叠判断模块，用于判断所述目标外接矩形是否与所述未知像素区域重叠；
所述重叠判断模块，具体用于判断所述目标外接矩形分别在上、下、左、右四个方向上是否与所述未知像素值区域重叠，包括：
当公式
Figure FDA0003337960630000033
成立，判断所述目标外接矩形左侧与所述未知像素值区域存在重叠，其中Δw1为所述样本图像旋转前所述关键信息区域左边侧距离所述样本图像左边侧的垂直距离，α为旋转角度，x0'和x3'为旋转后所述关键信息区域左侧两个顶点的横坐标值；
当公式
Figure FDA0003337960630000034
成立，判断所述目标外接矩形右侧与所述未知像素值区域存在重叠，其中Δw2为所述样本图像旋转前所述关键信息区域右边侧距离所述样本图像右边侧的垂直距离，x1'和x2'为旋转后所述关键信息区域右侧两个顶点的横坐标值；
当公式
Figure FDA0003337960630000035
成立，判断所述目标外接矩形上侧与所述未知像素值区域存在重叠，其中Δh1为所述样本图像旋转前所述关键信息区域上边侧距离所述样本图像上边侧的垂直距离，y0'和y1'为旋转后所述关键信息区域上侧两个顶点的纵坐标值；
当公式
Figure FDA0003337960630000041
成立，判断所述目标外接矩形下侧与所述未知像素值区域存在重叠，其中Δh2为所述样本图像旋转前所述关键信息区域下边侧距离所述样本图像下边侧的垂直距离，y2'和y3'为旋转后所述关键信息区域下侧两个顶点的纵坐标值；
边界确定子模块，用于根据所述目标外接矩形与所述未知像素区域的重叠情况，确定保真边界，包括：
当所述目标外接矩形在左侧与所述未知像素值区域存在重叠时，采用公式
Figure FDA0003337960630000042
确定左侧的保真边界，当所述目标外接矩形在左侧与所述未知像素值区域不存在重叠时，采用公式
Figure FDA0003337960630000043
lef＝min(x0',x3')确定左侧的保真边界，其中lef为所述样本图像在旋转后左侧的保真边界；
当所述目标外接矩形在右侧与所述未知像素值区域存在重叠时，采用公式
Figure FDA0003337960630000044
确定右侧的保真边界，当所述目标外接矩形在右侧与所述未知像素值区域不存在重叠时，采用公式
Figure FDA0003337960630000045
rig＝max(x1',x2')确定右侧的保真边界，其中rig为所述样本图像在旋转后右侧的保真边界；
图像截取模块，用于根据确定的保真边界截取旋转后的所述关键信息区域图像作为保真样本图像。
5.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1～3任一项所述的应用于图像旋转的图像保真的方法。
6.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1～3任一项所述的应用于图像旋转的图像保真的方法。
CN201810803980.7A 2018-07-20 2018-07-20 一种应用于图像旋转的图像保真的方法及装置 Active CN109034153B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810803980.7A CN109034153B (zh) 2018-07-20 2018-07-20 一种应用于图像旋转的图像保真的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810803980.7A CN109034153B (zh) 2018-07-20 2018-07-20 一种应用于图像旋转的图像保真的方法及装置

Publications (2)

Publication Number Publication Date
CN109034153A CN109034153A (zh) 2018-12-18
CN109034153B true CN109034153B (zh) 2022-04-26

Family

ID=64644669

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810803980.7A Active CN109034153B (zh) 2018-07-20 2018-07-20 一种应用于图像旋转的图像保真的方法及装置

Country Status (1)

Country Link
CN (1) CN109034153B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110909816B (zh) * 2019-11-29 2022-11-08 泰康保险集团股份有限公司 图片识别方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101149801A (zh) * 2007-10-23 2008-03-26 北京大学 一种复杂结构文档图像倾斜快速检测方法
CN106780525A (zh) * 2016-11-18 2017-05-31 北方工业大学 基于坐标旋转最小外接矩形的光学遥感图像船只方向特征提取方法
CN107346546A (zh) * 2017-07-17 2017-11-14 京东方科技集团股份有限公司 一种图像处理方法及装置
CN107590447A (zh) * 2017-08-29 2018-01-16 北京奇艺世纪科技有限公司 一种文字标题识别方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7817854B2 (en) * 2006-07-11 2010-10-19 Pegasus Imaging Corporation Method and apparatus for identifying the rotation angle and bounding rectangle of a digitized form
CN106780352B (zh) * 2016-12-16 2020-06-09 珠海赛纳打印科技股份有限公司 图像旋转方法、装置及图像形成设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101149801A (zh) * 2007-10-23 2008-03-26 北京大学 一种复杂结构文档图像倾斜快速检测方法
CN106780525A (zh) * 2016-11-18 2017-05-31 北方工业大学 基于坐标旋转最小外接矩形的光学遥感图像船只方向特征提取方法
CN107346546A (zh) * 2017-07-17 2017-11-14 京东方科技集团股份有限公司 一种图像处理方法及装置
CN107590447A (zh) * 2017-08-29 2018-01-16 北京奇艺世纪科技有限公司 一种文字标题识别方法及装置

Also Published As

Publication number Publication date
CN109034153A (zh) 2018-12-18

Similar Documents

Publication Publication Date Title
US10726557B2 (en) Method and system for preparing text images for optical-character recognition
US10187546B2 (en) Method and device for correcting document image captured by image pick-up device
US8457403B2 (en) Method of detecting and correcting digital images of books in the book spine area
CN109753971B (zh) 扭曲文字行的矫正方法及装置、字符识别方法及装置
CN110136069B (zh) 文本图像矫正方法、装置与电子设备
US9489722B2 (en) Method and apparatus for implementing image denoising
US11842535B2 (en) Systems and methods for license plate recognition
US11037017B2 (en) Method and device for obtaining image of form sheet
CN105279512A (zh) 一种倾斜车牌识别方法和装置
CN110348264A (zh) 一种qr二维码图像校正方法及系统
US20130201358A1 (en) Efficient Line Detection Method
CN113221897B (zh) 图像矫正方法、图像文本识别方法、身份验证方法及装置
US9092844B2 (en) Method and apparatus for correcting corner point of image and image processing device
US9129385B2 (en) Image processing device, image processing method and apparatus for high precision document corners extraction
CN113011409A (zh) 一种图像识别方法、装置、电子设备及存储介质
CN112419207A (zh) 一种图像矫正方法及装置、系统
US20170140538A1 (en) Image preprocessing method and electronic device for image registration
CN109034153B (zh) 一种应用于图像旋转的图像保真的方法及装置
WO2024169397A1 (zh) 印章识别方法、装置、电子设备及存储介质
JP2003016440A5 (zh)
CN112580638B (zh) 文本检测方法、装置、存储介质及电子设备
CN112634298B (zh) 图像处理方法及装置、存储介质、终端
CN112465931A (zh) 图像文本抹除方法、相关设备及可读存储介质
JPH05174182A (ja) 文書傾き角検出方法および文書傾き角検出装置
CN116645299B (zh) 一种深度伪造视频数据增强方法、装置及计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: Floor 36, Zheshang Building, No. 718 Jianshe Avenue, Jiang'an District, Wuhan, Hubei 430019

Patentee after: TK.CN INSURANCE Co.,Ltd.

Patentee after: TAIKANG INSURANCE GROUP Co.,Ltd.

Address before: Taikang Life Building, 156 fuxingmennei street, Xicheng District, Beijing 100031

Patentee before: TAIKANG INSURANCE GROUP Co.,Ltd.

Patentee before: TK.CN INSURANCE Co.,Ltd.