CN110738602A - 图像处理方法、装置、电子设备及可读存储介质 - Google Patents

图像处理方法、装置、电子设备及可读存储介质 Download PDF

Info

Publication number
CN110738602A
CN110738602A CN201910866716.2A CN201910866716A CN110738602A CN 110738602 A CN110738602 A CN 110738602A CN 201910866716 A CN201910866716 A CN 201910866716A CN 110738602 A CN110738602 A CN 110738602A
Authority
CN
China
Prior art keywords
image
text image
target
text
corner
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910866716.2A
Other languages
English (en)
Other versions
CN110738602B (zh
Inventor
李楠
张睿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sankuai Online Technology Co Ltd
Original Assignee
Beijing Sankuai Online Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sankuai Online Technology Co Ltd filed Critical Beijing Sankuai Online Technology Co Ltd
Priority to CN201910866716.2A priority Critical patent/CN110738602B/zh
Publication of CN110738602A publication Critical patent/CN110738602A/zh
Application granted granted Critical
Publication of CN110738602B publication Critical patent/CN110738602B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G06T3/608—Rotation of whole images or parts thereof by skew deformation, e.g. two-pass or three-pass rotation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/247—Aligning, centring, orientation detection or correction of the image by affine transforms, e.g. correction due to perspective effects; Quadrilaterals, e.g. trapezoids
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Character Input (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供了一种图像处理方法、装置、电子设备及可读存储介质，旨在降低文字识别结果的错误率。所述方法包括：对待处理图像进行目标区域检测，得到所述待处理图像上包含文本图像的目标区域；根据所述包含文本图像的目标区域，对所述待处理图像进行剪裁，得到包含所述文本图像的子图像；对所述子图像中的所述文本图像进行角点预测，得到所述文本图像的角点位置信息；根据所述文本图像的角点位置信息，确定针对所述文本图像的矫正参数，并根据所述矫正参数对所述文本图像进行投影矫正，获得投影矫正后的目标文本图像；对所述目标文本图像进行文字识别，获得该本文图像中的文字信息。

Description

图像处理方法、装置、电子设备及可读存储介质
技术领域
本申请实施例涉及数据处理技术领域，尤其涉及一种图像处理方法、装置、电子设备及可读存储介质。
背景技术
随着数据处理领域中图像处理技术的发展，越来越多的用户或企业开始借助图像处理技术对图像中的文字进行识别，旨在获得图像中的文字信息。以电商业务为例，商户将营业执照照片和身份证照片上传电商平台后，电商平台为了快速录入营业执照和身份证中的文字信息，通常借助现有的图像处理技术，对商户上传的照片进行文字识别，然后对识别出的文字信息进行人工核对和修正，最后将核对和修改后的文字信息保存，从而完成对营业执照和身份证中文字信息的录入。
目前的图像处理技术在进行文字识别时，识别结果的错误率较高，为了更正错位结果，需要投入较大的人力对识别结果进行审核和修正。这不仅导致信息录入效率低，还增加了信息录入成本，因此目前的图像处理技术的实用性较低。
发明内容
本申请实施例提供一种图像处理方法、装置、电子设备及可读存储介质，旨在降低文字识别结果的错误率。
本申请实施例第一方面提供了一种图像处理方法，所述方法包括：
对待处理图像进行目标区域检测，得到所述待处理图像上包含文本图像的目标区域；
根据所述包含文本图像的目标区域，对所述待处理图像进行剪裁，得到包含所述文本图像的子图像；
对所述子图像中的所述文本图像进行角点预测，得到所述文本图像的角点位置信息；
根据所述文本图像的角点位置信息，确定针对所述文本图像的矫正参数，并根据所述矫正参数对所述文本图像进行投影矫正，获得投影矫正后的目标文本图像；
对所述目标文本图像进行文字识别，获得该本文图像中的文字信息。
本申请实施例第二方面提供一种图像处理装置，所述装置包括：
目标区域检测模块，用于对待处理图像进行目标区域检测，得到所述待处理图像上包含文本图像的目标区域；
待处理图像剪裁模块，用于根据所述包含文本图像的目标区域，对所述待处理图像进行剪裁，得到包含所述文本图像的子图像；
角点预测模块，用于对所述子图像中的所述文本图像进行角点预测，得到所述文本图像的角点位置信息；
投影矫正模块，用于根据所述文本图像的角点位置信息，确定针对所述文本图像的矫正参数，并根据所述矫正参数对所述文本图像进行投影矫正，获得投影矫正后的目标文本图像；
文字识别模块，用于对所述目标文本图像进行文字识别，获得该本文图像中的文字信息。
本申请实施例第三方面提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现如本申请第一方面所述的方法中的步骤。
本申请实施例第四方面提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行时实现本申请第一方面所述的方法的步骤。
采用本申请实施例提供的图像处理方法，通过对待处理图像中的文本图像进行区域检测，确定文本图像所在的目标区域。然后剪裁出该目标区域，得到包含文本图像的子图像，从而裁掉待处理图像中的部分干扰图像。再对所述子图像进行角点预测，得到文本图像的角点位置信息，从而更精确地确定出文本图像在子图像中的位置，进一步锁定识别区域。接着根据角点位置信息确定文本图像的矫正参数，从而对文本图像进行投影矫正，得到目标文本图像，使文本图像中产生形变和/或旋转的文字被矫正为水平的正常字形，有利于提高文字识别准确率。最后对目标文本图像进行文字识别，输出错误率较低的文字识别结果。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一实施例提出的模型训练的流程图；
图2是本申请一实施例提出的样本图像的示意图；
图3是本申请一实施例提出的确定第二标记的示意图；
图4是本申请一实施例提出的图像处理方法的流程图；
图5示出了待处理图像经过目标区域检测后的示意图；
图6是本申请一实施例提出的目标区域扩展示意图；
图7是本本申请一实施例提出的角点预测流程图；
图8是本申请一实施例提出的文本图像投影矫正示意图；
图9是本申请一实施例提出的确定目标角点位置的示意图；
图10是本申请一实施例提供的图像处理装置的示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，均应属于本申请保护的范围。
随着数据处理领域中图像处理技术的发展，越来越多的用户或企业开始借助图像处理技术对图像中的文字进行识别，旨在获得图像中的文字信息。目前的图像处理技术在进行文字识别时，识别结果的错误率较高，为了更正错位结果，需要投入较大的人力对识别结果进行审核和修正。这不仅导致信息录入效率低，还增加了信息录入成本，因此目前的图像处理技术的实用性较低。
有鉴于此，本申请的至少一个实施例提出：通过对待处理图像中的文本图像进行区域检测，确定文本图像所在的目标区域。然后剪裁出该目标区域，得到包含文本图像的子图像，从而裁掉待处理图像中的部分干扰图像。再对所述子图像进行角点预测，得到文本图像的角点位置信息，从而更精确地确定出文本图像在子图像中的位置，进一步锁定识别区域。接着根据角点位置信息确定文本图像的矫正参数，从而对文本图像进行投影矫正，得到目标文本图像，使文本图像中产生形变和/或旋转的文字被矫正为水平的正常字形，有利于提高文字识别准确率。最后对目标文本图像进行文字识别，从而输出错误率较低的文字识别结果。
为了更智能地实施本申请上述的实施例提出的上述方法，可以预先建立第一预设模型和第二预设模型，然后采集合适的训练样本对第一预设模型和第二预设模型进行训练，得到用于检测文本图像所在区域的目标检测模型，以及用于预测文本图像角点位置的角点预测模型。该目标检测模型和角点预测模型可作为一种可选手段，用于执行本申请提出的上述方法中的部分步骤。
其中，第一预设模型的结构可选用现有检测模型的结构，如RPN(RegionProposalNetwork)、SSD(Single Shot MultiBox Detector)、YOLO等网络结构。第二预设模型的结构可选用CNN卷积神经网络。
参考图1，图1是本申请一实施例提出的模型训练的流程图。如图1所示，该训练流程包括以下步骤：
步骤S11：获得多张包含文本图像的样本图像，每张所述样本图像携带第一标记，该第一标记表征该样本图像包含的所述文本图像的各角点的位置信息。
本实施例中，文本图像是指包含文字的证件、执照、证书、票据、书籍等的图像。例如身份证、学生证、工作证、护照、驾照、营业执照、经营许可证、从业资格证、车票、发票、书籍封面等的图像。
样本图像是指除了包含文本图像，还包含其他环境图像的图像。参考图2，图2是本申请一实施例提出的样本图像的示意图。如图2所示，样本图像01中包括文本图像02和环境图像03。
如图2所示，本实施例中，可以将每张样本图像的左下角作为平面直角坐标系的原点，第一标记可以是文本图像的各个角点在该平面直角坐标系中的坐标。此外，每张样本图像还可以携带文本图像的矩形标注框信息，该矩形标注框信息记录了矩形标注框左上角和右下角在该平面直角坐标系中的坐标。或者，该矩形标注框信息记录了矩形标注框左上角在该平面直角坐标系中的坐标、以及该矩形标注框的长度和宽度。
步骤S12：针对所述多张样本图像中的每张携带第一标记的样本图像，执行步骤：基于该携带第一标记的样本图像，对第一预设模型进行训练，得到所述第一预设模型输出的所述样本图像上包含文本图像的预测目标区域；以所述预测目标区域为剪裁区域，对该样本图像进行剪裁，得到包含文本图像的样本子图像；基于所述样本子图像，对第二预设模型进行训练。
本实施例中，基于每张样本图像对第一预设模型进行训练时，可以首先对该样本图像的图像通道进行统一，例如将该样本图像统一为3通道的RGB图像，然后将该样本图像输入第一预设模型，第一预设模型输出对该样本图像中文本图像所在区域的矩形检测框信息，即预测目标区域。其中，该矩形检测框信息可以包括矩形检测框左上角和右下角各自的坐标。然后利用该矩形检测框信息，以及该样本图像携带的矩形标注框信息，确定损失值，从而对第一预设模型进行更新。
或者，该矩形检测框信息可以包括矩形检测框左上角的坐标、以及该矩形检测框的长度和宽度。然后利用该矩形检测框信息，以及该样本图像携带的矩形标注框信息，确定损失值，从而对第一预设模型进行更新。
基于该张样本图像对第二预设模型进行训练时，可以根据检测信息包括的四个角点的坐标，对该样本图像进行剪裁。换言之，以预测目标区域为剪裁区域，对该样本图像进行剪裁，得到包含文本图像的样本子图像。其中，样本子图像即是预测目标区域。
其中，为了增加样本数据的多样性，从而使训练得到的角点预测模型更具适应性和泛化性，在对样本图像进行剪裁时，可以随机或根据预设规则对所述预测目标区域进行调整，得到调整后的预测目标区域；以所述调整后的预测目标区域为剪裁区域，对所述样本图像进行剪裁，得到包含文本图像的样本子图像。
应当理解的，本申请对预测目标区域进行调整的目的在于：增加样本数据的多样性。在实现上述目的的前提下，本申请对调整的具体方式不做限定。例如，调整后的预测目标区域相比于调整前的预测目标区域，其左侧边框向内移动距离L1，其右侧的边框向外移动距离R1，其上侧的边框向内移动距离T1，其下侧的边框向外移动距离B1。或者，调整后的预测目标区域相比于调整前的预测目标区域，其左侧边框向外移动距离L2，其右侧的边框向外移动距离R2，其上侧的边框向外移动距离T2，其下侧的边框向内移动距离B2。
继续基于该张样本图像对第二预设模型进行训练，在得到包含文本图像的样本子图像后，基于该样本子图像，对第二预设模型进行训练。
其中，一种具体的训练方式可以包括以下子步骤：
步骤S12-1：根据所述携带第一标记的样本图像和所述预测目标区域，确定所述样本子图像的第二标记，该第二标记表征该样本子图像包含的文本图像的各角点在该样本子图像上的位置信息。
步骤S12-2：将携带第二标记的样本子图像输入所述第二预设模型，得到所述第二预设模型预测的位置信息。
步骤S12-3：根据所述第二预设模型预测的位置信息与所述第二标记表征的位置信息，更新所述第二预设模型。
示例地，参考图3，图3是本申请一实施例提出的确定第二标记的示意图。如图3所示，样本图像的第一标记用于表征文本图像四个角点的各自坐标，四个坐标分别为(2.5,2.3)、(2.8,3.9)、(5.9,3.8)以及(5.4,1.8)。如图3所示，第一预设模型输出的预测目标区域，或者经过调整的预测目标区域(图3中的虚线框)的左下角的坐标为(1.5,1.0)。如此，根据预测目标区域从样本图像中剪裁出样本子图像后，以样本子图像的左下角为原点建立平面直角坐标系，第二标记表征文本图像四个角点在该坐标系中各自的坐标，如图3所示四个新的坐标分别为(1.0,1.3)、(1.3,2.9)、(4.4,2.8)以及(3.9,0.8)。
其中，每个新坐标为：原坐标减去预测目标区域左下角坐标后所得的坐标。以文本图像左上角为例，第一标记中文本图像左上角的原坐标为(2.8,3.9)，预测目标区域的左下角的坐标为(1.5,1.0)。如此，第二标记中文本图像左上角的新坐标的x值为2.8-1.5，等于1.3；y值为3.9-1.0，等于2.9。
在确定样本子图像的第二标记后，将样本子图像进行尺寸标准化处理，使各样本子图像被处理成相同的图片大小。然后对尺寸标准化处理后的样本子图像中的第二标记进行修正。示例地，尺寸标准化处理前的样本子图像的长度为2、宽度为1，尺寸标准化处理后的样本子图像的长度为1、宽度也为1，则调整后的第二标记中左上角的坐标被调整为(1.3/2,2.9/1)，即(0.65,2.9)。将携带调整后的第二标记的样本子图像输入第二预设模型。第二预设模型预测文本图像在样本子图像中的位置信息，并输出该位置信息。示例地，第二预设模型预测的位置信息是文本图像各角点的坐标。
最后，根据第二预设模型预测的位置信息与第二标记表征的位置信息，确定损失值，并根据该损失值更新模型。具体地，根据以下公式，确定所述第二预设模型在每次训练中的损失值loss:
Figure BDA0002201474570000071
Figure BDA0002201474570000081
Figure BDA0002201474570000082
其中，i表示文本图像的角点编号，
Figure BDA0002201474570000083
表示文本图像第i个角点的第二标记中的标注横向坐标，
Figure BDA00022014745700000815
表示文本图像第i个角点的第二标记中的标注纵向坐标，
Figure BDA0002201474570000084
表示文本图像第i个角点的预测横向坐标，
Figure BDA00022014745700000816
表示文本图像第i个角点的预测纵向坐标。
沿用上述示例，第二标记(编号i等于2)中，文本图像左上角的坐标为(0.65,2.9)，即
Figure BDA0002201474570000085
假设文本图像左上角的预测坐标为(0.85,1.7)，即
Figure BDA0002201474570000086
由于即
Figure BDA0002201474570000088
的绝对值等于0.2，
Figure BDA0002201474570000089
的绝对值小于1，因此由于
Figure BDA00022014745700000811
即
Figure BDA00022014745700000812
的绝对值等于1.2，
Figure BDA00022014745700000813
的绝对值大于1，因此
针对文本图像的每个角点按照上述示例分别计算出其横向坐标的smoothL1值和纵向坐标的smoothL1值后，将8个smoothL1值进行累加，得到该轮训练中的损失值loss。
每轮训练结束后，保存该轮训练结束时的第二预设模型。将多次训练中损失值loss最小的一次训练所对应的第二预设模型，确定为更新后的模型。示例地，没经过20轮训练后，将保存的20个第二预设模型中损失值loss最小的第二预设模型确定为更新后的模型。并基于该模型，重复前述训练流程。
步骤S13：将经过多次训练的第一预设模型确定为所述目标检测模型，将经过多次训练的第二预设模型确定为所述角点预测模型。
示例地，例如在经过多轮训练后，将预先准备的测试样本输入第一预设模型，根据第一预设模型的输出，测试第一预设模型对文本图像所在区域的检测准确性。在第一预设模型输出结果的准确率较高的情况下，可以将该第一预设模型确定为所述目标检测模型。
然后将该第一预设模型的输出作为测试样本，输入第二预设模型，根据第二预设模型的输出，测试第二预设模型对文本图像角点位置的预测准确性。在第二预设模型输出结果的准确率较高的情况下，可以将该第二预设模型确定为所述角点预测模型。
经过上述步骤S11至步骤S13，训练得到了用于检测文本图像所在区域的目标检测模型，以及用于预测文本图像角点位置的角点预测模型。该目标检测模型和角点预测模型可作为一种可选手段，用于执行本申请提出的上述方法中的部分步骤。
在上述训练流程中，本申请采用了联合训练的方式对第一预设模型和第二预设模型同时进行训练，即以第一预设模型的输出，作为第二预设模型的输入。应当理解的，本申请也可以采用单独训练的方式对第一预设模型和第二预设模型分别进行训练。限于篇幅，本申请对单独训练方式不做赘述。
参考图4，图4是本申请一实施例提出的图像处理方法的流程图。如图4所示，该方法包括以下步骤：
步骤S41：对待处理图像进行目标区域检测，得到所述待处理图像上包含文本图像的目标区域。
本实施例中，文本图像是指包含文字的证件、执照、证书、票据、书籍等的图像。例如身份证、学生证、工作证、护照、驾照、营业执照、经营许可证、从业资格证、车票、发票、书籍封面等的图像。
待处理图像是指除了包含文本图像，还包含其他环境图像的图像。参考图5，图5示出了待处理图像经过目标区域检测后的示意图。如图5所示，待处理图像50中包括文本图像51和环境图像52，还包括包含所述文本图像51的目标区域53。
本实施例中，为了更智能地对待处理图像进行目标区域检测，可以将所述待处理图像输入目标检测模型，并将所述目标检测模型输出的区域作为所述待处理图像上的包含文本图像的目标区域。
其中，待处理图像在输入目标检测模型之前，将该待处理图像的图像通道统一为适用于该目标检测模型的图像通道。该目标检测模型可以是通过上述步骤S11至步骤S13训练得到的目标检测模型。也可以是通过其他训练方式训练得到的目标检测模型。或者，也可以利用现有的用于检测文本图像所在区域的模型作为该目标检测模型。本申请对该目标检测模型的来源不做限定。
步骤S42：根据所述包含文本图像的目标区域，对所述待处理图像进行剪裁，得到包含所述文本图像的子图像。
本实施例中，以所述目标区域为剪裁区域，沿所述目标区域的边界对待处理图像进行剪裁，得到包含文本图像的子图像，该子图像即是所述目标区域。通过从待处理图像中裁取出文本图像所在的目标区域，可以裁掉大部分干扰因素(即环境图像)。由于干扰因素的减少，一方面有利于提高后续步骤中对文本图像角点预测的准确性，另一方面还有利于提高后续步骤中对文本图像中文字识别的准确性。
此外，考虑到机器对待处理图像进行目标检测时，机器针对文本图像输出目标区域的动作具有不稳定性(即具有检测误差)。例如，机器对文本图像所述区域的检测准确性高达98％，换言之，机器能以98％的概率输出一个刚好能完整包含文本图像的目标区域。但是机器仍然存在2％的概率输出一个不能完整包含文本图像的目标区域。
基于上述考虑，为了避免因机器预测出一个不能完整包含文本图像的目标区域，而导致文字识别结果丢失信息。本申请中，在对待处理图像进行剪裁时，可以具体包括以下子步骤：
步骤S42-1：对所述目标区域进行扩展，得到扩展后的目标区域。
步骤S42-2：以所述扩展后的目标区域为剪裁区域，对所述待处理图像进行剪裁，得到包含所述文本图像的子图像。
示例地，参考图6，图6是本申请一实施例提出的目标区域扩展示意图。如图6所示，实线方框为扩展前的目标区域61，虚线方框为扩展后的目标区域61’。由于扩展后的目标区域所覆盖的范围更大，因此其更可能完整地包含文本图像。然后以扩展后的目标区域为剪裁区域，对待处理图像进行剪裁，得到的子图像即是扩展后的目标区域。
步骤S43：对所述子图像中的所述文本图像进行角点预测，得到所述文本图像的角点位置信息。
本实施例中，可以将子图像的左下角作为原点，建立平面直角坐标系，文本图像的角点位置信息即是文本图像各角点在该坐标系中的坐标。
本实施例中，将预测出的各个角点中，两两相邻的角点之间的连线所围成的四边形，作为文本图像所在区域。
本申请通过对子图像中文本图像的角点位置进行预测，可以进一步从子图像中更准确地确定出文本图像的所在位置，提高文本图像所在区域的检测精准度。从而进一步排除子图像中剩余的干扰因素(即环境图像)，进一步提高后续文字识别的准确度。并且，通过将两两相邻的角点之间的连线所围成的四边形，作为文本图像所在区域，可以得到一个完整规则的四边形区域，该四边形区域恰好能准确覆盖文本图像的边界。
本实施例中，为了更智能地对文本图像进行角点预测，可以利用角点预测模型实施该步骤。具体的实时过程包括以下子步骤：
步骤S43-1：记录所述子图像的原始宽度和原始高度，并对所述子图像的图像尺寸进行标准化处理，得到标准化子图像，所述标准化子图像中包含标准化文本图像。
步骤S43-2：将所述标准化子图像输入角点预测模型，得到所述标准化文本图像的角点位置信息。
步骤S43-3：根据所述标准化文本图像的角点位置信息、以及所述子图像的原始宽度和原始高度，确定所述文本图像的角点位置信息。
示例地，参考图7，图7是本本申请一实施例提出的角点预测流程图。如图7所示，子图像71中包含文本图像72，子图像71的原始宽度为2.3，原始高度为1.6。在步骤S43-1中，对原始宽度2.3和原始高度1.6这两个数据进行记录。然后将图像尺寸进行标准化，得到标准化子图像73，标准化子图像73中包含标准化文本图像74。如图7所示，标准化子图像的宽度和高度均为1。
然后在步骤S43-2中，将标准化子图像73输入角点预测模型75，得到角点预测模型预测的标准化文本图像74的角点位置信息。其中，标准化文本图像74的角点位置信息可以是该标准化文本图像74各个角点的坐标，每个角点坐标是：以标准化文本图像74左下角为原点而建立的平面直角坐标系中的坐标。
最后在步骤S43-3中，根据标准化文本图像74的角点位置信息、以及子图像71的原始宽度和原始高度，确定所述文本图像的角点位置信息。沿用上述示例，如图7所示，假设标准化文本图像74的一个角点的角点坐标为(0.11,0.68)，则映射到文本图像中该角点的角点坐标为(0.11×2.3,0.68×1.6)，即(0.25，1.09)。
其中，所述角点预测模型可以是通过上述步骤S11至步骤S13训练得到的角点预测模型。也可以是通过其他训练方式训练得到的角点预测模型。本申请对所述角点预测模型的来源不做限定。
步骤S44：根据所述文本图像的角点位置信息，确定针对所述文本图像的矫正参数，并根据所述矫正参数对所述文本图像进行投影矫正，获得投影矫正后的目标文本图像。
本实施例中，投影矫正是指：将具有形变的文本图像调整为该文本图像在没有形变时的标准形状。
示例地，参考图8，图8是本申请一实施例提出的文本图像投影矫正示意图。如图8所示，文本图像是一个身份证图像，投影矫正前的身份证图像因拍摄角度的问题，呈现为一个平行四边形(非矩形)。经过投影矫正后，该身份证图像被矫正为身份证的标准形状，即矩形。或者更严格地，经过投影矫正后，该身份证图像被矫正为一个长宽比为300:190的矩形。其中300:190的长宽比是身份证的标准长宽比。
本申请通过根据文本图像的角点位置信息，确定针对所述文本图像的矫正参数，并根据该矫正参数对文本图像进行投影矫正。如图8所示，投影矫正前文本图像中发生形变和/或旋转的字形，被矫正为水平的正常字形。基于这些水平的正常字形进行后续的文字识别，可以进一步提高文字识别准确率，换言之，进一步降低文字识别错误率。
本实施例中，在确定矫正参数时，可以采用包括以下子步骤的具体实施方式：
步骤S44-1：根据所述文本图像的角点位置信息和针对所述文本图像的预设长宽比，确定目标文本图像的目标角点位置信息。
步骤S44-2：根据所述文本图像的角点位置信息和所述目标文本图像的目标角点位置信息，确定针对所述文本图像的矫正参数。
在上述步骤S44-1中，预设长宽比是指矫正后得到的目标文本图像的期望长宽比。本申请在实施期间，通常情况下，可以将预设长宽比设置为文本图像在没有形变时的标准长宽比。以身份证图像为例，身份证图像的标准长宽比为300:190，如此，可以将预设长宽比设置为300:190。本申请通过将预设长宽比设置为文本图像在没有形变时的标准长宽比，在经过投影矫正后，目标文本图像中的字形相比于文本图像的标准字形，不会存在长度或高度上的压缩变形，基于这些水平的、长宽比合适的正常字形进行后续的文字识别，可以进一步降低文字识别错误率。
在上述步骤S44-1中，为了确定目标文本图像的目标角点位置信息，一种可行的方式是：根据所述文本图像的角点位置信息，确定所述文本图像各条边线的中点位置；根据所述文本图像各条边的中点位置，确定所述文本图像的各条中线的长度，其中，每条中线是所述文本图像的两条相对边线的中点的连线；根据各条中线的长度和针对所述文本图像的预设长宽比，确定目标文本图像的各条目标中线的长度；根据所述各条目标中线的长度，确定所述目标文本图像的目标角点位置信息。
示例地，以身份证图像为例。参考图9，图9是本申请一实施例提出的确定目标角点位置的示意图。如图9所示，首先根据两相邻角点的坐标，计算出其连线中点的坐标，即确定出身份证图像各条边线的中点位置。然后将两条相对边线的中点进行连线，得到身份证图像的中线。根据中线两端点(即中点)的坐标，计算中线的长度。如图9所示，假设身份证图像中两条中线的长度分别为2.7和3.6。
然后以其中的任一条中线为基准，例如以长度为2.7的中线为基准，确定该中线的中垂线。再根据预设长宽比300:190，确定出中垂线的长度为300×2.7/190＝4.3。如此，得到了目标身份证图像的两条目标中线的长度，分别为2.7和4.3。如图9所示，由这两条中线确定出的虚线矩形轮廓即是目标身份证图像的轮廓，该虚线矩形轮廓的角点坐标即是目标身份证图像的目标角点位置信息。
本申请通过确定目标文本图像的两条中线，再由目标文本图像的两条中线定位出目标文本图像矩形轮廓，进而确定出目标文本图像的目标角点位置信息。利用该方式确定的目标角点位置相比于原文本图像的角点位置，位移量较小。因此在投影矫正时，有利于可以减少投影矫正误差。
应当理解的，本申请中确定目标角点位置信息的方式并不局限于上述举例。例如，可以以文本图像的一条边线为基准，根据预设长宽比，确定与其垂直的另一条边线的长度。然后根据这两条彼此垂直的边线，确定目标文本图像的矩形轮廓，进而确定出目标文本图像的目标角点位置信息。
在上述步骤S44-2中，可以将文本图像的角点位置信息作为矩阵A，将目标文本图像的目标角点位置信息作为矩阵A’，建立方程A’＝B×A，其中矩阵B中的参数即为矫正参数。通过求解该方程，确定针对文本图像的矫正参数，即确定针对文本图像的投影矩阵。
在确定出针对文本图像的矫正参数后，针对文本图像中的每个像素点，根据该像素点的位置信息和确定出的矫正参数，确定该像素点在目标文本图像中的位置。如此，完成了对文本图像的投影矫正，获得投影矫正后的目标文本图像。
此外，考虑到经过上述步骤S42后，裁取出的子图像中除了包含文本图像外，还包含环境图像等干扰因素。为此，在经过步骤S43预测出文本图像的角点位置后，还可以在步骤S44之前，根据所述文本图像的角点位置信息，确定剪裁边线；然后沿所述剪裁边线对所述子图像进行剪裁，以裁掉所述子图像中围绕所述文本图像的干扰区域。
通过对子图像的剪裁，裁取出的区域刚好是文本图像所在区域。在执行步骤S44时，实际上仅对文本图像进行了投影矫正。
此外，考虑到拍摄原因，文本图像一开始在待处理图像中就存在缺失的边角。或者考虑到目标检测误差的原因，在经过步骤S11和步骤12后得到的子图像中，文本图像出现了缺失的边角。为了提高文本图像形状、尺寸的标准化程度，可以在上述步骤S44之后，进一步执行以下步骤：确定所述目标文本图像是否存在缺失边角；在所述目标文本图像存在缺失边角的情况下，对所述缺失边角所在区域进行填充，得到轮廓为矩形的目标文本图像。
示例地，确定目标图像是否存在缺失边角的具体方式可以是：根据上述步骤S43预测的文本图像的角点位置信息所对应的角点位置，如果某一角点位置超出了子图像的图像边界，则该角点位置处存在缺失边角。或者示例地，可以将目标文本图像的四个角点的两两连线，形成封闭的四边形，然后对该封闭四边形中不存在像素点的位置(即缺失边角处)填充黑色像素点。使填充后的目标文本图形为规则的四边形，从而提高目标文本图像的标准化程度。
步骤S45：对所述目标文本图像进行文字识别，获得该本文图像中的文字信息。
本实施例中，可选用现有的任意文字识别方式，对目标文本图像进行文字识别。例如，OCR(Optical Character Recognition)识别算法、CRNN文字识别算法等等。应当理解的，本申请对具体的文字识别方式不做限定。
通过执行上述包括步骤S41至步骤S45的图像处理方法,通过对待处理图像中的文本图像进行区域检测，确定文本图像所在的目标区域。然后剪裁出该目标区域，得到包含文本图像的子图像，从而裁掉待处理图像中的部分干扰图像。再对所述子图像进行角点预测，得到文本图像的角点位置信息，从而更精确地确定出文本图像在子图像中的位置，进一步锁定识别区域。接着根据角点位置信息确定文本图像的矫正参数，从而对文本图像进行投影矫正，得到目标文本图像，使文本图像中产生形变和/或旋转的文字被矫正为水平的正常字形，有利于提高文字识别准确率。最后对目标文本图像进行文字识别，输出错误率较低的文字识别结果。
基于同一发明构思，本申请一实施例提供一种图像处理装置。参考图10，图10是本申请一实施例提供的图像处理装置的示意图。如图10所示，该装置包括：
目标区域检测模块101，用于对待处理图像进行目标区域检测，得到所述待处理图像上包含文本图像的目标区域；
待处理图像剪裁模块102，用于根据所述包含文本图像的目标区域，对所述待处理图像进行剪裁，得到包含所述文本图像的子图像；
角点预测模块103，用于对所述子图像中的所述文本图像进行角点预测，得到所述文本图像的角点位置信息；
投影矫正模块104，用于根据所述文本图像的角点位置信息，确定针对所述文本图像的矫正参数，并根据所述矫正参数对所述文本图像进行投影矫正，获得投影矫正后的目标文本图像；
文字识别模块105，用于对所述目标文本图像进行文字识别，获得该本文图像中的文字信息。
可选地，所述待处理图像剪裁模块包括：
目标区域扩展子模块，用于对所述目标区域进行扩展，得到扩展后的目标区域；
待处理图像剪裁子模块，用于以所述扩展后的目标区域为剪裁区域，对所述待处理图像进行剪裁，得到包含所述文本图像的子图像。
可选地，所述角点预测模块包括：
尺寸标准化子模块，用于记录所述子图像的原始宽度和原始高度，并对所述子图像的图像尺寸进行标准化处理，得到标准化子图像，所述标准化子图像中包含标准化文本图像；
标准化子图像输入子模块，用于将所述标准化子图像输入角点预测模型，得到所述标准化文本图像的角点位置信息；
角点位置信息确定子模块，用于根据所述标准化文本图像的角点位置信息、以及所述子图像的原始宽度和原始高度，确定所述文本图像的角点位置信息。
可选地，所述投影矫正模块包括：
目标角点位置信息确定子模块，用于根据所述文本图像的角点位置信息和针对所述文本图像的预设长宽比，确定目标文本图像的目标角点位置信息；
矫正参数确定子模块，用于根据所述文本图像的角点位置信息和所述目标文本图像的目标角点位置信息，确定针对所述文本图像的矫正参数。
可选地，所述目标角点位置信息确定子模块包括：
中点位置确定子单元，用于根据所述文本图像的角点位置信息，确定所述文本图像各条边线的中点位置；
中线长度确定子单元，用于根据所述文本图像各条边的中点位置，确定所述文本图像的各条中线的长度，其中，每条中线是所述文本图像的两条相对边线的中点的连线；
目标中线长度确定子单元，用于根据各条中线的长度和针对所述文本图像的预设长宽比，确定目标文本图像的各条目标中线的长度；
目标角点位置信息确定子单元，用于根据所述各条目标中线的长度，确定所述目标文本图像的目标角点位置信息。
可选地，所述装置还包括：
剪裁边线确定模块，用于在根据所述矫正参数对所述文本图像进行投影矫正之前，根据所述文本图像的角点位置信息，确定剪裁边线；
子图像剪裁模块，用于沿所述剪裁边线对所述子图像进行剪裁，以裁掉所述子图像中围绕所述文本图像的干扰区域。
可选地，所述装置还包括：
缺失边角确定模块，用于在获得投影矫正后的目标文本图像之后，确定所述目标文本图像是否存在缺失边角；
缺失边角填充模块，用于在所述目标文本图像存在缺失边角的情况下，对所述缺失边角所在区域进行填充，得到轮廓为矩形的目标文本图像。
可选地，所述目标区域检测模块包括：
待处理图像输入子模块，用于将所述待处理图像输入目标检测模型，并将所述目标检测模型输出的区域作为所述待处理图像上的包含文本图像的目标区域。
可选地，所述装置还包括：
样本图像获得模块，用于获得多张包含文本图像的样本图像，每张所述样本图像携带第一标记，该第一标记表征该样本图像包含的所述文本图像的各角点的位置信息；
模型训练模块，用于针对所述多张样本图像中的每张携带第一标记的样本图像，执行步骤：基于该携带第一标记的样本图像，对第一预设模型进行训练，得到所述第一预设模型输出的所述样本图像上包含文本图像的预测目标区域；以所述预测目标区域为剪裁区域，对该样本图像进行剪裁，得到包含文本图像的样本子图像；基于所述样本子图像，对第二预设模型进行训练；
模型确定模块，用于将经过多次训练的第一预设模型确定为所述目标检测模型，将经过多次训练的第二预设模型确定为所述角点预测模型。
可选地，所述模型训练模块包括：
预测目标区域调整子模块，用于随机或根据预设规则对所述预测目标区域进行调整，得到调整后的预测目标区域；
样本图像剪裁子模块，用于以所述调整后的预测目标区域为剪裁区域，对所述样本图像进行剪裁，得到包含文本图像的样本子图像。
可选地，所述模型训练模块包括：
第二标记确定子模块，用于根据所述携带第一标记的样本图像和所述预测目标区域，确定所述样本子图像的第二标记，该第二标记表征该样本子图像包含的文本图像的各角点在该样本子图像上的位置信息；
样本子图像输入子模块，用于将携带第二标记的样本子图像输入所述第二预设模型，得到所述第二预设模型预测的位置信息；
第二预设模型更新子模块，用于根据所述第二预设模型预测的位置信息与所述第二标记表征的位置信息，更新所述第二预设模型。
可选地，所述第二预设模型更新子模块包括：
损失值确定子单元，用于根据以下公式，确定所述第二预设模型在每次训练中的损失值loss:
Figure BDA0002201474570000191
Figure BDA0002201474570000192
Figure BDA0002201474570000193
其中，i表示文本图像的角点编号，
Figure BDA0002201474570000194
表示文本图像第i个角点的第二标记中的标注横向坐标，
Figure BDA0002201474570000196
表示文本图像第i个角点的第二标记中的标注纵向坐标，
Figure BDA0002201474570000195
表示文本图像第i个角点的预测横向坐标，
Figure BDA0002201474570000197
表示文本图像第i个角点的预测纵向坐标；
模型更新确定子单元，用于将多次训练中损失值loss最小的一次训练所对应的第二预设模型，确定为更新后的模型。
基于同一发明构思，本申请另一实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现如本申请上述任一实施例所述的方法中的步骤。
基于同一发明构思，本申请另一实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行时实现本申请上述任一实施例所述的方法中的步骤。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本申请实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本申请实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请实施例是参照根据本申请实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本申请所提供的一种图像处理方法、装置、电子设备及可读存储介质，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (15)

1.一种图像处理方法，其特征在于，包括：
对待处理图像进行目标区域检测，得到所述待处理图像上包含文本图像的目标区域；
根据所述包含文本图像的目标区域，对所述待处理图像进行剪裁，得到包含所述文本图像的子图像；
对所述子图像中的所述文本图像进行角点预测，得到所述文本图像的角点位置信息；
根据所述文本图像的角点位置信息，确定针对所述文本图像的矫正参数，并根据所述矫正参数对所述文本图像进行投影矫正，获得投影矫正后的目标文本图像；
对所述目标文本图像进行文字识别，获得该本文图像中的文字信息。
2.根据权利要求1所述的方法，根据所述包含文本图像的目标区域，对所述待处理图像进行剪裁，得到包含所述文本图像的子图像，包括：
对所述目标区域进行扩展，得到扩展后的目标区域；
以所述扩展后的目标区域为剪裁区域，对所述待处理图像进行剪裁，得到包含所述文本图像的子图像。
3.根据权利要求1所述的方法，其特征在于，对所述子图像中的所述文本图像进行角点预测，得到所述文本图像的角点位置信息，包括：
记录所述子图像的原始宽度和原始高度，并对所述子图像的图像尺寸进行标准化处理，得到标准化子图像，所述标准化子图像中包含标准化文本图像；
将所述标准化子图像输入角点预测模型，得到所述标准化文本图像的角点位置信息；
根据所述标准化文本图像的角点位置信息、以及所述子图像的原始宽度和原始高度，确定所述文本图像的角点位置信息。
4.根据权利要求1所述的方法，其特征在于，根据所述文本图像的角点位置信息，确定针对所述文本图像的矫正参数，包括：
根据所述文本图像的角点位置信息和针对所述文本图像的预设长宽比，确定目标文本图像的目标角点位置信息；
根据所述文本图像的角点位置信息和所述目标文本图像的目标角点位置信息，确定针对所述文本图像的矫正参数。
5.根据权利要求4所述的方法，其特征在于，根据所述文本图像的角点位置信息和针对所述文本图像的预设长宽比，确定目标文本图像的目标角点位置信息，包括：
根据所述文本图像的角点位置信息，确定所述文本图像各条边线的中点位置；
根据所述文本图像各条边的中点位置，确定所述文本图像的各条中线的长度，其中，每条中线是所述文本图像的两条相对边线的中点的连线；
根据各条中线的长度和针对所述文本图像的预设长宽比，确定目标文本图像的各条目标中线的长度；
根据所述各条目标中线的长度，确定所述目标文本图像的目标角点位置信息。
6.根据权利要求1至5任一所述的方法，其特征在于，在根据所述矫正参数对所述文本图像进行投影矫正之前，所述方法还包括：
根据所述文本图像的角点位置信息，确定剪裁边线；
沿所述剪裁边线对所述子图像进行剪裁，以裁掉所述子图像中围绕所述文本图像的干扰区域。
7.根据权利要求6所述的方法，其特征在于，在获得投影矫正后的目标文本图像之后，所述方法还包括：
确定所述目标文本图像是否存在缺失边角；
在所述目标文本图像存在缺失边角的情况下，对所述缺失边角所在区域进行填充，得到轮廓为矩形的目标文本图像。
8.根据权利要求1至5任一所述的方法，其特征在于，对待处理图像进行目标区域检测，得到所述待处理图像上的包含文本图像的目标区域，包括：
将所述待处理图像输入目标检测模型，并将所述目标检测模型输出的区域作为所述待处理图像上的包含文本图像的目标区域。
9.根据权利要求3所述的方法，其特征在于，所述方法还包括：
获得多张包含文本图像的样本图像，每张所述样本图像携带第一标记，该第一标记表征该样本图像包含的所述文本图像的各角点的位置信息；
针对所述多张样本图像中的每张携带第一标记的样本图像，执行步骤：基于该携带第一标记的样本图像，对第一预设模型进行训练，得到所述第一预设模型输出的所述样本图像上包含文本图像的预测目标区域；以所述预测目标区域为剪裁区域，对该样本图像进行剪裁，得到包含文本图像的样本子图像；基于所述样本子图像，对第二预设模型进行训练；
将经过多次训练的第一预设模型确定为所述目标检测模型，将经过多次训练的第二预设模型确定为所述角点预测模型。
10.根据权利要求9所述的方法，其特征在于，以所述预测目标区域为剪裁区域，对该样本图像进行剪裁，得到包含文本图像的样本子图像，包括：
随机或根据预设规则对所述预测目标区域进行调整，得到调整后的预测目标区域；
以所述调整后的预测目标区域为剪裁区域，对所述样本图像进行剪裁，得到包含文本图像的样本子图像。
11.根据权利要求9所述的方法，其特征在于，基于所述样本子图像，对第二预设模型进行训练，包括：
根据所述携带第一标记的样本图像和所述预测目标区域，确定所述样本子图像的第二标记，该第二标记表征该样本子图像包含的文本图像的各角点在该样本子图像上的位置信息；
将携带第二标记的样本子图像输入所述第二预设模型，得到所述第二预设模型预测的位置信息；
根据所述第二预设模型预测的位置信息与所述第二标记表征的位置信息，更新所述第二预设模型。
12.根据权利要求11所述的方法，其特征在于，根据所述第二预设模型预测的位置信息与所述第二标记表征的位置信息，更新所述第二预设模型，包括：
根据以下公式，确定所述第二预设模型在每次训练中的损失值loss:
Figure FDA0002201474560000041
Figure FDA0002201474560000043
其中，i表示文本图像的角点编号，表示文本图像第i个角点的第二标记中的标注横向坐标，
Figure FDA0002201474560000045
表示文本图像第i个角点的第二标记中的标注纵向坐标，
Figure FDA0002201474560000046
表示文本图像第i个角点的预测横向坐标，
Figure FDA0002201474560000047
表示文本图像第i个角点的预测纵向坐标；
将多次训练中损失值loss最小的一次训练所对应的第二预设模型，确定为更新后的模型。
13.一种图像处理装置，其特征在于，所述装置包括：
目标区域检测模块，用于对待处理图像进行目标区域检测，得到所述待处理图像上包含文本图像的目标区域；
待处理图像剪裁模块，用于根据所述包含文本图像的目标区域，对所述待处理图像进行剪裁，得到包含所述文本图像的子图像；
角点预测模块，用于对所述子图像中的所述文本图像进行角点预测，得到所述文本图像的角点位置信息；
投影矫正模块，用于根据所述文本图像的角点位置信息，确定针对所述文本图像的矫正参数，并根据所述矫正参数对所述文本图像进行投影矫正，获得投影矫正后的目标文本图像；
文字识别模块，用于对所述目标文本图像进行文字识别，获得该本文图像中的文字信息。
14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时，实现如权利要求1至12任一所述的方法中的步骤。
15.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行时实现如权利要求1至12任一所述的方法的步骤。
CN201910866716.2A 2019-09-12 2019-09-12 图像处理方法、装置、电子设备及可读存储介质 Active CN110738602B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910866716.2A CN110738602B (zh) 2019-09-12 2019-09-12 图像处理方法、装置、电子设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910866716.2A CN110738602B (zh) 2019-09-12 2019-09-12 图像处理方法、装置、电子设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN110738602A true CN110738602A (zh) 2020-01-31
CN110738602B CN110738602B (zh) 2021-01-01

Family

ID=69267878

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910866716.2A Active CN110738602B (zh) 2019-09-12 2019-09-12 图像处理方法、装置、电子设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN110738602B (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111368820A (zh) * 2020-03-06 2020-07-03 腾讯科技（深圳）有限公司 文本标注方法、装置及存储介质
CN111415384A (zh) * 2020-02-19 2020-07-14 重庆大学 一种基于深度学习的工业图像组件精准定位系统
CN111507333A (zh) * 2020-04-21 2020-08-07 腾讯科技（深圳）有限公司 一种图像矫正方法、装置、电子设备和存储介质
CN111582085A (zh) * 2020-04-26 2020-08-25 中国工商银行股份有限公司 单据拍摄图像识别方法及装置
CN111832558A (zh) * 2020-06-15 2020-10-27 北京三快在线科技有限公司 文字图像矫正方法、装置、存储介质及电子设备
CN112001381A (zh) * 2020-09-14 2020-11-27 中国银行股份有限公司 一种智能预填单审核方法及装置
CN112801232A (zh) * 2021-04-09 2021-05-14 苏州艾隆科技股份有限公司 一种应用于处方录入的扫描识别方法及系统
CN112818865A (zh) * 2021-02-02 2021-05-18 北京嘀嘀无限科技发展有限公司 车载领域图像识别方法、识别模型建立方法、装置、电子设备和可读存储介质
CN112906801A (zh) * 2021-02-26 2021-06-04 北京房江湖科技有限公司 一种图像处理的方法、装置和存储介质
CN112989768A (zh) * 2021-04-26 2021-06-18 北京世纪好未来教育科技有限公司 连线题批改方法、装置、电子设备及存储介质
CN113111869A (zh) * 2021-04-06 2021-07-13 上海交通大学 提取文字图片及其描述的方法和系统
CN113221897A (zh) * 2020-02-06 2021-08-06 马上消费金融股份有限公司 图像矫正方法、图像文本识别方法、身份验证方法及装置
CN113449728A (zh) * 2021-07-21 2021-09-28 北京有竹居网络技术有限公司 一种文字识别方法及其相关设备
CN113469161A (zh) * 2020-03-31 2021-10-01 顺丰科技有限公司 一种处理物流单的方法、装置及存储介质
CN113486910A (zh) * 2021-09-07 2021-10-08 北京欧应信息技术有限公司 用于提取数据信息区域的方法、设备和存储介质
CN113591513A (zh) * 2020-04-30 2021-11-02 北京字节跳动网络技术有限公司 用于处理图像的方法和装置
WO2022028247A1 (zh) * 2020-08-06 2022-02-10 杭州睿琪软件有限公司 对象边缘识别和处理方法、系统及计算机可读存储介质
CN114219991A (zh) * 2021-12-06 2022-03-22 安徽省配天机器人集团有限公司 目标检测方法、装置及计算机可读存储介质
WO2023024793A1 (zh) * 2021-08-26 2023-03-02 北京有竹居网络技术有限公司 一种文字识别方法及其相关设备
US20230267619A1 (en) * 2020-09-21 2023-08-24 Hangzhou Glority Software Limited Method and system of recognizing object edges and computer-readable storage medium
WO2024051731A1 (zh) * 2022-09-07 2024-03-14 影石创新科技股份有限公司 图像矫正方法、装置、计算机设备和计算机可读存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050207652A1 (en) * 2004-03-19 2005-09-22 Lockheed Martin Corporation Methods and systems for automatic detection of corners of a region
CN101398894A (zh) * 2008-06-17 2009-04-01 浙江师范大学 机动车车牌自动识别方法及其实现装置
CN102741858A (zh) * 2009-10-28 2012-10-17 数字标记公司 基于传感器的移动搜索、相关方法和系统
CN103052961A (zh) * 2010-08-05 2013-04-17 高通股份有限公司 识别具有相机功能的移动设备捕获的可视媒体内容
CN104123549A (zh) * 2014-07-30 2014-10-29 中国人民解放军第三军医大学第二附属医院 一种用于疲劳驾驶实时监测的眼睛定位方法
CN105046252A (zh) * 2014-11-21 2015-11-11 华中科技大学 一种人民币冠字码识别方法
CN107392203A (zh) * 2017-07-11 2017-11-24 税友软件集团股份有限公司 规则图片信息识别方法及系统
CN109389121A (zh) * 2018-10-30 2019-02-26 金现代信息产业股份有限公司 一种基于深度学习的铭牌识别方法及系统
CN109583442A (zh) * 2018-11-07 2019-04-05 北京智芯原动科技有限公司 基于线段检测的虚假车牌检测方法及装置
CN110163193A (zh) * 2019-03-25 2019-08-23 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机可读存储介质和计算机设备

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050207652A1 (en) * 2004-03-19 2005-09-22 Lockheed Martin Corporation Methods and systems for automatic detection of corners of a region
CN101398894A (zh) * 2008-06-17 2009-04-01 浙江师范大学 机动车车牌自动识别方法及其实现装置
CN102741858A (zh) * 2009-10-28 2012-10-17 数字标记公司 基于传感器的移动搜索、相关方法和系统
CN103052961A (zh) * 2010-08-05 2013-04-17 高通股份有限公司 识别具有相机功能的移动设备捕获的可视媒体内容
CN104123549A (zh) * 2014-07-30 2014-10-29 中国人民解放军第三军医大学第二附属医院 一种用于疲劳驾驶实时监测的眼睛定位方法
CN105046252A (zh) * 2014-11-21 2015-11-11 华中科技大学 一种人民币冠字码识别方法
CN107392203A (zh) * 2017-07-11 2017-11-24 税友软件集团股份有限公司 规则图片信息识别方法及系统
CN109389121A (zh) * 2018-10-30 2019-02-26 金现代信息产业股份有限公司 一种基于深度学习的铭牌识别方法及系统
CN109583442A (zh) * 2018-11-07 2019-04-05 北京智芯原动科技有限公司 基于线段检测的虚假车牌检测方法及装置
CN110163193A (zh) * 2019-03-25 2019-08-23 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机可读存储介质和计算机设备

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113221897A (zh) * 2020-02-06 2021-08-06 马上消费金融股份有限公司 图像矫正方法、图像文本识别方法、身份验证方法及装置
CN111415384A (zh) * 2020-02-19 2020-07-14 重庆大学 一种基于深度学习的工业图像组件精准定位系统
CN111415384B (zh) * 2020-02-19 2022-11-25 重庆大学 一种基于深度学习的工业图像组件精准定位系统
CN111368820A (zh) * 2020-03-06 2020-07-03 腾讯科技（深圳）有限公司 文本标注方法、装置及存储介质
CN113469161A (zh) * 2020-03-31 2021-10-01 顺丰科技有限公司 一种处理物流单的方法、装置及存储介质
CN113469161B (zh) * 2020-03-31 2024-07-19 顺丰科技有限公司 一种处理物流单的方法、装置及存储介质
CN111507333A (zh) * 2020-04-21 2020-08-07 腾讯科技（深圳）有限公司 一种图像矫正方法、装置、电子设备和存储介质
CN111507333B (zh) * 2020-04-21 2023-09-15 腾讯科技（深圳）有限公司 一种图像矫正方法、装置、电子设备和存储介质
CN111582085A (zh) * 2020-04-26 2020-08-25 中国工商银行股份有限公司 单据拍摄图像识别方法及装置
CN111582085B (zh) * 2020-04-26 2023-10-10 中国工商银行股份有限公司 单据拍摄图像识别方法及装置
CN113591513B (zh) * 2020-04-30 2024-03-29 北京字节跳动网络技术有限公司 用于处理图像的方法和装置
CN113591513A (zh) * 2020-04-30 2021-11-02 北京字节跳动网络技术有限公司 用于处理图像的方法和装置
CN111832558A (zh) * 2020-06-15 2020-10-27 北京三快在线科技有限公司 文字图像矫正方法、装置、存储介质及电子设备
US20220335704A1 (en) * 2020-08-06 2022-10-20 Hangzhou Glority Software Limited Method and system of recognizing and processing object edges and computer-readable storage medium
WO2022028247A1 (zh) * 2020-08-06 2022-02-10 杭州睿琪软件有限公司 对象边缘识别和处理方法、系统及计算机可读存储介质
CN112001381B (zh) * 2020-09-14 2023-09-19 中国银行股份有限公司 一种智能预填单审核方法及装置
CN112001381A (zh) * 2020-09-14 2020-11-27 中国银行股份有限公司 一种智能预填单审核方法及装置
US20230267619A1 (en) * 2020-09-21 2023-08-24 Hangzhou Glority Software Limited Method and system of recognizing object edges and computer-readable storage medium
CN112818865A (zh) * 2021-02-02 2021-05-18 北京嘀嘀无限科技发展有限公司 车载领域图像识别方法、识别模型建立方法、装置、电子设备和可读存储介质
CN112818865B (zh) * 2021-02-02 2024-07-02 北京嘀嘀无限科技发展有限公司 车载领域图像识别方法、识别模型建立方法、装置、电子设备和可读存储介质
CN112906801A (zh) * 2021-02-26 2021-06-04 北京房江湖科技有限公司 一种图像处理的方法、装置和存储介质
CN113111869B (zh) * 2021-04-06 2022-12-09 上海交通大学 提取文字图片及其描述的方法和系统
CN113111869A (zh) * 2021-04-06 2021-07-13 上海交通大学 提取文字图片及其描述的方法和系统
CN112801232A (zh) * 2021-04-09 2021-05-14 苏州艾隆科技股份有限公司 一种应用于处方录入的扫描识别方法及系统
CN112989768B (zh) * 2021-04-26 2021-08-27 北京世纪好未来教育科技有限公司 连线题批改方法、装置、电子设备及存储介质
CN112989768A (zh) * 2021-04-26 2021-06-18 北京世纪好未来教育科技有限公司 连线题批改方法、装置、电子设备及存储介质
CN113449728A (zh) * 2021-07-21 2021-09-28 北京有竹居网络技术有限公司 一种文字识别方法及其相关设备
WO2023024793A1 (zh) * 2021-08-26 2023-03-02 北京有竹居网络技术有限公司 一种文字识别方法及其相关设备
CN113486910A (zh) * 2021-09-07 2021-10-08 北京欧应信息技术有限公司 用于提取数据信息区域的方法、设备和存储介质
CN114219991A (zh) * 2021-12-06 2022-03-22 安徽省配天机器人集团有限公司 目标检测方法、装置及计算机可读存储介质
WO2024051731A1 (zh) * 2022-09-07 2024-03-14 影石创新科技股份有限公司 图像矫正方法、装置、计算机设备和计算机可读存储介质

Also Published As

Publication number Publication date
CN110738602B (zh) 2021-01-01

Similar Documents

Publication Publication Date Title
CN110738602B (zh) 图像处理方法、装置、电子设备及可读存储介质
CN109840519B (zh) 一种自适应的智能单据识别录入装置及其使用方法
RU2678485C1 (ru) Способ сегментации и распознавания символов
CN104112128B (zh) 应用于票据影像字符识别的数字图像处理系统及方法
US20150093033A1 (en) Method, apparatus, and computer-readable recording medium for converting document image captured by using camera to dewarped document image
US9477898B2 (en) Straightening out distorted perspective on images
US20120294528A1 (en) Method of Detecting and Correcting Digital Images of Books in the Book Spine Area
CN109753838A (zh) 二维码识别方法、装置、计算机设备及存储介质
JP4885789B2 (ja) 画像処理方法、画像領域検出方法、画像処理プログラム、画像領域検出プログラム、画像処理装置、および、画像領域検出装置
CN105095900A (zh) 一种提取标准卡片中特定信息的方法和装置
US20170076169A1 (en) System and Method for Scanned Document Correction
CN111242126A (zh) 不规则文本校正方法、装置、计算机设备和存储介质
CN105308944A (zh) 对移动设备捕获的数字图像中的对象进行分类的系统和方法
CN111860527A (zh) 图像校正方法、图像校正装置、计算机设备及存储介质
CN105469026A (zh) 针对文档图像的水平和垂直线检测和移除
CN111507181B (zh) 票据图像的矫正方法、装置及计算机设备
CN108830175A (zh) 虹膜图像局部增强方法、装置、设备及存储介质
CN110766077A (zh) 证据链图像中特写图筛选方法、装置和设备
CN105787419A (zh) 手掌图像的手掌检测方法及系统
CN115937003A (zh) 图像处理方法、装置、终端设备和可读存储介质
US8897538B1 (en) Document image capturing and processing
CN115205113A (zh) 一种图像拼接方法、装置、设备及存储介质
CN113808033A (zh) 图像文档校正方法、系统、终端及介质
CN112396057A (zh) 一种字符识别方法、装置及电子设备
CN115331229A (zh) 一种光学字符识别方法、计算机可读存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant