CN109272043B - 用于光学字符识别的训练数据生成方法、系统和电子设备 - Google Patents

用于光学字符识别的训练数据生成方法、系统和电子设备 Download PDF

Info

Publication number
CN109272043B
CN109272043B CN201811112547.5A CN201811112547A CN109272043B CN 109272043 B CN109272043 B CN 109272043B CN 201811112547 A CN201811112547 A CN 201811112547A CN 109272043 B CN109272043 B CN 109272043B
Authority
CN
China
Prior art keywords
image
background image
character
training data
background
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811112547.5A
Other languages
English (en)
Other versions
CN109272043A (zh
Inventor
郭新然
刘永强
桂晨光
邓超
王超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JD Digital Technology Holdings Co Ltd
Jingdong Technology Holding Co Ltd
Original Assignee
JD Digital Technology Holdings Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JD Digital Technology Holdings Co Ltd filed Critical JD Digital Technology Holdings Co Ltd
Priority to CN201811112547.5A priority Critical patent/CN109272043B/zh
Publication of CN109272043A publication Critical patent/CN109272043A/zh
Application granted granted Critical
Publication of CN109272043B publication Critical patent/CN109272043B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Character Input (AREA)

Abstract

本公开提供了一种用于光学字符识别的训练数据生成方法，包括获得文字信息，获得背景图像，所述背景图像包括从真实场景的图像中提取的第一背景图像，以及基于所述文字信息以及所述背景图像，生成用于光学字符识别的训练数据。本公开还提供了一种用于光学字符识别的训练数据生成系统、一种电子设备以及一种计算机可读存储介质。

Description

用于光学字符识别的训练数据生成方法、系统和电子设备
技术领域
本公开涉及计算机技术领域，更具体地，涉及一种用于光学字符识别的训练数据生成方法、系统和电子设备。
背景技术
随着机器学习，深度学习的发展，在光学字符识别(OCR)领域，之前一些传统的分类识别方法，被各种深度神经网络所代替，相比于传统方法，深度学习算法可以自主的提取特征，进行学习，获得更好的识别效果。但是，深度学习常常依靠数据推动，为了得到一个好的模型，往往需要上亿甚至更多的数据来支撑这个训练过程，现实中的训练样本往往达不到这么多，所以需要利用样本生成算法生成文字训练样本进行训练。
发明内容
有鉴于此，本公开提供了一种用于光学字符识别的训练数据生成方法、系统和电子设备。
本公开的一个方面提供了一种用于光学字符识别的训练数据生成方法，包括获得文字信息，获得背景图像，所述背景图像包括从真实场景的图像中提取的第一背景图像，以及基于所述文字信息以及所述背景图像，生成用于光学字符识别的训练数据。
根据本公开实施例，所述基于所述文字信息以及所述背景图像，生成用于光学字符识别的训练数据包括，基于所述文字信息以及所述背景图像，分批次生成用于光学字符识别的训练数据，其中，在生成训练数据的过程中，调整参数使每批次生成的训练数据的数量增加。
根据本公开实施例，所述获得文字信息包括从字符集中随机选取多个字符作为文字信息，以及/或者，从语料库中随机抽取连续字符串作为文字信息。
根据本公开实施例，所述方法还包括去除所述语料库中重复的语料，以及/或者，在所述字符集包括多种字体的字符的情况下，从所述字符集中剔除错误字符，所述错误字符包括不支持特定字体的特定字符。
根据本公开实施例，所述获得背景图像包括随机选用第一方式或第二方式获得背景图像，其中，所述第一方式包括从背景库中选取从真实场景的图像中提取的第一背景图像作为背景图像，所述第二方式包括基于图像处理方法随机生成的第二背景图像作为背景图像。
根据本公开实施例，所述基于图像处理方法随机生成的第二背景图像作为背景图像包括获得文字颜色，获得颜色差值范围，基于所述文字颜色以及所述颜色差值范围，确定背景颜色，以及基于所述背景颜色，生成背景图像。
根据本公开实施例，所述基于所述文字信息以及所述背景图像，生成用于光学字符识别的训练数据包括组合所述文字信息和所述背景图像，获得组合图像，以及处理所述组合图像，生成用于光学字符识别的训练数据。
根据本公开实施例，所述处理所述组合图像包括将所述组合图像缩小，然后放大到原始尺寸，以及/或者，将所述组合图像按照图像质量因子存储为jpg格式，其中，所述图像质量因子的值设定在预设范围内。
本公开的另一个方面提供了一种用于光学字符识别的训练数据生成系统，包括文字获得模块、背景获得模块以及数据生成模块。文字获得模块，用于获得文字信息。背景获得模块，用于获得背景图像，所述背景图像包括从真实场景的图像中提取的第一背景图像。数据生成模块，用于基于所述文字信息以及所述背景图像，生成用于光学字符识别的训练数据。
根据本公开实施例，所述数据生成模块用于基于所述文字信息以及所述背景图像，分批次生成用于光学字符识别的训练数据，其中，在生成训练数据的过程中，调整参数使每批次生成的训练数据的数量增加。
根据本公开实施例，所述文字获得模块用于执行从字符集中随机选取多个字符作为文字信息，以及/或者，从语料库中随机抽取连续字符串作为文字信息。
根据本公开实施例，所述系统还包括语料处理模块或字符处理模块中的至少一种。语料处理模块，用于去除所述语料库中重复的语料。字符处理模块，用于在所述字符集包括多种字体的字符的情况下，从所述字符集中剔除错误字符，所述错误字符包括不支持特定字体的特定字符。
根据本公开实施例，所述背景获得模块用于随机选用第一方式或第二方式获得背景图像，其中，所述第一方式包括从背景库中选取从真实场景的图像中提取的第一背景图像作为背景图像，所述第二方式包括基于图像处理方法随机生成的第二背景图像作为背景图像。
根据本公开实施例，所述基于图像处理方法随机生成的第二背景图像作为背景图像包括获得文字颜色，获得颜色差值范围，基于所述文字颜色以及所述颜色差值范围，确定背景颜色，以及基于所述背景颜色，生成背景图像。
根据本公开实施例，所述数据生成模块包括图像组合子模块以及图像处理子模块。图像组合子模块，用于组合所述文字信息和所述背景图像，获得组合图像。图像处理子模块，用于处理所述组合图像，生成用于光学字符识别的训练数据。
根据本公开实施例，所述处理所述组合图像包括将所述组合图像缩小，然后放大到原始尺寸，以及/或者，将所述组合图像按照图像质量因子存储为jpg格式，其中，所述图像质量因子的值设定在预设范围内。
本公开的另一个方面提供了一种电子设备，包括，至少一个处理器以及至少一个存储器，用于存储一个或多个计算机可读指令，其中，当所述一个或多个计算机可读指令被所述至少一个处理器执行时，使得所述处理器执行如上所述的方法。
本公开的另一方面提供了一种计算机可读存储介质，存储有计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。
本公开的另一方面提供了一种计算机程序，所述计算机程序包括计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。
根据本公开的实施例，可以至少部分地采用真实场景的图像中提取的背景图像来生成训练数据，使得训练数据更加贴近真实情况，有助于提高训练效果。
附图说明
通过以下参照附图对本公开实施例的描述，本公开的上述以及其他目的、特征和优点将更为清楚，在附图中：
图1示意性示出了根据本公开实施例的用于光学字符识别的训练数据生成方法的应用场景；
图2示意性示出了根据本公开实施例的用于光学字符识别的训练数据生成方法的流程图；
图3示意性示出了根据本公开实施例的用于光学字符识别的训练数据生成方法的示意图；
图4示意性示出了根据本公开实施例的基于图像处理方法随机生成的第二背景图像作为背景图像的流程图；
图5示意性示出了根据本公开实施例的用于光学字符识别的训练数据生成系统的框图；
图6示意性示出了根据本公开实施例的数据生成模块的框图；以及
图7示意性示出了根据本公开实施例的适于实现用于光学字符识别的训练数据生成系统的计算机系统的方框图。
具体实施方式
以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。
在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。本领域技术人员还应理解，实质上任意表示两个或更多可选项目的转折连词和/或短语，无论是在说明书、权利要求书还是附图中，都应被理解为给出了包括这些项目之一、这些项目任一方、或两个项目的可能性。例如，短语“A或B”应当被理解为包括“A”或“B”、或“A和B”的可能性。
本公开的实施例提供了一种用于光学字符识别的训练数据生成方法，包括获得文字信息，获得背景图像，所述背景图像包括从真实场景的图像中提取的第一背景图像，以及基于所述文字信息以及所述背景图像，生成用于光学字符识别的训练数据。
图1示意性示出了根据本公开实施例的用于光学字符识别的训练数据生成方法的应用场景。需要注意的是，图1所示仅为可以应用本公开实施例的应用场景的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。
如图1所示，用于光学字符识别(OCR)的模型例如可以是神经网络100。当神经网络100获得输入的待识别图像时，可以基于神经网络内部的参数进行多层运算，最终输出识别结果。其中，该些参数须经过大量的训练数据的训练，以使该神经网络能够相对准确地输出识别结果。
因此，为了得到一个好的模型，往往需要上亿甚至更多的训练数据来支撑这个训练过程，现实中的训练样本往往达不到这么多，所以需要利用样本生成算法生成文字训练样本进行训练。
然而，生成的训练数据往往与实际数据存在较大差异，难以取得令人满意的训练效果。本公开实施例的方法至少部分地采用真实场景的图像中提取的背景图像来生成训练数据，使得训练数据更加贴近真实情况，有助于提高训练效果。
图2示意性示出了根据本公开实施例的用于光学字符识别的训练数据生成方法的流程图。
如图2所示，该方法包括操作S210～S230。
在操作S210，获得文字信息。
在操作S220，获得背景图像，所述背景图像包括从真实场景的图像中提取的第一背景图像。
在操作S230，基于所述文字信息以及所述背景图像，生成用于光学字符识别的训练数据。
本公开实施例的方法可以至少部分地采用真实场景的图像中提取的背景图像来生成训练数据，使得训练数据更加贴近真实情况，有助于提高训练效果。
下面参考图3和图4，结合具体实施例对图2所示的方法做进一步说明。
图3示意性示出了根据本公开实施例的用于光学字符识别的训练数据生成方法的示意图。
如图3所示，所述获得文字信息可以包括从字符集中随机选取多个字符作为文字信息，以及/或者，从语料库中随机抽取连续字符串作为文字信息。
根据本公开实施例，该字符集可以是由多个字符组成的集合，例如可以通过电子字典生成字符集，该字符集中的各个字符之间几乎没有逻辑关系，只是枚举出各种可能出现的字符，其可以是无序的，也可以是有序的，例如可以按照拼音或字母顺序排序。本公开实施例的方法可以从该字符集中随机选取字符作为文字信息。
根据本公开实施例，该字符集可以区分不同的字体。在所述字符集包括多种字体的字符的情况下，本公开实施例的方法还可以包括从所述字符集中剔除错误字符，例如，不支持特定字体的特定字符。例如，某文字在宋体下能够正常显示字符，但由于隶书并不支持该文字，按照隶书显示该文字将得到错误的字符，本公开实施例的方法可以把这部分字符删除，以避免作为文字信息出现在训练数据中。
根据本公开实施例，该语料库可以包括从由现有的各类文章中截取的语料，也可以包含通过算法生成的语料。该些语料的各个字符之间具有逻辑关系，形成有含义的语句。本公开实施例的方法可以从该语料库中随机选取连续字符串作为文字信息。根据本公开实施例，所述方法还包括去除所述语料库中重复的语料。例如，语料库在建立时从第一数据源处获得某语料，从第二数据源处获得了相同的语料，为了避免重复语料带来的权重影响，可以删除该重复的语料。
根据本公开实施例，也可以结合以上两种方式。例如，首先从语料库中选取一个或多个字符串，然后从字符集中选取字符，插入到该一个或多个字符串中，形成所述文字信息。
本公开实施例的方法可以结合字符集和语料库生成语义关联程度不同的训练数据，提高识别模型对于各种情景的识别成功率。
如图3所示，所述获得背景图像包括随机选用第一方式或第二方式获得背景图像，其中，所述第一方式包括从背景库中选取从真实场景的图像中提取的第一背景图像作为背景图像，所述第二方式包括基于图像处理方法随机生成的第二背景图像作为背景图像。
根据本公开实施例，获得背景图像包括从背景库中选取第一背景图像。该背景库中的第一背景图像取自真实样本的背景图像。可以通过对真实样本的处理，提取其背景图像的方式获得。该些第一背景图像最贴近真实样本，使用该些样本生成的训练数据能够起到较好的训练效果。
根据本公开实施例，获得背景图像包括基于图像处理方法随机生成第二背景图像。例如，在生成第二背景图像的过程中，例如可以首先生成基础图像，然后随机的使用不同的字体，不同大小，同时随机加入噪声模拟图像的背景，加入旋转扭曲拉伸形变等增加样本的多样性。根据本公开实施例，还可以采用如图4所示的方法控制颜色差值，以避免文字与背景颜色接近而难以识别的情况。
图4示意性示出了根据本公开实施例的基于图像处理方法随机生成的第二背景图像作为背景图像的流程图。
如图4所示，该方法包括操作S410～S440。
在操作S410，获得文字颜色。
在操作S420，获得颜色差值范围。
在操作S430，基于所述文字颜色以及所述颜色差值范围，确定背景颜色。
在操作S440，基于所述背景颜色，生成背景图像。
例如，获得的文字颜色可以在RGB规则下用(a，b，c)表示，若设定一预设值r，则可以通过(x-a)2+(y-b)2+(z-c)2≥r2的约束条件来确定背景颜色(x，y，z)的取色范围。
本公开实施例的方法基于颜色差值范围确定背景图像颜色，有效防止文字与背景颜色接近而难以识别的情况。
根据本公开实施例，对于某一个或某一批训练数据的生成，可以采用概率控制。例如，可以设定从字符集中选取字符形成文字信息的概率为p1，从语料库中选取字符串形成文字信息的概率为p2(在仅采用以上两种方式的情况下，p2＝1-p1)；从背景库中选取背景图像的概率为p3，生成背景图像的概率为p4(在仅采用以上两种方式的情况下，p4＝1-p3)，通过以上概率，控制各个样本采用何种方式生成。
本公开实施例通过不同的方法获得背景图像，增加样本的多样性，有助于提高识别模型的识别效果。
返回参考图3。根据本公开实施例，所述基于所述文字信息以及所述背景图像，生成用于光学字符识别的训练数据包括组合所述文字信息和所述背景图像，获得组合图像。根据本公开实施例，该组合图像可以直接作为训练数据，也可以经过进一步处理，例如通过输入输出接口(I/O)制造一定的图像损失，生成用于光学字符识别的训练数据。
根据本公开实施例，处理所述组合图像包括将所述组合图像缩小，然后放大到原始尺寸。可以通过概率控制，对生成的一部分背景图像进行随机缩小，然后还原成原始大小，利用放大过程中的损失，模拟图像中的模糊效果。
根据本公开实施例，处理所述组合图像包括将所述组合图像按照图像质量因子存储为jpg格式，其中，所述图像质量因子的值设定在预设范围内。
由于很多真实图像都是jpg图像格式，该种格式在图像边缘会存在损失，但是一般的生成数据不存在这种损失，为了使生成图像更加类似于真实图像，通过概率控制，随机的选取部分图像利用算法，将生成图像按照图像质量因子存储图像为jpg格式，图像质量因子设置为50-80，该参数下，图像既存在一定的损失，又不会损失太大大幅降低图像的质量，然后在内存中打开，生成图像即具有jpg图像格式的边缘损失特性。
该方法通过简单易行的方法对组合图像模糊处理，使得构造出的样本更加接近于真实样本。
由于所需要的数据量巨大，每一次按照批次生成多个图像。在刚刚开始执行时，由于各种初始化使得占用内存的飙升，所以本公开实施例的方法将每批次生成图像的个数初始设定为一较小值，随后将其调整为一较大值。
根据本公开实施例，所述基于所述文字信息以及所述背景图像，生成用于光学字符识别的训练数据包括，基于所述文字信息以及所述背景图像，分批次生成用于光学字符识别的训练数据，其中，在生成训练数据的过程中，调整参数使每批次生成的训练数据的数量增加。
该方法在开始执行时可以设置每批生成较少的训练数据，在一段时间后提高该参数，有效降低了由各种初始化导致的系统开销，提高系统效率。
图5示意性示出了根据本公开实施例的用于光学字符识别的训练数据生成系统500的框图。
如图5所示，该系统500包括文字获得模块510、背景获得模块520以及数据生成模块530。
文字获得模块510，例如执行上文参考图2描述的操作S210，用于获得文字信息。
背景获得模块520，例如执行上文参考图2描述的操作S220，用于获得背景图像，所述背景图像包括从真实场景的图像中提取的第一背景图像。
数据生成模块530，例如执行上文参考图2描述的操作S230，用于基于所述文字信息以及所述背景图像，生成用于光学字符识别的训练数据。
根据本公开实施例，该数据生成模块530用于基于所述文字信息以及所述背景图像，分批次生成用于光学字符识别的训练数据，其中，在生成训练数据的过程中，调整参数使每批次生成的训练数据的数量增加。
根据本公开实施例，该文字获得模块510用于执行从字符集中随机选取多个字符作为文字信息，以及/或者，从语料库中随机抽取连续字符串作为文字信息。
根据本公开实施例，该系统还包括语料处理模块或字符处理模块中的至少一种。语料处理模块，用于去除所述语料库中重复的语料。字符处理模块，用于在所述字符集包括多种字体的字符的情况下，从所述字符集中剔除错误字符，所述错误字符包括不支持特定字体的特定字符。
根据本公开实施例，该背景获得模块520用于随机选用第一方式或第二方式获得背景图像，其中，所述第一方式包括从背景库中选取从真实场景的图像中提取的第一背景图像作为背景图像，所述第二方式包括基于图像处理方法随机生成的第二背景图像作为背景图像。
根据本公开实施例，所述基于图像处理方法随机生成的第二背景图像作为背景图像包括获得文字颜色，获得颜色差值范围，基于所述文字颜色以及所述颜色差值范围，确定背景颜色，以及基于所述背景颜色，生成背景图像。
图6示意性示出了根据本公开实施例的数据生成模块530的框图。
如图6所示，该数据生成模块530包括图像组合子模块610以及图像处理子模块620。
图像组合子模块610，用于组合所述文字信息和所述背景图像，获得组合图像。
图像处理子模块620，用于处理所述组合图像，生成用于光学字符识别的训练数据。
根据本公开实施例，所述处理所述组合图像包括将所述组合图像缩小，然后放大到原始尺寸，以及/或者，将所述组合图像按照图像质量因子存储为jpg格式，其中，所述图像质量因子的值设定在预设范围内。
根据本公开的实施例的模块、子模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本公开实施例的模块、子模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
例如，文字获得模块510、背景获得模块520、数据生成模块530、语料处理模块、字符处理模块、图像组合子模块610以及图像处理子模块620中的任意多个可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本公开的实施例，文字获得模块510、背景获得模块520、数据生成模块530、语料处理模块、字符处理模块、图像组合子模块610以及图像处理子模块620中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，文字获得模块510、背景获得模块520、数据生成模块530、语料处理模块、字符处理模块、图像组合子模块610以及图像处理子模块620中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
图7示意性示出了根据本公开实施例的适于实现上文描述的方法的计算机系统700的方框图。图7示出的计算机系统仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图7所示，根据本公开实施例的计算机系统700包括处理器701，其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。处理器701例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))，等等。处理器701还可以包括用于缓存用途的板载存储器。处理器701可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
在RAM 703中，存储有系统700操作所需的各种程序和数据。处理器701、ROM 702以及RAM 703通过总线704彼此相连。处理器701通过执行ROM 702和/或RAM 703中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除ROM 702和RAM 703以外的一个或多个存储器中。处理器701也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。
根据本公开的实施例，系统700还可以包括输入/输出(I/O)接口705，输入/输出(I/O)接口705也连接至总线704。系统700还可以包括连接至I/O接口705的以下部件中的一项或多项：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。
根据本公开的实施例，根据本公开实施例的方法流程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被处理器701执行时，执行本公开实施例的系统中限定的上述功能。根据本公开的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。
本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。
根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如，根据本公开的实施例，计算机可读存储介质可以包括上文描述的ROM 702和/或RAM 703和/或ROM 702和RAM 703以外的一个或多个存储器。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合或/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。
以上对本公开的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本公开的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。

Claims (12)

1.一种用于光学字符识别的训练数据生成方法，包括：
获得文字信息；
获得背景图像，所述背景图像包括从真实场景的图像中提取的第一背景图像，以及基于图像处理方法随机生成的第二背景图像；其中，所述基于图像处理方法随机生成的第二背景图像作为背景图像包括：
获得文字颜色，包括获得所述文字颜色在RGB规则下三个分量的值；
获得颜色差值范围，所述颜色差值范围为一预设值；
基于所述文字颜色以及所述颜色差值范围，确定背景颜色，其中，包括在RGB规则下所述背景颜色与所述文字颜色的三个分量对应差值的平方和大于等于所述预设值的平方；
基于所述背景颜色，生成背景图像；
以及
基于所述文字信息以及所述背景图像，生成用于光学字符识别的训练数据，其中，包括：
组合所述文字信息和所述背景图像，获得组合图像；
处理所述组合图像，生成用于光学字符识别的训练数据，其中，所述处理所述组合图像包括：
将所述组合图像缩小，然后放大到原始尺寸。
2.根据权利要求1所述的方法，其中，所述基于所述文字信息以及所述背景图像，生成用于光学字符识别的训练数据包括：
基于所述文字信息以及所述背景图像，分批次生成用于光学字符识别的训练数据，其中，在生成训练数据的过程中，调整参数使每批次生成的训练数据的数量增加。
3.根据权利要求1所述的方法，其中，所述获得文字信息包括以下至少一种：
从字符集中随机选取多个字符作为文字信息；
从语料库中随机抽取连续字符串作为文字信息，
其中，所述方法还包括以下至少一种：
去除所述语料库中重复的语料；
在所述字符集包括多种字体的字符的情况下，从所述字符集中剔除错误字符，所述错误字符包括不支持特定字体的特定字符。
4.根据权利要求1所述的方法，其中，所述获得背景图像包括：
随机选用第一方式或第二方式获得背景图像，其中，所述第一方式包括从背景库中选取从真实场景的图像中提取的第一背景图像作为背景图像，所述第二方式包括基于图像处理方法随机生成的第二背景图像作为背景图像。
5.根据权利要求1所述的方法，其中，其中，所述处理所述组合图像还包括：
将所述组合图像按照图像质量因子存储为jpg格式，其中，所述图像质量因子的值设定在预设范围内。
6.一种用于光学字符识别的训练数据生成系统，包括：
文字获得模块，用于获得文字信息；
背景获得模块，用于获得背景图像，所述背景图像包括从真实场景的图像中提取的第一背景图像，以及基于图像处理方法随机生成的第二背景图像；其中，所述基于图像处理方法随机生成的第二背景图像作为背景图像包括：
获得文字颜色，包括获得所述文字颜色在RGB规则下三个分量的值；
获得颜色差值范围，所述颜色差值范围为一预设值；
基于所述文字颜色以及所述颜色差值范围，确定背景颜色，其中，包括在RGB规则下所述背景颜色与所述文字颜色的三个分量对应差值的平方和大于等于所述预设值的平方；
基于所述背景颜色，生成背景图像；
以及
数据生成模块，用于基于所述文字信息以及所述背景图像，生成用于光学字符识别的训练数据，其中，包括：
图像组合子模块，组合所述文字信息和所述背景图像，获得组合图像；
图像处理子模块，处理所述组合图像，生成用于光学字符识别的训练数据，其中，所述处理所述组合图像包括：
将所述组合图像缩小，然后放大到原始尺寸。
7.根据权利要求6所述的系统，其中，所述数据生成模块用于：
基于所述文字信息以及所述背景图像，分批次生成用于光学字符识别的训练数据，其中，在生成训练数据的过程中，调整参数使每批次生成的训练数据的数量增加。
8.根据权利要求6所述的系统，其中，所述文字获得模块用于执行以下至少一种：
从字符集中随机选取多个字符作为文字信息；
从语料库中随机抽取连续字符串作为文字信息，
其中，所述系统还包括以下至少一种：
语料处理模块，用于去除所述语料库中重复的语料；
字符处理模块，用于在所述字符集包括多种字体的字符的情况下，从所述字符集中剔除错误字符，所述错误字符包括不支持特定字体的特定字符。
9.根据权利要求6所述的系统，其中，所述背景获得模块用于：
随机选用第一方式或第二方式获得背景图像，其中，所述第一方式包括从背景库中选取从真实场景的图像中提取的第一背景图像作为背景图像，所述第二方式包括基于图像处理方法随机生成的第二背景图像作为背景图像。
10.根据权利要求6所述的系统，其中，所述处理所述组合图像还包括：
将所述组合图像按照图像质量因子存储为jpg格式，其中，所述图像质量因子的值设定在预设范围内。
11.一种电子设备，包括：
一个或多个处理器；
存储器，用于存储一个或多个计算机程序，
其中，当一个或多个计算机程序被一个或多个处理器执行时，使得一个或多个处理器实现权利要求1至5中任一项的方法。
12.一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器实现权利要求1至5中任一项的方法。
CN201811112547.5A 2018-09-21 2018-09-21 用于光学字符识别的训练数据生成方法、系统和电子设备 Active CN109272043B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811112547.5A CN109272043B (zh) 2018-09-21 2018-09-21 用于光学字符识别的训练数据生成方法、系统和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811112547.5A CN109272043B (zh) 2018-09-21 2018-09-21 用于光学字符识别的训练数据生成方法、系统和电子设备

Publications (2)

Publication Number Publication Date
CN109272043A CN109272043A (zh) 2019-01-25
CN109272043B true CN109272043B (zh) 2021-03-30

Family

ID=65197265

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811112547.5A Active CN109272043B (zh) 2018-09-21 2018-09-21 用于光学字符识别的训练数据生成方法、系统和电子设备

Country Status (1)

Country Link
CN (1) CN109272043B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109978044B (zh) * 2019-03-20 2021-03-19 广州云测信息技术有限公司 训练数据生成方法和装置、以及模型的训练方法和装置
CN110136225B (zh) * 2019-03-29 2023-05-30 北京旷视科技有限公司 生成书面印刷数据的样本的方法、装置及计算机存储介质
CN110135413B (zh) * 2019-05-08 2021-08-17 达闼机器人有限公司 一种字符识别图像的生成方法、电子设备和可读存储介质
CN110163285B (zh) * 2019-05-23 2021-03-02 阳光保险集团股份有限公司 票证识别训练样本合成方法和计算机存储介质
CN110351094B (zh) * 2019-07-03 2024-03-15 平安科技（深圳）有限公司 字符验证方法、装置、计算机设备及存储介质
CN110503159B (zh) * 2019-08-28 2022-10-11 北京达佳互联信息技术有限公司 文字识别方法、装置、设备及介质
CN110956170A (zh) * 2019-09-30 2020-04-03 京东数字科技控股有限公司 生成护照机读码样本的方法、装置、设备及存储介质
CN111325106B (zh) * 2020-01-22 2023-11-03 京东科技控股股份有限公司 生成训练数据的方法及装置
CN111626124B (zh) * 2020-04-24 2024-06-11 平安国际智慧城市科技股份有限公司 Ocr图像样本生成、印刷体验证方法、装置、设备及介质
CN112418297A (zh) * 2020-11-19 2021-02-26 北京云从科技有限公司 基于图像扩展的ocr模型训练方法、系统及装置
CN112418224B (zh) * 2021-01-22 2021-04-23 成都无糖信息技术有限公司 一种基于机器学习的通用ocr的训练数据生成系统及方法
CN114863416A (zh) * 2022-07-07 2022-08-05 合肥高维数据技术有限公司 通用文本ocr的训练数据生成方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106651774A (zh) * 2016-12-27 2017-05-10 深圳市捷顺科技实业股份有限公司 一种车牌超分辨率模型重建方法及装置
CN106874937A (zh) * 2017-01-18 2017-06-20 腾讯科技（上海）有限公司 一种文字图像生成方法、装置及终端
CN107784316A (zh) * 2016-08-26 2018-03-09 阿里巴巴集团控股有限公司 一种图像识别方法、装置、系统和计算设备
CN108090400A (zh) * 2016-11-23 2018-05-29 中移（杭州）信息技术有限公司 一种图像文本识别的方法和装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103679208A (zh) * 2013-11-27 2014-03-26 北京中科模识科技有限公司 基于广电字幕识别的训练数据自动生成和深度学习方法
CN104966097B (zh) * 2015-06-12 2019-01-18 成都数联铭品科技有限公司 一种基于深度学习的复杂文字识别方法
CN108288064B (zh) * 2017-01-09 2022-06-07 北京京东尚科信息技术有限公司 用于生成图片的方法和装置
CN106971152B (zh) * 2017-03-16 2020-04-17 天津大学 一种基于航拍图像的检测输电线路中鸟巢的方法
CN106877237B (zh) * 2017-03-16 2018-11-30 天津大学 一种基于航拍图像的检测输电线路中绝缘子缺失的方法
CN106980827A (zh) * 2017-03-16 2017-07-25 天津大学 一种基于航拍图像的识别输电线路中鸟巢的方法
CN107274345A (zh) * 2017-06-07 2017-10-20 众安信息技术服务有限公司 一种中文打印字符图像合成方法及装置
CN107346629A (zh) * 2017-08-22 2017-11-14 贵州大学 一种智能盲人阅读方法及智能盲人阅读器系统
CN107506800A (zh) * 2017-09-21 2017-12-22 深圳市唯特视科技有限公司 一种基于无监督域适应的无标签视频人脸识别方法
CN107633520A (zh) * 2017-09-28 2018-01-26 福建帝视信息科技有限公司 一种基于深度残差网络的超分辨率图像质量评估方法
CN108108772B (zh) * 2018-01-06 2021-08-10 天津大学 一种基于配电线路航拍图像的绝缘子污闪状态检测方法
CN108154148A (zh) * 2018-01-22 2018-06-12 厦门美亚商鼎信息科技有限公司 训练样本的人工合成方法及基于该样本的验证码识别方法
CN108376244B (zh) * 2018-02-02 2022-03-25 北京大学 一种自然场景图片中的文本字体的识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107784316A (zh) * 2016-08-26 2018-03-09 阿里巴巴集团控股有限公司 一种图像识别方法、装置、系统和计算设备
CN108090400A (zh) * 2016-11-23 2018-05-29 中移（杭州）信息技术有限公司 一种图像文本识别的方法和装置
CN106651774A (zh) * 2016-12-27 2017-05-10 深圳市捷顺科技实业股份有限公司 一种车牌超分辨率模型重建方法及装置
CN106874937A (zh) * 2017-01-18 2017-06-20 腾讯科技（上海）有限公司 一种文字图像生成方法、装置及终端

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Reading Text in the Wild with Convolutional Neural Networks;Max Jaderberg etc;《International Journal of Computer Vision》;20160131;第1-20页 *

Also Published As

Publication number Publication date
CN109272043A (zh) 2019-01-25

Similar Documents

Publication Publication Date Title
CN109272043B (zh) 用于光学字符识别的训练数据生成方法、系统和电子设备
US20200167558A1 (en) Semantic page segmentation of vector graphics documents
US9619735B1 (en) Pure convolutional neural network localization
US20210334706A1 (en) Augmentation device, augmentation method, and augmentation program
US9766868B2 (en) Dynamic source code generation
US20170228619A1 (en) Tagging Similar Images Using Neural Network
US9619209B1 (en) Dynamic source code generation
US20220019834A1 (en) Automatically predicting text in images
WO2018032354A1 (en) Method and apparatus for zero-shot learning
US9390374B2 (en) Adaptive testing for answers in a question and answer system
US20190362226A1 (en) Facilitate Transfer Learning Through Image Transformation
CN112329762A (zh) 图像处理方法、模型训练方法、装置、计算机设备和介质
CN112926471A (zh) 业务单据影像内容识别方法及装置
CN116982089A (zh) 用于图像语义增强的方法和系统
CN110909768B (zh) 一种标注数据获取方法及装置
CN111783812B (zh) 违禁图像识别方法、装置和计算机可读存储介质
CN113569740A (zh) 视频识别模型训练方法与装置、视频识别方法与装置
US10755171B1 (en) Hiding and detecting information using neural networks
US20220318230A1 (en) Text to question-answer model system
EP3848857A1 (en) Neural network architecture search system and method, and computer readable recording medium
CN113468323A (zh) 争议焦点类别及相似判断方法及系统及装置及推荐方法
KR102026280B1 (ko) 딥 러닝을 이용한 씬 텍스트 검출 방법 및 시스템
US20220335274A1 (en) Multi-stage computationally efficient neural network inference
US11887356B2 (en) System, method and apparatus for training a machine learning model
US11188748B2 (en) Scalable structure learning via context-free recursive document decomposition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Room 221, 2nd floor, Block C, 18 Kechuang 11th Street, Beijing Daxing District, Beijing

Applicant after: JINGDONG DIGITAL TECHNOLOGY HOLDINGS Co.,Ltd.

Address before: Room 221, 2nd floor, Block C, 18 Kechuang 11th Street, Daxing Economic and Technological Development Zone, Beijing, 100176

Applicant before: BEIJING JINGDONG FINANCIAL TECHNOLOGY HOLDING Co.,Ltd.

GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: Room 221, 2 / F, block C, 18 Kechuang 11th Street, Daxing District, Beijing, 100176

Patentee after: Jingdong Technology Holding Co.,Ltd.

Address before: Room 221, 2 / F, block C, 18 Kechuang 11th Street, Daxing District, Beijing, 100176

Patentee before: JINGDONG DIGITAL TECHNOLOGY HOLDINGS Co.,Ltd.

CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: Room 221, 2 / F, block C, 18 Kechuang 11th Street, Daxing District, Beijing, 100176

Patentee after: Jingdong Technology Holding Co.,Ltd.

Address before: Room 221, 2 / F, block C, 18 Kechuang 11th Street, Daxing District, Beijing, 100176

Patentee before: Jingdong Digital Technology Holding Co.,Ltd.

Address after: Room 221, 2 / F, block C, 18 Kechuang 11th Street, Daxing District, Beijing, 100176

Patentee after: Jingdong Digital Technology Holding Co.,Ltd.

Address before: Room 221, 2 / F, block C, 18 Kechuang 11th Street, Daxing District, Beijing, 100176

Patentee before: JINGDONG DIGITAL TECHNOLOGY HOLDINGS Co.,Ltd.