CN113537229A - 票据图像生成方法、装置、计算机设备和存储介质 - Google Patents
票据图像生成方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN113537229A CN113537229A CN202110995840.6A CN202110995840A CN113537229A CN 113537229 A CN113537229 A CN 113537229A CN 202110995840 A CN202110995840 A CN 202110995840A CN 113537229 A CN113537229 A CN 113537229A
- Authority
- CN
- China
- Prior art keywords
- image
- bill
- character
- characteristic
- background
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Character Input (AREA)
Abstract
本申请涉及票据图像生成方法、装置、计算机设备和存储介质。所述方法包括：获取具有特征字符的第一票据图像；将第一票据图像输入至字符去除模型，得到去除特征字符的第一票据背景图像；对第一票据背景图像和第一票据图像进行预设图像处理，得到特征字符遮罩图；根据特征字符遮罩图和第一票据图像，生成特征字符彩色图；若特征字符彩色图和去除特征字符的第二票据背景图像满足预设的字符迁移条件，则根据特征字符彩色图和第二票据背景图像生成字符迁移票据图像；字符迁移票据图像用于对实际票据图像进行数据扩充。采用本方法能够实现对稀有票据和稀有字符的数据扩充，具有较好图像生成效果，为识别模型提供了数据支持，有助于提升识别率。
Description
技术领域
本申请涉及图像处理技术领域，特别是涉及一种票据图像生成方法、装置、计算机设备和存储介质。
背景技术
随着人工智能的发展，深度学习与越来越多工业领域逐步结合，由于深度学习精准度受数据量的影响，深度学习模型训练效果与数据量、数据质量呈正相关，当数据量不足时，即使深度学习模型合理，深度学习模型训练效果也较差。
当票据市场较小，或票据上字符出现频率较低时，其票据对应字符样本量不足以支持深度学习的样本学习，将导致模型识别率不高，造成票据误判与漏判。
因此，相关技术中存在因稀有票据与稀有字符的样本量不足，无法提升模型识别率的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种能够解决上述问题的一种票据图像生成方法、装置、计算机设备和存储介质。
一种票据图像生成方法，所述方法包括：
获取具有特征字符的第一票据图像；所述第一票据图像由实际票据图像切分得到；
将所述第一票据图像输入至字符去除模型，得到去除所述特征字符的第一票据背景图像；
对所述第一票据背景图像和所述第一票据图像进行预设图像处理，得到特征字符遮罩图；所述特征字符遮罩图为具有所述特征字符且无票据背景的灰度图；
根据所述特征字符遮罩图和所述第一票据图像，生成特征字符彩色图；
若所述特征字符彩色图和去除所述特征字符的第二票据背景图像满足预设的字符迁移条件，则根据所述特征字符彩色图和所述第二票据背景图像生成字符迁移票据图像；所述字符迁移票据图像用于对所述实际票据图像进行数据扩充。
在一个实施例中，所述获取具有特征字符的第一票据图像，包括：
获取具有特征字符的实际票据图像；所述特征字符在所述实际票据图像中对应有一个或多个字符位置；
根据所述一个或多个字符位置，对所述实际票据图像进行切分，得到一个或多个具有所述特征字符的切分票据图像；
基于所述切分票据图像，通过图像缩放处理和图像通道转换处理，得到所述第一票据图像；所述图像通道转换处理用于使待输入的票据图像符合所述字符去除模型的输入条件。
在一个实施例中，在所述将所述第一票据图像输入至字符去除模型，得到去除所述特征字符的第一票据背景图像的步骤之前，还包括：
获取训练样本数据；所述训练样本数据包括具有所述特征字符的第二票据图像和去除所述特征字符的标签票据图像，所述第二票据图像和所述标签票据图像由所述实际票据图像切分后，通过图像缩放处理和图像通道转换处理得到；
基于预置模型参数的预训练字符去除模型，采用所述第二票据图像和所述标签票据图像对所述预训练字符去除模型进行模型训练，得到所述字符去除模型。
在一个实施例中，所述对所述第一票据背景图像和所述第一票据图像进行预设图像处理，得到特征字符遮罩图，包括：
根据所述第一票据背景图像和所述第一票据图像，生成初始特征字符图；
对所述初始特征字符图进行背景滤除操作，得到所述特征字符遮罩图；
所述背景滤除操作包括以下任一项或多项：
图像灰度化操作、灰度拉伸操作、特征字符字体膨胀操作。
在一个实施例中，在对所述第一票据背景图像和所述第一票据图像进行预设图像处理，得到特征字符遮罩图的步骤之后，还包括：
以所述特征字符遮罩图中的字符区域坐标为基准，确定特征字符位置信息；
基于所述特征字符位置信息，建立所述第一票据图像、所述第一票据背景图像、所述特征字符遮罩图之间的对应关系。
在一个实施例中，所述特征字符位置信息包括字符排列类型和字符位置范围，在所述若所述特征字符彩色图和去除所述特征字符的第二票据背景图像满足预设的字符迁移条件，则根据所述特征字符彩色图和所述第二票据背景图像生成字符迁移票据图像的步骤之前，还包括：
若所述特征字符彩色图的字符排列类型和所述第二票据背景图像的字符排列类型相匹配，确定所述特征字符彩色图和所述第二票据背景图像各自对应的字符位置范围；
若所述特征字符彩色图的字符位置范围未超出所述第二票据背景图像的字符位置范围，判定所述特征字符彩色图和所述第二票据背景图像满足预设的字符迁移条件。
在一个实施例中，所述根据所述特征字符彩色图和所述第二票据背景图像生成字符迁移票据图像，包括：
以所述第二票据背景图像中的预设区域坐标为基准，将所述特征字符彩色图中的彩色特征字符迁移至所述第二票据背景图像中，得到所述字符迁移票据图像。
一种票据图像生成装置，所述装置包括：
第一票据图像获取模块，用于获取具有特征字符的第一票据图像；所述第一票据图像由实际票据图像切分得到；
模型处理模块，用于将所述第一票据图像输入至字符去除模型，得到去除所述特征字符的第一票据背景图像；
特征字符遮罩图得到模块，用于对所述第一票据背景图像和所述第一票据图像进行预设图像处理，得到特征字符遮罩图；所述特征字符遮罩图为具有所述特征字符且无票据背景的灰度图；
特征字符彩色图生成模块，用于根据所述特征字符遮罩图和所述第一票据图像，生成特征字符彩色图；
字符迁移模块，用于若所述特征字符彩色图和去除所述特征字符的第二票据背景图像满足预设的字符迁移条件，则根据所述特征字符彩色图和所述第二票据背景图像生成字符迁移票据图像；所述字符迁移票据图像用于对所述实际票据图像进行数据扩充。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如上所述的票据图像生成方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的票据图像生成方法的步骤。
上述一种票据图像生成方法、装置、计算机设备和存储介质，通过获取具有特征字符的第一票据图像，第一票据图像由实际票据图像切分得到，将第一票据图像输入至字符去除模型，得到去除特征字符的第一票据背景图像，然后对第一票据背景图像和第一票据图像进行预设图像处理，得到特征字符遮罩图，特征字符遮罩图为具有特征字符且无票据背景的灰度图，进而根据特征字符遮罩图和第一票据图像，生成特征字符彩色图，若特征字符彩色图和去除特征字符的第二票据背景图像满足预设的字符迁移条件，则根据特征字符彩色图和第二票据背景图像生成字符迁移票据图像，字符迁移票据图像用于对实际票据图像进行数据扩充，实现了对稀有票据和稀有字符的数据扩充，通过采用字符去除模型得到票据背景图像作为背景素材，并将生成的特征字符彩色图作为替换字符素材，进而基于预设的字符迁移条件得到字符迁移票据图像，具有较好的图像生成效果，为相关识别模型提供了数据支持，有助于提升识别模型的识别率。
附图说明
图1为一个实施例中一种票据图像生成方法的流程示意图；
图2为一个实施例中一种票据字符迁移实例的示意图；
图3为一个实施例中一种数据预处理流程的示意图；
图4为一个实施例中一种数据后处理效果的示意图；
图5为一个实施例中另一种票据图像生成方法的流程示意图；
图6为一个实施例中一种票据图像生成装置的结构框图；
图7为一个实施例中一种计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种票据图像生成方法，本实施例以该方法应用于终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。本实施例中，该方法包括以下步骤：
步骤101，获取具有特征字符的第一票据图像；所述第一票据图像由实际票据图像切分得到；
其中，由于在实际票据图像中特征字符可以对应有一个或多个字符位置，进而可以通过切分实际票据图像，得到一个或多个具有特征字符的第一票据图像。
作为一示例，特征字符可以为实际票据图像中的OCR(Optical CharacterRecognition，光学字符识别)字符，OCR字符识别作为票据识别过程中的重要环节，是判断票据类型和票据真假的必要条件，采用票据OCR字符样本进行深度学习，可以训练相关识别模型。
在实际应用中，基于特征字符在实际票据图像中对应的一个或多个字符位置可以对实际票据图像进行切分，并可以通过图像缩放处理和图像通道转换处理，得到一个或多个具有特征字符的第一票据图像。
步骤102，将所述第一票据图像输入至字符去除模型，得到去除所述特征字符的第一票据背景图像；
作为一示例，字符去除模型可以为EnsNet(Ensconce Text in the Wild)模型，其可以对图片中文字进行擦除，如将票据图像中的OCR字符擦除。
在具体实现中，通过将第一票据图像输入至字符去除模型，可以得到模型输出的第一票据背景图像，即可以将擦除特征字符后的第一票据图像作为第一票据背景图像。
在一示例中，通过字符去除模型可以输出多个第一票据背景图像，进而可以采用多个第一票据背景图像生成数据集，作为背景素材，以为后续字符迁移过程提供数据支持。
步骤103，对所述第一票据背景图像和所述第一票据图像进行预设图像处理，得到特征字符遮罩图；所述特征字符遮罩图为具有所述特征字符且无票据背景的灰度图；
在得到第一票据背景图像后，可以对第一票据背景图像和第一票据图像进行预设图像处理，进而可以得到具有特征字符且无票据背景的灰度图，即特征字符遮罩图，如无背景的OCR字符mask图。
具体地，通过数据后处理，可以将第一票据背景图像和第一票据图像进行点对点相减处理，并通过背景滤除操作，如图像灰度化操作、灰度拉伸操作、特征字符字体膨胀操作，进而得到特征字符遮罩图。
步骤104，根据所述特征字符遮罩图和所述第一票据图像，生成特征字符彩色图；
在实际应用中，通过对特征字符遮罩图和第一票据图像进行点乘处理，可以生成特征字符彩色图，例如，将OCR字符mask图与其对应的票据原图进行点乘，可以得到彩色OCR字符图，即特征字符彩色图。
在一示例中，根据多个特征字符遮罩图与其对应的第一票据图像，可以得到多个特征字符彩色图，进而可以采用多个特征字符彩色图生成数据集，作为替换字符素材，以为后续字符迁移过程提供数据支持。
步骤105，若所述特征字符彩色图和去除所述特征字符的第二票据背景图像满足预设的字符迁移条件，则根据所述特征字符彩色图和所述第二票据背景图像生成字符迁移票据图像；所述字符迁移票据图像用于对所述实际票据图像进行数据扩充。
在实际应用中，通过判断特征字符彩色图和去除特征字符的第二票据背景图像是否满足预设的字符迁移条件，可以在判定满足预设的字符迁移条件时，根据特征字符彩色图和第二票据背景图像生成字符迁移票据图像，该字符迁移票据图像可以用于对实际票据图像进行数据扩充，从而实现对稀有票据和稀有字符的数据扩充。
相较于传统基于生成对抗网络GAN的数据扩充方法，其对低分辨率图像生成效果差，通过本申请实施例生成字符迁移票据图像，能够对稀有票据和稀有字符进行数据扩充，针对票据背景简单或票据背景复杂情况，均具有较好的图像生成效果，为相关识别模型提供了数据支持，有助于提升识别模型的识别率。
在一示例中，如图2所示，根据背景提供图(图2中票据图像a)和OCR提供图(图2中票据图像b)进行字符迁移，可以得到合成图(图2中票据图像c)，即字符迁移票据图像。通过字符去除模型，可以将票据图像a中的OCR字符a去除，得到去除特征字符的第二票据背景图像，以及将票据图像b(即第一票据图像)中的OCR字符b去除，得到第一票据背景图像，然后基于数据后处理，采用第一票据背景图像和票据图像b可以得到特征字符遮罩图，并生成特征字符彩色图，进而在字符迁移时，可以将OCR字符b贴入背景图a，得到字符迁移票据图像。
在本申请实施例中，通过获取具有特征字符的第一票据图像，第一票据图像由实际票据图像切分得到，将第一票据图像输入至字符去除模型，得到去除特征字符的第一票据背景图像，然后对第一票据背景图像和第一票据图像进行预设图像处理，得到特征字符遮罩图，特征字符遮罩图为具有特征字符且无票据背景的灰度图，进而根据特征字符遮罩图和第一票据图像，生成特征字符彩色图，若特征字符彩色图和去除特征字符的第二票据背景图像满足预设的字符迁移条件，则根据特征字符彩色图和第二票据背景图像生成字符迁移票据图像，字符迁移票据图像用于对实际票据图像进行数据扩充，实现了对稀有票据和稀有字符的数据扩充，通过采用字符去除模型得到票据背景图像作为背景素材，并将生成的特征字符彩色图作为替换字符素材，进而基于预设的字符迁移条件得到字符迁移票据图像，具有较好的图像生成效果，为相关识别模型提供了数据支持，有助于提升识别模型的识别率。
在一个实施例中，所述获取具有特征字符的第一票据图像，可以包括如下步骤：
获取具有特征字符的实际票据图像；所述特征字符在所述实际票据图像中对应有一个或多个字符位置；
在一示例中，数据预处理过程中，通过获取实际票据的正反面信号图像，可以建立基于实际票据的原始数据集，然后根据原始数据集可以筛选出具有特征字符的票据图像，如带有OCR字符的票据图像，并可以去除图像以外背景，进而得到实际票据图像。
根据所述一个或多个字符位置，对所述实际票据图像进行切分，得到一个或多个具有所述特征字符的切分票据图像；
在实际应用中，由于特征字符在实际票据图像中可以对应有一个或多个字符位置，则根据字符位置可以对实际票据图像进行切分，得到一个或多个具有特征字符的切分票据图像。
例如，数据预处理过程中，可以根据OCR字符在实际票据图像中所处位置的不同，以实际票据图像的宽度为基准，对实际票据图像进行左、中、右切割，如图3中图像切割步骤所示，从而可以扩充票据图像的数据量。
基于所述切分票据图像，通过图像缩放处理和图像通道转换处理，得到所述第一票据图像；所述图像通道转换处理用于使待输入的票据图像符合所述字符去除模型的输入条件。
在得到切分票据图像后，数据预处理过程中，可以对该切分票据图像进行图像缩放处理，如图3中尺寸释放步骤所示，可以将切分票据图像缩放至512*512大小，生成方形图；为了使待输入的票据图像符合字符去除模型的输入条件，可以对图像缩放处理结果进行图像通道转换处理，进而得到第一票据图像，如图3中RGB2BGR步骤所示，针对模型输入需求，可以进行RGB2BGR图像通道转换。
通过上述实施例获取具有特征字符的实际票据图像，特征字符在实际票据图像中对应有一个或多个字符位置，然后根据一个或多个字符位置，对实际票据图像进行切分，得到一个或多个具有特征字符的切分票据图像，进而基于切分票据图像，通过图像缩放处理和图像通道转换处理，得到第一票据图像，可以通过数据预处理过程，基于实际票据图像进行数据量扩充，并使待输入的票据图像符合字符去除模型的输入条件，为后续模型处理提供了数据支持。
在一个实施例中，在所述将所述第一票据图像输入至字符去除模型，得到去除所述特征字符的第一票据背景图像的步骤之前，可以包括如下步骤：
获取训练样本数据；所述训练样本数据包括具有所述特征字符的第二票据图像和去除所述特征字符的标签票据图像，所述第二票据图像和所述标签票据图像由所述实际票据图像切分后，通过图像缩放处理和图像通道转换处理得到；
在实际应用中，通过对实际票据图像进行切分，并进行图像缩放处理和图像通道转换处理，可以得到具有特征字符的第二票据图像，以及基于第二票据图像去除特征字符得到的标签票据图像，如图3中OCR擦除步骤所示，进而可以将第二票据图像和标签票据图像作为训练样本数据。
在一示例中，如图3所示，通过RGB2BGR图像通道转换后，可以将带OCR字符图像(即第二票据图像)与生成的标签数据集对应图像(即标签票据图像)进行并列、做差、缩放处理，生成输入数据集，进而可以将输入数据集划分为训练数据集(即训练样本数据)和测试数据集，如训练数据集与测试数据集的比例为5：1。
基于预置模型参数的预训练字符去除模型，采用所述第二票据图像和所述标签票据图像对所述预训练字符去除模型进行模型训练，得到所述字符去除模型。
在得到训练样本数据后，可以基于预置模型参数的预训练字符去除模型，如通过对EnsNet模型中各超参数进行试验，选取出较优参数进行模型预训练，进而得到预置模型参数的预训练字符去除模型；采用第二票据图像和标签票据图像对预训练字符去除模型进行模型训练，可以得到字符去除模型。
例如，可以将训练样本数据输入预置模型参数的预训练EnsNet模型，预置模型参数可以包括将超参数设置为：learning rate学习率为5e-4，batch size批量尺寸为4，epoch时期为500，并可以通过从模型中调取输出图像，对训练效果进行实时监测。
通过上述实施例获取训练样本数据，进而基于预置模型参数的预训练字符去除模型，采用第二票据图像和标签票据图像对预训练字符去除模型进行模型训练，得到字符去除模型，可以通过数据预处理过程获取训练样本数据，并基于预训练EnsNet模型进行模型训练，为后续字符迁移提供数据支持，提升了字符迁移的图像生成效果。
在一个实施例中，所述对所述第一票据背景图像和所述第一票据图像进行预设图像处理，得到特征字符遮罩图，可以包括如下步骤：
根据所述第一票据背景图像和所述第一票据图像，生成初始特征字符图；对所述初始特征字符图进行背景滤除操作，得到所述特征字符遮罩图；
作为一示例，背景滤除操作可以包括以下任一项或多项：
图像灰度化操作、灰度拉伸操作、特征字符字体膨胀操作。
在实际应用中，通过将数据预处理得到的测试数据集输入至字符去除模型，可以得到第一票据背景图像，然后在数据后处理过程中，可以根据第一票据背景图像和第一票据图像，生成初始特征字符图，进而可以对初始特征字符图进行背景滤除操作，得到特征字符遮罩图。
具体地，可以将第一票据背景图像和第一票据图像进行点对点相减处理，得到RGB三通道OCR字符图(即初始特征字符图)，然后可以对RGB三通道OCR字符图进行背景干扰滤除(即背景滤除操作)，如图4所示，其可以包括RGB2GRAY图像灰度化、灰度拉伸、OCR字体膨胀，即图像灰度化操作、灰度拉伸操作、特征字符字体膨胀操作，进而可以得到无背景的OCR字符mask图(即特征字符遮罩图)。
通过上述实施例根据第一票据背景图像和第一票据图像，生成初始特征字符图，进而对初始特征字符图进行背景滤除操作，得到特征字符遮罩图，可以通过数据后处理将生成的初始特征字符图中背景滤除干净，提升了字符迁移的图像生成效果。
在一个实施例中，在对所述第一票据背景图像和所述第一票据图像进行预设图像处理，得到特征字符遮罩图的步骤之后，可以包括如下步骤：
以所述特征字符遮罩图中的字符区域坐标为基准，确定特征字符位置信息；基于所述特征字符位置信息，建立所述第一票据图像、所述第一票据背景图像、所述特征字符遮罩图之间的对应关系。
在实际应用中，可以针对每个特征字符遮罩图进行OCR字符定位，定位坐标以特征字符遮罩图中的字符区域坐标为基准，可以确定特征字符位置信息，如以OCR字符块左上角的横纵坐标为基准，可以获取OCR字符块的长度、宽度等信息；进而基于特征字符位置信息，可以建立第一票据图像、第一票据背景图像、特征字符遮罩图之间的对应关系，如将OCR字符mask图与其对应的原图、该原图生成的无OCR字符票据背景图像进行对应，并可以将三者共用的字符定位坐标(即特征字符位置信息)统一存入json文件中，从而可以实现OCR字符粗定位。
通过上述实施例以特征字符遮罩图中的字符区域坐标为基准，确定特征字符位置信息，进而基于特征字符位置信息，建立第一票据图像、第一票据背景图像、特征字符遮罩图之间的对应关系，可以将由同一票据图像得到的票据背景图像、特征字符遮罩图与其原图进行对应，实现了OCR字符粗定位，为后续字符迁移条件的判断提供了数据支持。
在一个实施例中，特征字符位置信息可以包括字符排列类型和字符位置范围，在所述若所述特征字符彩色图和去除所述特征字符的第二票据背景图像满足预设的字符迁移条件，则根据所述特征字符彩色图和所述第二票据背景图像生成字符迁移票据图像的步骤之前，可以包括如下步骤：
若所述特征字符彩色图的字符排列类型和所述第二票据背景图像的字符排列类型相匹配，确定所述特征字符彩色图和所述第二票据背景图像各自对应的字符位置范围；若所述特征字符彩色图的字符位置范围未超出所述第二票据背景图像的字符位置范围，判定所述特征字符彩色图和所述第二票据背景图像满足预设的字符迁移条件。
在一示例中，可以判断特征字符彩色图和去除特征字符的第二票据背景图像是否满足预设的字符迁移条件，例如，可以读取特征字符彩色图和第二票据背景图像的OCR字符定位(即特征字符位置信息)，判断OCR字符是否同为横式或竖式，即特征字符彩色图的字符排列类型和第二票据背景图像的字符排列类型是否相匹配，并可以进一步判断OCR字符是否会超过背景图边界，即特征字符彩色图的字符位置范围未超出第二票据背景图像的字符位置范围，当两者条件均满足，则判定特征字符彩色图和第二票据背景图像满足预设的字符迁移条件。
通过上述实施例若特征字符彩色图的字符排列类型和第二票据背景图像的字符排列类型相匹配，确定特征字符彩色图和第二票据背景图像各自对应的字符位置范围，若特征字符彩色图的字符位置范围未超出第二票据背景图像的字符位置范围，判定特征字符彩色图和第二票据背景图像满足预设的字符迁移条件，可以在满足字符迁移条件的情况下进行后续的字符迁移，能够保证字符迁移得到较好的图像生成效果。
在一个实施例中，所述根据所述特征字符彩色图和所述第二票据背景图像生成字符迁移票据图像，可以包括如下步骤：
以所述第二票据背景图像中的预设区域坐标为基准，将所述特征字符彩色图中的彩色特征字符迁移至所述第二票据背景图像中，得到所述字符迁移票据图像。
在实际应用中，通过以第二票据背景图像中的预设区域坐标为基准，将特征字符彩色图中的彩色特征字符迁移至第二票据背景图像中，可以得到字符迁移票据图像，例如，以无OCR字符的背景图左上坐标(即第二票据背景图像中的预设区域坐标)为基准，将OCR字符(即彩色特征字符)贴入无OCR字符的背景图中，从而实现了OCR字符迁移和票据图像数据扩充。
通过上述实施例以第二票据背景图像中的预设区域坐标为基准，将特征字符彩色图中的彩色特征字符迁移至第二票据背景图像中，得到字符迁移票据图像，可以将票据背景图像作为背景素材，并将特征字符彩色图作为替换字符素材进行字符迁移，实现了OCR字符迁移和票据图像数据扩充，为相关识别模型提供了数据支持，有助于提升识别模型的识别率。
在一个实施例中，如图5所示，提供了另一种票据图像生成方法的流程示意图。本实施例中，该方法包括以下步骤：
在步骤501中，获取具有特征字符的实际票据图像；所述特征字符在所述实际票据图像中对应有一个或多个字符位置。在步骤502中，根据所述一个或多个字符位置，对所述实际票据图像进行切分，得到一个或多个具有所述特征字符的切分票据图像。在步骤503中，基于所述切分票据图像，通过图像缩放处理和图像通道转换处理，得到所述第一票据图像；所述图像通道转换处理用于使待输入的票据图像符合所述字符去除模型的输入条件。在步骤504中，获取训练样本数据；所述训练样本数据包括具有所述特征字符的第二票据图像和去除所述特征字符的标签票据图像，所述第二票据图像和所述标签票据图像由所述实际票据图像切分后，通过图像缩放处理和图像通道转换处理得到。在步骤505中，基于预置模型参数的预训练字符去除模型，采用所述第二票据图像和所述标签票据图像对所述预训练字符去除模型进行模型训练，得到所述字符去除模型。在步骤506中，将所述第一票据图像输入至字符去除模型，得到去除所述特征字符的第一票据背景图像。在步骤507中，对所述第一票据背景图像和所述第一票据图像进行预设图像处理，得到特征字符遮罩图；所述特征字符遮罩图为具有所述特征字符且无票据背景的灰度图。在步骤508中，根据所述特征字符遮罩图和所述第一票据图像，生成特征字符彩色图。在步骤509中，若所述特征字符彩色图和去除所述特征字符的第二票据背景图像满足预设的字符迁移条件，则根据所述特征字符彩色图和所述第二票据背景图像生成字符迁移票据图像；所述字符迁移票据图像用于对所述实际票据图像进行数据扩充。需要说明的是，上述步骤的具体限定可以参见上文对一种票据图像生成方法的具体限定，在此不再赘述。
应该理解的是，虽然图1、图5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1、图5中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图6所示，提供了一种票据图像生成装置，包括：
第一票据图像获取模块601，用于获取具有特征字符的第一票据图像；所述第一票据图像由实际票据图像切分得到；
模型处理模块602，用于将所述第一票据图像输入至字符去除模型，得到去除所述特征字符的第一票据背景图像；
特征字符遮罩图得到模块603，用于对所述第一票据背景图像和所述第一票据图像进行预设图像处理，得到特征字符遮罩图；所述特征字符遮罩图为具有所述特征字符且无票据背景的灰度图；
特征字符彩色图生成模块604，用于根据所述特征字符遮罩图和所述第一票据图像，生成特征字符彩色图；
字符迁移模块605，用于若所述特征字符彩色图和去除所述特征字符的第二票据背景图像满足预设的字符迁移条件，则根据所述特征字符彩色图和所述第二票据背景图像生成字符迁移票据图像；所述字符迁移票据图像用于对所述实际票据图像进行数据扩充。
在一个实施例中，所述第一票据图像获取模块601包括：
实际票据图像获取子模块，用于获取具有特征字符的实际票据图像；所述特征字符在所述实际票据图像中对应有一个或多个字符位置；
切分子模块，用于根据所述一个或多个字符位置，对所述实际票据图像进行切分，得到一个或多个具有所述特征字符的切分票据图像；
图像处理子模块，用于基于所述切分票据图像，通过图像缩放处理和图像通道转换处理，得到所述第一票据图像；所述图像通道转换处理用于使待输入的票据图像符合所述字符去除模型的输入条件。
在一个实施例中，所述装置还包括：
训练样本数据获取模块，用于获取训练样本数据；所述训练样本数据包括具有所述特征字符的第二票据图像和去除所述特征字符的标签票据图像，所述第二票据图像和所述标签票据图像由所述实际票据图像切分后，通过图像缩放处理和图像通道转换处理得到；
模型训练模块，用于基于预置模型参数的预训练字符去除模型，采用所述第二票据图像和所述标签票据图像对所述预训练字符去除模型进行模型训练，得到所述字符去除模型。
在一个实施例中，所述特征字符遮罩图得到模块603包括：
初始特征字符图生成子模块，用于根据所述第一票据背景图像和所述第一票据图像，生成初始特征字符图；
背景滤除子模块，用于对所述初始特征字符图进行背景滤除操作，得到所述特征字符遮罩图；
所述背景滤除操作包括以下任一项或多项：
图像灰度化操作、灰度拉伸操作、特征字符字体膨胀操作。
在一个实施例中，所述装置还包括：
特征字符位置信息确定模块，用于以所述特征字符遮罩图中的字符区域坐标为基准，确定特征字符位置信息；
对应关系建立模块，用于基于所述特征字符位置信息，建立所述第一票据图像、所述第一票据背景图像、所述特征字符遮罩图之间的对应关系。
在一个实施例中，所述特征字符位置信息包括字符排列类型和字符位置范围，所述装置还包括：
第一判断模块，用于若所述特征字符彩色图的字符排列类型和所述第二票据背景图像的字符排列类型相匹配，确定所述特征字符彩色图和所述第二票据背景图像各自对应的字符位置范围；
第二判断模块，用于若所述特征字符彩色图的字符位置范围未超出所述第二票据背景图像的字符位置范围，判定所述特征字符彩色图和所述第二票据背景图像满足预设的字符迁移条件。
在一个实施例中，所述字符迁移模块605包括：
字符迁移票据图像得到子模块，用于以所述第二票据背景图像中的预设区域坐标为基准，将所述特征字符彩色图中的彩色特征字符迁移至所述第二票据背景图像中，得到所述字符迁移票据图像。
关于一种票据图像生成装置的具体限定可以参见上文中对于一种票据图像生成方法的限定，在此不再赘述。上述一种票据图像生成装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储票据图像生成数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现票据图像生成方法。
本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取具有特征字符的第一票据图像；所述第一票据图像由实际票据图像切分得到；
将所述第一票据图像输入至字符去除模型，得到去除所述特征字符的第一票据背景图像；
对所述第一票据背景图像和所述第一票据图像进行预设图像处理，得到特征字符遮罩图；所述特征字符遮罩图为具有所述特征字符且无票据背景的灰度图；
根据所述特征字符遮罩图和所述第一票据图像，生成特征字符彩色图；
若所述特征字符彩色图和去除所述特征字符的第二票据背景图像满足预设的字符迁移条件，则根据所述特征字符彩色图和所述第二票据背景图像生成字符迁移票据图像；所述字符迁移票据图像用于对所述实际票据图像进行数据扩充。
在一个实施例中，处理器执行计算机程序时还实现上述其他实施例中的票据图像生成方法的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取具有特征字符的第一票据图像；所述第一票据图像由实际票据图像切分得到；
将所述第一票据图像输入至字符去除模型，得到去除所述特征字符的第一票据背景图像；
对所述第一票据背景图像和所述第一票据图像进行预设图像处理，得到特征字符遮罩图；所述特征字符遮罩图为具有所述特征字符且无票据背景的灰度图；
根据所述特征字符遮罩图和所述第一票据图像，生成特征字符彩色图；
若所述特征字符彩色图和去除所述特征字符的第二票据背景图像满足预设的字符迁移条件，则根据所述特征字符彩色图和所述第二票据背景图像生成字符迁移票据图像；所述字符迁移票据图像用于对所述实际票据图像进行数据扩充。
在一个实施例中，计算机程序被处理器执行时还实现上述其他实施例中的票据图像生成方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种票据图像生成方法，其特征在于，所述方法包括：
获取具有特征字符的第一票据图像；所述第一票据图像由实际票据图像切分得到；
将所述第一票据图像输入至字符去除模型，得到去除所述特征字符的第一票据背景图像；
对所述第一票据背景图像和所述第一票据图像进行预设图像处理，得到特征字符遮罩图；所述特征字符遮罩图为具有所述特征字符且无票据背景的灰度图；
根据所述特征字符遮罩图和所述第一票据图像，生成特征字符彩色图；
若所述特征字符彩色图和去除所述特征字符的第二票据背景图像满足预设的字符迁移条件，则根据所述特征字符彩色图和所述第二票据背景图像生成字符迁移票据图像；所述字符迁移票据图像用于对所述实际票据图像进行数据扩充。
2.根据权利要求1所述的方法，其特征在于，所述获取具有特征字符的第一票据图像，包括：
获取具有特征字符的实际票据图像；所述特征字符在所述实际票据图像中对应有一个或多个字符位置；
根据所述一个或多个字符位置，对所述实际票据图像进行切分，得到一个或多个具有所述特征字符的切分票据图像；
基于所述切分票据图像，通过图像缩放处理和图像通道转换处理，得到所述第一票据图像；所述图像通道转换处理用于使待输入的票据图像符合所述字符去除模型的输入条件。
3.根据权利要求1所述的方法，其特征在于，在所述将所述第一票据图像输入至字符去除模型，得到去除所述特征字符的第一票据背景图像的步骤之前，还包括：
获取训练样本数据；所述训练样本数据包括具有所述特征字符的第二票据图像和去除所述特征字符的标签票据图像，所述第二票据图像和所述标签票据图像由所述实际票据图像切分后，通过图像缩放处理和图像通道转换处理得到；
基于预置模型参数的预训练字符去除模型，采用所述第二票据图像和所述标签票据图像对所述预训练字符去除模型进行模型训练，得到所述字符去除模型。
4.根据权利要求1所述的方法，其特征在于，所述对所述第一票据背景图像和所述第一票据图像进行预设图像处理，得到特征字符遮罩图，包括：
根据所述第一票据背景图像和所述第一票据图像，生成初始特征字符图；
对所述初始特征字符图进行背景滤除操作，得到所述特征字符遮罩图；
所述背景滤除操作包括以下任一项或多项：
图像灰度化操作、灰度拉伸操作、特征字符字体膨胀操作。
5.根据权利要求1所述的方法，其特征在于，在对所述第一票据背景图像和所述第一票据图像进行预设图像处理，得到特征字符遮罩图的步骤之后，还包括：
以所述特征字符遮罩图中的字符区域坐标为基准，确定特征字符位置信息；
基于所述特征字符位置信息，建立所述第一票据图像、所述第一票据背景图像、所述特征字符遮罩图之间的对应关系。
6.根据权利要求5所述的方法，其特征在于，所述特征字符位置信息包括字符排列类型和字符位置范围，在所述若所述特征字符彩色图和去除所述特征字符的第二票据背景图像满足预设的字符迁移条件，则根据所述特征字符彩色图和所述第二票据背景图像生成字符迁移票据图像的步骤之前，还包括：
若所述特征字符彩色图的字符排列类型和所述第二票据背景图像的字符排列类型相匹配，确定所述特征字符彩色图和所述第二票据背景图像各自对应的字符位置范围；
若所述特征字符彩色图的字符位置范围未超出所述第二票据背景图像的字符位置范围，判定所述特征字符彩色图和所述第二票据背景图像满足预设的字符迁移条件。
7.根据权利要求1至6任意一项所述的方法，其特征在于，所述根据所述特征字符彩色图和所述第二票据背景图像生成字符迁移票据图像，包括：
以所述第二票据背景图像中的预设区域坐标为基准，将所述特征字符彩色图中的彩色特征字符迁移至所述第二票据背景图像中，得到所述字符迁移票据图像。
8.一种票据图像生成装置，其特征在于，所述装置包括：
第一票据图像获取模块，用于获取具有特征字符的第一票据图像；所述第一票据图像由实际票据图像切分得到；
模型处理模块，用于将所述第一票据图像输入至字符去除模型，得到去除所述特征字符的第一票据背景图像；
特征字符遮罩图得到模块，用于对所述第一票据背景图像和所述第一票据图像进行预设图像处理，得到特征字符遮罩图；所述特征字符遮罩图为具有所述特征字符且无票据背景的灰度图；
特征字符彩色图生成模块，用于根据所述特征字符遮罩图和所述第一票据图像，生成特征字符彩色图；
字符迁移模块，用于若所述特征字符彩色图和去除所述特征字符的第二票据背景图像满足预设的字符迁移条件，则根据所述特征字符彩色图和所述第二票据背景图像生成字符迁移票据图像；所述字符迁移票据图像用于对所述实际票据图像进行数据扩充。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的票据图像生成方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的票据图像生成方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110995840.6A CN113537229A (zh) | 2021-08-27 | 2021-08-27 | 票据图像生成方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110995840.6A CN113537229A (zh) | 2021-08-27 | 2021-08-27 | 票据图像生成方法、装置、计算机设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113537229A true CN113537229A (zh) | 2021-10-22 |
Family
ID=78092177
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110995840.6A Pending CN113537229A (zh) | 2021-08-27 | 2021-08-27 | 票据图像生成方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113537229A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116486418A (zh) * | 2023-06-19 | 2023-07-25 | 恒银金融科技股份有限公司 | 钞票冠字号图像的生成方法和装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107977665A (zh) * | 2017-12-15 | 2018-05-01 | 北京科摩仕捷科技有限公司 | 一种发票中关键信息的识别方法及计算设备 |
| WO2019174130A1 (zh) * | 2018-03-14 | 2019-09-19 | 平安科技（深圳）有限公司 | 票据识别方法、服务器及计算机可读存储介质 |
| CN110427948A (zh) * | 2019-07-29 | 2019-11-08 | 杭州云深弘视智能科技有限公司 | 字符样本的生成方法及其系统 |
| CN111915540A (zh) * | 2020-06-17 | 2020-11-10 | 华南理工大学 | 拓片甲骨文字符图像增广方法、系统、计算机设备及介质 |
| CN112580623A (zh) * | 2020-12-25 | 2021-03-30 | 北京百度网讯科技有限公司 | 图像生成方法、模型训练方法、相关装置及电子设备 |
| CN112819686A (zh) * | 2020-08-18 | 2021-05-18 | 腾讯科技（深圳）有限公司 | 基于人工智能的图像风格处理方法、装置及电子设备 |
| CN113011349A (zh) * | 2021-03-24 | 2021-06-22 | 中国工商银行股份有限公司 | 一种票据的要素识别方法、装置及存储介质 |
-
2021
- 2021-08-27 CN CN202110995840.6A patent/CN113537229A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107977665A (zh) * | 2017-12-15 | 2018-05-01 | 北京科摩仕捷科技有限公司 | 一种发票中关键信息的识别方法及计算设备 |
| WO2019174130A1 (zh) * | 2018-03-14 | 2019-09-19 | 平安科技（深圳）有限公司 | 票据识别方法、服务器及计算机可读存储介质 |
| CN110427948A (zh) * | 2019-07-29 | 2019-11-08 | 杭州云深弘视智能科技有限公司 | 字符样本的生成方法及其系统 |
| CN111915540A (zh) * | 2020-06-17 | 2020-11-10 | 华南理工大学 | 拓片甲骨文字符图像增广方法、系统、计算机设备及介质 |
| CN112819686A (zh) * | 2020-08-18 | 2021-05-18 | 腾讯科技（深圳）有限公司 | 基于人工智能的图像风格处理方法、装置及电子设备 |
| CN112580623A (zh) * | 2020-12-25 | 2021-03-30 | 北京百度网讯科技有限公司 | 图像生成方法、模型训练方法、相关装置及电子设备 |
| CN113011349A (zh) * | 2021-03-24 | 2021-06-22 | 中国工商银行股份有限公司 | 一种票据的要素识别方法、装置及存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116486418A (zh) * | 2023-06-19 | 2023-07-25 | 恒银金融科技股份有限公司 | 钞票冠字号图像的生成方法和装置 |
| CN116486418B (zh) * | 2023-06-19 | 2023-10-03 | 恒银金融科技股份有限公司 | 钞票冠字号图像的生成方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2019232843A1 (zh) | 手写模型训练、手写图像识别方法、装置、设备及介质 | |
| US20210224577A1 (en) | Classification with segmentation neural network for image-based content capture | |
| US8379994B2 (en) | Digital image analysis utilizing multiple human labels | |
| CN110516541B (zh) | 文本定位方法、装置、计算机可读存储介质和计算机设备 | |
| CN111680690B (zh) | 一种文字识别方法及装置 | |
| CN111223084A (zh) | 一种染色体切割数据的处理方法、系统和存储介质 | |
| CN110807775A (zh) | 基于人工智能的中医舌像分割装置、方法及存储介质 | |
| CN111275051A (zh) | 字符识别方法、装置、计算机设备和计算机可读存储介质 | |
| CN113569852A (zh) | 语义分割模型的训练方法、装置、电子设备及存储介质 | |
| CN115731220A (zh) | 坯布缺陷定位与分类方法、系统、设备及存储介质 | |
| CN115731422A (zh) | 多标签分类模型的训练方法、分类方法及装置 | |
| CN113469092A (zh) | 字符识别模型生成方法、装置、计算机设备和存储介质 | |
| CN110796145B (zh) | 基于智能决策的多证件分割关联方法及相关设备 | |
| CN113505781A (zh) | 目标检测方法、装置、电子设备及可读存储介质 | |
| CN114359932B (zh) | 文本检测方法、文本识别方法及装置 | |
| CN113468905B (zh) | 图形码识别方法、装置、计算机设备和存储介质 | |
| CN114782355A (zh) | 基于改进vgg16网络的胃癌数字病理切片检测方法 | |
| CN113537229A (zh) | 票据图像生成方法、装置、计算机设备和存储介质 | |
| CN112418033B (zh) | 基于mask rcnn神经网络的滑坡坡面分割识别方法 | |
| CN114444565A (zh) | 一种图像篡改检测方法、终端设备及存储介质 | |
| CN113591746A (zh) | 一种文档表格结构检测方法及装置 | |
| CN115908363B (zh) | 肿瘤细胞统计方法、装置、设备和存储介质 | |
| CN111291704A (zh) | 干扰去除方法、装置、计算机设备和存储介质 | |
| CN114359739B (zh) | 目标识别方法及装置 | |
| CN114241463A (zh) | 签名验证方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |