CN112613553A

CN112613553A - 图片样本集生成方法、装置、计算机设备和存储介质

Info

Publication number: CN112613553A
Application number: CN202011510018.8A
Authority: CN
Inventors: 刘洋
Original assignee: Zhongdian Jinxin Software Co Ltd
Current assignee: Zhongdian Jinxin Software Co Ltd
Priority date: 2020-12-18
Filing date: 2020-12-18
Publication date: 2021-04-06
Anticipated expiration: 2040-12-18
Also published as: CN112613553B

Abstract

本申请涉及一种图片样本集生成方法、装置、计算机设备和存储介质。所述方法包括：基于对象生成测试样本集；所述测试样本集中包括至少一个测试样本；通过所述图片识别模型对所述至少一个测试样本进行识别操作，根据识别结果确定所述对象的识别准确率；将符合预设条件的识别准确率所对应的对象，作为待强化对象；对至少一个待强化对象进行强化操作，得到强化样本集，以便使用所述强化样本集对所述图片识别模型进行训练。采用本方法能够针对待强化对象进行强化，使用强化图片样本集对图片识别模型进行训练，可以提高图片识别模型对于待强化对象的识别能力，使图片识别模型的识别准确率得到显著提升。

Description

图片样本集生成方法、装置、计算机设备和存储介质

技术领域

本申请涉及字符识别技术领域，特别是涉及一种图片样本集生成方法、装置、计算机设备和存储介质。

背景技术

随着图像识别技术的发展，出现了光学字符识别(OCR，Optical CharacterRecognition)技术，光学字符识别可以使用预训练的图片识别模型对图片中的字符进行识别，通过使用字符图片作为训练样本对字符模型进行训练，图片识别模型可以对一定数量的字符图片进行训练得到，通常识别准确率的提升依赖于图片样本数量的增加，图片样本数量越多，识别准确率越高。

目前图片识别模型图片样本数量的增加是通过随机增加字符图片来实现的。然而，随机增加字符图片容易导致在图片识别模型的训练过程中需要花费较多的计算资源，而且，由于需要识别的字符通常较多，当需要提升图片识别模型的识别准确率时，经常会出现即使增加了图片样本，花费了较多计算资源，也难以得到识别准确率的显著提升。

因此，目前用于图片识别模型的图片样本生成技术存在难以显著提升识别准确率的问题。

发明内容

基于此，有必要针对上述技术问题，提供一种能够显著提升识别准确率的图片样本集生成方法、装置、计算机设备和存储介质。

一种图片样本集生成方法，所述方法应用于图片识别模型中，所述方法包括：

基于对象生成测试样本集；所述测试样本集中包括至少一个测试样本；

通过所述图片识别模型对所述至少一个测试样本进行识别操作，根据识别结果确定所述对象的识别准确率；

将符合预设条件的识别准确率所对应的对象，作为待强化对象；

对至少一个待强化对象进行强化操作，得到强化样本集，以便使用所述强化样本集对所述图片识别模型进行训练。

在其中一个实施例中，所述基于对象生成测试样本集，包括：

获取所述对象的至少一个图片生成参数；

针对所述至少一个图片生成参数中的每一图片生成参数，生成与该图片生成参数对应的初始图片；

对至少一个初始图片中的每一初始图片分别进行第一处理操作，得到所述测试样本集。

在其中一个实施例中，所述测试样本集中还包括至少一个图片信息，每一图片信息对应唯一的测试图片，所述图片信息用于描述测试图片的内容信息；所述根据识别结果确定所述对象的识别准确率，包括：

基于所述图片信息，确定出所述对象的正确识别结果的总数，根据所述总数确定所述对象的识别准确率。

在其中一个实施例中，所述将符合预设条件的识别准确率所对应的对象，作为待强化对象，包括：

将至少一个识别准确率由低到高进行排序，将处于排序范围内的识别准确率所对应的对象作为目标对象。

在其中一个实施例中，所述对至少一个待强化对象进行强化操作，得到强化样本集，包括：

将所述待强化对象所对应的至少一个初始图片作为目标初始图片集；

将所述待强化对象所对应的至少一个测试图片作为目标测试图片集；

对所述目标初始图片集中的每一初始图片进行第二处理操作，得到所述待强化对象所对应的至少一个目标样本；

将所述至少一个目标样本和所述目标测试图片集，作为所述强化样本集。

在其中一个实施例中，所述第一处理操作包括至少一个图片处理操作，所述对至少一个初始图片中的每一初始图片分别进行第一处理操作，得到所述测试样本集，包括：

针对所述至少一个图片处理操作中的每一图片处理操作，根据该图片处理操作的操作占比，从所述至少一个初始图片中确定出至少一个目标初始图片；使用该图片处理操作对所述至少一个目标初始图片分别进行处理，得到至少一个处理后的目标初始图片；

直至使用所述第一处理操作对所述至少一个初始图片完成所有操作后，得到所述测试样本集。

一种图片样本集生成装置，所述装置包括图片识别模型，所述装置包括：

测试样本集生成模块，用于基于对象生成测试样本集；所述测试样本集中包括至少一个测试样本；

识别准确率确定模块，用于通过所述图片识别模型对所述至少一个测试样本进行识别操作，根据识别结果确定所述对象的识别准确率；

待强化对象确定模块，用于将符合预设条件的识别准确率所对应的对象，作为待强化对象；

强化模块，用于对至少一个待强化对象进行强化操作，得到强化样本集，以便使用所述强化样本集对所述图片识别模型进行训练。

在其中一个实施例中，所述测试样本集生成模块，还用于获取所述对象的至少一个图片生成参数，针对所述至少一个图片生成参数中的每一图片生成参数，生成与该图片生成参数对应的初始图片，并对至少一个初始图片中的每一初始图片分别进行第一处理操作，得到所述测试样本集。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

上述图片样本集生成方法、装置、计算机设备和存储介质，基于对象生成测试样本集，通过图片识别模型对测试样本集中的至少一个测试样本进行识别操作，可以得到图片识别模型对测试样本进行识别的结果，根据识别结果确定对象的识别准确率，可以检测图片识别模型对于对象的识别准确率，将符合预设条件的识别准确率所对应的对象作为待强化对象，可以快速确定出待强化对象，对至少一个待强化对象进行强化操作，得到强化样本集，可以针对待强化对象进行强化，使用强化图片样本集对图片识别模型进行训练，可以提高图片识别模型对于待强化对象的识别能力，使图片识别模型的识别准确率得到显著提升。

附图说明

图1为一个实施例中图片样本集生成方法的流程示意图；

图2为另一个实施例中图片样本集生成方法的流程示意图；

图3为一个实施例中图片样本集生成装置的结构框图；

图4为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在一个实施例中，如图1所示，提供了一种图片样本集生成方法，可以应用于终端或服务器中，其中，终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。以该方法应用于服务器为例进行说明，包括以下步骤：

步骤S110，基于对象生成测试样本集；测试样本集中包括至少一个测试样本。

其中，对象可以为待识别对象，例如，对象可以为指定的、图片中的字符或人脸或者某个特定的形状。

其中，测试样本可以为图片样本。

具体实现中，可以预先获取一个对象集，对象集中包含需要识别的全部对象。对于对象集中的一个指定对象，可以生成一个包含该对象的图片，并通过对图片进行形变处理，得到该对象的一个测试样本，通过使用不同的图片生成参数和形变处理参数，可以获取该对象的多个测试样本。例如，对象为A，则生成包含字符A的图片，且对该图片进行形变处理，每次形变处理后得到一个测试样本。通过获取对象集中每一个对象的多个测试样本，可以将多个测试样本组成测试样本集，其中，每个测试样本可以携带有对象的内容信息，即，内容信息用于描述图片中的内容为A。

其中，形变处理包括对图片进行拉伸、收缩、扭曲和旋转的变换，可以通过仿射变换和/或透视变换来实现，用于模拟真实图片采集过程中的扭曲和畸变。仿射变换是指在几何中，一个向量空间进行一次线性变换并接上一个平移，变换为另一个向量空间。透视变换(Perspective Transformation)是将图像投影到一个新的视平面的操作，具体是指利用透视中心、像点、目标点三点共线的条件，按透视旋转定律使承影面(透视面)绕迹线(透视轴)旋转某一角度，破坏原有的投影光线束，仍能保持承影面上投影几何图形不变的变换。

实际应用中，针对票据领域应用，可以使用票据常用字符作为对象集，对于对象集中的一个指定对象，即某一指定字符，通过随机获取图片生成参数，可以生成一个包含该字符的图片，其中，图片生成参数可以包括字体、字号、字符颜色和字符在图片中的位置。例如，指定生成字体为宋体，字号为小四，字符为“元”的图片。还可以为图片随机添加背景和噪音，以及进行形变处理，得到图片样本，其中，添加背景可以包括添加背景颜色和背景纹理。通过使用不同的图片生成参数、背景参数、噪音参数、形变处理参数，可以生成同一指定字符对应的多个图片样本。服务器可以对多个图片样本进行存储，并针对每个图片样本生成一个文本文件，文本文件可以记录图片样本的存储路径，以及图片样本上的字符内容，根据多个携带有文本文件的图片样本，可以生成测试样本集，测试样本集可以作为图片识别模型的验证数据集。

需要说明的是，实际应用中还可以采集真实单据，从真实单据上截取字符图片，并对字符图片进行人工标注，形成测试样本集。

步骤S120，通过图片识别模型对至少一个测试样本进行识别操作，根据识别结果确定对象的识别准确率。

其中，识别准确率可以为准确识别的测试样本占所有测试样本的百分比。

具体实现中，可以在测试样本集中获取指定对象的全部测试样本，并获取测试样本携带的对象的内容信息，将测试样本依次输入至图片识别模型，得到图片识别模型输出的与该对象对应的识别内容，即，输出该对象的每一测试样本分别对应的识别内容，通过将每一识别内容分别与该对象的内容信息相比较，当识别内容与内容信息一致时，确定图片识别模型对测试样本的识别是准确的，否则，不准确。将准确或者不准确作为测试样本对识别结果。通过对指定对象全部测试样本的识别结果进行统计，可以得到该对象的识别准确率。例如，对象A对应的测试样本包括A1、A2、A3、A4、A5，图片识别模型分别对A1、A2、A3、A4、A5进行识别，得到识别结果为A1’、A2’、A3’、A4’、A5’，使用对象A的内容信息分别对A1’、A2’、A3’、A4’、A5’进行判断，确定A3’、A4’、A5’是准确的识别结果，则对象A的识别准确率为60％。

步骤S130，将符合预设条件的识别准确率所对应的对象，作为待强化对象。

具体实现中，可以预先设置一个准确率阈值，将对象的识别准确率与准确率阈值相比较，若识别准确率低于准确率阈值时，则将该对象确定为待强化对象。

实际应用中，还可以统计字符的错识率(或拒识率)，若错识率(或拒识率)高于预设阈值，则可以确定为待强化对象，否则，若错识率(或拒识率)不高于预设阈值，则可以确定不为待强化对象。

其中，错识率可以为识别错误的图片占全部图片样本的百分比。拒识率可以为未识别出的图片占全部图片样本的百分比。

步骤S140，对至少一个待强化对象进行强化操作，得到强化样本集，以便使用强化样本集对图片识别模型进行训练。

具体实现中，在确定待强化对象后，可以按照步骤S110的测试样本生成方法，生成待强化对象除已有的测试样本之外的更多的测试样本，例如，当对象A为待强化对象时，生成除A1、A2、A3、A4、A5之外的其他测试样本，例如A6、A7，将A1、A2、A3、A4、A5以及A6、A7作为强化样本，将测试样本和强化样本组成强化样本集，由于强化样本集中对每一样本，都是由图片识别模型在上一次识别时出现错误或者识别率较低所对应的对象所得到的，因此使用强化样本集对图片识别模型进行训练，可以显著提升图片识别模型整体的识别准确率。

上述图片样本集生成方法，基于对象生成测试样本集，通过图片识别模型对测试样本集中的至少一个测试样本进行识别操作，可以得到图片识别模型对测试样本进行识别的结果，根据识别结果确定对象的识别准确率，可以检测图片识别模型对于对象的识别准确率，将符合预设条件的识别准确率所对应的对象作为待强化对象，可以快速确定出待强化对象，对至少一个待强化对象进行强化操作，得到强化样本集，可以针对待强化对象进行强化，使用强化图片样本集对图片识别模型进行训练，可以提高图片识别模型对于待强化对象的识别能力，使图片识别模型的识别准确率得到显著提升。

在一个实施例中，上述步骤S110，可以具体包括：获取对象的至少一个图片生成参数；针对至少一个图片生成参数中的每一图片生成参数，生成与该图片生成参数对应的初始图片；对至少一个初始图片中的每一初始图片分别进行第一处理操作，得到测试样本集。

其中，第一处理操作可以为背景添加操作、噪声添加操作、仿射变换和透视变换中的至少一种。

具体实现中，对于对象集中的一个指定对象，即某一指定字符，通过随机获取图片生成参数，可以生成一个包含该字符的图片，其中，图片生成参数可以包括字体、字号、字符颜色和字符在图片中的位置。例如，指定生成字体为宋体，字号为小四，字符为“元”的图片。还可以为图片随机添加背景颜色、背景纹理，和随机加噪，之后，可以对图片进行形变处理，得到字符的图片样本。通过使用不同的图片生成参数、背景参数、噪音参数、形变处理参数，可以生成同一指定字符对应的多个图片样本。服务器可以对多个图片样本进行存储，并针对每个图片样本生成一个文本文件，文本文件可以记录图片样本的存储路径，以及图片样本上的字符内容，根据多个携带有文本文件的图片样本，可以生成测试样本集，测试样本集可以作为图片识别模型的验证数据集。

本实施例中，通过获取对象的至少一个图片生成参数，针对至少一个图片生成参数中的每一图片生成参数生成与该图片生成参数对应的初始图片，可以随机生成多个测试样本，对至少一个初始图片中的每一初始图片分别进行第一处理操作得到测试样本集，可以模拟真实图片采集过程中的扭曲和畸变，得到符合实际应用场景的测试样本集，使图片识别模型适用于实际应用场景。

在一个实施例中，上述步骤S110，具体还可以包括：生成各个测试样本的测试样本标签，测试样本标签包括对象的名称和测试样本的存储路径；根据至少一个测试样本和测试样本的测试样本标签，得到测试样本集。

其中，测试样本标签可以为记录有对象名称和测试图片存储路径的文本文件。

具体实现中，服务器可以对多个测试样本进行存储，并针对每个测试样本生成一个文本文件，文本文件可以记录测试样本的存储路径，以及测试样本对应的对象的名称，根据多个携带有文本文件的测试样本，可以生成测试样本集。例如，对于一个测试样本，可以生成对应的txt文件，txt文件中记载该测试样本对应的对象为字符“元”，测试样本存储路径为“E:\测试样本”，可以将该txt文件作为该测试样本的测试样本标签。

本实施例中，通过生成各个测试样本的测试样本标签，根据至少一个测试样本和测试样本的测试样本标签得到测试样本集，可以在测试样本标签中记载对象名称和测试样本存储路径，便于统计图片识别模型的识别准确率。

在一个实施例中，测试样本集中还包括至少一个图片信息，每一图片信息对应唯一的测试图片，上述步骤S120，可以具体包括：基于图片信息，确定出对象的正确识别结果的总数，根据总数确定对象的识别准确率。

其中，图片信息可以为测试样本标签。

其中，内容信息可以为测试样本标签中记载的对象名称。

具体实现中，可以将指定对象的至少一个测试样本依次输入至图片识别模型，得到图片识别模型输出与该对象对应的识别内容，即，输出该对象的每一测试样本分别对应的识别内容，通过将每一识别内容分别与该对象的内容信息相比较，当识别内容与内容信息一致时，确定图片识别模型对测试样本的识别是准确的，否则，不准确。将准确或者不准确作为测试样本对识别结果。通过对指定对象全部测试样本的识别结果进行统计，可以得到该对象的识别准确率。例如，对象A对应的测试样本包括A1、A2、A3、A4、A5，图片识别模型分别对A1、A2、A3、A4、A5进行识别，得到识别结果为A1’、A2’、A3’、A4’、A5’，使用对象A的内容信息分别对A1’、A2’、A3’、A4’、A5’进行判断，确定A3’、A4’、A5’是准确的识别结果，则对象A的识别准确率为60％。

本实施例中，通过基于图片信息确定出对象的正确识别结果的总数，根据总数确定对象的识别准确率，可以快速获取到图片识别模型对各个对象的识别准确率，提高强化样本集生成效率。

在一个实施例中，上述步骤S130，可以具体包括：将至少一个识别准确率由低到高进行排序，将处于排序范围内的识别准确率所对应的对象作为目标对象。

具体实现中，可以将对象集中各个对象的识别准确率由低到高进行排序，设置排序范围为前N个识别准确率，将前N个识别准确率所对应的对象作为目标对象，进行强化操作。例如，若对象集中包含A、B、C三个对象，识别准确率分别为30％、10％、50％，将对象按照识别准确率由低到高进行排序得到B、A、C，设置排序范围为前2个识别准确率，则确定对象B和A为目标对象，需要进行强化操作。

本实施例中，通过将至少一个识别准确率由低到高进行排序，将处于排序范围内的识别准确率所对应的对象作为目标对象，可以快速准确地确定待强化对象，提高图片样本集生成效率。

在一个实施例中，上述步骤S140，可以具体包括：将待强化对象所对应的至少一个初始图片作为目标初始图片集；将待强化对象所对应的至少一个测试图片作为目标测试图片集；对目标初始图片集中的每一初始图片进行第二处理操作，得到待强化对象所对应的至少一个目标样本；将至少一个目标样本和目标测试图片集，作为强化样本集。

其中，第二处理操作可以为加噪、旋转、裁剪、形变和颜色抖动中的至少一种。

具体实现中，在确定待强化对象后，可以获取待强化对象的初始图片和测试图片，其中，初始图片可以为通过步骤S110生成的包含待强化对象的至少一个图片，测试图片可以为对初始图片进行形变处理得到的测试样本。通过对初始图片进行加噪、旋转、裁剪、形变和颜色抖动等图像处理，可以得到待强化对象除已有的测试样本之外的更多的测试样本，将这些测试样本作为目标样本，目标样本和已有的测试样本可以组成待强化对象的强化样本集。例如，当对象A为待强化对象时，生成除A1、A2、A3、A4、A5之外的其他测试样本，例如A6、A7，其中，A1、A2、A3、A4、A5为已有的测试样本，A6、A7为目标样本，将A1、A2、A3、A4、A5以及A6、A7作为强化样本，多个对象的强化样本可以组成强化样本集，由于强化样本集中对每一样本，都是由图片识别模型在上一次识别时出现错误或者识别率较低所对应的对象所得到的，因此使用强化样本集对图片识别模型进行训练，可以显著提升图片识别模型整体的识别准确率。

本实施例中，通过将待强化对象所对应的至少一个初始图片作为目标初始图片集，至少一个测试图片作为目标测试图片集，对目标初始图片集中的每一初始图片进行第二处理操作得到待强化对象所对应的至少一个目标样本，将至少一个目标样本和目标测试图片集作为强化样本集，可以针对待强化对象的测试样本进行增强，提升待强化对象的识别准确率，显著提升图片识别模型的识别准确率。

在一个实施例中，第一处理操作包括至少一个图片处理操作，上述步骤S110，具体还可以包括：针对至少一个图片处理操作中的每一图片处理操作，根据该图片处理操作的操作占比，从至少一个初始图片中确定出至少一个目标初始图片；使用该图片处理操作对至少一个目标初始图片分别进行处理，得到至少一个处理后的目标初始图片；直至使用第一处理操作对至少一个初始图片完成所有操作后，得到测试样本集。

其中，图片处理操作可以为对图片进行形变处理的操作，可以包括缩放、灰度化、二值化、形态学、图像压缩、加噪、旋转、裁剪和颜色抖动。操作占比可以为进行形变处理的图片占所有图片的百分比。

具体实现中，在生成图片识别模型测试样本集的过程中，还可以生成指定对象的多个图片，并确定多个图片的图片处理操作和操作占比，根据操作占比在多个图片中选取目标初始图片，并使用相应的图片处理操作对目标初始图片进行图片处理，处理后的目标初始图片可以作为测试样本。当使用第一处理操作对至少一个初始图片完成所有操作后，可以得到测试样本集。

例如，可以合成包括指定字符的多个小图片，在多个小图片中，可以有60％保持不变，10％随机缩放，10％随机旋转，2.5％边缘裁剪，2.5％颜色抖动，2.5％灰度化，2.5％二值化，2.5％形态学处理，2.5％JPEG压缩，2.5％GIF压缩，2.5％加入随机横线。可以从多个小图片中随机选取10％进行随机缩放，再随机选取10％进行随机旋转，还可以从多个小图片中随机选取2.5％进行边缘裁剪，2.5％进行颜色抖动，2.5％进行灰度化，2.5％进行二值化，2.5％进行形态学处理，2.5％进行JPEG压缩，2.5％进行GIF压缩，2.5％进行加入随机横线，并保留60％不进行处理，最后可以将得到的所有小图片作为测试样本集。

其中，对于进行随机缩放的小图片，可以有25％的概率进行宽度不变，高度缩放，高度缩放比例范围可以在原图高度正负20％内随机；还可以有25％的概率进行宽度不变，宽度缩放，宽度缩放比例范围可以在原图高度正负20％内随机；还可以有50％的概率宽度和高度都缩放，宽度和高度缩放比例都可以在原图高或宽正负20％内随机。

其中，随机旋转可以是旋转范围在正负30度以内的随机旋转。

其中，边缘裁剪可以是在上下左右四个方向随机裁剪，裁剪范围可以是在高度或宽度的5％以内随机裁剪，边缘裁剪可以模拟文字稍微被切掉一部分的情况。

其中，形态学处理可以是先进行二值化处理，再进行腐蚀+膨胀，腐蚀和膨胀的卷积核可以在1*1到5*5之间随机选取。

其中，随机横线可以是倾斜度和位置随机的横线，横线粗细可以为高度的5％。

本实施例中，通过针对至少一个图片处理操作中的每一图片处理操作，根据该图片处理操作的操作占比，从至少一个初始图片中确定出至少一个目标初始图片；使用该图片处理操作对至少一个目标初始图片分别进行处理，得到至少一个处理后的目标初始图片；直至使用第一处理操作对至少一个初始图片完成所有操作后，得到测试样本集，可以得到符合实际应用场景的图片样本，使图片识别模型适用于实际应用场景。

在一个实施例中，如图2所示，提供了一种图片样本集生成方法，以该方法应用于服务器为例进行说明，包括以下步骤：

步骤S210，获取对象的至少一个图片生成参数；

步骤S220，针对所述至少一个图片生成参数中的每一图片生成参数，生成与该图片生成参数对应的初始图片；

步骤S230，对至少一个初始图片中的每一初始图片分别进行第一处理操作，得到所述测试样本集；

步骤S240，通过所述图片识别模型对所述至少一个测试样本进行识别操作，根据识别结果确定所述对象的识别准确率；

步骤S250，将符合预设条件的识别准确率所对应的对象，作为待强化对象；

步骤S260，将所述待强化对象所对应的至少一个初始图片作为目标初始图片集；

步骤S270，将所述待强化对象所对应的至少一个测试图片作为目标测试图片集；

步骤S280，对所述目标初始图片集中的每一初始图片进行第二处理操作，得到所述待强化对象所对应的至少一个目标样本；

步骤S290，将所述至少一个目标样本和所述目标测试图片集，作为所述强化样本集，以便使用所述强化样本集对所述图片识别模型进行训练。

为了便于本领域技术人员深入理解本申请实施例，以下将结合一个具体示例进行说明。

目前对于字符识别模型的评价，通常以人工标注数据集作为标准验证材料，并关注样本整体识准率和拒识率，模型评价结果未能在更精细的微观层面辅助提升准确率，识别率的提高通常通过使用更庞大的数据集来实现，然而，庞大的数据集需要大量人力标注，以及更好的硬件训练条件，而对识别准确率的提升却效果有限。本申请通过合成数据，针对整个字符集，从字符级分析统计模型对各字符的识别鲁棒性，并将鲁棒性差的字符作为重要度高的数据，进行畸变扭曲和噪音等数据增强，提高其在训练样本中的分布比重，加强训练，具体可以包括以下步骤：

(1)统计目标模型对目标字符库中每一个字符的识别准确率：通过文字位置随机，颜色随机，字体随机(从常见开源字体库获取)，以及添加背景和噪音，生成字符图片，并使用仿射变换和透视变换算法，对字符图片做扭曲、拉伸、收缩等形变处理。使用一个txt文件作为标签，记载图片路径和图片上的文字，根据字符图片和txt文件。通过上述方法，可以合成千万级图像小图片和小图片的标签，形成验证数据集。使用文字识别模型对验证数据集进行批量识别，识别过程中可以以字符为单位，统计每个字符的错识率和拒(漏)识率，得到最终的字符识别统计数据。

(2)将识别准确率低于预设阈值的字符确定为待强化对象。

(3)根据待强化对象对目标模型进行数据增强和强化训练：在得到每个字符的措施率和拒识率之后，可以针对待强化对象，再次合成大量字符图片，然后对字符图片进行增强(添加噪音、形变、随机添加背景)，制造出更多的训练数据进行训练，通过训练，可以使待强化对象的识别率得到大幅度提升。

上述图片样本集生成方法，通过对每个字符的识别能力进行统计和评价，根据所有统计中识别正确的比例进行判断，找出识别力度薄弱的字符，然后对识别力度薄弱的字符进行增强，对字符识别模型进行强化训练，可以使识别准确率得到显著提升。

应该理解的是，虽然图1-2的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1-2中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图3所示，提供了一种图片样本集生成装置，包括：测试样本集生成模块310、识别准确率确定模块320、待强化对象确定模块330和强化模块340，其中：

测试样本集生成模块310，用于基于对象生成测试样本集；所述测试样本集中包括至少一个测试样本；

识别准确率确定模块320，用于通过所述图片识别模型对所述至少一个测试样本进行识别操作，根据识别结果确定所述对象的识别准确率；

待强化对象确定模块330，用于将符合预设条件的识别准确率所对应的对象，作为待强化对象；

强化模块340，用于对至少一个待强化对象进行强化操作，得到强化样本集，以便使用所述强化样本集对所述图片识别模型进行训练。

在一个实施例中，上述测试样本集生成模块310，还用于获取所述对象的至少一个图片生成参数；针对所述至少一个图片生成参数中的每一图片生成参数，生成与该图片生成参数对应的初始图片；对至少一个初始图片中的每一初始图片分别进行第一处理操作，得到所述测试样本集。

在一个实施例中，上述识别准确率确定模块320，还用于基于所述图片信息，确定出所述对象的正确识别结果的总数，根据所述总数确定所述对象的识别准确率。

在一个实施例中，上述待强化对象确定模块330，还用于将至少一个识别准确率由低到高进行排序，将处于排序范围内的识别准确率所对应的对象作为目标对象。

在一个实施例中，上述强化模块340，还用于将所述待强化对象所对应的至少一个初始图片作为目标初始图片集；将所述待强化对象所对应的至少一个测试图片作为目标测试图片集；对所述目标初始图片集中的每一初始图片进行第二处理操作，得到所述待强化对象所对应的至少一个目标样本；将所述至少一个目标样本和所述目标测试图片集，作为所述强化样本集。

在一个实施例中，上述测试样本集生成模块310，还用于针对所述至少一个图片处理操作中的每一图片处理操作，根据该图片处理操作的操作占比，从所述至少一个初始图片中确定出至少一个目标初始图片；使用该图片处理操作对所述至少一个目标初始图片分别进行处理，得到至少一个处理后的目标初始图片；直至使用所述第一处理操作对所述至少一个初始图片完成所有操作后，得到所述测试样本集。

关于图片样本集生成装置的具体限定可以参见上文中对于图片样本集生成方法的限定，在此不再赘述。上述图片样本集生成装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图4所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储图片样本集生成数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图片样本集生成方法。

本领域技术人员可以理解，图4中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：基于对象生成测试样本集；所述测试样本集中包括至少一个测试样本；通过所述图片识别模型对所述至少一个测试样本进行识别操作，根据识别结果确定所述对象的识别准确率；将符合预设条件的识别准确率所对应的对象，作为待强化对象；对至少一个待强化对象进行强化操作，得到强化样本集，以便使用所述强化样本集对所述图片识别模型进行训练。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取所述对象的至少一个图片生成参数；针对所述至少一个图片生成参数中的每一图片生成参数，生成与该图片生成参数对应的初始图片；对至少一个初始图片中的每一初始图片分别进行第一处理操作，得到所述测试样本集。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：基于所述图片信息，确定出所述对象的正确识别结果的总数，根据所述总数确定所述对象的识别准确率。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：将至少一个识别准确率由低到高进行排序，将处于排序范围内的识别准确率所对应的对象作为目标对象。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：将所述待强化对象所对应的至少一个初始图片作为目标初始图片集；将所述待强化对象所对应的至少一个测试图片作为目标测试图片集；对所述目标初始图片集中的每一初始图片进行第二处理操作，得到所述待强化对象所对应的至少一个目标样本；将所述至少一个目标样本和所述目标测试图片集，作为所述强化样本集。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：针对所述至少一个图片处理操作中的每一图片处理操作，根据该图片处理操作的操作占比，从所述至少一个初始图片中确定出至少一个目标初始图片；使用该图片处理操作对所述至少一个目标初始图片分别进行处理，得到至少一个处理后的目标初始图片；直至使用所述第一处理操作对所述至少一个初始图片完成所有操作后，得到所述测试样本集。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：基于对象生成测试样本集；所述测试样本集中包括至少一个测试样本；通过所述图片识别模型对所述至少一个测试样本进行识别操作，根据识别结果确定所述对象的识别准确率；将符合预设条件的识别准确率所对应的对象，作为待强化对象；对至少一个待强化对象进行强化操作，得到强化样本集，以便使用所述强化样本集对所述图片识别模型进行训练。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取所述对象的至少一个图片生成参数；针对所述至少一个图片生成参数中的每一图片生成参数，生成与该图片生成参数对应的初始图片；对至少一个初始图片中的每一初始图片分别进行第一处理操作，得到所述测试样本集。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：基于所述图片信息，确定出所述对象的正确识别结果的总数，根据所述总数确定所述对象的识别准确率。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：将至少一个识别准确率由低到高进行排序，将处于排序范围内的识别准确率所对应的对象作为目标对象。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：将所述待强化对象所对应的至少一个初始图片作为目标初始图片集；将所述待强化对象所对应的至少一个测试图片作为目标测试图片集；对所述目标初始图片集中的每一初始图片进行第二处理操作，得到所述待强化对象所对应的至少一个目标样本；将所述至少一个目标样本和所述目标测试图片集，作为所述强化样本集。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：针对所述至少一个图片处理操作中的每一图片处理操作，根据该图片处理操作的操作占比，从所述至少一个初始图片中确定出至少一个目标初始图片；使用该图片处理操作对所述至少一个目标初始图片分别进行处理，得到至少一个处理后的目标初始图片；直至使用所述第一处理操作对所述至少一个初始图片完成所有操作后，得到所述测试样本集。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims

1.一种图片样本集生成方法，其特征在于，所述方法应用于图片识别模型中，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述基于对象生成测试样本集，包括：

获取所述对象的至少一个图片生成参数；

3.根据权利要求1所述的方法，其特征在于，所述测试样本集中还包括至少一个图片信息，每一图片信息对应唯一的测试图片，所述图片信息用于描述测试图片的内容信息；所述根据识别结果确定所述对象的识别准确率，包括：

4.根据权利要求1所述的方法，其特征在于，所述将符合预设条件的识别准确率所对应的对象，作为待强化对象，包括：

5.根据权利要求1所述的方法，其特征在于，所述对至少一个待强化对象进行强化操作，得到强化样本集，包括：

6.根据权利要求2所述的方法，其特征在于，所述第一处理操作包括至少一个图片处理操作，所述对至少一个初始图片中的每一初始图片分别进行第一处理操作，得到所述测试样本集，包括：

7.一种图片样本集生成装置，其特征在于，所述装置包括图片识别模型，所述装置包括：

8.根据权利要求7所述的装置，其特征在于，所述测试样本集生成模块，还用于获取所述对象的至少一个图片生成参数，针对所述至少一个图片生成参数中的每一图片生成参数，生成与该图片生成参数对应的初始图片，并对至少一个初始图片中的每一初始图片分别进行第一处理操作，得到所述测试样本集。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。