CN115830599B - 工业字符识别方法、模型训练方法、装置、设备和介质 - Google Patents
工业字符识别方法、模型训练方法、装置、设备和介质 Download PDFInfo
- Publication number
- CN115830599B CN115830599B CN202310077585.6A CN202310077585A CN115830599B CN 115830599 B CN115830599 B CN 115830599B CN 202310077585 A CN202310077585 A CN 202310077585A CN 115830599 B CN115830599 B CN 115830599B
- Authority
- CN
- China
- Prior art keywords
- character
- sample set
- training sample
- image
- characters
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Character Discrimination (AREA)
Abstract
本申请实施例公开了一种工业字符识别方法、模型训练方法、装置、设备和介质，属于智能检测领域，该方法通过获取待识别图像，所述待识别图像中包括待识别的字符；将所述待识别图像输入已训练的字符识别模型中，以输出识别出的所述待识别图像中字符的坐标；对识别出的所述字符的坐标进行遍历，以获得字符串列表；基于所述字符串列表，获得字符识别结果。该方法一方面字符识别模型基于带缺陷的字符样本图像训练获得，可以提高对由于缺陷导致字符不清楚的识别率；另一方面，训练集中加入包括多个满足相似度条件的目标字符样本的构造样本图像，添加了易混淆字符样本，训练出的模型可以进一步提高对相似字符的识别率，还可以提高模型训练的收敛速度。
Description
技术领域
本申请涉及智能检测技术领域，尤其涉及一种工业字符识别方法、模型训练方法、装置、设备和介质。
背景技术
字符识别是电子元器件生产过程中不可缺少的一部分，电子元器件表面会印刷上代表该产品型号类别的字符信息。在实际生成中，通常需要通过识别字符判断产品型号生产是否正常，是否存在漏印、错印的问题。
现有的字符识别方法中，有通过人工肉眼来判断，也有利用机器视觉进行检测，具体采用模板匹配的方法，但这种方法容易出现漏检情况。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本申请的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本申请实施例提供了一种工业字符识别方法、模型训练方法、装置、设备和介质，解决了现有方法中容易出现漏检的技术问题。
一方面，本申请实施例提供了一种工业字符识别方法，包括：
获取待识别图像，所述待识别图像中包括待识别的字符；
将所述待识别图像输入已训练的字符识别模型中，以输出识别出的所述待识别图像中字符的坐标；其中，所述字符识别模型基于真实训练样本集和构造训练样本集训练获得，所述真实训练样本集中包括带缺陷的字符样本图像，所述构造训练样本集中包括若干构造样本图像，所述构造样本图像中包括多个满足相似度条件的目标字符样本；
对识别出的所述字符的坐标进行遍历，以获得字符串列表；
基于所述字符串列表，获得字符识别结果。
可选地，所述获取待识别图像之前，还包括：
获取真实训练样本集和构造训练样本集；
利用所述真实训练样本集和所述构造训练样本集对初始字符识别模型进行训练，获得所述字符识别模型。
在该实施方式中，提前训练字符识别模型，可以提高字符识别时模型使用效率。此外，基于真实训练样本集和构造训练样本集进行训练，可以增加样本的丰富性，提高模型的准确率，还能提高训练时的模型收敛速度。
可选地，所述获取真实训练样本集和构造训练样本集之前，还包括：
从字符库中选取多个满足相似度条件的目标字符样本；其中，所述字符库中包括若干字符样本；
从背景库中随机选取一张背景图片：其中，所述背景库中包括若干背景图片；
将多个满足相似度条件的所述目标字符样本与一张所述背景图片进行合成，获得一张所述构造样本图像。
在该实施方式中，在同一背景中合成满足相似度条件的目标字符样本，使得模型训练时对相似字符进行特征提取，使得模型对混淆字符的识别更准确，避免误识别。
可选地，所述字符库中包括多个目录，各所述目录下分别存储有关于不同字符的且满足相似度条件的字符样本；同一个所述目录下存储有从不同的字符样本图像中提取的关于同一字符的字符样本；所述从字符库中选取多个满足相似度条件的目标字符样本，包括：
从所述字符库的不同目录下分别随机选取字符样本，以获得多个满足相似度条件的目标字符样本。
在该实施方式中，每个目录下从不同的字符样本图像中提取的关于同一字符的字符样本，包括各种不同字体、粗细和背景。字符样本的丰富，可以提高模型的识别准确率。
可选地，所述将多个满足相似度条件的所述目标字符样本与一张所述背景图片进行合成，获得一张所述构造样本图像，包括：
采用泊松融合方法，将多个满足相似度条件的所述目标字符样本与一张所述背景图片进行合成，获得一张所述构造样本图像。
在该实施方式中，采用泊松融合方法可以保证字符边缘过渡自然。
可选地，所述利用所述真实训练样本集和所述构造训练样本集对初始字符识别模型进行训练，获得所述字符识别模型，包括：
对所述真实训练样本集中的字符样本图像和所述构造训练样本集中的构造样本图像进行字符标注；
利用字符标注后的所述真实训练样本集和字符标注后的所述构造训练样本集对初始字符识别模型进行训练，获得所述字符识别模型。
可选地，所述识别出的所述待识别图像中的字符包括多个；所述对识别出的所述字符的坐标进行遍历，以获得字符串列表，包括：
对识别出的多个所述字符的坐标进行遍历，并根据所述字符的纵坐标对多个所述字符进行分类，获得多个字符串列表；其中，每个字符串列表中包括属于同一横排的多个字符的坐标；
所述基于所述字符串列表，获得字符识别结果，包括：
对每个所述字符串列表中的坐标按照横坐标进行排序，获得字符排列顺序；
根据所述字符排列顺序，获得字符识别结果。
在该实施方式中，按照字符对应的横坐标和纵坐标，分别进行字符遍历识别和排序，在准确的识别出字符的绝对位置的基础上，还能更准确的识别出各字符的相对位置。
再一方面，本申请实施例还提供了一种用于上述字符识别模型的模型训练方法，包括：
获取真实训练样本集和构造训练样本集；所述真实训练样本集中包括带缺陷的字符样本图像，所述构造训练样本集中包括若干构造样本图像，所述构造样本图像中包括多个满足相似度条件的目标字符样本；
利用所述真实训练样本集和所述构造训练样本集对初始字符识别模型进行训练，获得所述字符识别模型。
可选地，所述获取真实训练样本集和构造训练样本集之前，还包括：
从字符库中选取多个满足相似度条件的目标字符样本；其中，所述字符库中包括若干字符样本；
从背景库中随机选取一张背景图片：其中，所述背景库中包括若干背景图片；
将多个满足相似度条件的所述目标字符样本与一张所述背景图片进行合成，获得一张所述构造样本图像。
可选地，所述字符库中包括多个目录，各所述目录下分别存储有关于不同字符的且满足相似度条件的字符样本；同一个所述目录下存储有从不同的字符样本图像中提取的关于同一字符的字符样本；所述从字符库中选取多个满足相似度条件的目标字符样本，包括：
从所述字符库的不同目录下分别随机选取字符样本，以获得多个满足相似度条件的目标字符样本。
可选地，所述将多个满足相似度条件的所述目标字符样本与一张所述背景图片进行合成，获得一张所述构造样本图像，包括：
采用泊松融合方法，将多个满足相似度条件的所述目标字符样本与一张所述背景图片进行合成，获得一张所述构造样本图像。
再一方面，本申请实施例还提供了一种工业字符识别装置，包括：
图像获取模块，用于获取待识别图像，所述待识别图像中包括待识别的字符；
模型识别模块，用于将所述待识别图像输入已训练的字符识别模型中，以输出识别出的所述待识别图像中字符的坐标；其中，所述字符识别模型基于真实训练样本集和构造训练样本集训练获得，所述真实训练样本集中包括带缺陷的字符样本图像，所述构造训练样本集中包括若干构造样本图像，所述构造样本图像中包括多个满足相似度条件的目标字符样本；
坐标遍历模块，用于对识别出的所述字符的坐标进行遍历，以获得字符串列表；
字符识别模块，用于基于所述字符串列表，获得字符识别结果。
再一方面，本申请实施例还提供了一种用于上述字符识别模型的模型训练装置，包括：
样本获取模块，用于获取真实训练样本集和构造训练样本集；所述真实训练样本集中包括带缺陷的字符样本图像，所述构造训练样本集中包括若干构造样本图像，所述构造样本图像中包括多个满足相似度条件的目标字符样本；
模型训练模块，用于利用所述真实训练样本集和所述构造训练样本集对初始字符识别模型进行训练，获得所述字符识别模型。
再一方面，本申请实施例还提供了一种电子设备，包括：存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序，实现前述方法。
再一方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述处理器执行所述计算机程序，实现前述方法。
本申请的实施例提供一种工业字符识别方法、模型训练方法、装置、设备和介质，该方法通过获取待识别图像，所述待识别图像中包括待识别的字符；将所述待识别图像输入已训练的字符识别模型中，以输出识别出的所述待识别图像中字符的坐标；其中，所述字符识别模型基于真实训练样本集和构造训练样本集训练获得，所述真实训练样本集中包括带缺陷的字符样本图像，所述构造训练样本集中包括若干构造样本图像，所述构造样本图像中包括多个满足相似度条件的目标字符样本；对识别出的所述字符的坐标进行遍历，以获得字符串列表；基于所述字符串列表，获得字符识别结果。也即，该方法一方面字符识别模型基于带缺陷的字符样本图像训练获得，可以提高对由于缺陷导致字符不清楚的识别率；另一方面，训练集中加入包括多个满足相似度条件的目标字符样本的构造样本图像，添加了易混淆字符样本，训练出的模型可以进一步提高对相似字符的识别率，还可以提高模型训练的收敛速度。
附图说明
为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种电子设备的结构示意图；
图2是本申请实施例提供的一种工业字符识别方法的流程示意图；
图3是本申请实施例提供的一张带缺陷的字符样本图像；
图4是本申请实施例提供的一张张识别出字符的图像；
图5是本申请实施例提供的一种模型训练方法的流程示意图；
图6是本申请实施例提供的一种构造训练样本的方法的流程示意图；
图7是本申请实施例提供的背景库中的一张背景图片；
图8是本申请实施例提供的一张合成的构造样本图像；
图9是本申请实施例提供的一个目录下的多个字符样本中的一张字符样本；
图10是图8中的标注后的图像；
图11是本申请实施例提供的一种工业字符识别装置的结构示意图；
图12是本申请实施例提供的一种模型训练装置的结构示意图。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例的主要解决方案是：提供一种工业字符识别方法、模型训练方法、装置、设备和介质，该方法通过获取待识别图像，所述待识别图像中包括待识别的字符；将所述待识别图像输入已训练的字符识别模型中，以输出识别出的所述待识别图像中字符的坐标；其中，所述字符识别模型基于真实训练样本集和构造训练样本集训练获得，所述真实训练样本集中包括带缺陷的字符样本图像，所述构造训练样本集中包括若干构造样本图像，所述构造样本图像中包括多个满足相似度条件的目标字符样本；对识别出的所述字符的坐标进行遍历，以获得字符串列表；基于所述字符串列表，获得字符识别结果。
字符识别是电子元器件生产过程中不可缺少的一部分，电子元器件表面会印刷上代表该产品型号类别的字符信息，可通过识别字符判断产品型号生产是否正常，是否存在漏印、错印的问题。但是字符识别如果通过人工肉眼来判断，则会耗费大量人力成本，因此，目前电子元器件生产厂商普遍开始引入机器视觉CV和人工智能的手段进行字符自动识别。但是，现有的机器视觉字符检测是采用模板匹配的方法。此方法是对每个字符构造一个模板，检测过程是对待检测图片上所有位置区域用模板进行比对，若存在和模板相似度较高的区域，则为检出该字符。但这种方法受图片质量的影响，当字符图片上存在脏污、划伤的缺陷时，字符匹配效果较差，容易出现漏检情况。
为此，本申请提供一种解决方案，该方案中，一方面字符识别模型基于带缺陷的字符样本图像训练获得，可以提高对由于缺陷导致字符不清楚的识别率；另一方面，训练集中加入包括多个满足相似度条件的目标字符样本的构造样本图像，添加了易混淆字符样本，训练出的模型可以进一步提高对相似字符的识别率，还可以提高模型训练的收敛速度。
参照图1，图1为本申请实施例方案涉及的硬件运行环境的电子设备结构示意图。
如图1所示，该电子设备可以包括：处理器1001，例如中央处理器（CentralProcessing Unit，CPU），通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏（Display）、输入单元比如键盘（Keyboard），可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如无线保真（WIreless-FIdelity，WI-FI）接口）。存储器1005可以是高速的随机存取存储器（RandomAccess Memory，RAM）存储器，也可以是稳定的非易失性存储器（Non-Volatile Memory，NVM），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、数据存储模块、网络通信模块、用户接口模块以及电子程序。
在图1所示的电子设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明电子设备中的处理器1001、存储器1005可以设置在电子设备中，所述电子设备通过处理器1001调用存储器1005中存储的工业字符识别装置，并执行本申请实施例提供的工业字符识别方法。
参见图2，本申请的实施例提供了一种工业字符识别方法，包括：
S20、获取待识别图像，所述待识别图像中包括待识别的字符；
在具体实施过程中，待识别图像是指拍摄的电子器件某个部位的照片，其中包括一些字符（即本实施例中的待识别的字符）。具体的，这些字符可以是数字、字母等，这些字符通常构成电子器件的编号。更具体的，待识别图像可以通过生产线或者检测线上的拍摄设备采集。
进一步的，为了防止正常背景过检，可先从原始图片（待识别图像）上截取出字符区域的小图再送入后续的字符识别模型中。
S40、将所述待识别图像输入已训练的字符识别模型中，以输出识别出的所述待识别图像中字符的坐标；其中，所述字符识别模型基于真实训练样本集和构造训练样本集训练获得，所述真实训练样本集中包括带缺陷的字符样本图像，所述构造训练样本集中包括若干构造样本图像，所述构造样本图像中包括多个满足相似度条件的目标字符样本；
在具体实施过程中，字符识别模型是提前训练好的模型，可以采用faster-rcnn、yolo等算法训练获得该模型。具体的，字符识别模型基于真实训练样本集和构造训练样本集训练获得，所述真实训练样本集中包括带缺陷的字符样本图像，所述构造训练样本集中包括若干构造样本图像，所述构造样本图像中包括多个满足相似度条件的目标字符样本。
其中，带缺陷的字符样本图像是指字符所在区域有缺陷的图像，例如，脏污和划伤等缺陷，具体可参见图3，图3为一张带缺陷的字符样本图像，图3中存在明显的斜向下方的划痕，且划痕伤及字符，此外，图3中的框为标注框。可以保证模型训练后可正常检出此类带缺陷的图像中的字符。当然，可以理解的是，真实训练样本集中还包括正常的样本图像，即包含工业字符且不带缺陷的图像。
构造样本图像是指人为构造的图像，其中的满足相似度条件的目标字符样本是指有一定相似度（即容易混淆）的字符，例如，字母“B”与数字“8”。易混淆字符在同一样本图像上，在模型训练时，对相似字符进行特征提取，使得模型对混淆字符的识别更准确，避免误识别。当然，可以理解的是，构造样本图像中也可以包括一些待识别图像中可能出现，但不常出现的字符。对于工业产品来说，其上的编号一般来说都具有一定的规则，涉及到的字符也有一定的局限性，因此，采集的样本也存在缺乏这些不常出现样本的情况，会导致对部分不常出现字符识别不准确或无法识别的问题。因此，本实施中，在样本中加入构造的样本图像，可以提高模型检测的准确率。此外，对于字符识别模型的训练过程在后续实施例中进行阐述。
具体的，在检测时将待识别图像送入字符识别模型，输出识别出的字符的左上角和右下角坐标，假设为。
S60、对识别出的所述字符的坐标进行遍历，以获得字符串列表；
在具体实施过程中，字符串列表是指包含同一行字符的列表，可以有多个列表，也可以只有一个列表，每个列表中包括同一行的字符。对于输出的图像中只有一个字符的情况，遍历操作可直接根据输出的坐标生成检出字符的图片，对应的字符串列表也只有一个，且该列表中也只有一个字符。但一般来说，实施过程中，都包括多个字符，该情况的实施方式请参照后续实施方式。
S80、基于所述字符串列表，获得字符识别结果。
在具体实施过程中，在生成字符串列表后，即可根据每个列表中的字符对应的坐标进行同一行的字符排序，最后根据坐标位置和排序结果，将识别结果反应在图片中，如图4所示，图4为一张识别出字符的图像，图4中识别出两行字符，分别用框和字母示出。
在本实施例中，一方面字符识别模型基于带缺陷的字符样本图像训练获得，可以提高对由于缺陷导致字符不清楚的识别率；另一方面，训练集中加入包括多个满足相似度条件的目标字符样本的构造样本图像，添加了易混淆字符样本，训练出的模型可以进一步提高对相似字符的识别率，还可以提高模型训练的收敛速度。
作为一种可选的实施方式，所述识别出的所述待识别图像中的字符包括多个；所述对识别出的所述字符的坐标进行遍历，以获得字符串列表，包括：
对识别出的多个所述字符的坐标进行遍历，并根据所述字符的纵坐标对多个所述字符进行分类，获得多个字符串列表；其中，每个字符串列表中包括属于同一横排的多个字符的坐标；
在具体实施过程中，先初始化一个列表L1用作存储第一行字符串，把所有检出结果按从小到大排序，然后遍历每一个字符对应的坐标，如果后一个字符检测结果的和前一个字符的在同一水平，则判断两个字符在同一行，则加入L1中。直到遍历到一个字符的超出前面字符的数值范围，则说明需换行了，则新建一个L2列表，以此类推，遍历完成即可得到所有的字符串列表。
所述基于所述字符串列表，获得字符识别结果，包括：
对每个所述字符串列表中的坐标按照横坐标进行排序，获得字符排列顺序；
根据所述字符排列顺序，获得字符识别结果。
在具体实施过程中，假设一共生成K个列表，则最后对每个字符串列表内部按从小到大排序，即可输出最终的K个检出字符串了。检测结果示例如图4所示。
可以理解的是，按照字符对应的横坐标和纵坐标，分别进行字符遍历识别和排序，在准确的识别出字符的绝对位置的基础上，还能更准确的识别出各字符的相对位置。
参见图5，作为一种可选的实施方式，所述获取待识别图像之前，还包括：
S102、获取真实训练样本集和构造训练样本集；
在具体实施过程中，真实训练样本集和构造训练样本集在前述实施例中已经进行阐述，这里不再赘述。这里重点介绍一下如何构造真实训练样本集和构造训练样本集。
具体的，可以采集正常产线上的样本，包括前述带缺陷的字符样本图像和正常的样本图像，从而获得真实训练样本集。
在此基础上，从真实训练样本集中的图片中截取字符图片和背景图片，从而构造获得前述的构造样本图像。
作为一种可选的实施方式，参见图6，所述获取真实训练样本集和构造训练样本集之前，还包括：
S1012、从字符库中选取多个满足相似度条件的目标字符样本；其中，所述字符库中包括若干字符样本；
在具体实施过程中，字符库可以提前设置好，包括若干字符样本，这些字符样本可以是正常产线上电子器件的包含字符的图片基于字符标注框截取获得的。相似度条件是用于衡量目标字符样本相似度的标准（即判断是否容易混淆），可以根据人为进行设定，通过将目标字符样本通过现有的相似度算法进行相似度值计算后，满足相似度条件则认为是容易混淆。例如，字母“B”与数字“8”。为了保证字符样本的丰富性，可以尽可能多的采集生产线可能出现的字符图片，截取更多可能出现的字符样本。
S1014、从背景库中随机选取一张背景图片：其中，所述背景库中包括若干背景图片；
在具体实施过程中，背景库可以提前设置好，其中的背景图片是基于前述截取获得字符库中字符样本的图片中截取的背景区域图片，参见图7，图7为背景库中的一张背景图片。在本实施例中，构造一张构造样本图像时，只需要从背景库中选取一张背景图片即可。
S1016、将多个满足相似度条件的所述目标字符样本与一张所述背景图片进行合成，获得一张所述构造样本图像。
在具体实施过程中，目标字符样本可以按照一定空间秩序在背景图片上进行排布，直到背景图中心区域无法再放置更多的字符。作为一种可选的实施方式，为保证字符边缘过渡自然，采用泊松融合方法将目标字符样本和背景图片进行合成，参见图8，图8为一张合成的构造样本图像。
作为一种可选的实施方式，所述字符库中包括多个目录，各所述目录下分别存储有关于不同字符的且满足相似度条件的字符样本；同一个所述目录下存储有从不同的字符样本图像中提取的关于同一字符的字符样本；所述从字符库中选取多个满足相似度条件的目标字符样本，包括：
从所述字符库的不同目录下分别随机选取字符样本，以获得多个满足相似度条件的目标字符样本。
在具体实施过程中，每个目录下从不同的字符样本图像中提取的关于同一字符的字符样本，包括各种不同字体、粗细和背景。字符样本的丰富，可以提高模型的识别准确率。在构造样本时，可以随机选取。
具体的，首先从字符库随机选择目标字符样本，具体的，假设某字符共有M个样本，放在一个列表N中，则在[0,M]之间生成一个随机数，用这个随机数作为索引，即可从N中选中目标字符样本。参见图9，图9为一个目录下包括的多个字符样本中的一个字符图片，该字符图片中的字符为“3”。
S104、利用所述真实训练样本集和所述构造训练样本集对初始字符识别模型进行训练，获得所述字符识别模型。
在具体实施过程中，初始字符识别模型可采用faster-rcnn、yolo等算法，具体的，所述利用所述真实训练样本集和所述构造训练样本集对初始字符识别模型进行训练，获得所述字符识别模型，包括：
对所述真实训练样本集中的字符样本图像和所述构造训练样本集中的构造样本图像进行字符标注；
利用字符标注后的所述真实训练样本集和字符标注后的所述构造训练样本集对初始字符识别模型进行训练，获得所述字符识别模型。
在具体实施过程中，构造字符样本图像的字符标注具体方法为：假设随机选择的字符的标注框的宽和高分别为w,h，而在背景图中合成字符的坐标点位置已知，假设字符中心的落点为C=(x',y')，则此字符在背景图中左上角和右下角的x1、x2、y1、y2坐标如下：
目标字符样本基于目录也已知其字符类别，因此，可对构造字符进行自动标注。参见图10，图10为图8的构造样本图像标注后的图像，图中框为标注框。
在该实施方式中，通过构建字符库和背景库的方法，实现了字符图片的自定义构造，可以将任意字符随机组合构造在一张图片上，混淆字符出现在同一张图片中有利于模型快速收敛。还可解决训练样本不足的问题，通过自定义构造图片，可以生成任意数量的人造样本用于训练。
基于相同的发明思路，本申请的实施例还提供一种用于上述字符识别模型的模型训练方法，包括：
获取真实训练样本集和构造训练样本集；所述真实训练样本集中包括带缺陷的字符样本图像，所述构造训练样本集中包括若干构造样本图像，所述构造样本图像中包括多个满足相似度条件的目标字符样本；
利用所述真实训练样本集和所述构造训练样本集对初始字符识别模型进行训练，获得所述字符识别模型。
作为一种可选的实施方式，所述获取真实训练样本集和构造训练样本集之前，还包括：
从字符库中选取多个满足相似度条件的目标字符样本；其中，所述字符库中包括若干字符样本；
从背景库中随机选取一张背景图片：其中，所述背景库中包括若干背景图片；
将多个满足相似度条件的所述目标字符样本与一张所述背景图片进行合成，获得一张所述构造样本图像。
作为一种可选的实施方式，所述字符库中包括多个目录，各所述目录下分别存储有关于不同字符的且满足相似度条件的字符样本；同一个所述目录下存储有从不同的字符样本图像中提取的关于同一字符的字符样本；所述从字符库中选取多个满足相似度条件的目标字符样本，包括：
从所述字符库的不同目录下分别随机选取字符样本，以获得多个满足相似度条件的目标字符样本。
作为一种可选的实施方式，所述将多个满足相似度条件的所述目标字符样本与一张所述背景图片进行合成，获得一张所述构造样本图像，包括：
采用泊松融合方法，将多个满足相似度条件的所述目标字符样本与一张所述背景图片进行合成，获得一张所述构造样本图像。
需要说明的是，本实施例中模型训练方法的各种实施方式和对应的技术效果都可参照前述实施例中的相关内容，这里不再赘述。
参见图11，基于相同的发明思路，本申请的实施例还提供一种工业字符识别装置，包括：
图像获取模块，用于获取待识别图像，所述待识别图像中包括待识别的字符；
模型识别模块，用于将所述待识别图像输入已训练的字符识别模型中，以输出识别出的所述待识别图像中字符的坐标；其中，所述字符识别模型基于真实训练样本集和构造训练样本集训练获得，所述真实训练样本集中包括带缺陷的字符样本图像，所述构造训练样本集中包括若干构造样本图像，所述构造样本图像中包括多个满足相似度条件的目标字符样本；
坐标遍历模块，用于对识别出的所述字符的坐标进行遍历，以获得字符串列表；
字符识别模块，用于基于所述字符串列表，获得字符识别结果。
需要说明的是，本实施例中工业字符识别装置中各模块是与前述实施例中的工业字符识别方法中的各步骤一一对应，因此，本实施例的具体实施方式和达到的技术效果可参照前述工业字符识别方法的实施方式，这里不再赘述。
参见图12，基于相同的发明思路，本申请的实施例还提供一种用于上述字符识别模型的模型训练装置，包括：
样本获取模块，用于获取真实训练样本集和构造训练样本集；所述真实训练样本集中包括带缺陷的字符样本图像，所述构造训练样本集中包括若干构造样本图像，所述构造样本图像中包括多个满足相似度条件的目标字符样本；
模型训练模块，用于利用所述真实训练样本集和所述构造训练样本集对初始字符识别模型进行训练，获得所述字符识别模型。
需要说明的是，本实施例中模型训练装置中各模块是与前述实施例中的模型训练方法中的各步骤一一对应，因此，本实施例的具体实施方式和达到的技术效果可参照前述模型训练方法的实施方式，这里不再赘述。
此外，在一种实施例中，本申请还提供一种计算机存储介质，所述计算机存储介质上存储有计算机程序，所述计算机程序被处理器运行时实现前述实施例中方法的步骤。
在一些实施例中，计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。计算机可以是包括智能终端和服务器在内的各种计算设备。
在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言（包括编译或解释语言，或者声明性或过程性语言）来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例，可执行指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言（HTML，Hyper TextMarkup Language）文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件（例如，存储一个或多个模块、子程序或代码部分的文件）中。
作为示例，可执行指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如只读存储器/随机存取存储器、磁碟、光盘）中，包括若干指令用以使得一台多媒体终端设备(可以是手机，计算机，电视接收机，或者网络设备等)执行本申请各个实施例所述的方法。
以上所揭露的仅为本申请的局部实施例而已，当然不能以此来限定本申请之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或局部流程，并依本申请权利要求所作的等同变化，仍属于发明所涵盖的范围。
Claims (14)
1.一种工业字符识别方法，其特征在于，包括：
获取待识别图像，所述待识别图像中包括待识别的字符；
将所述待识别图像输入已训练的字符识别模型中，以输出识别出的所述待识别图像中字符的坐标；其中，所述字符识别模型基于真实训练样本集和构造训练样本集训练获得，所述真实训练样本集中包括带缺陷的字符样本图像，所述构造训练样本集中包括若干构造样本图像，所述构造样本图像中包括多个满足相似度条件的目标字符样本，所述构造样本图像基于将多个满足相似度条件的所述目标字符样本与一张背景图片进行合成获得，所述背景图片通过从背景库中随机选取获得，多个满足相似度条件的所述目标字符样本通过从字符库中选取获得，所述字符库中包括若干字符样本，所述背景库中包括若干背景图片；
对识别出的多个所述字符的坐标进行遍历，并根据所述字符的纵坐标对多个所述字符进行分类，获得多个字符串列表；其中，每个字符串列表中包括属于同一横排的多个字符的坐标；
对每个所述字符串列表中的坐标按照横坐标进行排序，获得字符排列顺序；
根据所述字符排列顺序，获得字符识别结果。
2.根据权利要求1所述的方法，其特征在于，所述获取待识别图像之前，还包括：
获取真实训练样本集和构造训练样本集；
利用所述真实训练样本集和所述构造训练样本集对初始字符识别模型进行训练，获得所述字符识别模型。
3.根据权利要求2所述的方法，其特征在于，所述获取真实训练样本集和构造训练样本集之前，还包括：
从字符库中选取多个满足相似度条件的目标字符样本；其中，所述字符库中包括若干字符样本；
从背景库中随机选取一张背景图片：其中，所述背景库中包括若干背景图片；
将多个满足相似度条件的所述目标字符样本与一张所述背景图片进行合成，获得一张所述构造样本图像。
4.根据权利要求3所述的方法，其特征在于，所述字符库中包括多个目录，各所述目录下分别存储有关于不同字符的且满足相似度条件的字符样本；同一个所述目录下存储有从不同的字符样本图像中提取的关于同一字符的字符样本；所述从字符库中选取多个满足相似度条件的目标字符样本，包括：
从所述字符库的不同目录下分别随机选取字符样本，以获得多个满足相似度条件的目标字符样本。
5.根据权利要求3所述的方法，其特征在于，所述将多个满足相似度条件的所述目标字符样本与一张所述背景图片进行合成，获得一张所述构造样本图像，包括：
采用泊松融合方法，将多个满足相似度条件的所述目标字符样本与一张所述背景图片进行合成，获得一张所述构造样本图像。
6.根据权利要求2所述的方法，其特征在于，所述利用所述真实训练样本集和所述构造训练样本集对初始字符识别模型进行训练，获得所述字符识别模型，包括：
对所述真实训练样本集中的字符样本图像和所述构造训练样本集中的构造样本图像进行字符标注；
利用字符标注后的所述真实训练样本集和字符标注后的所述构造训练样本集对初始字符识别模型进行训练，获得所述字符识别模型。
7.一种用于如权利要求1-6中任一项所述工业字符识别方法中的字符识别模型的模型训练方法，其特征在于，包括：
获取真实训练样本集和构造训练样本集；所述真实训练样本集中包括带缺陷的字符样本图像，所述构造训练样本集中包括若干构造样本图像，所述构造样本图像中包括多个满足相似度条件的目标字符样本；
利用所述真实训练样本集和所述构造训练样本集对初始字符识别模型进行训练，获得所述字符识别模型。
8.根据权利要求7所述的方法，其特征在于，所述获取真实训练样本集和构造训练样本集之前，还包括：
从字符库中选取多个满足相似度条件的目标字符样本；其中，所述字符库中包括若干字符样本；
从背景库中随机选取一张背景图片：其中，所述背景库中包括若干背景图片；
将多个满足相似度条件的所述目标字符样本与一张所述背景图片进行合成，获得一张所述构造样本图像。
9.根据权利要求8所述的方法，其特征在于，所述字符库中包括多个目录，各所述目录下分别存储有关于不同字符的且满足相似度条件的字符样本；同一个所述目录下存储有从不同的字符样本图像中提取的关于同一字符的字符样本；所述从字符库中选取多个满足相似度条件的目标字符样本，包括：
从所述字符库的不同目录下分别随机选取字符样本，以获得多个满足相似度条件的目标字符样本。
10.根据权利要求8所述的方法，其特征在于，所述将多个满足相似度条件的所述目标字符样本与一张所述背景图片进行合成，获得一张所述构造样本图像，包括：
采用泊松融合方法，将多个满足相似度条件的所述目标字符样本与一张所述背景图片进行合成，获得一张所述构造样本图像。
11.一种工业字符识别装置，其特征在于，包括：
图像获取模块，用于获取待识别图像，所述待识别图像中包括待识别的字符；
模型识别模块，用于将所述待识别图像输入已训练的字符识别模型中，以输出识别出的所述待识别图像中字符的坐标；其中，所述字符识别模型基于真实训练样本集和构造训练样本集训练获得，所述真实训练样本集中包括带缺陷的字符样本图像，所述构造训练样本集中包括若干构造样本图像，所述构造样本图像中包括多个满足相似度条件的目标字符样本，所述构造样本图像基于将多个满足相似度条件的所述目标字符样本与一张背景图片进行合成获得，所述背景图片通过从背景库中随机选取获得，多个满足相似度条件的所述目标字符样本通过从字符库中选取获得，所述字符库中包括若干字符样本，所述背景库中包括若干背景图片；
坐标遍历模块，用于对识别出的多个所述字符的坐标进行遍历，并根据所述字符的纵坐标对多个所述字符进行分类，获得多个字符串列表；其中，每个字符串列表中包括属于同一横排的多个字符的坐标；
字符识别模块，用于对每个所述字符串列表中的坐标按照横坐标进行排序，获得字符排列顺序；根据所述字符排列顺序，获得字符识别结果。
12.一种用于如权利要求1-6中任一项所述工业字符识别方法中的字符识别模型的模型训练装置，其特征在于，包括：
样本获取模块，用于获取真实训练样本集和构造训练样本集；所述真实训练样本集中包括带缺陷的字符样本图像，所述构造训练样本集中包括若干构造样本图像，所述构造样本图像中包括多个满足相似度条件的目标字符样本；
模型训练模块，用于利用所述真实训练样本集和所述构造训练样本集对初始字符识别模型进行训练，获得所述字符识别模型。
13.一种电子设备，其特征在于，该电子设备包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序，实现如权利要求1-10中任一项所述的方法。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，处理器执行所述计算机程序，实现如权利要求1-10中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310077585.6A CN115830599B (zh) | 2023-02-08 | 2023-02-08 | 工业字符识别方法、模型训练方法、装置、设备和介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310077585.6A CN115830599B (zh) | 2023-02-08 | 2023-02-08 | 工业字符识别方法、模型训练方法、装置、设备和介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115830599A CN115830599A (zh) | 2023-03-21 |
| CN115830599B true CN115830599B (zh) | 2023-04-21 |
Family
ID=85520852
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310077585.6A Active CN115830599B (zh) | 2023-02-08 | 2023-02-08 | 工业字符识别方法、模型训练方法、装置、设备和介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115830599B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116343213B (zh) * | 2023-05-31 | 2023-08-25 | 成都数之联科技股份有限公司 | 模型训练及芯片的字符识别方法、装置、设备和介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110929713A (zh) * | 2019-11-22 | 2020-03-27 | 中南大学 | 一种基于bp神经网络的钢印字符识别方法 |
| CN115690797A (zh) * | 2022-10-09 | 2023-02-03 | 中车工业研究院有限公司 | 字符识别方法、装置、设备及存储介质 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4062866B2 (ja) * | 2000-07-04 | 2008-03-19 | 富士ゼロックス株式会社 | 文字認識装置及び文字認識方法 |
| CN104899571B (zh) * | 2015-06-12 | 2018-12-04 | 成都数联铭品科技有限公司 | 一种用于复杂文字识别的随机样本产生方法 |
| CN104992166B (zh) * | 2015-07-28 | 2018-09-11 | 苏州大学 | 一种基于鲁棒度量的手写体识别方法与系统 |
| CN106407976B (zh) * | 2016-08-30 | 2019-11-05 | 百度在线网络技术（北京）有限公司 | 图像字符识别模型生成和竖列字符图像识别方法和装置 |
| CN107092913A (zh) * | 2017-03-20 | 2017-08-25 | 上海大学 | 一种喷印字符在线识别及交互式后处理系统及方法 |
| CN109766879B (zh) * | 2019-01-11 | 2023-06-30 | 北京字节跳动网络技术有限公司 | 字符检测模型的生成、字符检测方法、装置、设备及介质 |
| CN110533057B (zh) * | 2019-04-29 | 2022-08-12 | 浙江科技学院 | 一种单样本与少样本场景下的汉字验证码识别方法 |
| CN110674876A (zh) * | 2019-09-25 | 2020-01-10 | 北京猎户星空科技有限公司 | 一种字符检测方法、装置、电子设备及计算机可读介质 |
| CN114332871A (zh) * | 2021-12-31 | 2022-04-12 | 科大讯飞股份有限公司 | 一种字符识别方法、装置、设备及存储介质 |
| CN114611492B (zh) * | 2022-03-17 | 2023-11-17 | 北京中科智加科技有限公司 | 一种文本顺滑方法、系统和计算机设备 |
-
2023
- 2023-02-08 CN CN202310077585.6A patent/CN115830599B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110929713A (zh) * | 2019-11-22 | 2020-03-27 | 中南大学 | 一种基于bp神经网络的钢印字符识别方法 |
| CN115690797A (zh) * | 2022-10-09 | 2023-02-03 | 中车工业研究院有限公司 | 字符识别方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115830599A (zh) | 2023-03-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110390269B (zh) | Pdf文档表格提取方法、装置、设备及计算机可读存储介质 | |
| JP6595714B2 (ja) | 動的な効果を有する２次元コード画像を生成するための方法および装置 | |
| US20120070086A1 (en) | Information reading apparatus and storage medium | |
| CN114266773B (zh) | 显示面板缺陷定位方法、装置、设备及存储介质 | |
| CN112070076B (zh) | 文本段落结构还原方法、装置、设备及计算机存储介质 | |
| CN107689070B (zh) | 图表数据结构化提取方法、电子设备及计算机可读存储介质 | |
| CN109117228A (zh) | 图形界面的生成方法及装置 | |
| US20100303382A1 (en) | Data input system, data input receiving device, data input receiving method and computer readable medium | |
| CN111737478B (zh) | 文本检测方法、电子设备及计算机可读介质 | |
| CN115830599B (zh) | 工业字符识别方法、模型训练方法、装置、设备和介质 | |
| US20230027412A1 (en) | Method and apparatus for recognizing subtitle region, device, and storage medium | |
| CN114241499A (zh) | 表格图片识别方法、装置、设备和可读存储介质 | |
| CN113724137A (zh) | 基于图像切分的图像识别方法、装置、设备及存储介质 | |
| CN114119949A (zh) | 一种增强文本合成图像的生成方法和系统 | |
| CN111046644A (zh) | 一种答题卡模板生成方法、识别方法、装置及存储介质 | |
| CN115239734A (zh) | 模型训练方法、装置、存储介质、设备及计算机程序产品 | |
| CN114005126A (zh) | 表格重构方法、装置、计算机设备及可读存储介质 | |
| CN116682130A (zh) | 图签信息的提取方法、装置、设备及可读存储介质 | |
| CN116091503B (zh) | 一种面板异物缺陷的判别方法、装置、设备及介质 | |
| JP2022069813A (ja) | 文字読取装置及び検査装置 | |
| CN115713775B (zh) | 一种从文档中提取表格的方法、系统和计算机设备 | |
| CN114926829A (zh) | 一种证件检测方法、装置、电子设备及存储介质 | |
| CN115170471A (zh) | 基于图像识别模型的部件识别方法及装置 | |
| CN113762031A (zh) | 一种图像识别方法、装置、设备及存储介质 | |
| CN112199929A (zh) | 表格处理方法、装置、存储介质及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |