CN115410209B - 一种基于图像处理的煤矿工单识别方法 - Google Patents

一种基于图像处理的煤矿工单识别方法 Download PDF

Info

Publication number
CN115410209B
CN115410209B CN202211341298.3A CN202211341298A CN115410209B CN 115410209 B CN115410209 B CN 115410209B CN 202211341298 A CN202211341298 A CN 202211341298A CN 115410209 B CN115410209 B CN 115410209B
Authority
CN
China
Prior art keywords
connected domain
cell
handwritten character
domains
domain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211341298.3A
Other languages
English (en)
Other versions
CN115410209A (zh
Inventor
张书磊
连涛
李强
田兆龙
刘继鹏
董桂锋
路飞
韩青
王帅
刘方
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yangcheng Coal Mine Of Shandong Jikuang Luneng Coal Power Co ltd
Original Assignee
Yangcheng Coal Mine Of Shandong Jikuang Luneng Coal Power Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yangcheng Coal Mine Of Shandong Jikuang Luneng Coal Power Co ltd filed Critical Yangcheng Coal Mine Of Shandong Jikuang Luneng Coal Power Co ltd
Priority to CN202211341298.3A priority Critical patent/CN115410209B/zh
Publication of CN115410209A publication Critical patent/CN115410209A/zh
Application granted granted Critical
Publication of CN115410209B publication Critical patent/CN115410209B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Character Input (AREA)

Abstract

本发明涉及图像处理领域，具体涉及一种基于图像处理的煤矿工单识别方法。获取煤矿工单图像，获取单元格手写字符区域中的多个连通域；根据两两连通域的像素点横坐标范围交集将对应连通域合并，获取第一连通域；对第一连通域进行垂直投影并对垂直投影进行曲线拟合；根据拟合曲线对第一连通域进行分割，得到第二连通域；将每个单元格手写字符区域中第二连通域的高度均值作为宽度阈值；从左到右依次将实际宽度小于宽度阈值的连续第二连通域合并，得到完整连通域；根据完整连通域进行字符识别。本发明以连通域为基础分别对手写字符进行纵向和横向合并，能够在去除粘连字符影响的同时有效提高分割的准确率。

Description

一种基于图像处理的煤矿工单识别方法
技术领域
本发明涉及图像处理领域，具体涉及一种基于图像处理的煤矿工单识别方法。
背景技术
随着互联网技术的快速发展和信息系统的广泛应用，让企业能及时、全面的了解到各类信息，然而信息系统中上传的各类扫描件，使信息的准确核查变得十分困难，在煤矿企业中每天都需要系统打印一些工程派遣工单、安全隐患排查工单和工程验收工单等，交给工人现场核查填写和领导签字确认，最后进行信息扫描电子存档，用于后续的工单流程审批和审核，然而工单内的手写内容复杂多变，数字和汉字混合存在，加大了字符识别正确率提高的难度，而字符准确识别的前提是完成字符的准确分割。
现有技术中存在通过投影分割法对手写字符进行分割的技术手段，但是，由于工单中的手写内容往往经过多人书写，且由于手写汉字的非限定性以及汉字书写方式千变万化，对于手写字符中可能存在粘连的字符，投影分割法会将重叠或粘连的多个汉字分成一个字符块，从而影响后续字符识别的准确度，而利用笔画分割的方法对手写字符进行分割时容易造成过度分割，其对于一些存在粘连或重叠的手写字符的分割准确度仍然较差。
发明内容
为了解决现有技术中无法对存在粘连或重叠的手写字符进行准确分割的问题，本发明提供一种基于图像处理的煤矿工单识别方法，获取煤矿工单图像，获取单元格手写字符区域中的多个连通域；根据两两连通域的像素点横坐标范围交集将对应连通域合并，获取第一连通域；对第一连通域进行垂直投影并对垂直投影进行曲线拟合；根据拟合曲线对第一连通域进行分割，得到第二连通域；将每个单元格手写字符区域中第二连通域的高度均值作为宽度阈值；从左到右依次将实际宽度小于宽度阈值的连续第二连通域合并，得到完整连通域；根据完整连通域进行字符识别。本发明以连通域为基础分别对手写字符进行纵向和横向合并，能够在去除粘连字符影响的同时有效提高分割的准确率。
本发明采用如下技术方案，一种基于图像处理的煤矿工单识别方法，包括：
对煤矿工单进行扫描得到煤矿工单图像，获取煤矿工单图像中每个单元格手写字符区域的连通域并作为第一连通域。
对每个单元格手写字符区域中的第一连通域进行垂直投影，并利用每个单元格手写字符区域中每个第一连通域的垂直投影进行曲线拟合得到每个单元格的拟合曲线。
根据每个单元格的拟合曲线对每个单元格手写字符区域中的第一连通域进行分割，得到每个单元格手写字符区域中的多个第二连通域。
获取每个单元格手写字符区域中每个第二连通域的实际宽度，并从左到右依次将实际宽度小于宽度阈值的连续第二连通域合并，得到每个单元格手写字符区域中的多个完整连通域。
将得到的多个完整连通域输入到神经网络中，输出为每个单元格手写字符区域中的字符。
进一步的，一种基于图像处理的煤矿工单识别方法，获取煤矿工单图像中每个单元格手写字符区域的连通域并作为第一连通域的方法为：
获取煤矿工单图像中每个单元格中的手写字符区域，并对每个单元格的手写字符区域进行连通域分析，得到每个单元格手写字符区域中的多个连通域；
根据每个单元格手写字符区域中的连通域的像素点横坐标范围将每个单元格手写字符区域中的连通域进行合并；
将合并后每个单元格手写字符区域中的连通域作为第一连通域。
进一步的，一种基于图像处理的煤矿工单识别方法，将每个单元格中的连通域进行合并的方法为：
获取每个单元格手写字符区域中的各个连通域的像素点横坐标范围；
从左到右依次获取两两连通域中像素点横坐标范围的交集，并获取对应两两连通域中像素点横坐标范围最大值；
判断两两连通域中像素点横坐标范围的交集与对应两两连通域中像素点横坐标范围最大值的比值是否大于阈值；
将比值大于阈值的对应两两连通域进行合并，并以该合并后的连通域为新的连通域继续进行合并，直至该比值小于阈值；
以比值小于阈值时对应的连通域开始重新进行合并，直至单元格中不存在可以合并的连通域。
进一步的，一种基于图像处理的煤矿工单识别方法，对每个单元格手写字符区域中的第一连通域进行分割的方法为：
对每个单元格手写字符区域中的每个第一连通域进行垂直投影，并获取每个第一连通域垂直投影对应的拟合曲线；
当第一连通域垂直投影对应的拟合曲线存在多个波峰时，根据两两波峰之间的波谷点在对应第一连通域中的位置对该第一连通域进行分割。
进一步的，一种基于图像处理的煤矿工单识别方法，从左到右依次将实际宽度小于宽度阈值的连续第二连通域合并的方法为：
从左到右获取每个单元格手写字符区域中的第一个第二连通域的实际宽度
Figure 583690DEST_PATH_IMAGE001
，当该第二连通域的实际宽度小于宽度阈值时，将第一个第二连通域与第二个第二连通域进行合并，获取合并后连通域的实际宽度
Figure 626733DEST_PATH_IMAGE002
；
当合并后连通域的实际宽度
Figure 372972DEST_PATH_IMAGE002
大于宽度阈值时，将该合并后的连通域作为对应单元格手写字符区域的完整连通域，并从该单元格手写字符区域的第三个第二连通域开始继续进行合并，直至得到每个单元格手写字符区域的所有完整连通域。
进一步的，一种基于图像处理的煤矿工单识别方法，从左到右依次将实际宽度小于宽度阈值的连续第二连通域合并时，还包括：
当合并后连通域的实际宽度
Figure 342110DEST_PATH_IMAGE002
小于宽度阈值时，获取第三个第二连通域的实际宽度
Figure 402470DEST_PATH_IMAGE003
；
若第三个第二连通域的实际宽度
Figure 486969DEST_PATH_IMAGE003
大于宽度阈值，将该合并后连通域作为完整连通域；
若第三个第二连通域的实际宽度
Figure 341793DEST_PATH_IMAGE003
小于宽度阈值，从水平方向上任意选取十条同时通过第二个、第三个以及第四个第二连通域的直线，分别获取十条直线中第二个第二连通域与第三个第二连通域之间的距离之和
Figure 652688DEST_PATH_IMAGE004
，以及第三个第二连通域与第四个第二连通域之间的距离之和
Figure 1892DEST_PATH_IMAGE005
；
当
Figure 488368DEST_PATH_IMAGE006
时，将该合并后连通域与第三个第二连通域进行合并，得到完整连通域；
当
Figure 966623DEST_PATH_IMAGE007
时，该合并后连通域作为完整连通域，并从第三个第二连通域开始重新进行合并。
进一步的，一种基于图像处理的煤矿工单识别方法，从左到右依次将实际宽度小于宽度阈值的连续第二连通域合并时，还包括：
当第一个第二连通域的实际宽度大于宽度阈值，且第二个第二连通域的实际宽度也大于宽度阈值时，将第一个第二连通域作为完整连通域；
当单元格手写字符区域中每个第二连通域及其相邻两个第二连通域的实际宽度均大于宽度阈值时，将该第二连通域作为完整连通域。
进一步的，一种基于图像处理的煤矿工单识别方法，根据每个单元格手写字符区域中的多个完整连通域进行字符识别的方法为：
建立手写字符数据库，并利用数据库中的手写字符对卷积神经网络进行训练；
利用训练好的卷积神经网络对煤矿工单中每个单元格手写字符区域中的多个完整连通域进行字符识别。
本发明的有益效果是：本发明首先将煤矿工单中手写字符进行连通域分析，从而便于后续进行手写字符的合并和分割，进一步本发明根据汉字的结构类型，首先通过连通域横向重叠范围对手写字符区域的连通域进行纵向合并，即纵向合并能够将结构为中上下结构、上中下结构、包围结构以及半包围结构的手写字符连通域合并，保证后续在进行垂直投影时能够去除手写字符中纵向结构粘连或重叠带来的影响，减少了后续进行字符分割需要考虑的因素；此时对手写字符进行分割只需考虑汉字结构中的左右结构、左中右结构以及独体字，因此通过垂直投影对连通域进行分割，能够在横向上将粘连的手写字符连通域分割开，有利于根据此时汉字的结构进行合并，并根据每个单元格内手写字符的平均高度设定该单元格内手写字符的标准宽度，通过依次对每个连通域的宽度与标准宽度进行对比进行连通域的合并，能够得到准确的手写字符分割结果，从而有效提高对煤矿工单中手写字符识别的准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的一种基于图像处理的煤矿工单识别方法结构示意图；
图2为本发明实施例的一种煤矿工单示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，给出了本发明实施例的一种基于图像处理的煤矿工单识别方法结构示意图，包括：
101.对煤矿工单进行扫描得到煤矿工单图像，获取煤矿工单图像中每个单元格手写字符区域的连通域并作为第一连通域。
本发明首先通过光学扫描将煤矿工单上的字符信息转化为图像信息，然后利用光学扫描获取的已知的印刷字符与各种类型的打印煤矿工单的电子模板进行模板匹配，模板匹配时使扫描图像尺寸与模板尺寸一致，由于人工手写的字符与复印机打印的字符由于使用的墨水的不同，两者会在颜色上存在明显的差异，因此通过模板匹配可以得到煤矿工单图像中各个单元格的位置以及单元格中的打印字符信息，将煤矿工单图像中的打印字符去除，则每个单元格中剩余的字符即为手写字符区域，然后对每个单元格中的手写字符区域进行筛选。
煤矿工单上各单元格内的书写内容都存在固定的格式，因此各单元格内的手写字符可分为只存在汉字、只存在数字和两者都可能存在，如图2中所示的煤矿工单图像中，填写日期的单元格应当只存在手写数字，填写矿长姓名处应当只存在手写汉字，而填写工程量处手写数字和汉字都可能存在。
由于在手写数字和汉字都可能存在的单元格内，手写的数字1可能和汉字的一部分相似，如“旧”字中的左部分，因此需要规定在人工书写时，若表格内需要同时出现汉字和数字时，需要将数字书写为汉字形式。
根据各单元格存在其相应的格式进行连通域分析，对于多行单元格以其设置的行数和每行的高度进行分行处理，对应单行单元格不做处理，再从上至下、从左至右逐单元格、逐行对手写字符进行连通域分析，从而可以得到每个单元格内手写字符的单连通域，对于手写字符的单连通域，其可能仅为一个笔画或一个偏旁，因此在得到每个单元格手写字符区域的连通域后，基于汉字的结构首先对连通域进行纵向合并。
获取煤矿工单图像中每个单元格手写字符区域的连通域并作为第一连通域的方法为：
获取煤矿工单图像中每个单元格中的手写字符区域，并对每个单元格的手写字符区域进行连通域分析，得到每个单元格手写字符区域中的多个连通域；
根据每个单元格手写字符区域中的连通域的像素点横坐标范围将每个单元格手写字符区域中的连通域进行合并；
将合并后每个单元格手写字符区域中的连通域作为第一连通域。
统计同一单元格中手写字符块区域的每个连通域像素点的横坐标值的范围集合，依次选取相邻两个连通域内像素点的横坐标值的范围集合，其中范围大的集合为B，范围小的集合为C，取两集合的交集为D，若这两个汉字字符块内连通域为一个汉字的上下结构、上中下结构、包围结构或者半包围结构时，则交集D应完全属于集合C或者大部分属于集合C，因此当该交集D与集合C的比值大于0.85时，该两个连通域对应为一个手写字符的上下结构、上中下结构、包围结构或者半包围结构，因此将该两个连通域进行合并，则合并的区域的字符像素点的横坐标值的范围集合为集合B和集合C的并集E，并以该并集继续和下一个连通域进行比较。
当该交集D与集合C的比值小于0.85时，则该两个连通域不存在对应的结构关系，不进行合并，同时继续获取下一对两两连通域之间的像素点横坐标范围的交集，依次对每个单元格中的连通域进行合并，直至每个单元格中的连通域无法合并，此时得到每个单元格内的多个连通域即为第一连通域。
将每个单元格手写字符区域中的对应两两连通域合并的方法为：
获取每个单元格手写字符区域的各个连通域的像素点横坐标范围；
从左到右依次获取两两连通域中像素点横坐标范围的交集，并获取对应两两连通域中像素点横坐标范围最大值；
判断两两连通域中像素点横坐标范围的交集与对应两两连通域中像素点横坐标范围最大值的比值是否大于阈值；
将比值大于阈值的对应两两连通域进行合并，并以该合并后的连通域为新的连通域继续进行合并，直至该比值小于阈值；
以比值小于阈值时对应的连通域开始重新进行合并，直至单元格手写字符区域中不存在可以合并的连通域。
至此，通过对每个单元格内手写字符区域的连通域进行纵向合并后，此时手写字符区域的连通域仅能够构成手写字符的左右结构、左中右结构或者一个完整汉字，同时还可能为存在横向粘连的手写字符。
102.对每个单元格手写字符区域中的第一连通域进行垂直投影，并利用每个单元格手写字符区域中每个第一连通域的垂直投影进行曲线拟合得到每个单元格的拟合曲线；根据每个单元格的拟合曲线对每个单元格手写字符区域中的第一连通域进行分割，得到每个单元格手写字符区域中的多个第二连通域。
对此时的每个单元格中手写字符区域的各个连通域做垂直投影，然后对各垂直投影直方图进行波动曲线拟合，由于粘连字符是由书写时的连笔造成的，故粘连字符交接处往往只有单笔画宽度，因此当垂直投影直方图拟合的波动曲线为单波峰时，认定其为一个汉字的左右结构、左中右结构或者一个完整汉字，而不是粘连字符，当垂直投影直方图拟合的波动曲线为多波峰时，认定其为粘连字符，并以相邻两波峰之间的波谷点处对该字符块进行分割。
根据拟合曲线对每个单元格手写字符区域中的第一连通域进行分割的方法为：
对每个单元格手写字符区域中的每个第一连通域进行垂直投影，并获取每个第一连通域垂直投影对应的拟合曲线；
当第一连通域垂直投影对应的拟合曲线存在多个波峰时，根据两两波峰之间的波谷点在对应第一连通域中的位置对该第一连通域进行分割。
至此将每个单元格中手写字符区域的粘连连通域进行了分割，此时被分割的连通域只能为一个手写字符的左右结构、左中右结构或者一个完整汉字。
103.获取每个单元格手写字符区域中每个第二连通域的实际宽度，并从左到右依次将实际宽度小于宽度阈值的连续第二连通域合并，得到每个单元格手写字符区域中的多个完整连通域。
统计此时每个单元格手写字符区域中每个连通域的高度，即字符区域的起始行和终止行的距离，获得每个单元格的高度集合
Figure 436919DEST_PATH_IMAGE008
，其中n表示该单元格内字符块的数量，i表示第i个连通域，取此集合的均值
Figure 901398DEST_PATH_IMAGE009
表示该单元格内手写字符区域连通域的标准高度，一般情况下，手写字符的高度与其宽度大致相同，故本发明将高度均值
Figure 993113DEST_PATH_IMAGE009
作为当前单元格内手写汉字的宽度阈值，由于不同人群书写方式以及书写习惯不同，因此本发明中的宽度阈值并不是唯一的选择，可根据实际应用场景中的手写字符形状以及大小进行设定。
此时一个完整汉字最多由连续相邻的三个连通域组成，因此本发明在每个单元格中从左至右分析相邻的第二连通域是否需要合并。
首先统计各连通域的宽度K，即字符区域中每个连通域的起始列和终止列的距离，若第一个第二连通域的宽度
Figure 455319DEST_PATH_IMAGE010
，则认为第一个第二连通域为一个手写字符的偏旁字符，第一个汉字为左右结构或者左中右结构，因此将第一个第二连通域直接与第二个第二连通域合并；若合并后的连通域宽度
Figure 396599DEST_PATH_IMAGE011
，则认为当前合并后的连通域组成的手写字符为左右结构，将其标记为完整连通域，然后分析剩余第二连通域。
若合并后的连通域宽度
Figure 274556DEST_PATH_IMAGE012
，则该合并后连通域所构成的手写字符可能为左中右结构，此时需要判断第三个第二连通域，若第三个第二连通域的宽度
Figure 486357DEST_PATH_IMAGE013
，则认定该合并后的连通域所构成的手写字符为左右结构，将其标记为完整连通域；若第三个第二连通域的宽度
Figure 119463DEST_PATH_IMAGE014
，则需要分析该第三个第二连通域是该合并连通域所组成手写字符的右偏旁，还是下一个手写字符的左偏旁；
本发明根据汉字的书写规律，即同一汉字内各个结构之间的间距应当小于相邻两个汉字的间距，若第三个第二连通域为合并连通域所组成手写字符的右偏旁，则第三个第二连通域与第二个第二连通域之间的距离应当小于第三个第二连通域与第四个第二连通域之间的距离，若第三个第二连通域为下一个手写字符的左偏旁，则第三个第二连通域与第二个第二连通域之间的距离应当大于第三个第二连通域与第四个第二连通域之间的距离。
本发明在第二、第三和第四个第二连通域内的水平交集内随机选取10条同时过第二、第三和第四个第二连通域的水平直线，取这10条直线上第二和第三个第二连通域之间距离的和值
Figure 361089DEST_PATH_IMAGE004
和第三和第四个第二连通域之间距离的和值
Figure 354321DEST_PATH_IMAGE005
；若
Figure 138738DEST_PATH_IMAGE006
，则继续合并第三个第二连通域，第一个手写字符为左中右结构；若
Figure 427899DEST_PATH_IMAGE007
，则认定该合并的连通域所构成的手写字符为左右结构，标记其为完整连通域；若
Figure 422400DEST_PATH_IMAGE015
，则在第二、第三和第四个第二连通域内的水平交集内重新随机选取10条水平直线，直至
Figure 704477DEST_PATH_IMAGE016
。
从左到右获取每个单元格手写字符区域中的第一个第二连通域的实际宽度
Figure 592667DEST_PATH_IMAGE001
，当该第二连通域的实际宽度小于宽度阈值时，将第一个第二连通域与第二个第二连通域进行合并，获取合并后连通域的实际宽度
Figure 36418DEST_PATH_IMAGE002
；
当合并后连通域的实际宽度
Figure 783794DEST_PATH_IMAGE002
大于宽度阈值时，将该合并后的连通域作为对应单元格手写字符区域的完整连通域，并从该单元格手写字符区域的第三个第二连通域开始继续进行合并，直至得到每个单元格手写字符区域的所有完整连通域。
从左到右依次将实际宽度小于宽度阈值的连续第二连通域合并时，还包括：
当合并后连通域的实际宽度
Figure 354715DEST_PATH_IMAGE002
小于宽度阈值时，获取第三个第二连通域的实际宽度
Figure 910461DEST_PATH_IMAGE003
；
若第三个第二连通域的实际宽度
Figure 243222DEST_PATH_IMAGE003
大于宽度阈值，将该合并后连通域作为完整连通域；
若第三个第二连通域的实际宽度
Figure 884419DEST_PATH_IMAGE003
小于宽度阈值，从水平方向上任意选取十条同时通过第二个、第三个以及第四个第二连通域的直线，分别获取十条直线中第二个第二连通域与第三个第二连通域之间的距离之和
Figure 570616DEST_PATH_IMAGE004
，以及第三个第二连通域与第四个第二连通域之间的距离之和
Figure 731601DEST_PATH_IMAGE005
；
当
Figure 782733DEST_PATH_IMAGE006
时，将该合并后连通域与第三个第二连通域进行合并，得到完整连通域；
当
Figure 894915DEST_PATH_IMAGE007
时，该合并后连通域作为完整连通域，并从第三个第二连通域开始重新进行合并。
需要说明的是，当第一个第二连通域的实际宽度大于宽度阈值，且第二个第二连通域的实际宽度也大于宽度阈值时，直接将第一个第二连通域作为完整连通域；
同理，当单元格手写字符区域中每个第二连通域及其相邻两个第二连通域的实际宽度均大于宽度阈值时，将该第二连通域作为完整连通域。
由此完成了对煤矿工单中每个单元格手写字符中连通域的分割，得到了每个单元格中的多个完整连通域，进而通过卷积神经网络对完整连通域进行字符识别；
104.将得到的多个完整连通域输入到神经网络中，输出为每个单元格手写字符区域中的字符。
根据每个单元格手写字符区域中的多个完整连通域进行字符识别的方法为：
建立手写字符数据库，并利用数据库中的手写字符对卷积神经网络进行训练；
利用训练好的卷积神经网络对煤矿工单中每个单元格手写字符区域中的多个完整连通域进行字符识别，其中，本发明中所选择的卷积神经网络可以为DNN卷积神经网络或BP卷积神经网络。
进而将煤矿工单图像中各个单元格识别出的手写字符信息进行录入保存，从而完成了煤矿工单信息的识别，可以用于后续工单的流程审批或自动审核。
本发明首先将煤矿工单中手写字符进行连通域分析，从而便于后续进行手写字符的合并和分割，进一步本发明根据汉字的结构类型，首先通过连通域横向重叠范围对手写字符区域的连通域进行纵向合并，即纵向合并能够将结构为中上下结构、上中下结构、包围结构以及半包围结构的手写字符连通域合并，保证后续在进行垂直投影时能够去除手写字符中纵向结构粘连或重叠带来的影响，减少了后续进行字符分割需要考虑的因素；此时对手写字符进行分割只需考虑汉字结构中的左右结构、左中右结构以及独体字，因此通过垂直投影对连通域进行分割，能够在横向上将粘连的手写字符连通域分割开，有利于根据此时汉字的结构进行合并，并根据每个单元格内手写字符的平均高度设定该单元格内手写字符的标准宽度，通过依次对每个连通域的宽度与标准宽度进行对比进行连通域的合并，能够得到准确的手写字符分割结果，从而有效提高对煤矿工单中手写字符识别的准确率。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于图像处理的煤矿工单识别方法，其特征在于，包括：
对煤矿工单进行扫描得到煤矿工单图像，获取煤矿工单图像中每个单元格手写字符区域的连通域并作为第一连通域；
获取煤矿工单图像中每个单元格手写字符区域的连通域并作为第一连通域的方法为：
获取煤矿工单图像中每个单元格中的手写字符区域，并对每个单元格的手写字符区域进行连通域分析，得到每个单元格手写字符区域中的多个连通域；
根据每个单元格手写字符区域中的连通域的像素点横坐标范围将每个单元格手写字符区域中的连通域进行合并；
将合并后每个单元格手写字符区域中的连通域作为第一连通域；
将每个单元格中的连通域进行合并的方法为：
获取每个单元格手写字符区域中的各个连通域的像素点横坐标范围；
从左到右依次获取两两连通域中像素点横坐标范围的交集，并获取对应两两连通域中像素点横坐标范围最大值；
判断两两连通域中像素点横坐标范围的交集与对应两两连通域中像素点横坐标范围最大值的比值是否大于阈值；
将比值大于阈值的对应两两连通域进行合并，并以该合并后的连通域为新的连通域继续进行合并，直至该比值小于阈值；
以比值小于阈值时对应的连通域开始重新进行合并，直至单元格中不存在可以合并的连通域；
对每个单元格手写字符区域中的第一连通域进行垂直投影，并利用每个单元格手写字符区域中每个第一连通域的垂直投影进行曲线拟合得到每个单元格的拟合曲线；
根据每个单元格的拟合曲线对每个单元格手写字符区域中的第一连通域进行分割，得到每个单元格手写字符区域中的多个第二连通域；
获取每个单元格手写字符区域中每个第二连通域的实际宽度，并从左到右依次将实际宽度小于宽度阈值的连续第二连通域合并，得到每个单元格手写字符区域中的多个完整连通域；
从左到右依次将实际宽度小于宽度阈值的连续第二连通域合并的方法为：
从左到右获取每个单元格手写字符区域中的第一个第二连通域的实际宽度
Figure 418336DEST_PATH_IMAGE001
，当该第二连通域的实际宽度小于宽度阈值时，将第一个第二连通域与第二个第二连通域进行合并，获取合并后连通域的实际宽度
Figure 551508DEST_PATH_IMAGE002
；
当合并后连通域的实际宽度
Figure 653456DEST_PATH_IMAGE002
大于宽度阈值时，将该合并后的连通域作为对应单元格手写字符区域的完整连通域，并从该单元格手写字符区域的第三个第二连通域开始继续进行合并，直至得到每个单元格手写字符区域的所有完整连通域；
从左到右依次将实际宽度小于宽度阈值的连续第二连通域合并时，还包括：
当合并后连通域的实际宽度
Figure 334230DEST_PATH_IMAGE002
小于宽度阈值时，获取第三个第二连通域的实际宽度
Figure 547036DEST_PATH_IMAGE003
；
若第三个第二连通域的实际宽度
Figure 128190DEST_PATH_IMAGE003
大于宽度阈值，将该合并后连通域作为完整连通域；
若第三个第二连通域的实际宽度
Figure 401040DEST_PATH_IMAGE003
小于宽度阈值，从水平方向上任意选取十条同时通过第二个、第三个以及第四个第二连通域的直线，分别获取十条直线中第二个第二连通域与第三个第二连通域之间的距离之和
Figure 362917DEST_PATH_IMAGE004
，以及第三个第二连通域与第四个第二连通域之间的距离之和
Figure 113836DEST_PATH_IMAGE005
；
当
Figure 549496DEST_PATH_IMAGE006
时，将该合并后连通域与第三个第二连通域进行合并，得到完整连通域；
当
Figure 258826DEST_PATH_IMAGE007
时，该合并后连通域作为完整连通域，并从第三个第二连通域开始重新进行合并；
将得到的多个完整连通域输入到神经网络中，输出为每个单元格手写字符区域中的字符。
2.根据权利要求1所述的一种基于图像处理的煤矿工单识别方法，其特征在于，对每个单元格手写字符区域中的第一连通域进行分割的方法为：
对每个单元格手写字符区域中的每个第一连通域进行垂直投影，并获取每个第一连通域垂直投影对应的拟合曲线；
当第一连通域垂直投影对应的拟合曲线存在多个波峰时，根据两两波峰之间的波谷点在对应第一连通域中的位置对该第一连通域进行分割。
3.根据权利要求1所述的一种基于图像处理的煤矿工单识别方法，其特征在于，从左到右依次将实际宽度小于宽度阈值的连续第二连通域合并时，还包括：
当第一个第二连通域的实际宽度大于宽度阈值，且第二个第二连通域的实际宽度也大于宽度阈值时，将第一个第二连通域作为完整连通域；
当单元格手写字符区域中每个第二连通域及其相邻两个第二连通域的实际宽度均大于宽度阈值时，将该第二连通域作为完整连通域。
4.根据权利要求1所述的一种基于图像处理的煤矿工单识别方法，其特征在于，根据每个单元格手写字符区域中的多个完整连通域进行字符识别的方法为：
建立手写字符数据库，并利用数据库中的手写字符对卷积神经网络进行训练；
利用训练好的卷积神经网络对煤矿工单中每个单元格手写字符区域中的多个完整连通域进行字符识别。
CN202211341298.3A 2022-10-31 2022-10-31 一种基于图像处理的煤矿工单识别方法 Active CN115410209B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211341298.3A CN115410209B (zh) 2022-10-31 2022-10-31 一种基于图像处理的煤矿工单识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211341298.3A CN115410209B (zh) 2022-10-31 2022-10-31 一种基于图像处理的煤矿工单识别方法

Publications (2)

Publication Number Publication Date
CN115410209A CN115410209A (zh) 2022-11-29
CN115410209B true CN115410209B (zh) 2023-01-31

Family

ID=84167724

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211341298.3A Active CN115410209B (zh) 2022-10-31 2022-10-31 一种基于图像处理的煤矿工单识别方法

Country Status (1)

Country Link
CN (1) CN115410209B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102156865A (zh) * 2010-12-14 2011-08-17 上海合合信息科技发展有限公司 手写文本行字符切分方法、识别方法
CN110059695A (zh) * 2019-04-23 2019-07-26 厦门商集网络科技有限责任公司 一种基于垂直投影的字符分割方法及终端

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108171237A (zh) * 2017-12-08 2018-06-15 众安信息技术服务有限公司 一种文本行图像单字切分方法和装置
CN110070092A (zh) * 2019-03-15 2019-07-30 平安科技（深圳）有限公司 车型识别方法、装置、计算机设备及存储介质
CN115082934B (zh) * 2022-07-04 2023-12-29 蒋锋 一种金融票据中手写汉字分割识别方法
CN115171124B (zh) * 2022-09-07 2022-11-11 江苏巨信众汇数字科技有限公司 用于手写汉字识别的文本分割方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102156865A (zh) * 2010-12-14 2011-08-17 上海合合信息科技发展有限公司 手写文本行字符切分方法、识别方法
CN110059695A (zh) * 2019-04-23 2019-07-26 厦门商集网络科技有限责任公司 一种基于垂直投影的字符分割方法及终端

Also Published As

Publication number Publication date
CN115410209A (zh) 2022-11-29

Similar Documents

Publication Publication Date Title
CN111814722B (zh) 一种图像中的表格识别方法、装置、电子设备及存储介质
CN111325203B (zh) 一种基于图像校正的美式车牌识别方法及系统
CN110766014B (zh) 票据信息定位方法、系统及计算机可读存储介质
CN103034848B (zh) 一种表单类型的识别方法
JP5379085B2 (ja) スキャンされた文書画像内の前景画素群の連結グループをマーキング種類に基づき分類する方法及びシステム
TWI536277B (zh) Form identification method and device
CN102567300B (zh) 图片文档的处理方法及装置
US6327384B1 (en) Character recognition apparatus and method for recognizing characters
CN109460762B (zh) 一种基于图像识别的答题卡评分方法
Dongre et al. Devnagari document segmentation using histogram approach
CN103093240A (zh) 书法字识别方法
CN104809481A (zh) 一种基于自适应色彩聚类的自然场景文本检测的方法
CN106296969B (zh) 纸币的识别方法和系统
CN1312625C (zh) 基于游程邻接图的复杂背景彩色图像中字符提取方法
CN105512611A (zh) 一种表格图像检测识别方法
CN101266654A (zh) 基于连通分量和支持向量机的图像文本定位方法和装置
CN110414563A (zh) 考试成绩统计方法、系统及计算机可读存储介质
CN102542268A (zh) 用于视频中文本区域检测与定位的方法
CN111242024A (zh) 基于机器学习识别图纸内图例及文字的方法及系统
CN106778717A (zh) 一种基于图像识别和k近邻的测评表识别方法
CN110619326A (zh) 一种基于扫描的英语试卷作文检测识别系统及方法
CN112364834A (zh) 一种基于深度学习和图像处理的表格识别的还原方法
CN113537227A (zh) 一种结构化文本识别方法及系统
CN115393861B (zh) 一种手写体文本精准分割方法
CN112446259A (zh) 图像处理方法、装置、终端和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant