CN110020692A - 一种基于印刷体模板的手写体分离与定位方法 - Google Patents

一种基于印刷体模板的手写体分离与定位方法 Download PDF

Info

Publication number
CN110020692A
CN110020692A CN201910296306.9A CN201910296306A CN110020692A CN 110020692 A CN110020692 A CN 110020692A CN 201910296306 A CN201910296306 A CN 201910296306A CN 110020692 A CN110020692 A CN 110020692A
Authority
CN
China
Prior art keywords
handwritten form
picture
text
template
handwritten
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910296306.9A
Other languages
English (en)
Other versions
CN110020692B (zh
Inventor
田博帆
吴冬华
谢阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Red Pine Information Technology Co Ltd
Original Assignee
Nanjing Red Pine Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Red Pine Information Technology Co Ltd filed Critical Nanjing Red Pine Information Technology Co Ltd
Priority to CN201910296306.9A priority Critical patent/CN110020692B/zh
Publication of CN110020692A publication Critical patent/CN110020692A/zh
Application granted granted Critical
Publication of CN110020692B publication Critical patent/CN110020692B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/24—Character recognition characterised by the processing or recognition method
    • G06V30/242—Division of the character sequences into groups prior to recognition; Selection of dictionaries
    • G06V30/244—Division of the character sequences into groups prior to recognition; Selection of dictionaries using graphical properties, e.g. alphabet type or font
    • G06V30/2455—Discrimination between machine-print, hand-print and cursive writing

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Character Discrimination (AREA)
  • Character Input (AREA)

Abstract

本发明公开了一种基于印刷体模板的手写体分离与定位方法，具体包括以下步骤：(1)图片矫正：将空白模板和含有手写体文本的图片经过二值化处理、轮廓提取和霍夫变换检测矫正图片的倾斜度；(2)手写分离：将含有手写体文本的图片中的手写体和印刷体进行分离得到纯手写体图片；(3)文本定位：对得到纯手写体图片中的手写体文本进行定位；(4)直线检测：检测所述步骤(3)中定位到的手写体文本中是否有直线，若有直线则检测直线的具体位置并输出其坐标值；(5)目标提取：对纯手写体文本进行干扰字符筛选，并将干扰的手写体字符去掉，得到所需的手写体字符。该方法对同时含有印刷体和手写体图片中的手写体部分做出精确定位，提高文本识别系统的精确度。

Description

一种基于印刷体模板的手写体分离与定位方法
技术领域
本发明属于文本图像处理技术领域，尤其是涉及一种基于印刷体模板的手写体分离与定位的方法。
背景技术
随着科技的发展，随着人工智能的到来，新的一轮技术革命已然开始；计算机已逐步取代了人工的繁重工作。例如，在文本识别领域，由于大量文本信息待处理，传统的人工审阅方式已然无法满足需求；或者学生考试使用的部分自动批阅系统，以及票据、凭据等的识别录入系统，这些不仅节省了由人工参与而浪费的大量时间，同时提高了工作效率。但作为文本识别系统，对其识别的精度一直以来都有很高的要求，也是目前研究的重点；文本识别主要分为手写体识别和印刷体识别两种，考虑到手写体书写的随意性和复杂性等特点，混合识别变的非常有难度，大多数的识别系统都是将其分开进行识别；伴随智能化识别系统的发展，开始逐渐打破了旧的格局，开辟新的天地；文本识别的前提是先对文本进行定位，实际识别应用中文本大多为印刷体和手写体字符的混合，而手写体通常为识别的重点目标，故需提前对待识别的手写体做出精确定位变得至关重要。
因此，有必要开发一种基于印刷体模板的手写体分离与定位方法，对同时含有印刷体和手写体图片中的手写体部分做出精确定位，提高文本识别系统的精确度。
发明内容
本发明要解决的技术问题是，提供一种基于印刷体模板的手写体分离与定位方法，对同时含有印刷体和手写体图片中的手写体部分做出精确定位，提高文本识别系统的精确度。
为解决上述技术问题，本发明采用的技术方案是：该基于印刷体模板的手写体分离与定位的方法，具体包括以下步骤：
(1)图片矫正：将空白模板和含有手写体文本的图片经过二值化处理、轮廓提取和霍夫变换检测矫正图片的倾斜度；
(2)手写分离：将含有手写体文本的图片中的手写体和印刷体进行分离得到纯手写体图片；
(3)文本定位：对得到所述纯手写体图片中的手写体文本进行定位；
(4)直线检测：检测所述步骤(3)中定位到的所述手写体文本中是否有直线，若有直线则采用水平和垂直核卷积技术来检测直线的具体位置并计算输出其坐标值；
(5)干扰筛选：对所述纯手写体文本进行干扰字符筛选，并将干扰的手写体字符去掉，得到所需的手写体字符。
采用上述技方案，将含有手写体文本的图片以其原始印刷后还没有填写手写体的空白模板为参照进行图像处理分析，采用多种算法结合，实现了手写体与印刷体的定位及分离，同时含有印刷体和手写体图片中的手写体部分做出精确定位；提高了文本识别系统的精确度。其中，步骤(1)中在实际拍摄含有手写体文本的图片时，难免会有一定的倾斜性，因此为了能够完全分离手写体文本内容，需要对含有手写体文本的图片进行矫正；实际从步骤(2)中分离出的纯手写体图片中包含有所有手写体的内容，因此对该纯手写体图片的文本进行定位，则可以得出定位效果图；当空白模板中具有直线如下划线，而下划线属于非文本，无法被检测到，而为了避免在步骤五中因对坐标筛选而导致其上部区域中的手写体文本(目标信息)无法匹配最终被去除掉的风险，故先采用水平和垂直核卷积等技术来检测下划线的具体位置并输出其坐标值。
本发明进一步改进在于，所述步骤(2)具体包括以下步骤：
S21模板匹配：将步骤(1)中的所述空白模板通过至少两种匹配算法利用空白模板的滑动寻找匹配点，将含有手写体文本的图片与所述空白模板进行粗匹配；
S22模板裁剪：将步骤S21中的与所述含有手写体文本的图片粗匹配好的所述空白模板进行裁剪，使所述空白模板的大小与所述含有手写体文本的图片的大小相同；
S23特征配准：采用尺度不变特征变换的SIFT算法来寻找关键特征点，使所述空白模板与所述含有手写体文本的图片中的文本内容重合，使所述空白模板与所述含有手写体文本的图片配准；
S24差异检测：对步骤S23中配准后的所述含有手写体文本的图片，采用不同区域检测算法将其和所述空白模板图片进行对比检测，找出所述空白模板与所述含有手写体文本的图片中的不同区域得到检测结果图，记为图A；
S25模板相减：将步骤S23中配准后的所述含有手写体文本的图片，通过对所述空白模板和所述含有手写体文本的图片采用模板灰度处理后得到的值进行直接相减操作，得到相减结果图，记为图B；
S26相同检测：将步骤S24得到的图A与步骤S25得到的图B通过异或运算法去掉图片中手写部分的内容，得到图C；
S27手写提取：再次将所述图A和图B做或运算得到重叠后的全部文本内容，记作图D；再将图D与图C做相减运算，再经腐蚀处理及高斯去噪后，得到最终的所述纯手写体图片。
采用上述技术方案，含有手写体文本的图片以其原始印刷后还没有填写手写体的空白模板为参照进行图像处理分析，但由于图像的不完全匹配以及手写和印刷灰度值的相似性较高，为了避免难以区分，采用空白模板匹配结合特征值寻找出最佳匹配点，实现两张图片内容的最接近重合，再利用空白模板相减原理和相同值的异或消除运算，以及对比增强与图像去噪声算法，可以确保增加手写体和印刷体差异的同时达到完全分离的目的；实现了在提供空白模板的情况下，无需考虑手写体书写的具体位置以及手写体复杂性的特点，均能够对其进行完全分离；其中匹配过程主要是利用空白模板的滑动来寻找最佳匹配点，这个结果虽然不能够达到理想的匹配状态，但是能尽其最大的能力寻找到模板匹配的合适位置，并裁剪出和模板一样大小的图片；实际电子档扫描的图片会存在大小不一的情况，而在模板匹配时，空白模板的图片大小相比含有手写体文本的图片要小，因此需要将模板图片进行裁剪；为了完全重合空白模板与含有手写体文本的图片中的文本部分，达到模板相减后的最佳差异状态，因此需要对图片进行对齐化；采用尺度不变特征变换的SIFT算法来寻找关键特征点，以达到空白模板与含有手写体文本的图片的近似对齐，从而使两张图片配准。
作为本发明的优选技术方案，所述步骤(1)的所述空白模板和含有手写体文本的图片的印刷体文本内容及文本内容的位置均相同；所属步骤(1)中的所述二值化处理具体过程为：设定全局阈值128，将大于128的像素群像素值设定为白色，将小于128的像素群像素值设定为黑色；所述轮廓提取采用基于边界跟踪的数字化二值图像拓扑分析算法，该基于边界跟踪的数字化二值图像拓扑分析算法确定二值图像边界的围绕关系，从而定位到图像边界；所述霍夫变换检测是对输入的二值图像中的像素点，按照步长分别计算出每个点上的所有可能的直线，同时记录下每条直线经过的点数，按照阈值筛选符合条件的图像，从而达到图像检测的目的，通过霍夫变换检测可以进行直线检测，并根据得到的直线起始和终止的坐标值计算得到其上部的文本区域的坐标值。所属步骤(1)中的二值化处理：设定全局阈值128，将大于128的像素群像素值设定为白色，将小于128的像素群像素值设定为黑色。轮廓提取：采用基于边界跟踪的数字化二值图像拓扑分析算法，该算法确定二值图像边界的围绕关系，即确定外边界、孔边界以及他们的层次关系，由于这些边界和原图的区域具有一一对应关系(外边界对应像素值为1的连通区域，孔边界对应像素值为0的区域)，因此我们就可以定位到图像边界。霍夫变换：霍夫变换主要是对输入的二值图像中的像素点，按照步长分别计算出每个点上的所有可能的直线。记录下每条直线经过的点数，按照阈值筛选符合条件的图像，已达到图像检测的目的(如：直线、圆、矩形等)，扫描图片的边框一般为直线边框，通过霍夫变换可以进行直线检测，并输出直线坐标。
作为本发明的优选技术方案，所述步骤(3)中文本定位采用EAST深度学习算法进行定位，所述步骤(3)中文本定位采用EAST深度学习算法进行定位，所述EAST算法是通过全卷积网络FCN和非极大值抑制NMS，消除中间的冗余过程，减少检测时间来对文本图片中的文本进行定位；所述EAST算法是基于PVANet网络，提取不同尺寸卷积核下的特征并对其进行组合，将组合后的特征再通过上池化和合并处理后恢复到原图的尺寸，接着依次送入个数为128、64、32的卷积核中做卷积操作，最后分别得到图片中每个文本的得分和文本的形状，达到文本检测的目的。
作为本发明的优选技术方案，所述步骤(5)中所述纯手写体文本进行干扰字符筛选通过对字符的坐标进行筛选来实现，坐标筛选分两份坐标列表进行，一份为所述空白模板的文本坐标，一份为分离后的纯手写体文本坐标，通过设定的阀值来比较两份坐标的差值范围来保留目标项和剔除非选项。
作为本发明的优选技术方案，所述步骤S21中的模板匹配的方法为平方差匹配方法，具体的匹配过程如下：
S211读取图片，将所述空白模板的图像在待匹配图像上进行滑动；
S212滑动每个定格得到子图坐标矩阵，再将其归一化；
S213计算相关系数，找出所述相关系数的最大值的坐标；
S214根据所述相关系数的最大值坐标得到匹配点。
作为本发明的优选技术方案，所述步骤S23中采用尺度不变特征变换的SIFT算法来寻找关键特征点完成所述空白模板与所述含有手写体文本的图片两幅图像中的特征点的检测和配准的具体过程为：
S231对其中一张图片通过高斯微分函数在其所有尺度空间上的图像进行极值点的检测；为了寻找尺度空间上的极值点，它采取相邻点比较的方式来筛选极值采样点，看其在图像域和尺度域上相邻点的大小，选取稳定的采样点作为特征点；
S232通过拟和三维二次函数以确定关键点的位置和尺度，同时去除低对比度的关键点和不稳定的边缘响应点，以增强匹配稳定性、提高抗噪声能力；
S233采用关键点特征向量的欧式距离来作为所述空白模板与所述含有手写体文本的图片两幅图像中关键点的相似性判定度量，从而达到两张图片配准的目的。作为本发明的优选技术方案，所述步骤S24中采用的不同区域检测算法的具体过程为：将步骤S22中裁剪后所述空白模板与所述含有手写体文本的图片进行所述二值化处理，处理后进行同一位置的逐像素比对，对白色像素差异区域进行保留，并对黑色像色区域进行反转即将像素值0改为255，也一并保留在差异区域的图片上；这样可以完全输出所述空白模板与所述含有手写体文本的图片的不同区域。
作为本发明的优选技术方案，所述步骤S26中异或运算法具体为：对图A和图B进行异或运算，即对同一位置的像素点进行灰度值异或运算，相同灰度值的情况下将灰度值设置为0，不同灰度值情况下设置为1，从而输出图片C。
作为本发明的优选技术方案，所述步骤S27中将图D与图C做相减运算，再经腐蚀处理及高斯去噪的具体过程为：
S271将图D和图C按其对应像素矩阵作矩阵相减运算；
S272设定腐蚀的结构元为矩形结构元，大小为3*3矩阵；
S273利用已设定的结构元对相减运算后的图片进行卷积运算即腐蚀；
S274设置高斯低通滤波器参数；
S275利用高斯低通滤波器对图像矩阵进行加权平均，去除噪点。
相比现有技术，该技术方案具有的有益效果是：将含有手写体文本的图片以其原始印刷后还没有填写手写体的空白模板为参照进行图像处理分析，采用多种算法结合，实现了手写体与印刷体的定位及分离，同时含有印刷体和手写体图片中的手写体部分做出精确定位；提高了文本识别系统的精确度；即提供空白模板的情况下，结合实际项目的需要，适当调整步骤和相关阈值，无需考虑手写体书写的具体位置以及手写体复杂性的特点，该技术都能够对其进行完全分离，同时使用该技术能够对手写体字符做出精准的定位，并排除异常的手写目标。
附图说明
下面结合附图和本发明的实施方式进一步详细说明：
图1是本发明基于印刷体模板的手写体分离与定位的方法的流程图；
图2是本发明基于印刷体模板的手写体分离与定位的方法的步骤(2)中手写体与印刷体分离后得到纯手写体文本的效果图；
图3是本发明基于印刷体模板的手写体分离与定位的方法的步骤(3)中含有手写干扰项的纯手写体文本定位的效果图；
图4是本发明基于印刷体模板的手写体分离与定位的方法中空白模板的印刷体字符定位的效果图；
图5是本发明基于印刷体模板的手写体分离与定位的方法中的步骤(4)的模板下划线检测效果图；
图6是本发明基于印刷体模板的手写体分离与定位的方法中的步骤(5)的排除了手写干扰项后手写体字符定位效果图；
图7是本发明基于印刷体模板的手写分离与定位的方法中的步骤S21的具体流程图；
图8是本发明基于印刷体模板的手写分离与定位的方法中的步骤S27的具体流程图；
图9是本发明基于印刷体模板的手写体分离与定位的方法中步骤S24中的图A；
图10是本发明基于印刷体模板的手写体分离与定位的方法中步骤S25中的图B；
图11是本发明的基于印刷体模板的手写体分离与定位的方法中的步骤A26的图C；
图12是本发明的手写体分离与定位的方法中的步骤A27的图D。
具体实施方式
实施例：如图1～6所示，该手写体分离与定位的方法，该手写体分离与定位的方法，具体包括以下步骤：
(1)图片矫正：将空白模板和含有手写体文本的图片经过二值化处理、轮廓提取和霍夫变换检测矫正图片的倾斜度；
(2)手写分离：将含有手写体文本的图片中的手写体和印刷体进行分离得到纯手写体图片；
S21模板匹配：将步骤(1)中的所述空白模板通过至少两种匹配算法利用空白模板的滑动寻找匹配点，将含有手写体文本的图片与所述空白模板进行粗匹配；
S22模板裁剪：将步骤S21中的与所述含有手写体文本的图片粗匹配好的所述空白模板进行裁剪，使所述空白模板的大小与所述含有手写体文本的图片的大小相同；
S23特征配准：采用尺度不变特征变换的SIFT算法来寻找关键特征点，使所述空白模板与所述含有手写体文本的图片中的文本内容重合，使所述空白模板与所述含有手写体文本的图片配准；
S24不同检测：对步骤S23中配准后的所述含有手写体文本的图片，采用不同区域检测算法将其和所述空白模板图片进行对比检测，找出所述空白模板与所述含有手写体文本的图片中的不同区域得到检测结果图，记为图A；
S25模板相减：将步骤S23中配准后的所述含有手写体文本的图片，通过对所述空白模板和所述含有手写体文本的图片采用模板灰度处理后得到的值进行直接相减操作，得到相减结果图，记为图B；
S26相同检测：将步骤S24得到的图A与步骤S25得到的图B通过异或运算法去掉图片中手写部分的内容，得到图C；
S27手写提取：再次将所述图A和图B做或运算得到重叠后的全部文本内容，记作图D；再将图D与图C做相减运算，再经腐蚀处理及高斯去噪后，得到最终的所述纯手写体图片即图2；
(3)文本定位：对得到所述纯手写体图片中的手写体文本采用EAST深度学习算法进行定位，得到的效果图如图3所示；
(4)直线检测：检测所述步骤(3)中定位到的所述手写体文本中是否有直线，若有直线则采用水平和垂直核卷积技术来检测直线的具体位置并计算输出其坐标值，如图5所示；
(5)目标提取：对所述纯手写体文本进行干扰字符筛选，并将干扰的手写体字符去掉，得到所需的手写体字符，如图6所示。
所述步骤(1)的所述空白模板和含有手写体文本的图片的印刷体文本内容及文本内容的位置均相同；所属步骤(1)中的所述二值化处理具体过程为：设定全局阈值128，将大于128的像素群像素值设定为白色，将小于128的像素群像素值设定为黑色；所述轮廓提取采用基于边界跟踪的数字化二值图像拓扑分析算法，该基于边界跟踪的数字化二值图像拓扑分析算法确定二值图像边界的围绕关系，从而定位到图像边界；所述霍夫变换检测是对输入的二值图像中的像素点，按照步长分别计算出每个点上的所有可能的直线，同时记录下每条直线经过的点数，按照阈值筛选符合条件的图像，从而达到图像检测的目的，通过霍夫变换检测可以进行直线检测，并根据得到的输出直线起始和终止坐标计算到其上部的文本区域的坐标值。
所述步骤(3)中文本定位采用EAST深度学习算法进行定位，所述步骤(3)中文本定位采用EAST深度学习算法进行定位，所述EAST算法是通过全卷积网络FCN和非极大值抑制NMS，消除中间的冗余过程，减少检测时间来对文本图片中的文本进行定位；所述EAST算法是基于PVANet网络，提取不同尺寸卷积核下的特征并对其进行组合，将组合后的特征再通过上池化和合并处理后恢复到原图的尺寸，接着依次送入个数为128、64、32的卷积核中做卷积操作，最后分别得到图片中每个文本的得分和文本的形状，达到文本检测的目的。
所述步骤(5)中所述纯手写体文本进行干扰字符筛选通过对字符的坐标进行筛选来实现，坐标筛选分两份坐标列表进行，一份为所述空白模板的文本坐标，一份为分离后的纯手写体文本坐标，通过设定的阀值来比较两份坐标的差值范围来保留目标项和剔除非选项。
如图7所示，所述步骤S21中的模板匹配的方法为平方差匹配方法，具体的匹配过程如下：
S211读取图片，将所述空白模板的图像在待匹配图像上进行滑动；
S212滑动每个定格得到子图坐标矩阵，再将其归一化；
S213计算相关系数，找出所述相关系数的最大值的坐标；
S214根据所述相关系数的最大值坐标得到匹配点。
所述步骤S23中采用尺度不变特征变换的SIFT算法来寻找关键特征点完成所述空白模板与所述含有手写体文本的图片两幅图像中的特征点的检测和配准的具体过程为：
S231对其中一张图片通过高斯微分函数在其所有尺度空间上的图像进行极值点的检测；为了寻找尺度空间上的极值点，它采取相邻点比较的方式来筛选极值采样点，看其在图像域和尺度域上相邻点的大小，选取稳定的采样点作为特征点；
S232通过拟和三维二次函数以确定关键点的位置和尺度，同时去除低对比度的关键点和不稳定的边缘响应点，以增强匹配稳定性、提高抗噪声能力；
S233采用关键点特征向量的欧式距离来作为所述空白模板与所述含有手写体文本的图片两幅图像中关键点的相似性判定度量，从而达到两张图片配准的目的。
所述步骤S24中采用的不同区域检测算法的具体过程为：将步骤S22中裁剪后所述空白模板与所述含有手写体文本的图片进行所述二值化处理，处理后进行同一位置的逐像素比对，对白色像素差异区域进行保留，并对黑色像色区域进行反转即将像素值0改为255，也一并保留在差异区域的图片上；这样可以完全输出所述空白模板与所述含有手写体文本的图片的不同区域。
所述步骤S26中异或运算法具体为：对图A和图B进行异或运算，即对同一位置的像素点进行灰度值异或运算，相同灰度值的情况下将灰度值设置为0，不同灰度值情况下设置为1，从而输出图片C；
如图8所示，所述步骤S27中将图D与图C做相减运算，再经腐蚀处理及高斯去噪的具体过程为：
S271将图D和图C按其对应像素矩阵作矩阵相减运算；
S272设定腐蚀的结构元为矩形结构元，大小为3*3矩阵；
S273利用已设定的结构元对相减运算后的图片进行卷积运算即腐蚀；
S274设置高斯低通滤波器参数；
S275利用高斯低通滤波器对图像矩阵进行加权平均，去除噪点。
上面结合附图对本发明的实施方式作了详细的说明，但是本发明不限于上述实施方式，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (10)

1.一种基于印刷体模板的手写体分离与定位方法，其特征在于，具体包括以下步骤：
(1)图片矫正：将空白模板和含有手写体文本的图片经过二值化处理、轮廓提取和霍夫变换检测矫正图片的倾斜度；
(2)手写分离：将含有手写体文本的图片中的手写体和印刷体进行分离得到纯手写体图片；
(3)文本定位：对得到所述纯手写体图片中的手写体文本进行定位；
(4)直线检测：检测所述步骤(3)中定位到的所述手写体文本中是否有直线，若有直线则采用水平和垂直核卷积技术来检测直线的具体位置并输出其坐标值；
(5)干扰筛选：对所述纯手写体文本进行干扰字符筛选，并将干扰的手写体字符去掉，得到所需的手写体字符。
2.根据权利要求1所述的基于印刷体模板的手写体分离与定位的方法，其特征在于，所述步骤(2)具体包括以下步骤：
S21 模板匹配：将步骤(1)中的所述空白模板通过至少两种匹配算法利用空白模板的滑动寻找匹配点，将含有手写体文本的图片与所述空白模板进行粗匹配；
S22 模板裁剪：将步骤S21中的与所述含有手写体文本的图片粗匹配好的所述空白模板进行裁剪，使所述空白模板的大小与所述含有手写体文本的图片的大小相同；
S23 特征配准：采用尺度不变特征变换的SIFT算法来寻找关键特征点，使所述空白模板与所述含有手写体文本的图片中的文本内容重合，使所述空白模板与所述含有手写体文本的图片配准；
S24 差异检测：对步骤S23中配准后的所述含有手写体文本的图片，采用不同区域检测算法将其和所述空白模板图片进行对比检测，找出所述空白模板与所述含有手写体文本的图片中的不同区域得到检测结果图，记为图A；
S25 模板相减：将步骤S23中配准后的所述含有手写体文本的图片，通过对所述空白模板和所述含有手写体文本的图片采用模板灰度处理后得到的值进行直接相减操作，得到相减结果图，记为图B；
S26 相同检测：将步骤S24得到的图A与步骤S25得到的图B通过异或运算法去掉图片中手写部分的内容，得到图C；
S27 手写提取：再次将所述图A和图B做或运算得到重叠后的全部文本内容，记作图D；再将图D与图C做相减运算，再经腐蚀处理及高斯去噪后，得到最终的所述纯手写体图片。
3.根据权利要求2所述的基于印刷体模板的手写体分离与定位的方法，其特征在于，所述步骤(1)的所述空白模板和含有手写体文本的图片的印刷体文本内容及文本内容的位置均相同；所属步骤(1)中的所述二值化处理具体过程为：设定全局阈值128，将大于128的像素群像素值设定为白色，将小于128的像素群像素值设定为黑色；所述轮廓提取采用基于边界跟踪的数字化二值图像拓扑分析算法，该基于边界跟踪的数字化二值图像拓扑分析算法确定二值图像边界的围绕关系，从而定位到图像边界；所述霍夫变换检测是对输入的二值图像中的像素点，按照步长分别计算出每个点上的所有可能的直线，同时记录下每条直线经过的点数，按照阈值筛选符合条件的图像，从而达到图像检测的目的，通过霍夫变换检测可以进行直线检测，并根据得到的直线起始和终止的坐标值计算得到其上部的文本区域的坐标值。
4.根据权利要求2所述的基于印刷体模板的手写体分离与定位的方法，其特征在于，所述步骤(3)中文本定位采用EAST深度学习算法进行定位，所述EAST算法是通过全卷积网络FCN和非极大值抑制NMS，消除中间的冗余过程，减少检测时间来对文本图片中的文本进行定位；所述EAST算法是基于PVANet网络，提取不同尺寸卷积核下的特征并对其进行组合，将组合后的特征再通过上池化和合并处理后恢复到原图的尺寸，接着依次送入个数为128、64、32的卷积核中做卷积操作，最后分别得到图片中每个文本的得分和文本的形状，达到文本检测的目的。
5.根据权利要求2所述的基于印刷体模板的手写体分离与定位的方法，其特征在于，所述步骤(5)中所述纯手写体文本进行干扰字符筛选通过对字符的坐标进行筛选来实现，坐标筛选分两份坐标列表进行，一份为所述空白模板的文本坐标，一份为分离后的纯手写体文本坐标，通过设定的阀值来比较两份坐标的差值范围来保留目标项和剔除非选项。
6.根据权利要求2所述的基于印刷体模板的手写体分离与定位的方法，其特征在于，所述步骤S21中的模板匹配的方法为平方差匹配方法，具体的匹配过程如下：
S211 读取图片，将所述空白模板的图像在待匹配图像上进行滑动；
S212 滑动每个定格得到子图坐标矩阵，再将其归一化；
S213 计算相关系数，找出所述相关系数的最大值的坐标；
S214 根据所述相关系数的最大值坐标得到匹配点。
7.根据权利要求6所述的基于印刷体模板的手写体分离与定位的方法，其特征在于，所述步骤S23中采用尺度不变特征变换的SIFT算法来寻找关键特征点完成所述空白模板与所述含有手写体文本的图片两幅图像中的特征点的检测和配准的具体过程为：
S231 对其中一张图片通过高斯微分函数在其所有尺度空间上的图像进行极值点的检测；为了寻找尺度空间上的极值点，它采取相邻点比较的方式来筛选极值采样点，看其在图像域和尺度域上相邻点的大小，选取稳定的采样点作为特征点；
S232 通过拟和三维二次函数以确定关键点的位置和尺度，同时去除低对比度的关键点和不稳定的边缘响应点，以增强匹配稳定性、提高抗噪声能力；
S233 采用关键点特征向量的欧式距离来作为所述空白模板与所述含有手写体文本的图片两幅图像中关键点的相似性判定度量，从而达到两张图片配准的目的。
8.根据权利要求7所述的基于印刷体模板的手写体分离与定位的方法，其特征在于，所述步骤S24中采用的不同区域检测算法的具体过程为：将步骤S22中裁剪后所述空白模板与所述含有手写体文本的图片进行所述二值化处理，处理后进行同一位置的逐像素比对，对白色像素差异区域进行保留，并对黑色像色区域进行反转即将像素值0改为255，也一并保留在差异区域的图片上；这样可以完全输出所述空白模板与所述含有手写体文本的图片的不同区域。
9.根据权利要求8所述的基于印刷体模板的手写体分离与定位的方法，其特征在于，所述步骤S26中异或运算法具体为：对图A和图B进行异或运算，即对同一位置的像素点进行灰度值异或运算，相同灰度值的情况下将灰度值设置为0，不同灰度值情况下设置为1，从而输出图片C。
10.根据权利要求9所述的基于印刷体模板的手写体分离与定位的方法，其特征在于，所述步骤S27中将图D与图C做相减运算，再经腐蚀处理及高斯去噪的具体过程为：
S271 将图D和图C按其对应像素矩阵作矩阵相减运算；
S272 设定腐蚀的结构元为矩形结构元，大小为3*3矩阵；
S273 利用已设定的结构元对相减运算后的图片进行卷积运算即腐蚀；
S274 设置高斯低通滤波器参数；
S275 利用高斯低通滤波器对图像矩阵进行加权平均，去除噪点。
CN201910296306.9A 2019-04-13 2019-04-13 一种基于印刷体模板的手写体分离与定位方法 Active CN110020692B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910296306.9A CN110020692B (zh) 2019-04-13 2019-04-13 一种基于印刷体模板的手写体分离与定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910296306.9A CN110020692B (zh) 2019-04-13 2019-04-13 一种基于印刷体模板的手写体分离与定位方法

Publications (2)

Publication Number Publication Date
CN110020692A true CN110020692A (zh) 2019-07-16
CN110020692B CN110020692B (zh) 2023-04-07

Family

ID=67191270

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910296306.9A Active CN110020692B (zh) 2019-04-13 2019-04-13 一种基于印刷体模板的手写体分离与定位方法

Country Status (1)

Country Link
CN (1) CN110020692B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110378310A (zh) * 2019-07-25 2019-10-25 南京红松信息技术有限公司 一种基于答案库的手写样本集的自动生成方法
CN110991439A (zh) * 2019-12-09 2020-04-10 南京红松信息技术有限公司 一种基于像素级多特征联合分类的手写体字符的提取方法
CN111079502A (zh) * 2019-07-26 2020-04-28 广东小天才科技有限公司 一种识别书写内容的方法及电子设备
CN111401352A (zh) * 2020-03-13 2020-07-10 深圳前海环融联易信息科技服务有限公司 文本图片下划线识别方法、装置、计算机设备及存储介质
CN111652233A (zh) * 2020-06-03 2020-09-11 哈尔滨工业大学（威海） 一种针对复杂背景的文本验证码自动识别方法
CN112288009A (zh) * 2020-10-29 2021-01-29 西安电子科技大学 一种基于模板匹配的r-sift芯片硬件木马图像配准方法
CN113158928A (zh) * 2021-04-27 2021-07-23 浙江云奕科技有限公司 一种基于图像识别的混凝土试块防造假方法
CN113642573A (zh) * 2021-07-20 2021-11-12 南京红松信息技术有限公司 一种基于栅格的图片分离方法
CN114937274A (zh) * 2022-05-31 2022-08-23 平安科技（深圳）有限公司 基于人工智能的手写字体擦除方法、装置、设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102663388A (zh) * 2012-03-27 2012-09-12 复旦大学 从背景图片中对手写体字符进行分割的方法
US20150169949A1 (en) * 2013-12-16 2015-06-18 Google Inc. Segmentation of Devanagari-Script Handwriting for Recognition
CN106408021A (zh) * 2016-09-18 2017-02-15 南通大学 一种基于笔画粗细的手写体与印刷体的鉴别算法
CN107729865A (zh) * 2017-10-31 2018-02-23 中国科学技术大学 一种手写体数学公式离线识别方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102663388A (zh) * 2012-03-27 2012-09-12 复旦大学 从背景图片中对手写体字符进行分割的方法
US20150169949A1 (en) * 2013-12-16 2015-06-18 Google Inc. Segmentation of Devanagari-Script Handwriting for Recognition
CN106408021A (zh) * 2016-09-18 2017-02-15 南通大学 一种基于笔画粗细的手写体与印刷体的鉴别算法
CN107729865A (zh) * 2017-10-31 2018-02-23 中国科学技术大学 一种手写体数学公式离线识别方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
K.C. SANTOSH等: "Handwritten and Printed Text Separation in Real Document", 《ARXIV》 *
PARUL SAHARE等: "Separation of Handwritten and Machine-Printed Texts from Noisy Documents Using Contourlet Transform", 《ARABIAN JOURNAL FOR SCIENCE AND ENGINEERING》 *
刘鸣等: "快递单扫描图像中的用户手写信息区域的定位与处理", 《电脑知识与技术》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110378310A (zh) * 2019-07-25 2019-10-25 南京红松信息技术有限公司 一种基于答案库的手写样本集的自动生成方法
CN110378310B (zh) * 2019-07-25 2023-10-10 南京红松信息技术有限公司 一种基于答案库的手写样本集的自动生成方法
CN111079502A (zh) * 2019-07-26 2020-04-28 广东小天才科技有限公司 一种识别书写内容的方法及电子设备
CN110991439A (zh) * 2019-12-09 2020-04-10 南京红松信息技术有限公司 一种基于像素级多特征联合分类的手写体字符的提取方法
CN111401352A (zh) * 2020-03-13 2020-07-10 深圳前海环融联易信息科技服务有限公司 文本图片下划线识别方法、装置、计算机设备及存储介质
CN111401352B (zh) * 2020-03-13 2023-10-20 深圳前海环融联易信息科技服务有限公司 文本图片下划线识别方法、装置、计算机设备及存储介质
CN111652233B (zh) * 2020-06-03 2023-04-25 哈尔滨工业大学（威海） 一种针对复杂背景的文本验证码自动识别方法
CN111652233A (zh) * 2020-06-03 2020-09-11 哈尔滨工业大学（威海） 一种针对复杂背景的文本验证码自动识别方法
CN112288009A (zh) * 2020-10-29 2021-01-29 西安电子科技大学 一种基于模板匹配的r-sift芯片硬件木马图像配准方法
CN113158928A (zh) * 2021-04-27 2021-07-23 浙江云奕科技有限公司 一种基于图像识别的混凝土试块防造假方法
CN113158928B (zh) * 2021-04-27 2023-09-19 浙江云奕科技有限公司 一种基于图像识别的混凝土试块防造假方法
CN113642573A (zh) * 2021-07-20 2021-11-12 南京红松信息技术有限公司 一种基于栅格的图片分离方法
CN113642573B (zh) * 2021-07-20 2023-10-13 南京红松信息技术有限公司 一种基于栅格的图片分离方法
CN114937274A (zh) * 2022-05-31 2022-08-23 平安科技（深圳）有限公司 基于人工智能的手写字体擦除方法、装置、设备及介质

Also Published As

Publication number Publication date
CN110020692B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN110020692A (zh) 一种基于印刷体模板的手写体分离与定位方法
CN110378310B (zh) 一种基于答案库的手写样本集的自动生成方法
CN104751187B (zh) 抄表图像自动识别方法
Saxena Niblack’s binarization method and its modifications to real-time applications: a review
CN112686812B (zh) 银行卡倾斜矫正检测方法、装置、可读存储介质和终端
CN110119741B (zh) 一种有背景的卡证图像信息识别方法
CN110298376B (zh) 一种基于改进b-cnn的银行票据图像分类方法
Gebhardt et al. Document authentication using printing technique features and unsupervised anomaly detection
Garz et al. Layout analysis for historical manuscripts using sift features
CN104408449A (zh) 智能移动终端场景文字处理方法
CN112712273B (zh) 一种基于骨架相似度的手写体汉字美观度评判方法
CN112734729B (zh) 适用于夜间补光条件的水尺水位线图像检测方法、装置及存储介质
CN104123554A (zh) 基于mmtd的sift图像特征提取方法
CN112329756A (zh) 一种印章提取及文字识别的方法及装置
Garz et al. A binarization-free clustering approach to segment curved text lines in historical manuscripts
CN113158895A (zh) 票据识别方法、装置、电子设备及存储介质
CN111339932B (zh) 一种掌纹图像预处理方法和系统
CN113011426A (zh) 一种识别证件的方法和装置
CN107784263A (zh) 基于改进加速鲁棒特征的平面旋转人脸检测的方法
CN109711420B (zh) 基于人类视觉注意机制的多仿射目标的检测与识别方法
CN107609482B (zh) 一种基于汉字笔画特征的中文文本图像倒置判别方法
Gui et al. A fast caption detection method for low quality video images
Raj et al. Grantha script recognition from ancient palm leaves using histogram of orientation shape context
Ueda et al. Automatic verification system for seal imprints on Japanese bankchecks
CN114926635B (zh) 与深度学习方法相结合的多焦图像中目标分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant