CN113989481A - 一种合同文本图像印章检测和去除方法 - Google Patents

一种合同文本图像印章检测和去除方法 Download PDF

Info

Publication number
CN113989481A
CN113989481A CN202111248937.7A CN202111248937A CN113989481A CN 113989481 A CN113989481 A CN 113989481A CN 202111248937 A CN202111248937 A CN 202111248937A CN 113989481 A CN113989481 A CN 113989481A
Authority
CN
China
Prior art keywords
seal
picture
pictures
detecting
color space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111248937.7A
Other languages
English (en)
Inventor
石朵伟
陈淑华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Qianhai Huanrong Lianyi Information Technology Service Co Ltd
Original Assignee
Shenzhen Qianhai Huanrong Lianyi Information Technology Service Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Qianhai Huanrong Lianyi Information Technology Service Co Ltd filed Critical Shenzhen Qianhai Huanrong Lianyi Information Technology Service Co Ltd
Priority to CN202111248937.7A priority Critical patent/CN113989481A/zh
Publication of CN113989481A publication Critical patent/CN113989481A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种合同文本图像印章检测和去除方法，本发明通过深度学习网络检测印章和HSV颜色空间去除印章方法，解决印章对OCR文本识别精度影响，利用深度学习可以有效地针对不同形状印章进行检测，对检测加盖印章区域进行HSV颜色空间变换，实现该区域中印章和文字分离，提取该区域文字信息，实现去除印章效果，提高OCR文本识别的精度。

Description

一种合同文本图像印章检测和去除方法
技术领域
本发明涉及OCR文字识别技术领域，尤其涉及一种合同文本图像印章检测和去除方法。
背景技术
OCR(optical character recognition)文字识别是指电子设备(例如扫描仪或数码相机)检查纸上打印的字符，然后用字符识别方法将形状翻译成计算机文字的过程；即对文本资料进行扫描，然后对图像文件进行分析处理，获取文字及版面信息的过程。在业务流程中用户上传的合同类文本图片中包含印章(矩形印章、圆形印章、圆弧形印章以及部分印章)会影响OCR文本识别结果，OCR会识别出印章中文字信息，影响后期文本关键信息提取。现有的技术一般使用颜色模型基于颜色RGB通道分离整张图片中印章的方法。但是由于合同类文本图像中印章的大小、形状、印章的具体位置分布以及盖章时所受用力、印泥质量、光照等因素都会各不相同，导致对整张图片进行颜色RGB通道分离印章的方法会出现阈值很难控制。而且图片清晰度高低直接影响识别效果，基于颜色RGB通道分离印章的方法可能会造成非印章区域中文本信息丢失。
因此，现有技术存在缺陷，需要改进。
发明内容
本发明的目的是克服现有技术的不足，提供一种合同文本图像印章检测和去除方法。
本发明的技术方案如下：提供一种合同文本图像印章检测和去除方法，包括如下步骤：
步骤1：对读入的合同类文本图像进行预处理；
步骤2：基于Darknet53骨干网络Yolov3检测网络进行深度学习网络检测并定位不同形状印章区域；
步骤3：在HSV颜色空间提取特征并去除印章特征；
步骤4：输出图像，完成印章去除。
进一步地，所述步骤1的具体步骤如下：
步骤1.1：对读入的图片进行预判，利用傅里叶变换对读入的图片进行分类，将图片分为正常图片或噪声图片；
步骤1.2：若经过步骤1.1判别为正常图片，直接结束图片处理流程；
步骤1.3：若经过步骤1.1判别为噪声图片，则利用小波变换对图片进行降噪。
进一步地，所述步骤2的具体步骤如下：
步骤2.1：基于Darknet53骨干网络Yolov3检测网络，对印章进行检测分类，检测类别分为矩形印章、圆形印章、圆弧形印章以及部分印章4个类别；
步骤2.2：输入特征图，将输入的特征图与输出特征图对应维度进行相加；
步骤2.3：通过Darknet53网络进行3个不同尺度的检测；
步骤2.4：在3个不同尺度下设定3种先验框，使用Kmeans聚类方法来决定9种尺寸的先验框；
步骤2.5：通过Logistic回归预测对象类别；
步骤2.6：在Yolov3检测网络计算损失函数；
步骤2.7：检测并定位不同形状印章区域。
进一步地，所述步骤3的具体步骤如下：
步骤3.1：读取合同类文本图片，通过深度学习网络检测印章位置并裁切该部分图片；
步骤3.2：将裁切印章部分的RGB图片转化到HSV颜色空间进行颜色分离；
步骤3.3：计算HSV颜色空间中三通道图片的统计直方图，确定最佳阈值；
步骤3.4：设定提取印章特征HSV三个通道阈值，从HSV颜色空间中提取印章特征；
步骤3.5：统计该部分印章特征HSV三通道的均值，设定提取文本体征HSV三个通道动态阈值，从HSV颜色空间中提取图片文本特征；
步骤3.6：对印章特征区域和文本特征区域进行逻辑运算“与”操作，得到印章特征和文本特征的共同区域；
步骤3.7：共同区域减去印章区域得到掩模图片；
步骤3.8：利用掩模图片对原图像进行逐像素点掩模操作，得到去除印章后的图片。
采用上述方案，本发明通过深度学习网络检测印章和HSV颜色空间去除印章方法，解决印章对OCR文本识别精度影响，利用深度学习可以有效地针对不同形状印章进行检测，对检测加盖印章区域进行HSV颜色空间变换，实现该区域中印章和文字分离，提取该区域文字信息，实现去除印章效果，提高OCR文本识别的精度。
附图说明
图1为本发明的流程框图。
具体实施方式
以下结合附图和具体实施例，对本发明进行详细说明。
请参阅图1，本发明提供一种合同文本图像印章检测和去除方法，包括如下步骤：
步骤1：对读入的合同类文本图像进行预处理。
用户提供的合同类文本图像存在大量的纹理噪声图片，纹理噪声图片会对后续边缘检测和直线检测产生较强的干扰，因此，需要对读入的图片进行预判，并对纹理噪声图片进行降噪。
图片的频率是表征图像中灰度变化剧烈程度的指标，是灰度在平面空间上的梯度。一般来讲，梯度大则该点的亮度强，否则该点亮度弱。这样通过观察傅里叶变换后的频谱图，也叫功率图，以此可知，在图片的能量分布中，如果频谱图中暗的点数更多，因为各点与邻域差异都不大，梯度相对较小，因此实际图像比较柔和；反之，如果频谱图中亮的点数多，那么实际图像一定是尖锐的，边界分明且边界两边像素差异较大。对频谱移频到原点以后，可以看出图像的频率分布是以原点为圆心，对称分布的。同时，还可以分离出有周期性规律的干扰信号，以此判断出读入的图片是正常图片或噪声图片。
具体步骤如下：
步骤1.1：对读入的图片进行预判，利用傅里叶变换对读入的图片进行分类，将图片分为正常图片或噪声图片。
步骤1.2：若经过步骤1.1判别为正常图片，直接结束图片处理流程。
步骤1.3：若经过步骤1.1判别为噪声图片，则利用小波变换对图片进行降噪。
步骤2：基于Darknet53骨干网络Yolov3检测网络进行深度学习网络检测并定位不同形状印章区域。具体步骤如下：
步骤2.1：基于Darknet53骨干网络Yolov3检测网络，对印章进行检测分类，检测类别分为矩形印章、圆形印章、圆弧形印章以及部分印章4个类别。
步骤2.2：输入特征图，将输入的特征图与输出特征图对应维度进行相加。Darknet53网络大量使用3×3与1×1卷积层，通过调节卷积步长来控制输出特征图的尺寸。借用残差网络ResNet思想，将输入的特征图与输出特征图对应维度进行相加，即y＝f(x)+x。
步骤2.3：通过Darknet53网络进行3个不同尺度的检测。Yolov3借鉴了金字塔特征图思想，小尺度特征图用于检测大尺度物体，而大尺度用于检测小尺度物体。总共输出3个特征图，第一个特征图下采样32倍，第二个特征图下采样16倍，第三个下采样8倍。
步骤2.4：在3个不同尺度下设定3种先验框，使用Kmeans聚类方法来决定9种尺寸的先验框。
步骤2.5：通过Logistic回归预测对象类别，Logistic回归可以支持多类别对象预测。
步骤2.6：在Yolov3检测网络计算损失函数。
在Yolov3中，Loss分为三个部分：
一个是xywh带来的误差，也就是bbox带来的Loss；
一个是置信度带来的误差，也就是obj带来的Loss；
最后一个是类别带来的误差，也就是class带来的Loss；
Loss计算公式如下：
Figure BDA0003321791530000051
Figure BDA0003321791530000052
Figure BDA0003321791530000053
Loss＝Lossbox+Losscls+Lossobj
其中：S表示grid size，S2表示14×14，28×28，4×54，B表示box，
Figure BDA0003321791530000061
代表如果在i,j处的box有目标，其值为1，否则为0。
Figure BDA0003321791530000062
表示如果在i,j没有处的box没有目标，其值为1，否则为0。
步骤2.7：检测并定位不同形状印章区域。
步骤3：在HSV颜色空间提取特征并去除印章特征。具体步骤如下：
步骤3.1：读取合同类文本图片，通过深度学习网络检测印章位置并裁切该部分图片。
步骤3.2：将裁切印章部分的RGB图片转化到HSV颜色空间进行颜色分离。
步骤3.3：计算HSV颜色空间中三通道图片的统计直方图，确定最佳阈值。
步骤3.4：设定提取印章特征HSV三个通道阈值，从HSV颜色空间中提取印章特征。
步骤3.5：统计该部分印章特征HSV三通道的均值，设定提取文本体征HSV三个通道动态阈值，从HSV颜色空间中提取图片文本特征。
所述HSV三通道的均值可通过如下公式得出：
Figure BDA0003321791530000063
其中：SealV_mean为印章特征V通道均值，SealV_total为印章特征区域对应的V值总和，SealV_area为印章特征包含总像素点数量。
TEXTV_threshold＝0.88*SealV_mean-10
其中：TEXTV_threshold为文本特征提取V通道阈值，SealV_mean为印章特征V通道均值。
步骤3.6：对印章特征区域和文本特征区域进行逻辑运算“与”操作，得到印章特征和文本特征的共同区域。
步骤3.7：共同区域减去印章区域得到掩模图片。
步骤3.8：利用掩模图片对原图像进行逐像素点掩模操作，得到去除印章后的图片。
步骤4：输出图像，完成印章去除。
本发明针对合同类文本图片的预处理，在去除印章的同时，保留图片中完整的文本信息，使得OCR文本识别结果具有更高的准确性和鲁棒性。相对于现有技术在去除印章的过程中可能会把重要文本信息覆盖的情况，本发明基于深度学习印章检测和HSV颜色空间去除合同类文本图像中的印章，大大提高了OCR文本识别的精度。
综上所述，本发明通过深度学习网络检测印章和HSV颜色空间去除印章方法，解决印章对OCR文本识别精度影响，利用深度学习可以有效地针对不同形状印章进行检测，对检测加盖印章区域进行HSV颜色空间变换，实现该区域中印章和文字分离，提取该区域文字信息，实现去除印章效果，提高OCR文本识别的精度。
以上仅为本发明的较佳实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种合同文本图像印章检测和去除方法，其特征在于，包括如下步骤：
步骤1：对读入的合同类文本图像进行预处理；
步骤2：基于Darknet53骨干网络Yolov3检测网络进行深度学习网络检测并定位不同形状印章区域；
步骤3：在HSV颜色空间提取特征并去除印章特征；
步骤4：输出图像，完成印章去除。
2.根据权利要求1所述的合同文本图像印章检测和去除方法，其特征在于，所述步骤1的具体步骤如下：
步骤1.1：对读入的图片进行预判，利用傅里叶变换对读入的图片进行分类，将图片分为正常图片或噪声图片；
步骤1.2：若经过步骤1.1判别为正常图片，直接结束图片处理流程；
步骤1.3：若经过步骤1.1判别为噪声图片，则利用小波变换对图片进行降噪。
3.根据权利要求1所述的合同文本图像印章检测和去除方法，其特征在于，所述步骤2的具体步骤如下：
步骤2.1：基于Darknet53骨干网络Yolov3检测网络，对印章进行检测分类，检测类别分为矩形印章、圆形印章、圆弧形印章以及部分印章4个类别；
步骤2.2：输入特征图，将输入的特征图与输出特征图对应维度进行相加；
步骤2.3：通过Darknet53网络进行3个不同尺度的检测；
步骤2.4：在3个不同尺度下设定3种先验框，使用Kmeans聚类方法来决定9种尺寸的先验框；
步骤2.5：通过Logistic回归预测对象类别；
步骤2.6：在Yolov3检测网络计算损失函数；
步骤2.7：检测并定位不同形状印章区域。
4.根据权利要求1所述的合同文本图像印章检测和去除方法，其特征在于，所述步骤3的具体步骤如下：
步骤3.1：读取合同类文本图片，通过深度学习网络检测印章位置并裁切该部分图片；
步骤3.2：将裁切印章部分的RGB图片转化到HSV颜色空间进行颜色分离；
步骤3.3：计算HSV颜色空间中三通道图片的统计直方图，确定最佳阈值；
步骤3.4：设定提取印章特征HSV三个通道阈值，从HSV颜色空间中提取印章特征；
步骤3.5：统计该部分印章特征HSV三通道的均值，设定提取文本体征HSV三个通道动态阈值，从HSV颜色空间中提取图片文本特征；
步骤3.6：对印章特征区域和文本特征区域进行逻辑运算“与”操作，得到印章特征和文本特征的共同区域；
步骤3.7：共同区域减去印章区域得到掩模图片；
步骤3.8：利用掩模图片对原图像进行逐像素点掩模操作，得到去除印章后的图片。
CN202111248937.7A 2021-10-26 2021-10-26 一种合同文本图像印章检测和去除方法 Pending CN113989481A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111248937.7A CN113989481A (zh) 2021-10-26 2021-10-26 一种合同文本图像印章检测和去除方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111248937.7A CN113989481A (zh) 2021-10-26 2021-10-26 一种合同文本图像印章检测和去除方法

Publications (1)

Publication Number Publication Date
CN113989481A true CN113989481A (zh) 2022-01-28

Family

ID=79741742

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111248937.7A Pending CN113989481A (zh) 2021-10-26 2021-10-26 一种合同文本图像印章检测和去除方法

Country Status (1)

Country Link
CN (1) CN113989481A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117592951A (zh) * 2024-01-19 2024-02-23 南京邮电大学 一种基于张量的多维印章数据处理方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117592951A (zh) * 2024-01-19 2024-02-23 南京邮电大学 一种基于张量的多维印章数据处理方法
CN117592951B (zh) * 2024-01-19 2024-03-22 南京邮电大学 一种基于张量的多维印章数据处理方法

Similar Documents

Publication Publication Date Title
CN110210413B (zh) 一种基于深度学习的多学科试卷内容检测与识别系统及方法
CN107545239B (zh) 一种基于车牌识别与车辆特征匹配的套牌检测方法
CN107133622B (zh) 一种单词的分割方法和装置
US8947736B2 (en) Method for binarizing scanned document images containing gray or light colored text printed with halftone pattern
Pandey et al. An efficient deep neural network with adaptive galactic swarm optimization for complex image text extraction
US20070253040A1 (en) Color scanning to enhance bitonal image
CN110020692B (zh) 一种基于印刷体模板的手写体分离与定位方法
Aggarwal et al. A robust method to authenticate car license plates using segmentation and ROI based approach
Chen et al. Decompose algorithm for thresholding degraded historical document images
Mukherjee et al. Enhancement of image resolution by binarization
Özgen et al. Text detection in natural and computer-generated images
CN113435407B (zh) 一种输电系统的小目标识别方法及装置
CN113688838B (zh) 红色笔迹提取方法、系统、可读存储介质及计算机设备
CN116758045B (zh) 一种半导体发光二极管的表面缺陷检测方法及系统
CN111507337A (zh) 基于混合神经网络的车牌识别方法
CN113989481A (zh) 一种合同文本图像印章检测和去除方法
CN107038690A (zh) 一种基于多特征融合的运动阴影去除方法
Gunawan et al. Automatic number plate recognition for Indonesian license plate by using K-Nearest Neighbor algorithm
CN116030472A (zh) 文字坐标确定方法及装置
Lai et al. Binarization by local k-means clustering for Korean text extraction
JP6377214B2 (ja) テキスト検出方法および装置
Rani et al. Object Detection in Natural Scene Images Using Thresholding Techniques
Kaur et al. Text Extraction from Natural Scene using PCA.
Singh Texture-based real-time character extraction and recognition in natural images
CN113255657B (zh) 票据表面刮痕检测方法、装置、电子设备、机器可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination