CN115082945A - 一种基于深度学习的灰度印章着色方法 - Google Patents

一种基于深度学习的灰度印章着色方法 Download PDF

Info

Publication number
CN115082945A
CN115082945A CN202210513524.5A CN202210513524A CN115082945A CN 115082945 A CN115082945 A CN 115082945A CN 202210513524 A CN202210513524 A CN 202210513524A CN 115082945 A CN115082945 A CN 115082945A
Authority
CN
China
Prior art keywords
image
seal
stamp
coloring
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210513524.5A
Other languages
English (en)
Inventor
李鸿达
王振鑫
宋进
贺亮
林禹全
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin Province Jilin Xiangyun Information Technology Co ltd
Original Assignee
Jilin Province Jilin Xiangyun Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin Province Jilin Xiangyun Information Technology Co ltd filed Critical Jilin Province Jilin Xiangyun Information Technology Co ltd
Priority to CN202210513524.5A priority Critical patent/CN115082945A/zh
Publication of CN115082945A publication Critical patent/CN115082945A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/414—Extracting the geometrical structure, e.g. layout tree; Block segmentation, e.g. bounding boxes for graphics or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/146—Aligning or centring of the image pick-up or image-field
    • G06V30/147—Determination of region of interest
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/1918—Fusion techniques, i.e. combining data from various sources, e.g. sensor fusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

一种基于深度学习的灰度印章着色方法。本发明涉及印章识别技术领域，解决了现有印章识别技术很难分离出文字中重叠的灰度印章的问题。本发明方法包括以下步骤：S1、采用目标检测网络对灰度文档图像进行印章目标检测，获得印章在文档图像中的位置信息；S2、根据位置信息裁切印章区域，作为印章实例图像，并统一印章实例图像的尺寸；S3、通过着色网络对印章实例图像和灰度文档图像进行着色；S4、通过特征融合模块对实例着色网络的全尺寸图像着色网络的中间层特征进行特征融合，得到全局的着色结果。本发明可应用于文档印章识别工作中，还原灰度印章图像的色彩信息后，后续能够根据颜色特征，对印章和背景的文字进行分离，应用前景良好。

Description

一种基于深度学习的灰度印章着色方法
技术领域
本发明涉及印章识别技术领域，具体涉及基于深度学习的灰度印章着色技术。
背景技术
印章为作最高法律效力的认证工具，被广泛应用于官方公告、合同协议、证照文件等文档中。印章中通常包含发证机关等关键信息，准确提取文档图像中的印章信息，是文档图像识别中的必要环节。常见的印章识别方式是首先根据印章的颜色特征，从图像中提取印章，将印章和文档文字进行分离，之后再分析识别印章中的文字信息，此种方式适用于保留了印章色彩特征的彩色文档图像。现有的关于印章识别的技术大多集中于对彩色图像中彩色印章的识别分析，但在实际业务中，往往存在大量复印和扫描文件，而此类文件通常为灰度图像，其中的文字和印章均为黑色，因此对重叠的印章和文字很难分离。
发明内容
为了解决现有印章识别技术很难分离出文字中重叠的灰度印章的问题，本发明提出了一种基于深度学习的灰度印章着色方法。
技术方案如下：
一种基于深度学习的灰度印章着色方法，包括以下步骤：
S1、采用目标检测网络对灰度文档图像进行印章目标检测，获得印章在文档图像中的位置信息；
S2、根据位置信息裁切印章区域，作为印章实例图像，并统一印章实例图像的尺寸；
S3、通过着色网络对印章实例图像和灰度文档图像进行着色；
S4、通过融合模块对实例着色网络的全尺寸图像着色网络的中间层特征进行特征融合，得到全局的着色结果。
优选地，步骤S1中所述目标检测网络为Faster RCNN网络，所述步骤S1进一步包括：
S11、通过卷积网络模块提取图像特征，得到特征图；
S12、通过区域候选模块提取感兴趣区域，即为印章的锚定框；
S13、将存在的一个或多个感兴趣区域统一为固定尺寸；
S14、通过全连接层进行锚定框的回归和类别判断，得到印章在文档图像中的位置信息。
优选地，步骤S2中所述印章实例图像尺寸统一设置为256x256像素。
优选地，步骤S3中所述着色网络包括实例着色网络和全尺寸图像着色网络，分别用于对印章实例图像和灰度文档图像进行着色。
优选地，所述着色网络的主干网络均为U-net。
优选地，所述U-net由10个卷积层组成，其中卷积层1～4用于实现图像下采样操作，降低特征图的长度和宽度，增加通道数目；卷积层5～卷积层6通过空洞卷积操作增加网络的感受野；卷积层7～卷积层10用于实现上采样操作，逐步恢复特征图的尺寸，同时降低特征图的通道数。
优选地，所述10个卷积层的过滤器尺寸均为3x3。
优选地，步骤S4进一步包括：
S41、输入全尺寸图像特征图、印章实例图像特征图以及对应的位置信息；
S42、印章实例图像特征图和全尺寸图像特征图分别经过三层的卷积层进行处理，预测得到相应的权重图；
S43、结合印章实例图像的锚定框信息，调整印章实例特征图和对应权重图的尺寸，通过补0操作匹配原始图像尺寸；
S44、对印章实例特征图和全尺寸图像特征图，结合权重图，进行加权得到最终的特征融合结果。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序执行如上所述的基于深度学习的灰度印章着色方法。
本发明还提供了一种电子设备，包括处理器和存储器，其中处理器、存储器通过通信总线完成相互间的通信；存储器，用于存储计算机程序；处理器，用于执行存储器上所存放发计算机程序时，实现如上所述的基于深度学习的灰度印章着色方法。
与现有技术相比，本发明解决了难以分离出文字中重叠的灰度印章的问题，具体有益效果为：
1.本发明通过Faster RCNN能够准确定位灰度文档图像中印章的位置；通过两个着色网络分别对印章局部图像和原始图像进行着色，能够有效结合对象级的语义信息；对目标局部着色结果可能与背景颜色不兼容，通过融合模块对两个网络中的特征图进行逐层融合，能够有效避免简单混合产生的视觉伪像的问题。
2.应用本发明提供的灰度印章着色方法，还原灰度印章图像的色彩信息后，后续能够根据颜色特征，对印章和背景的文字进行分离，有利于文档内容的识别与分析，本发明在文档印章识别工作中有着良好的应用前景。
附图说明
图1为本发明提供的灰度印章着色方法流程示意图；
图2为实施例2中所述目标检测网络工作流程实体图；
图3为实施例4中所述着色网络的工作流程示意图；
图4为实施例8中所述特征融合模块工作流程示意图。
具体实施方式
为使本发明的技术方案更加清楚，下面将结合本发明的说明书附图，对本发明实施例中的技术方案进行清楚、完整地描述，需要说明的是，以下实施例仅用于更好地理解本发明的技术方案，而不应理解为对本发明的限制。
实施例1.
如图1所示，本实施例提供了一种基于深度学习的灰度印章着色方法，包括以下步骤：
S1、采用目标检测网络对灰度文档图像进行印章目标检测，获得印章在文档图像中的位置信息；
S2、根据位置信息裁切印章区域，作为印章实例图像，并统一印章实例图像的尺寸；
S3、通过着色网络对印章实例图像和灰度文档图像进行着色；
S4、通过特征融合模块对实例着色网络的全尺寸图像着色网络的中间层特征进行特征融合，得到全局的着色结果。
本实施例解决了现有印章识别技术很难分离出文字中重叠的灰度印章的问题。应用本实施例提供的着色方法，还原灰度印章图像的色彩信息后，后续能够根据颜色特征，对印章和背景的文字进行分离，有利于文档内容的识别与分析。
实施例2.
结合图2可以更好理解本实施例，本实施例为对实施例1的进一步举例说明，其中步骤S1中所述目标检测网络为Faster RCNN网络，所述步骤S1进一步包括：
S11、通过卷积网络模块提取图像特征，得到特征图；
S12、通过区域候选模块提取感兴趣区域，即为印章的锚定框；
S13、将存在的一个或多个感兴趣区域统一为固定尺寸；
S14、通过全连接层进行锚定框的回归和类别判断，得到印章在文档图像中的位置信息。
本实施例应用Faster RCNN网络，能够准确定位灰度文档图像中印章的位置，保障后续着色等操作位置准确。
实施例3.
本实施例为对实施例1的进一步举例说明，其中步骤S2中所述印章实例图像尺寸统一设置为256x256像素。
实施例4.
结合图3可以更好理解本实施例，本实施例为对实施例1的进一步举例说明，其中步骤S3中所述着色网络包括实例着色网络和全尺寸图像着色网络，分别用于对印章实例图像和灰度文档图像进行着色。本实施例通过两个着色网络分别对印章局部图像和原始图像进行着色，能够有效结合对象级的语义信息。
实施例5.
本实施例为对实施例4的进一步举例说明，所述着色网络的主干网络均为U-net。
实施例6.
本实施例为对实施例5的进一步举例说明，所述U-net由10个卷积层组成，其中卷积层1～4用于实现图像下采样操作，降低特征图的长度和宽度，增加通道数目；卷积层5～卷积层6通过空洞卷积操作增加网络的感受野；卷积层7～卷积层10用于实现上采样操作，逐步恢复特征图的尺寸，同时降低特征图的通道数。
实施例7.
本实施例为对实施例6的进一步举例说明，所述10个卷积层的过滤器尺寸均为3x3。
实施例8.
结合图4可以更好理解本实施例，本实施例为对实施例1的进一步举例说明，其中步骤S4进一步包括：
S41、输入全尺寸图像特征图、印章实例图像特征图以及对应的位置信息；
S42、印章实例图像特征图和全尺寸图像特征图分别经过三层的卷积层进行处理，预测得到相应的权重图；
S43、结合印章实例图像的锚定框信息，调整印章实例特征图和对应权重图的尺寸，通过补0操作匹配原始图像尺寸；
S44、对印章实例特征图和全尺寸图像特征图，结合权重图，进行加权得到最终的特征融合结果。
本实施例考虑到目标局部着色结果可能与背景颜色不兼容，通过融合模块对两个网络中的特征图进行逐层融合，能够有效避免简单混合产生的视觉伪像的问题。
实施例9.
本实施例提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序执行如实施例1-8中任意一项所述的基于深度学习的灰度印章着色方法。
实施例10.
本实施例提供了一种电子设备，包括处理器和存储器，其中处理器、存储器通过通信总线完成相互间的通信；存储器，用于存储计算机程序；处理器，用于执行存储器上所存放发计算机程序时，实现如实施例1-8中任意一项所述的基于深度学习的灰度印章着色方法。

Claims (10)

1.一种基于深度学习的灰度印章着色方法，其特征在于，包括以下步骤：
S1、采用目标检测网络对灰度文档图像进行印章目标检测，获得印章在文档图像中的位置信息；
S2、根据位置信息裁切印章区域，作为印章实例图像，并统一印章实例图像的尺寸；
S3、通过着色网络对印章实例图像和灰度文档图像进行着色；
S4、通过融合模块对实例着色网络的全尺寸图像着色网络的中间层特征进行特征融合，得到全局的着色结果。
2.根据权利要求1所述的基于深度学习的灰度印章着色方法，其特征在于，步骤S1中所述目标检测网络为Faster RCNN网络，所述步骤S1进一步包括：
S11、通过卷积网络模块提取图像特征，得到特征图；
S12、通过区域候选模块提取感兴趣区域，即为印章的锚定框；
S13、将存在的一个或多个感兴趣区域统一为固定尺寸；
S14、通过全连接层进行锚定框的回归和类别判断，得到印章在文档图像中的位置信息。
3.根据权利要求1所述的基于深度学习的灰度印章着色方法，其特征在于，步骤S2中所述印章实例图像尺寸统一设置为256x256像素。
4.根据权利要求1所述的基于深度学习的灰度印章着色方法，其特征在于，步骤S3中所述着色网络包括实例着色网络和全尺寸图像着色网络，分别用于对印章实例图像和灰度文档图像进行着色。
5.根据权利要求4所述的基于深度学习的灰度印章着色方法，其特征在于，所述着色网络的主干网络均为U-net。
6.根据权利要求5所述的基于深度学习的灰度印章着色方法，其特征在于，所述U-net由10个卷积层组成，其中卷积层1～4用于实现图像下采样操作，降低特征图的长度和宽度，增加通道数目；卷积层5～卷积层6通过空洞卷积操作增加网络的感受野；卷积层7～卷积层10用于实现上采样操作，逐步恢复特征图的尺寸，同时降低特征图的通道数。
7.根据权利要求6所述的基于深度学习的灰度印章着色方法，其特征在于，所述10个卷积层的过滤器尺寸均为3x3。
8.根据权利要求1所述的基于深度学习的灰度印章着色方法，其特征在于，步骤S4进一步包括：
S41、输入全尺寸图像特征图、印章实例图像特征图以及对应的位置信息；
S42、印章实例图像特征图和全尺寸图像特征图分别经过三层的卷积层进行处理，预测得到相应的权重图；
S43、结合印章实例图像的锚定框信息，调整印章实例特征图和对应权重图的尺寸，通过补0操作匹配原始图像尺寸；
S44、对印章实例特征图和全尺寸图像特征图，结合权重图，进行加权得到最终的特征融合结果。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机程序，所述计算机程序执行如权利要求1-8中任意一项所述的基于深度学习的灰度印章着色方法。
10.一种电子设备，其特征在于，包括处理器和存储器，其中处理器、存储器通过通信总线完成相互间的通信；存储器，用于存储计算机程序；处理器，用于执行存储器上所存放发计算机程序时，实现如权利要求1-8中任意一项所述的基于深度学习的灰度印章着色方法。
CN202210513524.5A 2022-05-12 2022-05-12 一种基于深度学习的灰度印章着色方法 Pending CN115082945A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210513524.5A CN115082945A (zh) 2022-05-12 2022-05-12 一种基于深度学习的灰度印章着色方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210513524.5A CN115082945A (zh) 2022-05-12 2022-05-12 一种基于深度学习的灰度印章着色方法

Publications (1)

Publication Number Publication Date
CN115082945A true CN115082945A (zh) 2022-09-20

Family

ID=83246864

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210513524.5A Pending CN115082945A (zh) 2022-05-12 2022-05-12 一种基于深度学习的灰度印章着色方法

Country Status (1)

Country Link
CN (1) CN115082945A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115546790A (zh) * 2022-11-29 2022-12-30 深圳智能思创科技有限公司 文档版面分割方法、装置、设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115546790A (zh) * 2022-11-29 2022-12-30 深圳智能思创科技有限公司 文档版面分割方法、装置、设备及存储介质
CN115546790B (zh) * 2022-11-29 2023-04-07 深圳智能思创科技有限公司 文档版面分割方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN109658042B (zh) 基于人工智能的复审方法、装置、设备及存储介质
US11790499B2 (en) Certificate image extraction method and terminal device
CN109934828B (zh) 基于Compact SegUnet自学习模型的双染色体图像切割方法
Chen et al. Shadow-based Building Detection and Segmentation in High-resolution Remote Sensing Image.
CN110097059B (zh) 基于生成对抗网络的文档图像二值化方法、系统、装置
CN109635805B (zh) 图像文本定位方法及装置、图像文本识别方法及装置
CN111046760B (zh) 一种基于域对抗网络的笔迹鉴定方法
CN113657409A (zh) 车辆损失检测方法、装置、电子设备及存储介质
WO2021135552A1 (zh) 基于深度学习的分割效果评估方法、装置、设备及介质
Thajeel et al. A Novel Approach for Detection of Copy Move Forgery using Completed Robust Local Binary Pattern.
CN108648189B (zh) 图像模糊检测方法、装置、计算设备及可读存储介质
Mahale et al. Image inconsistency detection using local binary pattern (LBP)
CN111914654A (zh) 一种文本版面分析方法、装置、设备和介质
CN115082945A (zh) 一种基于深度学习的灰度印章着色方法
CN112101205A (zh) 基于多任务网络的训练方法和装置
CN113887378A (zh) 子宫颈液基细胞数字病理图像检测方法及系统
CN115797336A (zh) 光伏组件的故障检测方法、装置、电子设备和存储介质
CN116071294A (zh) 一种光纤表面缺陷检测方法和装置
CN117197763A (zh) 基于交叉注意引导特征对齐网络的道路裂缝检测方法和系统
CN112364863B (zh) 证照文档的文字定位方法及系统
CN112215225A (zh) 一种基于计算机视觉技术的kyc证件核验方法
CN111104944A (zh) 一种基于r-fcn的车牌字符检测及分割方法
CN116721320A (zh) 基于多尺度特征融合的通用图像篡改取证方法及系统
CN115578362A (zh) 电极涂层的缺陷检测方法、装置、电子设备及介质
CN113065407B (zh) 基于注意力机制和生成对抗网络的财务票据印章擦除方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination