CN111291704A - 干扰去除方法、装置、计算机设备和存储介质 - Google Patents

干扰去除方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN111291704A
CN111291704A CN202010110719.6A CN202010110719A CN111291704A CN 111291704 A CN111291704 A CN 111291704A CN 202010110719 A CN202010110719 A CN 202010110719A CN 111291704 A CN111291704 A CN 111291704A
Authority
CN
China
Prior art keywords
image
interference information
data
interference
data image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010110719.6A
Other languages
English (en)
Inventor
周康明
王庆峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Eye Control Technology Co Ltd
Original Assignee
Shanghai Eye Control Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Eye Control Technology Co Ltd filed Critical Shanghai Eye Control Technology Co Ltd
Priority to CN202010110719.6A priority Critical patent/CN111291704A/zh
Publication of CN111291704A publication Critical patent/CN111291704A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/148Segmentation of character regions
    • G06V30/153Segmentation of character regions using recognition of characters or words
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种干扰去除方法、装置、计算机设备和存储介质。所述方法包括:获取待审数据图像;所述待审数据图像上包括干扰信息;在所述待审数据图像上对所述干扰信息进行提取处理,得到干扰信息图像;基于所述待审数据图像的背景对所述干扰信息图像进行处理,得到去除干扰的数据图像。采用本方法能够提高报表内容的识别准确度。

Description

干扰去除方法、装置、计算机设备和存储介质
技术领域
本申请涉及图像处理技术领域,特别是涉及一种干扰去除方法、装置、计算机设备和存储介质。
背景技术
随着人工智能技术的不断发展,银行的很多报表审核工作都实现了电子化、在线化处理,这样极大地提高了银行工作人员的工作效率。银行在对报表进行审核时,通常是采用文字识别算法(例如神经网络算法)对报表上的字符进行识别,得到报表上的内容,之后通过将识别的报表内容和预设的报表内容进行匹配,根据匹配结果完成对报表的审核。
但是,在实际使用过程中,由于每份报表上都需要签名,而签名所采用的签字笔的色彩和报表上字符的颜色十分接近,这样在采用文字识别算法对报表上的字符进行识别时,就很容易出现误识别的问题,例如将签字内容识别为报表内容,从而导致报表内容的识别准确度不高。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高报表内容识别准确度的干扰去除方法、装置、计算机设备和存储介质。
一种干扰去除方法,该方法包括:
获取待审数据图像;该待审数据图像上包括干扰信息;
在待审数据图像上对干扰信息进行提取处理,得到干扰信息图像;
基于待审数据图像的背景对干扰信息图像进行处理,得到去除干扰的数据图像。
在其中一个实施例中,上述基于待审数据图像的背景对干扰信息图像进行处理,得到去除干扰的数据图像,包括:
获取待审数据图像的背景的像素值;
将干扰信息图像上的各个像素值均替换为背景的像素值,得到去除干扰的数据图像;
或者,获取预设像素值;该预设像素值和待审数据图像的背景的像素值不同;
将待审数据图像的背景的像素值和干扰信息图像的像素值均替换为预设像素值。
在其中一个实施例中,上述在待审数据图像上对干扰信息进行提取处理,得到干扰信息图像,包括:
将待审数据图像输入至预设的图像分割模型中进行提取处理,得到干扰信息的图像。
在其中一个实施例中,上述图像分割模型的训练方法包括:
获取训练样本图像集;该训练样本图像集包括至少一个样本数据图像和样本数据图像对应的样本干扰信息图像;
基于训练样本图像集对初始图像分割模型进行训练,得到图像分割模型。
在其中一个实施例中,上述获取训练样本图像集,包括:
对不同形式手写的干扰信息进行图像采集,得到多个第一干扰信息图像;
将第一干扰信息图像叠加到多个历史数据图像中,得到多个叠加数据图像;
将叠加数据图像和对应的历史数据图像进行作差处理,得到第二干扰信息图像;
将叠加数据图像作为样本数据图像,以及将对应的第二干扰信息图像作为样本干扰信息图像,得到训练样本图像集。
在其中一个实施例中,上述基于训练样本图像集对初始图像分割模型进行训练,得到图像分割模型,包括:
将样本数据图像输入至初始图像分割模型,得到样本数据图像对应的预测干扰信息图像;
计算预测干扰信息图像和样本干扰信息图像之间的损失,得到损失函数的值;
根据损失函数的值对初始图像分割模型进行训练,得到图像分割模型。
在其中一个实施例中,上述计算预测干扰信息图像和样本干扰信息图像之间的损失,得到损失函数的值,包括:
根据预测干扰信息图像中的连通域大小以及样本干扰信息图像中的连通域大小,计算预测干扰信息图像和样本干扰信息图像之间的损失,得到损失函数的值。
一种干扰去除装置,该装置包括:
获取模块,用于获取待审数据图像;该待审数据图像上包括干扰信息;
提取模块,用于在待审数据图像上对干扰信息进行提取处理,得到干扰信息图像;
干扰去除模块,用于基于待审数据图像的背景对干扰信息图像进行处理,得到去除干扰的数据图像。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取待审数据图像;该待审数据图像上包括干扰信息;
在待审数据图像上对干扰信息进行提取处理,得到干扰信息图像;
基于待审数据图像的背景对干扰信息图像进行处理,得到去除干扰的数据图像。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取待审数据图像;该待审数据图像上包括干扰信息;
在待审数据图像上对干扰信息进行提取处理,得到干扰信息图像;
基于待审数据图像的背景对干扰信息图像进行处理,得到去除干扰的数据图像。
上述干扰去除方法、装置、计算机设备和存储介质,通过获取包括干扰信息的待审数据图像,在该待审数据图像上对干扰信息进行提取处理,得到干扰信息图像,并基于待审数据图像的背景对干扰信息图像进行处理,得到去除干扰的数据图像。在该方法中,由于可以对待审数据图像上的干扰信息进行去除,得到去除干扰的数据图像,这样得到的数据源是比较准确的,从而在后续对数据图像进行识别时,就可以从识别的数据源上避免误识别的问题,进而可以提高报表内容识别的准确度;另外,由于在对干扰信息进行去除时,是基于待审数据图像的背景对干扰信息图像进行处理的,这样在对干扰信息进行去除时,去除过程比较简单,从而也可以提高对报表内容进行识别的速度。
附图说明
图1为一个实施例中计算机设备的内部结构图;
图2为一个实施例中干扰去除方法的流程示意图;
图3为另一个实施例中干扰去除方法的流程示意图;
图4a为另一个实施例中干扰去除方法的流程示意图;
图4b为另一个实施例中图像分割模型的网络结构图;
图4c为另一个实施例中图像分割模型的输入图像和输出图像的示意图;
图5为一个实施例中干扰去除装置的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
目前,银行在对企业的报表进行审核时,通常是采用文字识别算法(例如神经网络算法)对报表上的字符进行识别,得到报表上的内容,之后通过将识别的报表内容和预设的报表内容进行匹配,根据匹配结果完成对报表的审核。但是,在实际使用过程中,由于每份报表上都需要签名(这里的签名一般是使用签字笔得到的签名,签字笔是指专门用于签字或者签样的笔,有水性签字笔和油性签字笔,以前用钢笔,现在钢笔逐渐由中性笔代替了,所以把这样的笔都统称为签字笔),虽然签字笔迹和印刷体在表现形式上有较大差异,然而由于签名所采用的签字笔的色彩和报表上字符的颜色十分接近,这样在采用文字识别算法对报表上的字符进行识别时,就很容易出现误识别(比如多识别、漏识别)的问题,例如将签字内容识别为报表内容,从而导致报表内容的识别准确度不高。本申请提供一种干扰去除方法、装置、计算机设备和存储介质,旨在解决上述技术问题。
本申请提供的干扰去除方法,可以应用于计算机设备,该计算机设备可以是终端,其内部结构图可以如图1所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种干扰去除方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图1中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
需要说明的是,本申请实施例的执行主体可以是干扰去除装置,也可以是计算机设备,下述实施例就以计算机设备为执行主体来进行说明。
在一个实施例中,提供了一种干扰去除方法,本实施例涉及的是通过对待审数据图像上的干扰信息进行提取,并对提取到的干扰信息图像进行去除的具体过程。如图2所示,该方法可以包括以下步骤:
S202,获取待审数据图像;该待审数据图像上包括干扰信息。
其中,待审数据图像可以是待审核的报表图像,也可以是待审核的文本图像等等,当然也可以是其他数据图像,例如待审数据图像是待审核的报表图像,那么可以通过对待审核的报表进行图像采集(例如,进行图像扫描),就可以得到待审核的报表图像;待审数据图像的大小可以根据实际情况而定,图像大小单位可以是像素,也可以是毫米mm,当然还可以是其他单位,图像得到维度可以是二维、三维等,本实施例主要使用的是二维图像。另外,干扰信息可以是待审数据图像上与数据内容无关的信息,例如待审数据图像是待审核的报表图像,那么干扰信息可以是该待审核的报表图像上的手写签名,或者污渍等等;干扰信息的数量可以是一个或多个,若是多个干扰信息,每个干扰信息可以相同,也可以不同,例如干扰信息是手写签名时,那么该待审核的报表图像上的手写签名可以是同一个人用不同写法(或字迹)手写的签名,还可以是不同的人用相同的写法(或字迹)手写的签名,当然也可以是不同的人用不同的写法(或字迹)手写的签名等等。
具体的,计算机设备可以采用与之连接的图像采集设备(例如相机、扫描机等)对用户或企业的纸质报表进行图像采集,就可以得到报表图像,并将该报表图像作为待审数据图像,该待审数据图像上包括干扰信息。另外,纸质报表的大小可以是A2、A3、A4、B5等大小。
S204,在待审数据图像上对干扰信息进行提取处理,得到干扰信息图像。
其中,在对干扰信息进行提取处理时,可以采用图像分割算法进行提取处理,也可以采用分割模型进行提取处理,当然也可以采用其他方法进行提取处理。干扰信息图像的维度可以是二维、三维等,本实施例主要使用的是二维图像。干扰信息图像的大小可以和待审数据图像的大小相同,也可以不同,本实施例主要采用的干扰信息图像的大小为干扰信息所在的图像大小,一般和待审数据图像的大小不同;示例地,待审数据图像的大小为256mm*256mm,干扰信息在待审数据图像上所占大小为15mm*15mm,那么干扰信息图像的大小就可以为15mm*15mm。
具体的,计算机设备可以通过图像分割算法、分割模型等方法对待审数据图像上的干扰信息进行提取处理或者分割处理,得到该待审数据图像对应的干扰信息图像。在待审数据图像上的干扰信息为多个时,一般可以是得到每个干扰信息对应的干扰信息图像,也就是说,一般一个干扰信息图像上只包括一个干扰信息,例如以干扰信息为签名为例,那么得到的干扰信息图像就为一个签名图像。
S206,基于待审数据图像的背景对干扰信息图像进行处理,得到去除干扰的数据图像。
其中,待审数据图像上可以包括背景,也可以包括前景,前景中可以包括干扰信息图像,也可以包括非干扰信息图像,当然还可以包括其他内容。
具体的,计算机设备在得到干扰信息图像之后,可以基于待审数据图像的背景对干扰信息进行处理,在处理时,可以是将干扰信息图像用待审数据图像的背景来代替(或填充),也可以是将干扰信息图像和待审数据图像的背景用一个纯色背景来代替(或填充),当然还可以将干扰信息图像和待审数据图像的背景用其他图像代替(或填充),得到去除干扰信息之后的待审数据图像,对于待审数据图像上除干扰信息和背景外的其他内容不进行改变。在这里由于对待审数据图像进行了干扰去除,这样得到的待审数据图像就更加准确,也就是说后续在利用文本识别算法或神经网络算法对待审数据图像进行识别时,识别的数据源更加准确,那么最终得到的识别结果也会更加准确。
上述干扰去除方法中,通过获取包括干扰信息的待审数据图像,在该待审数据图像上对干扰信息进行提取处理,得到干扰信息图像,并基于待审数据图像的背景对干扰信息图像进行处理,得到去除干扰的数据图像。在该方法中,由于可以对待审数据图像上的干扰信息进行去除,得到去除干扰的数据图像,这样得到的数据源是比较准确的,从而在后续对数据图像进行识别时,就可以从识别的数据源上避免误识别的问题,进而可以提高报表内容识别的准确度;另外,由于在对干扰信息进行去除时,是基于待审数据图像的背景对干扰信息图像进行处理的,这样在对干扰信息进行去除时,去除过程比较简单,从而也可以提高对报表内容进行识别的速度。
在另一个实施例中,提供了另一种干扰去除方法,本实施例涉及的是如何基于待审数据图像的背景对干扰信息图像进行去除处理的具体过程。在上述实施例的基础上,如图3所示,上述S206可以包括以下步骤:
S302,获取预设第一像素值。
S304,将待审数据图像的背景的像素值和干扰信息图像的像素值均替换为预设第一像素值。
其中,这里预设第一像素值可以是和待审数据图像的背景的像素值相同的像素值,也可以是与待审数据图像的背景的像素值以及干扰信息图像的像素值均不相同,当然这里的第一像素值不会和待审数据图像上的非干扰信息图像的像素值相同。另外,这里预设第一像素值的大小可以根据实际情况而定。
具体的,第一,针对预设第一像素值和待审数据图像的背景的像素值相同的情况,在对干扰信息图像进行去除处理时,可选的,可以获取待审数据图像的背景的像素值,将干扰信息图像上的各个像素值均替换为背景的像素值,得到去除干扰的数据图像。也就是说,在待审数据图像上,将干扰信息图像采用待审数据图像的背景进行填充,即将干扰信息图像变为待审数据图像的背景,这样相当于将待审数据图像上的干扰信息图像去除了,在对待审数据图像识别时,也就不会被干扰信息干扰。
第二,针对预设第一像素值和待审数据图像的背景的像素值以及干扰信息图像的像素值均不相同的情况,可选的,可以获取预设像素值;该预设像素值和待审数据图像的背景的像素值不同;将待审数据图像的背景的像素值和干扰信息图像的像素值均替换为预设像素值。这里的预设像素值跟上述预设第一像素值相同。也就是说,在待审数据图像上,将干扰信息图像和待审数据图像的背景均用其他背景色进行填充,即将干扰信息图像和待审数据图像的背景都变成相同的背景,这样也相当于将待审数据图像上的干扰信息图像去除了,在对待审数据图像识别时,也就不会被干扰信息干扰。
本实施例提供的干扰去除方法,可以获取预设第一像素值,并将待审数据图像的背景的像素值和干扰信息图像的像素值均替换为预设像素值。在本实施例中,由于在对干扰信息图像进行去除时,采用的是将干扰信息图像的像素值和待审数据图像的背景的像素值替换成同一像素值,这样的干扰去除过程比较简单,从而在对待审数据图像进行识别时,可以提高整体报表识别的速度。
在另一个实施例中,提供了另一种干扰去除方法,本实施例涉及的是如何对待审数据图像上的干扰信息提取处理,得到干扰信息图像的具体过程。在上述实施例的基础上,上述S204可以包括以下步骤A:
步骤A,将待审数据图像输入至预设的图像分割模型中进行提取处理,得到干扰信息的图像。
其中,图像分割模型可以是神经网络模型,例如可以是机器学习网络模型,当然也可以是其他网络模型,机器学习网络模型可以是DNN(Deep Neural Networks,深度神经网络)、CNN(Convolutional Neural Networks,卷积神经网络)、RNN(Recurrent NeuralNetwork,循环神经网络)等,在是CNN时,其可以是V-Net模型、U-Net模型、Resnet模型等等。
本步骤A中,在采用图像分割模型对待审数据图像进行提取处理之前,也可以先对图像分割模型进行训练,可选的,参见图4a所示,该图像分割模型的训练过程包括以下步骤S402和S404:
S402,获取训练样本图像集;该训练样本图像集包括至少一个样本数据图像和样本数据图像对应的样本干扰信息图像。
在S402中,样本数据图像的数量和样本干扰信息图像的数量可以相等,也可以不相等,数量可以为一个或多个,本实施例主要采用的是多个样本数据图像和多个样本干扰信息图像。在获取训练样本图像集时,可选的,可以采用如下步骤A11-A14进行获取:
A11,对不同形式手写的干扰信息进行图像采集,得到多个第一干扰信息图像;
A12,将第一干扰信息图像叠加到多个历史数据图像中,得到多个叠加数据图像;
A13,将叠加数据图像和对应的历史数据图像进行作差处理,得到第二干扰信息图像;
A14,将叠加数据图像作为样本数据图像,以及将对应的第二干扰信息图像作为样本干扰信息图像,得到训练样本图像集。
在步骤A11-A14中,以数据图像为报表图像,以干扰信息为签名为例,对这四个步骤的方法进行详细说明。首先可以依据报表中签字笔的签名存在的内容及形式,收集所有可能出现的手写字符及形式数据,其中,这里的形式数据可以理解为签名轨迹最终的形态;比如有些草书且联笔的情况。
其次,可以将跟实际报表大小相同的白纸平均分成预设大小的单元格,并给每个单元格打印出分割线,按照上述收集的字符内容和形式数据,让尽可能多的数据部标注人员用签字笔书写签名内容到该跟实际报表大小相同的白纸上,这里的白纸大小可以是A2、A3、A4等的大小,在划分单元格时,可以根据实际字符大小,将A4纸平均分成2×4大小的单元格,或者将A3纸平均分成4×8大小的单元格,等等,分成这样大小的单元格可以便与后续对字符处理。
再次,以A4纸为例,可以对上述标注人员书写的签名的纸张进行扫描(即图像采集),得到标注人员的签字笔图像,之后对采集到的每幅A4签字笔图像,按照上述设定的分割情况(即上述划分2×4大小的单元格),分别提取出每幅A4图像中包含的8个签字笔图像数据,之后将这8个签字笔图像数据中的每个签字笔图像数据M,通过灰度化、自适应二值化的方法得到图像M_b,将M与M_b相结合生成签字笔图像数据M的含透明通道Mask(掩模)图,这里的签字笔图像数据M的含透明通道Mask图,用于下一步数据生成。
然后,从历史的财务报表图像中挑选5000幅报表图像,现从中依次抽取一幅图像I用来生成签字笔干扰的报表图像,即从上述生成的含透明通道签字笔Mask图中随机抽取一幅图像M_(M_可以记为第一干扰信息图像),依据当前的财务报表图像生成签字笔图像M_的随机插入位置p_(这个位置可以是矩形框的中心点、左上角的点或者右下角的点等等),然后在点p_处将M_依据电子印章的方式融合入到财务报表图像I中得到I_,[这里依据电子印章的方式融合入到财务报表图像I中,即将M_叠加到I中,具体指将图M_(图M_含透明通道,非目标区域为全透明情况,即可直接看到背景)融合入图I中,此时只有M_中的目标区域会覆盖在图I的像素色彩中],叠加之后得到的图像记为叠加数据图像;之后可以根据p_的位置及M_的大小,并将M_所在的局矩形框适当外扩后的矩形区域Rect_作为签字笔干扰的定位标定结果,并保存;同时将Rect_对应到I_的区域取出作为图像S_,将Rect_对应到I的区域图像取出得到S,将图像S_及图像S做差并进一步做自适应二值化,进一步处理可以得到签字干扰减去原有有效信息的签字笔干扰Mask图像D_,这里可以将图像D_记为第二干扰信息图像,最后将S_与D_进行保存,其中S_为后续图像分割模型中的输入图,即样本数据图像,D_为后续图像分割模型中的目标图像(也可以说是样本干扰信息图像或真实输出图像),得到训练样本图像集。
S404,基于训练样本图像集对初始图像分割模型进行训练,得到图像分割模型。
在得到训练样本图像集之后或者之前,也可以先对图像分割模型的网络结构和参数进行设计,以数据图像为报表图像、干扰信息为签名为例,图像分割模型在设计时,也可以根据实际上纸张报表的大小和签名大小来对图像分割模型的结构进行设计,以图像分割模型为卷积神经网络模型为例,该图像分割模型中会包括卷积层,卷积层又分为上采样卷积层和下采样卷积层,其中上下采样卷积层的数量就是由报表的大小和签名大小决定的。示例地,可以依据财务报表中图像大小情况为A4纸张情况,且签字笔轨迹宽度范围(6~16像素),来设计图像分割网络,其中图像分割网络的骨干网络采用resnet,具体网络结构可以参见图4b,具体过程为:将样本数据图像输入初始图像分割模型,进行四层下采样卷积处理和四层上采样卷积处理,其中对上下采样过程中相同尺度的特征图进行跳层连接,最后将上采样输出的四个特征图分别进行拼接C,拼接后得到的结果为F,再经过全连接层进行卷积处理,得到最终输出的干扰信息图像。在图4b中,C表示一种运算,Upx2()、Upx4()、Upx8()分别表示上采样2、4、8倍,具体如下公式(1):
F=C(p2,p3,p4,p5)=p2concateUpx2(p3)concateUpx4(p4)concateUpx8(p5) (1)
另外,图像分割模型中的相关参数设置如下:学习率base_lr:0.0001,梯度下降中学习率变化方式为lr_policy:“inv”,gamma:0.0001,power:0.75,学习率变化情况为base_lr=base_lr*(1+gamma*iter)^(-power),其中iter为迭代次数。
在将图像分割模型的网络结构及参数设置完成之后,基于上述得到的训练样本图像集就可以对设置好的初始图像分割模型进行训练,可选的,具体训练过程可以采用如下步骤A21-A23进行:
A21,将样本数据图像输入至初始图像分割模型,得到样本数据图像对应的预测干扰信息图像;
A22,计算预测干扰信息图像和样本干扰信息图像之间的损失,得到损失函数的值;
A23,根据损失函数的值对初始图像分割模型进行训练,得到图像分割模型。
计算机设备在得到训练样本图像集之后,可以将各样本数据图像输入至初始图像分割模型,得到各样本数据图像对应的预测干扰信息图像,并根据上述样本干扰信息图像和预测干扰信息图像,计算样本干扰信息图像和预测干扰信息图像之间的损失,将该损失作为损失函数的值,并利用该损失函数的值对初始图像分割模型进行训练,最终得到训练好的初始图像分割模型。
在这里,图像分割模型的损失均可以是样本干扰信息图像和预测干扰信息图像之间的误差、方差、范数等;在训练图像分割模型时,当图像分割模型的损失函数的值小于预设的阈值时,或者当损失函数的和值基本稳定时(即不再发生变化时),则可以确定图像分割模型已经训练好,否则还要继续训练,当训练好时可以固定图像分割模型的参数,便于下一步使用。
在实际计算损失,并利用损失训练初始图像分割模型时,由于实际中的签字笔签名干扰都较大、较粗,针对图像分割模型得到的结果中有时出现较小差点干扰的情况,在这里可以加入针对较小杂点干扰的约束,即加入约束条件对损失进行计算,可选的,可以是根据预测干扰信息图像中的连通域大小以及样本干扰信息图像中的连通域大小,计算预测干扰信息图像和样本干扰信息图像之间的损失,得到损失函数的值。具体实现如下:假定图像分割模型当前输出的干扰信息图像(即签字笔干扰图像)的结果图为D_net,可以采用判别器对结果图上的每个像素进行标签预测,得到每个像素的标签,并对D_net进行连通域查找,将其中与签名干扰不存在交叉并且其预测结果为签名干扰标签1,且其连通域较小(小于5x5)的连通域,在损失计算中,增大其的权重(比如权重设置为2倍);对于预测为签名干扰标签1且其连通域较大(大于5x5)的连通域,且与签名区域不相交的连通域,在损失计算中,设定其权重为1;对于所有真实签名干扰覆盖下的区域,以及预测为签名区域且除去上述两种情况下的像素点,同样设置其权重为1,最终损失为上述所有损失的加权平均,具体可以参见如下公式(2)-(4):
Figure BDA0002389888600000131
Figure BDA0002389888600000132
Figure BDA0002389888600000133
在公式(2)-(4)中,Dground为真实干扰信息图像(或样本干扰信息图像)每个像素点的判别结果,Dnet为预测干扰信息图像每个像素点的判别结果,w、h分别为真实干扰信息图像或预测干扰信息图像的宽和高,x、y分别为真实干扰信息图像或预测干扰信息图像上的各个像素点。
在将图像分割模型训练好之后,通过将包含签名干扰的报表图像输入至训练好的图像分割模型中进行处理,就可以得到该签名干扰的报表图像对应的签名干扰图像,参见图4c所示,为通过该图像分割模型的输入图像和输出图像的示意图,其中,图4c的(1)图为输入图像,为包含签名干扰的报表图像,图4c的(2)图为输出图像,为签名干扰图像,可见,通过该训练好的图像分割模型,可以将(1)图上的签名提取出来,得到只包含的签名的图像,这样可以便于后续对原签名干扰的报表图像上的签名干扰进行去除。
需要说明的是,图4c中的(1)图和(2)图仅为示例,并不构成对本申请实施例的实质影响。
本实施例提供的干扰去除方法,可以将待审数据图像输入至预设的图像分割模型中进行提取处理,得到干扰信息的图像,同时还可以对图像分割模型进行训练。由于图像分割模型是利用真实干扰信息图像和样本数据图像进行训练得到的,因此得到的图像分割模型是比较准确的,进而在利用该准确的图像分割模型对数据图像上的干扰信息进行去除处理时,得到的干扰信息图像也是比较准确的。
应该理解的是,虽然图2-3、4a的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2-3、4a中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图5所示,提供了一种干扰去除装置,包括:获取模块10、提取模块11和干扰去除模块12,其中:
获取模块10,用于获取待审数据图像;该待审数据图像上包括干扰信息;
提取模块11,用于在待审数据图像上对干扰信息进行提取处理,得到干扰信息图像;
干扰去除模块12,用于基于待审数据图像的背景对干扰信息图像进行处理,得到去除干扰的数据图像。
关于干扰去除装置的具体限定可以参见上文中对于干扰去除方法的限定,在此不再赘述。
在另一个实施例中,提供了另一种干扰去除装置,在上述实施例的基础上,上述干扰去除模块12可以包括获取单元和替换单元,其中:
获取单元,用于获取待审数据图像的背景的像素值;
替换单元,用于将干扰信息图像上的各个像素值均替换为背景的像素值,得到去除干扰的数据图像。
在另一个实施例中,上述获取单元,还用于获取预设像素值;该预设像素值和待审数据图像的背景的像素值不同;
替换单元,还用于将待审数据图像的背景的像素值和干扰信息图像的像素值均替换为预设像素值。
在另一个实施例中,提供了另一种干扰去除装置,在上述实施例的基础上,上述提取模块11,还用于将待审数据图像输入至预设的图像分割模型中进行提取处理,得到干扰信息的图像。
可选的,上述提取模块11可以包括样本获取单元和训练单元,其中:
样本获取单元,用于获取训练样本图像集;该训练样本图像集包括至少一个样本数据图像和样本数据图像对应的样本干扰信息图像;
训练单元,用于基于训练样本图像集对初始图像分割模型进行训练,得到图像分割模型。
可选的,上述样本获取单元,还用于对不同形式手写的干扰信息进行图像采集,得到多个第一干扰信息图像;将第一干扰信息图像叠加到多个历史数据图像中,得到多个叠加数据图像;将叠加数据图像和对应的历史数据图像进行作差处理,得到第二干扰信息图像;将叠加数据图像作为样本数据图像,以及将对应的第二干扰信息图像作为样本干扰信息图像,得到训练样本图像集。
可选的,上述训练单元,还用于将样本数据图像输入至初始图像分割模型,得到样本数据图像对应的预测干扰信息图像;计算预测干扰信息图像和样本干扰信息图像之间的损失,得到损失函数的值;根据损失函数的值对初始图像分割模型进行训练,得到图像分割模型。
可选的,上述训练单元,还用于根据预测干扰信息图像中的连通域大小以及样本干扰信息图像中的连通域大小,计算预测干扰信息图像和样本干扰信息图像之间的损失,得到损失函数的值。
关于干扰去除装置的具体限定可以参见上文中对于干扰去除方法的限定,在此不再赘述。
上述干扰去除装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
获取待审数据图像;该待审数据图像上包括干扰信息;
在待审数据图像上对干扰信息进行提取处理,得到干扰信息图像;
基于待审数据图像的背景对干扰信息图像进行处理,得到去除干扰的数据图像。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
获取待审数据图像的背景的像素值;
将干扰信息图像上的各个像素值均替换为背景的像素值,得到去除干扰的数据图像;
或者,获取预设像素值;该预设像素值和待审数据图像的背景的像素值不同;
将待审数据图像的背景的像素值和干扰信息图像的像素值均替换为预设像素值。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
将待审数据图像输入至预设的图像分割模型中进行提取处理,得到干扰信息的图像。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
获取训练样本图像集;该训练样本图像集包括至少一个样本数据图像和样本数据图像对应的样本干扰信息图像;
基于训练样本图像集对初始图像分割模型进行训练,得到图像分割模型。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
对不同形式手写的干扰信息进行图像采集,得到多个第一干扰信息图像;
将第一干扰信息图像叠加到多个历史数据图像中,得到多个叠加数据图像;
将叠加数据图像和对应的历史数据图像进行作差处理,得到第二干扰信息图像;
将叠加数据图像作为样本数据图像,以及将对应的第二干扰信息图像作为样本干扰信息图像,得到训练样本图像集。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
将样本数据图像输入至初始图像分割模型,得到样本数据图像对应的预测干扰信息图像;
计算预测干扰信息图像和样本干扰信息图像之间的损失,得到损失函数的值;
根据损失函数的值对初始图像分割模型进行训练,得到图像分割模型。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
根据预测干扰信息图像中的连通域大小以及样本干扰信息图像中的连通域大小,计算预测干扰信息图像和样本干扰信息图像之间的损失,得到损失函数的值。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
获取待审数据图像;该待审数据图像上包括干扰信息;
在待审数据图像上对干扰信息进行提取处理,得到干扰信息图像;
基于待审数据图像的背景对干扰信息图像进行处理,得到去除干扰的数据图像。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
获取待审数据图像的背景的像素值;
将干扰信息图像上的各个像素值均替换为背景的像素值,得到去除干扰的数据图像;
或者,获取预设像素值;该预设像素值和待审数据图像的背景的像素值不同;
将待审数据图像的背景的像素值和干扰信息图像的像素值均替换为预设像素值。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
将待审数据图像输入至预设的图像分割模型中进行提取处理,得到干扰信息的图像。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
获取训练样本图像集;该训练样本图像集包括至少一个样本数据图像和样本数据图像对应的样本干扰信息图像;
基于训练样本图像集对初始图像分割模型进行训练,得到图像分割模型。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
将样本数据图像输入至初始图像分割模型,得到样本数据图像对应的预测干扰信息图像;
计算预测干扰信息图像和样本干扰信息图像之间的损失,得到损失函数的值;
根据损失函数的值对初始图像分割模型进行训练,得到图像分割模型。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
根据预测干扰信息图像中的连通域大小以及样本干扰信息图像中的连通域大小,计算预测干扰信息图像和样本干扰信息图像之间的损失,得到损失函数的值。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种干扰去除方法,其特征在于,所述方法包括:
获取待审数据图像;所述待审数据图像上包括干扰信息;
在所述待审数据图像上对所述干扰信息进行提取处理,得到干扰信息图像;
基于所述待审数据图像的背景对所述干扰信息图像进行处理,得到去除干扰的数据图像。
2.根据权利要求1所述的方法,其特征在于,所述基于所述待审数据图像的背景对所述干扰信息图像进行处理,得到去除干扰的数据图像,包括:
获取所述待审数据图像的背景的像素值;
将所述干扰信息图像上的各个像素值均替换为所述背景的像素值,得到去除干扰的数据图像;
或者,获取预设像素值;所述预设像素值和所述待审数据图像的背景的像素值不同;
将所述待审数据图像的背景的像素值和所述干扰信息图像的像素值均替换为所述预设像素值。
3.根据权利要求1-2任意一项所述的方法,其特征在于,所述在所述待审数据图像上对所述干扰信息进行提取处理,得到干扰信息图像,包括:
将所述待审数据图像输入至预设的图像分割模型中进行提取处理,得到所述干扰信息的图像。
4.根据权利要求3所述的方法,其特征在于,所述图像分割模型的训练方法包括:
获取训练样本图像集;所述训练样本图像集包括至少一个样本数据图像和所述样本数据图像对应的样本干扰信息图像;
基于所述训练样本图像集对初始图像分割模型进行训练,得到所述图像分割模型。
5.根据权利要求4所述的方法,其特征在于,所述获取训练样本图像集,包括:
对不同形式手写的干扰信息进行图像采集,得到多个第一干扰信息图像;
将所述第一干扰信息图像叠加到多个历史数据图像中,得到多个叠加数据图像;
将所述叠加数据图像和对应的所述历史数据图像进行作差处理,得到第二干扰信息图像;
将所述叠加数据图像作为所述样本数据图像,以及将对应的所述第二干扰信息图像作为所述样本干扰信息图像,得到所述训练样本图像集。
6.根据权利要求5所述的方法,其特征在于,所述基于所述训练样本图像集对初始图像分割模型进行训练,得到所述图像分割模型,包括:
将所述样本数据图像输入至所述初始图像分割模型,得到所述样本数据图像对应的预测干扰信息图像;
计算所述预测干扰信息图像和所述样本干扰信息图像之间的损失,得到损失函数的值;
根据所述损失函数的值对所述初始图像分割模型进行训练,得到所述图像分割模型。
7.根据权利要求6所述的方法,其特征在于,所述计算所述预测干扰信息图像和所述样本干扰信息图像之间的损失,得到损失函数的值,包括:
根据所述预测干扰信息图像中的连通域大小以及所述样本干扰信息图像中的连通域大小,计算所述预测干扰信息图像和所述样本干扰信息图像之间的损失,得到损失函数的值。
8.一种干扰去除装置,其特征在于,所述装置包括:
获取模块,用于获取待审数据图像;所述待审数据图像上包括干扰信息;
提取模块,用于在所述待审数据图像上对所述干扰信息进行提取处理,得到干扰信息图像;
干扰去除模块,用于基于所述待审数据图像的背景对所述干扰信息图像进行处理,得到去除干扰的数据图像。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202010110719.6A 2020-02-24 2020-02-24 干扰去除方法、装置、计算机设备和存储介质 Withdrawn CN111291704A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010110719.6A CN111291704A (zh) 2020-02-24 2020-02-24 干扰去除方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010110719.6A CN111291704A (zh) 2020-02-24 2020-02-24 干扰去除方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN111291704A true CN111291704A (zh) 2020-06-16

Family

ID=71020508

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010110719.6A Withdrawn CN111291704A (zh) 2020-02-24 2020-02-24 干扰去除方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN111291704A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111899199A (zh) * 2020-08-07 2020-11-06 深圳市捷顺科技实业股份有限公司 一种图像处理方法、装置、设备及存储介质
CN112580501A (zh) * 2020-12-17 2021-03-30 上海眼控科技股份有限公司 车架号图像生成方法、装置、计算机设备和存储介质
CN114140349A (zh) * 2021-11-24 2022-03-04 支付宝(杭州)信息技术有限公司 干扰图像的生成方法和装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111899199A (zh) * 2020-08-07 2020-11-06 深圳市捷顺科技实业股份有限公司 一种图像处理方法、装置、设备及存储介质
CN111899199B (zh) * 2020-08-07 2024-03-19 深圳市捷顺科技实业股份有限公司 一种图像处理方法、装置、设备及存储介质
CN112580501A (zh) * 2020-12-17 2021-03-30 上海眼控科技股份有限公司 车架号图像生成方法、装置、计算机设备和存储介质
CN114140349A (zh) * 2021-11-24 2022-03-04 支付宝(杭州)信息技术有限公司 干扰图像的生成方法和装置

Similar Documents

Publication Publication Date Title
Zhang et al. Ensnet: Ensconce text in the wild
CN110674804A (zh) 文本图像的检测方法、装置、计算机设备和存储介质
CN109492638A (zh) 文本检测方法、装置及电子设备
CN111814794B (zh) 文本检测方法、装置、电子设备及存储介质
CN111291704A (zh) 干扰去除方法、装置、计算机设备和存储介质
CN107886082B (zh) 图像中数学公式检测方法、装置、计算机设备及存储介质
CN111626295B (zh) 车牌检测模型的训练方法和装置
CN111126127B (zh) 一种多级空间上下文特征指导的高分辨率遥感影像分类方法
MXPA04009151A (es) Sistema y metodo para detectar un objeto dibujado a mano en una entrada de tinta.
CN112101386B (zh) 文本检测方法、装置、计算机设备和存储介质
CN115239644B (zh) 混凝土缺陷识别方法、装置、计算机设备和存储介质
CN111310758A (zh) 文本检测方法、装置、计算机设备和存储介质
CN112906794A (zh) 一种目标检测方法、装置、存储介质及终端
CN111814716A (zh) 印章去除方法、计算机设备和可读存储介质
JP2023501820A (ja) フェイスパーシング方法および関連デバイス
CN109165654B (zh) 一种目标定位模型的训练方法和目标定位方法及装置
CN113034514A (zh) 天空区域分割方法、装置、计算机设备和存储介质
CN114898357B (zh) 缺陷识别方法、装置、电子设备及计算机可读存储介质
CN117132763A (zh) 电力图像异常检测方法、装置、计算机设备和存储介质
CN113673528B (zh) 文本处理方法、装置、电子设备和可读存储介质
CN112200789B (zh) 一种图像识别的方法及装置、电子设备和存储介质
CN111027551B (zh) 图像处理方法、设备和介质
CN117037201A (zh) 基于图神经网络的表格结构识别方法、系统、设备及存储介质
CN116612272A (zh) 一种图像处理智能数字化的检测系统及其检测方法
CN110348023A (zh) 一种中文文本分词的方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20200616

WW01 Invention patent application withdrawn after publication