CN111402156A - 一种涂抹图像的复原方法、装置及存储介质和终端设备 - Google Patents

一种涂抹图像的复原方法、装置及存储介质和终端设备 Download PDF

Info

Publication number
CN111402156A
CN111402156A CN202010165846.6A CN202010165846A CN111402156A CN 111402156 A CN111402156 A CN 111402156A CN 202010165846 A CN202010165846 A CN 202010165846A CN 111402156 A CN111402156 A CN 111402156A
Authority
CN
China
Prior art keywords
image
smear
sample image
generator
restored
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010165846.6A
Other languages
English (en)
Other versions
CN111402156B (zh
Inventor
汪翔
黄珊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010165846.6A priority Critical patent/CN111402156B/zh
Publication of CN111402156A publication Critical patent/CN111402156A/zh
Application granted granted Critical
Publication of CN111402156B publication Critical patent/CN111402156B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种涂抹图像的复原方法、装置及存储介质和终端设备，应用于基于人工智能的信息处理技术领域。涂抹图像的复原装置在对待复原涂抹图像进行复原时采用复原网络，而在训练复原网络的过程中，通过复原初始网络中生成器对涂抹样本图像复原得到的复原样本图像，对应的原始样本图像，及对复原样本图像的字符识别错误信息计算与生成器相关的第一损失函数，并通过该对损失函数的监督来不断优化复原初始网络中的生成器，得到最终训练好的生成器。训练过程中，计算的第一损失函数包括了复原样本图像的字符识别错误信息，这样可以对字符识别错误区域进行更细致的监督，使得最终训练好的生成器可以准确地对复原涂抹图像进行复原。

Description

一种涂抹图像的复原方法、装置及存储介质和终端设备
技术领域
本发明涉及基于人工智能的信息处理技术领域，特别涉及一种涂抹图像的复原方法、装置及存储介质和终端设备。
背景技术
在图像处理领域，对于涂抹图像，其中有一部分图像或文字被其它涂抹轨迹覆盖，使得涂抹图像的原始内容不能被识别，需要通过一定的技术方法将涂抹图像恢复成原始的未涂抹图像。
在现有涂抹图像的复原中，一般采用机器学习模型对涂抹图像进行复原，但是采用现有的方法只考虑涂抹图像与复原后图像的整体视觉相似度，因此只能消除涂抹图像中的涂抹轨迹，而对于被涂抹轨迹覆盖的文字等字符的部分，在复原的过程中一般只能填充为背景色或随机添加痕迹，因此，现有的涂抹图像的复原方法不能准确地复原出未涂抹的原始内容。
发明内容
本发明实施例提供一种涂抹图像的复原方法、装置及存储介质和终端设备，实现了根据复原样本图像的字符识别错误信息监督生成器的训练。
本发明实施例一方面提供一种涂抹图像的复原方法，包括：
确定复原初始网络，所述复原初始网络包括生成器；
确定训练样本，所述训练样本中包括多对样本图像，每一对样本图像中包括涂抹样本图像和对应的原始样本图像，所述涂抹样本图像中有涂抹轨迹覆盖原始字符；
通过所述复原初始网络中的生成器分别对各个涂抹样本图像进行复原得到复原样本图像；
对所述生成器得到的复原样本图像进行字符识别，及根据所述字符识别的结果确定所述复原样本图像的字符识别错误信息；
根据所述字符识别错误信息及所述生成器得到的复原样本图像和所述训练样本中的原始样本图像，计算与所述生成器相关的第一损失函数，及根据所述第一损失函数调整所述生成器中的参数值，以得到最终的生成器，所述最终的生成器用于对待复原涂抹图像进行复原。
本发明实施例另一方面还提供一种涂抹图像的复原方法，包括：
获取包含涂抹轨迹的待复原涂抹图像，所述涂抹轨迹覆盖了字符；
将所述待复原涂抹图像输入预置的生成器；所述生成器为按照本发明实施例一方面提供的涂抹图像的复原方法得到的最终的生成器；
获取所述生成器对所述待复原涂抹图像进行复原处理生成的复原图像。
本发明实施例另一方面提供一种涂抹图像的复原装置，包括：
网络确定单元，用于确定复原初始网络，所述复原初始网络包括生成器；
样本单元，用于确定训练样本，所述训练样本中包括多对样本图像，每一对样本图像中包括涂抹样本图像和对应的原始样本图像，所述涂抹样本图像中有涂抹轨迹覆盖原始字符；
复原单元，用于通过所述复原初始网络中的生成器分别对各个涂抹样本图像进行复原得到复原样本图像；
识别单元，用于对所述生成器得到的复原样本图像进行字符识别，及根据所述字符识别的结果确定所述复原样本图像的字符识别错误信息；
调整单元，用于根据所述字符识别错误信息及所述生成器得到的复原样本图像和所述训练样本中的原始样本图像，计算与所述生成器相关的第一损失函数，及根据所述第一损失函数调整所述生成器中的参数值，以得到最终的生成器，所述最终的生成器用于对待复原涂抹图像进行复原。
本发明实施例另一方面提供一种计算机可读存储介质，所述计算机可读存储介质储存多个计算机程序，所述计算机程序适于由处理器加载并执行如本发明实施例所述的涂抹图像的复原方法。
本发明实施例另一方面提供一种终端设备，包括处理器和存储器；
所述存储器用于储存多个计算机程序，所述计算机程序用于由处理器加载并执行如本发明实施例所述的涂抹图像的复原方法；所述处理器，用于实现所述多个计算机程序中的各个计算机程序。
可见，在本实施例的方法中，涂抹图像的复原装置在对待复原涂抹图像进行复原时采用复原网络，而在训练复原网络的过程中，通过复原初始网络中生成器对涂抹样本图像复原得到的复原样本图像，对应的原始样本图像，及对复原样本图像的字符识别错误信息计算与生成器相关的第一损失函数，并通过该对损失函数的监督来不断优化复原初始网络中的生成器，得到最终训练好的生成器。由于在训练过程中，涂抹图像的复原装置计算的第一损失函数包括了复原样本图像的字符识别错误信息，这样可以对字符识别错误区域进行更细致的监督，使得最终训练好的生成器可以准确地复原待复原涂抹图像中被涂抹轨迹覆盖的原始字符，比如文字等。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种涂抹图像的复原方法的示意图；
图2是本发明一个实施例提供的一种涂抹图像的复原方法的流程图；
图3是本发明一个实施例中涂抹图像的复原方法的示意图；
图4是本发明一个实施例提供的涂抹图像的复原方法的流程图；
图5是本发明应用实施例提供的一种涂抹图像的复原方法的流程图；
图6是本发明应用实施例中生成器的示意图；
图7是本发明应用实施例中鉴别器的示意图；
图8是本发明另一应用实施例中涂抹图像的复原方法所应用于的分布式系统的示意图；
图9是本发明另一应用实施例中区块结构的示意图；
图10是本发明实施例提供的一种涂抹图像的复原装置的结构示意图；
图11是本发明实施例提供的另一种涂抹图像的复原装置的结构示意图；
图12是本发明实施例提供的一种终端设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排它的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明实施例提供一种涂抹图像的复原方法，如图1所示，主要是先训练复原网络，并通过复原网络对待复原涂抹图像进行复原，具体包括如下步骤：
确定复原初始网络，所述复原初始网络包括生成器；确定训练样本，所述训练样本中包括多对样本图像，每一对样本图像中包括涂抹样本图像和对应的原始样本图像，所述涂抹样本图像中有涂抹轨迹覆盖原始字符；通过所述复原初始网络中的生成器分别对各个涂抹样本图像进行复原得到复原样本图像；对所述生成器得到的复原样本图像进行字符识别，及根据所述字符识别的结果确定所述复原样本图像的字符识别错误信息；根据所述字符识别错误信息及所述生成器得到的复原样本图像和所述训练样本中的原始样本图像，计算与所述生成器相关的第一损失函数，及根据所述第一损失函数调整所述生成器中的参数值，以得到最终的生成器，所述最终的生成器用于对待复原涂抹图像进行复原。
这样，在训练过程中，涂抹图像的复原装置计算的第一损失函数包括了复原样本图像的字符识别错误信息，这样可以对字符识别错误区域进行更细致的监督，使得最终训练好的生成器可以准确地复原待复原涂抹图像中被涂抹轨迹覆盖的原始字符，比如文字等。
本发明实施例中训练的复原初始网络是一种机器学习模型，属于人工智能的领域，其中，人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
而机器学习(Machine Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
本发明实施例提供一种涂抹图像的复原方法，主要是涂抹图像的复原装置所执行的方法，流程图如图2所示，包括：
步骤101，确定复原初始网络，复原初始网络包括生成器。
可以理解，涂抹图像的复原装置在确定复原初始网络时，会确定复原初始网络所包括的多层结构和各层机构中参数的初始值。具体地：
复原初始网络中的生成器可以包括：特征提取模块和生成模块，其中，特征提取模块用于提取涂抹图像的特征信息，生成模块用于根据特征提取模块提取到的特征信息生成消除涂抹图像的信息，即复原图像的信息。具体地，生成器可以采用U型卷积网络(Convolutional Networks，UNet-128)，或是残差神经网络(Residual Neural Network，ResNet)等类似的网络结构，只需保证输出与输入具有相同的尺度和通道数即可。
复原初始网络的参数是指复原初始网络中各层结构在计算过程中所用到的固定的，不需要随时赋值的参数，比如参数规模、网络层数、用户向量长度等参数。
步骤102，确定训练样本，训练样本中包括多对样本图像，每一对样本图像中包括涂抹样本图像和对应的原始样本图像，涂抹样本图像中有涂抹轨迹覆盖原始字符。其中，原始样本图像是指与涂抹样本图像相对应的，未经涂抹的样本图像。
步骤103，通过复原初始网络中的生成器分别对各个涂抹样本图像进行复原得到复原样本图像。
具体地，通过生成器特征提取模块用于提取各个涂抹样本图像的特征信息，生成模块用于根据特征提取模块提取到的特征信息生成复原样本图像的信息。
步骤104，对生成器得到的复原样本图像进行字符识别，及根据字符识别的结果确定复原样本图像的字符识别错误信息。
具体地，对复原样本图像进行的字符识别包括识别复原样本图像中的文字、标点符号等字符，涂抹图像的复原装置可以分别对复原样本图像及对应的涂抹样本图像进行字符识别，分别得到复原识别结果和涂抹识别结果，并将复原识别结果和涂抹识别结果进行比较，从而得到字符识别错误信息，该字符识别错误信息用于表示对复原样本图像中字符的识别是否有误的信息。
该字符识别错误信息具体可以为错误标识矩阵，错误标识矩阵中任一位置的元素用于表示复原样本图像中某一区域的字符识别是否错误的信息，具体地，如果某一区域的字符识别正确，可以用1这个元素来标识，如果某一区域的字符识别错误，可以用0这个元素来标识。也就是将复原样本图像划分为多个区域，每个区域的字符识别是否错误的信息用一个元素表示，且任一元素在错误标识矩阵中的位置，与该元素所标识区域在复原样本图像中的位置一致。例如，在错误标识矩阵中的第1行第2个元素可以表示复原样本图像中第1行第2个区域的字符识别是否错误。
其中，某一区域的字符识别正确是指对复原样本图像中该区域识别的字符，与对应的原始样本图像中相应区域中的字符一致，比如都为一个相同的汉字等；而某一区域的字符识别错误是指对复原样本图像中该区域识别的字符，与对应的原始样本图像中相应区域中的字符不一致。
步骤105，根据字符识别错误信息及生成器得到的复原样本图像和训练样本中的原始样本图像，计算与生成器相关的第一损失函数，及根据第一损失函数调整生成器中的参数值，以得到最终的生成器，该最终的生成器用于对待复原涂抹图像进行复原。
具体地，如果字符识别错误信息为错误标识矩阵，涂抹图像的复原装置在计算第一损失函数时，可以计算第一损失函数包括：复原样本图像的信息与原始样本图像的信息之间的差值，与对应的错误标识矩阵的第一乘积。这种情况下，该第一损失函数用于指示生成器得到的复原样本图像中字符识别错误的区域图像，与原始样本图像中相应区域图像之间的误差，这样可以通过对字符识别错误的区域的监督来训练复原网络。
或者，计算第一损失函数包括：复原样本图像的信息与原始样本图像信息之间的差值与第一乘积的加权计算值，而第一乘积为根据复原样本图像的信息与原始样本图像的信息之间的差值，与对应的错误标识矩阵确定的。在这种情况下，第一损失函数用于指示生成器得到的复原样本图像与原始样本图像之间的误差；及生成器得到的复原样本图像中字符识别错误的区域图像，与训练样本中的原始样本图像中相应区域图像之间的误差，这样可以通过对全局图像(即整个图像)的监督及对字符识别错误的区域的监督来训练复原网络中的生成器。
而对于复原网络的训练过程就是需要尽量减少上述误差的值，该训练过程是通过反向传播求导以及梯度下降等一系列数学优化手段不断的优化上述步骤101中确定的复原初始网络的生成器中参数的参数值，并使得上述第一损失函数的计算值降至最低。
需要说明的是，上述步骤103到105是通过复原初始网络得到的复原样本图像对复原初始网络中的参数值的一次调整，而在实际应用中，需要通过不断地循环执行上述步骤103到105，直到对参数值的调整满足一定的停止条件为止。
因此，涂抹图像的复原装置在执行了上述实施例步骤101到105之后，还需要判断当前对参数值的调整是否满足预置的停止条件，当满足时，则结束流程；当不满足时，则针对调整参数值后的复原初始网络，返回执行上述步骤103到105。其中，预置的停止条件包括但不限于如下条件中的任何一个：当前调整的参数值与上一次调整的参数值的差值小于一阈值，即调整的参数值达到收敛；及对参数值的调整次数等于预置的次数等。
可见，在本实施例的方法中，涂抹图像的复原装置在对待复原涂抹图像进行复原时采用复原网络，而在训练复原网络的过程中，通过复原初始网络中生成器对涂抹样本图像复原得到的复原样本图像，对应的原始样本图像，及对复原样本图像的字符识别错误信息计算与生成器相关的第一损失函数，并通过该对损失函数的监督来不断优化复原初始网络中的生成器，得到最终训练好的生成器。由于在训练过程中，涂抹图像的复原装置计算的第一损失函数包括了复原样本图像的字符识别错误信息，这样可以对字符识别错误区域进行更细致的监督，使得最终训练好的生成器可以准确地复原待复原涂抹图像中被涂抹轨迹覆盖的原始字符，比如文字等。
需要说明的是，在一个具体的实施例中，涂抹图像的复原装置在执行上述步骤105之前，还需要根据涂抹样本图像及对应的原始样本图像，确定涂抹样本图像的涂抹区域信息，该涂抹区域信息用于表示涂抹样本图像中覆盖了涂抹轨迹的区域。
该涂抹区域信息具体可以为涂抹标识矩阵，涂抹标识矩阵中任一位置的元素用于表示原始样本图像中某一区域是否覆盖涂抹轨迹的信息，具体地，如果原始样本图像中某一区域覆盖了涂抹轨迹，可以用1这个元素来标识，如果某一区域未覆盖涂抹轨迹，可以用0这个元素来标识。也就是将原始样本图像划分为多个区域，每个区域是否覆盖涂抹轨迹的信息用一个元素表示，且任一元素在涂抹标识矩阵中的位置，与该元素所标识区域在原始样本图像中的位置一致，例如，在涂抹标识矩阵中的第2行第3个元素可以表示原始样本图像中第2行第3个区域是否覆盖涂抹轨迹。
在这种情况下，涂抹图像的复原装置在执行上述步骤105中计算第一损失函数时，会根据涂抹区域信息、上述的字符识别错误信息及生成器得到的复原样本图像和训练样本中的原始样本图像，计算与生成器相关的第一损失函数。具体地，可以计算第一损失函数包括：复原样本图像的信息与原始样本图像的信息之间的差值、第二乘积与上述第一乘积的加权计算值，这里，第二乘积为根据复原样本图像的信息与原始样本图像的信息之间的差值，与对应的涂抹标识矩阵所确定的，具体为复原样本图像的信息与原始样本图像的信息之间的差值，与对应的涂抹标识矩阵的乘积。
这样，第一损失函数用于指示生成器得到的复原样本图像与原始样本图像之间的误差；生成器针对涂抹样本图像中涂抹区域得到的复原样本图像中相应区域图像，与原始样本图像中相应区域图像之间的误差；及生成器得到的复原样本图像中字符识别错误的区域图像，与原始样本图像中相应区域图像之间的误差等，这几个误差的综合误差，并可以通过对全局图像(即整个图像)的监督、对涂抹区域的监督及对字符识别错误的区域的监督来训练复原网络。
另外需要说明的是，在另一个具体的实施例中，如图3所示，涂抹图像的复原装置在执行上述步骤101时，确定的复原初始网络中还包括鉴别器，该鉴别器可以包括特征提取模块和鉴别模块，特征提取模块用于提取复原图像或原始图像的特征信息，鉴别模块用于根据特征提取模块提取的特征信息确定输入的图像是复原图像或是原始图像。具体地，鉴别器可以采用全连接网络(Fully Convolutional Networks，FCN)，或是深度网络(DeepLab)，或是PatchCNN等基于分割的网络，只需输出与输入图成特定比例大小的一通道的概率值即可。
需要说明的是，对复原网络训练的过程是对生成器进行优化，使得生成器生成尽可能接近原始图像的复原图像，同时使得鉴别器难以对生成器生成的复原图像进行准确识别，因此生成器与鉴别器之间形成了一种对抗，最终理想状态下是达到一种纳什均衡，即生成器生成的复原图像足够接近原始图像，以至于鉴别器难以正确判断。
在这种情况下，涂抹图像的复原装置还需要通过鉴别器确定生成器得到的复原样本图像是复原图像或是原始图像，且还可以通过鉴别器确定训练样本中的原始样本图像是复原图像或是原始图像，也就是说，将生成器得到的复原样本图像及训练样本中对应的原始样本图像作为训练样本，来训练鉴别器。具体地，可以将生成器输出的复原样本图像的信息输入到鉴别器中，还需要将训练样本中原始样本图像的信息输入到鉴别器中，由鉴别器中特征提取模块提取输入图像的特征信息，并输出是原始图像或是复原图像的结果信息。
在实际应用过程中，也可以将上述生成器输出的复原样本图像的信息与对应的涂抹样本图像的信息进行拼接得到拼接后信息，输入到鉴别器中，且还可以将原始样本图像的信息与对应的涂抹样本图像的信息进行拼接得到拼接后信息，输入到鉴别器中，这样，鉴别器中特征提取模块会提取拼接后信息的特征信息，而鉴别模块用于根据特征提取模块提取的特征信息确定输入的图像是原始图像或是复原图像。这种将涂抹图像也作为复原样本图像或原始样本图像的一个参考信息输入到鉴别器，从而能更有针对性地进行鉴别。
进一步地，涂抹图像的复原装置在优化生成器的过程中，还需要不断地优化鉴别器，具体地，先根据字符识别错误信息及鉴别器得到的结果，计算与生成器相关的第二损失函数，及根据第二损失函数调整鉴别器中的参数值，以得到最终的鉴别器。
具体地，如果字符识别错误信息为错误标识矩阵，则涂抹图像的复原装置在计算第二损失函数时，可以计算第二损失函数包括：鉴别器得到的结果与鉴别器的监督信息之间的差值，与对应的错误标识矩阵的第三乘积，其中鉴别器的监督信息具体为鉴别器输入的图像实际为复原图像或为原始图像的信息。这种情况下，该第二损失函数用于指示鉴别器针对复原样本图像中字符识别错误的区域或针对相应区域的原始样本图像得到的结果，与输入图像实际为复原图像或为原始图像的信息之间的误差，这样可以通过对字符识别错误的区域的监督来训练鉴别器。
或者，计算第二损失函数包括：鉴别器得到的结果与鉴别器的监督信息之间差值与上述第三乘积的加权计算值。在这种情况下，第二损失函数用于指示鉴别器针对整个复原样本图像或原始样本图像得到的结果，与输入图像实际为复原图像或为原始图像的信息之间的误差；及鉴别器针对复原样本图像中字符识别错误的区域或针对相应区域的原始样本图像得到的结果，与输入图像实际为复原图像或为原始图像的信息之间的误差，这样可以通过对全局图像(即整个图像)的监督，及对字符识别错误的区域的监督来训练鉴别器。
进一步地，如果涂抹图像的复原还根据涂抹样本图像及对应的原始样本图像确定了涂抹样本图像的涂抹区域信息，则涂抹图像的复原装置在确定第二损失函数时，会根据涂抹区域信息、字符识别错误信息及鉴别器得到的结果，计算与生成器相关的第二损失函数。具体地，如果该涂抹区域信息具体为涂抹标识矩阵，则涂抹图像的复原装置会计算第二损失函数包括：鉴别器得到的结果与鉴别器的监督信息之间的差值、第四乘积与上述第三乘积的加权计算值，第四乘积为鉴别器得到的结果与鉴别器的监督信息之间的差值，与对应的涂抹标识矩阵的乘积。
这样，第二损失函数用于指示鉴别器针对整个复原样本图像或原始样本图像得到的结果，与输入图像实际为复原图像或为原始图像的信息之间的误差；鉴别器针对上述生成器复原涂抹样本图像中涂抹区域生成的复原样本图像区域，或鉴别器针对相应区域的原始样本图像得到的结果，与鉴别器输入图像区域实际为复原图像或为原始图像的信息之间的误差；及鉴别器针对复原样本图像中字符识别错误的区域或针对相应区域的原始样本图像得到的结果，与输入图像实际为复原图像或为原始图像的信息之间的误差等，这几个误差的综合误差，并可以通过对全局图像(即整个图像)的监督、对涂抹区域的监督及对字符识别错误的区域的监督来训练复原网络。
而对于鉴别器的训练过程就是需要尽量减少上述误差的值，该训练过程是通过反向传播求导以及梯度下降等一系列数学优化手段不断的优化上述步骤101中确定的复原初始网络的鉴别器中参数的参数值，并使得上述第二损失函数的计算值降至最低。
本发明实施例另一实施例中还提供一种涂抹图像的复原方法，在本实施例的方法是采用训练好的生成器对待复原涂抹图像进行复原的方法，如图4所示，本实施例中的方法可以包括如下步骤：
步骤201，获取包含涂抹轨迹的待复原涂抹图像，涂抹轨迹覆盖了字符。
可以理解，用户可以操作涂抹图像的复原装置，将待复原涂抹图像输入到涂抹图像的复原装置，这样，涂抹图像的复原装置可以发起本实施例的流程，其中，待复原涂抹图像中包括涂抹轨迹，且涂抹轨迹覆盖的位置有字符。
步骤202，将待复原涂抹图像输入预置的生成器，生成器为按照上述图2所示的涂抹图像的复原方法得到的最终的生成器。
这里预置的生成器是一种机器学习模型，可以通过一定的训练方法训练得到，且将训练好的生成器的运行逻辑储存到涂抹图像的复原装置中，其中训练方法如上述实施例中所述，在此不进行赘述。
步骤203，获取生成器对待复原涂抹图像进行复原处理生成的复原图像。
具体地，生成器中的特征提取模块提取待复原涂抹图像的特征信息，而生成模块用于根据特征提取模块提取到的特征信息生成消除涂抹图像的信息，即复原图像的信息。
进一步地，涂抹图像的复原装置还可以对复原图像进行字符识别处理，得到字符识别结果，并以字符识别结果作为待复原涂抹图像对应的字符识别结果进行输出。
这样，由于上述训练过程中得到的生成器能较准确地复原待复原涂抹图像中被涂抹轨迹覆盖的原始字符，比如文字等，使得对复原图像进行字符识别的准确率也会较高。
以下以一个具体的应用实例来说明本发明中涂抹图像的复原方法，本实施例中的涂抹图像的复原方法包括如下两个部分：
(一)如图5所示，可以通过如下步骤训练复原网络。
步骤301，确定复原初始网络包括生成器和鉴别器，并对生成器和鉴别器进行初始化，即设置生成器和鉴别器中参数的初始值，其中，生成器可以采用U-Net256的网络架构，而鉴别器采用PatchCNN[1]，具体地：
如图6所示，生成器中每一层网络上面的数字表示该层的通道数，所有卷积层和解卷积的步长(stride)均为2，卷积核大小为4，给定输入的涂抹图像，生成器可以输出具有同样大小的消除涂抹图像即复原图像，生成器的监督信息为原始的无涂抹图像。
如图7所示，鉴别器为一个浅层的分割网络结构，每一层网络上面的数字表示该层的通道数，其中前三层的卷积的步长为12，后面的卷积stride为1，所有卷积核大小均为4，鉴别器的输入为用两组图像拼接的6通道图像，比如原始图像与涂抹图像的拼接，或者复原图像与涂抹图像的拼接，输出为一个与原始图像成一定大小比例(比如1/8)的一通道的概率图，若输入为原始图像,所有概率应接近1，否则应接近0，即对于原始图像，其监督信息为全1矩阵；而对于复原图像，其监督信息为全0矩阵。
步骤302，确定训练样本，具体获取N张包含文字的原始样本图像y(N一般大于等于20000)，并对这些原始样本图像上的文字部分进行随机涂抹，得到涂抹样本图像x，所有样本图像都将长宽缩放到1024*1024。
步骤303，通过生成器对每个涂抹样本图像x进行复原得到复原样本图像G(x)，且通过鉴别器识别原始样本图像y或复原样本图像G(x)是原始图像或是复原图像。
步骤304，对生成器得到的复原样本图像G(x)进行字符识别，本实施例中可以采用光学字符识别(Optical Character Recognition，OCR)方法对复原样本图像进行字符识别，并根据字符识别的结果确定复原样本图像G(x)的字符识别错误信息，具体为错误标识矩阵E，其大小与原始样本图像y的大小相同，取值只有0和1，0表示某一位置对应的字符识别正确(或者无文字)，1表示某一位置对应的字符识别错误。
且根据复原样本图像G(x)及原始样本图像y的对比，确定复原样本图像G(x)中的涂抹区域信息，具体为涂抹标识矩阵M，其大小与原始样本图像y的大小相同，取值只有0和1，0表示未被涂抹的位置，1表示被涂抹的位置。
步骤305，根据涂抹区域信息、字符识别错误信息及生成器得到的复原样本图像G(x)和训练样本中的原始样本图像y，计算与生成器相关的第一损失函数，根据第一损失函数调整生成器中的参数值；根据涂抹区域信息、字符识别错误信息及鉴别器得到的结果，计算与生成器相关的第二损失函数，及根据第二损失函数调整鉴别器中的参数值。
具体地，为了使生成器输出的复原图像能消除涂抹并还原文字的笔划，更接近于原始的无涂抹图像，在计算第一损失函数时，可以采用如下三个部分的误差，也就是采用如下三个部分的监督：
(1)全局相似度监督
全局相似度监督用来约束生成器输出的复原样本图像G(x)在整体视觉上接近于原始样本图像y，采用一范数作为距离度量方法，具体可以通过如下公式1来表示，即复原样本图像G(x)的信息和原始样本图像y的信息对应元素差的绝对值的累计和再进行平均,W为图像的宽度，H为图像的高度,彩色图像为3通道。
Figure BDA0002407417730000131
(2)局部相似度监督
局部相似度监督用于约束复原样本图像G(x)中涂抹区域的复原情况，在生成器涂抹消除与字符复原的过程中，其目标就是恢复被涂抹轨迹覆盖的局部区域，因此有必要对这些区域进行更细致的监督。根据上述步骤304中确定的涂抹标识矩阵M，局部相似度监督可以通过如下公式2来表示，其中*表示矩阵元素间的点乘。
Figure BDA0002407417730000141
(3)字符识别错误区域监督
字符复原的最终目的是为了对复原后图像中的字符进行识别，除了在视觉上要保证生成器得到的复原样本图像G(x)接近于原始样本图像y，更重要的是，复原样本图像G(x)能够被正确的识别，本发明实施例中，考虑对复原样本图像G(x)中字符识别错误区域进行更细致的监督。根据上述步骤304中确定的错误标识矩阵，字符识别错误区域监督可以通过如下公式3来表示：
Figure BDA0002407417730000142
基于以上三种监督方式，最终与生成器相关的第一损失函数可以通过如下公式4来表示，具体为上述三个监督的加权和值，在实际应用中，可以设置α＝1,β＝6,γ＝3：
LG＝αLG1+βLG2+γLG3 (4)
进一步地，在计算上述第二损失函数时，可以采用如下三个部分的误差，也就是采用如下三个部分的监督：
(1)全局鉴别监督
全局鉴别监督用来约束鉴别器对输入图像整体判断的正确性，使得鉴别器输出的结果整体接近于1(表示原始图像)或0(表示复原图像)，本发明实施例中采用最小二乘优化方式，即二范数，具体可以通过如下公式5来表示，包括：鉴别器针对整个复原样本图像G(x)或原始样本图像y得到的结果，与输入图像实际为复原图像或为原始图像的信息之间的差值，其中，D为鉴别器的结果，P为鉴别器的监督信息，
Figure BDA0002407417730000151
Figure BDA0002407417730000152
(2)局部鉴别监督
由于对于未涂抹区域复原图像与原始图像几乎是一致的，而涂抹区域更能鉴别出输入的图像是复原图像还是原始图像，因此，局部鉴别监督用于对复原样本图像G(x)的涂抹区域进行重点鉴别监督，对上述步骤304中得到的涂抹标识矩阵M，由于鉴别器输出结果的大小为原始样本图像的1/8，需要先利用最近邻插值的方式缩放到鉴别器输出概率图的大小，即缩放到1/8大小,得到处理后的涂抹标识矩阵M’，则局部鉴别监督可以通过如下公式6来表示，其中*表示矩阵元素间的点乘。
Figure BDA0002407417730000153
(3)字符识别错误区域监督
对上述步骤304中得到的错误标识矩阵E，由于鉴别器输出结果的大小为原始样本图像的1/8，需要先利用最近邻插值的方式缩放到鉴别器输出概率图的大小，即缩放到1/8大小，得到处理后的错误标识矩阵E’，则字符识别错误区域监督可以通过如下公式7来表示：
Figure BDA0002407417730000154
基于以上三种监督方式，最终与鉴别器相关的第二损失函数可以通过如下公式8来表示，具体为上述三个监督的加权和值，在实际应用中，可以设置α＝1，β＝6，γ＝3：
LD＝αLD1+βLD2+γLD3 (8)
在计算了上述第一损失函数和第二损失函数后，可以分别对上述步骤301确定的生成器和鉴别器中的参数值。
步骤306，判断上述第一损失函数和第二损失函数是否收敛，如果收敛，比如达到最小值，则结束流程，可以得到最终的复原网络；如果未收敛，则针对调整参数值后的生成器和鉴别器，返回执行上述步骤303。
其中，收敛条件一般设置为迭代到一次的次数，如50epoch，即所有涂抹样本图像遍历50次。
(二)通过上述的方法可以得到训练好的生成器，在实际应用中，只需要将待复原的涂抹图像输入到训练好的生成器，则生成器可以输出对应的复原图像。
通过本发明实施例中的方法训练的生成器，可以消除文字图像中的涂抹轨迹并恢复文字笔划，显著地提高了对复原后图像中的文字识别准确率。在实际应用过程中，收集1000张文字图像作为测试图像，并对其随机进行涂抹，利用字符识别算法分别对采用本发明实施例中训练好的生成器复原后的图像，及对采用现有技术中方法复原后的图像进行文字识别，实验结果表明，本发明实施例中训练的生成器能够将文字识别错误率降低20.2％，而由于现有技术中方法只是将涂抹图像中的涂抹消除，而对于被涂抹覆盖的文字部分，填充背景色或者随机添加痕迹，因此文字识别错误率反而上升了2.2％，可见，本发明实施例的方法有效地提高了对具有字符的涂抹图像的识别正确率，在智能图文理解领域有重要的实用性。
以下以另一具体的应用实例来说明本发明中基于用户行为的信息处理方法，本发明实施例中的信息处理系统主要为分布式系统100，该分布式系统可以包括客户端300及多个节点200(接入网络中的任意形式的计算设备，如服务器、用户终端)，客户端300与节点200之间通过网络通信的形式连接。
以分布式系统为区块链系统为例，参见图8是本发明实施例提供的分布式系统100应用于区块链系统的一个可选的结构示意图，由多个节点200(接入网络中的任意形式的计算设备，如服务器、用户终端)和客户端300形成，节点之间形成组成的点对点(P2P，Peer ToPeer)网络，P2P协议是一个运行在传输控制协议(TCP，Transmission Control Protocol)协议之上的应用层协议。在分布式系统中，任何机器如服务器、终端都可以加入而成为节点，节点包括硬件层、中间层、操作系统层和应用层。
参见图8示出的区块链系统中各节点的功能，涉及的功能包括：
1)路由，节点具有的基本功能，用于支持节点之间的通信。
节点除具有路由功能外，还可以具有以下功能：
2)应用，用于部署在区块链中，根据实际业务需求而实现特定业务，记录实现功能相关的数据形成记录数据，在记录数据中携带数字签名以表示任务数据的来源，将记录数据发送到区块链系统中的其它节点，供其它节点在验证记录数据来源以及完整性成功时，将记录数据添加到临时区块中。
例如，应用实现的业务包括：
钱包，用于提供进行电子货币的交易的功能，包括发起交易(即，将当前交易的交易记录发送给区块链系统中的其他节点，其他节点验证成功后，作为承认交易有效的响应，将交易的记录数据存入区块链的临时区块中；当然，钱包还支持查询电子货币地址中剩余的电子货币；共享账本，用于提供账目数据的存储、查询和修改等操作的功能，将对账目数据的操作的记录数据发送到区块链系统中的其他节点，其他节点验证有效后，作为承认账目数据有效的响应，将记录数据存入临时区块中，还可以向发起操作的节点发送确认；还可以包括智能合约，计算机化的协议，可以执行某个合约的条款，通过部署在共享账本上的用于在满足一定条件时而执行的代码实现，根据实际的业务需求代码用于完成自动化的交易，例如查询买家所购买商品的物流状态，在买家签收货物后将买家的电子货币转移到商户的地址；当然，智能合约不仅限于执行用于交易的合约，还可以执行对接收的信息进行处理的合约。
在本实施例中，节点中的应用还包括实现涂抹图像的复原功能的代码，该涂抹图像的复原功能主要包括：
确定复原初始网络，所述复原初始网络包括生成器；确定训练样本，所述训练样本中包括多对样本图像，每一对样本图像中包括涂抹样本图像和对应的原始样本图像，所述涂抹样本图像中有涂抹轨迹覆盖原始字符；通过所述复原初始网络中的生成器分别对各个涂抹样本图像进行复原得到复原样本图像；对所述生成器得到的复原样本图像进行字符识别，及根据所述字符识别的结果确定所述复原样本图像的字符识别错误信息；根据所述字符识别错误信息及所述生成器得到的复原样本图像和所述训练样本中的原始样本图像，计算与所述生成器相关的第一损失函数，及根据所述第一损失函数调整所述生成器中的参数值，以得到最终的生成器，所述最终的生成器用于对待复原涂抹图像进行复原。
3)区块链，包括一系列按照产生的先后时间顺序相互接续的区块(Block)，新区块一旦加入到区块链中就不会再被移除，区块中记录了区块链系统中节点提交的记录数据。
参见图9为本发明实施例提供的区块结构(Block Structure)一个可选的示意图，每个区块中包括本区块存储交易记录的哈希值(本区块的哈希值)、以及前一区块的哈希值，各区块通过哈希值连接形成区块链。另外，区块中还可以包括有区块生成时的时间戳等信息。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了相关的信息，用于验证其信息的有效性(防伪)和生成下一个区块。
本发明实施例还提供一种涂抹图像的复原装置，其结构示意图如图10所示，具体可以包括：
网络确定单元10，用于确定复原初始网络，所述复原初始网络包括生成器。
样本单元11，用于确定训练样本，所述训练样本中包括多对样本图像，每一对样本图像中包括涂抹样本图像和对应的原始样本图像，所述涂抹样本图像中有涂抹轨迹覆盖原始字符。
复原单元12，用于通过所述网络确定单元10确定的复原初始网络中的生成器分别对样本单元11确定的各个涂抹样本图像进行复原得到复原样本图像。
识别单元13，用于对所述复原单元12中生成器得到的复原样本图像进行字符识别，及根据所述字符识别的结果确定所述复原样本图像的字符识别错误信息。
调整单元14，用于根据所述识别单元13确定的字符识别错误信息及所述生成器得到的复原样本图像和所述训练样本中的原始样本图像，计算与所述生成器相关的第一损失函数，及根据所述第一损失函数调整所述生成器中的参数值，以得到最终的生成器，所述最终的生成器用于对待复原涂抹图像进行复原。
该调整单元14，具体用于如果所述字符识别错误信息为错误标识矩阵，所述错误标识矩阵中任一位置的元素用于表示所述复原样本图像中某一区域的字符识别是否错误的信息；计算所述第一损失函数包括：所述复原样本图像的信息与原始样本图像的信息之间的差值，与对应的错误标识矩阵的第一乘积；或者，计算所述第一损失函数包括：所述复原样本图像的信息与原始样本图像的信息之间的差值与所述第一乘积的加权计算值。
进一步地，本实施例的涂抹图像的复原装置还可以包括：涂抹区域单元15，用于根据所述涂抹样本图像及对应的原始样本图像，确定所述涂抹样本图像的涂抹区域信息；则所述调整单元14，具体用于根据所述涂抹区域单元15确定的涂抹区域信息、字符识别错误信息及所述生成器得到的复原样本图像和所述训练样本中的原始样本图像，计算与所述生成器相关的第一损失函数。
具体地，如果所述涂抹区域信息包括涂抹标识矩阵，所述涂抹标识矩阵中任一位置的元素用于表示所述涂抹样本图像中某一区域是否覆盖涂抹轨迹的信息；则所述调整单元14在根据所述涂抹区域信息、字符识别错误信息及所述生成器得到的复原样本图像和所述训练样本中的原始样本图像，计算与所述生成器相关的第一损失函数时，具体用于计算所述第一损失函数包括：所述复原样本图像的信息与原始样本图像的信息之间的差值、第二乘积与所述第一乘积的加权计算值，所述第二乘积为所述复原样本图像的信息与原始样本图像的信息之间的差值，与对应的涂抹标识矩阵的乘积。
进一步地，本实施例装置中的网络确定单元10在确定复原初始网络时，复原初始网络还包括鉴别器，上述的复原单元12还用于通过所述鉴别器确定所述生成器得到的复原样本图像是复原图像或是原始图像，及通过所述鉴别器确定原始样本图像是复原图像或是原始图像；所述调整单元14还用于根据所述字符识别错误信息及所述鉴别器得到的结果，计算与所述生成器相关的第二损失函数，及根据所述第二损失函数调整所述鉴别器中的参数值，以得到最终的鉴别器。
上述调整单元14在计算第二损失函数时，如果所述字符识别错误信息为错误标识矩阵，所述错误标识矩阵中任一位置的元素用于表示所述复原样本图像中某一区域的字符识别是否错误的信息；则计算所述第二损失函数包括：所述鉴别器得到的结果与鉴别器的监督信息之间的差值，与对应的错误标识矩阵的第三乘积；或者，计算所述第二损失函数包括：所述鉴别器得到的结果与鉴别器的监督信息之间的差值与所述第三乘积的加权计算值。
进一步地，如果所述涂抹区域单元15还根据所述涂抹样本图像及对应的原始样本图像，确定所述涂抹样本图像的涂抹区域信息；则所述调整单元14在计算第二损失函数时，根据所述涂抹区域信息、所述字符识别错误信息及所述鉴别器得到的结果，计算与所述生成器相关的第二损失函数。
其中，如果涂抹区域信息包括涂抹标识矩阵，所述涂抹标识矩阵中任一位置的元素用于表示所述涂抹样本图像中某一区域是否覆盖涂抹轨迹的信息；则调整单元14在根据所述涂抹区域信息、所述字符识别错误信息及所述鉴别器得到的结果，计算与所述生成器相关的第二损失函数时，具体用于计算所述第二损失函数包括：所述鉴别器得到的结果与鉴别器的监督信息之间、第四乘积与所述第三乘积的加权计算值，所述第四乘积为所述鉴别器得到的结果与鉴别器的监督信息之间的差值，与对应的涂抹标识矩阵的乘积。
可见，本实施例的涂抹图像的复原装置在对待复原涂抹图像进行复原时采用复原网络，而在训练复原网络的过程中，调整单元14会通过复原初始网络中生成器对涂抹样本图像复原得到的复原样本图像，对应的原始样本图像，及对复原样本图像的字符识别错误信息计算与生成器相关的第一损失函数，并通过该对损失函数的监督来不断优化复原初始网络中的生成器，得到最终训练好的生成器。由于在训练过程中，涂抹图像的复原装置计算的第一损失函数包括了复原样本图像的字符识别错误信息，这样可以对字符识别错误区域进行更细致的监督，使得最终训练好的生成器可以准确地复原待复原涂抹图像中被涂抹轨迹覆盖的原始字符，比如文字等。
本发明实施例还提供一种涂抹图像的复原装置，其结构示意图如图11所示，具体可以包括：
图像获取单元20，用于获取包含涂抹轨迹的待复原涂抹图像，所述涂抹轨迹覆盖了字符；
图像输入单元21，用于将所述图像获取单元20获取的待复原涂抹图像输入预置的生成器；所述生成器为按照上述图10所示的涂抹图像的复原装置得到的最终的生成器。
复原获取单元22，获取所述图像输入单元21中生成器对所述待复原涂抹图像进行复原处理生成的复原图像。
进一步地，本实施例中的涂抹图像的复原装置还包括：识别输出单元23，用于对所述复原获取单元22获取到的复原图像进行字符识别处理，得到字符识别结果；以所述字符识别结果作为所述待复原涂抹图像对应的字符识别结果进行输出。
这样，由于上述涂抹图像的复原装置训练得到的生成器能较准确地复原待复原涂抹图像中被涂抹轨迹覆盖的原始字符，比如文字等，使得识别输出单元23对复原图像进行字符识别的准确率也会较高。
本发明实施例还提供一种终端设备，其结构示意图如图12所示，该终端设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(centralprocessing units，CPU)30(例如，一个或一个以上处理器)和存储器31，一个或一个以上存储应用程序321或数据322的存储介质32(例如一个或一个以上海量存储设备)。其中，存储器31和存储介质32可以是短暂存储或持久存储。存储在存储介质32的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对终端设备中的一系列指令操作。更进一步地，中央处理器30可以设置为与存储介质32通信，在终端设备上执行存储介质332中的一系列指令操作。
具体地，在存储介质32中储存的应用程序321包括涂抹图像复原的应用程序，且该程序可以包括上述涂抹图像的复原装置中的网络确定单元10，样本单元11，复原单元12，识别单元13，调整单元14和涂抹区域单元15，在此不进行赘述。更进一步地，中央处理器30可以设置为与存储介质32通信，在终端设备上执行存储介质32中储存的涂抹图像复原的应用程序对应的一系列操作。
终端设备还可以包括一个或一个以上电源33，一个或一个以上有线或无线网络接口34，一个或一个以上输入输出接口35，和/或，一个或一个以上操作系统323，例如WindowsServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。
上述方法实施例中所述的由语音数据的评价系统所执行的步骤可以基于该图12所示的终端设备的结构。
本发明实施例还提供一种终端设备，其结构与上述图12所述的终端设备的结构类似，不同的是，在本实施例的终端设备中，在存储介质中储存的应用程序包括涂抹图像复原的应用程序，且该程序可以包括上述涂抹图像的复原装置中的图像获取单元20，图像输入单元21，复原获取单元22和识别输出单元23，在此不进行赘述。更进一步地，中央处理器可以设置为与存储介质通信，在终端设备上执行存储介质中储存的涂抹图像复原的应用程序对应的一系列操作。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质储存多个计算机程序，所述计算机程序适于由处理器加载并执行如上述涂抹图像的复原装置所执行的涂抹图像的复原方法。
本发明实施例还提供一种终端设备，包括处理器和存储器；所述存储器用于储存多个计算机程序，所述计算机程序用于由处理器加载并执行如上述涂抹图像的复原装置所执行的涂抹图像的复原方法；所述处理器，用于实现所述多个计算机程序中的各个计算机程序。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM)、随机存取存储器(RAM)、磁盘或光盘等。
以上对本发明实施例所提供的一种涂抹图像的复原方法、装置及存储介质和终端设备进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (14)

1.一种涂抹图像的复原方法，其特征在于，包括：
确定复原初始网络，所述复原初始网络包括生成器；
确定训练样本，所述训练样本中包括多对样本图像，每一对样本图像中包括涂抹样本图像和对应的原始样本图像，所述涂抹样本图像中有涂抹轨迹覆盖原始字符；
通过所述复原初始网络中的生成器分别对各个涂抹样本图像进行复原得到复原样本图像；
对所述生成器得到的复原样本图像进行字符识别，及根据所述字符识别的结果确定所述复原样本图像的字符识别错误信息；
根据所述字符识别错误信息及所述生成器得到的复原样本图像和所述训练样本中的原始样本图像，计算与所述生成器相关的第一损失函数，及根据所述第一损失函数调整所述生成器中的参数值，以得到最终的生成器，所述最终的生成器用于对待复原涂抹图像进行复原。
2.如权利要求1所述的方法，其特征在于，所述字符识别错误信息为错误标识矩阵，所述错误标识矩阵中任一位置的元素用于表示所述复原样本图像中某一区域的字符识别是否错误的信息；
所述根据所述字符识别错误信息及所述生成器得到的复原样本图像和所述训练样本中的原始样本图像，计算与所述生成器相关的第一损失函数，具体包括：
计算所述第一损失函数包括：所述复原样本图像的信息与原始样本图像的信息之间的差值，与对应的错误标识矩阵的第一乘积；
或者，计算所述第一损失函数包括：所述复原样本图像的信息与原始样本图像的信息之间的差值与第一乘积的加权计算值，所述第一乘积为根据所述复原样本图像的信息与原始样本图像的信息之间的差值，与对应的错误标识矩阵确定的。
3.如权利要求2所述的方法，其特征在于，所述计算与所述生成器相关的第一损失函数之前，还包括：
根据所述涂抹样本图像及对应的原始样本图像，确定所述涂抹样本图像的涂抹区域信息；
所述根据所述字符识别错误信息及所述生成器得到的复原样本图像和所述训练样本中的原始样本图像，计算与所述生成器相关的第一损失函数，具体包括：根据所述涂抹区域信息、字符识别错误信息及所述生成器得到的复原样本图像和所述训练样本中的原始样本图像，计算与所述生成器相关的第一损失函数。
4.如权利要求3所述的方法，其特征在于，所述涂抹区域信息包括涂抹标识矩阵，所述涂抹标识矩阵中任一位置的元素用于表示所述涂抹样本图像中某一区域是否覆盖涂抹轨迹的信息；
所述根据所述涂抹区域信息、字符识别错误信息及所述生成器得到的复原样本图像和所述训练样本中的原始样本图像，计算与所述生成器相关的第一损失函数，具体包括：
计算所述第一损失函数包括：所述复原样本图像的信息与原始样本图像的信息之间的差值、第二乘积与所述第一乘积的加权计算值，所述第二乘积为根据所述复原样本图像的信息与原始样本图像的信息之间的差值，与对应的涂抹标识矩阵所确定的。
5.如权利要求1至4任一项所述的方法，其特征在于，所述复原初始网络还包括鉴别器，所述方法还包括：
通过所述鉴别器确定所述生成器得到的复原样本图像是复原图像或是原始图像，及通过所述鉴别器确定原始样本图像是复原图像或是原始图像；
根据所述字符识别错误信息及所述鉴别器得到的结果，计算与所述生成器相关的第二损失函数，及根据所述第二损失函数调整所述鉴别器中的参数值，以得到最终的鉴别器。
6.如权利要求5所述的方法，其特征在于，所述字符识别错误信息为错误标识矩阵，所述错误标识矩阵中任一位置的元素用于表示所述复原样本图像中某一区域的字符识别是否错误的信息；
所述根据所述字符识别错误信息及所述鉴别器得到的结果，计算与所述生成器相关的第二损失函数，具体包括：
计算所述第二损失函数包括：所述鉴别器得到的结果与鉴别器的监督信息之间的差值，与对应的错误标识矩阵的第三乘积；
或者，计算所述第二损失函数包括：所述鉴别器得到的结果与鉴别器的监督信息之间的差值与所述第三乘积的加权计算值。
7.如权利要求6所述的方法，其特征在于，所述计算与所述鉴别器相关的第二损失函数之前，还包括：
根据所述涂抹样本图像及对应的原始样本图像，确定所述涂抹样本图像的涂抹区域信息；
根据所述字符识别错误信息及所述鉴别器得到的结果，计算与所述生成器相关的第二损失函数，具体包括：根据所述涂抹区域信息、所述字符识别错误信息及所述鉴别器得到的结果，计算与所述生成器相关的第二损失函数。
8.如权利要求7所述的方法，其特征在于，所述涂抹区域信息包括涂抹标识矩阵，所述涂抹标识矩阵中任一位置的元素用于表示所述涂抹样本图像中某一区域是否覆盖涂抹轨迹的信息；
所述根据所述涂抹区域信息、所述字符识别错误信息及所述鉴别器得到的结果，计算与所述生成器相关的第二损失函数，具体包括：
计算所述第二损失函数包括：所述鉴别器得到的结果与鉴别器的监督信息之间差值、第四乘积与所述第三乘积的加权计算值，所述第四乘积为所述鉴别器得到的结果与鉴别器的监督信息之间的差值，与对应的涂抹标识矩阵的乘积。
9.如权利要求1至4任一项所述的方法，其特征在于，当对所述参数值的调整次数等于预置的次数时，或若当前调整的固定参数值与上一次调整的固定参数值的差值小于一阈值时，则停止对所述固定参数值的调整。
10.一种涂抹图像的复原方法，其特征在于，包括：
获取包含涂抹轨迹的待复原涂抹图像，所述涂抹轨迹覆盖了字符；
将所述待复原涂抹图像输入预置的生成器；所述生成器为按照权利要求1-9中任一项所述的方法得到的最终的生成器；
获取所述生成器对所述待复原涂抹图像进行复原处理生成的复原图像。
11.根据权利要求10所述的方法，其特征在于，所述获取所述生成器对所述待复原涂抹图像进行复原处理生成的复原图像之后，还包括：
对所述复原图像进行字符识别处理，得到字符识别结果；
以所述字符识别结果作为所述待复原涂抹图像对应的字符识别结果进行输出。
12.一种涂抹图像的复原装置，其特征在于，包括：
网络确定单元，用于确定复原初始网络，所述复原初始网络包括生成器；
样本单元，用于确定训练样本，所述训练样本中包括多对样本图像，每一对样本图像中包括涂抹样本图像和对应的原始样本图像，所述涂抹样本图像中有涂抹轨迹覆盖原始字符；
复原单元，用于通过所述复原初始网络中的生成器分别对各个涂抹样本图像进行复原得到复原样本图像；
识别单元，用于对所述生成器得到的复原样本图像进行字符识别，及根据所述字符识别的结果确定所述复原样本图像的字符识别错误信息；
调整单元，用于根据所述字符识别错误信息及所述生成器得到的复原样本图像和所述训练样本中的原始样本图像，计算与所述生成器相关的第一损失函数，及根据所述第一损失函数调整所述生成器中的参数值，以得到最终的生成器，所述最终的生成器用于对待复原涂抹图像进行复原。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质储存多个计算机程序，所述计算机程序适于由处理器加载并执行如权利要求1至11任一项所述的涂抹图像的复原方法。
14.一种终端设备，其特征在于，包括处理器和存储器；
所述存储器用于储存多个计算机程序，所述计算机程序用于由处理器加载并执行如权利要求1至11任一项所述的涂抹图像的复原方法；所述处理器，用于实现所述多个计算机程序中的各个计算机程序。
CN202010165846.6A 2020-03-11 2020-03-11 一种涂抹图像的复原方法、装置及存储介质和终端设备 Active CN111402156B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010165846.6A CN111402156B (zh) 2020-03-11 2020-03-11 一种涂抹图像的复原方法、装置及存储介质和终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010165846.6A CN111402156B (zh) 2020-03-11 2020-03-11 一种涂抹图像的复原方法、装置及存储介质和终端设备

Publications (2)

Publication Number Publication Date
CN111402156A true CN111402156A (zh) 2020-07-10
CN111402156B CN111402156B (zh) 2021-08-03

Family

ID=71432291

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010165846.6A Active CN111402156B (zh) 2020-03-11 2020-03-11 一种涂抹图像的复原方法、装置及存储介质和终端设备

Country Status (1)

Country Link
CN (1) CN111402156B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112053301A (zh) * 2020-09-03 2020-12-08 腾讯科技（深圳）有限公司 一种涂抹图像生成方法、装置及存储介质和终端设备
CN112861806A (zh) * 2021-03-17 2021-05-28 网易（杭州）网络有限公司 基于生成对抗网络的字体数据处理方法及装置
CN113744140A (zh) * 2020-10-16 2021-12-03 北京沃东天骏信息技术有限公司 一种图像处理方法、设备和计算机可读存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140268250A1 (en) * 2013-03-15 2014-09-18 Mitek Systems, Inc. Systems and methods for receipt-based mobile image capture
CN104239872A (zh) * 2014-09-26 2014-12-24 南开大学 异态汉字识别方法
CN107609560A (zh) * 2017-09-27 2018-01-19 北京小米移动软件有限公司 文字识别方法及装置
CN107679483A (zh) * 2017-09-27 2018-02-09 北京小米移动软件有限公司 号牌识别方法及装置
CN107679533A (zh) * 2017-09-27 2018-02-09 北京小米移动软件有限公司 文字识别方法及装置
CN107945140A (zh) * 2017-12-20 2018-04-20 中国科学院深圳先进技术研究院 一种图像修复方法、装置及设备
CN108399408A (zh) * 2018-03-06 2018-08-14 李子衿 一种基于深度空间变换网络的变形字符矫正方法
CN108520504A (zh) * 2018-04-16 2018-09-11 湘潭大学 一种基于生成对抗网络端到端的模糊图像盲复原方法
CN109740607A (zh) * 2018-12-26 2019-05-10 南京互连智能科技有限公司 字符图像的残缺区域检测和残缺字符图像恢复方法
CN110163205A (zh) * 2019-05-06 2019-08-23 网易有道信息技术（北京）有限公司 图像处理方法、装置、介质和计算设备
CN110633755A (zh) * 2019-09-19 2019-12-31 北京市商汤科技开发有限公司 网络训练方法、图像处理方法及装置、电子设备

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140268250A1 (en) * 2013-03-15 2014-09-18 Mitek Systems, Inc. Systems and methods for receipt-based mobile image capture
CN104239872A (zh) * 2014-09-26 2014-12-24 南开大学 异态汉字识别方法
CN107609560A (zh) * 2017-09-27 2018-01-19 北京小米移动软件有限公司 文字识别方法及装置
CN107679483A (zh) * 2017-09-27 2018-02-09 北京小米移动软件有限公司 号牌识别方法及装置
CN107679533A (zh) * 2017-09-27 2018-02-09 北京小米移动软件有限公司 文字识别方法及装置
CN107945140A (zh) * 2017-12-20 2018-04-20 中国科学院深圳先进技术研究院 一种图像修复方法、装置及设备
CN108399408A (zh) * 2018-03-06 2018-08-14 李子衿 一种基于深度空间变换网络的变形字符矫正方法
CN108520504A (zh) * 2018-04-16 2018-09-11 湘潭大学 一种基于生成对抗网络端到端的模糊图像盲复原方法
CN109740607A (zh) * 2018-12-26 2019-05-10 南京互连智能科技有限公司 字符图像的残缺区域检测和残缺字符图像恢复方法
CN110163205A (zh) * 2019-05-06 2019-08-23 网易有道信息技术（北京）有限公司 图像处理方法、装置、介质和计算设备
CN110633755A (zh) * 2019-09-19 2019-12-31 北京市商汤科技开发有限公司 网络训练方法、图像处理方法及装置、电子设备

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112053301A (zh) * 2020-09-03 2020-12-08 腾讯科技（深圳）有限公司 一种涂抹图像生成方法、装置及存储介质和终端设备
CN112053301B (zh) * 2020-09-03 2021-08-31 腾讯科技（深圳）有限公司 一种涂抹图像生成方法、装置及存储介质和终端设备
CN113744140A (zh) * 2020-10-16 2021-12-03 北京沃东天骏信息技术有限公司 一种图像处理方法、设备和计算机可读存储介质
CN112861806A (zh) * 2021-03-17 2021-05-28 网易（杭州）网络有限公司 基于生成对抗网络的字体数据处理方法及装置
CN112861806B (zh) * 2021-03-17 2023-08-22 网易（杭州）网络有限公司 基于生成对抗网络的字体数据处理方法及装置

Also Published As

Publication number Publication date
CN111402156B (zh) 2021-08-03

Similar Documents

Publication Publication Date Title
CN110929622A (zh) 视频分类方法、模型训练方法、装置、设备及存储介质
CN110853033B (zh) 基于帧间相似度的视频检测方法和装置
CN111402156B (zh) 一种涂抹图像的复原方法、装置及存储介质和终端设备
CN111814661B (zh) 基于残差-循环神经网络的人体行为识别方法
CN109446889B (zh) 基于孪生匹配网络的物体追踪方法及装置
CN111444881A (zh) 伪造人脸视频检测方法和装置
CN110659723B (zh) 基于人工智能的数据处理方法、装置、介质及电子设备
CN111368943B (zh) 图像中对象的识别方法和装置、存储介质及电子装置
CN112053327B (zh) 视频目标物检测方法、系统及存储介质和服务器
CN112597984B (zh) 图像数据处理方法、装置、计算机设备和存储介质
CN112257665A (zh) 图像内容的识别方法、图像识别模型的训练方法及介质
CN112580616B (zh) 人群数量确定方法、装置、设备及存储介质
CN104598898A (zh) 一种基于多任务拓扑学习的航拍图像快速识别系统及其快速识别方法
CN111833115B (zh) 一种操作识别方法、装置及存储介质和服务器
CN114037056A (zh) 一种生成神经网络的方法、装置、计算机设备和存储介质
CN113762049A (zh) 内容识别方法、装置、存储介质和终端设备
CN108664906A (zh) 一种基于卷积网络的火灾场景中内容的检测方法
CN113947801B (zh) 人脸识别方法、装置和电子设备
CN113205044B (zh) 一种基于表征对比预测学习的深度伪造视频检测方法
CN113628107A (zh) 人脸图像超分辨率方法和系统
CN113824989A (zh) 一种视频处理方法、装置和计算机可读存储介质
CN115082873A (zh) 基于通路融合的图像识别方法、装置及存储介质
CN114764948A (zh) 活体检测方法、装置、设备及存储介质
CN112053301B (zh) 一种涂抹图像生成方法、装置及存储介质和终端设备
CN109670470B (zh) 行人关系识别方法、装置、系统及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40026368

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant