CN113111734B - 一种水印分类模型训练方法及装置 - Google Patents

一种水印分类模型训练方法及装置 Download PDF

Info

Publication number
CN113111734B
CN113111734B CN202110313604.1A CN202110313604A CN113111734B CN 113111734 B CN113111734 B CN 113111734B CN 202110313604 A CN202110313604 A CN 202110313604A CN 113111734 B CN113111734 B CN 113111734B
Authority
CN
China
Prior art keywords
watermark
image
detection model
text information
classified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110313604.1A
Other languages
English (en)
Other versions
CN113111734A (zh
Inventor
宫明明
郑霖
曾小英
陈虹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202110313604.1A priority Critical patent/CN113111734B/zh
Publication of CN113111734A publication Critical patent/CN113111734A/zh
Application granted granted Critical
Publication of CN113111734B publication Critical patent/CN113111734B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/413—Classification of content, e.g. text, photographs or tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本说明书提出一种水印分类模型训练方法及装置，预先训练水印检测模型以及文本检测模型，所述水印检测模型用于从图像中检测出预设类型的水印、以及每个预设类型水印的位置；所述文本检测模型用于从图像中检测出文本信息，以及每条文本信息的位置；所述方法包括：获取训练图像数据集，所述数据集中任一训练图像中包括至少一个水印；所述水印的类型包括合法水印或非法水印；利用所述训练图像数据集、所述水印检测模型、和所述文本检测模型，构建水印分类模型的训练样本集；利用所述训练样本集对初始水印分类模型进行有监督训练，得到用于进行水印分类的水印分类模型。

Description

一种水印分类模型训练方法及装置
技术领域
本说明书涉及机器学习技术领域，尤其涉及一种水印分类模型训练方法及装置。
背景技术
互联网平台往往需要对用户上传的图片进行审核，例如会在商户注册时，要求商户上传一些店铺内的实景图像，以用于审核身份。但在实际应用中发现存在商户盗用网络图像作为实景图像、以欺骗审核的情况，因此需要对实景图像以及网络图像加以区分，而网络图像的一个显著特征是包含水印，因此可以根据图像是否包含水印进行区分。
另外，由于部分拍摄应用在拍摄图像后，也会在图像中增加水印，因此需要区分合法水印和非法水印。合法水印可以包括拍摄应用的水印、时间戳水印等，具有这类水印的图像一般可以认为是用户自行提供的。而非法水印则包括各种网站的水印、公众号水印、用户名水印等，具有这类水印的图像往往是用户从别处下载的，因此，需要对图像中不同的水印进行分类，从而利用分类结果对用户上传的图片进行审核。
目前，常采用人工分类的方式对水印进行分类，但这种方式效率较低，因此，在对用户上传的图像中的水印进行分类时，如何能够提供效率且能保证分类准确性是目前需要解决的问题。
发明内容
针对上述技术问题，本说明书提供一种水印分类模型训练方法及装置，技术方案如下：
根据本说明书的第一方面，提供一种水印分类模型训练方法，预先训练水印检测模型以及文本检测模型，所述水印检测模型用于从图像中检测出预设类型的水印、以及每个预设类型水印的位置；所述文本检测模型用于从图像中检测出文本信息，以及每条文本信息的位置；所述方法包括：
获取训练图像数据集，所述数据集中任一训练图像中包括至少一个水印；所述水印的类型包括合法水印或非法水印；
利用所述训练图像数据集、所述水印检测模型、和所述文本检测模型，构建水印分类模型的训练样本集；其中，任一训练样本，以目标水印图像和该目标水印图像中的文本信息为特征值，以该目标水印的类型为标签值；
利用所述训练样本集对初始水印分类模型进行有监督训练，得到用于进行水印分类的水印分类模型。
根据本说明书的第二方面，提供一种基于上述水印分类模型的水印分类方法，预先训练水印检测模型以及文本检测模型，所述水印检测模型用于从图像中检测出预设类型的水印、以及每个预设类型水印的位置；所述文本检测模型用于从图像中检测出文本信息，以及每条文本信息的位置；所述方法包括：
获取待审核图像；
利用所述水印检测模型和所述文本检测模型，从所述待审核图像中获取至少一个待分类水印图像，以及所述至少一个待分类水印图像分别包含的文本信息；
针对任一待分类水印图像，将该待分类水印图像，以及其中的文本信息输入到所述水印分类模型中，利用所述水印分类模型的输出结果确定该待分类水印图像中水印的类型。
根据本说明书的第三方面，提供一种水印分类模型的训练装置，预先训练水印检测模型以及文本检测模型，所述水印检测模型用于从图像中检测出预设类型的水印、以及每个预设类型水印的位置；所述文本检测模型用于从图像中检测出文本信息，以及每条文本信息的位置；所述装置包括：
训练图像获取模块，用于获取训练图像数据集，所述数据集中任一训练图像中包括至少一个水印；所述水印的类型包括合法水印或非法水印；
训练样本构建模块，用于利用所述训练图像数据集、所述水印检测模型、和所述文本检测模型，构建水印分类模型的训练样本集；其中，任一训练样本，以目标水印图像和该目标水印图像中的文本信息为特征值，以该目标水印的类型为标签值；
分类模型训练模块，用于利用所述训练样本集对初始水印分类模型进行有监督训练，得到用于进行水印分类的水印分类模型。
根据本说明书的第四方面，提供一种基于上述水印分类模型的水印分类装置，预先训练水印检测模型以及文本检测模型，所述水印检测模型用于从图像中检测出预设类型的水印、以及每个预设类型水印的位置；所述文本检测模型用于从图像中检测出文本信息，以及每条文本信息的位置；所述装置包括：
待审核图像获取模块，用于获取待审核图像；
分类信息获取模块，用于利用所述水印检测模型和所述文本检测模型，从所述待审核图像中获取至少一个待分类水印图像，以及所述至少一个待分类水印图像分别包含的文本信息；
水印分类模块，用于针对任一待分类水印图像，将该待分类水印图像，以及其中的文本信息输入到所述水印分类模型中，利用所述水印分类模型的输出结果确定该待分类水印图像中水印的类型。
采用本说明书提供的技术方案，利用预先训练的水印检测模型以及文本检测模型，构建水印分类模型的训练样本，并训练出可以通过水印图像以及文本信息对水印进行分类的多模态水印分类模型，因此，可以利用训练出的水印分类模型进行水印分类，与人工分类的方式相比这种方式效率较高，且充分利用了水印中的特征信息，即水印的图像信息以及其中的文本信息，因此可以保证较高的分类准确性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本说明书。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1是本说明书实施例的一种包含了水印的图像示意图；
图2是本说明书实施例的一种水印分类模型的训练方法的流程示意图；
图3是本说明书实施例的一种水印检测模型的输入输出关系的示意图；
图4是本说明书实施例的一种文本检测模型的输入输出关系的示意图；
图5是本说明书实施例的一种水印分类模型的结构示意图；
图6a是本说明书实施例的一种获取水印分类模型训练样本集的方法流程示意图；
图6b是本说明书实施例的一种获取水印分类模型训练样本集的框架结构示意图；
图7是本说明书实施例的一种从训练图像中获取目标水印图像的示意图；
图8a是本说明书实施例的一种获取水印分类模型训练样本集的方法流程示意图；
图8b是本说明书实施例的另一种获取水印分类模型训练样本集的框架结构示意图；
图9a是本说明书实施例的一种基于水印分类模型的进行水印分类的方法流程示意图；
图9b是本说明书实施例的一种基于水印分类模型的进行水印分类的框架结构示意图；
图10是本说明书实施例的一种水印分类模型的训练装置的结构示意图；
图11是本说明书实施例的一种基于水印分类模型进行水印分类的装置结构示意图；
图12是用于配置本说明书实施例装置的一种设备的结构示意图。
具体实施方式
为了使本领域技术人员更好地理解本说明书实施例中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行详细地描述，显然，所描述的实施例仅仅是本说明书的一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于保护的范围。
在本说明书使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书。在本说明书和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本说明书可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
互联网平台往往需要对用户上传的图片进行审核，例如会在商户注册时，要求商户上传一些店铺内的实景图像，以用于审核身份。但在实际应用中发现存在商户盗用网络图像作为实景图像、以欺骗审核的情况，因此需要对实景图像以及网络图像加以区分，而网络图像的一个显著特征是包含水印，因此可以根据图像是否包含水印进行区分。
另外，由于部分拍摄应用在拍摄图像后，也会在图像中增加水印，因此需要区分合法水印和非法水印。合法水印可以包括拍摄应用的水印、时间戳水印等，具有这类水印的图像一般可以认为是用户自行提供的。而非法水印则包括各种网站的水印、公众号水印、用户名水印等，具有这类水印的图像往往是用户从别处下载的，因此，需要对图像中不同的水印进行检测和分类，从而利用分类结果对用户上传的图片进行审核。
目前，业界常采用人工审核的方式对图片进行审核，但这种方式效率低下，因此提出了采用目标检测技术对图片中的水印进行检测，即利用目标检测技术从图片中检测和识别出水印，但是水印具有样式多、形状各异、视觉显著性低等特点，然而目标检测技术主要是通过图像信息检测出图像中的物体，因此利用目标检测技术对图像中的水印进行检查和分类，准确度不高。
针对上述技术问题，本说明书提供的方案是：考虑到水印作为一种特殊的图像，其往往还包含有文本信息，如图1所示，为一个包含了水印的图像的示意图，其中包含了“XX网站”的水印图像，而“XX网站”的水印图像中又包含了“XX网站”的文本信息，因此，本说明书提出首先利用预先训练的水印检测模型以及文本检测模型，和训练图像数据集构造水印分类模型的训练样本集，进而利用该训练样本集训练水印分类模型，该水印分类模型具体为输入水印图像信息以及水印中的文本信息、输出水印类型的多模态水印分类模型，进而可以利用该水印分类模型对水印进行分类。
基于以上说明，如图2所示，为本说明书提供的一种水印分类模型的训练方法，预先训练水印检测模型以及文本检测模型，所述水印检测模型用于从图像中检测出预设类型的水印、以及每个预设类型水印的位置；如图3所示为该水印检测模型的输入输出关系示意图，输入为包含水印的图像，输出为该图像中全部水印的类型以及全部水印的位置；
所述文本检测模型用于从图像中检测出文本信息，以及每条文本信息的位置；如图4所示，为该文本检测模型的输入输出对应关系示意图，输入为包含水印的图像，输出为该图像中全部文本信息、以及全部文本信息的位置。
训练方法具体如下：
S201，获取训练图像数据集；
其中，数据集中任一训练图像中包括至少一个水印；该水印的类型包括合法水印或非法水印；
以审核商户上传门店图像的场景为例，平台存储有各个商户历史上传过的门店图像，这些图像中，有些不包含水印、有些包含水印，其中包含的水印可能是非法水印(各种网站的水印、公众号水印、用户名水印等)，也可能是合法水印(拍摄应用的水印、时间戳水印等)，可以是仅利用包含水印的历史门店图像，组成训练图像数据集，以从中获取需要的信息。
S202，利用所述训练图像数据集、所述水印检测模型、和所述文本检测模型，构建水印分类模型的训练样本集；
其中，任一训练样本，以目标水印图像和该目标水印图像中的文本信息为特征值，以该目标水印的类型为标签值；
构建水印分类模型的训练样本集的具体方式可以参照下文，这里先不进行详述。
构建的水印分类模型训练样本集中每条训练样本的形式可以如表1所示。
特征(水印图像和该水印图像中文本信息) 标签(水印类型)
目标水印图像1、目标水印图像1中的文本信息1 合法水印
目标水印图像2、目标水印图像1中的文本信息2 非法水印
…… ……
目标水印图像n、目标水印图像1中的文本信息n 合法水印
表1
本步骤中，每个目标水印图像的标签即水印类型可以由人工进行标注，以获得准确的分类信息。本步骤中，可以通过对原本就存在的历史门店图像数据集中的图像进行处理，以得到目标水印图像、以及每个目标水印图像中的文本信息，即水印分类模型训练样本集中的特征，无需人工单独的从其他途径获取训练样本集中的特征，降低了构造水印分类模型样本集的难度和成本。
S203，利用所述训练样本集对初始水印分类模型进行有监督训练，得到用于进行水印分类的水印分类模型。
在S202中得到水印分类模型的训练样本集后，即可以利用得到的训练样本集对初始化水印分类模型进行有监督训练，得到训练后的水印分类模型。
本步骤中的水印分类模型的结构示意图可以参照图5所示，其中包括图像编码器和文本编码器、多模态融合算子、以及全连接分类网络。
图像编码器用于从目标水印图像中获取图像特征，可以选用ResNet(ResidualNetwork)作为图像编码器。ResNet是目前计算机视觉领域的分类算法，同时也是目标检测/语义分割等进阶任务算法中常用的backbone网络。其通过引入identity shortcutconnection来学习残差，能够有效解决深度神经网络的退化问题，即当网络深度加深到一定程度时的梯度消失现象，从而大大提高了神经网络深度，使得模型分类误差大幅度降低。
文本编码器用于从文本信息中获取文本特征，可以选取BERT(BidirectionalEncoder Representations from Transformers)来作为文本编码器。BERT是自然语言处理领域里程碑式的工作，为当前最受欢迎的自然语言处理方法。BERT是一种深度双向的、无监督的语言表示，且仅使用纯文本语料库进行预训练的模型。经BERT实现文本嵌入(embedding)后，生成一确定维度的文本特征。
多模态融合算子用于将获取的图像特征以及文本特征进行融合，可以采用各种融合算法进行融合，例如直接将图像编码特征向量和文本编码特征向量串接(concatenate)起来，本说明书对融合的方式不进行限定，在融合之后，即可将融合后的特征向量输入到全连接分类网络，全连接分类网络输出水印的类型。
采用本说明书提供的技术方案，利用预先训练的水印检测模型以及文本检测模型，构建水印分类模型的训练样本，并训练出可以通过水印图像以及文本信息对水印进行分类的水印检测模型，因此，可以利用训练出的水印检测模型进行水印分类，与人工分类的方式相比这种方式效率较高，且充分利用了水印中的特征信息，即水印的图像信息以及其中的文本信息，因此保证较高的分类准确性。
下面对上述水印检测模型的训练方法进行描述：
以对商户上传门店图像进行审核的场景为例，平台存储有各个商户历史上传过的门店图像，可以以任一门店图像为特征，以该门店图像中水印的类型以及位置为标签值，构建水印检测模型的训练样本，如表2所示，以门店图像1为特征、以门店图像1中的全部目标水印的类型以及位置为标签值，构造一条训练样本。
Figure BDA0002990922750000091
表2
在利用全部门店图像构造训练样本后，即可以得到水印检测模型的训练样本集，既可以利用得到的训练样本集对初始的水印检测模型进行有监督训练，得到训练后的水印检测模型。当然也可以是设置测试集对训练后的水印检测模型进行测试，本说明书对此不进行限定。
水印检测模型可以为常用的CNN神经网络中的目标检测模型，可以是one-stage目标检测网络(一般检测速度较快、精度较低)，也可以是two-stage目标检测网络(一般检测速度较慢、精度较高)，本说明书对此不作限定。为了提高整体的处理速度，可以选取FCOS(Fully Convolutional One-Stage Object Detection)算法为水印检测模型，该算法使用语义分割的思想来解决目标检测问题，摒弃了目标检测中常见的anchor boxes和objectproposal，使得不需要调优涉及anchor boxes和object proposal的超参数(hyper-parameters)；训练过程中避免大量计算GT(Ground Truth)boxes和anchor boxes之间的IoU(Intersection over Union)，使得训练过程占用内存更低，即速度较快且精度也可以有所保证。
下面对上述文本检测模型的训练方法进行描述：
仍以对商户上传门店图像进行审核的场景为例，平台存储有各个商户历史上传过的门店图像，可以以任一门店图像为特征，以该门店图像中文本信息以及文本信息的位置为标签值，构建文本检测模型的训练样本，如表3所示，以门店图像1为特征、以门店图像1中的全部文本信息以及文本信息的位置为标签值，构造一条训练样本。
Figure BDA0002990922750000101
表3
在利用全部门店图像构造训练样本后，即可以得到文本检测模型的训练样本集，既可以利用得到的训练样本集对初始的文本检测模型进行有监督训练，得到训练后的文本检测模型。当然也可以是设置测试集对训练后的文本检测模型进行测试，本说明书对此不进行限定。
其中，可以采用多种形式的模型实现文本检测模型，例如可以采用EAST(Efficient and Accuracy Scene Text)全卷积神经网络进行图像特征提取和特征合并，生成任意四边形文本检测框从而定位文字区域；在此基础上，采用CRNN+CTC(Convolutional Recurrent Neural Network+Connectionist TemporalClassification)方案来对定位好的文字区域进行文本识别，CRNN+CTC方案链路为，CNN(Convolutional Neural Network)提取图像卷积特征→LSTM(Long Short-Term Memory)进一步提取图像卷积特征中的序列特征→引入CTC解决训练时字符无法对齐的问题。本说明书对于文本检测模型的具体实现形式并不进行限定。
下面对S202中，获取水印分类模型的训练样本集的方式进行描述：
如图6a所示，为本说明书提出的一种获取水印分类模型的训练样本集的方法流程示意图。
S601，针对该数据集中的任一训练图像，将该训练图像输入到所述水印检测模型，利用该水印检测模型输出结果中的水印位置对该图像进行截取，获得至少一个目标水印图像；
根据上述说明可知，如图3所示预先训练的水印检测模型可以从图像中检测出水印的类型以及位置。例如将图1所示的训练图像输入到该水印检测模型中既可以得到如表4所述的输出。
水印类型 水印位置
非法水印 (X1，Y1，W1，H1)
表4
由于该“XX网站”的水印为非法水印，因此输出结果中的类型为非法水印，上述表4中的内容仅为示意性说明，实际应用中可以用各种标识分别标识“非法水印”和“合法水印”，例如，用“0”标识“非法水印”、“1”标识“合法水印”等。X、Y用于标识水印中心坐标(以图像左上角为原点)，W、H分别标识该水印的宽和高。
由于基于水印检测模型中的水印位置信息可以对水印在图像上的区域进行“打框”，如图1所示的“XX网站”的外框。因此，可以利用水印检测模型输出结果中的水印位置对门店图像进行截取，以获得目标水印图像。如图7所示，为一种从训练图像中获取目标水印图像的示意图；具体为对图1所示的图像进行截取，获得的“XX网站”的目标水印图像。当然在训练图像中包含多个目标水印的情况下，对其进行处理会得到多个目标水印图像，具体为针对所述水印检测模型输出结果中的任一水印位置，利用该水印位置对所述图像进行截取，以获得一个目标水印图像；汇总所述水印检测模型输出结果中全部水印位置对应的目标水印图像，以获得至少一个目标水印图像。
S602，针对任一目标水印图像，将该目标水印图像输入到所述文本检测模型中，得到所述目标水印图像中的文本信息；
在S601中，得到目标水印图像后，可以将该目标水印图像输入到预先训练的文本检测模型中，根据上述内容和图4所示，该文本检测模型可以从图像中检测出文本信息，以及每条文本信息的位置，因此，将目标水印图像输入到该文本检测模型中，即可以直接得到该目标水印图像中所包含的文本信息，结合S601中的例子，将图7中“XX网站”的目标水印图像输入到该文本检测模型中，即可以得到“XX网站”的文本信息。
S603，以所述目标水印图像、以及所述目标水印图像中的文本信息为特征值，以该目标水印的类型为标签值，构建一条水印分类模型的训练样本；
在得到了目标水印图像，以及目标水印图像中的文本信息后，即可以构造以所述目标水印图像、以及该目标水印图像中的文本信息为特征值，以该目标水印的类型为标签值的训练样本。
S604，汇总所述训练图像数据集中全部图像对应的水印分类模型训练样本，以生成水印分类模型训练样本集。
根据上述S601-S603对训练数据集中全部图像进行处理后，既可以得到多条训练样本，即可以得到水印分类模型训练样本集。
如图6b所示，为上述图6a所描述的获取训练样本集的框架结构示意图。
如图8a所示，为本说明书提出的另一种获取水印分类模型训练样本集的方法流程示意图。
S801，针对该数据集中的任一训练图像，将该训练图像输入到所述水印检测模型，利用该水印检测模型输出结果中的水印位置对该图像进行截取，获得至少一个目标水印图像；
本步骤可以参照上述S601，这里不再进行赘述。
S802，将该训练图像输入到所述文本检测模型，得到至少一条文本信息以及每条文本信息的位置；
根据上述内容和图4所示，将训练图像输入到文本检测模型中，可以得到该训练图像中的全部文本信息，以及每条文本信息的位置。输出结果可以如表5所示。
文本信息 文本位置
文本信息1 (X1，Y1，W1，H1)
文本信息2 (X2，Y2，W2，H2)
…… ……
文本信息3 (X3，Y3，W3，H3)
表5
S803，针对任一目标水印图像，从所述至少一条文本信息中确定所述目标水印图像中的文本信息；
本步骤中，针对S801得到的任一目标水印图像，从S802得到的多条文本信息中的确定该目标水印图像中的文本信息。
本步骤中，可以是针对任一目标水印图像，分别计算所述至少一条文本信息的文本位置、与该目标水印图像对应的水印位置的交并比，得到至少一个交并比；确定所述至少一个交并比中的最大值所对应的文本信息，为所述目标水印图像中的文本信息。
例如，目标水印图像的水印位置为(X1，Y1，W1，H1)，共存在两条文本信息，文本信息1的位置为(X1，Y1，W1，H1)、文本信息2的位置为(X2，Y2，W2，H2)。
可以分别计算目标水印图像的水印位置与文本信息1的位置的交并比IOU1，和目标水印图像的水印位置与文本信息2的位置的交并比IOU2，确定IOU1和IOU2的大小，如果IOU1大于IOU2，则确定IOU1对应的文本信息1，为该目标水印图像中的文本信息。
根据上述说明可知，位置中的X、Y用于标识水印中心坐标(以图像左上角为原点)，W、H分别标识该水印的宽和高。因此，基于位置信息可以将目标水印和文本信息的位置区域以矩形框的形式进行圈定，进而可以分别计算这两个文本信息的文本位置、与该目标水印图像对应的水印位置的交并比,其中，交并比是指两个位置区域的交集除以这上述位置区域的并集，交并比的值越大，则说明这两个位置区域的重合度越高。即可以判断多个文本信息中，哪个文本信息位置与该目标水印图像的位置重合度高。
最终，可以确定与目标水印图像位置重合度最高，即与目标水印图像位置交并比最高的文本信息为该目标水印图像中的文本信息。
当然，本步骤中也可以是将得到的训练图像中的多个文本信息展示给用户，并提供相应的操作接口给用户，接收用户选择的文本信息，作为目标水印图像中的文本信息。
S804，以所述目标水印图像、以及所述目标水印图像中的文本信息为特征值，以该目标水印的类型为标签值，构建一条水印分类模型的训练样本；
在S803中确定目标水印图像中的文本信息后，本步骤中可以基于确定的信息构建一条水印分类模型的训练样本。
S805，汇总所述训练图像数据集中全部图像对应的水印分类模型训练样本，以生成水印分类模型训练样本集。
根据上述S801-S604对训练数据集中全部图像进行处理后，既可以得到多条训练样本，即可以得到水印分类模型训练样本集。
如图8b所示，为上述图8a所描述的获取水印分类模型训练样本集方法的结构示意图。
采用上述图6a-图6b，或采用上述图8a-图8b的方法，可以获得水印分类模型的训练样本集。
如图9a所示，与前述一种水印分类模型的训练方法相对应，本说明书还提供了基于上述水印分类模型的水印分类方法，预先训练水印检测模型以及文本检测模型，所述水印检测模型用于从图像中检测出预设类型的水印、以及每个预设类型水印的位置；所述文本检测模型用于从图像中检测出文本信息，以及每条文本信息的位置；该方法具体包括：
S901，获取待审核图像；
可以是接收到用户实时上传的待审核图像，也可以是获取本地存储的待审核图像。
S902，利用所述水印检测模型和所述文本检测模型，从所述待审核图像中获取至少一个待分类水印图像，以及所述至少一个待分类水印图像分别包含的文本信息；
本步骤中，一种方式可以是将该待审核图像输入到所述水印检测模型，利用该水印检测模型输出结果中的水印位置对该图像进行截取，获得至少一个待分类水印图像；针对任一待分类水印图像，将该待分类水印图像输入到所述文本检测模型中，得到所述待分类水印图像中的文本信息；汇总所述至少一个待分类水印图像，以及分别包含的文本信息。本实施方式的具体过程，可以如上述图6a-图6b及其相关描述，区别仅在于这里是对待审核图像进行处理，得到该待审核图像中的待分类水印图像，以及待审核图像中的文本信息，上述图6a-图6b及其相关描述是对训练图像进行处理，这里不再进行赘述。
在另一种方式中，还可以是将该待审核图像输入到所述水印检测模型，利用该水印检测模型输出结果中的水印位置对该图像进行截取，获得至少一个待分类水印图像；将所述待审核图像输入到所述文本检测模型，得到至少一条文本信息以及每条文本信息的位置；针对任一待分类水印图像，从所述至少一条文本信息中确定所述待分类水印图像中的文本信息；汇总所述至少一个待分类水印图像，以及分别对应的文本信息。其中，在从多条文本信息中确定待分类水印图像中的文本信息时，可以是针对任一待分类水印图像，分别计算所述至少一条文本信息的文本位置、与该待分类水印图像对应的水印位置的交并比，得到至少一个交并比；确定所述至少一个交并比中的最大值所对应的文本信息，为所述待分类水印图像中的文本信息。本实施方式的具体过程，可以如上述图8a-图8b及其相关描述，区别仅在于这里是对待审核图像进行处理，上述图8a-图8b及其相关描述是对训练图像进行处理，这里不再进行赘述。
上述两个实施方式中，在获得至少一个待分类水印图像时，可以是针对所述水印检测模型输出结果中的任一水印位置，利用该水印位置对该图像进行截取，以获得一个待分类水印图像；汇总所述水印检测模型输出结果中全部水印位置对应的待分类水印图像，以获得至少一个待分类水印图像。
S903，针对任一待分类水印图像，将该待分类水印图像，以及其中的文本信息输入到所述水印分类模型中，利用所述水印分类模型的输出结果确定该待分类水印图像中水印的类型。
根据上述描述可知，水印分类模型的输入为两个模态，即图像模态的待分类水印图像，以及文本模态的该待分类水印图像中的文本信息，输出为该待分类水印图像中水印的类型，因此可以直接基于水印分类模型的输出确定每个待分类水印的类型。
采用上述水印分类方法，利用水印检测模型和文本检测模型，从待审核图像中获取至少一个待分类水印图像，以及所述至少一个待分类水印图像分别包含的文本信息，并针对每一个待分类水印图像，利用训练好的水印分类模型，基于该待分类水印图像、以及其中的文本信息确定该待分类水印的类型，与人工分类的方式相比这种方式效率较高，且充分利用了水印中的特征信息，即水印的图像信息以及其中的文本信息，因此可以保证较高的分类准确性。
为了更清楚的描述上述S901～S903中的过程，下面结合图9b再进行描述：
首先，利用水印检测模型和文本检测模型，对待审核图像进行处理，得到待分类水印图像和该待分类水印图像中的文本信息，其中，利用水印检测模型和文本检测模型，得到水印图像以及待分类水印图像中的文本信息的过程，可以参照上述S601-S602或S801-S803描述的方式，这里不在进行赘述。然后，针对每个待分类水印执行的步骤如下：针对一个待分类水印，将该待分类水印图像和该待分类水印图像中的文本信息，输入到水印分类模型中，得到该水印分类模型的输出，即为该待分类水印的类型，输出结果为非法水印或合法水印。
最后，如果根据得到的最终分类结果，确定待审核图像中包含的多个水印中，存在一个非法水印，即认为该待审核图像为网络图像，则可以判断该待审核图像审核不通过，提示用户重新上传待审核图像，在确定待审核图像中不存在非法水印的情况下，即只存在合法水印或不存在任何水印的情况下，可以确定该待审核图像审核通过，采用上述方案可以有效提升审核时效，降低业务风险。
如图10所示，与前述一种水印分类模型的训练方法相对应，本说明书还提供了一种水印分类模型的训练装置，预先训练水印检测模型以及文本检测模型，所述水印检测模型用于从图像中检测出预设类型的水印、以及每个预设类型水印的位置；所述文本检测模型用于从图像中检测出文本信息，以及每条文本信息的位置；所述装置包括：
训练图像获取模块110，用于获取训练图像数据集，所述数据集中任一训练图像中包括至少一个水印；所述水印的类型包括合法水印或非法水印；
训练样本构建模块120，用于利用所述训练图像数据集、所述水印检测模型、和所述文本检测模型，构建水印分类模型的训练样本集；其中，任一训练样本，以目标水印图像和该目标水印图像中的文本信息为特征值，以该目标水印的类型为标签值；
分类模型训练模块130，用于利用所述训练样本集对初始水印分类模型进行有监督训练，得到用于进行水印分类的水印分类模型。
在一个实施例中，所述训练样本构建模块120，具体用于针对该数据集中的任一训练图像，将该训练图像输入到所述水印检测模型，利用该水印检测模型输出结果中的水印位置对该图像进行截取，获得至少一个目标水印图像；
针对任一目标水印图像，将该目标水印图像输入到所述文本检测模型中，得到所述目标水印图像中的文本信息；
以所述目标水印图像、以及所述目标水印图像中的文本信息为特征值，以该目标水印的类型为标签值，构建一条水印分类模型的训练样本；
汇总所述训练图像数据集中全部图像对应的水印分类模型训练样本，以生成水印分类模型训练样本集。
在一个实施例中，所述训练样本构建模块120，具体用于所述训练样本构建模块，具体用于针对该数据集中的任一训练图像，将该训练图像输入到所述水印检测模型，利用该水印检测模型输出结果中的水印位置对该图像进行截取，获得至少一个目标水印图像；
将所述训练图像输入到所述文本检测模型，得到至少一条文本信息以及每条文本信息的位置；
针对任一目标水印图像，从所述至少一条文本信息中确定所述目标水印图像中的文本信息；
以所述目标水印图像、以及所述目标水印图像中的文本信息为特征值，以该目标水印的类型为标签值，构建一条水印分类模型的训练样本；
汇总所述训练图像数据集中全部图像对应的水印分类模型训练样本，以生成水印分类模型训练样本集。
在一个实施例中，所述训练样本构建模块120，具体用于针对所述水印检测模型输出结果中的任一水印位置，利用该水印位置对所述图像进行截取，以获得一个目标水印图像；
汇总所述水印检测模型输出结果中全部水印位置对应的目标水印图像，以获得至少一个目标水印图像。
在一个实施例中，所述训练样本构建模块120，具体用于针对任一目标水印图像，分别计算所述至少一条文本信息的文本位置、与该目标水印图像对应的水印位置的交并比，得到至少一个交并比；
确定所述至少一个交并比中的最大值所对应的文本信息，为所述目标水印图像中的文本信息。
如图11所示，本说明书还提供了一种基于上述水印分类模型的水印分类装置，预先训练水印检测模型以及文本检测模型，所述水印检测模型用于从图像中检测出预设类型的水印、以及每个预设类型水印的位置；所述文本检测模型用于从图像中检测出文本信息，以及每条文本信息的位置；所述装置包括：
待审核图像获取模块210，用于获取待审核图像；
分类信息获取模块220，用于利用所述水印检测模型和所述文本检测模型，从所述待审核图像中获取至少一个待分类水印图像，以及所述至少一个待分类水印图像分别包含的文本信息；
水印分类模块230，用于针对任一待分类水印图像，将该待分类水印图像，以及其中的文本信息输入到所述水印分类模型中，利用所述水印分类模型的输出结果确定该待分类水印图像中水印的类型。
在一个实施例中，所述分类信息获取模块220，具体用于将该待审核图像输入到所述水印检测模型，利用该水印检测模型输出结果中的水印位置对该图像进行截取，获得至少一个待分类水印图像；
针对任一待分类水印图像，将该待分类水印图像输入到所述文本检测模型中，得到所述待分类水印图像中的文本信息；
汇总所述至少一个待分类水印图像，以及分别包含的文本信息。
在一个实施例中，所述分类信息获取模块220，具体用于将该待审核图像输入到所述水印检测模型，利用该水印检测模型输出结果中的水印位置对该图像进行截取，获得至少一个待分类水印图像；
将所述待审核图像输入到所述文本检测模型，得到至少一条文本信息以及每条文本信息的位置；
针对任一待分类水印图像，从所述至少一条文本信息中确定所述待分类水印图像中的文本信息；
汇总所述至少一个待分类水印图像，以及分别对应的文本信息。
在一个实施例中，所述分类信息获取模块220，具体用于所述分类信息获取模块，具体用于针对所述水印检测模型输出结果中的任一水印位置，利用该水印位置对该图像进行截取，以获得一个待分类水印图像；
汇总所述水印检测模型输出结果中全部水印位置对应的待分类水印图像，以获得至少一个待分类水印图像。
在一个实施例中，所述分类信息获取模块220，具体用于针对任一待分类水印图像，分别计算所述至少一条文本信息的文本位置、与该待分类水印图像对应的水印位置的交并比，得到至少一个交并比；
确定所述至少一个交并比中的最大值所对应的文本信息，为所述待分类水印图像中的文本信息。
上述设备中各个部件的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的。可以根据实际的需要选择其中的部分或者全部模块来实现本说明书方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本说明书实施例还提供一种计算机设备，其至少包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，处理器执行所述程序时实现前述的方法。该方法至少包括：图2所示的方法和图9a所示的方法。
图12示出了本说明书实施例所提供的一种更为具体的计算设备硬件结构示意图，该设备可以包括：处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。
处理器1010可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。
存储器1020可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1020中，并由处理器1010来调用执行。
输入/输出接口1030用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。
通信接口1040用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。
总线1050包括一通路，在设备的各个组件(例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040)之间传输信息。
需要说明的是，尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。
本说明书实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述的方法。该方法至少包括：图2所示的方法和图9a所示的方法。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本说明书实施例可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本说明书实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本说明书实施例各个实施例或者实施例的某些部分所述的方法。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，在实施本说明书实施例方案时可以把各模块的功能在同一个或多个软件和/或硬件中实现。也可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述仅是本说明书实施例的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本说明书实施例原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本说明书实施例的保护范围。

Claims (21)

1.一种水印分类模型的训练方法，预先训练水印检测模型以及文本检测模型，所述水印检测模型用于从图像中检测出预设类型的水印、以及每个预设类型水印的位置；所述文本检测模型用于从图像中检测出文本信息，以及每条文本信息的位置；所述方法包括：
获取训练图像数据集，所述数据集中任一训练图像中包括至少一个水印；所述水印的类型包括合法水印或非法水印；
利用所述训练图像数据集、所述水印检测模型、和所述文本检测模型，构建水印分类模型的训练样本集；其中，任一训练样本，以目标水印图像和该目标水印图像中的文本信息为特征值，以该目标水印的类型为标签值；
利用所述训练样本集对初始水印分类模型进行有监督训练，得到用于进行水印分类的水印分类模型。
2.根据权利要求1所述的方法，所述利用所述数据集、所述水印检测模型、和所述文本检测模型，构建水印分类模型的训练样本集，包括：
针对该数据集中的任一训练图像，将该训练图像输入到所述水印检测模型，利用该水印检测模型输出结果中的水印位置对该图像进行截取，获得至少一个目标水印图像；
针对任一目标水印图像，将该目标水印图像输入到所述文本检测模型中，得到该目标水印图像中的文本信息；
以所述目标水印图像、以及所述目标水印图像中的文本信息为特征值，以该目标水印的类型为标签值，构建一条水印分类模型的训练样本；
汇总所述训练图像数据集中全部图像对应的水印分类模型训练样本，以生成水印分类模型训练样本集。
3.根据权利要求1所述的方法，所述利用所述数据集、所述水印检测模型、和所述文本检测模型，构建水印分类模型的训练样本集，包括：
针对该数据集中的任一训练图像，将该训练图像输入到所述水印检测模型，利用该水印检测模型输出结果中的水印位置对该图像进行截取，获得至少一个目标水印图像；
将该训练图像输入到所述文本检测模型，得到至少一条文本信息以及每条文本信息的位置；
针对任一目标水印图像，从所述至少一条文本信息中确定所述目标水印图像中的文本信息；
以所述目标水印图像、以及所述目标水印图像中的文本信息为特征值，以该目标水印的类型为标签值，构建一条水印分类模型的训练样本；
汇总所述训练图像数据集中全部图像对应的水印分类模型训练样本，以生成水印分类模型训练样本集。
4.根据权利要求2或3所述的方法，所述利用该水印检测模型输出结果中的水印位置对该图像进行截取，获得至少一个目标水印图像，包括：
针对所述水印检测模型输出结果中的任一水印位置，利用该水印位置对所述图像进行截取，以获得一个目标水印图像；
汇总所述水印检测模型输出结果中全部水印位置对应的目标水印图像，以获得至少一个目标水印图像。
5.根据权利要求3所述的方法，所述针对任一目标水印图像，从所述至少一条文本信息中确定所述目标水印图像中的文本信息，包括：
针对任一目标水印图像，分别计算所述至少一条文本信息的文本位置、与该目标水印图像对应的水印位置的交并比，得到至少一个交并比；
确定所述至少一个交并比中的最大值所对应的文本信息，为所述目标水印图像中的文本信息。
6.一种基于权利要求1所述的水印分类模型的水印分类方法，预先训练水印检测模型以及文本检测模型，所述水印检测模型用于从图像中检测出预设类型的水印、以及每个预设类型水印的位置；所述文本检测模型用于从图像中检测出文本信息，以及每条文本信息的位置；所述方法包括：
获取待审核图像；
利用所述水印检测模型和所述文本检测模型，从所述待审核图像中获取至少一个待分类水印图像，以及所述至少一个待分类水印图像分别包含的文本信息；
针对任一待分类水印图像，将该待分类水印图像，以及其中的文本信息输入到所述水印分类模型中，利用所述水印分类模型的输出结果确定该待分类水印图像中水印的类型。
7.根据权利要求6所述的方法，所述利用所述水印检测模型和所述文本检测模型，从所述待审核图像中获取至少一个待分类水印图像，以及所述至少一个待分类水印图像中的文本信息，包括：
将该待审核图像输入到所述水印检测模型，利用该水印检测模型输出结果中的水印位置对该图像进行截取，获得至少一个待分类水印图像；
针对任一待分类水印图像，将该待分类水印图像输入到所述文本检测模型中，得到所述待分类水印图像中的文本信息；
汇总所述至少一个待分类水印图像，以及分别包含的文本信息。
8.根据权利要求6所述的方法，所述利用所述水印检测模型和所述文本检测模型，从所述待审核图像中获取至少一个待分类水印图像，以及所述至少一个待分类水印图像中的文本信息，包括：
将该待审核图像输入到所述水印检测模型，利用该水印检测模型输出结果中的水印位置对该图像进行截取，获得至少一个待分类水印图像；
将所述待审核图像输入到所述文本检测模型，得到至少一条文本信息以及每条文本信息的位置；
针对任一待分类水印图像，从所述至少一条文本信息中确定所述待分类水印图像中的文本信息；
汇总所述至少一个待分类水印图像，以及分别对应的文本信息。
9.根据权利要求7或8所述的方法，所述利用该水印检测模型输出结果中的水印位置对该图像进行截取，获得至少一个待分类水印图像，包括：
针对所述水印检测模型输出结果中的任一水印位置，利用该水印位置对该图像进行截取，以获得一个待分类水印图像；
汇总所述水印检测模型输出结果中全部水印位置对应的待分类水印图像，以获得至少一个待分类水印图像。
10.根据权利要求8所述的方法，所述针对任一待分类水印图像，从所述至少一条文本信息中确定所述待分类水印图像中的文本信息，包括：
针对任一待分类水印图像，分别计算所述至少一条文本信息的文本位置、与该待分类水印图像对应的水印位置的交并比，得到至少一个交并比；
确定所述至少一个交并比中的最大值所对应的文本信息，为所述待分类水印图像中的文本信息。
11.一种水印分类模型的训练装置，预先训练水印检测模型以及文本检测模型，所述水印检测模型用于从图像中检测出预设类型的水印、以及每个预设类型水印的位置；所述文本检测模型用于从图像中检测出文本信息，以及每条文本信息的位置；所述装置包括：
训练图像获取模块，用于获取训练图像数据集，所述数据集中任一训练图像中包括至少一个水印；所述水印的类型包括合法水印或非法水印；
训练样本构建模块，用于利用所述训练图像数据集、所述水印检测模型、和所述文本检测模型，构建水印分类模型的训练样本集；其中，任一训练样本，以目标水印图像和该目标水印图像中的文本信息为特征值，以该目标水印的类型为标签值；
分类模型训练模块，用于利用所述训练样本集对初始水印分类模型进行有监督训练，得到用于进行水印分类的水印分类模型。
12.根据权利要求11所述的装置，
所述训练样本构建模块，具体用于针对该数据集中的任一训练图像，将该训练图像输入到所述水印检测模型，利用该水印检测模型输出结果中的水印位置对该图像进行截取，获得至少一个目标水印图像；
针对任一目标水印图像，将该目标水印图像输入到所述文本检测模型中，得到所述目标水印图像中的文本信息；
以该目标水印图像、以及所述目标水印图像中的文本信息为特征值，以该目标水印的类型为标签值，构建一条水印分类模型的训练样本；
汇总所述训练图像数据集中全部图像对应的水印分类模型训练样本，以生成水印分类模型训练样本集。
13.根据权利要求11所述的装置，
所述训练样本构建模块，具体用于针对该数据集中的任一训练图像，将该训练图像输入到所述水印检测模型，利用该水印检测模型输出结果中的水印位置对该图像进行截取，获得至少一个目标水印图像；
将该训练图像输入到所述文本检测模型，得到至少一条文本信息以及每条文本信息的位置；
针对任一目标水印图像，从所述至少一条文本信息中确定所述目标水印图像中的文本信息；
以所述目标水印图像、以及所述目标水印图像中的文本信息为特征值，以该目标水印的类型为标签值，构建一条水印分类模型的训练样本；
汇总所述训练图像数据集中全部图像对应的水印分类模型训练样本，以生成水印分类模型训练样本集。
14.根据权利要求12或13所述的装置，
所述训练样本构建模块，具体用于针对所述水印检测模型输出结果中的任一水印位置，利用该水印位置对所述图像进行截取，以获得一个目标水印图像；
汇总所述水印检测模型输出结果中全部水印位置对应的目标水印图像，以获得至少一个目标水印图像。
15.根据权利要求13所述的装置，
所述训练样本构建模块，具体用于针对任一目标水印图像，分别计算所述至少一条文本信息的文本位置、与该目标水印图像对应的水印位置的交并比，得到至少一个交并比；
确定所述至少一个交并比中的最大值所对应的文本信息，为所述目标水印图像中的文本信息。
16.一种基于权利要求1所述的水印分类模型的水印分类装置，预先训练水印检测模型以及文本检测模型，所述水印检测模型用于从图像中检测出预设类型的水印、以及每个预设类型水印的位置；所述文本检测模型用于从图像中检测出文本信息，以及每条文本信息的位置；所述装置包括：
待审核图像获取模块，用于获取待审核图像；
分类信息获取模块，用于利用所述水印检测模型和所述文本检测模型，从所述待审核图像中获取至少一个待分类水印图像，以及所述至少一个待分类水印图像分别包含的文本信息；
水印分类模块，用于针对任一待分类水印图像，将该待分类水印图像，以及其中的文本信息输入到所述水印分类模型中，利用所述水印分类模型的输出结果确定该待分类水印图像中水印的类型。
17.根据权利要求16所述的装置，
所述分类信息获取模块，具体用于将该待审核图像输入到所述水印检测模型，利用该水印检测模型输出结果中的水印位置对该图像进行截取，获得至少一个待分类水印图像；
针对任一待分类水印图像，将该待分类水印图像输入到所述文本检测模型中，得到所述待分类水印图像中的文本信息；
汇总所述至少一个待分类水印图像，以及分别包含的文本信息。
18.根据权利要求16所述的装置，
所述分类信息获取模块，具体用于将该待审核图像输入到所述水印检测模型，利用该水印检测模型输出结果中的水印位置对该图像进行截取，获得至少一个待分类水印图像；
将所述待审核图像输入到所述文本检测模型，得到至少一条文本信息以及每条文本信息的位置；
针对任一待分类水印图像，从所述至少一条文本信息中确定所述待分类水印图像中的文本信息；
汇总所述至少一个待分类水印图像，以及分别对应的文本信息。
19.根据权利要求17或18所述的装置，
所述分类信息获取模块，具体用于针对所述水印检测模型输出结果中的任一水印位置，利用该水印位置对该图像进行截取，以获得一个待分类水印图像；
汇总所述水印检测模型输出结果中全部水印位置对应的待分类水印图像，以获得至少一个待分类水印图像。
20.根据权利要求18所述的装置，
所述分类信息获取模块，具体用于针对任一待分类水印图像，分别计算所述至少一条文本信息的文本位置、与该待分类水印图像对应的水印位置的交并比，得到至少一个交并比；
确定所述至少一个交并比中的最大值所对应的文本信息，为所述待分类水印图像中的文本信息。
21.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现如权利要求1至10任一项所述的方法。
CN202110313604.1A 2021-03-24 2021-03-24 一种水印分类模型训练方法及装置 Active CN113111734B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110313604.1A CN113111734B (zh) 2021-03-24 2021-03-24 一种水印分类模型训练方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110313604.1A CN113111734B (zh) 2021-03-24 2021-03-24 一种水印分类模型训练方法及装置

Publications (2)

Publication Number Publication Date
CN113111734A CN113111734A (zh) 2021-07-13
CN113111734B true CN113111734B (zh) 2022-05-17

Family

ID=76711558

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110313604.1A Active CN113111734B (zh) 2021-03-24 2021-03-24 一种水印分类模型训练方法及装置

Country Status (1)

Country Link
CN (1) CN113111734B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113468886B (zh) * 2021-07-28 2023-07-21 拉扎斯网络科技（上海）有限公司 工单处理方法、装置及计算机设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107798649A (zh) * 2017-09-05 2018-03-13 北京五八信息技术有限公司 图片的识别方法和装置
CN110990801A (zh) * 2019-11-29 2020-04-10 深圳市商汤科技有限公司 信息校验方法及装置、电子设备和存储介质
CN111160335A (zh) * 2020-01-02 2020-05-15 腾讯科技（深圳）有限公司 基于人工智能的图像水印处理方法、装置及电子设备
CN112200711A (zh) * 2020-10-27 2021-01-08 支付宝(杭州)信息技术有限公司 一种水印分类模型的训练方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002057882A (ja) * 2000-04-21 2002-02-22 Sony Corp 情報埋め込み装置及び情報埋め込み方法、情報処理装置及び情報処理方法、コンテンツ処理装置及びコンテンツ処理方法、監視装置及び監視方法、並びに、記憶媒体

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107798649A (zh) * 2017-09-05 2018-03-13 北京五八信息技术有限公司 图片的识别方法和装置
CN110990801A (zh) * 2019-11-29 2020-04-10 深圳市商汤科技有限公司 信息校验方法及装置、电子设备和存储介质
CN111160335A (zh) * 2020-01-02 2020-05-15 腾讯科技（深圳）有限公司 基于人工智能的图像水印处理方法、装置及电子设备
CN112200711A (zh) * 2020-10-27 2021-01-08 支付宝(杭州)信息技术有限公司 一种水印分类模型的训练方法及系统

Also Published As

Publication number Publication date
CN113111734A (zh) 2021-07-13

Similar Documents

Publication Publication Date Title
CN107690657B (zh) 根据影像发现商户
EP3476092B1 (en) Automation of image validation
CN107798571B (zh) 恶意地址/恶意订单的识别系统、方法及装置
JP2020533654A (ja) ホログラフィック偽造防止コードの検査方法及び装置
CN110175609B (zh) 界面元素检测方法、装置及设备
CN114758327B (zh) 识别码图像中的风险的方法、装置以及设备
CN109583910B (zh) 一种商品授权鉴定方法、装置及设备
CN109934218A (zh) 一种针对物流单图像的识别方法及装置
CN115861400B (zh) 目标对象检测方法、训练方法、装置以及电子设备
CN111062490B (zh) 一种包含隐私数据的网络数据的处理、识别方法及装置
CN113111734B (zh) 一种水印分类模型训练方法及装置
CN110879832A (zh) 目标文本检测方法、模型训练方法、装置及设备
CN112364702A (zh) 一种物品核验方法及装置
CN116958674A (zh) 一种图像识别的方法、装置、电子设备及存储介质
CN117197857A (zh) 人脸伪造攻击检测、人脸识别方法、装置和设备
CN110880023A (zh) 一种检测证件图片的方法及装置
CN112200711B (zh) 一种水印分类模型的训练方法及系统
CN115374517A (zh) 布线软件的测试方法、装置、电子设备及存储介质
CN115168575A (zh) 应用于审计领域的主语补全方法及相关设备
CN112364850B (zh) 一种视频质检方法、装置、电子设备及存储介质
CN114120305A (zh) 文本分类模型的训练方法、文本内容的识别方法及装置
CN113902041A (zh) 目标检测模型的训练及身份验证方法和装置
CN113569934A (zh) Logo分类模型构建方法、系统、电子设备及存储介质
CN113887441B (zh) 一种表格数据处理方法、装置、设备及存储介质
CN107092702B (zh) 基于重叠比例的地理信息要素位置对比检查方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant