CN112200711B - 一种水印分类模型的训练方法及系统 - Google Patents
一种水印分类模型的训练方法及系统 Download PDFInfo
- Publication number
- CN112200711B CN112200711B CN202011167598.5A CN202011167598A CN112200711B CN 112200711 B CN112200711 B CN 112200711B CN 202011167598 A CN202011167598 A CN 202011167598A CN 112200711 B CN112200711 B CN 112200711B
- Authority
- CN
- China
- Prior art keywords
- watermark
- image
- training
- model
- comprehensive
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0021—Image watermarking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
本说明书提出一种水印分类模型的训练方法及系统,系统包括综合节点和多个数据节点,任一数据节点,将本地数据集中任一图像输入到本地的水印检测模型中;利用该模型输出结果中的水印位置对该图像进行截取,获得至少一个目标水印图像;利用获得目标水印图像集构建水印分类模型训练样本集。循环迭代以下步骤,直至满足训练要求:任一数据节点,利用本地构建的训练样本集以及当前模型参数计算水印分类模型训练特征,并将模型训练特征上传至综合节点;综合节点接收到各个数据节点上传的模型训练特征后,确定水印分类模型综合训练特征,并将该综合训练特征下发至各个数据节点;任一数据节点,利用接收到的综合训练特征对本地模型参数进行更新。
Description
技术领域
本说明书涉及机器学习技术领域,尤其涉及一种水印分类模型的训练方法及系统。
背景技术
互联网平台往往会在商户注册时,要求商户上传一些店铺内的实景图像,以用于审核身份。但在实际应用中发现存在商户盗用网络图像作为实景图像、以欺骗审核的情况,因此需要对实景图像以及网络图像加以区分,而网络图像的一个显著特征是包含水印,因此可以根据图像是否包含水印进行区分。
但是由于部分拍摄应用在拍摄图像后,也会在图像中增加水印,因此需要区分合法水印和非法水印。合法水印可以包括拍摄应用的水印、时间戳水印等,具有这类水印的图像一般可以认为是用户自行提供的。而非法水印则包括各种网站的水印、公众号水印、用户名水印等,具有这类水印的图像往往是用户从别处下载的,因此,需要对图像中不同的水印进行检测和分类。
由于水印种类繁多,样式十分丰富,互联网平台的任一数据节点拥有的包含水印的门店图像数据较少,基于数据节点本地的水印图像数据无法训练出一个效果较佳的用于检测水印类型的模型,互联网平台中不同的数据节点一般对应于不同的业务部门,出于数据安全的原因,各个数据节点往往并不愿意直接把本地的水印图像数据提供出来,因此,如何在充分保证数据安全的情况下,能够训练出效果较佳的模型,已经成为互联网平台亟待解决的问题。
发明内容
针对上述技术问题,本说明书提供一种水印分类模型的训练方法及系统,技术方案如下:
根据本说明书的第一方面,提供一种水印分类模型的训练方法,应用于包括综合节点和多个数据节点的系统,任一数据节点配置有预先训练的水印检测模型,所述水印检测模型用于从图像中检测出预设类型的水印、以及每个预设类型水印的位置;所述水印分类模型的训练方法包括:
任一数据节点,获取本地图像数据集;
针对该数据集中的任一图像,将该图像输入到本地水印检测模型中;利用该水印检测模型输出结果中的水印位置对该图像进行截取,获得至少一个目标水印图像;
利用获得的所述图像数据集对应的目标水印图像集,构建水印分类模型训练样本集;其中,每条训练样本以水印图像为特征值,以水印类型为标签值;
从所述综合节点获取初始的水印分类模型参数;
利用以下步骤进行迭代训练,直到满足模型训练要求:
任一数据节点,利用本地构建的水印分类模型训练样本集以及当前水印分类模型参数计算水印分类模型训练特征,并将模型训练特征上传至综合节点;
综合节点接收到全部数据节点上传的模型训练特征后,确定水印分类模型综合训练特征,并将该综合训练特征下发至各个数据节点;
任一数据节点,利用接收到的水印分类模型综合训练特征对本地水印分类模型参数进行更新。
根据本说明书的第二方面,提供一种水印分类模型的训练系统,包括综合节点和多个数据节点,所述系统配置有预先训练的水印检测模型,所述水印检测模型用于从图像中检测出预设类型的水印、以及每个预设类型水印的位置;
任一数据节点,用于获取本地图像数据集;
针对该数据集中的任一图像,将该图像输入到本地水印检测模型中;利用该水印检测模型输出结果中的水印位置对该图像进行截取,获得至少一个目标水印图像;
利用获得的所述图像数据集对应的目标水印图像集,构建水印分类模型训练样本集;其中,每条训练样本以水印图像为特征值,以水印类型为标签值;
从所述综合节点获取初始的水印分类模型参数;
利用以下步骤进行迭代训练,直到满足模型训练要求:
任一数据节点,用于利用本地构建的水印分类模型训练样本集以及当前水印分类模型参数计算水印分类模型训练特征,并将模型训练特征上传至综合节点;
综合节点,用于接收到全部数据节点上传的模型训练特征后,确定水印分类模型综合训练特征,并将该综合训练特征下发至各个数据节点;
任一数据节点,用于利用接收到的水印分类模型综合训练特征对本地水印分类模型参数进行更新。
采用本说明书提供的技术方案,各个部门即数据节点的水印分类模型训练过程是在本地进行,只需要在每次迭代过程中与综合节点交互模型训练特征,就可以与其他节点联合训练出水印分类模型。由于各个数据节点本地图像数据不需要出域,因此保证了数据的安全性,同时由于联合训练出的水印分类模型整合了各个数据节点的图像数据,因此训练出的模型的效果较佳。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本说明书。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本说明书实施例中记载的一些实施例,对于本领域普通技术人员来讲,还可以根据这些附图获得其他的附图。
图1是本说明书实施例的一种水印分类模型训练系统的结构示意图;
图2是本说明书实施例的一种水印分类模型训练方法的流程示意图;
图3a是本说明书实施例的一种包含水印的门店图像示意图;
图3b是本说明书实施例的一种对包含水印的门店图像示意图进行截取的处理示意图;
图4是本说明书实施例的一种水印分类模型训练系统中各节点的交互示意图;
图5是本说明书实施例的一种基于水印分类模型的水印分类方法的流程示意图;
图6是本说明书实施例的一种基于水印分类模型的水印分类方法的结构示意图;
图7是本说明书实施例的一种基于水印分类模型的水印分类装置结构示意图;
图8是本说明书实施例的一种水印分类模型的训练装置结构示意图;
图9是用于配置本说明书实施例装置的一种设备的结构示意图。
具体实施方式
为了使本领域技术人员更好地理解本说明书实施例中的技术方案,下面将结合本说明书实施例中的附图,对本说明书实施例中的技术方案进行详细地描述,显然,所描述的实施例仅仅是本说明书的一部分实施例,而不是全部的实施例。基于本说明书中的实施例,本领域普通技术人员所获得的所有其他实施例,都应当属于保护的范围。
在本说明书使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本说明书。在本说明书和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本说明书可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本说明书范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
互联网平台往往会在商户注册时,要求商户上传一些店铺内的实景图像,以用于审核身份。但在实际应用中发现存在商户盗用网络图像作为实景图像、以欺骗审核的情况,因此需要对实景图像以及网络图像加以区分,而网络图像的一个显著特征是包含水印,因此可以根据图像是否包含水印进行区分。
但是由于部分拍摄应用在拍摄图像后,也会在图像中增加水印,因此需要区分合法水印和非法水印。合法水印可以包括拍摄应用的水印、时间戳水印等等,具有这类水印的图像一般可以认为是用户自行提供的。而非法水印则包括各种网站的水印、公众号水印、用户名水印等,具有这类水印的图像往往是用户从别处下载的。
由于水印种类繁多,样式十分丰富,互联网平台的任一数据节点拥有的包含水印的门店图像数据较少,基于数据节点本地的水印图像数据无法训练出一个效果较佳的用于检测图像中水印类型的模型,互联网平台中不同的数据节点一般对应于不同的业务部门,出于数据安全的原因,各个数据节点即各个部门往往并不愿意直接把本地的水印图像数据提供出来,因此,如何在充分保证数据安全的情况下,能够训练出效果较佳的模型,已经成为互联网平台亟待解决的问题。
针对上述技术问题,本说明书提供的方案是:设置包括一个综合节点和多个数据节点的系统,其中任一数据节点配置有预先训练的水印检测模型,水印检测模型用于从图像中检测出预设类型的水印、以及每个预设类型水印的位置;任一数据节点首先获取本地的图像数据集,将图像数据集中的图像输入到本地的水印检测模型中,并且利用输出结果中的水印位置对图像进行截取,获取目标水印图像,从而能够利用获得的目标水印图像构建水印分类模型训练样本集。在获得了水印分类模型训练样本集后,任一数据节点即可以从综合节点获取初始水印分类模型参数,并进行迭代训练,每次迭代过程如下:利用本地的训练样本集和模型参数计算水印分类模型训练特征,并将特征上传至综合节点,综合节点对各个数据节上传的模型训练特征进行整合,确定综合训练特征,并将综合训练特征下发至各个数据节点,任一数据节点,利用接收到的水印分类模型综合训练特征对本地水印分类模型参数进行更新。由于各个部门即数据节点的本地图像数据在不需要出域的情况下,就可以训练出效果较佳的水印分类模型,既保证了数据的安全性,同时又保证了模型的效果较佳。
基于以上说明,如图1所示,本说明书提供一种水印分类模型的训练系统,其中系统包括综合节点和多个数据节点,从业务角度而言,各个数据节点可以是各个本地具有一些门店图像数据的业务部门的服务器或服务器集群,且具有确定门店图像中包含的水印为何种类型的业务需求。
综合节点可以是本说明书提出的专用于与其他数据节点联合训练水印分类模型和水印检测模型的服务器或服务器集群。
如图2所示,基于图1示出的训练系统,本说明书提出一种水印分类模型的训练方法,任一数据节点配置有预先训练的水印检测模型,该水印检测模型用于从图像中检测出预设类型的水印、以及每个预设类型水印的位置;
其中,任一数据节点上配置的水印检测模型的训练过程,这里先不进行描述,具体内容可以参照下文。
该水印分类模型的训练方法包括:
S201,任一数据节点,获取本地图像数据集;
任一数据节点作为业务部门的服务器或服务器集群,本地会存储一些商户传过的门店图像,这些图像中,有些不包含水印、有些包含水印,其中包含的水印可能是非法水印(各种网站的水印、公众号水印、用户名水印等),也可能是合法水印(拍摄应用的水印、时间戳水印等)。
S202,针对该数据集中的任一图像,将该图像输入到本地的水印检测模型中;利用该水印检测模型输出结果中的水印位置对该图像进行截取,获得至少一个目标水印图像;
本步骤中,可以将本地图像数据集中的全部或部分图像数据,依次输入到本地的水印检测模型中,得到输出结果。
如图3a所示为一张图像的示意图,图像中存在两个水印,一个为时间戳水印即“Time:2018.8.8”、另一个为某网站的水印即“XX网站”,则该图像数据对应的水印检测模型的输出结果可以如表1所示。
水印类型 | 水印位置 |
非法水印 | (X1,Y1,W1,H1) |
合法水印 | (X2,Y2,W2,H2) |
表1
即该图像中存在两个水印,一个为合法水印(时间戳水印)、另一个为非法水印(某网站水印)。上述表1中的内容仅为示意性说明,实际应用中可以用各种标识分别标识“非法水印”和“合法水印”,例如,用“0”标识“非法水印”、“1”标识“合法水印”等。X、Y用于标识水印中心坐标(以门店图像左上角为原点),W、H分别标识该水印的宽和高。
由于基于水印检测模型中的水印位置信息可以对水印在图像上的区域进行“打框”,如图3b所示的“Time:2018.8.8”以及“XX网站”的外框。因此,可以利用水印检测模型输出结果中的水印位置对门店图像进行截取,以获得目标水印图像,其中当图像中存在多个水印时,会分别获取到多个目标水印图像。如上述表1、图3a以及图3b所示,可以分别利用(X1,Y1,W1,H1)、以及(X2,Y2,W2,H2)对该图像进行截取获得两个目标水印图像,如图3b所示的示意图,为截取下来的目标水印图像“Time:2018.8.8”以及“XX网站”。
S203,利用获得的所述图像数据集对应的目标水印图像集,构建水印分类模型训练样本集;其中,每条训练样本以水印图像为特征值,以水印类型为标签值;
上述S202中描述的是对每条图像数据进行处理得到该条图像数据对应的目标水印图像,本步骤中,要汇总图像数据集中全部图像数据对应的目标水印图像,作为目标水印图像集,并利用获得的目标水印图像集构建水印分类模型训练样本集,其中,每条训练样本以水印图像为特征值,以水印类型为标签值;
构建的水印分类模型训练样本集的形式可以如表2所示。
目标水印图像 | 水印类型 |
目标水印图像1 | 合法水印 |
目标水印图像2 | 非法水印 |
…… | …… |
目标水印图像n | 合法水印 |
表2
其中,每个目标水印图像的标签即水印类型可以由人工进行标注,以获得准确的分类信息。本步骤中,可以通过对本地原本就存在的门店图像数据集中的图像进行处理,以得到目标水印图像数据集,即自动得到水印分类模型训练样本集中的特征,无需人工单独的从其他途径获取目标水印图像,降低了构造水印分类模型样本集的难度和成本。
以上S201-S203中为任一数据节点利用本地图像数据,在本地构建水印分类模型训练样本集的过程。
在构建了水印分类模型训练样本集后,在S204中各个数据节点和综合节点利用构建完成的水印分类模型训练样本集,联合训练水印分类模型。
结合图4所示的训练方法示意图对S204中水印分类模型的具体训练过程进行描述:
各个数据节点从综合节点获取初始的水印分类模型参数,即各个数据节点的初始模型均相同。
利用以下步骤进行迭代训练,直到满足模型训练要求:
任一数据节点,利用本地构建的水印分类模型训练样本集以及当前水印分类模型参数计算水印分类模型训练特征,并将模型训练特征上传至综合节点;
其中,模型训练特征可以是参数、梯度、参数变化量,还可以是加噪后的参数或梯度,本说明书对此不作限定。
综合节点接收到各个数据节点上传的模型训练特征后,确定水印分类模型综合训练特征,并将该综合训练特征下发至各个数据节点;
综合节点在接收到各个数据节点上传的模型训练特征后,可以对各个模型训练特征进行整合,得到综合训练特征,例如,如果训练特征为参数,则会得到综合模型参数,并将综合模型参数下发至各个数据节点;如果训练特征为梯度,则会得到综合梯度,并将综合梯度下发至各个数据节点;当然,也可以是各个数据节点上传梯度,综合节点利用各个节点上传的梯度得到综合梯度,并利用综合梯度更新综合参数,并将综合参数下发至各个数据节点,本说明书对此不作限定。
任一数据节点,利用接收到的水印分类模型综合训练特征对本地水印分类模型参数进行更新。
对于一个数据节点,如果接收到的综合训练特征为综合梯度,则利用该梯度对本地模型进行更新。如果接收到的综合训练特征为综合参数,则直接利用该综合参数对本地参数进行替换。
这里的模型训练结束的要求,可以由综合节点确定,例如可以是:综合参数在相邻两次迭代过程中的差值足够小(小于预设的阈值)、迭代次数达到预设值、或者使用额外的验证集进行验证满足误差验证要求,等等,本说明书对具体的模型训练要求并不需要进行限定,只要可以保证各个数据节点最终得到的水印分类模型相同即可。
可见,应用上述方案:对于综合节点而言,可以不断利用多个数据节点的数据对综合训练特征进行更新;对于单个数据节点而言,每次下载到的水印分类模型综合模型训练特征都是多个数据节点共同参与更新的结果。因此,在训练过程中,并不需要数据节点向其他数据节点或综合节点提供具体数据、仅需将每次迭代过程中得到的模型训练特征上传至综合节点,从而有效地保证了共享数据的各个数据节点的数据安全性。
以一个具体的例子为例,即以模型参数作为数据节点与综合节点交互的模型训练特征为例:
例如,共存在三个数据节点,分别为数据节点1、数据节点2、数据节点3。每个数据节点配置的水印分类模型的特征均相同例如,为(X1,X2,X3),则三个数据节点在本地,维护的参数集为:
数据节点1:(w1 1,w2 1,w3 1);
数据节点2:(w1 2,w2 2,w3 2);
数据节点3:(w1 3,w2 3,w3 3)。
综合节点本地维护的参数集为:(w1 综合,w2 综合,w3 综合)。
实际应用中,各个数据节点可以选用的不同的模型参数更新算法更新本地模型参数。例如,可以是全局梯度下降法(即每次迭代过程中,所有训练样本均参与更新运算)、随机梯度下降法(即每次迭代过程中,随机选取一个batch即一个批次的训练样本参与更新运算)等等,本说明书对此不作限定。
在本实施例中,模型训练特征即为模型参数,综合节点在每个迭代周期中,接收到全部数据节点上传的模型参数后,会更新综合模型参数集中的每个参数,即更新(w1 综合,w2 综合,w3 综合),更新完成后,将更新后的模型参数下发至这三个数据节点,三个数据节点各自利用接收到的综合模型参数替换本地的模型参数,以完成一次迭代过程。迭代停止条件为,综合节点确定迭代次数达到预设值时,停止训练。停止训练后,各个数据节点本地的水印分类模型均相同。
为了更清楚的描述本说明书提出的水印分类模型的训练方法,下面再从单侧即系统中的任一数据节点侧进行描述,系统还包括综合节点,所述数据节点配置有预先训练的水印检测模型,所述水印检测模型用于从图像中检测出预设类型的水印、以及每个预设类型水印的位置;所述水印分类模型的训练方法包括:
获取本地图像数据集;
针对该数据集中的任一图像,将该图像输入到本地水印检测模型中;利用该水印检测模型输出结果中的水印位置对该图像进行截取,获得至少一个目标水印图像;
利用获得的所述图像数据集对应的目标水印图像集,构建水印分类模型训练样本集;其中,每条训练样本以水印图像为特征值,以水印类型为标签值;
从所述综合节点获取初始的水印分类模型参数;
利用以下步骤进行迭代训练,直到满足模型训练要求:
利用本地构建的水印分类模型训练样本集以及当前水印分类模型参数计算水印分类模型训练特征,并将模型训练特征上传至综合节点;
接收综合节点下发的综合训练特征,并利用接收到的水印分类模型综合训练特征对本地水印分类模型参数进行更新,其中,所述综合训练特征为综合节点接收到全部数据节点上传的模型训练特征后,确定的水印分类模型综合训练特征。
本说明书中提到的水印分类模型,可以选用各种常用的图像分类模型,优选的可以选用ResNet分类模型,其通过引入identity shortcut connection来学习残差,能够有效解决深度神经网络的退化问题,即当网络深度加深到一定程度时的梯度消失现象,从而大大提高了神经网络深度,使得模型分类误差大幅度降低。
下面对各个数据节点中配置的预先训练的水印检测模型的训练方法进行描述:
由于各个数据节点,拥有的含有水印的门店图像的数据较少,因此,各个数据节点如果仅基于本地图像数据训练水印检测模型,水印检测模型的效果也欠佳,因此,为了训练出效果较好、且出于安全性目的避免各部门的图像数据出域,本说明书提出了以下训练方案:
任一数据节点,从所述综合节点获取初始的水印检测模型参数;
利用以下步骤进行迭代训练,直到满足模型训练要求:
任一数据节点,利用本地水印检测模型训练样本集以及当前水印检测模型参数计算水印检测模型训练特征,将模型训练特征上传至综合节点;其中,该水印检测模型训练样本集中,每条训练样本以包含水印的图像为特征值,以图像中水印的类型和位置为标签值;
需要说明的是,本步骤中,由于水印检测模型为多任务模型,即包含分类、和定位两个任务的模型,因此,训练出的模型参数,是同时满足分类任务和定位任务要求的参数。
综合节点接收到全部数据节点上传的模型训练特征后,确定水印检测模型综合训练特征,并将该综合训练特征下发至各个数据节点;
任一数据节点,利用接收到的水印检测模型综合训练特征对本地水印检测模型参数进行更新。
上述训练水印检测模型的整体过程和各个节点的交互流程和方式,均与上述训练水印分类模型的方案相同,可参照图4,和上述水印分类模型的联合训练过程,这里不再进行赘述。
应用上述方案:对于单个数据节点而言,每次下载到的水印检测模型综合模型训练特征都是多个数据节点共同参与更新的结果,在训练过程中,并不需要数据节点向其他数据节点或综合节点提供具体数据、仅需将每次迭代过程中得到的水印检测模型训练特征上传至综合节点,从而有效地保证了共享数据的各个数据节点的数据安全性,进而在各个数据节点不需要数据出域的情况下,就可以保证训练出的水印检测模型的效果较佳。
水印检测模型可以为常用的CNN神经网络中的目标检测模型,可以是one-stage目标检测网络(一般检测速度较快、精度较低),也可以是two-stage目标检测网络(一般检测速度较慢、精度较高),本说明书对此不作限定。为了提高整体的处理速度,可以选取FCOS(Fully Convolutional One-Stage Object Detection)算法为水印检测模型,该算法使用语义分割的思想来解决目标检测问题,摒弃了目标检测中常见的anchor boxes和objectproposal,使得不需要调优涉及anchor boxes和object proposal的超参数(hyper-parameters);训练过程中避免大量计算GT(Ground Truth)boxes和anchor boxes之间的IoU(Intersection over Union),使得训练过程占用内存更低,即速度较快且精度也可以有所保证。
如图5所示,与前述一种水印分类模型的训练方法相对应,本说明书还提供了基于上述水印分类模型的水印分类方法,该方法具体包括:
S501,获取目标图像,将该目标图像输入到本地水印检测模型中;
各数据节点,即各个部门的服务器获取到目标图像的方式有很多,例如,可以是接收到用户实时上传的门店图像后,即获取了目标图像。也可以是获取本地存储的待审核门店图像后即获取了目标图像。在获取了目标图像后,即可以将该目标图像输入到本地水印检测模型中。
S502,利用所述水印检测模型的输出结果,获得至少一个目标水印图像;
本步骤的过程,可以参照上述图3b以及步骤S202中描述的内容,即针对水印检测模型输出结果中的任一水印位置,可以利用该水印位置对该目标图像进行截取,以获得一个目标水印图像;然后汇总水印检测模型输出结果中全部水印位置对应的目标水印图像,以获得该目标图像对应的至少一个目标水印图像。当然,在目标图像中不包含任何水印的情况下,将该目标图像输入到水印检测模型中,也可以不得到任何输出结果。
S503,针对任一目标水印图像,将该目标水印图像输入到所述水印分类模型中,得到输出结果;
在得到目标水印图像的情况下,可以将得到的目标水印图像输入到训练好的水印分类模型中,即可以得到针对该目标水印的图像的分类结果。
S504,综合所述水印检测模型输出结果中针对该目标水印图像中水印的类型、以及所述水印分类模型的输出结果,确定该目标水印图像中水印的类型。
考虑到目标水印分类模型仍可能存在预测错误的情况,因此本步骤中,并不将水印分类模型的输出结果直接作为最终结果,而是将水印检测模型中针对该目标水印图像的类型、和水印分类模型针对该目标水印图像的输出结果,综合起来,确定该目标水印图像的最终结果。
例如,可以是利用测试集进行测试,确定水印检测模型和水印分类模型的权重值,例如,通过测试确定出的水印检测模型权重为0.3、水印分类模型的权重为0.7。
在确定目标水印图像中水印的类型时,可以利用水印检测模型输出结果中针对该目标水印图像中水印类型的分值、水印分类模型的输出结果中水印类型的分值、和预先确定的权重值,确定目标水印图像中水印的类型。
例如,水印分类模型和水印检测模型针对其中一个目标水印图像的输出结果如表1所示,
水印检测模型 | 水印分类模型 | |
合法水印 | 49% | 70% |
非法水印 | 51% | 30% |
表1
则确定的该目标水印图像为合法水印的概率为:0.49*0.3+0.7*0.7=0.637,该目标水印图像为非法水印的概率为:0.51*0.3+0.3*0.7=0.363,即最终确定该目标水印图像为合法水印。
在另一种方式中,为了确保可以最大可能的筛选出非法水印,则可以在水印检测模型和水印分类模型中任一模型,针对一个目标水印的输出结果为非法水印的情况下,即认为该目标水印为非法水印,即针对一个目标水印图像当两个模型输出结果均为合法水印时,才确定该目标水印图像中的水印为合法水印。
采用上述方式,即综合水印检测模型输出结果、以及水印分类模型的输出结果,确定该目标水印图像中水印的最终类型,可以有效提升识别准确率,降了误识别的概率。
为了更清楚的描述上述S501~S504中的过程,下面结合图6再进行描述:
首先将需要审核的目标图像输入到水印检测模型中,输出结果中会包含该目标图像中每个水印的位置和类型,针对每个水印执行的步骤如下:针对一个水印,利用水印检测模型输出结果中针对该水印的水印位置,对目标图像进行截取,获得该目标水印图像,即将水印位置转化为水印分类模型的输入,在转化完成后,将该目标水印图像输入到水印分类模型中,得到水印分类模型的输出结果。最后,综合水印分类模型的输出结果和水印检测模型的分类结果,确定该目标水印最终的分类结果。
最后,如果根据得到的最终分类结果,确定目标图像即待审核的门店图像中包含的多个水印中,存在一个非法水印,即认为该目标图像为网络图像,则可以判断该目标图像审核不通过,提示商户重新上传门店图像,采用上述方案可以有效提升审核时效,降低业务风险。
与前述一种水印分类模型的训练方法相对应,结合图1本说明书还提供了一种水印分类模型的训练系统,包括综合节点和多个数据节点,任一数据节点配置有预先训练的水印检测模型,所述水印检测模型用于从图像中检测出预设类型的水印、以及每个预设类型水印的位置;
任一数据节点,用于获取本地图像数据集;
针对该数据集中的任一图像,将该图像输入到本地水印检测模型中;利用该水印检测模型输出结果中的水印位置对该图像进行截取,获得至少一个目标水印图像;
利用获得的所述图像数据集对应的目标水印图像集,构建水印分类模型训练样本集;其中,每条训练样本以水印图像为特征值,以水印类型为标签值;
从所述综合节点获取初始的水印分类模型参数;
利用以下步骤进行迭代训练,直到满足模型训练要求:
任一数据节点,用于利用本地构建的水印分类模型训练样本集以及当前水印分类模型参数计算水印分类模型训练特征,并将模型训练特征上传至综合节点;
综合节点,用于接收到全部数据节点上传的模型训练特征后,确定水印分类模型综合训练特征,并将该综合训练特征下发至各个数据节点;
任一数据节点,用于利用接收到的水印分类模型综合训练特征对本地水印分类模型参数进行更新。
在一个实施例中,所述任一数据节点,具体用于以任一目标水印图像为特征值,以该目标水印图像中水印的类型为标签值,构建一条水印分类模型训练样本;汇总所述图像数据集中全部图像对应的水印分类模型训练样本,以生成水印分类模型训练样本集。
在一个实施例中,任一数据节点,还用于从所述综合节点获取初始的水印检测模型参数;
利用以下步骤进行迭代训练,直到满足模型训练要求:
任一数据节点,还用于利用本地水印检测模型训练样本集以及当前水印检测模型参数计算水印检测模型训练特征,将模型训练特征上传至综合节点;其中,该水印检测模型训练样本集中,每条训练样本以包含水印的图像为特征值,以图像中水印的类型和位置为标签值;
综合节点,还用于接收到全部数据节点上传的模型训练特征后,确定水印检测模型综合训练特征,并将该综合训练特征下发至各个数据节点;
任一数据节点,还用于利用接收到的水印检测模型综合训练特征对本地水印检测模型参数进行更新。
如图7所示,本说明书还提供了一种基于上述水印分类模型的水印分类装置,应用于任一数据节点,包括:
水印图像获取模块710,用于获取目标图像,将该目标图像输入到本地水印检测模型中;利用所述水印检测模型的输出结果,获得至少一个目标水印图像;
水印分类模块720,用于针对任一目标水印图像,将该目标水印图像输入到所述水印分类模型中,得到输出结果;综合所述水印检测模型输出结果中针对该目标水印图像中水印的类型、以及所述水印分类模型的输出结果,确定该目标水印图像中水印的类型。
在一个实施例中,所述水印图像获取模型710,具体用于针对所述水印检测模型输出结果中的任一水印位置,执行以下步骤:
利用该水印位置对所述目标图像进行截取,以获得一个目标水印图像;
汇总所述水印检测模型输出结果中全部水印位置对应的目标水印图像,以获得至少一个目标水印图像。
在一个实施例中,所述水印分类模型720,具体用于利用水印检测模型输出结果中针对该目标水印图像中水印类型的分值、水印分类模型的输出结果中水印类型的分值、和预先确定的权重值,确定该目标水印图像中水印的类型。
如图8所示,与前述一种水印分类模型的训练方法相对应,本说明书还提供了一种水印分类模型的训练装置,应用于系统中的数据节点,所述系统还包括综合节点,所述数据节点配置有预先训练的水印检测模型,所述水印检测模型用于从图像中检测出预设类型的水印、以及每个预设类型水印的位置;所述水印分类模型的训练装置包括:
训练样本构建模块810,用于获取本地图像数据集;
针对该数据集中的任一图像,将该图像输入到本地水印检测模型中;利用该水印检测模型输出结果中的水印位置对该图像进行截取,获得至少一个目标水印图像;
利用获得的所述图像数据集对应的目标水印图像集,构建水印分类模型训练样本集;其中,每条训练样本以水印图像为特征值,以水印类型为标签值;
分类模型训练模块820,用于从所述综合节点获取初始的水印分类模型参数;
利用以下步骤进行迭代训练,直到满足模型训练要求:
利用本地构建的水印分类模型训练样本集以及当前水印分类模型参数计算水印分类模型训练特征,并将模型训练特征上传至综合节点;
接收综合节点下发的综合训练特征,并利用接收到的水印分类模型综合训练特征对本地水印分类模型参数进行更新,其中,所述综合训练特征为综合节点接收到全部数据节点上传的模型训练特征后,确定的水印分类模型综合训练特征。
上述设备中各个部件的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程,在此不再赘述。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的。可以根据实际的需要选择其中的部分或者全部模块来实现本说明书方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
对应于前述的数据节点,本说明书实施例还提供一种计算机设备,其至少包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,处理器执行所述程序时实现前述数据节点所执行的方法。该方法至少包括:
获取本地图像数据集;
针对该数据集中的任一图像,将该图像输入到本地水印检测模型中;利用该水印检测模型输出结果中的水印位置对该图像进行截取,获得至少一个目标水印图像;
利用获得的所述图像数据集对应的目标水印图像集,构建水印分类模型训练样本集;其中,每条训练样本以水印图像为特征值,以水印类型为标签值;
从所述综合节点获取初始的水印分类模型参数;
利用以下步骤进行迭代训练,直到满足模型训练要求:
利用本地构建的水印分类模型训练样本集以及当前水印分类模型参数计算水印分类模型训练特征,并将模型训练特征上传至综合节点;
接收综合节点下发的综合训练特征,并利用接收到的水印分类模型综合训练特征对本地水印分类模型参数进行更新,其中,所述综合训练特征为综合节点接收到全部数据节点上传的模型训练特征后,确定的水印分类模型综合训练特征。
图9示出了本说明书实施例所提供的一种更为具体的计算设备硬件结构示意图,该设备可以包括:处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。
处理器1010可以采用通用的CPU(Central Processing Unit,中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit,ASIC)、或者一个或多个集成电路等方式实现,用于执行相关程序,以实现本说明书实施例所提供的技术方案。
存储器1020可以采用ROM(Read Only Memory,只读存储器)、RAM(Random AccessMemory,随机存取存储器)、静态存储设备,动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序,在通过软件或者固件来实现本说明书实施例所提供的技术方案时,相关的程序代码保存在存储器1020中,并由处理器1010来调用执行。
输入/输出接口1030用于连接输入/输出模块,以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出),也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等,输出设备可以包括显示器、扬声器、振动器、指示灯等。
通信接口1040用于连接通信模块(图中未示出),以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信,也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。
总线1050包括一通路,在设备的各个组件(例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040)之间传输信息。
需要说明的是,尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050,但是在具体实施过程中,该设备还可以包括实现正常运行所必需的其他组件。此外,本领域的技术人员可以理解的是,上述设备中也可以仅包含实现本说明书实施例方案所必需的组件,而不必包含图中所示的全部组件。
对应于前述的数据节点,本说明书实施例还提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现前述数据节点执行的方法。该方法至少包括:
获取本地图像数据集;
针对该数据集中的任一图像,将该图像输入到本地水印检测模型中;利用该水印检测模型输出结果中的水印位置对该图像进行截取,获得至少一个目标水印图像;
利用获得的所述图像数据集对应的目标水印图像集,构建水印分类模型训练样本集;其中,每条训练样本以水印图像为特征值,以水印类型为标签值;
从所述综合节点获取初始的水印分类模型参数;
利用以下步骤进行迭代训练,直到满足模型训练要求:
利用本地构建的水印分类模型训练样本集以及当前水印分类模型参数计算水印分类模型训练特征,并将模型训练特征上传至综合节点;
接收综合节点下发的综合训练特征,并利用接收到的水印分类模型综合训练特征对本地水印分类模型参数进行更新,其中,所述综合训练特征为综合节点接收到全部数据节点上传的模型训练特征后,确定的水印分类模型综合训练特征。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到本说明书实施例可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本说明书实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本说明书实施例各个实施例或者实施例的某些部分所述的方法。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机,计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,在实施本说明书实施例方案时可以把各模块的功能在同一个或多个软件和/或硬件中实现。也可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上所述仅是本说明书实施例的具体实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本说明书实施例原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本说明书实施例的保护范围。
Claims (15)
1.一种水印分类模型的训练方法,应用于包括综合节点和多个数据节点的系统,任一数据节点配置有预先训练的水印检测模型,所述水印检测模型用于从图像中检测出预设类型的水印、以及每个预设类型水印的位置;所述水印分类模型的训练方法包括:
任一数据节点,获取本地图像数据集;
针对该数据集中的任一图像,将该图像输入到本地的水印检测模型中;利用该水印检测模型输出结果中的水印位置对该图像进行截取,获得至少一个目标水印图像;
利用获得的所述图像数据集对应的目标水印图像集,构建水印分类模型训练样本集;其中,每条训练样本以水印图像为特征值,以水印类型为标签值;
从所述综合节点获取初始的水印分类模型参数;
利用以下步骤进行迭代训练,直到满足模型训练要求:
任一数据节点,利用本地构建的水印分类模型训练样本集以及当前水印分类模型参数计算水印分类模型训练特征,并将模型训练特征上传至综合节点;
综合节点接收到各个数据节点上传的模型训练特征后,确定水印分类模型综合训练特征,并将该综合训练特征下发至各个数据节点;
任一数据节点,利用接收到的水印分类模型综合训练特征对本地水印分类模型参数进行更新。
2.根据权利要求1所述的方法,所述利用获得的所述图像数据集对应的目标水印图像集,构建水印分类模型训练样本集,包括:
以任一目标水印图像为特征值,以该目标水印图像中水印的类型为标签值,构建一条水印分类模型训练样本;
汇总所述图像数据集中全部图像对应的水印分类模型训练样本,以生成水印分类模型训练样本集。
3.根据权利要求1所述的方法,所述预先训练的水印检测模型的训练方法,包括:
任一数据节点,从所述综合节点获取初始的水印检测模型参数;
利用以下步骤进行迭代训练,直到满足模型训练要求:
任一数据节点,利用本地水印检测模型训练样本集以及当前水印检测模型参数计算水印检测模型训练特征,将模型训练特征上传至综合节点;其中,该水印检测模型训练样本集中,每条训练样本以包含水印的图像为特征值,以图像中水印的类型和位置为标签值;
综合节点接收到全部数据节点上传的模型训练特征后,确定水印检测模型综合训练特征,并将该综合训练特征下发至各个数据节点;
任一数据节点,利用接收到的水印检测模型综合训练特征对本地水印检测模型参数进行更新。
4.一种水印分类方法,包括:
获取目标图像,将该目标图像输入到本地水印检测模型中;
利用所述水印检测模型的输出结果,获得至少一个目标水印图像;
针对任一目标水印图像,将该目标水印图像输入到水印分类模型中,得到输出结果;所述水印分类模型是基于权利要求1至3任一项所述的水印分类模型的训练方法得到的;
综合所述水印检测模型输出结果中针对该目标水印图像中水印的类型、以及所述水印分类模型的输出结果,确定该目标水印图像中水印的类型。
5.根据权利要求4所述的方法,所述利用所述水印检测模型的输出结果,获得至少一个目标水印图像,包括:
针对所述水印检测模型输出结果中的任一水印位置,执行以下步骤:
利用该水印位置对所述目标图像进行截取,以获得一个目标水印图像;
汇总所述水印检测模型输出结果中全部水印位置对应的目标水印图像,以获得至少一个目标水印图像。
6.根据权利要求4所述的方法,所述综合所述水印检测模型输出结果中针对该目标水印图像中水印的类型、以及所述水印分类模型的输出结果,确定该目标水印图像中水印的类型,包括:
利用水印检测模型输出结果中针对该目标水印图像中水印类型的分值、水印分类模型的输出结果中水印类型的分值、和预先确定的权重值,确定该目标水印图像中水印的类型。
7.一种水印分类模型的训练方法,应用于系统中的数据节点,所述系统还包括综合节点,所述数据节点配置有预先训练的水印检测模型,所述水印检测模型用于从图像中检测出预设类型的水印、以及每个预设类型水印的位置;所述水印分类模型的训练方法包括:
获取本地图像数据集;
针对该数据集中的任一图像,将该图像输入到本地水印检测模型中;利用该水印检测模型输出结果中的水印位置对该图像进行截取,获得至少一个目标水印图像;
利用获得的所述图像数据集对应的目标水印图像集,构建水印分类模型训练样本集;其中,每条训练样本以水印图像为特征值,以水印类型为标签值;
从所述综合节点获取初始的水印分类模型参数;
利用以下步骤进行迭代训练,直到满足模型训练要求:
利用本地构建的水印分类模型训练样本集以及当前水印分类模型参数计算水印分类模型训练特征,并将模型训练特征上传至综合节点;
接收综合节点下发的综合训练特征,并利用接收到的水印分类模型综合训练特征对本地水印分类模型参数进行更新,其中,所述综合训练特征为综合节点接收到全部数据节点上传的模型训练特征后,确定的水印分类模型综合训练特征。
8.一种水印分类模型的训练系统,包括综合节点和多个数据节点,任一数据节点配置有预先训练的水印检测模型,所述水印检测模型用于从图像中检测出预设类型的水印、以及每个预设类型水印的位置;
任一数据节点,用于获取本地图像数据集;
针对该数据集中的任一图像,将该图像输入到本地水印检测模型中;利用该水印检测模型输出结果中的水印位置对该图像进行截取,获得至少一个目标水印图像;
利用获得的所述图像数据集对应的目标水印图像集,构建水印分类模型训练样本集;其中,每条训练样本以水印图像为特征值,以水印类型为标签值;
从所述综合节点获取初始的水印分类模型参数;
利用以下步骤进行迭代训练,直到满足模型训练要求:
任一数据节点,用于利用本地构建的水印分类模型训练样本集以及当前水印分类模型参数计算水印分类模型训练特征,并将模型训练特征上传至综合节点;
综合节点,用于接收到全部数据节点上传的模型训练特征后,确定水印分类模型综合训练特征,并将该综合训练特征下发至各个数据节点;
任一数据节点,用于利用接收到的水印分类模型综合训练特征对本地水印分类模型参数进行更新。
9.根据权利要求8所述的系统,
所述任一数据节点,具体用于以任一目标水印图像为特征值,以该目标水印图像中水印的类型为标签值,构建一条水印分类模型训练样本;
汇总所述图像数据集中全部图像对应的水印分类模型训练样本,以生成水印分类模型训练样本集。
10.根据权利要求8所述的系统,
所述任一数据节点,还用于从所述综合节点获取初始的水印检测模型参数;
利用以下步骤进行迭代训练,直到满足模型训练要求:
任一数据节点,还用于利用本地水印检测模型训练样本集以及当前水印检测模型参数计算水印检测模型训练特征,将模型训练特征上传至综合节点;其中,该水印检测模型训练样本集中,每条训练样本以包含水印的图像为特征值,以图像中水印的类型和位置为标签值;
综合节点,还用于接收到全部数据节点上传的模型训练特征后,确定水印检测模型综合训练特征,并将该综合训练特征下发至各个数据节点;
任一数据节点,还用于利用接收到的水印检测模型综合训练特征对本地水印检测模型参数进行更新。
11.一种水印分类装置,包括:
水印图像获取模块,用于获取目标图像,将该目标图像输入到本地水印检测模型中;利用所述水印检测模型的输出结果,获得至少一个目标水印图像;
水印分类模块,用于针对任一目标水印图像,将该目标水印图像输入到水印分类模型中,得到输出结果;所述水印分类模型是基于权利要求8至10任一项所述的水印分类模型的训练系统得到的;综合所述水印检测模型输出结果中针对该目标水印图像中水印的类型、以及所述水印分类模型的输出结果,确定该目标水印图像中水印的类型。
12.根据权利要求11所述的装置,
所述水印图像获取模型,具体用于针对所述水印检测模型输出结果中的任一水印位置,执行以下步骤:
利用该水印位置对所述目标图像进行截取,以获得一个目标水印图像;
汇总所述水印检测模型输出结果中全部水印位置对应的目标水印图像,以获得至少一个目标水印图像。
13.根据权利要求11所述的装置,
所述水印分类模型,具体用于利用水印检测模型输出结果中针对该目标水印图像中水印类型的分值、水印分类模型的输出结果中水印类型的分值、和预先确定的权重值,确定该目标水印图像中水印的类型。
14.一种水印分类模型的训练装置,应用于系统中的数据节点,所述系统还包括综合节点,所述数据节点配置有预先训练的水印检测模型,所述水印检测模型用于从图像中检测出预设类型的水印、以及每个预设类型水印的位置;所述水印分类模型的训练装置包括:
训练样本构建模块,用于获取本地图像数据集;
针对该数据集中的任一图像,将该图像输入到本地水印检测模型中;利用该水印检测模型输出结果中的水印位置对该图像进行截取,获得至少一个目标水印图像;
利用获得的所述图像数据集对应的目标水印图像集,构建水印分类模型训练样本集;其中,每条训练样本以水印图像为特征值,以水印类型为标签值;
分类模型训练模块,用于从所述综合节点获取初始的水印分类模型参数;
利用以下步骤进行迭代训练,直到满足模型训练要求:
利用本地构建的水印分类模型训练样本集以及当前水印分类模型参数计算水印分类模型训练特征,并将模型训练特征上传至综合节点;
接收综合节点下发的综合训练特征,并利用接收到的水印分类模型综合训练特征对本地水印分类模型参数进行更新,其中,所述综合训练特征为综合节点接收到全部数据节点上传的模型训练特征后,确定的水印分类模型综合训练特征。
15.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,所述处理器执行所述程序时实现如权利要求4-7任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011167598.5A CN112200711B (zh) | 2020-10-27 | 2020-10-27 | 一种水印分类模型的训练方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011167598.5A CN112200711B (zh) | 2020-10-27 | 2020-10-27 | 一种水印分类模型的训练方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112200711A CN112200711A (zh) | 2021-01-08 |
CN112200711B true CN112200711B (zh) | 2022-09-02 |
Family
ID=74011669
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011167598.5A Active CN112200711B (zh) | 2020-10-27 | 2020-10-27 | 一种水印分类模型的训练方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112200711B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113111734B (zh) * | 2021-03-24 | 2022-05-17 | 支付宝(杭州)信息技术有限公司 | 一种水印分类模型训练方法及装置 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107808358B (zh) * | 2017-11-13 | 2021-11-05 | 携程计算机技术(上海)有限公司 | 图像水印自动检测方法 |
US11295235B2 (en) * | 2017-12-28 | 2022-04-05 | Intel Corporation | Filtering training data for models in a data center |
CN109285105B (zh) * | 2018-09-05 | 2023-08-11 | 北京字节跳动网络技术有限公司 | 水印检测方法、装置、计算机设备和存储介质 |
CN109784181B (zh) * | 2018-12-14 | 2024-03-22 | 平安科技(深圳)有限公司 | 图片水印识别方法、装置、设备及计算机可读存储介质 |
CN110991512B (zh) * | 2019-11-26 | 2023-08-04 | 广东美的白色家电技术创新中心有限公司 | 物体识别模型的联合训练方法、服务器及电器设备 |
CN111062903A (zh) * | 2019-12-06 | 2020-04-24 | 携程计算机技术(上海)有限公司 | 图像水印的自动处理方法、系统、电子设备及存储介质 |
CN110929886B (zh) * | 2019-12-06 | 2022-03-22 | 支付宝(杭州)信息技术有限公司 | 模型训练、预测方法及其系统 |
CN111125760B (zh) * | 2019-12-20 | 2022-02-15 | 支付宝(杭州)信息技术有限公司 | 保护数据隐私的模型训练、预测方法及其系统 |
CN111160335B (zh) * | 2020-01-02 | 2023-07-04 | 腾讯科技(深圳)有限公司 | 基于人工智能的图像水印处理方法、装置及电子设备 |
CN111275038A (zh) * | 2020-01-17 | 2020-06-12 | 平安医疗健康管理股份有限公司 | 图像文本识别方法、装置、计算机设备及计算机存储介质 |
-
2020
- 2020-10-27 CN CN202011167598.5A patent/CN112200711B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN112200711A (zh) | 2021-01-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI818999B (zh) | 針對新場景的預測模型訓練方法及裝置 | |
CN109101989B (zh) | 一种商户分类模型构建和商户分类方法、装置及设备 | |
CN109063920B (zh) | 一种交易风险识别方法、装置、及计算机设备 | |
CN107690657B (zh) | 根据影像发现商户 | |
CN110009364B (zh) | 一种行业识别模型确定方法和装置 | |
CN109214421B (zh) | 一种模型训练方法、装置、及计算机设备 | |
CN113793071A (zh) | 一种可疑群组识别方法和装置 | |
CN109168052B (zh) | 服务满意度的确定方法、装置及计算设备 | |
CN112200631B (zh) | 一种行业分类模型的训练方法及装置 | |
CN108829769B (zh) | 一种可疑群组发现方法和装置 | |
CN109102324B (zh) | 模型训练方法、基于模型的红包物料铺设预测方法及装置 | |
CN111611390B (zh) | 一种数据处理方法及装置 | |
CN114662645A (zh) | 促进持续学习的方法和装置 | |
CN111767750A (zh) | 图像处理方法和装置 | |
CN111062490B (zh) | 一种包含隐私数据的网络数据的处理、识别方法及装置 | |
CN109635953A (zh) | 一种特征衍生方法、装置及电子设备 | |
CN112200711B (zh) | 一种水印分类模型的训练方法及系统 | |
CN109583910B (zh) | 一种商品授权鉴定方法、装置及设备 | |
KR101743169B1 (ko) | 얼굴 정보를 이용한 실종 가족 찾기 시스템 및 방법 그리고 이를 구현하는 프로그램을 기록한 기록 매체 | |
CN108734366B (zh) | 用户识别方法及其系统、非易失性存储介质和计算机系统 | |
CN109345252A (zh) | 一种线上交易控制方法、装置、及计算机设备 | |
CN111402027B (zh) | 身份识别方法、商品贷审核方法、装置及终端设备 | |
CN109191140B (zh) | 一种评分卡模型整合方法及装置 | |
CN113111734B (zh) | 一种水印分类模型训练方法及装置 | |
CN114067401A (zh) | 目标检测模型的训练及身份验证方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |