CN112232431A - 水印检测模型训练方法、水印检测方法、系统、设备及介质 - Google Patents
水印检测模型训练方法、水印检测方法、系统、设备及介质 Download PDFInfo
- Publication number
- CN112232431A CN112232431A CN202011149325.8A CN202011149325A CN112232431A CN 112232431 A CN112232431 A CN 112232431A CN 202011149325 A CN202011149325 A CN 202011149325A CN 112232431 A CN112232431 A CN 112232431A
- Authority
- CN
- China
- Prior art keywords
- watermark
- image
- training
- detection model
- watermark detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 146
- 238000012549 training Methods 0.000 title claims abstract description 129
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000002372 labelling Methods 0.000 claims abstract description 10
- 238000012545 processing Methods 0.000 claims description 43
- 230000006870 function Effects 0.000 claims description 33
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 31
- 230000002194 synthesizing effect Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 6
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 238000003786 synthesis reaction Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 7
- 238000005070 sampling Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 229910010888 LiIn Inorganic materials 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000009191 jumping Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000003997 social interaction Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0021—Image watermarking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
本发明提供一种水印检测模型训练方法、水印检测方法、系统、设备及介质，该训练方法包括：获取样本数据集，样本数据集包含若干带水印的训练图像；对样本数据集的每个训练图像中水印区域的轮廓进行标注；根据标注后的样本数据集，对水印检测模型进行训练；其中，水印检测模型用于提取输入图像的特征图，而后获取特征图中每个特征点是否为水印中心点的概率，并在某个特征点为水印中心点的概率大于预定值时，获取该特征点映射到所述输入图像中的位置与该特征点对应的真实水印中心点之间的偏移量、以及该特征点对应的水印尺寸。本发明能够训练得到准确的水印检测模型，从而解决了通过人工审核的方式，难以实现对带水印图像的准确识别的技术问题。
Description
技术领域
本发明涉及图像识别技术领域，尤其涉及一种水印检测模型训练方法、水印检测方法、系统、设备及介质。
背景技术
图像作为信息传播的一种重要媒介，包含了丰富且直观的信息，因此在互联网的社交、购物和旅游等领域，均需要大量的图像来给用户传递信息。由于图像通常来源复杂，不同来源获取的大批量图像中常常包含有部分带水印的图像，直接展示影响美观甚至发生侵权。因此，图像提供方在使用图像前，需要对图像进行审核，以检测出图像中含有水印。
对于大规模图像数据来说，图像中是否含有水印具有较高的不确定性，并且水印的位置与透明度具有极大的变化，水印的种类复杂，相对于图像的主要内容特征通常极其不明显。因此，如果通过人工对图像进行水印审核，则人力成本昂贵，且容易遗漏，因而利用算法自动审核图像，以检测出带水印的图像成为一种趋势。目前利用深度学习来检测通用场景下多种多样的水印鲜有人研究，实现图像中水印的准确检测是一项具有挑战性的任务。
发明内容
针对上述现有技术的不足，本发明的目的在于提供一种水印检测模型训练方法、水印检测方法、系统、设备及介质，以解决通过人工审核的方式，难以实现对带水印图像的准确识别的技术问题。
为了实现上述目的，本发明一种水印检测模型训练方法，包括：
获取样本数据集，所述样本数据集包含若干带水印的训练图像；
对所述样本数据集的每个训练图像中水印区域的轮廓进行标注；
根据标注后的样本数据集，对水印检测模型进行训练，得到目标水印检测模型；
其中，所述水印检测模型用于提取输入图像的特征图，而后获取所述特征图中每个特征点是否为水印中心点的概率，并在某个特征点为水印中心点的概率大于预定值时，获取该特征点映射到所述输入图像中的位置与该特征点对应的真实水印中心点之间的偏移量、以及该特征点对应的水印尺寸。
在本发明一个优选实施例中，所述获取样本数据集的步骤包括：
获取若干水印图像；
对所述若干水印图像进行处理，得到若干背景透明的水印图像模板；
获取若干背景图像；
将所述若干水印图像模板与所述若干背景图像合成，得到所述若干带水印的训练图像。
在本发明一个优选实施例中，所述将所述若干水印图像模板与所述若干背景图像合成的步骤包括：
将同一所述水印图像模板以不同的水印类型、尺寸、透明度和/或位置与所述背景图像合成。
在本发明一个优选实施例中，所述根据标注后的样本数据集，对水印检测模型进行训练的步骤包括：
将所述样本数据集中的训练图像输入所述水印检测模型进行处理，得到所述训练图像的模型处理结果；
基于所述训练图像的模型处理结果与所述训练图像中标注的水印区域，获取损失函数；
基于所述损失函数调整所述水印检测模型的参数，并返回所述将所述样本数据集中的训练图像输入所述水印检测模型进行处理的步骤，直至所述损失函数满足预定条件，得到目标水印检测模型。
在本发明一个优选实施例中，所述损失函数由概率损失、位置损失和尺寸损失加权求和得到。
在本发明一个优选实施例中，所述水印检测模型采用全卷积网络，所述全卷积网络包含若干对称残差模块，每个所述对称残差模块包含偶数个顺序连接的残差块，并且所述偶数个残差块对称跳跃连接。
为了实现上述目的，本发明还提供一种水印检测方法，包括：
获取待检测水印的目标图像；
将所述目标图像输入根据前述方法训练得到的所述目标水印检测模型进行处理，得到所述目标图像的特征图中每个特征点为水印中心点的概率，并在某个特征点为水印中心点的概率大于预定值时，得到该特征点映射到所述目标图像中的位置与该特征点对应的真实水印中心点之间的偏移量、及该特征点对应的水印尺寸，而后根据该特征点映射到所述目标图像中的位置以及所述偏移量，得到该特征点对应的真实水印中心点。
为了实现上述目的，本发明还提供一种水印检测模型训练系统，包括：
样本获取模块，用于获取样本数据集，所述样本数据集包含若干带水印的训练图像；
标注模块，用于对所述样本数据集的每个训练图像中水印区域的轮廓进行标注；
训练模块，用于根据标注后的样本数据集，对水印检测模型进行训练，得到目标水印检测模型；
其中，所述水印检测模型用于提取输入图像的特征图，而后获取所述特征图中每个特征点为水印中心点的概率，并在某个特征点为水印中心点的概率大于预定值时，获取该特征点映射到所述输入图像中的位置与该特征点对应的真实水印中心点之间的偏移量、以及该特征点对应的水印尺寸。
在本发明一个优选实施例中，所述样本获取模块包括：
水印图像获取单元，用于获取若干水印图像；
水印模板获取单元，用于对所述若干水印图像进行处理，得到若干背景透明的水印图像模板；
背景图像获取单元，用于获取若干背景图像；
合成单元，用于将所述若干水印图像模板与所述若干背景图像合成，得到所述若干带水印的训练图像。
在本发明一个优选实施例中，所述合成单元具体用于：
将同一所述水印图像模板以不同的水印类型、尺寸、透明度和/或位置与所述背景图像合成。
在本发明一个优选实施例中，所述训练模块包括：
模型处理单元，用于将所述样本数据集中的训练图像输入所述水印检测模型进行处理，得到所述训练图像的模型处理结果；
损失函数获取单元，用于基于所述训练图像的模型处理结果与所述训练图像中标注的水印区域，获取损失函数；
调参单元，用于基于所述损失函数调整所述水印检测模型的参数，并重新调用所述模型处理单元，直至所述损失函数满足预定条件，得到目标水印检测模型。
在本发明一个优选实施例中，所述损失函数由概率损失、位置损失和尺寸损失加权求和得到。
在本发明一个优选实施例中，所述水印检测模型为全卷积网络，所述全卷积网络包含若干对称残差模块，每个所述对称残差模块包含偶数个顺序连接的残差块，并且所述偶数个残差块对称跳跃连接。
为了实现上述目的，本发明还提供一种水印检测系统，包括：
目标图像获取模块，用于获取目标图像；
水印检测模块，用于将所述目标图像输入根据前述系统训练得到的所述目标水印检测模型进行处理，得到所述目标图像的特征图中每个特征点为水印中心点的概率，以及在某个特征点为水印中心点的概率大于预定值时，得到该特征点映射到所述目标图像中的位置与该特征点对应的真实水印中心点之间的偏移量、及该特征点对应的水印尺寸，而后根据该特征点映射到所述目标图像中的位置以及对应的所述偏移量，得到该特征点对应的真实水印中心点。
为了实现上述目的，本发明还提供一种电子设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现前述水印检测模型训练方法或水印检测方法的步骤。
为了实现上述目的，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现前述水印检测模型训练方法或水印检测方法的步骤。
通过上述技术方案，本发明具有如下有益效果：
本发明通过对样本数据集的每个训练图像中水印区域的轮廓进行标注，并根据标注后的样本数据集，对水印检测模型进行训练，可以得到准确性高的目标水印检测模型；当获取到目标图像后，将目标图像输入所述目标水印检测模型进行处理，即可得到所述目标图像的特征图中每个特征点为水印中心点的概率，以及在某个特征点为水印中心点的概率大于预定值时，得到该特征点映射到所述目标图像中的位置与该特征点对应的真实水印中心点之间的偏移量、及该特征点对应的水印尺寸，而后根据该特征点映射到所述目标图像中的位置以及对应的所述偏移量，可以得到该特征点对应的真实水印中心点，由该特征点对应的真实水印中心点和水印尺寸，即可定位该特征点对应的水印区域，从而解决了通过人工审核的方式，难以实现对带水印图像的准确识别的技术问题。
附图说明
图1为本发明实施例1的水印检测模型训练方法的流程图；
图2为本发明实施例1中水印检测模型的结构框图；
图3为本发明实施例1中对称残差模块的结构框图；
图4为本发明实施例1中残差块的结构框图；
图5为本发明实施例2的水印检测方法的流程图；
图6为本发明实施例3的水印检测模型训练系统的流程图；
图7为本发明实施例4的水印检测系统的流程图；
图8为本发明实施例5的电子设备的硬件架构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
实施例1
本实施例提供一种水印检测模型训练方法，如图1所示，该方法包括以下步骤：
S11，获取样本数据集，所述样本数据集包含若干带水印的训练图像。本步骤具体可以采用如下过程实现：
S111，获取若干水印图像。例如，可以采集各个公司的品牌logo图像作为水印图像。
S112，对所述若干水印图像分别进行处理，得到若干背景透明的水印图像模板。
具体来说，首先将各水印图像转换成统一格式(如RGB格式)；而后去掉水印图像中的背景颜色，由于logo图像背景颜色一般是纯色，因而容易通过算法识别并去除；最后，将背景颜色去掉的水印图像由RGB格式转为RGBA格式，且只保留水印前景，即可得到背景透明的水印图像模板。
S113，获取若干背景图像。例如，可以从大规模图像库中随机下载不少于五万张包含各类场景的图像作为背景图像添加至背景图像库。
S114，将所述若干水印图像模板与所述若干背景图像合成，即得到所述若干带水印的训练图像。在本实施例中，优选将同一水印图像模板以不同的水印类型、尺寸、透明度和/或位置与背景图像合成。例如，可以将同一水印图像模板按随机的水印类型、尺寸、透明度和/或位置与背景图像合成，从而实现样本增强。
S12，根据人工输入的标注指令对样本数据集的每个训练图像中水印区域的矩形轮廓进行标注，所述标注指令用于指示训练图像中水印区域的矩形轮廓位置。
S13，根据标注后的样本数据集，对水印检测模型进行训练，得到目标水印检测模型。
在本实施例中，所述水印检测模型用于提取输入图像的特征图，而后获取所述特征图中每个特征点对应到原图为水印中心点的概率，并在某个特征点为水印中心点的概率大于预定值时，获取该特征点映射到所述输入图像中的位置与该征点对应的真实水印中心点之间的偏移量、以及该特征点对应的水印尺寸。
本实施例具体可以采用如下步骤对水印检测模型进行训练：
S131，将所述样本数据集中的训练图像输入所述水印检测模型进特行处理，得到所述训练图像的模型处理结果。所述训练图像的模型处理结果包括：所述训练图像的特征图中每个特征点对应到原图为水印中心点的概率，以及某个特征点为水印中心点的概率大于预定值时，该特征点映射到所述训练图像中的位置与该特征点对应的真实水印中心点之间的偏移量、及该特征点对应的水印尺寸。
例如，假设输入的训练图像宽为W，高为H，则经过水印检测模型处理后，将得到输出尺寸为W/R×H/R×C的特征图，其中R表示降采样次数，C表示输出通道数，即对于特征图上的每个点，模型将输出其C个特征。在本实施例中，C＝5，例如，对于特征图上(i，j)位置的特征点，其对应的特征Lij包含该特征点为水印中心点的概率pij，当概率pij达到预定值时，特征Lij还包含该特征点映射到原图(即所述训练图像)中的位置与该特征点对应的真实水印中心点之间的偏移量(包括横坐标偏移量Δxij和坐标偏移量Δyij)、以及该特征点对应的水印尺寸(包括长度wij和宽度hij)。
S132，基于所述训练图像的模型处理结果、以及所述训练图像中实际标注的水印区域，获取损失函数。
在本实施例中，采用如下式(1)获取损失函数Lwmdet：
Lwmdet＝Lpro+αLloc+βLsize (1)；
其中，Lpro为概率损失，Lloc为位置损失，Lsize为尺寸损失，α、β为预设的损失权重。Lpro代表特征图中的每一个点对应到原图是否为水印中心点的目标损失之和，Lloc代表特征图中的每一个预测为水印中心点的位置偏差与特征图中该点相对于实际图像水印中心点位置的偏差的目标损失之和；Lsize代表每一个预测为水印中心点的实际大小与真实水印大小的目标损失之和。
在本实施例中，Lpro可采用如下公式计算：
其中，Yxy表示特征图中特征点(x,y)对应到原图上的位置实际是否为水印中心点，0表示无，1表示有，
为模型预测的特征点(x,y)对应到原图为水印中心点的概率，α为超参数，本实施例中设为2。
在本实施例中，Lloc可采用如下公式计算：
其中，Δli表示模型输出的第i个偏移量；Li表示训练图像中对应第i个标注的水印区域的中心点，Pi表示Li在特征图中对应的位置，R表示降采样倍数，N表示预测的水印的个数，即模型输出的偏移量的个数。
Lloc的计算方式为L1范数，为各维度数值之差的绝对值相加。如特征图上预测为中心点的位置为(5,6)，模型的降采样倍数为4，原图上实际中心点的位置为(22,25)，模型输出的偏移量为(1.2,0.5)，则Lloc为abs(1.2-(22-5*4))+abs(0.5-(25-6*4))＝1.3
在本实施例中，Lsize可采用如下公式计算：
其中，
表示特征图像中第j个预测水印映射到训练图像中的尺寸，Sj表示对应训练图像中标注的第j个水印的尺寸，N表示特征图像中预测水印的个数。Lsize的计算方式同样为L1范数，为各维度数值之差的绝对值相加。
S133，基于所述损失函数Lwmdet调整所述水印检测模型的参数，并重复步骤S131-S133以进行迭代训练，直至所述损失函数满足预定条件(例如达到稳定并收敛至预设阈值)，将损失函数满足预定条件时的水印检测模型作为目标水印检测模型。
S14，利用批量测试图像对所述目标水印检测模型进行测试，当某测试图像实际无水印，而根据目标水印检测模型检测到该测试图像有水印(即模型输出的该测试图像的特征图中某个特征点对应到原图为水印中心点的概率大于预定值)时，将该测试图像作为背景图像返回步骤S113，以对水印检测模型进行迭代训练，直至目标水印检测模型的准确率和召回率达到预期标准。
在本实施例中，前述水印检测模型优选为全卷积神经网络，所述全卷积网络包含若干结构相同的对称残差模块(其中对称残差模块的数量N根据网络的降采样次数R决定，R＝2N)，对于每一个所述对称残差模块，包含偶数个顺序连接的残差块，同时所述偶数个残差块对称跳跃连接，以保证水印特征在浅层和深层的有效抽取和表达。
具体地，前述水印检测模型采用图2所示的全卷积神经网络，其包含三个顺序连接的对称残差模块(对应降采样次数8)、以及两个BN-Relu-Conv(Btch Normaliation-Reluactivation-Convolutio)模块，用于有效提取图像的特征。
前述对称残差模块的结构如图3所示，包括顺序连接的多个(图中示出为6个)残差块(残差块的具体结构如图4所示)，还包括连接至第一个残差块输入端的BN-Relu-Conv/2层、以及连接在第三个与第四个残差块之间的BN-Relu-Conv层，并且第一个残差块与第六个残差块对称跳跃连接，第二个残差块与第五个残差块对称跳跃连接，第三个残差块与第四个残差块对称跳跃连接，以保证水印特征在浅层和深层的有效抽取和表达。
本实施例对样本数据集的每个训练图像中水印区域的轮廓进行标注，并根据标注后的样本数据集对水印检测模型进行训练得到目标水印检测模型，能够得到准确性高的水印检测模型。
实施例2
本实施例提供一种水印检测方法，如图5所示，该方法包括以下步骤：
S21，获取待检测水印的目标图像。
S22，将所述目标图像输入实施例1得到的目标水印检测模型进行处理，得到所述目标图像的特征图中每个特征点为水印中心点的概率，以及在某个特征点为水印中心点的概率大于预定值时，得到该特征点映射到所述目标图像中的位置与该特征点对应的真实水印中心点之间的偏移量、及该特征点对应的水印尺寸，而后将该特征点映射到所述目标图像中的位置与对应的所述偏移量求和，得到该特征点对应的真实水印中心点。
根据各特征点对应的真实水印中心点和水印尺寸，即可定位该特征点对应的水印区域，达到检测水印的目的。
实验表明，本实施例能够实现95％以上的水印图像的准确召回，并实现80％的图像检测准确率,利用英伟达V100显卡可实现50张图像的并发检测请求，并保证单张图像整个水印检测流程控制在100ms以内。本发明能够快速准确地检出水印图像，可大幅度节省人工检测成本。
需要说明的是，对于实施例1和2，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明所必须的。
实施例3
本实施例提供一种水印检测模型训练系统10，如图6所示，该系统包括样本获取模块11、标注模块12、训练模块13和测试模块14，下面分别对各模块进行详细描述：
样本获取模块11用于获取样本数据集，所述样本数据集包含若干带水印的训练图像。在本实施例中，样本获取模块11具体包括：在本实施例中，样本获取模块11具体包括：
水印图像获取单元111，用于获取若干不同的水印图像。例如，可以采集各个公司的品牌logo图像作为水印图像。
水印模板获取单元112，用于对所述若干水印图像分别进行处理，得到若干背景透明的水印图像模板。
具体来说，首先将各水印图像转换成统一格式(如RGB格式)；而后去掉水印图像中的背景颜色，由于logo图像背景一般是纯色，因而容易通过算法识别并去除；最后，将背景颜色去掉的水印图像由RGB格式转为RGBA格式，且只保留水印前景，即可得到背景透明的水印图像模板。
背景图像获取单元113，用于获取若干背景图像。例如，可以从大规模图像库中随机下载不少于五万张包含各类场景的图像，以作为水印图像的背景图像。
合成单元114，用于将所述若干水印图像模板与所述若干背景图像合成，即得到所述若干带水印的训练图像。在本实施例中，优选将同一水印图像模板以不同的水印类型、尺寸、透明度和/或位置与背景图像合成。例如，可以将同一水印图像模板按随机的水印类型、尺寸、透明度和/或位置与背景图像合成。
标注模块12用于根据人工输入的标注指令对样本数据集的每个训练图像中水印区域的矩形轮廓进行标注，所述标注指令用于指示各训练图像中水印区域的矩形轮廓位置。
训练模块13用于根据标注后的样本数据集，对水印检测模型进行训练，得到目标水印检测模型。其中，所述水印检测模型用于提取输入图像的特征图，而后获取所述特征图中每个特征点对应到原图为水印中心点的概率，并在某个特征点为水印中心点的概率大于预定值时，获取该特征点映射到所述输入图像中的位置与该征点对应的真实水印中心点之间的偏移量、以及该特征点对应的水印尺寸。
在本实施例中，训练模块13具体包括：
模型处理单元131，用于将所述样本数据集中的训练图像输入所述水印检测模型进特行处理，得到所述训练图像的模型处理结果。所述训练图像的模型处理结果包括：所述训练图像的特征图中每个特征点对应到原图为水印中心点的概率，以及某个特征点为水印中心点的概率大于预定值时，该特征点映射到所述训练图像中的位置与该特征点对应的真实水印中心点之间的偏移量、及该特征点对应的水印尺寸。
例如，假设输入的训练图像宽为W，高为H，则经过水印检测模型处理后，将得到输出尺寸为W/R×H/R×C的特征图，其中R表示降采样次数，C表示输出通道数，即对于特征图上的每个点，模型将输出其C个特征。在本实施例中，C＝5，例如，对于特征图上(i，j)位置的特征点，其对应的特征Lij包含该特征点为水印中心点的概率pij，当概率pij达到预定值时，特征Lij还包含该特征点映射到原图(即所述训练图像)中的位置与该特征点对应的真实水印中心点之间的偏移量(包括横坐标偏移量Δxij和坐标偏移量Δyij)、以及该特征点对应的水印尺寸(包括长度wij和宽度hij)。
损失函数获取单元132，用于基于所述训练图像的模型处理结果、以及所述训练图像中实际标注的水印区域，获取损失函数。
在本实施例中，损失函数获取单元132采用如下式(1)获取损失函数Lwmdet：
Lwmdet＝Lpro+αLloc+βLsize (1)；
其中，Lpro为概率损失，Lloc为位置损失，Lsize为尺寸损失，α、β为预设的损失权重。Lpro代表特征图中的每一个点对应到原图是否为水印中心点的目标损失之和，Lloc代表特征图中的每一个预测为水印中心点的位置偏差与特征图中该点相对于实际图像水印中心点位置的偏差的目标损失之和；Lsize代表每一个预测为水印中心点的实际大小与真实水印大小的目标损失之和。
在本实施例中，Lpro可采用如下公式计算：
其中，Yxy表示特征图中特征点(x,y)对应到原图上的位置实际是否为水印中心点，0表示无，1表示有，
为模型预测的特征点(x,y)对应到原图为水印中心点的概率，α为超参数，本实施例中设为2。
在本实施例中，Lloc可采用如下公式计算：
其中，Δli表示模型输出的第i个偏移量；Li表示训练图像中对应第i个标注的水印区域的中心点，Pi表示Li在特征图中对应的位置，R表示降采样倍数，N表示预测的水印的个数，即模型输出的偏移量的个数。
Lloc的计算方式为L1范数，为各维度数值之差的绝对值相加。如特征图上预测为中心点的位置为(5,6)，模型的降采样倍数为4，原图上实际中心点的位置为(22,25)，模型输出的偏移量为(1.2,0.5)，则Lloc为abs(1.2-(22-5*4))+abs(0.5-(25-6*4))＝1.3
在本实施例中，Lsize可采用如下公式计算：
其中，
表示特征图像中第j个预测水印映射到训练图像中的尺寸，Sj表示对应训练图像中标注的第j个水印的尺寸，N表示特征图像中预测水印的个数。Lsize的计算方式同样为L1范数，为各维度数值之差的绝对值相加。
调参单元133，用于基于所述损失函数Lwmdet调整所述水印检测模型的参数，并重新调用模型处理单元131以进行迭代训练，直至所述损失函数满足预定条件(例如达到稳定并收敛至预设阈值)，将损失函数满足预定条件时的水印检测模型作为目标水印检测模型。
测试模块14用于利用批量测试图像对所述目标水印检测模型进行测试，当某测试图像实际无水印，而根据目标水印检测模型检测到该测试图像有水印(即模型输出的该测试图像的特征图中某个特征点对应到原图为水印中心点的概率大于预定值)时，将该测试图像作为背景图像返回步骤S113，以对水印检测模型进行迭代训练，直至目标水印检测模型的准确率和召回率达到预期标准。
在本实施例中，前述水印检测模型优选为全卷积神经网络，所述全卷积网络包含若干结构相同的对称残差模块(其中对称残差模块的数量N根据网络的降采样次数R决定，R＝2N)，对于每一个所述对称残差模块，包含偶数个顺序连接的残差块，同时所述偶数个残差块对称跳跃连接，以保证水印特征在浅层和深层的有效抽取和表达。
具体地，前述水印检测模型采用图2所示的全卷积神经网络，其包含三个顺序连接的对称残差模块(对应降采样次数8)、以及两个BN-Relu-Conv(Btch Normaliation-Reluactivation-Convolutio)模块，用于有效提取图像的特征。
前述对称残差模块的结构如图3所示，包括顺序连接的多个(图中示出为6个)残差块(残差块的具体结构如图4所示)，还包括连接至第一个残差块输入端的BN-Relu-Conv/2层、以及连接在第三个与第四个残差块之间的BN-Relu-Conv层，并且第一个残差块与第六个残差块对称跳跃连接，第二个残差块与第五个残差块对称跳跃连接，第三个残差块与第四个残差块对称跳跃连接，以保证水印特征在浅层和深层的有效抽取和表达。
本实施例对样本数据集的每个训练图像中水印区域的轮廓进行标注，并根据标注后的样本数据集对水印检测模型进行训练得到目标水印检测模型，能够得到准确性高的水印检测模型。
实施例4
本实施例提供一种水印检测系统，如图7所示，该系统包括：
目标图像获取模块21，用于获取待检测水印的目标图像。
水印检测模块22，用于将所述目标图像输入实施例3得到的目标水印检测模型进行处理，得到所述目标图像的特征图中每个特征点为水印中心点的概率，以及在某个特征点为水印中心点的概率大于预定值时，得到该特征点映射到所述目标图像中的位置与该特征点对应的真实水印中心点之间的偏移量、及该特征点对应的水印尺寸，而后将该特征点映射到所述目标图像中的位置与对应的所述偏移量求和，得到该特征点对应的真实水印中心点。
应该理解，根据各特征点对应的真实水印中心点和水印尺寸，即可定位该特征点对应的水印区域，达到检测水印的目的。
实验表明，本实施例能够实现95％以上的水印图像的准确召回，并实现80％的图像检测准确率,利用英伟达V100显卡可实现50张图像的并发检测请求，并保证单张图像整个水印检测流程控制在100ms以内。本发明能够快速准确地检出水印图像，可大幅度节省人工检测成本。
实施例5
本实施例提供一种电子设备，电子设备可以通过计算设备的形式表现(例如可以为服务器设备)，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中处理器执行计算机程序时可以实现实施例1或2提供的水印检测模型训练方法或水印检测方法。
图8示出了本实施例的硬件结构示意图，如图8所示，电子设备9具体包括：
至少一个处理器91、至少一个存储器92以及用于连接不同系统组件(包括处理器91和存储器92)的总线93，其中：
总线93包括数据总线、地址总线和控制总线。
存储器92包括易失性存储器，例如随机存取存储器(RAM)921和/或高速缓存存储器922，还可以进一步包括只读存储器(ROM)923。
存储器92还包括具有一组(至少一个)程序模块924的程序/实用工具925，这样的程序模块924包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
处理器91通过运行存储在存储器92中的计算机程序，从而执行各种功能应用以及数据处理，例如本发明实施例1或2所提供的水印检测模型训练方法或水印检测方法。
电子设备9进一步可以与一个或多个外部设备94(例如键盘、指向设备等)通信。这种通信可以通过输入/输出(I/O)接口95进行。并且，电子设备9还可以通过网络适配器96与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器96通过总线93与电子设备9的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备9使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID(磁盘阵列)系统、磁带驱动器以及数据备份存储系统等。
应当注意，尽管在上文详细描述中提及了电子设备的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
实施例6
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现实施例1或2所提供的水印检测模型训练方法或水印检测方法的步骤。
其中，可读存储介质可以采用的更具体可以包括但不限于：便携式盘、硬盘、随机存取存储器、只读存储器、可擦拭可编程只读存储器、光存储器件、磁存储器件或上述的任意合适的组合。
在可能的实施方式中，本发明还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行实现实施例1或2所述的水印检测模型训练方法或水印检测方法的步骤。
其中，可以以一种或多种程序设计语言的任意组合来编写用于执行本发明的程序代码，所述程序代码可以完全地在用户设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户设备上部分在远程设备上执行或完全在远程设备上执行。
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。
Claims (16)
1.一种水印检测模型训练方法，其特征在于，包括：
获取样本数据集，所述样本数据集包含若干带水印的训练图像；
对所述样本数据集的每个训练图像中水印区域的轮廓进行标注；
根据标注后的样本数据集，对水印检测模型进行训练，得到目标水印检测模型；
其中，所述水印检测模型用于提取输入图像的特征图，而后获取所述特征图中每个特征点是否为水印中心点的概率，并在某个特征点为水印中心点的概率大于预定值时，获取该特征点映射到所述输入图像中的位置与该特征点对应的真实水印中心点之间的偏移量、以及该特征点对应的水印尺寸。
2.根据权利要求1所述的水印检测模型训练方法，其特征在于，所述获取样本数据集的步骤包括：
获取若干水印图像；
对所述若干水印图像进行处理，得到若干背景透明的水印图像模板；
获取若干背景图像；
将所述若干水印图像模板与所述若干背景图像合成，得到所述若干带水印的训练图像。
3.根据权利要求2所述的水印检测模型训练方法，其特征在于，所述将所述若干水印图像模板与所述若干背景图像合成的步骤包括：
将同一所述水印图像模板以不同的水印类型、尺寸、透明度和/或位置与所述背景图像合成。
4.根据权利要求1所述的水印检测模型训练方法，其特征在于，所述根据标注后的样本数据集，对水印检测模型进行训练的步骤包括：
将所述样本数据集中的训练图像输入所述水印检测模型进行处理，得到所述训练图像的模型处理结果；
基于所述训练图像的模型处理结果与所述训练图像中标注的水印区域，获取损失函数；
基于所述损失函数调整所述水印检测模型的参数，并返回所述将所述样本数据集中的训练图像输入所述水印检测模型进行处理的步骤，直至所述损失函数满足预定条件，得到目标水印检测模型。
5.根据权利要求4所述的水印检测模型训练方法，其特征在于，所述基于所述训练图像的模型处理结果与所述训练图像中标注的水印区域，获取损失函数，包括：
基于所述训练图像的模型处理结果与所述训练图像中标注的水印区域获取概率损失、位置损失和尺寸损失；
将所述概率损失、位置损失和尺寸损失加权求和得到所述损失函数。
6.根据权利要求1所述的水印检测模型训练方法，其特征在于，所述水印检测模型采用全卷积网络，所述全卷积网络包含若干对称残差模块，每个所述对称残差模块包含偶数个顺序连接的残差块，并且所述偶数个残差块对称跳跃连接。
7.一种水印检测方法，其特征在于，包括：
获取目标图像；
将所述目标图像输入根据权利要求1-6中任一项所述方法训练得到的所述目标水印检测模型进行处理，得到所述目标图像的特征图中每个特征点为水印中心点的概率，并在某个特征点为水印中心点的概率大于预定值时，得到该特征点映射到所述目标图像中的位置与该特征点对应的真实水印中心点之间的偏移量、及该特征点对应的水印尺寸，而后根据该特征点映射到所述目标图像中的位置以及所述偏移量，得到该特征点对应的真实水印中心点。
8.一种水印检测模型训练系统，其特征在于，包括：
样本获取模块，用于获取样本数据集，所述样本数据集包含若干带水印的训练图像；
标注模块，用于对所述样本数据集的每个训练图像中水印区域的轮廓进行标注；
训练模块，用于根据标注后的样本数据集，对水印检测模型进行训练，得到目标水印检测模型；
其中，所述水印检测模型用于提取输入图像的特征图，而后获取所述特征图中每个特征点为水印中心点的概率，并在某个特征点为水印中心点的概率大于预定值时，获取该特征点映射到所述输入图像中的位置与该特征点对应的真实水印中心点之间的偏移量、以及该特征点对应的水印尺寸。
9.根据权利要求8所述的水印检测模型训练系统，其特征在于，所述样本获取模块包括：
水印图像获取单元，用于获取若干水印图像；
水印模板获取单元，用于对所述若干水印图像进行处理，得到若干背景透明的水印图像模板；
背景图像获取单元，用于获取若干背景图像；
合成单元，用于将所述若干水印图像模板与所述若干背景图像合成，得到所述若干带水印的训练图像。
10.根据权利要求9所述的水印检测模型训练系统，其特征在于，所述合成单元具体用于：
将同一所述水印图像模板以不同的水印类型、尺寸、透明度和/或位置与所述背景图像合成。
11.根据权利要求8所述的水印检测模型训练系统，其特征在于，所述训练模块包括：
模型处理单元，用于将所述样本数据集中的训练图像输入所述水印检测模型进行处理，得到所述训练图像的模型处理结果；
损失函数获取单元，用于基于所述训练图像的模型处理结果与所述训练图像中标注的水印区域，获取损失函数；
调参单元，用于基于所述损失函数调整所述水印检测模型的参数，并重新调用所述模型处理单元，直至所述损失函数满足预定条件，得到目标水印检测模型。
12.根据权利要求11所述的水印检测模型训练系统，其特征在于，所述损失函数获取单元具体用于：
基于所述训练图像的模型处理结果与所述训练图像中标注的水印区域获取概率损失、位置损失和尺寸损失；
将所述概率损失、位置损失和尺寸损失加权求和得到所述损失函数。
13.根据权利要求8所述的水印检测模型训练系统，其特征在于，所述水印检测模型为全卷积网络，所述全卷积网络包含若干对称残差模块，每个所述对称残差模块包含偶数个顺序连接的残差块，并且所述偶数个残差块对称跳跃连接。
14.一种水印检测系统，其特征在于，包括：
目标图像获取模块，用于获取目标图像；
水印检测模块，用于将所述目标图像输入根据权利要求8-13中任一项所述系统训练得到的所述目标水印检测模型进行处理，得到所述目标图像的特征图中每个特征点为水印中心点的概率，以及在某个特征点为水印中心点的概率大于预定值时，得到该特征点映射到所述目标图像中的位置与该特征点对应的真实水印中心点之间的偏移量、及该特征点对应的水印尺寸，而后根据该特征点映射到所述目标图像中的位置以及对应的所述偏移量，得到该特征点对应的真实水印中心点。
15.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6中任一项所述的水印检测模型训练方法的步骤、或如权利要求7所述的水印检测方法的步骤。
16.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的水印检测模型训练方法的步骤、或如权利要求7所述的水印检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011149325.8A CN112232431A (zh) | 2020-10-23 | 2020-10-23 | 水印检测模型训练方法、水印检测方法、系统、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011149325.8A CN112232431A (zh) | 2020-10-23 | 2020-10-23 | 水印检测模型训练方法、水印检测方法、系统、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112232431A true CN112232431A (zh) | 2021-01-15 |
Family
ID=74109490
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011149325.8A Pending CN112232431A (zh) | 2020-10-23 | 2020-10-23 | 水印检测模型训练方法、水印检测方法、系统、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112232431A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114596188A (zh) * | 2022-02-22 | 2022-06-07 | 北京百度网讯科技有限公司 | 水印检测方法、模型训练方法、装置及电子设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110276293A (zh) * | 2019-06-20 | 2019-09-24 | 百度在线网络技术（北京）有限公司 | 车道线检测方法、装置、电子设备及存储介质 |
| CN110599483A (zh) * | 2019-09-19 | 2019-12-20 | 慧影医疗科技（北京）有限公司 | 肺部病灶检测装置、检测设备及可读存储介质 |
| CN110838125A (zh) * | 2019-11-08 | 2020-02-25 | 腾讯医疗健康(深圳)有限公司 | 医学图像的目标检测方法、装置、设备、存储介质 |
| CN111062903A (zh) * | 2019-12-06 | 2020-04-24 | 携程计算机技术（上海）有限公司 | 图像水印的自动处理方法、系统、电子设备及存储介质 |
| CN111508019A (zh) * | 2020-03-11 | 2020-08-07 | 上海商汤智能科技有限公司 | 目标检测方法及其模型的训练方法及相关装置、设备 |
-
2020
- 2020-10-23 CN CN202011149325.8A patent/CN112232431A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110276293A (zh) * | 2019-06-20 | 2019-09-24 | 百度在线网络技术（北京）有限公司 | 车道线检测方法、装置、电子设备及存储介质 |
| CN110599483A (zh) * | 2019-09-19 | 2019-12-20 | 慧影医疗科技（北京）有限公司 | 肺部病灶检测装置、检测设备及可读存储介质 |
| CN110838125A (zh) * | 2019-11-08 | 2020-02-25 | 腾讯医疗健康(深圳)有限公司 | 医学图像的目标检测方法、装置、设备、存储介质 |
| CN111062903A (zh) * | 2019-12-06 | 2020-04-24 | 携程计算机技术（上海）有限公司 | 图像水印的自动处理方法、系统、电子设备及存储介质 |
| CN111508019A (zh) * | 2020-03-11 | 2020-08-07 | 上海商汤智能科技有限公司 | 目标检测方法及其模型的训练方法及相关装置、设备 |
Non-Patent Citations (1)
| Title |
|---|
| 刘文如: "零基础入门Python深度学习", 31 January 2020, 北京：机械工业出版社, pages: 139 - 143 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114596188A (zh) * | 2022-02-22 | 2022-06-07 | 北京百度网讯科技有限公司 | 水印检测方法、模型训练方法、装置及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109858555B (zh) | 基于图像的数据处理方法、装置、设备及可读存储介质 | |
| CN109558832B (zh) | 一种人体姿态检测方法、装置、设备及存储介质 | |
| CN109086811B (zh) | 多标签图像分类方法、装置及电子设备 | |
| CN105164700B (zh) | 使用概率模型在视觉数据中检测对象 | |
| CN110163205B (zh) | 图像处理方法、装置、介质和计算设备 | |
| WO2023010758A1 (zh) | 一种动作检测方法、装置、终端设备和存储介质 | |
| CN111124863B (zh) | 智能设备性能测试方法、装置及智能设备 | |
| CN113869138A (zh) | 多尺度目标检测方法、装置及计算机可读存储介质 | |
| CN113762303B (zh) | 图像分类方法、装置、电子设备及存储介质 | |
| US11967125B2 (en) | Image processing method and system | |
| CN110874591A (zh) | 一种图像定位方法、装置、设备及存储介质 | |
| CN115375917B (zh) | 一种目标边缘特征提取方法、装置、终端及存储介质 | |
| CN111444807A (zh) | 目标检测方法、装置、电子设备和计算机可读介质 | |
| CN115577768A (zh) | 半监督模型训练方法和装置 | |
| CN113239227A (zh) | 图像数据结构化方法、装置、电子设备及计算机可读介质 | |
| CN111373393B (zh) | 图像检索方法和装置以及图像库的生成方法和装置 | |
| CN113343981A (zh) | 一种视觉特征增强的字符识别方法、装置和设备 | |
| CN112836682B (zh) | 视频中对象的识别方法、装置、计算机设备和存储介质 | |
| CN112232431A (zh) | 水印检测模型训练方法、水印检测方法、系统、设备及介质 | |
| CN117036392A (zh) | 图像检测方法及相关装置 | |
| CN117078970A (zh) | 一种图片识别方法、装置、电子设备及存储介质 | |
| CN116030295A (zh) | 物品识别方法、装置、电子设备及存储介质 | |
| CN111124862B (zh) | 智能设备性能测试方法、装置及智能设备 | |
| CN113971830A (zh) | 一种人脸识别方法、装置、存储介质及电子设备 | |
| CN112991266A (zh) | 用于小样本医疗影像的语义分割方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |