CN106530205B - 一种鲁棒性水印嵌入、检出方法及装置 - Google Patents

一种鲁棒性水印嵌入、检出方法及装置 Download PDF

Info

Publication number
CN106530205B
CN106530205B CN201611025258.2A CN201611025258A CN106530205B CN 106530205 B CN106530205 B CN 106530205B CN 201611025258 A CN201611025258 A CN 201611025258A CN 106530205 B CN106530205 B CN 106530205B
Authority
CN
China
Prior art keywords
matrix
watermark
frame
information
bit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201611025258.2A
Other languages
English (en)
Other versions
CN106530205A (zh
Inventor
陆烨
刘向宇
左霖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sunway Eagle Polytron Technologies Inc
Original Assignee
Beijing Sunway Eagle Polytron Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sunway Eagle Polytron Technologies Inc filed Critical Beijing Sunway Eagle Polytron Technologies Inc
Priority to CN201611025258.2A priority Critical patent/CN106530205B/zh
Publication of CN106530205A publication Critical patent/CN106530205A/zh
Application granted granted Critical
Publication of CN106530205B publication Critical patent/CN106530205B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0021Image watermarking
    • G06T1/005Robust watermarking, e.g. average attack or collusion attack resistant

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

本发明实施例提供的一种鲁棒性水印嵌入、检出方法及装置,涉及数字信息内容和版权保护技术领域。该鲁棒性水印嵌入方法,包括:根据多帧视频内容所对应的多个帧指纹信息,将需要嵌入的水印信息转化为多个单比特水印信息,所述帧指纹信息与该单比特水印信息一一对应;根据各个所述帧指纹信息,分别生成与各个单比特水印信息对应的水印矩阵;根据各个所述水印矩阵,分别将所述单比特水印信息嵌入与该单比特水印信息对应的根据帧指纹信息所生成的水印矩阵所对应的一帧视频内容中,生成水印视频信息。使用该方法进行水印嵌入,能够增强水印的鲁棒性,保证视频遭受到模拟转换攻击时,水印不失效,并可依据该嵌入的水印寻找盗版源。

Description

一种鲁棒性水印嵌入、检出方法及装置
技术领域
本发明涉及数字信息内容和版权保护技术领域,具体而言,涉及一种鲁棒性水印嵌入、检出方法及装置。
背景技术
电影的盗版违法行为屡禁不止,严重损害了影视影业的发展。目前针对数字影院盗版电影,国内还没有有效的方法来定位版权盗版的源头。其主要原因在于现有的视频数字水印技术在对抗基于D/A转换的摄像机盗录时,其水印的存在性和完整性受到极大的影响,并不具备抵抗这类攻击的能力。目前,基于视频的鲁棒性水印还没有真正得到公认的可靠方法,较为成熟的鲁棒性水印的成功方案都集中在抵抗数字转换攻击领域,例如针对视频的压缩、剪裁等。而在模拟转换攻击领域,例如摄像机盗录,不能简单的把数字转换攻击中的鲁棒性水印方法拷贝过来,原因在于D/A转换带入大量自然光噪声使得水印失效。面向数字转换攻击领域,典型盲数字水印方法主要基于量化索引调制方法(QuantizationIndex Modulation,QIM),其方法在频域中通过对原信号点强度的预定义量化,以损失信号精度的方式进行水印的嵌入和检出;典型的非盲数字水印主要基于扩频通信(SpreadSpectrum,SS)原理,通过在不同信号频带上附加与水印信号呈正相关关系的信息已完成水印的嵌入。
由于视频在受盗录攻击过程中经过未知且随机的光路传播,根据光传播原理其成像质量可能受到折射和漫反射的影响,随之带来大量自然光噪声,使得QIM的方法往往在加入此类随机噪声后信号点强度跳跃出量化范围,使得水印失效。若简单的采用增加水印的嵌入强度来防止水印失效,但若每张图片都嵌入相同的多位水印,那么当水印达到一定长度时,单帧图像会出现明显条纹状,严重影响观看质量,而若嵌入强度极小以至于不影响单帧图片质量,那么面向数字转换攻击的水印方法并不能抵抗以DCT变换为基础的H.264压缩。
发明内容
有鉴于此,本发明实施例的目的在于提供一种鲁棒性水印嵌入方法及装置,使用该方法及装置进行水印的嵌入可以在增加视频的水印容量的同时保证视频内容的观看质量,抵抗视频遭受模拟攻击时水印信息不失效。
本发明实施例的另一目的在于提供一种鲁棒性水印检出方法及装置,使用该方法及装置能够检出上述鲁棒性水印嵌入方法及装置嵌入的水印信息,以此可追踪盗版视频的盗版源。
本发明的实施例是这样实现的:
一种鲁棒性水印嵌入方法,包括:根据多帧视频内容所对应的多个帧指纹信息,将需要嵌入的水印信息转化为多个单比特水印信息,所述帧指纹信息与所述单比特水印信息一一对应;根据各个所述帧指纹信息,分别生成与各个单比特水印信息对应的水印矩阵;根据各个所述水印矩阵,分别将所述单比特水印信息嵌入与该单比特水印信息对应的根据帧指纹信息所生成的水印矩阵所对应的一帧视频内容中,生成水印视频信息。
优选地,将所述单比特水印信息嵌入与该单比特水印信息对应的根据帧指纹信息所生成的水印矩阵所对应的一帧视频内容中,生成水印视频信息的步骤,包括:根据所述多帧视频内容,在YUV色彩空间中,对所述单比特水印信息需要进行嵌入的一帧视频内容的U分量数据和V分量数据进行变换,得到该帧视频内容的U分量数据对应的U矩阵和所述V分量数据对应的V矩阵;在所述单比特水印信息需要进行嵌入的一帧视频内容所对应的U矩阵中和V矩阵的相同区域划分出对应该帧视频内容的嵌入矩阵,该嵌入矩阵的二维尺寸相同与所述水印矩阵相同;根据所述单比特水印信息所对应的水印矩阵,将该单比特水印信息嵌入到所述嵌入矩阵中。
优选地,根据所述单比特水印信息所对应的水印矩阵,将该单比特水印信息嵌入到所述嵌入矩阵中的步骤,包括:查找所述水印矩阵中满足预设条件的位置;根据所述水印矩阵中满足预设条件的位置,在嵌入矩阵中进行查找相匹配的位置,将该相匹配的位置作为嵌入位置;将该水印矩阵对应的单比特水印信息嵌入到所述嵌入位置中。
优选地,根据所述多帧视频内容,在YUV色彩空间中,对所述单比特水印信息需要进行嵌入的一帧视频内容的U分量数据和V分量数据进行变换,得到该帧视频内容的U分量数据对应的U矩阵和所述V分量数据对应的V矩阵的步骤中的具体变换方法为:离散余弦变换。
优选地,该方法还包括:标记嵌入的所述单比特水印信息的嵌入位置。
优选地,标记嵌入的所述单比特水印信息的嵌入位置的具体步骤,包括:修改嵌入所述单比特水印信息为1的位置所对应的所述U矩阵和V矩阵在该位置的元素数值,以使U矩阵在该位置的元素数值与V矩阵在该位置的元素数值满足第一预设关系;修改嵌入所述单比特水印信息为0的位置所对应的所述U矩阵和V矩阵在该位置的元素数值,以使U矩阵在该位置的元素数值与V矩阵在该位置的元素数值满足第二预设关系。
优选地,根据各个所述帧指纹信息,分别生成与各个单比特水印信息对应的水印矩阵的步骤,包括:根据每个所述帧指纹信息,获得与该帧指纹信息对应的水印比特位编号;根据每个所述水印比特位编号获得与该水印比特位编号对应的水印矩阵。
一种鲁棒性水印检出方法,用于恢复根据上述的方法获取的水印视频信息中的水印信息,包括:根据多帧视频内容,在YUV空间进行变换,分别得到每一帧视频内容的U分量数据对应的U矩阵和V分量数据对应的V矩阵;根据多帧视频内容对应的多个帧指纹信息,分别生成恢复矩阵;根据各个嵌入矩阵中各个位置所对应的U矩阵和V矩阵的预设关系以及恢复矩阵,恢复出每个帧指纹信息所对应的单比特水印信息;根据每个所述帧指纹信息所对应的单比特水印信息,获得完整的水印信息。
一种鲁棒性水印嵌入装置,包括:单比特水印信息生成模块,根据多帧视频内容所对应的多个帧指纹信息,将需要嵌入的水印信息转化为多个单比特水印信息,所述帧指纹信息与所述单比特水印信息一一对应;水印矩阵生成模块,用于根据每个所述帧指纹信息及对应的所述单比特水印信息,分别生成与各个单比特水印信息对应的水印矩阵;水印信息嵌入模块,用于根据各个所述水印矩阵,分别将所述单比特水印信息嵌入与该单比特水印信息对应的根据帧指纹信息所生成的水印矩阵所对应的一帧视频内容中,生成水印视频信息。
一种鲁棒性水印检出装置,包括:视频内容转换模块,用于根据多帧视频内容,在YUV空间进行变换,分别得到每一帧视频内容的U分量数据对应的U矩阵和V分量数据对应的V矩阵;恢复矩阵生成模块,用于根据多帧视频内容对应的多个帧指纹信息,分别生成恢复矩阵;恢复模块,用于根据各个嵌入矩阵中各个位置所对应的U矩阵和V矩阵的预设关系以及恢复矩阵,恢复出每个帧指纹信息所对应的单比特水印信息;水印信息还原模块,用于根据每个所述帧指纹信息所对应的单比特水印信息,获得完整的水印信息。
本发明实施例所提供的一种鲁棒性水印嵌入方法及装置,该方法根据多帧视频内容所对应的多个帧指纹信息,将需要嵌入的水印信息转化为多个单比特水印信息,而使转换得到的多个单比特水印信息与多个帧指纹信息映射形成一一对应的关系。这样就可以使得一个单比特水印信息定位到应当嵌入的一帧视频内容中。然后根据每个所述帧指纹信息,分别生成与各个单比特水印信息对应的水印矩阵,以一个水印矩阵对应着唯一的一个单比特水印信息。利用水印矩阵再在对应的一帧视频内容中寻找确定应该将水印信息嵌入到该帧视频内容中的具体位置,可以嵌入多个位置。使用此方法分别将每个单比特水印信息嵌入到相应的一帧视频内容中,最终将完整的水印信息嵌入到多帧视频内容中,以此提高该方法的视频时间轴的自适应能力。将水印信息分解为多个单比特水印信息进行分布式的嵌入能够在扩大视频水印容量,可抗击视频盗录的模拟转换攻击,防止水印失效,同时避免出现视频条纹,保证了观看质量。
本发明实施例还提供的一种鲁棒性水印检出方法及装置,使用该方法及装置可以,检出上述鲁棒性水印嵌入方法及装置所嵌入视频内容中的水印信息。该方法通过对已经嵌入水印的多帧视频内容在YUV空间进行变换,得到每一帧视频内容的U分量数据对应的U矩阵和V分量数据对应的V矩阵;然后寻找到其中的嵌入矩阵,通过多帧视频内容对应的多个帧指纹信息,分别生成恢复矩阵。再根据嵌入矩阵和恢复矩阵的对应关系,确定嵌入矩阵各个位置对应的U矩阵和V矩阵的预设关系进行水印矩阵的恢复,并得到水印信息。以此可检出盗录视频中的水印信息。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本发明较佳实施例提供的鲁棒性水印检出设备的方框示意图。
图2为本发明较佳实施例提供的鲁棒性水印嵌入方法的流程图。
图3为本发明较佳实施例提供的鲁棒性水印嵌入方法的步骤S13的详细步骤流程图。
图4为本发明较佳实施例提供的鲁棒性水印嵌入方法的步骤S133的详细步骤流程图。
图5为本发明较佳实施例提供的鲁棒性水印嵌入装置的功能模块示意图。
图6为本发明较佳实施例提供的鲁棒性水印检出方法的流程图。
图7为本发明较佳实施例提供的鲁棒性水印检出装置的功能模块示意图。
图标:10-鲁棒性水印嵌入设备;100-鲁棒性水印嵌入装置;101-存储器;102-存储控制器;103-处理器;104-外设接口;105-输入输出单元;106-音频单元;107-显示单元;110-单比特水印信息生成模块;120-水印矩阵生成模块;130-水印信息嵌入模块;200-鲁棒性水印检出装置;210-视频内容转换模块;220-恢复矩阵生成模块;230-恢复模块;240-水印信息还原模块。
具体实施方式
下面将结合本发明实施例中附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本发明的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
如图1所示,是本发明整体硬件装置鲁棒性水印嵌入设备10的方框示意图。所述鲁棒性水印嵌入设备10包括鲁棒性水印嵌入装置100、存储器101、存储控制器102、处理器103、外设接口104、输入输出单元105、音频单元106、显示单元107。
所述存储器101、存储控制器102、处理器103、外设接口104、输入输出单元105、音频单元106、显示单元107各元件相互之间直接或间接地电性连接,以实现数据的传输或交互。例如,这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述鲁棒性水印嵌入装置100包括至少一个可以软件或固件(firmware)的形式存储于所述存储器101中或固化在所述鲁棒性水印嵌入设备10的操作系统(operating system,OS)中的软件功能模块。所述处理器103用于执行存储器101中存储的可执行模块,例如所述鲁棒性水印嵌入装置100包括的软件功能模块或计算机程序。
其中,存储器101可以是,但不限于,随机存取存储器(Random Access Memory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(Programmable Read-OnlyMemory,PROM),可擦除只读存储器(Erasable Programmable Read-Only Memory,EPROM),电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory,EEPROM)等。其中,存储器101用于存储程序,所述处理器103在接收到执行指令后,执行所述程序,前述本发明实施例任一实施例揭示的流过程定义的服务器所执行的方法可以应用于处理器103中,或者由处理器103实现。
处理器103可能是一种集成电路芯片,具有信号的处理能力。上述的处理器103可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器103也可以是任何常规的处理器等。
所述外设接口104将各种输入/输入装置耦合至处理器103以及存储器101。在一些实施例中,外设接口104,处理器103以及存储控制器102可以在单个芯片中实现。在其他一些实例中,他们可以分别由独立的芯片实现。
输入输出单元105用于提供给用户输入数据实现用户与所述鲁棒性水印嵌入设备10的交互。所述输入输出单元105可以是,但不限于,鼠标和键盘等。
音频单元106向用户提供音频接口,其可包括一个或多个麦克风、一个或者多个扬声器以及音频电路。
显示单元107在所述服务器(或本地终端)与用户之间提供一个交互界面(例如用户操作界面)或用于显示图像数据给用户参考。在本实施例中,所述显示单元107可以是液晶显示器或触控显示器。若为触控显示器,其可为支持单点和多点触控操作的电容式触控屏或电阻式触控屏等。支持单点和多点触控操作是指触控显示器能感应到来自该触控显示器上一个或多个位置处同时产生的触控操作,并将该感应到的触控操作交由处理器103进行计算和处理。
请参阅图2,是本发明较佳实施例提供的应用于图1所示的鲁棒性水印嵌入设备10的鲁棒性水印嵌入方法的流程图。下面将对图2所示的具体流程进行详细阐述。
步骤S11,根据多帧视频内容所对应的多个帧指纹信息,将需要嵌入的水印信息转化为多个单比特水印信息。
在该步骤S11之前,还可以包括视频解码的过程。在该步骤S11中,对于每一帧视频内容都可以提取表征该帧视频内容的帧指纹信息。可将视频内容在频域进行处理得到帧指纹信息。水印信息转换为多个单比特水印信息(即0/1),其中每个水印信息都应该唯一对应一个帧指纹信息。作为一种实施方式,具体的帧指纹信息获取方式可以如下(以水印长度为16比特为例,但不限于此),在YUV(亦称YCrCb,是被欧洲电视系统所采用的一种颜色编码方法,属于PAL,是PAL和SECAM模拟彩色电视制式采用的颜色空间,也是当前数字视频编解码中通常采用的一种颜色编码格式。其中,Y表示明亮度,也就是灰阶值;而“U”和“V”表示的则是色度,作用是描述影像色彩及饱和度,用于指定像素的颜色。“U”和“V”是构成彩色的两个分量)色彩空间中,将Y分量进行离散余弦变换(Discrete Cosine Transform,DCT)变换,在变换后得到的矩阵边缘选择最靠近直流系数(DC)的横向和纵向系数来确定指纹信息的数值,例如水印长度为16时,就选择最靠近直流系数(DC)的4组二维频域方向上的对应系数来生成一个1-16之间的数(包含1和16),作为帧指纹信息,以此来定位该帧视频内容中应该嵌入的单比特水印信息,另外还可根据帧指纹信息对水印信息进行置乱和加密,在水印信息中添加全长纠错码,以提升水印的隐蔽性和置信度;比如可以利用这4组对应系数大小关系来确定各个帧指纹信息所对应的单比特水印信息。在一个完整水印信息的嵌入过程中,可将16个可能的帧指纹信息与16个单比特水印信息唯一的对应起来,即找到了各个单比特水印信息应该嵌入的目标视频帧内容中。需要说明的是,在一段视频中水印信息是可以循环嵌入的,例如,一段64帧的视频中就可以循环嵌入4组单比特水印信息,每组对应16个单比特水印信息(对应一个完整水印信息)。采用视频内容的帧指纹信息与水印长度相对应的目的在于,在水印嵌入或检出时能够依据统一标准对水印进行对应位置的计算,而不会造成嵌入或检出时的乱序导致检测错误。
另外,帧指纹信息和单比特水印信息匹配时的Y分量处理过程中还可以将Y替换为V分量进行离散余弦变换;帧指纹的生成方法还可以是,将各帧视频内容中Y分量先上下划分为两部分,然后将每部分再横向等分成4等份。然后上下对应两部分的数值信息来生成帧指纹信息。或者将各帧视频内容中Y分量分为上下两部分,分别算出平均值,将较小的值除以较大的值的1/16,来得到帧指纹信息,以此确定单比特水印信息和各帧视频内容的对应关系。
步骤S12,根据各个所述帧指纹信息,分别生成水印矩阵。
在该步骤S12中应当说明的是,每个单比特水印信息应该有一个相对应的0/1水印矩阵。作为一种实施方式,生成水印矩阵的方法可以如下,将所得到的帧指纹信息的值作为水印比特位编号,以此为种子来生成一个预定义大小的随机矩阵,该预定义大小可以根据实际操作需求来规定(例如,2x2矩阵,2×3矩阵,5×5矩阵,N×M矩阵等等)。然后再将该随机矩阵进行二值化操作,最后得到一个二进制矩阵来作为水印矩阵(需要说明的是,水印矩阵也不限于二进制矩阵,例如八进制,十六进制等也可)。利用产生的水印矩阵为随机矩阵,通过伪随机性可提升水印隐蔽性。
步骤S13,根据各个所述水印矩阵,分别将所述单比特水印信息嵌入与该单比特水印信息对应的根据帧指纹信息所生成的水印矩阵所对应的一帧视频内容中,生成水印视频信息。
在该步骤S13中,所进行的为单比特水印信息的嵌入,例如根据水印矩阵中的元素值的大小来进行单比特水印信息的嵌入。作为一种实施方式,若该水印矩阵为二进制矩阵,那么就可根据该二进制矩阵中的各个位置的元素值为0或1来进行相应的单比特水印信息的嵌入。例如,该位置的元素值为1时,则在对应的一帧视频内容中的与水印矩阵中元素为1所对应的位置进行单比特水印信息的嵌入,生成水印视频信息。若该位置为0,则在对应的一帧视频内容中对应的位置不嵌入单比特水印信息。
请参照图3,该图具体的示出了单比特水印信息的详细嵌入步骤。具体步骤如下:
步骤S131:根据所述多帧视频内容,在YUV色彩空间中,得到该帧视频内容的U分量数据对应的U矩阵和所述V分量数据对应的V矩阵。具体的,对图像的U、V分量分别进行离散余弦变换离散余弦变换(Discrete Cosine Transform,DCT)后,得到和图像二维尺寸相同的U分量对应的U矩阵,以及V分量对应的V矩阵。该步骤利用了在视频内容的色度分量上进行处理,可以减小水印对视频质量的影响,增强水印的隐蔽性。
步骤S132:在所述单比特水印信息需要进行嵌入的一帧视频内容所对应的U矩阵中和V矩阵的相同区域划分出对应该帧视频内容的嵌入矩阵。在上述单比特水印信息定位到应当嵌入的一帧视频内容之后,还需要定位应当嵌入到该帧视频内容的具体相对位置。优选地,作为一种实施方式,可以在U矩阵和V矩阵中对应的中低频区域,划分出一块大小与水印矩阵大小相同的嵌入矩阵。该嵌入矩阵的具体位置可以人为划定,不作限制。
步骤S133:根据所述单比特水印信息所对应的水印矩阵,将该单比特水印信息嵌入到所述嵌入矩阵中。请参照图4,具体的嵌入方法有以下步骤:
步骤S133a:查找所述水印矩阵中的满足预设条件的位置。该处所述的预设条件可以为一预设数值,例如,水印矩阵为二值化矩阵的时候,该预设条件可以为数值为1的位置,或数值为0的位置。
步骤S133b:根据所述水印矩阵中的满足预设条件的位置,在嵌入矩阵中进行查找相匹配的位置,将该相匹配的位置作为嵌入位置。若该预设条件为水印矩阵中满足数值为1的位置,则水印矩阵中所有数值为1的位置都对应着嵌入矩阵中的一个坐标与该位置相同的位置,并将嵌入矩阵中的该位置作为嵌入位置。若预设条件为水印矩阵中满足数值为0的位置,同理可知,在嵌入矩阵中定位到与水印矩阵为0的位置相同的位置,来做为嵌入位置。在同一帧视频内容中嵌入位置可以是多个,这样即增加了视频的水印容量,同时在嵌入水印后也增强了水印的鲁棒性。
步骤S133c:将该水印矩阵对应的单比特水印信息嵌入到所述嵌入位置中。根据各个水印矩阵中的位置将所有单比特水印信息嵌入到对应的一帧视频内容中。一个单比特水印信息可嵌入到所述嵌入矩阵中的多个位置(多位置重复嵌入),进一步增强水印的鲁棒性,防止盗录转换过程中水印的丢失。
步骤S14,标记嵌入的所述单比特水印信息的嵌入位置。
在该步骤S14中,主要作用为将该单比特水印信息的嵌入位置进行一个标记,可以方便对视频中的水印信息进行检出的时候快速的定位到嵌入水印信息的位置。本实施例提供一种标记水印信息的嵌入位置的实施方式,如下,修改嵌入所述单比特水印信息为1的位置所对应的所述U矩阵和V矩阵在该位置的元素数值,以使U矩阵在该位置的元素数值与V矩阵在该位置的元素数值满足第一预设关系;修改嵌入所述单比特水印信息为0的位置所对应的所述U矩阵和V矩阵在该位置的元素数值,以使U矩阵在该位置的元素数值与V矩阵在该位置的元素数值满足第二预设关系。其中,优选地,第一预设关系可以是嵌入位置对应的U矩阵的数值大于V矩阵在该位置的数值。例如,在一嵌入矩阵中嵌入的单比特水印信息为1,则在修改嵌入位置的U矩阵的数值和V矩阵的数值,使其满足第一预设关系;在另一嵌入矩阵中嵌入的单比特水印信息为0,则在修改嵌入位置的U矩阵的数值和V矩阵的数值,使其满足第二预设关系。另外,上述的第一预设关系和第二预设关系的标记关系可以相互交换,第一预设关系用于标记为0的单比特水印信息,第二预设关系用于标记为1的单比特水印信息。还可以是其他预设关系,只要能够将区分所嵌入的0/1单比特水印信息即可。例如修改数值使在嵌入位置的U矩阵数值大于或等于、小于、小于或等于V矩阵在该位置的数值,或使U矩阵数值和V矩阵数值在该嵌入位置成预设的倍数关系等,具体标记方式不作限定。
需要说明的是,步骤S14与步骤S13的先后顺序不做限定,也可以是步骤S14在前,步骤S13在后,即先对单比特水印信息的嵌入位置做标记,然后再将单比特水印信息嵌入到嵌入位置。
需要说明的是,为方便视频数据的传输需要,在上述步骤进行完成之后也可以有视频编码步骤。
如图5所示,本发明实施例还提供一种鲁棒性水印嵌入装置100,所述装置包括:单比特水印信息生成模块110、水印矩阵生成模块120、水印信息嵌入模块130和位置标记模块。
单比特水印信息生成模块110,用于根据多帧视频内容所对应的多个帧指纹信息,将需要嵌入的水印信息转化为多个单比特水印信息,所述帧指纹信息与所述单比特水印信息一一对应。
水印矩阵生成模块120,用于根据各个所述帧指纹信息,分别生成与各个单比特水印信息对应的水印矩阵;具体的包括:水印比特位编号获取子模块,用于根据每个所述帧指纹信息,获得与该帧指纹信息对应的水印比特位编号;水印矩阵获取子模块,用于根据每个所述水印比特位编号获得与该水印比特位编号对应的水印矩阵。
水印信息嵌入模块130,用于根据各个所述水印矩阵,分别将所述单比特水印信息嵌入与该单比特水印信息对应的根据帧指纹信息所生成的水印矩阵所对应的一帧视频内容中,生成水印视频信息。
该水印信息嵌入模块130中还包括:
U、V矩阵生成子模块,用于根据所述多帧视频内容,在YUV色彩空间中,对所述单比特水印信息需要进行嵌入的一帧视频内容的U分量数据和V分量数据进行变换,得到该帧视频内容的U分量数据对应的U矩阵和所述V分量数据对应的V矩阵。
嵌入矩阵生成子模块,用于在所述单比特水印信息需要进行嵌入的一帧视频内容所对应的U矩阵中和V矩阵的相同区域划分出对应该帧视频内容的嵌入矩阵,该嵌入矩阵的二维尺寸相同与所述水印矩阵相同。
第一查找子模块,用于查找所述水印矩阵中的满足预设条件的位置。
第二查找子模块,用于根据所述水印矩阵中的满足预设条件的位置,在嵌入矩阵中进行查找相匹配的位置,将该相匹配的位置作为嵌入位置。
嵌入子模块,用于将该水印矩阵对应的单比特水印信息嵌入到所述嵌入位置中。
位置标记模块,用于标记嵌入的所述单比特水印信息的嵌入位置。具体的,用于修改嵌入所述单比特水印信息为1的位置所对应的所述U矩阵和V矩阵在该位置的元素数值,以使U矩阵在该位置的元素数值与V矩阵在该位置的元素数值满足第一预设关系;修改嵌入所述单比特水印信息为0的位置所对应的所述U矩阵和V矩阵在该位置的元素数值,以使U矩阵在该位置的元素数值与V矩阵在该位置的元素数值满足第二预设关系。
上述本发明实施例中提供的一种鲁棒性水印嵌入方法及装置,将需要嵌入的水印信息转化为多个单比特水印信息,而使转换得到的多个单比特水印信息与多个帧指纹信息映射形成一一对应的关系。这样就可以使得一个单比特水印信息定位到应当嵌入的一帧视频内容中。然后根据每个所述帧指纹信息,生成与各个单比特水印信息对应的水印矩阵,以一个水印矩阵对应着唯一的一个单比特水印信息。利用水印矩阵再在对应的一帧视频内容中寻找水印信息在该帧的嵌入位置,可以嵌入多个位置,提高了水印鲁棒性。使用此方法分别将每个单比特水印信息嵌入到相应的一帧视频内容中,最终将完整的水印信息嵌入到多帧视频内容中,以此提高该方法的视频时间轴的自适应能力。通过帧指纹的方式确定水印嵌入位置,即降低对原视频质量影响同时提升视频水印荷载。将水印信息分解为多个单比特水印信息进行分布式的嵌入能够在扩大视频水印容量,同时提高水印鲁棒性,可抗击视频盗录的模拟转换攻击,同时避免出现视频条纹,保证了观看质量,例如该装置和方法能够在数字影院放映内容时进行水印嵌入,并通过水印检测出,可得知电影院录屏后的盗版电影的盗版源。
请参照图6,本发明实施例还提供一种鲁棒性水印检出方法,图6示出了该方法的具体流程图。下面对流程图的各步骤做详细的解释和说明。
步骤S21,根据多帧视频内容,在YUV空间进行变换,分别得到每一帧视频内容的U分量数据对应的U矩阵和V分量数据对应的V矩阵。变换的方式可为离散余弦变换(DiscreteCosine Transform,DCT)变换。另外还可以将DCT变换替换为离散傅里叶变换(DiscreteFourier Transform,DFT)/小波变换(在鲁棒性水印嵌入方法中也可适用),该方法可适用于无压缩编码的视频版权保护环境。
步骤S22,根据多帧视频内容对应的多个帧指纹信息,分别生成恢复矩阵。该恢复矩阵中的各元素值需要通过嵌入单比特水印信息时划定的嵌入矩阵中各个位置所对应的U矩阵和V矩阵的预设关系进行恢复。该恢复矩阵的二维尺寸与嵌入矩阵相同。
步骤S23,根据各个嵌入矩阵中各个位置所对应的U矩阵和V矩阵的预设关系以及恢复矩阵,恢复出每个帧指纹信息所对应的单比特水印信息。嵌入矩阵中各个位置所对应的U矩阵和V矩阵的预设关系可以是大小关系。例如,对应嵌入时,以U矩阵的数值大于V矩阵的数值标记的嵌入位置时,则可根据恢复矩阵在嵌入矩阵中找到嵌入位置,在根据在该位置的U矩阵的数值和V矩阵的数值满足的预设关系(第一预设关系或者第二预设关系),相应的恢复单比特水印信息1或0(应当根据嵌入时的规则进行恢复,如满足第一预设关系恢复1,满足第二预设关系恢复0)。由于在单帧视频内容中嵌入了多个单比特水印信息,在恢复时,就可以以多数的恢复结果来确定,该帧视频内容所对应的单比特水印信息。然后,还可以在多帧视频内容中,对应与嵌入了相同单比特水印信息的帧视频内容中,对相同嵌入位置所对应的恢复位的结果进行统计,以多数的恢复结果决定最终单比特水印信息在该位置的值。例如,在检测时,检测出50个视频帧对应第16比特的水印信息,则最终的第16比特的检测结果由这五十帧中较多的检测结果决定。假设50帧中有多于25帧恢复出0,则第16比特的检测结果为0,反之为1。这样通过多数投票的恢复方法可适用于在盗录过程中盗录环境产生较大变化的情况,例如光线的剧烈变化。
步骤S24,根据每个所述帧指纹信息所对应的单比特水印信息,获得完整的水印信息。恢复出各个恢复矩阵对应的所有单比特水印信息,然后将单比特水印信息根据水印比特位编号恢复出成完整的水印信息。
请参照图7,本发明实施例还提供一种鲁棒性水印检出装置200,包括:视频内容转换模块210、恢复矩阵生成模块220、恢复模块230和水印信息还原模块240。
视频内容转换模块210,用于根据多帧视频内容,在YUV空间进行变换,分别得到每一帧视频内容的U分量数据对应的U矩阵和V分量数据对应的V矩阵。
恢复矩阵生成模块220,用于根据多帧视频内容对应的多个帧指纹信息,分别生成恢复矩阵。
恢复模块230,用于根据各个嵌入矩阵中各个位置所对应的U矩阵和V矩阵的预设关系以及恢复矩阵,恢复出每个帧指纹信息所对应的单比特水印信息。
水印信息还原模块240,用于根据每个所述帧指纹信息所对应的单比特水印信息,获得完整的水印信息。
本发明实施例提供的一种鲁棒性水印检出方法和装置,能够检出上述的鲁棒性水印嵌入方法或装置嵌入的水印信息,该鲁棒性水印检出方法和装置,可通过对已经嵌入水印的多帧视频内容在YUV空间进行变换,得到每一帧视频内容的U分量数据对应的U矩阵和V分量数据对应的V矩阵;然后寻找到其中的嵌入矩阵,通过多帧视频内容对应的多个帧指纹信息,分别生成恢复矩阵。再根据嵌入矩阵和恢复矩阵的对应关系,确定嵌入矩阵各个位置对应的U矩阵和V矩阵的预设关系进行水印矩阵的恢复,并得到水印信息。以此可检出盗录视频中的水印信息。由于检出时需要检出嵌入位置中的多个单比特水印信息,所以即使被检视频质量受到了很大的影响,也能够通过该鲁棒性水印检出方法和装置检出完整的水印信息。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。

Claims (9)

1.一种鲁棒性水印嵌入方法,其特征在于,包括:
根据多帧视频内容所对应的多个帧指纹信息,将需要嵌入的水印信息转化为多个单比特水印信息,所述帧指纹信息与所述单比特水印信息一一对应;
根据各个所述帧指纹信息,分别生成与各个单比特水印信息对应的水印矩阵;
根据各个所述水印矩阵,分别将所述单比特水印信息嵌入与该单比特水印信息对应的根据帧指纹信息所生成的水印矩阵所对应的一帧视频内容中,生成水印视频信息;
其中,将所述单比特水印信息嵌入与该单比特水印信息对应的根据帧指纹信息所生成的水印矩阵所对应的一帧视频内容中,生成水印视频信息的步骤,包括:
根据所述多帧视频内容,在YUV色彩空间中,对所述单比特水印信息需要进行嵌入的一帧视频内容的U分量数据和V分量数据进行变换,得到该帧视频内容的U分量数据对应的U矩阵和所述V分量数据对应的V矩阵;
在所述单比特水印信息需要进行嵌入的一帧视频内容所对应的U矩阵中和V矩阵的相同区域划分出对应该帧视频内容的嵌入矩阵,该嵌入矩阵的二维尺寸相同与所述水印矩阵相同;
根据所述单比特水印信息所对应的水印矩阵,将该单比特水印信息嵌入到所述嵌入矩阵中。
2.根据权利要求1所述的方法,其特征在于,根据所述单比特水印信息所对应的水印矩阵,将该单比特水印信息嵌入到所述嵌入矩阵中的步骤,包括:
查找所述水印矩阵中的满足预设条件的位置;
根据所述水印矩阵中的满足预设条件的位置,在嵌入矩阵中查找相匹配的位置,将该相匹配的位置作为嵌入位置;
将该水印矩阵对应的单比特水印信息嵌入到所述嵌入位置中。
3.根据权利要求1所述的方法,其特征在于,根据所述多帧视频内容,在YUV色彩空间中,对所述单比特水印信息需要进行嵌入的一帧视频内容的U分量数据和V分量数据进行变换,得到该帧视频内容的U分量数据对应的U矩阵和所述V分量数据对应的V矩阵的步骤中的具体变换方法为:离散余弦变换。
4.根据权利要求1-3任意一项所述的方法,其特征在于,还包括:标记嵌入的所述单比特水印信息的嵌入位置。
5.根据权利要求4所述的方法,其特征在于,标记嵌入的所述单比特水印信息的嵌入位置的具体步骤,包括:
修改嵌入所述单比特水印信息为1的位置所对应的所述U矩阵和V矩阵在该位置的元素数值,以使U矩阵在该位置的元素数值与V矩阵在该位置的元素数值满足第一预设关系;
修改嵌入所述单比特水印信息为0的位置所对应的所述U矩阵和V矩阵在该位置的元素数值,以使U矩阵在该位置的元素数值与V矩阵在该位置的元素数值满足第二预设关系。
6.根据权利要求1所述的方法,其特征在于,根据各个所述帧指纹信息,分别生成与各个单比特水印信息对应的水印矩阵的步骤,包括:
根据每个所述帧指纹信息,获得与该帧指纹信息对应的水印比特位编号;
根据每个所述水印比特位编号获得与该水印比特位编号对应的水印矩阵。
7.一种鲁棒性水印检出方法,用于恢复根据权利要求1至6任一项所述的方法获取的水印视频信息中的水印信息,其特征在于,包括:
根据多帧视频内容,在YUV空间进行变换,分别得到每一帧视频内容的U分量数据对应的U矩阵和V分量数据对应的V矩阵;
根据多帧视频内容对应的多个帧指纹信息,分别生成恢复矩阵;
根据各个嵌入矩阵中各个位置所对应的U矩阵和V矩阵的预设关系以及恢复矩阵,恢复出每个帧指纹信息所对应的单比特水印信息;
根据每个所述帧指纹信息所对应的单比特水印信息,获得完整的水印信息。
8.一种鲁棒性水印嵌入装置,其特征在于,包括:
单比特水印信息生成模块,用于根据多帧视频内容所对应的多个帧指纹信息,将需要嵌入的水印信息转化为多个单比特水印信息,所述帧指纹信息与所述单比特水印信息一一对应;
水印矩阵生成模块,用于根据各个所述帧指纹信息,分别生成与各个单比特水印信息对应的水印矩阵;
水印信息嵌入模块,用于根据各个所述水印矩阵,分别将所述单比特水印信息嵌入与该单比特水印信息对应的根据帧指纹信息所生成的水印矩阵所对应的一帧视频内容中,生成水印视频信息;
其中,所述水印信息嵌入模块,还用于根据所述多帧视频内容,在YUV色彩空间中,对所述单比特水印信息需要进行嵌入的一帧视频内容的U分量数据和V分量数据进行变换,得到该帧视频内容的U分量数据对应的U矩阵和所述V分量数据对应的V矩阵;在所述单比特水印信息需要进行嵌入的一帧视频内容所对应的U矩阵中和V矩阵的相同区域划分出对应该帧视频内容的嵌入矩阵,该嵌入矩阵的二维尺寸相同与所述水印矩阵相同;根据所述单比特水印信息所对应的水印矩阵,将该单比特水印信息嵌入到所述嵌入矩阵中。
9.一种鲁棒性水印检出装置,其特征在于,包括:
视频内容转换模块,用于根据多帧视频内容,在YUV空间进行变换,分别得到每一帧视频内容的U分量数据对应的U矩阵和V分量数据对应的V矩阵;
恢复矩阵生成模块,用于根据多帧视频内容对应的多个帧指纹信息,分别生成恢复矩阵;
恢复模块,用于根据各个嵌入矩阵中各个位置所对应的U矩阵和V矩阵的预设关系以及恢复矩阵,恢复出每个帧指纹信息所对应的单比特水印信息;
水印信息还原模块,用于根据每个所述帧指纹信息所对应的单比特水印信息,获得完整的水印信息。
CN201611025258.2A 2016-11-15 2016-11-15 一种鲁棒性水印嵌入、检出方法及装置 Expired - Fee Related CN106530205B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611025258.2A CN106530205B (zh) 2016-11-15 2016-11-15 一种鲁棒性水印嵌入、检出方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611025258.2A CN106530205B (zh) 2016-11-15 2016-11-15 一种鲁棒性水印嵌入、检出方法及装置

Publications (2)

Publication Number Publication Date
CN106530205A CN106530205A (zh) 2017-03-22
CN106530205B true CN106530205B (zh) 2020-01-10

Family

ID=58353032

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611025258.2A Expired - Fee Related CN106530205B (zh) 2016-11-15 2016-11-15 一种鲁棒性水印嵌入、检出方法及装置

Country Status (1)

Country Link
CN (1) CN106530205B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108416727B (zh) * 2018-04-04 2021-09-14 宁波大学 一种基于自嵌入技术的彩色图像全盲鲁棒数字水印方法
CN109064378A (zh) * 2018-07-25 2018-12-21 成都睿码科技有限责任公司 基于傅立叶变换的数字水印嵌入及提取方法
CN109635524B (zh) * 2018-11-26 2023-08-29 平安科技(深圳)有限公司 音频数字水印嵌入方法及终端设备
CN111641879B (zh) * 2020-06-08 2022-04-12 北京永新视博数字电视技术有限公司 一种视频水印的添加方法、装置、存储介质及设备
CN112040337B (zh) * 2020-09-01 2022-04-15 腾讯科技(深圳)有限公司 视频的水印添加和提取方法、装置、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101330610A (zh) * 2008-07-22 2008-12-24 华为技术有限公司 水印嵌入方法及装置、提取方法及装置和处理系统
CN102254298A (zh) * 2011-08-17 2011-11-23 北京新媒传信科技有限公司 数字水印的加解密方法和系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101330610A (zh) * 2008-07-22 2008-12-24 华为技术有限公司 水印嵌入方法及装置、提取方法及装置和处理系统
CN102254298A (zh) * 2011-08-17 2011-11-23 北京新媒传信科技有限公司 数字水印的加解密方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种基于DCT和SVD的音频水印算法;朱宪花 等;《计算机工程》;20121031;第111-118页 *

Also Published As

Publication number Publication date
CN106530205A (zh) 2017-03-22

Similar Documents

Publication Publication Date Title
CN106530205B (zh) 一种鲁棒性水印嵌入、检出方法及装置
US9996891B2 (en) System and method for digital watermarking
US6771797B2 (en) Watermarks carrying content dependent signal metrics for detecting and characterizing signal alteration
JP5341095B2 (ja) メディア・コンテンツに信頼性よく対応するメディア・フィンガープリント
US8355525B2 (en) Parallel processing of digital watermarking operations
CN103238159B (zh) 用于图像认证的系统和方法
KR101361591B1 (ko) 미디어 식별을 위한 숨겨진 견고한 마크
JP2009514305A (ja) 情報信号にデータを埋め込む方法
EP0903942A2 (en) Apparatus for superimposing a digital watermark in a video signal and apparatus for detecting the same
CN111932432B (zh) 盲水印的植入方法、检测方法、装置、设备及存储介质
CN110766594A (zh) 信息隐藏方法及装置、检测方法、装置及防伪溯源方法
Lian et al. Content-based video copy detection–a survey
Su et al. A practical design of digital watermarking for video streaming services
Keyvanpour et al. A secure method in digital video watermarking with transform domain algorithms
CN109461110B (zh) 确定图片的溯源信息的方法及装置
CA2523345A1 (en) Watermarking
Queluz Spatial watermark for image content authentication
Baudry Frame-accurate temporal registration for non-blind video watermarking
US10820064B2 (en) Marking video media content
Ishizuka et al. A zero-watermarking-like steganography and potential applications
Barni et al. Digital watermarking for the authentication of AVS data
Rani et al. A Brief Review on Existing Techniques for Detecting Digital Image Forgery
US8031904B2 (en) Apparatus and method for image process
Verma et al. A hybrid model for CFA interpolation detection
KR101959479B1 (ko) 워터 마킹 방법 및 검출 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200110