CN106464772B - 用于嵌入水印、视频帧的系统和方法以及用于检测嵌入的水印的系统和方法 - Google Patents

用于嵌入水印、视频帧的系统和方法以及用于检测嵌入的水印的系统和方法 Download PDF

Info

Publication number
CN106464772B
CN106464772B CN201580023486.3A CN201580023486A CN106464772B CN 106464772 B CN106464772 B CN 106464772B CN 201580023486 A CN201580023486 A CN 201580023486A CN 106464772 B CN106464772 B CN 106464772B
Authority
CN
China
Prior art keywords
patch
value
pixel value
watermark
variance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580023486.3A
Other languages
English (en)
Other versions
CN106464772A (zh
Inventor
哈雷尔·卡恩
迈克尔·德维尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Enders GmbH
Original Assignee
Sina Media Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sina Media Co Ltd filed Critical Sina Media Co Ltd
Publication of CN106464772A publication Critical patent/CN106464772A/zh
Application granted granted Critical
Publication of CN106464772B publication Critical patent/CN106464772B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • G06T1/0092—Payload characteristic determination in a watermarking scheme, e.g. number of bits to be embedded
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • G06T1/0028—Adaptive watermarking, e.g. Human Visual System [HVS]-based watermarking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149—Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H04N1/32203—Spatial or amplitude domain methods
    • H04N1/32208—Spatial or amplitude domain methods involving changing the magnitude of selected pixels, e.g. overlay of information or super-imposition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149—Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H04N1/32203—Spatial or amplitude domain methods
    • H04N1/32229—Spatial or amplitude domain methods with selective or adaptive application of the additional information, e.g. in selected regions of the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149—Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H04N1/32309—Methods relating to embedding, encoding, decoding, detection or retrieval operations in colour image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/467—Embedding additional information in the video signal during the compression process characterised by the embedded information being invisible, e.g. watermarking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00—General purpose image data processing
    • G06T2201/005—Image watermarking
    • G06T2201/0051—Embedding of the watermark in the spatial domain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00—General purpose image data processing
    • G06T2201/005—Image watermarking
    • G06T2201/0061—Embedding of the watermark in each block of the image, e.g. segmented watermarking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/913—Television signal processing therefor for scrambling ; for copy protection
    • H04N2005/91307—Television signal processing therefor for scrambling ; for copy protection by adding a copy protection signal to the video signal
    • H04N2005/91335—Television signal processing therefor for scrambling ; for copy protection by adding a copy protection signal to the video signal the copy protection signal being a watermark

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Processing (AREA)

Abstract

在一个实施例中，水印被嵌入在视频帧序列中，针对视频帧中的每一者的一组N个矩形补丁；选定颜色空间中的两个调色板的像素值，使得该两个调色板被标示为P0和P1，并且P0≠P1；在N个补丁的每个补丁中根据要被编码的有效载荷位的值选取P0和P1中的一者的处理器；在N个补丁的每个补丁中计算帧中的像素值的方差以及帧中的像素值的边缘度之一从而确定计算出的值的计算器；以及确定在N个补丁的每个补丁中该计算出的值是否低于给定阈值的处理器，并且如果计算出的值低于阈值，则该处理器可操作以计算像素值的函数，选取的调色板中与对函数进行计算的结果最近的值被选取；以及用该最近的值替换补丁内的像素值的替换器。还描述了相关系统、装置和方法。

Description

用于嵌入水印、视频帧的系统和方法以及用于检测嵌入的水 印的系统和方法
技术领域
本公开一般涉及用于嵌入视频水印的系统和方法。
背景技术
随着互联网内容分发的最新进展(包括对等网络和实时视频流送系统)，为了防止未授权的内容分发，将数据嵌入到视频中来跟踪分发点变得重要起来。分发点通常是授权的观看者，例如电影院(在该处用摄影机制作盗版拷贝)或机顶盒TV解码器(其输出被捕获并被重编码成视频文件)。在对源进行跟踪之后，可以采取措施来防止进一步的未授权分发。
将信号嵌入到视频中在学术研究和商业发明中都是丰富的领域。视频中的隐性水印在本领域中是公知的，隐写水印以及表现为视频上的位图的显性水印也是公知的。
附图说明
根据以下的详细描述结合附图将更完全地理解和领会本发明，在附图中：
图1是根据本发明的实施例构造的和操作的视频数据嵌入系统的简化框图；
图2是图1的系统中所用的嵌入设备的框图；
图3是描绘图1的视频数据嵌入系统将数据嵌入到视频帧序列的视频数据嵌入系统的简化框图；
图4A和4B是对包括使用图1的系统嵌入的水印信息的两个视频帧的简化的图形示出；
图5A-5C是对用于图4A和4B的讨论的分别用一维、二维和三维颜色空间描绘的互相不同的调色板(palette)的描绘；
图6是对单个视频帧的简化描绘，在该视频帧中已经使用图1的系统编码有单位的有效载荷数据；
图7是对单个视频帧的简化描绘，在该视频帧中已经使用图1的系统编码四位的有效载荷数据；
图8是对图1的系统的操作的方法的简化流程图。
具体实施方式
概览
描述了用于嵌入和检测水印的方法、装置和系统。针对嵌入，在每帧中用固定颜色值替换最初具有低方差或低级别边缘(即，边缘度)(使用本领域公知的边缘检测处理来确定)中的一者的小型区域中的像素，该固定颜色值是根据要被嵌入的有效载荷位从两个具有多个颜色的调色板中的一者取出的、与这些像素的原始平均值最接近的值，并且然后对视频进行压缩。
针对检测水印，判定在每个小型区域的像素中所使用的是两个调色板中的哪一者。因为压缩，该确定可能会发生错误，但该方法、系统和装置被构建为用于克服这些错误。
示例实施例
现在参考图1，其是根据本发明的实施例构造的和操作的视频数据嵌入系统的简化框图。图1的系统包括嵌入设备10。嵌入设备10包括标记信息15和数据嵌入系统20。
现在参考图2，其是图1的系统中所用的嵌入设备200的框图。嵌入设备200包括硬件和软件组件，如本领域所公知的。
嵌入设备200包括至少一个处理器210，并且可以包括多于一个处理器210。处理器210之一可以是可操作来根据本文所描述的方法执行水印嵌入的专用处理器。此外，嵌入设备200包括非暂态计算机可读存储介质(即，存储器)220。存储器220可以存储处理器210中的至少一者可执行的指令，以便执行本文所描述的水印嵌入的方法。
要理解的是，也可将图1的检测设备90设计为具有与前述段落中所描绘的嵌入设备200的组件相同或相似的组件。
返回对图1的讨论，水印嵌入设备10可以是以下设备之一：
内容呈现设备，例如，供末端用户使用的设备。例如(并且不对前述内容的一般性进行限制)，内容呈现设备可以是机顶盒、台式设备、平板设备、手持式设备、或具有计算容量和能力来对内容进行呈现的任何其它设备。要理解的是，在这种情况下，数据嵌入系统20将需要访问干净未压缩的视频(假设内容是视频)或访问经编码/经压缩的视频的解码/解压缩过程。还要理解的是，由内容呈现设备执行的处理中的一些处理可以由虚拟处理器(例如(通过示例的方式)位于云中的远程处理器)执行。
位于内容提供头端处的设备。
标记信息15包括任何适当的信息。在一些实施例中，标记信息15可以包括非取证(non-forensic)信息。也就是说，标记信息15可以不标识具体用户或设备，相反，可以标识其它信息，例如信道ID、电影ID、服务提供商ID等等。在这种情形中，通常将在头端处嵌入水印。
可替代地并且不对前述内容的一般性进行限制，标记信息15可以是标识以某种方式与内容唯一关联的用户(如以下将解释的)的信息(即，取证信息)，并且标记信息15可以包括内容呈现设备或具有唯一的标识号码并且与用户相关联的某一其它设备(或“子设备”，例如智能卡)的唯一设备ID。可替代地，标记信息可以包括版权标记或其它访问权限数据，例如(并且不对前述内容的一般性进行限制)，内容呈现设备要服从的播放/复制许可。本领域技术人员将理解的是，版权信息例如(并且不对前述内容的一般性进行限制)可以是单位的，其指示“受版权保护的内容”/“未受版权保护的内容”。可替代地，可以用多个位来指示版权，例如(并且不对前述内容的一般性进行限制)，指示对可复制但不可烧录到CD的许可的多个位。假设授权的播放设备遵守这种信号，而未授权的播放设备被假定为不遵守这种信号。应理解的是，可以可替代地用适当类型的标识信息的组合作为标记信息15。
数据嵌入系统20可操作来将嵌入数据(在图1中被描绘为星号，*)注入到视频流60的帧30、40、50上。
现在描述图1的系统的操作。将视频流60描绘为包括三种不同类型的视频帧：
尚未包括嵌入数据的帧30；
当前正在被嵌入数据的帧40；以及
已经被嵌入数据的帧50。
数据嵌入系统20接收标记信息15作为输入、生成嵌入数据(在图中被描绘为星号，*)、并将水印注入到当前正在被嵌入数据的帧40。
可以上载包括视频流60(现在包括已经被嵌入数据的多个帧50)的内容或以其它方式使该内容在内容共享网络70上可用。内容共享网络70通常包括流送内容共享网络或对等内容共享网络。可替代地，内容共享网络70可以包括任何适当类型的线上和/或线下内容分发方案，例如(并且不对前述内容的一般性进行限制)，盗版DVD的零售。能够对包括视频流60的内容进行呈现的第二设备80然后可以获得来自内容共享网络70的视频流60。
播送设备、内容所有者、或其它被适当地授权的代理也可以获得来自内容共享网络70的视频流60。一旦播送设备、内容所有者、或其它感兴趣的利益相关者获得来自内容共享网络70的视频流60，视频流60被输入到检测设备90。检测设备90从被包括在视频流60中的、已经被嵌入数据的帧50中的每一帧里检测并提取嵌入数据(被描绘为星号，*)。提取出的嵌入数据然后被输入到嵌入数据检测系统95。被嵌入数据检测系统95能够从输入的嵌入数据中确定被注入的标记信息。
现在参考图3，其是描绘图1视频数据嵌入系统将数据嵌入到视频帧序列的简化框图。图3在非常高的层次描绘嵌入设备200中发生的操作。描绘了多个视频帧300，并且箭头310指示图3的左侧描绘的帧300是在图3的右侧描绘的帧300之前的视频帧。描绘了位串320。位串320中的至少一位被编码在多个视频帧300的选定帧中。例如，可以在视频帧的每一帧中嵌入一个位。因此，10111001中的第一个1被嵌入到多个视频帧300的第一个视频帧中。第二位(0)被嵌入到多个视频帧300的第二个视频帧中。第三位(1)被嵌入到多个视频帧300的第三个视频帧中，等等。
可替代地，嵌入方案可能需要将若干位嵌入到单个视频帧中，或者每三个视频帧嵌入单个位，或者位和帧的任何其它变化和组合。以下将参考图4和图6讨论这种情况中的一些示例。
本领域技术人员将理解的是，在观看监视器或屏幕上将数字视频帧作为像素的有序排列呈现给观看者。可以对像素中的一个或多个像素进行某些改变，这种改变通常将不会被观看者察觉到。例如(并且不对前述内容的一般性进行限制)，像素的颜色元素可以由红-绿-蓝值(通常被表示为范围从0到255的值)的三元组来表征。红-绿-蓝值的数值的微小变化(例如(并且不对前述内容的一般性进行限制)，从179-221-18到184-220-20)通常将不会被观看者察觉到。
本领域技术人员将理解的是，替代地可以在任何适当的颜色空间(例如，公知的色度/亮度系统(例如，YCbCr、YPbPr、YDbDr)中的任一者或根据xvYCC标准(IEC 61966-2-4))中对像素颜色进行表达。为了讨论的简单起见，本文以非限制性的方式将像素颜色表示为RGB三元色。
现在参考图4A和4B，其是对包括使用图1的系统嵌入的水印信息的两个视频帧的简化的图形示出。图4A和4B示出两个非常相似的视频帧410、403，其中各个补丁(patch)410被描绘为具有粗黑边框的白色正方形。这些补丁表示视频的包括水印的部分。图4A和B中描绘的补丁显示在具有如本文所述的被嵌入的水印的典型帧中这种补丁可能会出现的地方。然而，要理解的是，以下所描述的用于在视频中嵌入水印的方法被设计为使得水印对视频的典型观看者应当是不不可见或接近不可见的。
应当理解的是，补丁被描绘为正方形。在实践中，补丁通常是正方形，例如，2x2像素、4x4像素或8x8像素的正方形。然而，补丁也可以是与以上正方形补丁相似的小尺寸的矩形，例如，2x3像素或4x6像素。
现在附加地参考图5A-5C，其是对用于图4A和4B的讨论的分别用一维、二维和三维颜色空间描绘的互相不同的调色板的描绘。因此，在适当的颜色空间(例如，RGB、YUV、或YCbCr)中，在整个空间内选择像素值的两个互不相同的集合(被标示为“调色板”)。转到图5A，描绘了一维颜色空间线435(例如，红或Y)(类似于数轴)。在等距离处两组垂直线交替地与一维的颜色空间线435相交。与一维颜色空间线435交叉的第一组线(即，下行线)被表示为P0。与一维颜色空间线435交叉的第二组线(即，上行线)被表示为P1。这些将对应于图4的讨论中的两组调色板P0和P1。一维颜色空间线435中要被编码为0的值例如将被修改为它与之最近的P0点的值。例如，如果一维颜色空间线435上的点X要被编码为0，则它将被修改为变成被表示为P0-X的点。
应当理解的是，虽然交替的两组线被描绘为是等间隔的，调色板中的点不需要是相互等距离的，虽然这样放置这些点是自然选择。还应理解的是，对下文在图5B和5C中给出的示例来说情况也是如此。
现在转到图5B，描绘了二维颜色空间平面445(例如，RG或YU)。在每个交替的方格的中心是图标P0或P1，这指示两个调色板P0和P1位于每个交替的方格的中心点。离P1点更近的点X因此将被修改为它与之最近的P1点，在此处被标记为P1-X。虽然图5B(以及以下的图5C)描绘了交替的方格，应理解的是每个这种调色板成员是点，不是方格。事实是，存在“影响方格”，这是一个区域，其中最近的调色板邻居将来自P0或P1。但是调色板成员只是一种颜色元组，因此是点。
现在转到图5C，描绘了三维颜色空间455(例如，RGB或YUV)。空间中的交替平面中的任一者由两个平面465、475中的一者组成，两个平面465、475具有不同的、交替的、P0/P1间隔图案。三维颜色空间455中所描绘的点X将被修改为三维颜色空间455中它与之最近的点P0或P1。
现在回到图4A和4B的讨论，所选调色板中的像素值被选择为是“密集的”。也就是说，针对颜色空间中的每个像素值，(一个或多个)调色板(的任一个)中存在(根据任何可接受的度量)该像素值在值上与之接近的成员。为了方便起见，下文中将一个调色板称为P0，并将第二调色板称为P1。例如，使P0＝{(16i，16j，16k)|i，j，k＝0，..15并且i+j+k％2＝＝0}，P1＝{(16i，16j，16k)|i，j，k＝0，..15并且i+j+k％2＝＝1}。
要在每个视频帧中编码的数据位的数目是嵌入器10(图1)和检测器90(图1)随后使用的配置参数。该值在下文中被表示为BpF(每帧位数)。将要理解的是，随着BpF增大，水印的容量(即，每帧中编码的位数)增大，这是以水印的不可见性为代价的。通常BpF的范围例如为从1到4。(见下文参考图5和6的关于此的进一步讨论。)
在第一视频帧上均匀地选择N个小矩形像素(“补丁”)集合。通常这N个补丁被选择为不与宏块边界重叠。如果N个补丁不与宏块边界重叠，则补丁对由于视频转码的影响导致的像素颜色值的变化更有弹性。
应当理解的是，在典型实施例中，N的值提供水印的不可见性和稳健性之间的折衷。N的典型值可以被设置在11和15之间。然而，补丁也可以是小尺寸的矩形，类似于上述正方形补丁。应当理解的是，N的值11和15是奇数的，因此易于在检测期间使用多数表决运算，如下文所述。N当然也可以是其他值。然而，随着N增大，水印的稳健性提高，这是以水印的不可见性为代价的。
补丁的位置可能在所有的视频帧中是固定的，或者可能根据各种可能的补丁运动方案(这在本发明的范围之外)从帧到帧有所变化(与图4A和4B的帧401和403中的情形一样)，只要在检测阶段期间可以基于(例如(并且不限制上述内容的一般性)，补丁运动方案的可能的自同步特征和/或一些共享秘密)确定帧位置是什么。为简单起见，此后假设在所有的视频帧中补丁位于固定的位置，并且它们的位置在检测阶段期间是已知的。
根据BpF值，N个补丁的集合被分成补丁的子集。例如(并且不限制上述内容的一般性)，如果BpF＝1，则补丁的子集包括所有N个补丁。然而，如果BpF＝2，假设N＝15，则一个子集可包括9个补丁，而第二子集将包括6个补丁。类似地，如果BpF＝3，假设N＝11，则两个子集各自可包括4个补丁，并且第三子集将包括三个补丁。如果BpF＝4，假设N＝11，则可以存在两个各自有2个补丁的子集、一个有3个补丁的子集、以及一个有4个补丁的子集。
考虑由帧F_1、F_2、……、F_n(见例如图3中的多个视频帧300)组成的视频序列以及要编码的有效载荷(见例如图3的位串320)，则针对视频帧F_i，与帧F_i相关联的BpF有效载荷位通过使用以下所述方法被编码。为便于描述，下文中假设BpF＝1。如果BpF＞1，针对视频帧内的补丁的每个子集重复编码过程，使用每个子集来对与帧相关联的BpF位之一进行编码。
针对要对其中的补丁进行编码的每个帧：
针对要被编码的补丁中的每一个补丁：
1.选择调色板P0或P1——如果要被编码的有效载荷位的值是j，则使用调色板Pj。应当理解的是，使用调色板Pj来对j进行编码的这种惯例是为方便起见，原则上使用P0来对1进行编码以及使用P1来对0进行编码是可能的。
2.通过被编码的补丁的位置或者可替代地通过更广区域(其中补丁的位置在该更广区域的中间)来计算方差和边缘度之一。应当理解的是，在本说明书和权利要求书中，术语“边缘度”被用于指示执行边缘检测的结果。具有大量边缘的区域将具有高级别边缘，即，将是“锐利的”。相反地，具有少量边缘的区域将具有低级别边缘，即，将是“不锐利的”。可替代地，具有高/低级别边缘的帧将被称为具有高/低边缘度。
为了本发明的目的，方差不需要通过像素三元色中单独的标量值(即，不是R和G和B，或者可替代地，Y和U和V)来确定(虽然可以这么做)，而是通过将方差的三个坐标相加并将该和与标量阈值进行比较来确定。
3.如果方差和边缘度之一低于出于水印的稳健性和不可见性的折衷所选择的某一给定阈值，则：
a.使用像素值作为函数的输入来计算一值。用于计算该值的函数例如可以是加权平均数(即，平均值)、中位数、众数、或几何平均数。
b.从所选择的调色板中选择该调色板中与所计算出的数值最接近的值，其中距离是任何合理的距离测量(例如，像素值之间的几何距离L2)。应当理解的是，一旦选择一种度量作为要用的“合理的距离测量”，则在嵌入和检测过程中的所有计算中使用该相同的度量。
c.将补丁内的像素值替换为先前步骤中所选择的值。
4.如果方差和边缘度边缘检测之一高于给定阈值，包括所选补丁的像素不被替换。
在该阶段，水印被嵌入到视频帧中，并且视频帧的处理正常进行。
应当理解的是，从在帧内的补丁中“编码”位的意义上来说，术语“编码”要从“嵌入”具有来自与该位的值相对应的适当调色板的适当的值的补丁的意义上来理解。而在对帧进行“编码”的意义上来说，术语“编码”要被理解为意味着如本领域中该术语被理解的“视频编码”。
在上述方法的一些实施例中，如果被修改的补丁数低于最初由水印的嵌入器确定的某个阈值(表示为MinPatch)，整个帧可以被完全跳过，不需要被用于对任何位进行编码。检测阶段将识别出该帧，如下所述。
应当理解的是，误差检测和校正码(例如，里德-所罗门码)可以并且应当被应用到原始的有效载荷上以创建经编码的码字，并且在以上描述中被用作有效载荷位的正是具有这些码字的位。
现在参考图6，其是对单个视频帧500的简化描绘，已经使用图1的系统在该视频帧中编码单位的有效载荷数据。图6示出单个视频帧500，其被划分为多个宏块501、502、503(等等——剩余的宏块未被编号，即使它们在图示中被指示)。
图标510指示哪些图案被用于指示经编码的0和经编码的1。视频帧500中示出7个补丁520，所有的补丁520被填充以显示经编码的零值。经编码的零可以对应于有效载荷位串320中的倒数第二位。如果在多个视频帧中仅编码有效载荷位串320的八位，则视频帧500然后将是第7帧，其包括表示经编码的位的补丁。
现在参考图7，其是对单个视频帧600的简化描绘，已经使用图1的系统在该视频帧600中编码四位的有效载荷数据。视频帧600被再分为四个象限，其被命名为象限600I、600II、600III、和600IV。视频帧600还被分为多个宏块601、602、603(等等——剩余的宏块未被编号，即使它们在图示中被指示)。
图标510指示哪些图案被用于指示经编码的0和经编码的1。在图7中描绘的示例中，有效载荷位串320的八位中的最后四位(即，位1001)被编码在嵌入在视频帧600中的补丁中。象限600I包括补丁620，其被编码为作为1，与串1001的第一位(1)相对应。象限600II包括补丁630，其被编码为作为0，与串1001的第二位(0)相对应。象限600III包括补丁640，其被编码为作为0，与串1001的第三位(0)相对应。象限600IV包括补丁650，其被编码为作为1，与串1001的第四位(1)相对应。
本领域技术人员将理解的是，可以采用类似的方法来嵌入水印，其中上文中所描述的水印(或本质上相似的水印)通过使用对于I帧的宏块或非I帧中的I类型宏块中的一些的离散余弦变换(DCT)因子的直接操作被嵌入。
还应当理解的是，DCT因子值可以被用作补丁的内部方差的充分逼近(即，如果存在例如许多非零的高阶DCT因子，则噪声到方差的比值高)。在这种情形中，通过仅留下与补丁区域匹配的低阶的DCT因子(称为DC因子)并使与补丁区域匹配的其余DCT因子归零，如上文所描述的“拉平”补丁(即，对补丁进行平均化)将是上述方法的良好逼近。
检测设备90及其组件在图1中被讨论，并且还在对图2中描述的嵌入设备进行讨论之后被讨论。现在转到对使用上述技术被嵌入的水印进行检测的方法，一旦要被分析的视频流60(图1)被获取并被输入到检测设备90(图1)，则执行以下方法。
如上，假设BpF＝1。如果BpF＞1，则针对补丁的每个子集重复相同过程。
对其中可能存在有水印的补丁(候选补丁)的每个视频帧：
在每个补丁中执行以下操作：
1.计算候选补丁的方差和边缘度之一。
2.如果候选补丁的方差和边缘度之一低于某给定阈值，则
a.确定用于嵌入水印的函数(例如，加权平均数(即，平均值)、中位数、众数、或几何平均数)的输出在某种距离测量下更接近P0的成员还是P1的成员。该选择将是候选补丁的“输出位”。也就是说，假设Pj对位j进行编码，则如果距离调色板P0更近，则补丁的输出位将是0。类似地，如果距离调色板P1更近，则补丁的输出位将是1。
b.如果候选补丁的方差或边缘度之一高于给定阈值，则补丁被忽略。
3.在未被忽略的所有补丁中，把它们的输出位中的多数当作帧。该位是对于该帧的有效载荷位的猜测。
4.如果未被忽略的补丁的数目低于阈值MinPatch，这指示该帧在嵌入阶段期间被跳过，并且在这里也应当被跳过。
5.继续该过程以通过应用任何错误校正方法来恢复原始有效载荷的位，其中任何错误校正方法由被用于编码/重编码有水印的帧的错误校正码提供。
可以通过使用置信水平来增强检测方法。在检测期间，用于嵌入水印的函数(例如，加权平均数(即，平均值)、中位数、众数、或几何平均数)的输出(在下文中被称为被评估的候选补丁的“中心值”)到每个调色板中最近的邻居之间的距离可以用作补丁的值的置信水平。例如，如果两个调色板P0和P1的每一者中的最近的邻居近似等距离，则置信水平低。另一方面，如果P0或P1中的任一者的两个值之一比两个值中的另一个更接近该值，则置信水平高，两个值中更近的一个是正确的值。因此，如果v是候选补丁的中心值，最近的邻居是n0和n1，则置信水平将与1/[min(dist(v，n0)，dist(v，n1))]成比例。
由于针对每个补丁的这种置信水平，例如可以将与P0更近的补丁的所有的置信水平(以下称为C0)以及与P1更近的补丁的所有的置信水平(以下称为C1)相加。然后可以通过看C0＞C1还是C0<C1来估计被解码的位是0还是1。
现在提供应用上述方法的示例。在嵌入水印之前考虑单个帧中8x8像素补丁的RGB值：
(R，G，B)平均值是(104.1875，155.8125，216.75)。
R、G和B方差的和是2.241，低于阈值。因此，该补丁被置为活跃(即，被选择为具有水印嵌入)。在本示例中，期望嵌入位1，因此，调色板P1被使用。上文提供的示例性调色板P1是：P1＝{(16i，16j，16k)，i，j，k＝0，...，15|i+j+k％2＝＝1}。
在该具体示例中，阈值是30。阈值被选择为允许足够的补丁维持活跃，但使得噪音更多(方差更高)的补丁不活跃。将要理解的是，阈值取决于所选择的补丁的大小、视频的类型，甚至有点取决于调色板本身的大小。
在调色板P1中，P1中几何距离上最近的邻居是(112，160，224).
在视频编码之前，嵌入该值之后补丁变为：
由于编码过程期间引入到像素值中的方差，像素值经历一些微小的改变，并且变为：
本领域技术人员将理解的是，这种微小的改变是编码过程的正常伪影。结果补丁的像素值(如上文所列举的)是将在水印检测阶段被分析的补丁的像素值。
检测阶段发现的平均值然后将是：(111.125，159.9357，222.96875)，并且方差值现在是0.345，因此补丁被认为是活跃的。P0或P1中最近的邻居(使用几何距离被确定)是(112，160，224)，其在P1中——因此，补丁编码位1，其与上文的嵌入步骤中位1的编码相匹配。
现在参考图8，其是对图1的系统的操作的方法的简化流程图。参考以上讨论，图8的方法被认为是清楚明白的。
应当理解的是，本发明的软件组件(如果需要的话)可以用ROM(只读存储器)形式来实现。软件组件一般地可以使用传统技术在硬件(如果需要的话)中被实现。还应当理解的是，软件组件例如可以被实例化为计算机程序产品或在有形介质上被实例化。在一些情形中，将软件组件实例化为适当的计算机可翻译的信号是可能的，虽然本发明的某些实施例中可能不包括这种实例化。
应当理解的是，还可以结合单个实施例提供本发明的各种特征(为清楚起见，其未在单独的实施例的上下文中被描述)。相反地，也可以单独地或在任何合适的子组合中提供本发明的各种特征(为简要起见，其在单个实施例的上下文中被描述)。
本领域技术人员将要理解的是，本发明不由上文中具体呈现并描述的内容来限制。相反，本发明的范围由所附权利要求书及其等同来定义。

Claims (16)

1.一种在嵌入设备处执行的用于在视频帧序列中嵌入水印的方法，所述方法包括：
针对所述视频帧中的每个视频帧，定义一组N个矩形补丁；
在选定颜色空间中定义两个调色板的像素值，使得所述两个调色板被标示为P0和P1，并且P0≠P1；以及
在N个补丁的每个补丁中：
根据要被编码的有效载荷位的值选取P0和P1中的一者；
计算所述补丁中的像素值的方差以及所述补丁中的像素值的边缘度中的一者，从而确定计算出的值，其中所述边缘度是执行边缘检测的结果；以及
确定所述计算出的值是否低于给定阈值；
如果所述计算出的值低于所述阈值：
对这些像素值的函数进行计算；
在选取的调色板中选取与计算所述函数的结果最近的值；以及
用所述最近的值替换所述补丁内的像素值。
2.如权利要求1所述的方法，其中，所述方差是根据这样的值来计算的：该值是所述补丁中的像素值的分量的标量值的和。
3.如权利要求1或权利要求2中任一者所述的方法，其中，计算所述补丁中的像素值的方差以及所述补丁中的像素值的边缘度中的一者是在更大的区域上被执行的，其中这一补丁的位置在所述更大的区域的中心处。
4.如权利要求1或权利要求2中任一者所述的方法，其中，计算所述补丁中的像素值的方差以及所述补丁中的像素值的边缘度中的一者是在所述补丁上被执行的。
5.如权利要求1所述的方法，其中，所述函数包括以下项之一：平均数、中位数、众数、以及几何平均数。
6.如权利要求1所述的方法，其中，2个位至4个位被编码在所述视频帧的至少任何一个视频帧中。
7.如权利要求6所述的方法，其中，根据要被编码在所述视频帧中的位的数目，所述矩形补丁被分为2至4个子组。
8.如权利要求1所述的方法，其中，所述N个矩形补丁被均匀地分布在所述视频帧内。
9.如权利要求1所述的方法，其中，所述N个矩形补丁不与宏块边界重叠。
10.如权利要求1所述的方法，其中，所述选定颜色空间包括RGB颜色空间或YUV空间中的一者。
11.如权利要求1所述的方法，其中，在所述选取的调色板中与计算所述函数的结果最近的值是通过确定计算所述函数的结果与所述选取的调色板中最近的调色板邻居之间的几何距离而确定的。
12.如权利要求1所述的方法，其中，如果所述视频帧的至少任何一个视频帧中要修改的补丁的数目低于第二阈值，则这一帧不被用于编码任何位。
13.如权利要求1所述的方法，其中，所述视频帧序列已经具有对由应用如权利要求1所述的方法得到的有效载荷位进行应用的错误检测和校正码。
14.一种用于在视频帧序列中嵌入水印的系统，该系统包括：
针对所述视频帧中的每个视频帧的一组N个矩形补丁；
选定颜色空间中的两个调色板的像素值，使得所述两个调色板被标示为P0和P1，并且P0≠P1；
在所述N个补丁的每个补丁中根据要被编码的有效载荷位的值选取P0和P1中的一者的处理器；
计算器，该计算器在所述N个补丁的每个补丁中计算补丁中的像素值的方差以及所述补丁中的像素值的边缘度之一，从而确定计算出的值，其中所述边缘度是执行边缘检测的结果；
在所述N个补丁的每个补丁中确定所述计算出的值是否低于给定阈值的处理器，并且如果所述计算出的值低于所述阈值，则该处理器计算这些像素值的函数并在选取的调色板中选取与计算所述函数的结果最近的值；以及
替换器，该替换器用所述最近的值替换所述补丁内的像素值。
15.一种在检测设备处执行的用于检测嵌入的水印的方法，包括：
接收在选定颜色空间中对两个调色板的像素值的定义，使得所述两个调色板被标示为P0和P1，并且P0≠P1，其中P0和P1中的每一者被用于编码有效载荷位的不同值；
在处理器处计算候选补丁的像素值的方差和所述候选补丁的像素值的边缘度中的一者，所述候选补丁是视频帧中可能包括水印的一部分，其中所述边缘度是执行边缘检测的结果；
如果所述候选补丁的像素值的方差和所述候选补丁的像素值的边缘度中的一者低于给定阈值，则：
确定用于嵌入所述水印的函数的输出值到调色板P0中的成员的距离更近还是到调色板P1中的成员的距离更近，并且将所述两个调色板的更近者的输出值设置为所述候选补丁的输出值；
如果所述候选补丁的像素值的方差和所述候选补丁的像素值的边缘度中的一者高于所述给定阈值，则忽略所述补丁；
对未被忽略的所有候选补丁的输出值应用多数表决函数运算，并使用所述多数表决函数的输出位作为所述帧的有效载荷位；以及
通过对应用所述多数表决函数的步骤中输出的有效载荷位应用任何错误校正方法来恢复所述嵌入的水印的位。
16.一种用于在内容项中通过函数检测水印的系统，包括：
在选定颜色空间中对于两个调色板的像素值的定义，使得所述两个调色板被标示为P0和P1，并且P0≠P1；
计算候选补丁的像素值的方差和所述候选补丁的像素值的边缘度中的一者的处理器，其中所述边缘度是执行边缘检测的结果；
确定器，如果所述候选补丁的像素值的方差和所述候选补丁的像素值的边缘度中的一者低于给定阈值，则所述确定器确定用于嵌入所述水印的函数的输出值到调色板P0中的成员的距离更近还是到调色板P1中的成员的距离更近，并且将所述两个调色板的更近者的值设置为所述候选补丁的输出值；
如果所述候选补丁的像素值的方差和所述候选补丁的像素值的边缘度中的一者高于所述给定阈值，则所述确定器忽略所述补丁；
对未被忽略的所有候选补丁的输出位应用多数表决函数运算并且使用所述多数表决函数的输出位作为所述帧的有效载荷位的处理器；以及
通过对所述有效载荷位应用错误校正方法来恢复嵌入的水印的位的处理器，其中所述有效载荷位由对所述输出位应用所述多数表决函数的所述处理器输出。
CN201580023486.3A 2014-05-07 2015-05-05 用于嵌入水印、视频帧的系统和方法以及用于检测嵌入的水印的系统和方法 Active CN106464772B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/271,751 US9208534B2 (en) 2014-05-07 2014-05-07 System and method for embedding data
US14/271,751 2014-05-07
PCT/IB2015/053273 WO2015170251A1 (en) 2014-05-07 2015-05-05 System and method for embedding a watermark, video frame and system and method for detecting an embedded watermark

Publications (2)

Publication Number Publication Date
CN106464772A CN106464772A (zh) 2017-02-22
CN106464772B true CN106464772B (zh) 2019-05-10

Family

ID=53276208

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580023486.3A Active CN106464772B (zh) 2014-05-07 2015-05-05 用于嵌入水印、视频帧的系统和方法以及用于检测嵌入的水印的系统和方法

Country Status (4)

Country Link
US (2) US9208534B2 (zh)
EP (2) EP3477579B1 (zh)
CN (1) CN106464772B (zh)
WO (1) WO2015170251A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9208534B2 (en) * 2014-05-07 2015-12-08 Cisco Technology Inc. System and method for embedding data
US9922390B2 (en) * 2014-09-05 2018-03-20 Brady Jennings Beaubien Watermarking system
RU2682838C1 (ru) * 2015-12-23 2019-03-21 Хуавей Текнолоджиз Ко., Лтд. Способ и устройство для кодирования с преобразованием с выбором преобразования блокового уровня и неявной сигнализацией в рамках иерархического разбиения
US10958989B2 (en) 2016-02-25 2021-03-23 Synamedia Limited Framework for embedding data in encoded video
US10554976B2 (en) 2016-07-25 2020-02-04 Synamedia Limited Framework for embedding data in encoded video
US11082710B2 (en) 2016-09-14 2021-08-03 Inscape Data, Inc. Embedding video watermarks without visible impairments
US11132758B2 (en) * 2016-09-14 2021-09-28 Inscape Data, Inc. Embedding data in video without visible impairments
US10360651B1 (en) * 2016-09-14 2019-07-23 Inscape Data, Inc. Compatible adaptive video watermarking
JP6784122B2 (ja) * 2016-09-29 2020-11-11 富士通株式会社 電子透かし埋込プログラム、電子透かし埋込装置、及び電子透かし埋込方法
US10218979B2 (en) * 2016-11-01 2019-02-26 Cisco Technology, Inc. Entropy coding state segmentation and retention
US10462167B2 (en) 2017-01-03 2019-10-29 Synamedia Limited Using data science to aid in detection of unauthorized distribution
US10200692B2 (en) 2017-03-16 2019-02-05 Cisco Technology, Inc. Compressed domain data channel for watermarking, scrambling and steganography
CN108616757B (zh) * 2018-05-09 2020-10-23 电子科技大学 一种翻拍后能提取水印的视频水印嵌入与提取方法
CN108810618B (zh) * 2018-06-29 2021-02-05 北京奇虎科技有限公司 识别视频中水印的方法、装置和电子设备
US11076151B2 (en) * 2019-09-30 2021-07-27 Ati Technologies Ulc Hierarchical histogram calculation with application to palette table derivation
CN111046727B (zh) * 2019-10-31 2023-10-20 咪咕文化科技有限公司 视频特征提取方法及装置、电子设备及存储介质
US11443401B2 (en) * 2020-05-21 2022-09-13 At&T Intellectual Property I, L.P. Digital watermarking

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6434701B1 (en) * 1999-04-06 2002-08-13 Kwan Software Engineering, Inc. System and method for digitally marking a file
US6879701B1 (en) * 1994-10-21 2005-04-12 Digimarc Corporation Tile-based digital watermarking techniques
CN101277438A (zh) * 2008-04-23 2008-10-01 山东大学 基于运动区域定位的视频水印方法
WO2013055206A1 (en) * 2011-10-10 2013-04-18 Civolution B.V. Watermark detection with payload
CN104284182A (zh) * 2013-07-05 2015-01-14 汤姆逊许可公司 用于评估水印在视频中的存在的方法和设备

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8505108B2 (en) * 1993-11-18 2013-08-06 Digimarc Corporation Authentication using a digital watermark
US6381341B1 (en) 1996-05-16 2002-04-30 Digimarc Corporation Watermark encoding method exploiting biases inherent in original signal
US5960081A (en) 1997-06-05 1999-09-28 Cray Research, Inc. Embedding a digital signature in a video sequence
JP2001061052A (ja) 1999-08-20 2001-03-06 Nec Corp 電子すかしデータ挿入方法及びその装置と電子すかしデータ検出装置
US8050452B2 (en) * 2001-03-22 2011-11-01 Digimarc Corporation Quantization-based data embedding in mapped data
US7046820B2 (en) * 2002-07-16 2006-05-16 Matsushita Electric Industrial Co., Ltd. Methods for digital watermarking of images and images produced thereby
US7672373B2 (en) 2005-04-11 2010-03-02 Cisco Technology, Inc. Digital watermarking of a media stream using coded macroblock types
US7965861B2 (en) * 2006-04-26 2011-06-21 The Board Of Regents Of The University Of Texas System Methods and systems for digital image security
IL179351A0 (en) 2006-11-16 2008-01-20 Nds Ltd System for embedding data
WO2008096281A1 (en) 2007-02-05 2008-08-14 Nds Limited System for embedding data
JP5157774B2 (ja) * 2008-09-17 2013-03-06 株式会社リコー 画像形成装置、画像形成方法およびプログラム
KR101522555B1 (ko) * 2009-02-20 2015-05-26 삼성전자주식회사 워터마크 삽입 기능이 포함된 영상 재생 방법 및 그 장치
US8588461B2 (en) * 2010-03-22 2013-11-19 Brigham Young University Robust watermarking for digital media
US9251549B2 (en) * 2013-07-23 2016-02-02 Verance Corporation Watermark extractor enhancements based on payload ranking
US9208534B2 (en) * 2014-05-07 2015-12-08 Cisco Technology Inc. System and method for embedding data

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6879701B1 (en) * 1994-10-21 2005-04-12 Digimarc Corporation Tile-based digital watermarking techniques
US6434701B1 (en) * 1999-04-06 2002-08-13 Kwan Software Engineering, Inc. System and method for digitally marking a file
CN101277438A (zh) * 2008-04-23 2008-10-01 山东大学 基于运动区域定位的视频水印方法
WO2013055206A1 (en) * 2011-10-10 2013-04-18 Civolution B.V. Watermark detection with payload
CN104284182A (zh) * 2013-07-05 2015-01-14 汤姆逊许可公司 用于评估水印在视频中的存在的方法和设备

Also Published As

Publication number Publication date
US9881350B2 (en) 2018-01-30
US20150324948A1 (en) 2015-11-12
US9208534B2 (en) 2015-12-08
CN106464772A (zh) 2017-02-22
EP3477579B1 (en) 2023-07-05
EP3117398A1 (en) 2017-01-18
WO2015170251A1 (en) 2015-11-12
EP3117398B1 (en) 2018-12-19
EP3477579A1 (en) 2019-05-01
US20150379660A1 (en) 2015-12-31

Similar Documents

Publication Publication Date Title
CN106464772B (zh) 用于嵌入水印、视频帧的系统和方法以及用于检测嵌入的水印的系统和方法
US11425454B2 (en) Dynamic video overlays
Gaurav et al. Image steganography based on Canny edge detection, dilation operator and hybrid coding
JP5729464B2 (ja) 位置情報付加装置、位置情報付加方法及び位置情報付加用コンピュータプログラムならびに位置検出装置
US8942413B2 (en) Digital watermark embedding apparatus, digital watermark embedding method, and digital watermark detection apparatus
US8379911B2 (en) Method and system for efficient watermarking of video content
CN110366001B (zh) 视频清晰度的确定方法和装置、存储介质、电子装置
CN103974144B (zh) 一种基于特征尺度变换不变点和微场景检测的视频数字水印方法
Prabakaran et al. A robust QR-Code video watermarking scheme based on SVD and DWT composite domain
Yang et al. ARTcode: preserve art and code in any image
US20110235921A1 (en) Method and apparatus for detecting coding artifacts in an image
CN105848008B (zh) 数字水印检测设备和数字水印检测方法
US20080285790A1 (en) Generalized lossless data hiding using multiple predictors
Xing et al. A multi-embedding domain video steganography algorithm based on TU partitioning and intra prediction mode
CN104981841B (zh) 3d图像数据分割的方法和装置
US10820064B2 (en) Marking video media content
US8284984B2 (en) Method and system for image registration
JP4944966B2 (ja) デジタル画像をデジタル透かしにより印付ける方法
Gaurav et al. Image steganography algorithm based on edge re-gion detection and hybrid coding
RU2767775C1 (ru) Обработка облака точек
Veličković et al. The Insertion of the Encrypted Low-Resolution Watermark in the Uncompressed Video
Li et al. Fragile video watermarking algorithm based on H. 264/AVC
Kazuki Sketch–An investigation into feature extraction in compressed domain/Kazuki Minemura
Minemura Sketch–An Investigation into Feature Extraction in Compressed Domain
Thenmozhi et al. Authentication and digital video tampering detection using watermarking

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: The Middlesex County

Applicant after: Xina Media Co.,Ltd.

Address before: The Middlesex County

Applicant before: Enders GmbH

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20190109

Address after: The Middlesex County

Applicant after: Enders GmbH

Address before: California

Applicant before: Cisco Technology, Inc.

GR01 Patent grant
GR01 Patent grant