CN101427265B - 用于数字视频指纹化的抗共谋去同步化 - Google Patents

用于数字视频指纹化的抗共谋去同步化 Download PDF

Info

Publication number
CN101427265B
CN101427265B CN2006800182588A CN200680018258A CN101427265B CN 101427265 B CN101427265 B CN 101427265B CN 2006800182588 A CN2006800182588 A CN 2006800182588A CN 200680018258 A CN200680018258 A CN 200680018258A CN 101427265 B CN101427265 B CN 101427265B
Authority
CN
China
Prior art keywords
frame
time
desynchronization
video
protected video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2006800182588A
Other languages
English (en)
Other versions
CN101427265A (zh
Inventor
M·K·米哈卡
Y·毛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN101427265A publication Critical patent/CN101427265A/zh
Application granted granted Critical
Publication of CN101427265B publication Critical patent/CN101427265B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835Generation of protective data, e.g. certificates
    • H04N21/8352Generation of protective data, e.g. certificates involving content or source identification data, e.g. Unique Material Identifier [UMID]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/16Analogue secrecy systems; Analogue subscription systems
    • H04N7/167Systems rendering the television signal unintelligible and subsequently intelligible
    • H04N7/1675Providing digital key or authorisation information for generation or regeneration of the scrambling sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0021Image watermarking
    • G06T1/005Robust watermarking, e.g. average attack or collusion attack resistant
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09CCIPHERING OR DECIPHERING APPARATUS FOR CRYPTOGRAPHIC OR OTHER PURPOSES INVOLVING THE NEED FOR SECRECY
    • G09C5/00Ciphering apparatus or methods not provided for in the preceding groups, e.g. involving the concealment or deformation of graphic data such as designs, written or printed messages
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2347Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving video stream encryption
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242Synchronization processes, e.g. processing of PCR [Program Clock References]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4405Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video stream decryption
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/441Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card
    • H04N21/4415Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card using biometric characteristics of the user, e.g. by voice recognition or fingerprint scanning
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835Generation of protective data, e.g. certificates
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835Generation of protective data, e.g. certificates
    • H04N21/8358Generation of protective data, e.g. certificates involving watermark
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8547Content authoring involving timestamps for synchronizing content
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/913Television signal processing therefor for scrambling ; for copy protection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00General purpose image data processing
    • G06T2201/005Image watermarking
    • G06T2201/0063Image watermarking in relation to collusion attacks, e.g. collusion attack resistant
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/913Television signal processing therefor for scrambling ; for copy protection
    • H04N2005/91307Television signal processing therefor for scrambling ; for copy protection by adding a copy protection signal to the video signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Television Systems (AREA)
  • Television Signal Processing For Recording (AREA)
  • Image Processing (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Processing Or Creating Images (AREA)

Abstract

描述了一种对受保护视频进行去同步化并由此创建一个或者多个数字指纹化视频的系统和方法。在一个实现中,受保护视频被时间和空间去同步化。如时间和空间去同步化所更改的视频指纹化拷贝被创建。

Description

用于数字视频指纹化的抗共谋去同步化
背景技术
伴随着互联网通信中带宽的增加,数字多媒体激增,使得数字版权的管理越来越具有挑战性。由于接收多媒体内容拷贝的任何终端用户都能够再分配拷贝给其他用户,那么需要建立一种追踪非法分配者的机制来保护数字版权。多媒体指纹化是一种将唯一的ID嵌入到每个用户的多媒体内容中的方法。因为所嵌入的指纹是与接收拷贝的用户唯一关联的,所以对盗版拷贝中该指纹的提取唯一地标识了与该指纹关联的用户。
由于多媒体数据可以在不造成感知失真的情况下被轻微修改,那么可以在数据中嵌入指纹而不降低终端用户的体验。在指纹化图像和音频信号中已有大量的现有技术。然而,对视频指纹化的研究相当地有限。通常,当用于指纹化的主机信号改变时,指纹化方案也需要进行匹配。例如,在自然景色的彩色图像中,用于指纹化嵌入的空间通常比二进制图像中大得多。自然,我们期待更多的来自视频的嵌入能力。然而,视频中的大量数据引入了好的和不好的方面。好的方面是视频的嵌入能力比静态图像高得多,并且由此增加了指纹化的稳定性。不好的方面是视频信号的空间和时间冗余可能被攻击者利用。因此,视频指纹化方案的设计和加工比指纹化静态图像和音频都复杂得多。
虽然指纹设计者努力去保护数字版权,但是攻击者也非常希望去除指纹。例  如,流行的营销方案是在例如DVD介质上的“视频上”销售的时期之前,将流行电影发往剧院。如果在剧院放映期间盗版者能够销售DVD上的电影,则能实现巨额利润。在攻击指纹化方案时,攻击者的目标是欺骗指纹检测器,使它不能够检测或正确识别出指纹。对攻击者而言,由于多媒体的价值部分地在于其适时和感知质量,时间复杂性和感知质量也是重要因素,。因此,攻击者拥有指纹化视频拷贝的一组攻击者可能合谋形成共谋攻击。这样的攻击企图衰减或者去除在每个拷贝中嵌入的指纹。当在共谋攻击中指纹化拷贝的数量足够大时,例如30到40个合谋者,则指纹的实用性大大减小,以致于指纹检测器不可能检测到共谋拷贝中指纹的存在。
发明内容
描述了在数字视频指纹化中使用的抗共谋去同步化,使得待保护视频被去同步化,从而创建一个或者多个数字指纹化视频。在一个实施方式中,将待保护视频时间上以及空间上去同步化。通过时间和空间去同步化更改的指纹化视频拷贝被创建。
附图说明
参照附图进行详细描述。在附图中,附图标记最左边的数字标识附图标记首次出现的附图。在不同附图中使用相同附图标记表示相同或者相似的项。
图1示出允许均匀采样时间标定和随机采样时间标定进行比较的示例性时间线。
图2示出包括仿射变形(affine warping)策略的时间去同步化的示例性方面,其中帧F1向帧F2变形。
图3示出包括仿射变形策略的时间去同步化的示例性方面,其中帧F1和F2两者都弯曲。
图4示出包括光流策略的时间去同步化的示例性方面。
图5示出包括运动矢量切换策略的时间去同步化的示例性方面。
图6示出包括运动补偿时间内插策略的时间去同步化的示例性方面。
图7示出用于时间重采样的伪随机时间标定的示例性方面。
图8示出包括受限随机时间重采样策略的时间去同步化的示范性方面。
图9示出包括插值-跳过策略的时间去同步化的示例性方面。
图10示出包括旋转、缩放和平移(RST)策略的空间去同步化的示例性方面。
图11示出空间去同步化的示例性方面。
图12示出包括随机弯曲策略的空间去同步化的示例性方面。
图13示出包括亮度过滤策略的空间去同步化的示例性方面。
图14示出包括参数离散化策略的空间去同步化的示例性方面。
图15示出包括时间平滑策略的空间去同步化的示例性方面。
图16示出包括参数分布策略的空间去同步化的示例性方面。
图17示出适于实现电子视频指纹化的抗共谋去同步化的示例性计算环境。
详细描述
以下讨论涉及对抗共谋攻击的系统和方法,其中多媒体内容的指纹化拷贝(例如带有音频视频内容的DVD,如电影)的两个或多个接收者尝试组合他们的拷贝来创建没有指纹的高质量版本。特别地,如果指纹化拷贝被重新组合,则这些系统和方法被设计成导致可感知伪像的产生。
图1示出用于指纹化多媒体内容以对抗共谋攻击的示例性去同步化技术100。在图1的实施方式中,抗共谋去同步化方案包括在时间和空间域的视频去同步化。每个用户的视频拷贝通过这样的方式被稍微改变:对于每个单独拷贝而言这种改变是不易察觉的,但是当将多个拷贝进行组合时(例如,通过平均方法)这种改变则足够显著以产生可感知的伪像。由于时间轴和空间轴的物理特征明显不同,通常将时间和空间去同步化分为两个步骤。在第一步骤中,首先在时域上应用受限的伪随机采样。给定沿时间轴均匀采样的一组视频帧,则基于运动的帧内插用于产生在任意时间标定处的新视频帧。在第二步骤中,通过全局几何操作对每个视频帧进一步去同步化,这种操作涉及旋转,缩放和平移,随后是采用随机空间采样网格的局部随机弯曲。感知质量问题可通过沿时间轴和空间轴平滑去同步化参数而得到解决。此外,就计算复杂性来分析去同步化的安全。
具体地,图1示出实施方式的示例100,其中将视频的伪随机时间采样和空间去同步化技术相组合,以产生可追溯到原始接收者的视频指纹化拷贝,并且当类似的指纹化拷贝组合时会造成带可视伪像的缺陷拷贝。在框102,所保护的视频在空间上被去同步化。在框104,视频在空间上被去同步化。在框106,视频的指纹化拷贝被创建成通过时间和空间去同步化进行更改。
视频的伪随机时间采样
本节就时间去同步化对由图1的框102引入主题进行扩展。时间去同步化可以利用涉及视频帧内插的伪随机时间采样。与视频帧内插关联的基本问题是,给定一对时间相近的视频帧(例如时间t1处的F1和时间t2处的F2,其中(t2>t1)并且T=t2-t1是源视频的帧周期),期望产生在时间(t1+Δ·T)处的中间帧,其中0≤Δ≤1。在许多情形中,直接对相应的帧像素进行平均不能给出好的结果,因为视频帧中物体趋于运动并且这种运动将在进行内插时考虑。因此,需要更加复杂的技术。
时间去同步化可以利用伪随机时间采样。视频的伪随机时间采样可以利用仿射变形策略来为视频帧内插提供基础。例如,给定两个视频帧F1和F2,F1向F2变形是有利的。在F1中的坐标可以表示为(x1,y1),F2中的坐标可以表示为(x2,y2)。齐次坐标可用于描述从F1到F2的2-D仿射变形,根据:
x y 1 = w 1 w 2 w 3 w 4 w 5 w 6 0 0 1 x 1 y 1 1 . - - - ( 1 )
仿射变换矩阵在以上等式中由W表示。从w1到w6的参数考虑了旋转、缩放和平移操作。所有这些参数首先在来自F1和F2的向下采样图像中被估算,然后为了更大尺寸的图像而放大和细化,直到最终达到原始帧尺寸。
参数搜索包括找到最小值问题的解决方案。由warpw(.)表示帧的变形操作,以及由dist(.,.)表示测量两个帧之间的距离的距离度量。由于变形操作由变形参数唯一确定,则尽力找到参数矢量w*=[wi*w2*w3*w4*w5*w6*]T,如下
w * = min w dist ( warp w ( F 1 ) , F 2 ) .
当距离度量是差值的平方之和时,上式变成最小二乘方问题。这种问题可以由经典的Lucas-Kanade算法来解决,其主要采用Gauss-Newton方法来找到最小值。
为了减少由高维度所带来的计算复杂性,注意,平移参数w3和w6与其它参数分离。因此,可首先确定w3和w6,随后通过迭代过程来更新参数矢量直到它收敛。
相应地,仿射变形解决方案可以通过导出描述在视频中从帧F1到帧F2仿射变形的等式来应用,如等式(1)。在导出等式之后,描述变形的参数矢量可以通过解从例如等式(2)的等式导出的最小值问题而得到。
图2示出仿射变形解决方案表征的时间去同步化的实施方式200,其中F1向F2变形。仿射变形解可在一组弯曲函数Φ中得到,使得对任何给定的图像I,变形函数I’可以通过对图像I应用函数Φk(.)∈Φ而生成,得到分配给用户k的T=Φk(.)。因此每个用户将收到图像I的不同拷贝,从而使共谋攻击复杂化。在框202,导出仿射变换矩阵以在视频中从帧F1变形到帧2,其中该矩阵考虑了旋转、缩放和平移(RST)操作。等式(1)表示仿射变换矩阵。在框204,找到与矩阵关联的最小值问题的解决方案。等式(2)表示最小值问题。最小值问题可以通过任何适当的方式突破。例如,在框206,应用最小二乘方解决方案,其中等式是基于作为差的平方和的距离度量dist。在框208,通过将平移参数与其它参数分离、首先求解平移阐述、并且向参数矢量应用迭代过程直到收敛,来减少最小值问题的计算复杂性。因此,上述示例中,首先确定参数w1到w6,从而减少问题的维度进而有利于求解剩余参数。
以上图2的讨论一般涉及视频帧内插,尤其涉及用于伪随机时间采样的仿射变形工具。在这些情况下,已经发现给定两个视频帧F1和F2,将F1向F2变形是有利的。由图3示出并时域类似应用的另一仿射变形工具,使F1和F2两者都变形是有利的。
假设给定了时间t1处的帧F1以及时间t2处的帧F2,并且将帧F1和F2两者向时间实例(t1+Δ·T)变形,其中0≤Δ≤1。首先估算从F1到F2的变形矩阵W。然后,将帧F1和F2两者向时间(t1+Δ·T)变形的向前和向后仿射变换矩阵WF和WB,,可如下计算:
W F = Δ 0 0 0 Δ 0 0 0 1 W + 1 - Δ 0 0 0 1 - Δ 0 0 0 0 - - - ( 3 )
W B = 1 - Δ 0 0 0 1 - Δ 0 0 0 1 W + Δ 0 0 0 Δ 0 0 0 0 - - - ( 4 )
通过在变形坐标上分别重采样F1和F2来获得向前和向后变形帧,其中的Ffwd来自F1以及Fbwd来自F2
Ffwd=resample(F1(WF,[x y 1]T)),    (5)
Fbwd=resample(F2(WB[x y 1]T)).       (6)
由于重采样点可能不是整数坐标,诸如双线性内插或三次内插的内插方法可用于产生输出值。
图3示出由第二仿射变形解决方案表征的时间去同步化的实施方式300,其中F1和F2两者向时间实例(t1+Δ·T)变形,其中0≤Δ≤1。第二仿射变形解决方案同样在一组变形函数Φ中得到,使得对任何给定的图像I而言,变形函数I`可以通过对图像I应用函数Φk(.)∈Φ而生成,从而获得向用户k分配的I`=Φk(.),。因此,每个用户将收到图像I的不同拷贝,从而使合谋攻击复杂化。在框302,估算从F1到F2的变形矩阵W。在框304,使用估算的矩阵W来计算向前和向后仿射矩阵。以上等式(3)和等式(4)是向前和向后矩阵的示例。向前和向后矩阵允许计算向前和向后变形的帧。因此,在框306,通过在变形坐标上重采样F1和F2而获得向前和向后变形的帧。在以上示例中,等式(5)和(6)示出如何通过向前和向后矩阵的使用以及重采样来获得向前和向后的帧,Ffwd和Fbwd。在框308,其中产生非整数的坐标,内插可用于生成可接受的输出值。
视频的伪随机时间采样的实施方式可以利用光流策略来提供视频帧内插的基础。因此,光流可以提供用于将指纹施加到从受保护视频中导出的视频上的视频伪随机时间采样。光流是指在视频数据中所观察到的两维运动。由于人眼通过在不同时刻观察处于不同位置上的点来感知运动,运动的识别是基于恒定强度假设,即同一物体点的亮度在运动后不改变。考虑到在视频序列中,亮度变量由f(x,y,t)表示。假定在空间位置(x,y)上和时间t,物体点P在t+dt时刻运动到(x+dx,y+dy)。在恒定强度假设下,得到
f(x+dx,y+dy,t+dt)=f(x,y,t)    (7)
假定量度沿空间和时间轴连续,则可对(7)的左边应用泰勒展开,因此等式变为
f ( x , y , t ) + ∂ f ∂ x dx + ∂ f ∂ y dy + ∂ f ∂ t dt = f ( x , y , t ) - - - ( 8 )
然后,得到光流等式
∂ f ∂ x v x + ∂ f ∂ y v y + ∂ f ∂ t = 0 - - - ( 9 )
或者
( ▿ f ) T v → + ∂ f ∂ t = 0 - - - ( 10 )
其中(
Figure 2006800182588_2
f)是f(x,y,t)的空间梯度矢量。
如果可以估算亮度的空间和时间梯度,则光流等式提供一种计算运动矢量的方法。在一实施方式中,位置(x,y)的空间梯度在以(x,y)为中心的5×5窗口中估算。因此,等式(10)的函数可以被扩充以计算运动矢量的x和y分量。
图4示出通过应用光流解决方案来重采样来表征的时间去同步化实施方式400。特别地,空间梯度矢量用于改变视频中的帧,从而为向其分配视频拷贝的各个用户对视频进行不同的变形。在框402,假设在运动之前和之后到点(x,y)的照明f恒定。这样的假定与人眼进行的自然跟踪一致,其中当物体具有通常一直的外观时,运动最容易被观察到。在框404,导出流等式。例如,等式(9)和(10)表示光流等式在给定亮度的空间和时间梯度估算的情况下,它有助于计算运动矢量。在框406,使用
Figure 2006800182588_3
f和亮度的估算空间和时间梯度来计算出用来采样视频的运动矢量。
视频的伪随机时间采样的实施方式可以利用运动矢量切换(vector switching)策略来提供视频帧内插的基础。运动矢量切换帮助选择运动矢量以校正由W表示的变形。假定给出时间t1处的帧F1和时间t2处的帧(t2>t1),并且期望生成在时刻(t1+Δ·T)的新帧。首先生成三对变形帧。第一对正好是输入帧(F1,F2)。第二对是向时间实例(t1+Δ·T)仿射变形的输入帧(Ffwd,Fbwd)。第三对是仿射变形帧加上校正运动补偿(F′fwd,F′bwd)。其中运动场是从先前向下采样水平继承得到。对于各对帧,使用光流法实施微分运动估算。这获得了三个运动矢量场。假定运动矢量场是v1(x,y),v2(x,y),和v3(x,y)。运动矢量切换是从在位置(x,y)上的三个候选运动矢量中确定较佳运动矢量的过程,它是对由W表示的仿射变形的校正。判定标准是基于以下误差函数Ev(x,y),它可以被视为光流等式(10)的实际形式。
E v → ( x , y ) = Σ ( x , y ) ∈ S ( v → ( x , y ) · ▿ f x ▿ f y + ▿ f t ) 2 , where - - - ( 11 )
▿ f x = ∂ f ∂ x , ▿ f y = ∂ f ∂ y , ▿ f t = ∂ f ∂ t ,
并且S是以(x,y)为中心的5×5小象素窗口。运动矢量v(x,y)在求和中保持恒定并且
Figure 2006800182588_4
fx
Figure 2006800182588_5
fyft是(x,y)的函数。这样的公式可由经典的Lucas-Kanade算法来求解,它本质上是一种迭代求解给定数值优化问题的Gauss-Newton方法。采用前面的误差函数,在位置(x,y)上获得最小误差的候选运动矢量被选为新的运动矢量。对于内插应用来说,通过在运动矢量场上使用中值或者平均滤器来应用平滑过滤,在运动矢量上实施平滑。这提供最终运动矢量场v。
图5示出通过对重采样应用运动矢量切换解决方案来表征的时间去同步化的实施方式500。在框502,生成多对变形帧。在框504,运动矢量与每对帧相关联,由此获得多个运动矢量。在框506,将误差函数应用到每个运动矢量。误差函数可以采用等式(11)的形式。在框508,误差函数用于选择运动矢量以供时间去同步化中使用。
视频伪随机时间采样的实施方式可以利用运动补偿时间内插策略来提供视频帧内插的基础。在运动补偿时间内插策略中,输入帧可以向一时间实例变形。例如,基于运动场v,输入帧F1和F2向时间实例(t1+Δ·T)变形从而生成两个变形帧G1和G2。为此,线性放大运动矢量,且变形帧是从源帧重采样的版本。例如
G1=resample(F1(x+Δvx,y+Δvy)),    (12)
并且帧G2可以以类似方式获得。一旦获得G1和G2,最终内插帧F(x,y)可以通过以下方式获得:
F(x,y)=(1-Δ)·G1(x,y)+Δ·G2(x,y).    (13)
因此,视频可以通过对重采样应用运动补偿时间内插解决方案而得到时间去同步化。G1和G2可以通过向例如(t1+Δ·T)的时间实例变形而生成。然后,G1和G2可作为F1和F2的函数而被重新采样,诸如等式(12)。最后,例如通过使用等式(13),内插帧F可以作为G1和G2的函数而获得。
图6示出对重新采样应用运动补偿时间内插解决方案的时间去同步化实施方式600,其中输入帧F1和F2以及关联运动矢量v用于导出内插帧F,使得F的采样获得指纹化采样。在框602,帧G1和G2通过将帧F1和F2向时间实例(t1+Δ·T)变形而生成。例如,等式(12)示出帧G1如何从帧F1获得。在框604,帧G1和G2从帧F1和F2重新采样。例如,可以根据等式(12)进行重新采样。在框606,内插帧可以作为变形帧G1和G2的函数而获得。例如,等式(13)是内插帧F如何从变形帧G1和G2获得的示例。
视频的伪随机时间采样的实施方式可以利用受限随机时间重采样策略来提供视频帧内插的基础。在一个实施方式中,伪随机时间标定沿时间轴生成,从而允许通过帧内插的方式在新生成时间实例处重采样视频。为了实现好的感知质量,限定在原始视频中的两个帧间隔之间,即原始视频中的任何帧i和i+2之间的重采样视频中必需存在至少一个帧。参照图7,可以看到随机采样时间标定位于每个均匀采样时间标定之间。这样的限定限制了在重采样视频中的时间跳动,同时向时间随机化给予空间。为了达到这个目标,首先生成i.i.d(独立同分布)随机时间增量,Δi,它均匀分布在范围[1-δ,1+δ]之间。然后,初始化t(0)=0并且计算出时间标定t(i)=t(i-1)+Δi,i=1,2,...,N。这里N是重采样视频的总长度,它是根据N~Uniform[M(1-α),M(1+α)]的随机值,其中M是在原始视频中的帧的总数。最后,将值t(1)扩展到t(N)以确保所有的时间标定落入[0,M]的范围内。
在本设置中有两个参数是可选择的,控制时间跳动量的δ和控制长度变量的α。在时间去同步化可通过其实现的示例中,δ和α可选择成δ=0.75和α=0.0035。其它值可在这些概念的各种应用中给出满意的结果。
图8示出通过对重采样应用受限的随机时间重采样策略表征的时间去同步化的实施方式800,其中与视频关联的均匀采样时间标定被与重采样关联的随机采样到的时间标定所取代。在框802,沿时间轴生成伪随机时间标定。然后,诸如通过使用帧内插,在新生成的时间实例上对视频进行重新采样。在框804,伪随机采样时间标定的生成受限于要求在原始视频中的两个帧间隔之间存在至少一个的重新采样的帧。在图7的示例中,可以看出在每两个原始帧标记(如在时间线顶部所见)之间存在伪随机帧标记(如在时间线底部所见)。在框806,生成随机时间增量Δi,并将其均匀分布在范围[1-δ,1+δ]内。在框808,时间标定被初始化并且在视频的长度上被计算。例如,在t(0)=0处初始化时间标定,且根据t(i)=t(i-1)+Δi来计算时间标定,其中i=1,2,...,N,其中N是重采样视频长度并且根据N~Uniform[M(1-α),M(1+α)]随机取值。在框810,对值t(1)到t(N)进行放大以要求所有时间标定落在[0,M]范围内。在框812,可以选择变量以控制视频的诸方面。特别地,α被选择成控制变量长度以及δ被选择成控制时间跳动。例如,δ可以被设置为0.75以及α被设置为0.0035。
视频的伪随机时间采样的实施方式可以利用内插跳过策略来提高质量控制。当帧共同构成快动作和/或者复杂场景时,帧内插的使用可能不会得到满意的感知结果。因此内插帧的质量可以通过跳过表示快速和复杂运动的帧来控制。数量上,运动矢量场的变化可以计算为var(vx)和var(vy),其中每当var(vx)+var(vy)之和大于阈值Vth时,跳过内插。在一实施方式中,帧尺寸可被设置为640×480象素,Vth可被设置为300。通常,基于帧的宽度或者高度,使用较小的帧尺寸将造成阈值按比例减小。
图9示出提高质量控制的内插跳过策略的实施方式900。在框902,确定在视频中哪些帧描述快动作和复杂视频。如果应用伪随机时间采样,则这些帧表示潜在的质量问题。在框904,注意到那些被确定为描述快动作和复杂视频的帧,跳过这些帧的重采样。
视频的空间去同步化
本节讨论空间去同步化,即由图1的框104引入的主题。空间去同步化可以与视频的伪随机时间采样结合使用以创建去同步化。空间去同步化的一实施方式包括全局操作和局部操作两者。全局操作包括帧旋转、缩放和平移(RST)。局部操作包括平滑改变随机弯曲和亮度过滤。为了获得好的感知质量,用于这些操作的参数被生成为在空间和时间上平滑。
RST操作是空间去同步化的一种形式。旋转、缩放和平移(移位)可用齐次坐标表示。假定在RST操作之前的坐标是(x1,y1),在RST之后是(x2,y2),θ度的旋转将得出以下关系
x 2 y 2 1 = cos θ sin θ 0 - sin θ cos θ 0 0 0 1 x 1 y 1 1 . - - - ( 14 )
类似地,可以得出在(tx,ty)平移之后的坐标关系
x 2 y 2 1 = 1 0 t x 0 1 t y 0 0 1 x 1 y 1 1 , - - - ( 15 )
以及在缩放之后的关系
x 2 y 2 1 = s x 0 0 0 s y 0 0 0 1 x 1 y 1 1 . - - - ( 16 )
整体效果可旋转、平移以及缩放变换矩阵来表示。
在等式14-16的实现中,旋转角度θ,缩放因子sx和sy,以及平移量tx和ty可以被选择成在一定范围内从而实现RST操作的不可觉察性。与此一致的选择包括:θ∈[-Θ,Θ];sx,sy∈[1-S,1+S];ty∈[-Γ,Γ]。在该实施方式中,使用三次样条内插,并且周期被选择为T=32。在一实施方式中,RST参数范围被设置为Θ=π/100,S=0.04,并且Γ为帧维度的1%。
图10示出通过应用通常包括帧旋转、缩放和平移(RST)的全局操作的策略表征的空间去同步化实施方式1000。在框1002,旋转受保护视频中的点。在框1004,缩放受保护视频中的点。在框1006,平移受保护视频中的点。注意,可按需应用一个、两个或所有RST操作。这些操作提供随机性,并且构成应用到视频中的指纹的一部分。
随机弯曲是一种用于在随机亚像素位置上对图像重新采样的工具。通常在数字图像中,在均匀网格上对像素进行采样,如图11所示。在随机弯曲中,原始采样网格被使用链(key)生成的伪随机采样网格所取代。采样点的数目可在弯曲之前或之后保持不变。为了保持感知质量,需要满足若干限制。第一是保持采样位置的次序,例如,如果两个采样位置,(xi,yk)和(xj,yk)在同一“行”上,其中i<j,则xi<xj。同样的规则应用到列次序上。第二是确保大多数的区域被大致均匀地采样。即数学上,对面积大于A的任何凸起区域S,在S中必需存在至少一个采样点P。选择空间扰动采样网格作为弯曲网格。对每个原始采样位置(x,y),生成扰动矢量(A,Ay)且新采样位置(x’,y’)是
x’=x+Δx    (17a)
以及
y’=x+Δy    (17b)
所有采样位置的扰动矢量(Δx(i,j),Δy(i,j))形成一个场。为了确保扰动矢量场在空间上平滑变化,周期性地获得i.i.d.扰动矢量并且将矢量场内插到未充填的位置。这可通过以下两个步骤实现:
对于k=0,1,2,...,r=0,1,2,...,以及某一周期T,生成扰动矢量(Δx(kT,rT),Δy(kT,rT)。
使用双线性或双三次内插将扰动矢量值内插到2-D场上。首先应用行内插,然后应用列内插。
图12示出通过随机弯曲操作表征的空间去同步化实施方式1200。在框1202,通常使用链来生成伪随机采样网格。在框1204,相对于行和列保持采样位置的次序。在框1206,对面积大于阈值的所有区域进行采样。在框1208,对采样位置周期性地生成扰动矢量。在框1210,通常通过诸如内插的技术对扰动矢量进行平滑。
亮度过滤是用于随机锐化或者平滑视频中不同区域的工具。亮度过滤具有两个效果。第一,在时间内插、空间RST和弯曲操作之后,所生成的图象趋于模糊。因此,可以使用边缘-锐化滤器来增强最终输出的感知质量。第二,亮度滤器的参数可为随机,从而在去同步化视频中提供更多的随机性。在表征去同步化系统的实施方式中,考虑以下形式的对称的3×3的亮度滤器
- B / 8 - B / 8 - B / 8 - B / 8 A + B - B / 8 - B / 8 - B / 8 - B / 8 . - - - ( 17 C )
在此参数A控制滤器的总能量并且参数B负责锐化效果。为了好的感知质量,A应该接近于1并且B应该大于0以便于实现边缘锐化效果。在一示例实施方式中,A在[1-0.04,1+0.04]方位内,B在[0,0.7]的范围内。
图13示出通过亮度过滤表征的空间去同步化实施方式1300。在框1302,创建对称亮度滤器。过滤器可以是等式(17C)的形式,或者类似形式。在框1304,选择参数以增加感知质量并且增加视频的指纹化拷贝中的随机性。在其中使用诸如等式(17C)的滤器的一实施方式中,选择参数A和B以便按需调谐亮度滤器。
参数平滑和优化工具被配置为控制参数的值以及产生视频的不同去同步化拷贝。一种这样的工具,‘参数离散化’帮助为与不同视频拷贝关联的参数提供足够不同的值。如上所述,RST参数被限制以保持感知质量。此外,为了在视频不同去同步化的拷贝之间产生充分的差异,参数也需要用足够大的步长被离散化(即使其离散)。为了确定适合离散化的步长,可以进行以下试验。在一实施方式中,对640×480帧的两个拷贝进行平均,其中第一拷贝是原始拷贝,且第二拷贝是旋转Δθ度后的拷贝。然后,对两个帧进行平均以及观察以确定在经平均的帧中是否存在任何的感知伪像,诸如模糊。通常,使用导致感知伪像的最小Δθ值作为离散步长。使用类似的方法确定缩放和平移参数的步长。例如,为旋转参数选择8个量子化级,为平移参数选择8个,以及为缩放参数选择8个。这些结果被归纳在表I中。
表I
RST操作的参数离散化
旋转 平移 缩放
步长 0.4度 2像素 0.01
最小 -1.4度 -7像素 0.965
最大 1.4度 7像素 0.995
8 8 4
图14示出通过参数平滑和优化来表征的空间去同步化实施方式1400。该操作提供离散步长,可通过该步长执行空间去同步化操作。在框1402,在帧上执行旋转操作。在框1404,对该帧和已旋转帧一起进行平均。执行该平均所用的方法具有一定的灵活性。在框1406,确定执行旋转操作所用的较小值,其中该值造成平均帧中的感知伪像。在框1408,该较小值在指纹化拷贝创建中用作离散步长。在框1410,针对缩放和平移操作重复框1402-框1408,由此获得这些操作的离散步长。
时间平滑工具用于平滑去同步化帧的平滑视频图像。作为3-D信号,视频为空间去同步化提供机会和问题。由于人类视觉系统可在观看图像之后的短时间内保持它,则约每秒30帧的标准视频帧率可以平滑掉个别帧中的较小失真。结果,在作为静态图像观看时会导致感知伪像的某些失真在作为电影观看时则不会导致感知伪像。另一方面,人眼对于视频序列中的时间和空间变化是敏感的。
例如,当帧旋转0.5度并且作为静态图像观看时,通常该旋转不会被注意到。然而,如果该帧被另一个旋转了-0.5度的帧所跟随,则这种旋转将因“跳动”效果而被清晰地注意到。
为了在我们的模式中实现时间平滑,选择为每隔L帧生成RST、弯曲和亮度过滤参数并且使用线性内插来获得中间帧中的参数场。选择线性内插以节省参数更新时间和所需存储。例如,假定为k-th帧生成旋转参数r(k)以及为(k+L)-th帧生成r(k+L),则k<i<k+L的参数r(i)为
r(i)=(i-k)(r(k+L)-r(k))/L
在以上实现中,参数L=128,如果视频率是每秒30帧,则它对应于大约4秒。
图15示出通过时间平滑表征的空间去同步化实施方式1500。在框1502,对于每N个帧,RST(旋转,缩放和平移),弯曲和/或亮度过略参数在视频中生成。在框1504,N个帧的组之间的中间帧的参数场由内插确定。结果,增强了时间平滑,由此去除一些由RST、弯曲和亮度过滤操作引起的跳动效果。
参数分布工具帮助分离视频的去同步化版本的帧。假定有帧F和该帧的两个去同步化版本帧F1和F2。为了防止共谋,在F1和F2之间的距离尽可能远是所期望的。一个可能的距离量度是像素和像素之间的差,即d(F1(x,y),F2(x,y))=|F1(x,y)-F2(x,y)|。假定F1和F2只是F的旋转版本,其中F1被旋转θ1度,F2被旋转θ2度。考虑帧F1中位置(x,y)上的像素来自帧F中位置(x1,y1)上,并且帧F2中的像素(x,y)是帧F中的帧位置(x2,y2),即
F1(x,y)=F(x1,y1),以及F2(x,y)=F(x2,y2)。
根据等式(14),有
x1=cosθ1x-sinθ1y
y1=sinθ1x+cosθ1y
x2=cosθ2x-sinθ2y,以及
y2=sinθ2x+cosθ2y
假定旋转角度θ1和θ2很小,因为期望保持大致相同的内容,所以该假定在去同步化情形中是正确的。在这个假定下,得到
cosθ1≈0;sinθ1≈θ1;cosθ2≈0;sinθ2≈θ2.    (19)
在两个帧之间的像素和像素的距离是
dist(F1(x,y),F2(x,y))
=|F1(x,y)-F2(x,y)|
=|F(x1,y1)-F(x2,y2)|
≈|F(x-θ1y,y+θ1x)-F(x-θ2y,y+θ2x)|    (20)
假定F的亮度值在任何位置(x,y)的较小邻近区域中大致线性变化,并且使用L2范数来度量空间距离,然后上式变为
dist ( F 1 ( x , y ) , F 2 ( x , y ) )
= α · | | ( ( x - θ 1 y , y + θ 1 x ) , ( x - θ 2 y , y + θ 2 x ) | |
= α · | θ 1 - θ 2 | · x 2 + y 2 . - - - ( 21 )
可针对平移、缩放和弯曲操作导出类似的结果。在这种推导过程中显而易见的是如果期望将在去同步化帧的任何两个版本之间的距离最大化,则需要最大化任何两个旋转参数之间的距离。由于两个旋转参数是从离散集{-Θ,-Θ+Δθ,-Θ+2Δθ,...,Θ}中取值的i.i.d随机变量,则问题变为使θ1与θ2之间的期望距离最大化的参数分布p。使用L2范数来度量距离并且将问题表示如下:
max P E ( θ 1 - θ 2 ) 2 . - - - ( 22 )
上式得到分布为Pr(θ=-Θ)=Pr(θ=Θ)=1/2。
这样的分布,虽然使帧的任何两个旋转拷贝之间的期望距离最大化,但是不能抵抗强力攻击,因为随机的量太小。因此,可将随机性限制添加到公式(22)中,如下,
max P E ( θ 1 - θ 2 ) 2 在H(P)≥h的条件下               (23)
其中H(.)表示分布熵,并且h是该熵的阈值。由于旋转参数已被量化为8个级,最可能的熵是3位。选择熵的阈值为h=2.8位,并且对(23)进行数值求解以获得在表II中前两行中的分布。由于pmf是对称的,仅给出一侧的pmf。注意的是该分布是对于8个级的pmf的(23)的解。因此,它还可用作平移参数的分布。对于缩放参数,由于它被量化为4个级,选择熵的阈值h=1.9位并且对应pmf在表II中最后两行中示出。
表IIRST操作的参数分布
8个值  -Θ  -Θ+Δθ  -Θ+2Δθ -Θ+3Δθ
(一侧)pmf  0.2375  0.1219  0.0781 0.0625
4个值  -Θ+Δθ  -Θ+2Δθ -Θ+3Δθ
pfm  0.3420  0.1580  0.1580 0.3420
图16示出由参数分布工具表征的空间去同步化实施方式1600。这种工具在增加视频的两个指纹化拷贝中的两个帧之间的距离是有用的。在框1602,分离帧F1和F2,其中帧F1和F2被关联在视频指纹化拷贝1和2中。通过与F1和F2关联的距离旋转、缩放、平移和随机弯曲参数来执行分离。在框1604,向F1和F2的创建中使用的参数引入随机性限制,其中随机性限制是超过阈值的参数的分布的熵的函数。
示例性的计算环境
图17示出适于实现数字视频指纹化的抗共谋去同步化的示例性计算环境。计算环境1700包括计算机1702形式的通用计算系统。计算机1702的组件可以包括,但是不局限于,一个或者多个处理器或处理单元1704、系统存储器1706、以及将包括处理器1704的各种系统组件耦合到系统存储器1706的系统总线1708。系统总线1708表示若干类型总线结构中一种或多种,包括存储器总线或存储器控制器、外围总线、外围组件互连(PCI)总线、加速图形端口、以及使用多种总线架构中任一种的处理器或局域总线。
计算机1702通常包括多个计算机可读介质。这种介质可以是可由计算机1702访问的任何可用介质并且包括易失性和非易失性介质、可移动或不可移动介质。系统存储器1706包括诸如随机存取存储器(RAM)1710的易失性存储器形式的计算机可读介质和/或诸如只读存储器(ROM)1712的非易失性存储器。包括在诸如启动过程中帮助在计算机1720内元件之间传递信息的基本例程的基本输入/输出系统(BIOS)1714存储在ROM 1712中。RAM 1710通常包含可由处理单元1704所操作及时访问和/或正在其上操作的数据和/或者程序模块。
计算机1702也可以包括其它可移动/不可移动、易失性/非易失性计算机存储介质。作为示例,图17示出用于向不可移动、非易失性磁性介质(未示出)读写的硬盘驱动器1716,用于向可移动、非易失性磁盘1720(例如,“软盘”)读写的磁盘驱动器1718,以及用于向诸如CD-ROM、DVD-ROM或者其它光介质的可移动、非易失性光盘1724读和/或写的光盘驱动器1722。硬盘驱动器1716、磁盘驱动器1718和光盘驱动器1722各自通过一个或者多个数据介质接口1725连接到系统总线1708。或者,硬盘驱动器1716、磁盘驱动器1718、和光盘1722可以通过SCSI接口(未示出)连接到系统总线1708。
磁盘驱动器及其关联计算机可读介质为计算机1702提供计算机可读指令、数据结构、程序模块和其它数据的非易失性存储。虽然示例示出硬盘1716、可移动磁盘1720和可移动光盘1724,但是应该理解,也可使用能够存储可由计算机访问的数据的其他类型计算机可读介质来实现示例性计算系统和环境,这些介质诸如盒式磁带或者其它磁性存储设备、闪存卡、CD-ROM数字多功能盘(DVD)或者其他光存储、随机存取存储器(RAM)、只读存储(ROM)、电可擦可编程只读存储器(EEPROM)等
任何数量的程序模块可存储在硬盘1716、磁盘1720、光盘1724、ROM 1712和/或RAM 1710上,包括作为实例的操作系统1726、一个或多个应用程序1728、其它程序模块1730和程序数据1732。操作系统1726、一个或多个应用程序1728、其它程序模块1730、和程序数据1732(或其某种组合)中的每个可以包括用户网络访问信息的高速缓存方案的实施方式。
计算机1702可以包括标识为通信介质的各种计算机/处理器可读介质。通信介质通常体现为在诸如载波或其它传输机制的调制数据信号中的计算机可读指令、数据结构、程序模块或其它数据,并且包括任何信息传递介质。术语“调制数据信号”表示以在该信号中编码信息的方式设定或更改其一个或多个特征的一种信号。作为示例而非限制,通信介质包括诸如电线网络或直接接线连接的有限介质,以及诸如声学、RF、红外和其它无线介质的无线介质。以上任一种的组合也包含在计算机可读介质的范围内。
用户可以经由诸如键盘1734和定点设备1736(例如,“鼠标”)的输入设备向计算机系统1702输入命令和信息。其它输入设备1738(未具体示出)可包括麦克风、操纵杆、游戏垫、圆盘式卫星天线、串行端口、扫描仪等。这些和其它输入设备经由耦合到系统总线1708的输入/输出接口1740连接到处理单元1704,但是可以经由诸如平行端口、游戏端口、或者通用串行总线(USB)的其它接口和总线结构来连接。
监视器1742或者其它类型的显示设备也可以经由诸如视频适配器1744的接口连接到系统总线1708。除了监视器1742以外,其它输出外围设备可以包括经由输入/输出接口1740连接到计算机1702的诸如扬声器(未示出)和打印机1746的组件。
计算机1702可以在使用到一个和多个诸如远程计算设备1748的远程计算机的逻辑连接的网络化环境中操作。作为示例,远程计算设备1748可以是个人计算机、便携式计算机、服务器、路由器、网络计算机、对等设备或者其它共用网络节点等。远程计算设备1748被示为包括本文所述的与计算系统1702相关的元件和特征中多个或全部的便携式计算机。
在计算机1702和远程计算机1748之间的逻辑连接可示为局域网(LAN)1750和通用广域网(WAN)1752。这种网络环境在办公室、企业内部计算机网络、内联网和因特网中是常见的。当在局域网络环境中实现时,计算机1702经由网络接口或者适配器1754连接到局域网络1750。当在广域网网络环境中实现时,计算机1702通常包括调制解调器1756或者用于在广域网1752上建立通信的其它装置。可内置或外置于计算机1702的调制解调器1756可以经由输入/输出接口1740或者其它适当机制连接到系统总线1708。应该理解,所示网络连接是示例性的,并且可使用在计算机1702和1748之间建立通信链接的其它装置。
在诸如通过计算环境1700所示的网络化环境中,相关于计算机1702描述的程序模块或其部分可以存储在远程存储器存储设备中。作为示例,远程应用程序1758驻留在远程计算机1748的存储设备上。为说明目的,诸如操作系统的应用程序和其它可执行组件在此作为分离块示出,但是应该意识到,这些程序和组件可在不同时间驻留在计算机系统1702的不同存储组件上,并且可由该计算机的数据处理器执行。
总结
通过部分地参照图1-6,8-10和12-16的流程图,描述了用于实现数字视频指纹化的抗共谋去同步化的诸方面的示例性系统和方法。所述方法的因素可通过包括例如ASIC上的硬件逻辑块的任何适当装置或者通过执行处理器可读介质上定义的处理器可读指令来实现。本文所用的“处理器可读介质”可以是能够包含、存储、通信、传播或传输指令以供处理器使用或执行的任何装置。处理器可读介质可以是,但不局限于电子、磁性、光学、电磁、红外、或半导体系统、装置、设备或传播介质。除此之外,处理器可读介质的更具体示例包括具有一个或多个接线的电子连接、便携式计算机软磁盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦可编程只读存储器(EPROM或闪存存储器)、光纤、可重写压缩盘(CD-RW)以及便携式压缩盘只读存储器(CDROM)。
虽然本说明书诸方面包括具体描述较佳实施方式的结构和/或方法特征的语言,但是应该理解,所附权利要求书并不受限于所述的具体特征或动作。相反,具体特征和动作只作为示例性的实现而公开,并表示更一般的概念。

Claims (20)

1.一种用于视频数字指纹化的方法,所述方法包括:
对受保护视频进行时间去同步化;
对所述受保护视频进行空间去同步化;以及
创建通过所述时间和空间去同步化所更改的所述受保护视频的指纹化拷贝;
其中,所述受保护视频的多个指纹化拷贝的组合会造成带可视伪像的经共谋的视频。
2.如权利要求1所述的方法,其特征在于,对所述受保护视频进行时间去同步化包括应用仿射变形解决方案,其中所述仿射变形解决方案包括:
导出描述所述受保护视频中从帧F1向帧F2的仿射变形的等式;以及
通过求解从所述等式导出的最小值问题来找到描述所述仿射变形的参数矢量。
3.如权利要求1所述的方法,其特征在于,对所述受保护视频进行时间去同步化包括应用仿射变形解决方案,其中所述仿射变形解决方案包括:
估算从帧F1向帧F2变形的矩阵W;
计算向前和向后仿射矩阵;
通过在变形坐标上重采样帧F1和帧F2来获得向前和向后变形帧;以及
内插非整数坐标以产生输出值。
4.如权利要求1所述的方法,其特征在于,对所述受保护视频进行时间去同步化包括应用光流解决方案,其中所述光流解决方案包括:
假定在运动之前和之后到点(x,y)上的亮度f恒定;
导出流等式,其中
Figure FSB00000443579300011
是f的空间梯度矢量;以及
使用
Figure FSB00000443579300012
和评估的所述亮度的空间和时间梯度来计算采样所述受保护视频所用的运动矢量。
5.如权利要求1所述的方法,其特征在于,对所述受保护视频进行时间去同步化包括应用运动矢量切换解决方案,其中所述运动矢量切换解决方案包括:
生成多对变形帧;
将运动矢量与每对变形帧关联,由此获得多个运动矢量;
将误差函数应用到每个所述运动矢量;以及
使用所述误差函数来从多个所述运动矢量中选择一运动矢量以供所述时间去同步化中使用。
6.如权利要求1所述的方法,其特征在于,对所述受保护视频进行时间去同步化包括应用运动补偿时间内插解决方案,其中所述运动补偿时间内插解决方案包括:
通过将帧F1和帧F2向时间实例变形来生成帧G1和帧G2
按照帧F1和帧F2的函数来重采样帧G1和帧G2;以及
获得作为帧G1和帧G2的函数的内插帧F。
7.如权利要求1所述的方法,其特征在于,对所述受保护视频进行时间去同步化包括应用受限的随机时间重采样解决方案,其中所述受限的随机时间重采样解决方案包括:
沿时间轴生成伪随机时间标定以及通过帧内插方式在新生成的时间实例上重采样所述受保护视频;
将所述生成限制于要求在原始视频中的两个帧间隔之间重采样中至少一个帧;
生成将被均匀分布在[1-δ,1+δ]之间的随机时间增量Δi
初始化t(0)=0并计算时间标定t(i)=t(i-1)+Δi,i=1,2,…,N,,其中N是经重采样的视频的长度;
将值t(1)缩放到t(N)以要求所有所述时间标定落在[0,M]内,其中M是在所述原始视频中的帧的总数;以及
选择α来控制变量长度以及选择δ来控制时间跳动。
8.如权利要求1所述的方法,其特征在于,对所述受保护视频进行时间去同步化包括内插跳过策略,其中所述内插跳过策略包括:
确定在所述受保护视频中哪些帧描述快动作和复杂视频;以及
跳过这些帧的重采样。
9.如权利要求1所述的方法,其特征在于,对所述受保护视频进行空间去同步化包括:
旋转、缩放和平移所述受保护视频中的点。
10.如权利要求1所述的方法,其特征在于,对所述受保护视频进行空间去同步化包括随机弯曲解决方案,其中所述随机弯曲解决方案包括:
使用链来生成伪随机采样网格;
保持采样位置相对于行和列的次序;
采样所有面积大于阈值的区域;
周期性地对采样位置生成扰动矢量;以及
通过内插来平滑所述扰动矢量。
11.如权利要求1所述的方法,其特征在于,对所述受保护视频进行空间去同步化包括亮度过滤,其中所述亮度过滤包括:
创建对称的亮度滤器;以及
选择所述滤器中的参数来增加感知质量以及增加所述受保护视频的指纹化拷贝中的随机性。
12.如权利要求1所述的方法,其特征在于,对所述受保护视频进行空间去同步化包括参数离散化,其中所述参数离散化包括:
在帧上执行旋转操作;
对所述帧与经旋转的帧进行平均;
确定执行所述旋转操作所用的造成经平均的帧中感知伪像的较小值;
在创建所述指纹化拷贝中使用所述较小值作为离散步长;以及
针对缩放和平移操作重复。
13.如权利要求1所述的方法,其特征在于,对所述受保护视频进行的空间去同步化包括时间平滑,其中所述时间平滑包括:
生成旋转、缩放和平移以及亮度过滤参数,所述参数用于每隔N个帧对所述受保护视频中的帧进行空间去同步化;以及
内插以获得N个帧的组之间的中间帧中的参数场。
14.如权利要求1所述的方法,其特征在于,对所述受保护视频进行空间去同步化包括参数分布,其中所述参数分布包括:
通过与F1和F2关联的距离旋转、缩放、平移以及随机弯曲参数来分离帧F1和F2,其中帧F1和F2在所述受保护视频的帧F的指纹化拷贝1和2中关联;以及
向所述参数引入随机性限制,其中所述随机性限制是超过阈值的参数的分布的熵的函数。
15.一种用于视频数字指纹化的方法,所述方法包括:
将第一和第二时间去同步化应用到受保护视频;
将第一和第二空间去同步化应用到所述受保护视频;以及
根据所述时间去同步化和空间去同步化来创建所述受保护视频的第一和第二视频指纹化拷贝;
其中将所述第一和第二指纹化拷贝组合到经共谋的视频中会造成可感知伪像。
16.如权利要求15所述的方法,其特征在于,应用时间去同步化包括:
用随机时间标定取代与所述受保护视频的帧采样关联的时间标定。
17.如权利要求15所述的方法,其特征在于,应用空间去同步化包括:
用于应用到多个帧的全局操作以及应用到个别帧的局部操作。
18.一种用于视频数字指纹化的方法,所述方法包括:
通过使用伪随机时间标定来对受保护视频进行时间去同步化;
通过与随机弯曲操作组合地应用旋转、缩放和平移操作来对所述受保护视频进行空间去同步化;以及
创建所述时间和空间去同步化所更改的所述受保护视频的指纹化拷贝;
其中,所述受保护视频的多个拷贝的组合会造成所述受保护视频的带可视伪像的拷贝,其中所述受保护视频的每个拷贝都具有时间和空间去同步化。
19.如权利要求18所述的方法,其特征在于,所述时间去同步化包括:
将仿射变形解决方案应用于重采样,其中参数矢量用于改变所述受保护视频中的帧。
20.如权利要求18所述的方法,其特征在于,所述空间去同步化包括:
全局性地应用旋转、缩放和平移操作以及局部地应用随机弯曲操作。
CN2006800182588A 2005-05-27 2006-04-21 用于数字视频指纹化的抗共谋去同步化 Active CN101427265B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/139,176 US7397933B2 (en) 2005-05-27 2005-05-27 Collusion resistant desynchronization for digital video fingerprinting
US11/139,176 2005-05-27
PCT/US2006/015558 WO2006130271A2 (en) 2005-05-27 2006-04-21 Collusion resistant desynchronization for digital video fingerprinting

Publications (2)

Publication Number Publication Date
CN101427265A CN101427265A (zh) 2009-05-06
CN101427265B true CN101427265B (zh) 2011-08-03

Family

ID=37463405

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2006800182588A Active CN101427265B (zh) 2005-05-27 2006-04-21 用于数字视频指纹化的抗共谋去同步化

Country Status (10)

Country Link
US (1) US7397933B2 (zh)
EP (1) EP1883895B1 (zh)
JP (1) JP5095611B2 (zh)
KR (1) KR101224744B1 (zh)
CN (1) CN101427265B (zh)
BR (1) BRPI0610169A2 (zh)
IL (1) IL186758A (zh)
MX (1) MX2007014559A (zh)
RU (1) RU2407215C2 (zh)
WO (1) WO2006130271A2 (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060088225A1 (en) * 2004-10-26 2006-04-27 The Secretary Of State For The Home Department Comparison
WO2008136933A1 (en) * 2007-05-07 2008-11-13 Thomson Licensing Method and apparatus for processing video sequences
GB0819069D0 (en) 2008-10-17 2008-11-26 Forensic Science Service Ltd Improvements in and relating to methods and apparatus for comparison
US8913779B2 (en) * 2010-02-02 2014-12-16 Futurewei Technologies, Inc. System and method for securing media content
CN101872398B (zh) * 2010-06-13 2012-05-30 上海交通大学 基于码分多址和分集技术的抗合谋数字指纹方法
US8942430B2 (en) 2010-07-19 2015-01-27 The University Of Maryland, College Park Method and apparatus for authenticating area biometric scanners
JP5781682B2 (ja) * 2011-03-23 2015-09-24 メタイオ ゲゼルシャフト ミット ベシュレンクテル ハフツングmetaio GmbH 共線変換ワープ関数を用いて第1の画像の少なくとも一部と第2の画像の少なくとも一部を位置合わせする方法
JP2014512755A (ja) * 2011-03-25 2014-05-22 トムソン ライセンシング データをビデオストリーム内に隠し、復元するための方法
WO2014078068A1 (en) * 2012-11-13 2014-05-22 Intel Corporation Content adaptive transform coding for next generation video
DE102013000301A1 (de) * 2013-01-10 2014-07-10 Basler Ag Verfahren und Vorrichtung zur Erzeugung eines verbesserten Farbbildes mit einem Sensor mit Farbfilter
WO2014120367A1 (en) 2013-01-30 2014-08-07 Intel Corporation Content adaptive parametric transforms for coding for next generation video
CN104796733B (zh) * 2014-01-20 2019-03-29 北京数码视讯科技股份有限公司 视频数据的处理方法、装置及系统
CN106233716B (zh) * 2014-04-22 2019-12-24 日本电信电话株式会社 动态错觉呈现装置、动态错觉呈现方法、程序
CN105517671B (zh) * 2015-05-25 2020-08-14 北京大学深圳研究生院 一种基于光流法的视频插帧方法及系统
US10469486B2 (en) 2016-04-08 2019-11-05 University Of Maryland Method and apparatus for authenticating device and for sending/receiving encrypted information
RU2658811C2 (ru) * 2016-12-12 2018-06-22 Общество С Ограниченной Ответственностью "Дисикон" Способ и система устранения эффекта скользящего затвора камеры
KR102154897B1 (ko) 2018-09-18 2020-09-10 이화여자대학교 산학협력단 블록체인 및 핑거프린팅을 이용한 디지털 콘텐츠 관리 방법, 이를 수행하기 위한 장치 및 기록매체
US10860845B2 (en) * 2018-10-22 2020-12-08 Robert Bosch Gmbh Method and system for automatic repetitive step and cycle detection for manual assembly line operations

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5664018A (en) * 1996-03-12 1997-09-02 Leighton; Frank Thomson Watermarking process resilient to collusion attacks
US6539475B1 (en) * 1998-12-18 2003-03-25 Nec Corporation Method and system for protecting digital data from unauthorized copying
US6671376B1 (en) * 1998-08-12 2003-12-30 Kabushiki Kaisha Toshiba Video scramble/descramble apparatus
US6785401B2 (en) * 2001-04-09 2004-08-31 Tektronix, Inc. Temporal synchronization of video watermark decoding
CN1633689A (zh) * 2002-02-19 2005-06-29 皇家飞利浦电子股份有限公司 共谋坚固水印

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4914694A (en) * 1988-04-11 1990-04-03 Eidak Corporation Modifying a television signal to inhibit recording/reproduction
JP2760083B2 (ja) * 1989-09-22 1998-05-28 富士通株式会社 フレーム間補間方式
US5355411A (en) * 1990-08-14 1994-10-11 Macdonald John L Document security system
JP2644367B2 (ja) * 1990-10-26 1997-08-25 富士通株式会社 フレーム間補間方式
CA2184949C (en) * 1995-09-28 2000-05-30 Ingemar J. Cox Secure spread spectrum watermarking for multimedia data
US6381367B1 (en) * 1997-05-29 2002-04-30 Macrovision Corp. Method and apparatus for compression compatible video fingerprinting
US6091822A (en) * 1998-01-08 2000-07-18 Macrovision Corporation Method and apparatus for recording scrambled video audio signals and playing back said video signal, descrambled, within a secure environment
US6145081A (en) * 1998-02-02 2000-11-07 Verance Corporation Method and apparatus for preventing removal of embedded information in cover signals
US6975743B2 (en) * 2001-04-24 2005-12-13 Microsoft Corporation Robust and stealthy video watermarking into regions of successive frames

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5664018A (en) * 1996-03-12 1997-09-02 Leighton; Frank Thomson Watermarking process resilient to collusion attacks
US6671376B1 (en) * 1998-08-12 2003-12-30 Kabushiki Kaisha Toshiba Video scramble/descramble apparatus
US6539475B1 (en) * 1998-12-18 2003-03-25 Nec Corporation Method and system for protecting digital data from unauthorized copying
US6785401B2 (en) * 2001-04-09 2004-08-31 Tektronix, Inc. Temporal synchronization of video watermark decoding
CN1633689A (zh) * 2002-02-19 2005-06-29 皇家飞利浦电子股份有限公司 共谋坚固水印

Also Published As

Publication number Publication date
IL186758A0 (en) 2008-03-20
BRPI0610169A2 (pt) 2010-06-01
KR20080012281A (ko) 2008-02-11
KR101224744B1 (ko) 2013-01-21
WO2006130271A3 (en) 2008-11-20
JP2008546277A (ja) 2008-12-18
RU2407215C2 (ru) 2010-12-20
IL186758A (en) 2011-03-31
EP1883895B1 (en) 2018-10-10
EP1883895A4 (en) 2011-08-10
WO2006130271A2 (en) 2006-12-07
EP1883895A2 (en) 2008-02-06
JP5095611B2 (ja) 2012-12-12
US7397933B2 (en) 2008-07-08
MX2007014559A (es) 2008-11-06
RU2007143962A (ru) 2009-06-10
US20060269097A1 (en) 2006-11-30
CN101427265A (zh) 2009-05-06

Similar Documents

Publication Publication Date Title
CN101427265B (zh) 用于数字视频指纹化的抗共谋去同步化
CN101855635B (zh) 可靠地与媒体内容对应的媒体指纹
Cheung et al. Video epitomes
US11501118B2 (en) Digital model repair system and method
Hartung et al. Digital watermarking of MPEG-4 facial animation parameters
Koh et al. Video stabilization based on feature trajectory augmentation and selection and robust mesh grid warping
JP4643741B2 (ja) 画像処理方法及び画像処理装置
CN108289175B (zh) 一种低延迟虚拟现实显示方法及显示系统
Luo et al. Convolutional neural networks-based stereo image reversible data hiding method
Zhang et al. Reversibility improved data hiding in 3D mesh models using prediction-error expansion and sorting
CN110889798B (zh) 三维视频中二维视频帧和深度图版权保护的零水印方法
Kumar et al. A multi-image hiding technique in dilated video regions based on cooperative game-theoretic approach
US7006254B2 (en) Method and system for data hiding and authentication via halftoning and coordinate projection
Yin et al. Reversible data hiding in binary images by flipping pattern pair with opposite center pixel
Junayed et al. Consistent video inpainting using axial attention-based style transformer
Liu et al. Arbitrary-scale super-resolution via deep learning: A comprehensive survey
Holla et al. A GPU scheme for multi-secret visual sharing with varied secret dimensions and contrast enhancement using blind super-resolution
CN109166178A (zh) 一种视觉特性与行为特性融合的全景图像显著图生成方法及系统
KR102442980B1 (ko) Erp 기반 다시점 360도 영상의 초해상화 방법 및 영상처리장치
AU2021102762A4 (en) A Novel Watermarking Techniques for 3D Mesh Objects
JP4637275B2 (ja) 画像処理方法及び画像処理装置
Mierle Open source 3d reconstruction from video
KR20050001103A (ko) 비디오 영상으로부터 투영행렬을 결정하는 방법
Bagade et al. Intelligent Morphing and Steganography Techniques for Multimedia Security
Fenzi et al. Markov random fields pre-warping to prevent collusion in image transaction watermarking

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150428

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20150428

Address after: Washington State

Patentee after: Micro soft technique license Co., Ltd

Address before: Washington State

Patentee before: Microsoft Corp.