CN1160467A

CN1160467A - 在视频信号中插入源识别数据的方法和装置

Info

Publication number: CN1160467A
Application number: CN95195554A
Authority: CN
Inventors: 格里奥里·C·科普兰
Original assignee: Macrovision Corp
Current assignee: Rovi Corp
Priority date: 1994-08-24
Filing date: 1995-08-22
Publication date: 1997-09-24
Anticipated expiration: 2015-08-22
Also published as: DE69523464T2; DK0777946T3; EP0853433B1; EP0777946B1; US5739864A; HK1003288A1; ATE207682T1; CA2195942C; KR100367774B1; CA2195942A1; KR970705898A; JPH10504944A; CN1138416C; AU3370395A; US5668603A; ATE282277T1; AU698870B2; EP0777946A1; DE69523464D1; EP0853433A1

Abstract

在不干扰观看视频信号的情况下将源识别数据(指纹)插入到视频信号的动态图像区并且由称作指纹阅读器的数据阅读器恢复该数据。数据插入或“指纹输入”过程包括动态地偏移视频轴以携带信息，该信息能够从由数据注入单元的输出制成的磁带中读取。具体地说，指纹携带使用单元的ID号和当前数据。偏置持续一整个场并且具有约0.5IRE幅值，即一给定场具有额定设定值或与额定值差0.5IRE的设定值。每128个字段重复该数据以便为阅读器提供充足的采样点以检测和显示源识别数据。

Description

在视频信号中插入源识别数据的方法和装置

随着图像非法翻印的蔓延趋势与日俱增，越来越期望有一种方法能够识别图像记录或图像传送是否来源于被认可的源。采用垂直间隔的数据传送功能的源或磁带识别处理过程已为本技术领域的技术人员所公知。然而，通过消隐和再插入技术这种系统容易消除源识别数据。已知的源识别或“指纹”系统在视频信号的扫描期间不传送数据。

一种形式的图像非法翻印是使用视频摄像机在放电影的剧院中在屏幕和扩音器外来记录画面和声音。公认地，这种方法会制成极次的拷贝。然而，在世界的某些地方，一般是美国以外的国家可以得到这样的拷贝。在电影院中使用图像影片投影系统越来越受到欢迎。一般地，这些系统采用了在投影之前的图像编码形式来保护电子视频信号。然而，垂直间隔源识别和图像编码在信号一旦解码后就不能保护被投影的图像。

电影和其它资料的源识别的方法需要提供一源码以减小非法拷贝的可能，并且如果进行这样的拷贝就识别翻制的电影院或源。

在不干扰视频信号观看的情况下将数据注入到视频信号的扫描图像区中并通过数据阅读器、指纹阅读器恢复数据的方法和装置。数据注入或“指纹插入”过程包括动态地将视频轴(Video Pedestal)偏移以携带信息，该信息能够从任意由数据-注入单元的输出所制成的录像磁带中读取。具体地说，指纹携带使用单元的ID数和当前数据。偏移延续整个场并且其幅值约为0.5IRE单位。给定场具有额定设定值或偏离额定值0.5IRE单位的设定值。

阅读器从视频信号中检测指纹数据并处理播放用的数据。从这个数据中，一个数据能够确定图像信息的源如具体电影院和播放该图像资料的日期。另一个应用可以包括在记录图像时这样的源数据。

图1是数据插入装置的方框图；

图2a-e是表示一系统同步信号字的波形；

图3是指纹阅读器的框图。

数据注入或“指纹插入”过程包括动态地将视频轴偏移以携带信息，该信息能够从任意由数据-注入单元的输出所制成的录像磁带读取或从屏幕播放包含数据的信号的录像磁带读取。具体地说，指纹携带使用单元的ID数和当前数据。偏移延续至少一个完整场并且其幅值约为0.5IRE单位。给定场具有额定设定值或偏离额定值0.5IRE单位的设定值。

将要被插入指纹的视频信号12输入到视频处理器14。视频处理器14提供视频信号12给同步分离器16和H&V消隐器18。指纹数据20输入到数据调制器22。指纹数据20可以是串行或并行形式。

指纹数据格式是64位的信息块。第一个16位是由同步字产生器21产生的(数据)帧同步字；下一个16位是源ID数；最后32位是数据码。图2a是一个典型的同步字。该信息块被无限重复。信号格式是二进制Manchester格式：参考由图2b所示的同步字提供的相位“0”由0-1转变表示，“1”由1-0转变表示。所以每个数据位占据两个字段。本技术领域的技术人员很清楚对相应所调整的恢复过程可以采用其他格式的数据。

数据调制器22接收串行或并行形式的指纹数据20和同步字数据22并产生如上所述的格式化指纹数据，该指纹数据包括表示同步字的16位二进制数据，其后是表示源ID数的16位二进制数和32位表示数据码的二进制数。因为数据要插入到视频信号，所以需要将数据与视频信号同步。同步分离器16的输出包括垂直(场)同步脉冲24。同步分离器16采用电视工程领域技术人员所知的技术从视频信号分离垂直场同步脉冲24。除了将数据设成系统可使用的格式外，数据调制器22使用垂直同步脉冲24将任意格式的指纹数据的开始与场速率同步。

由于数据各个多位二进制数占有一个或更多字段，所以在输入的视频信号的水平和垂直消隐期间的需要使该数据无效。H&V消隐产生器18接收来自视频处理器14的视频信号并产生混合的连接到数据消隐器28的H&V消隐信号26。格式化的指纹数据30连接到数据消隐器28的数据输入端。数据消隐器28在输入视频信号的水平和垂直消隐间隙使用H&V消隐信号26使该数据无效。数据消隐器28的输出是消隐的格式化的指纹数据32，该指纹数据32返回到视频处理器用于加在视频信号上，这样就生成带有指纹的视频信号34。

当带有指纹的视频信号34投影到屏幕上或显示在图像监视器上时，由于插入导致的图像水平变化对于观看者而言是难以察觉的，但是会被任何直接地记录信号的图像记录器检测到或经制作投影图像的屏幕外记录的电视摄像机检测到。

恢复或“读取”过程的操作如图3所示。利用指纹阅读器40检测和分析接到截止频率约为1kHz的低通滤波器44一端的带有指纹的视频信号42中所存在的任意格式化的指纹数据30。低通滤波器44的输出接到30Hz陷波滤波器82。30Hz陷波滤波器82用于将该数据中能够观察到的30Hz分量当作一帧移去从而使由于放像磁头不同导致的磁带输出电平中的偏差成帧。30Hz陷波滤波器可以放置在匹配滤波器52之前或之后。

30Hz陷波滤波器82的输出连接模数转换器46。模数转换器46也接收来自时钟产生器50的时钟信号48。时钟频率约为4kHz。然而从1kHz到15kHz的时钟频率都是可以采用的。时钟频率也可以锁定到输入图像中。图2b所示的模数转换器的输出连接到匹配滤波器52。对于第一次近似，匹配滤波器52将该数据幅值放大两倍并且大量删去图像内容。匹配滤波器52的输出如图2c所示。

由于重放信号中时基误差所以匹配滤波器52的输出不能总是为进一步的处理提供一充分的消除信号。为了提高匹配滤波器52的输出信号的实用性，该输出信号连到平方器53从而为锁相环55在该数据的二进制位产生一时钟信号。该时钟信号接到存储寄存器56以消除由于时基误差造成的偏差。

匹配滤波器52的输出(该输出包含具有被删除过视频信号的数据)与相关的同步字一起建立数据帧。一旦数据被正确地成帧，就能数字地集成以进一步提高信噪比(SNR)。这个过程包括将128个连续字段的数字值写入存储寄存器56中，该存储寄存器56包括128个独立的由时钟信号57进行时钟控制的寄存器。移位寄存器56、相关器58、同步字产生器60、峰值检测器62和地址控制器64都在环路中，该环路是用于将数据同步以便于用户阅读。存储寄存器56的输出连接到相关器58。另外，预编程的同步字产生器60将如图2d所示的单一同步字66连接到相关器58从而在指纹数据32中使同步字66同步字信息相关。如图2e所示，相关数据68连接到峰值检测器62。如果匹配，将下个128字段的数字值加到第一次的那些值上，然后按照需要继续进行处理。随着累加继续进行，每个寄存器的数据值将直接乘以次数而音频和噪声趋于达到平均值。在通过适当次数后，一般多于二十次，128个高或低的偏置字段的复原序列连接到加法器72和64字寄存器76，在这里数据被解码为原始的64位，相关的数据由输出端80读出。

上面描述的装置可以使用硬件施现或硬件和软件相结合。所附资料是对于指纹阅读的软件部分源码信息使用Matlab语音的源码信息。

被读出的数据能够连接到任意能够读64位数据流的显示设备。这样的设备可以是字母数字显示、计算机屏或用于屏幕上显示的被混合到视频信号的背底显示。该显示设备显示ID号和数据码。

在采用上面描述的元件的实验中，数据可被还原为比1伏视频信号低1/2mV，少于0.1IRE。

注意：除非插入设备和阅读器中的同步字相同，否则没有输出或得到使人误解的结果。为了使阅读器具有广泛应用，阅读器中的同步字产生器具有由厂商为用户预编程或由用户预编程的能力。

原则上，当使用上面描述的系统时，尝试消除系统的人仅能消隐或将每128个字段的一或两个字段变形。变形只是简单的不足以充分地对盗版信号的效用产生影响。由于数据是周期的，可以改变特征之一。不知道具体的哪一个特征，但是用目前数据格式，有25％可能性命中ID号特征之一，这样掩饰了翻版单元的特性。另外翻版制品可以加上陷入(swamp)或超出(override)原始指纹的信号以致于指纹阅读器产生不连续的或不正确的结果。

另外一应用有许多优点。在类似用于扩展一光谱传输的技术中，基本数据速率可以降低并且与已知的原始帧速率上的伪随机序列进行异或运算。一般地，伪随机序列比数据序列长得多。这有一个优点可保持设置偏移率高以降低数据的可视性而确保任意屏蔽数据特征的尝试可以使信号不能接受地长度的部分消隐。第二种情况可以将以时间变量形式的信息块内的数据位的位置简单地任意地交换，这样没有周期的变形可以足以将任意特殊数据特征变形。这种第二个方法的数据恢复显然更复杂，但是是本技术领域中正在使用的。第三种情况可以在数据加在信号之前，将其译成密码，然后采用补码解码技术来检测。

上面描述的装置和方法描述了一将指纹信号加到视频信号上的系统和方法。使用这种方法和装置的原则之一是阻止盗版或识别盗版视频制品的源。体现这种概念的另一个实施例是在原始影片上插入指纹，该影片最后被记录为图像格式。这可由两种方法之一来完成。在电影中正在被复制的影片具有一偏置光源，该偏置光源有一短的开/关时间以少量增加影片映像机(filmprinter)中亮度。这个偏置足够低从而在亮度上产生非常小的变动但影片的观众看不到亮度的变化。第二种方法是在影片投影期间提供这样的偏置。偏置光的比率要考虑不同的投影媒体，在每秒24帧时直接电影投影，当用在50Hz电视系统中时采用每秒25帧或当用在60HZ电视系统中时采用3/2机制。

上述描述是说明性的而不是局限性的。根据本公开文献在本技术领域中对于一个普通技术人员来说进一步的改进将是很明显的。

function[zc，y，loc]＝finger2(file_name，sim)
％ This function computes the fingerprint values given the input
％ filename.It also plots intermediate results for debugging and
％ visualation.This function assumes that the input is in voc
％ type 1 format digitized at 4 KHz.The data is assumed to be
％ frame of 64 bits manchester encoded with a sync word of 16 bits
％ followed by 16 bits of decoder id，3 bytes of date data(in bcd)
％ and finally 1 byte of spare presently set to 0′s.Data is
％ assumed to non-inverted，although it is believed tnat the decoder
％ now ouputs inverted fingerprint.The sound blaster used did not 
％ invert the data on input，but the sound blaster inverted the data
％ on output.The data was collected using the program named
％ fingrprt.exe and executed from the DOS prompt.
％     Greg Copeland 8/16/94
％
％ Get the data and decimate by 8 using a 256 tap
％ low pass filter.Each bit before decimation is approximately
％ 133 samples long(4000 Hz sample rate/30 Hz bit rate)After
％ decimation each symbol period then becomes
％ approximately 16.7(4000Hz/30Hz/8)samples long.
％
if sim＝＝1                  ％ 1 for data，0 simulation
 fid＝fopen(file_name)；％ open the input file
 x＝fread(fid，100，‘uint8’)；％ eliminate the header into
 i＝0；x0＝zeros(8，1)；％ clear filter state
 x1＝x0；x2＝x0；x3＝x0；％ create lpf for decimation
 lpf＝firis(123，[0.08.1251]，[1.01.00.00.0])；
 m＝[-ones(1，66)0 ones(1，66)]，％ and conv with matched filt
 lpf＝conv(lpf，m)；           ％ for combined filtering
 plot(20*log10(abs(fft([lpt zeros(1，8*size(lpf))])+.00001)))；
 pause(1)；
 dec＝8；
 flag＝1；
 x0＝zeros(256，1)；
 x＝zeros(dec，1)；
 while flag                 ％ loop for each 8 sample blk
   x0(1:256-dec)＝x0(dec+1:256)；％ until no more data avail
   [x.count]＝fread(fid，dec，‘uint8’)；％ read input file
   flag＝count＝＝dec；％ full block to use？
   if(flag)

    x0(256-dec+1:256)＝x(1:dec)；％ shift state info

　　i＝i+1；

　　z(i)＝x0′*lpf′；    ％ find decimation sample
   end
 end
 y＝z，
 clear lpf                    ％ free memory for later use
 clear x0                     ％ these vars are no longer
 clear x              ％ needed
 clear z
else                          ％ if here generate test data
 pad＝rand(1.48)＞.5.％ generate some random data
				
				<dp n="d6"/>
  datain＝[1010110010001110pad]；％with sync
  y＝2*datain-ones(1.64)；
  y＝kron(y.[ones(1，8)0-ones(1，8)])；％ symbol waveform
  y＝kron(ones(1，3)，y)；％ gen 3 frames
  y＝0.0625*conv(y，[-ones(1，8)ones(1，8)])；％ matched filtering
  y＝y＋0.25*randn(y)；％ additive noise end
z＝y；                            ％ this is a simple agc
[m，n]＝size(z)；
y(1:16)＝y(1:16)/std(z(1:31))；   ％ normalize data by the
for i＝17:16:n-32       ％ max in the block and
  s＝1.0/std(z(i-16:i+31))；      ％ adjacent blocks
  y(i:i+15)＝s*z(i:i+15)；
end
i＝i+15；
y(i:n)＝zeros(1，n-i+1)；      ％ clear tail
clear z；             ％ free some more memory
plot(y)；             ％ plot agc′ed data
pause(1)；
％
％ next we aquire symbol clock and decimate again by this clock
％ This phase consists of taking the matched filter output，
％ differentiating，multipling by the matched filter output and
％ filtering around twice the symbol clock frequency.The filter
％ is complex，so that the phase of the filtered data may be found
％ for later use in the Kalman filter symbol synchronizer
％
dif＝0.5*conv([10-1]，y)；％ differentate data
y＝[0 y 0]；                ％ pad input to same length
err＝dif.* y；             ％ product of each
(a.b]＝size(err)；       ％ build bpf around clock
bitfilt＝[sin((-63:63)*(pi/4.15))-j*cos((-63:63)*(pi/4.15))]；
bitfilt＝bitfilt′.* hanning(127)；％ freqency
err＝conv(err，bitfilt)；   ％ band pass the data
[c，d]＝size(err)；
err(1:63)＝[]: err(b+1:d)＝[]；
phase＝-atan2(imag(err)，real(err))/pi；％ find the phase of bpf out
err＝real(err)/max(real(err))；
m＝400；n＝450；t＝m:n；       ％ plot some debug stuff
plot(t，y(m:n)，‘w’，t，err(m:n)，‘b’，t，dit(m:n)，‘r’，t，phase(m:n)，‘g’)；
pause(1):
clear dif             ％ free memory
％
％     This is the Kalman filter for tracking the symbol clock
％
％     Kalman filter parameters
％
％    X(k+1)＝A*X(k)+U(k)model
％    Z(k)＝C* X(k)+W(k)       observation
％
x＝[108.350]′；％ initial state var(phase，period，aux1，aux2)
				
				<dp n="d7"/>
A＝[110                  ％ state transition matrix
   010                   ％ phase，period，aux1，aux2
   00.8]；               ％ aux to decorrelate err measurements
C＝[101]；               ％ observation matrix
Rw＝1；                  ％ observation noise covariance
Rx＝20*eye(3)；         ％ initial state covariance
Ru＝[0 0   0             ％ model driving covariance

    0.000010

    00.00001]；
％
％    This is an interpolation filter for finding the
％    interpolated matched filter output.This is required
％    becuase the symbol clock may not land exactly on a
％    sample.
％
interp＝firls(64，[0.12.13 1]，[1100])；％ simple is fir
interp(65)＝0；
interp＝interp/sum(interp(33))；％ normalize interp filter
j＝1；k＝1；                     ％ init some loop vars
z＝zeros(1，128)；
[n，m]＝size(y)；
pass＝1；
while x(1)＜m-10            ％ x(1) is the sample #
 i＝floor(x(1))； frac＝x(1)-i；％ i is the integer sample #
 e＝-(phase(i)+0.255*frac)；％ find the phase err
 Rv＝C*Rx*C′+Rw；             ％ update the error variance
 Rvi＝inv(Rv)；       ％ and its inverse
 G＝A*Rx*C′*Rvi；           ％ calculate Kalman gain
 x＝A*x+2*G*e;               ％ compute prediction state
 Rx＝Rx-Rx*C**Rvi*C*Rx；    ％ find prediction covariance
 Rx＝A*Rx*A′+Ru；            ％ find state est covariance
 iindex＝9-floor(8*frac)；     ％ interpolate sample
 yt＝y(i-3:1:i+4)；it＝interp(iindex:8:56＋iindex)；
 yi＝yt* it′；        ％ this is the interp result
 if(pass＞1)                    ％ allow 1 frame pass to
   ze＝yi-z(j)；        ％ establish good clock
   if(ze＞1)ze＝.5；end％ hard limit for noise
   if(ze＜-1)ze＝-.5；end      ％ spikes
   z(j)＝z(j)+ze/(pass-1)；    ％ accumulate data each pass
 end
 loc(k，:)＝[x(2)-8x(3)e yi]；％ diagnostic vector
  k＝k+1；j＝j+1；              ％ update loop counters
  if(j＞128)                    ％ mod 128 for accumulation
   j＝1；pass＝pass+1:％(128 1/2 symbols/frame)
  end
end
plot(z)；              ％ data accumulated at symbol
pause(1)；                   ％ intervals
plot(loc)；                  ％ plot vco freq，aux var.
pause(1)；                   ％ phase error，and sample value
				
				<dp n="d8"/>
 ％
 ％     find the sync word.using correlation and display results
 ％
 m＝[10]；％A       C         8        E
 sync＝[m - m - m m m-m -m m -m -m-m   m m m -m zeros(1，96)]
 zc＝real(ifft(fft(z).*conj(fft(sync))))；
 zc＝zc/max(abs(zc))；        ％ normalize cross correlation data
 plot(zc)；                   ％ plot corr for debug
 pause(1)；                   ％ Oh，you want to see the results？
 index＝find(zc＝＝max(zc))   ％ find the location of the corr peak
 zs＝zeros(1，128)；          ％ and rotate the data to the normal
 zs(index)＝1；               ％ orientation
 zc＝real(ifft(fft(z).*conj(fft(zs))))；
 zc＝zc/std(abs(zc))；
 zc＝zc-mean(zc(1:2:32))；    ％ offset compensation
 plot(zc(1:2:128))            ％ due to flutter @ 30Hz
 dataout＝zc(1:2:128)＞0；    ％ decode bits
 if sim＝＝0                  ％ test for errors
  ′bit errors ＝ ′，sum(xor(datain，dataout))
 else
  ′bit errors＝′，sum(xor([1 0 1 0 1 1 0 0 1 0 0 0 1 1 1 0]，dataout(1 16)))
 end
 byte_w ＝ [8 4 2 1]；        ％ convert bits to hex out
 bytes＝zeros(1，16)；
 hexstr＝[‘0’‘1’‘2’‘3’‘4’‘5’‘6’‘7’‘8’‘9’‘A’‘B’‘C’‘D’‘E’‘F]；
 for i＝0:15                  ％ loop for each hex digit
   t＝byte_w*dataout(1+4*i:4+4*i)′+1；
   bytes(i+1)＝hexstr(t)；
 end
 ′sync dec id date spare′     ％ display decoded data
  bytes                         ％ here

Claims

1.将源识别数据混入到视频信号的动态图像中并检测同一数据的方法，包括步骤：

产生源识别数据；

产生同步字；

将所述源识别数据和所述同步字加到视频信号中；

从所述视频信号检测所述识别数据和所述同步字；

使用所述同步字同步所述数据；

显示所述识别数据。

2.将源识别数据混入视频信号的装置，包括：

具有视频输入信号的视频处理器，其中所述视频输入信号连接到同步分离器；

所述同步分离器产生垂直触发脉冲；其中所述垂直触发脉冲连接到数据调制器；

源识别数据被输入到所述数据调制器；

所述数据调制品产生包含同步字和所述源识别的串行数据流；以及

所述数据流连接到所述视频处理器，其中所述数据流在所述视频输入信号的水平和垂直消隐期间被消隐然后所述被消隐数据与所述视频输入信号结合在一起。

3.如权利要求2所述的装置，其中所述源识别装置包括识别所述视频制品的源以及日期和时间标记的数据。

4.如权利要求3所述的装置，其中所述源包括播放所述视频信号的具体电影院。

5.如权利要求3所述的装置，其中所述源是原始地被记录所述视频信号的具体视频磁带复制机或录像机。

6.如权利要求2所述的装置，其中所述同步字被预编程到一只读存储器中。

7.如权利要求2所述的装置，其中所述同步字是由用户受控键盘或辅助键盘产生。

8.如权利要求2所述的装置，其中所述视频处理器是视频投影系统的一部分。

9.如权利要求2所述的装置，其中所述视频处理器是视频记录系统的一部分。

10.从视频信号中检测源识别信号的装置，包括：

一低通滤波器，用于接收包含源识别数据信号的视频输入信号；

一时钟信号产生器；

一模数转换器，其中所述模数转换器接收所述低通视频信号和所述时钟信号；

一匹配滤波器，其中所述匹配滤波器检测所述源识别数据信号；

一产生第一同步字的同步字产生器；

一存储和同步化系统，用于存储所述数据并同步包含在所述源识别信号内的第二同步字从而产生一可读的源识别信号；

一存储所述可读源识别信号的寄存器；以及

一显示所述源识别设备的显示设备。

11.如权利要求10所述的装置，其中所述低通滤波器具有的截止频率在200Hz到1kHz之间。

12.如权利要求10所述的装置，其中所述时钟信号具有的时钟频率约是所述低通滤波器的低通截止频率的4倍。

13.如权利要求10所述的装置，其中所述同步字产生器包括一预编程的只读存储器。

14.如权利要求10所述的装置，其中所述同步字产生器包括一用户控制的键盘或辅助键盘。

15.如权利要求10所述的装置，其中所述显示器是被从一组包括LED、LCD、用极射线显示器以及在插入到播放所述视频信号的视频显示设备的屏幕上的这些设备中选择的。

16.将源识别数据混入到视频信号的装置，包括：

处理视频信号的装置；

产生垂直触发脉冲的装置；

提供源识别数据的装置；

提供同步字的装置；

在图像消隐期间用于消隐所述同步字和源识别数据的装置；

将所述同步字和源识别数据连接到所述视频信号的装置。

17.从视频信号中检测包含源识别数据的源识别信号的装置，包括：

低通滤波所述视频信号的装置；

将所述低通视频信号转换为数字信号的装置；

产生第一同步字的装置；

将包含第二同步字的所述源识别信号同步以提供源识别数据的装置；

显示所述源识别数据的装置。

18.将源识别信息混入活动图像影片中的方法，包括步骤：

产生源识别数据；

产生同步字；

使用所述源识别数据和同步字打开和关上偏置光以增加活动图片影片的亮度。

19.采用权利要求18所述的方法的装置，其中所述装置是影片机。

20.采用权利要求18所述的方法的装置，其中所述装置是影片投影仪。