CN108259791B - 一种从视频文件中提取prnu噪声的方法 - Google Patents

Abstract

本发明公开了一种从视频文件中提取PRNU噪声的方法，并利用该噪声来对视频拍摄手机进行识别的方法。发明方法按以下过程处理输入视频：首先对视频进行部分解码，然后从中提取PRNU噪声；计算该提取的PRNU噪声与事先从相同手机拍摄的视频样本中提取的PRNU噪声之间的相关性；根据相关性高低识别手机。因为本发明提出了在视频解码过程中省略一些流程后再进而提取PRNU的方法，有效地减少了计算复杂度。另外，本发明所提出的PRNU噪声提取算法基于最大似然估计技术，从理论上保证了算法的有效性。

Description

一种从视频文件中提取PRNU噪声的方法

技术领域

本发明涉及视频取证技术领域，并具体涉及一种从视频文件中提取PRNU噪声的方法和装置。

背景技术

虽然难以察觉，但相机确实会在照片中留下特有的噪声。这种噪声很大部分是由于相机感光传感器芯片制造工艺不完善所造成的。具体来讲，芯片里的每个感光晶圆，即芯片像素，都与其它的晶圆有所差异。因此这些晶圆难以彼此一致地将从镜头摄入的光子转换为电子。造成无论场景内容如何改变，在图像中始终会有一个稳定的噪声存在，在文献中通常被称为光子相响应不均匀噪声(PRNU噪声)。因为其本身具有较好的稳定性，PRNU噪声可以被视为是相机的指纹特征。在过去几年中PRNU噪声技术在数字取证领域中得到了广泛应用。

但是由于PRNU是乘性噪声，属于高频信号，且与图像内容有关，因此很难直接从图像中获取。一般需要通过图像降噪的方法来进行估计，在这些方法中，最为经典的是Lukas的方法。Lukas是将图像通过低通滤波器，滤除加性噪声，然后用原图像减去低通滤波后的图像，即可得到残余的模式噪声部分，如式所示：

n＝I-F(I)

然而，随着人们生活水平的提高，目前具有拍摄功能的手机已经成为人们生活中必不可少的工具，并且人们的拍照习惯也因此改变。手机取代传统的数码相机和摄像机成为最流行的图像或视频的拍摄设备。相对来说，手机所安装的摄像头并不是一个像数码相机一样的专业图像捕获设备。因此，我们需要验证现有的方法能否扩展到新设备上。此外，目前针对从视频中提取PRNU噪声的技术也比较少。所出现的方法都因为提取效率过低而无法满足实际需求。

发明内容

为克服现有技术的缺陷，因此，本发明提出了从部分解码的视频中提取PRNU噪声，有效降低了方案整体的计算复杂度。具体如下：

步骤一，对视频进行部分解码；

步骤二，得到无噪声的干净视频帧的估计值。对每一个部分解码的视频帧Fi进行小波分解，在小波的高通子带进行维纳滤波；

步骤三，利用最大似然估计方法得到PRNU噪声因子K；

在步骤一中，所述的对视频进行解码是通过H.264对拍摄的视频进行解码的，

与帧完全的被解码一样，部分解码后的残差帧同样也包括了传感器模式噪声和一些其他噪声。因此残差帧可以表示为：

R＝I⁽⁰⁾+I⁽⁰⁾·K-P⁽⁰⁾+ψ (1)

其中I⁽⁰⁾是理想无噪声视频，K为PRNU噪声的乘性因子，P⁽⁰⁾是预测信号，Ψ为其他噪声。由(1)可知，残差R可以看成是零均值的平稳信号(I⁽⁰⁾-P⁽⁰⁾)和高斯白噪声(I⁽⁰⁾·K+Ψ)的加性混合组成的。

在步骤二中，对部分解码的残差帧R进行处理得到无PRNU噪声的干净残差帧的估计值。首先，对部分解码后的残差帧进行小波分解，可以得到分解后的水平、垂直和对角高频子带。其次，由于PRNU属于高频信号，且与内容有关，因此很难直接获取，一般需要通过低通滤波器进行操作。其表达式为：

其中，F(·)是用来估计理想无噪声图像的滤波函数，其中

表示无PRNU噪声的干净残差帧估计值，

表示无PRNU噪声的干净视频帧估计值，

表示无PRNU噪声的干净预测帧估计值。

在步骤三中，为了得到PRNU噪声的乘性因子，需要对部分解码压缩视频后得到的残差与通过一个维纳滤波后得到的理想无噪声残差进行作差，得到一个差值，然后通过这个差值，利用最大似然估计法求得乘性因子K。具体处理方法如下所述：

首先，利用步骤一得到的残差帧与步骤二得到的无噪声的干净视频帧的估计值进行相减得到一个期望与传感器模式噪声近似的噪声。用W表示这个差值，我们可以从W中估计PRNU噪声。其中W表示为：

为了便于观测和理解，这里将式(1)和式(2)代入到式(3)，整理可得：

在对上式的理解中，涉及了以往的知识层次，为了估计PRNU噪声的乘性因子K利用了最大似然估计的方法，但是这个方法涉及了一个假设，即除了R·K之外，所有的参数都非常的小。用公式表示为：

R'＝R+d (5)

然后把求出的Rˊ代入到式(4)中，整理可得

W＝R'·K+Θ (6)

其中，

由上式(7)可知，为了估计K，实验中依然不能假设θ是一个随机变量，这是因为在θ中含有许多与K有关的参数。但是，因为所拍摄的一个视频中含有大量的帧，和由同一设备拍摄的每个帧中包含相同的乘性因子，因此，对与帧序列相关联W进行平均，可得：

即

在上述表达式中，其中，i表示帧的数量。只要帧的数量足够的多，则

就会与K不相关，并且可以认为是一个均值为0，方差为σ²高斯随机变量。

另外，如果有m个残差帧来自几个部分解码的视频中，那么这些帧就要先进行分类，这样可以将其分为

组，每组有n个帧，这些帧将被过滤并平均得到

然后重写式(9)得：

其中，j表示残差帧组的数目。

最后，由于

是一个均值为0，方差为σ²高斯随机变量，在这里需要强调的是与噪声项相比，PRNU信号的能量是小的，因此假设PRNU信号与噪声项无关。因此，从式(9)，对于每一个j＝1,…,

可整合成式(10)。那么首先得到K的对数似然估计函数，即表达式为：

然后用最大似然估计去估计K并且令其等于0，则表达式为：

由上式计算，可得：

在式(13)中，应该注意，为了从部分解码视频中提取PRNU噪声，因此在实验的过程中需要注意两点。其中一个是，有相当多的视频帧存在于一个视频文件中。才能使用式(13)去估计乘性因子

另外一个是，为了去估计

值，实验中利用了R'和W的均值进行处理的。

利用手机来源认证过程包括：

步骤一，从同一部手机拍摄的大量视频中利用上述技术提取PRNU噪声，得到手机摄像头参考PRNU噪声；

步骤二，从一段测试视频中提取PRNU噪声；

步骤三，计算两个PRNU噪声之间的相似度；

在上述的手机来源认证过程中，对所提取的PRNU噪声进行判别相似性的具体方法如下所述：

首先，从同一部手机拍摄的大量视频中提取PRNU噪声，该噪声的提取过程见上述技术表述，然后得到了手机摄像头参考PRNU噪声

其次，同样地，从一段测试视频中提取PRNU噪声

最后，为了确定视频是否由同一部手机拍摄而得，首先，需要计算

和

两者之间的归一化相关系数(normalized cross correlation,NCC)，其表达式为：

然后，为了检测C(u,v)中是否存在明显的峰值，本实施方法中选择使用峰相关能量(peak to correlation energy,PCE)进行观测：

计算相关性后，接下来进行匹配判断，如果有个大的PCE则匹配成功，那么两个PRNU噪声相似，从而可以判断是由相同的手机拍摄的视频。

有益效果

本发明提供了一种从部分解码的视频文件中提取PRNU噪声的新算法，由于不需要完全解码视频文件，所以从整体上降低了计算复杂度。

附图说明

图1为基于PRNU噪声进行来源认证的整体流程图。

图2为本发明从视频中提取PRNU噪声的流程图。

图3为一种利用所提取的PRNU噪声进行手机来源认证的技术方法的过程。

具体实施方式

以下结合附图具体说明本发明技术方案。

图1示出了基于PRNU噪声进行来源认证的整体流程图。所述的来源认证方法包括从视频中提取PRNU噪声以及计算提取的PRNU噪声之间的相关性。

图2示出了本发明从视频中提取PRNU噪声的流程图，如图2所示，所述的提取PRNU噪声的过程包括：

步骤一，对视频进行部分解码；

步骤二，得到无噪声的干净视频帧的估计值。对每一个部分解码的视频帧Fi进行小波分解，在小波的高通子带进行维纳滤波；

步骤三，利用最大似然估计方法得到PRNU噪声因子K；

在步骤一中，所述的对视频进行解码是通过H.264对拍摄的视频进行解码的，在本发明的一个具体示例中，对拍摄的视频并不需要完全的解码，相反只需要对每个帧的残差信息进行解码，另外在视频解码的过程中，由于并不需要对预测信号进行计算，所以跳过了帧內补偿和帧间补偿。事实上，大多数的PRNU噪声被存放在残差信息中，因此从残差图像中提取PRNU噪声并不输于从原始图像中提取PRNU噪声。所以，在上述的情况下，只需要对视频进行部分解码。

与帧完全的被解码一样，部分解码后的残差帧同样也包括了传感器模式噪声和一些其他噪声。因此残差帧可以表示为：

R＝I⁽⁰⁾+I⁽⁰⁾·K-P⁽⁰⁾+ψ (1)

其中I⁽⁰⁾是理想无噪声视频，K为PRNU噪声的乘性因子，P⁽⁰⁾是预测信号，Ψ为其他噪声。由(1)可知，残差R可以看成是零均值的平稳信号(I⁽⁰⁾-P⁽⁰⁾)和高斯白噪声(I⁽⁰⁾·K+Ψ)的加性混合组成的。

在步骤二中，对部分解码的视频帧进行处理得到无噪声的干净视频帧的估计值。首先，对部分解码后的视频帧进行小波分解，可以得到分解后的水平、垂直和对角高频子带。其次，由于PRNU属于高频信号，且与图像内容有关，因此很难直接获取，一般需要通过低通滤波器进行操作。因此在本发明实例中，对各高通子带通过一个维纳滤波，得到一个理想无噪声的干净视频帧。其表达式为：

其中，F(·)是用来估计理想无噪声图像的滤波函数。

在步骤三中，为了得到PRNU噪声的乘性因子，需要对部分解码压缩视频后得到的残差与通过一个维纳滤波后得到的理想无噪声残差进行作差，得到一个差值，然后通过这个差值，利用最大似然估计法求得乘性因子K。具体处理方法如下所述：

首先，利用步骤一得到的残差帧与步骤二得到的无噪声的干净视频帧的估计值进行相减得到一个期望与传感器模式噪声近似的噪声。用W表示这个差值，我们可以从W中估计PRNU噪声。其中W表示为：

为了便于观测和理解，这里将式(1)和式(2)代入到式(3)，整理可得：

在对上式的理解中，涉及了以往的知识层次，为了估计PRNU噪声的乘性因子K利用了最大似然估计的方法，但是这个方法涉及了一个假设，即除了R·K之外，所有的参数都非常的小。然而，在这个实施中，可以注意到残差R的值大约为零，比完全解码的帧和P⁽⁰⁾小的多，因此这个假设并不成立。为了解决这个问题，在本发明的一个实施例中，增加了一个特定的值d(128)，这样做的原因是合理的假设了大量原始图像的平均值可以被看作是一个像素为128的灰度图像。用公式表示为：

R'＝R+d (5)

然后把求出的Rˊ代入到式(4)中，整理可得

W＝R'·K+Θ (6)

其中，

由上式(7)可知，为了估计K，实验中依然不能假设θ是一个随机变量，这是因为在θ中含有许多与K有关的参数。但是，因为所拍摄的一个视频中含有大量的帧，和由同一设备拍摄的每个帧中包含相同的乘性因子，因此，对与帧序列相关联W进行平均，可得：

即

在上述表达式中，其中，i表示帧的数量。只要帧的数量足够的多，则

就会与K不相关，并且可以认为是一个均值为0，方差为σ²高斯随机变量。

另外，如果有m个残差帧来自几个部分解码的视频中，那么这些帧就要先进行分类，这样可以将其分为

组，每组有n个帧，这些帧将被过滤并平均得到

然后重写式(9)得：

其中，j表示残差帧组的数目。

最后，由于

是一个均值为0，方差为σ²高斯随机变量，在这里需要强调的是与噪声项相比，PRNU信号的能量是小的，因此假设PRNU信号与噪声项无关。因此，从式(9)，对于每一个j＝1,…,

可整合成式(10)。那么首先得到K的对数似然估计函数，即表达式为：

然后用最大似然估计去估计K并且令其等于0，则表达式为：

由上式计算，可得：

在式(13)中，应该注意，为了从部分解码视频中提取PRNU噪声，因此在实验的过程中需要注意两点。其中一个是，有相当多的视频帧存在于一个视频文件中。才能使用式(13)去估计乘性因子

另外一个是，为了去估计

值，实验中利用了R'和W的均值进行处理的。

图3示出了本发明还提供了一种利用所提取的PRNU噪声进行手机来源认证的技术方法的过程，该过程是在图2提取PRNU噪声后进行判别的，该手机来源认证过程包括：

步骤一，从同一部手机拍摄的大量视频中利用上述技术提取PRNU噪声，得到手机摄像头参考PRNU噪声；

步骤二，从一段测试视频中提取PRNU噪声；

步骤三，计算两个PRNU噪声之间的相似度；

在上述的手机来源认证过程中，对所提取的PRNU噪声进行判别相似性的具体方法如下所述：

首先，从同一部手机拍摄的大量视频中提取PRNU噪声，该噪声的提取过程见上述技术表述，然后得到了手机摄像头参考PRNU噪声

其次，同样地，从一段测试视频中提取PRNU噪声

最后，为了确定视频是否由同一部手机拍摄而得，首先，需要计算

和

两者之间的归一化相关系数(normalized cross correlation,NCC)，其表达式为：

然后，为了检测C(u,v)中是否存在明显的峰值，本实施方法中选择使用峰相关能量(peak to correlation energy,PCE)进行观测：

计算相关性后，接下来进行匹配判断，如果有个大的PCE则匹配成功，那么两个PRNU噪声相似，从而可以判断是由相同的手机拍摄的视频。

Claims (1)

1.一种从视频文件中提取PRNU噪声的方法，具体如下：

步骤一、对视频进行部分解码；

步骤二、得到无噪声的干净视频帧的估计值，对每一个部分解码的视频帧Fi进行小波分解，在小波的高通子带进行维纳滤波；

步骤三、利用最大似然估计方法得到PRNU噪声因子K；

所述步骤一中，所述对视频进行解码通过修改后的H.264解码器对拍摄的视频进行部分解码；所述部分解码是指略过帧内和帧间补偿模块，直接输出经过了反量化和反变换后的残差信息；称每一帧所对应的所述残差信息为残差帧；

与帧完全的被解码一样，部分解码后的残差帧同样也包括了传感器模式噪声和一些其他噪声，因此残差帧表示为：

R＝I⁽⁰⁾+I⁽⁰⁾·K-P⁽⁰⁾+ψ (1)

其中I⁽⁰⁾是理想无噪声视频，K为PRNU噪声的乘性因子，P⁽⁰⁾是预测信号，Ψ为其他噪声；由公式(1)知，残差R看成是零均值的平稳信号(I⁽⁰⁾-P⁽⁰⁾)和高斯白噪声(I⁽⁰⁾·K+Ψ)的加性混合组成的；

其特征在于，所述步骤二中，对部分解码的残差帧R进行处理得到无PRNU噪声的干净残差帧的估计值；首先，对部分解码后的视频帧进行小波分解，得到分解后的水平、垂直和对角高频子带；其次，由于PRNU属于高频信号，且与内容有关，因此很难直接获取，需要通过低通滤波器进行操作；其表达式为：

其中，F(·)是用来估计理想无噪声图像的滤波函数，其中

表示无PRNU噪声的干净残差帧估计值，

表示无PRNU噪声的干净视频帧估计值，

表示无PRNU噪声的干净预测帧估计值；

步骤三中，为了得到PRNU噪声的乘性因子，需要对部分解码压缩视频后得到的残差与通过一个维纳滤波后得到的理想无噪声残差进行作差，得到一个差值，然后通过这个差值，利用最大似然估计法求得乘性因子K；具体处理方法如下：

4-1)利用步骤一得到的残差帧与步骤二得到的无噪声的干净视频帧的估计值进行相减得到一个期望与传感器模式噪声近似的噪声；用W表示这个差值，从W中估计PRNU噪声；其中W表示为：

为了便于观测和理解，这里将式(1)和式(2)代入到式(3)，整理得：

为了利用最大似然估计的方法来估计PRNU噪声的乘性因子K，需要假设除了R·K之外，所有的参数都非常的小；所以这里对R进行修改，将其中的每个元素都加上一个固定的整数d用公式表示为：

R'＝R+d (5)

然后把求出的R'代入到式(4)中，整理得

W＝R'·K+Θ (6)

其中，

由上式(7)知，为了估计K，实验中依然不能假设θ是一个随机变量，这是因为在θ中含有许多与K有关的参数；但是，因为所拍摄的一个视频中含有大量的帧，和由同一设备拍摄的每个帧中包含相同的乘性因子，因此，对与帧序列相关联W进行平均，得：

即

在上述表达式中，其中，i表示帧的数量；只要帧的数量足够的多，则

就会与K不相关，并且认为是一个均值为0，方差为σ²高斯随机变量；

4-2)如果有m个残差帧来自几个部分解码的视频中，那么这些帧就要先进行分类，将其分为

组，每组有n个帧，这些帧将被过滤并平均得到

然后重写式(9)得：

其中，j表示残差帧组的数目；

4-3)由于

是一个均值为0，方差为σ²高斯随机变量，在这里需要强调的是与噪声项相比，PRNU信号的能量是小的，因此假设PRNU信号与噪声项无关；从式(9)，对于每一个j＝1,…,

可整合成式(10)；那么首先得到K的对数似然估计函数，即表达式为：

然后用最大似然估计去估计K并且令其等于0，则表达式为：

由上式计算，得：

在式(13)中，应该注意，为了从部分解码视频中提取PRNU噪声，因此在实验的过程中需要注意两点；其中一个是，有相当多的视频帧存在于一个视频文件中；才能使用式(13)去估计乘性因子

另外一个是，为了去估计

值，实验中利用了R'和W的均值进行处理的。

Images