CN108154080B - 一种视频设备快速溯源的方法 - Google Patents

Abstract

本发明提供了一种视频设备快速溯源的方法，该方法通过获取每个设备相机的一段视频，通过处理视频并且计算视频的相机指纹特征的方式计算出相机特征，建立数据库，每一部设备有自己独立的相机特征。同样方式计算待测视频的相机特征值，通过计算这个值与相机特征数据库中的特征值相关性来判断这个视频来自于哪部设备。本发明利用了相机指纹这种难以被修改和伪造的设备物理硬件特征在计算过程中以迭代处理，采用多种高效的识别方法实现设备高效溯源。

Description

一种视频设备快速溯源的方法

技术领域

本发明涉及基于视频处理的快速设备溯源技术领域，尤其涉及一种视频设备快速溯源的方法。

背景技术

由于现在网络直播的流行以及未来大范围视频通话的发展，在移动设备上进行视频通话或者直播将成为未来一种常见的社交形式。但是其快速发展难免会产生不良信息在网络上传播的情况，例如色情、欺诈、匿名非法信息等等。通过直播、视频通话等方式，不法分子传播色情信息；通过伪造视频场景，剪辑视频来获取用户信任，进而进行电信诈骗；在网络上散发匿名不良信息等。如果没有一个有效的手段加以制约，任由不良信息传播将会产生极其恶劣的影响，不利于社会发展。因此，亟待找到一个好的方法可以找到发送不良信息的源头，对不良信息的设备快速溯源，对海量数据下高效处理，从根本上打击不法分子，限制网络违法信息和虚假信息的传播。

一般来说，目前典型的不良信息溯源的方法有以下几种，首先是根据用户资料识别。用户的基本资料指的是可以直接获取的用户数据，包括用户名、注册邮箱、个人资料、IP地址、地理信息等。在很多情况下，人们更倾向于使用相同的用户名、邮箱等资料注册新的网络用户，同时，属于同一个个体的多个网络用户应当具有相对固定的IP地址、地理坐标等模式特征，那么如果用户间存在相同的基本资料，进而可以判断这些用户属于同一个个体。该类方法具有较高的计算效率，但是其中一个明显不足就是该类特征较为容易被篡改，特别是在互联网迅猛发展的今天，人们可以轻易的申请一个新的邮箱，或是改变IP地址和地理信息。如果人们出于各种原因而没有使用相同的模式来注册新的网络用户，那么该类方法就会产生较大的误差甚至失效。

另一种不良信息溯源方法是基于用户文本的模式特征。在线的社交网络中，人们通过博文、微博等文本形式来实现与他人的互动，通过分析用户发布的内容中存在的信息特征，来对用户进行识别，进而对其溯源。用户所发布的内容中隐含了大量的个人习惯。比如，每个人都具有特定的用词习惯，或语气风格等。对用户文本的用词、语序等特征进行分析，从而得到一种表示文本风格的模式特征，进而通过比较该特征来判断用户是否属于同一个个体。显然，大多数的用户在创作文本内容时会不自觉的使用较为习惯的语言表述方式，但对于一些刻意改变文本创作习惯的恶意用户来说，该类方法有很大的可能失效。此外，提取用户文本的特征模式往往需要大量的文本数据进行训练，而如今的新兴媒体如微博、Twitter等消息类社交网络平台也很难能提供足够的训练样本。

一种可能的解决方法是利用PRNU(Photo-Respond Non-Uniformity noise，相机指纹值)来实现不良信息溯源。PRNU主要由数码图像采集设备的感光敏感性的差异造成，是一种与相机唯一对应的数字特征。数码相机的感光部件是由数个硅晶片组成的阵列，每个硅晶片根据接受到的光子数量产生相应的电压，并经过A/D模数转换得到对应位置的像素值。然而每一个硅晶片的感光敏感性略有不同，那么由感光阵列得到的图像也与真实的场景存在微小的误差，而该误差即被称为PRNU。显然，图像的PRNU特征与相机唯一对应，即不同相机拍摄的图像具有不同的PRNU，因此也称PRNU为相机指纹。在相机溯源时，如果能从视频关键帧图像中提取出相机指纹并进行特征检索，那么视频相机特征值相关性高的视频之间意味着同一部设备拍摄。相比之前的用户特征，相机指纹的一个巨大优势就在于其难以篡改和不可复制的特性，如果一个个体在不同的用户中使用相同相机拍摄的图像，那么无论其如何伪装，总能通过相机指纹找寻到相关设备，进而实现可靠性更高的设备溯源。

相比传统的不良信息识别技术。采用相机指纹检索的方式获取视频的相机特征，可以从源头避免不良信息传播，而且识别准确度高。减少了工作量，提高了处理此类问题的效率，更加符合实际市场需求。

然而，传统的相机指纹识别方法多用于法庭举证、图像来源鉴别等方面，即检测待识别图像(或视频)是否由目标相机拍摄。主要步骤如下：

由目标相机拍摄数张图像，并提取其PRNU特征，通过最大似然估计得到目标相机的相机指纹。

提取待识别图像的噪声残差，并计算目标相机的相机指纹与该残差的相关性，并根据相关系数来判断待识别图像是否由目标相机拍摄得到。

显然，这种方法并不完全适用于不良信息视频溯源。首先，不良信息视频溯源问题并非是判断一张图像是否由目标相机拍摄，而是判断一个用户的数张图像与另一个用户的数张图像是否由同一部相机拍摄；其次，用户能够提供的图像都是来源未知的，且大多数用户的图像由多部相机拍摄得到，那么上述的方法就难以有效估计图像的相机指纹，计算出的相机指纹不准确。

发明内容

本发明提供了一种视频设备快速溯源的方法，通过隔若干帧计算视频图片的PRNU和相机特征值，进行迭代计算，获得更稳定的PRNU和相机特征值，利用PRNU和相机特征值这种难以被修改和伪造的设备特征以迭代处理，采用高效的识别方法实现设备高效溯源。

为了实现上述目的，本发明采取了如下技术方案：

一种视频设备快速溯源的方法，包括：

S1：通过设定帧率提取视频中的图像，迭代计算所有所述图像的相机指纹值，根据所述相机指纹值计算得到所述图像的相机特征值，将所有所述相机指纹值建立相机指纹数据库，将所有所述相机特征值建立相机特征数据库；

S2：检索所述相机特征数据库，计算待测视频的相机特征值与所述相机特征数据库中每条相机特征值的相关系数，当所述相关系数达到第一阈值时，将达到所述第一阈值的相关系数对应的相机特征值所对应的拍摄设备初步认定为所述待测视频的拍摄设备；

S3：检索所述相机指纹特征数据库，计算所述待测视频的相机指纹值与所述初步认定为所述待测视频的拍摄设备所对应相机指纹值的相关系数，当所述相关系数达到第二阈值时，将达到所述第二阈值的相关系数对应的相机指纹特征值所对应的拍摄设备认定为所述待测视频的拍摄设备。

进一步的，所述S1还包括：

通过自适应帧率提取视频中的图像，在通过所述自适应帧率提取时，设计两个线程，一个线程进行视频播放并提取视频的图像，另一个线程每隔一个计算周期获取并计算所述图像的相机指纹值，每所述计算一次，就在之前的相机指纹值基础上进行更新，将所述计算得到的相机指纹值以矩阵的形式保存到数据库中，所述数据库为拍摄设备的相机指纹值数据库。

进一步的，根据所述相机指纹值数据库中的相机指纹值计算得到拍摄设备的相机特征值，步骤如下：

首先把所述相机指纹值数据库中的相机指纹进行灰度处理，然后将灰度处理后相机指纹值矩阵与高斯随机矩阵相乘，用于压缩存储空间，接着，将所述相乘得到的矩阵进行二值化处理，最后将所述二值化处理后的矩阵转化为一维向量，由此得到一条一维向量的相机指纹值，该一维向量相机指纹值作为拍摄设备的相机特征值，并建立相机特征数据库。

进一步的，所述的二值化处理包括：

求出所述相乘得到的矩阵的平均值，将所述平均值设为第三阈值，小于所述第三阈值的像素点设为0，大于所述第三阈值的像素点设为255。

进一步的，所述S1还包括：

利用基于小波的图像去噪方法得到无噪图像，并通过与原图像作差计算得到所述图像的噪声残差，所述的噪声残差即作为该图像的相机指纹值。

进一步的，所述S1还包括：将所述提取到的图像尺寸重新定义为300*500。

进一步的，所述的S2还包括：

当待测视频进入检索所述相机特征数据库过程时，利用和建立所述相机特征数据库相同的方式获取待测视频的相机特征值。

进一步的，所述的S3还包括：

当待测视频进入检索所述相机指纹数据库过程时，利用和建立所述相机指纹数据库相同的方式获取待测视频的相机指纹值。

进一步的，所述的计算待测视频的相机特征值与所述相机特征数据库中每条相机特征值的相关系数，包括：

计算待测视频的相机特征值与所述相机特征数据库中相机特征值的汉明距离。

由上述本发明提供的技术方案可以看出，本发明通过获取每个设备相机的一段视频，通过处理视频并且计算视频的相机特征的方式计算出相机特征，建立数据库，每一部设备有自己独立的相机特征。同样方式计算待测视频的相机特征值，通过计算这个值与相机特征数据库中的特征值相关性来判断这个视频来自于哪部设备。

本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种视频设备快速溯源方法的处理流程图；

图2为本发明实施例提供的一种视频设备快速溯源方法的快速检索单个视频示意图。

具体实施方式

下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

为便于对本发明实施例的理解，下面将结合附图以几个具体实施例为例做进一步的解释说明，且各个实施例并不构成对本发明实施例的限定。

图1为本发明实施例提供的一种视频设备快速溯源方法的处理流程图；图2为快速检索单个视频示意图；如图1结合图2所示：

本发明提供了一种视频设备快速溯源的方法，该方法包括：

S1：通过设定帧率提取视频中的图像，迭代计算所有所述图像的相机指纹值，根据所述相机指纹值计算得到所述图像的相机特征值，将所有所述相机指纹值建立相机指纹数据库，将所有所述相机特征值建立相机特征数据库；

S2：检索所述相机特征数据库，计算待测视频的相机特征值与所述相机特征数据库中每条相机特征值的相关系数，当所述相关系数达到第一阈值时，将达到所述第一阈值的相关系数对应的相机特征值所对应的拍摄设备初步认定为所述待测视频的拍摄设备；

S3：检索所述相机指纹特征数据库，计算所述待测视频的相机指纹值与所述初步认定为所述待测视频的拍摄设备所对应相机指纹值的相关系数，当所述相关系数达到第二阈值时，将达到所述第二阈值的相关系数对应的相机指纹特征值所对应的拍摄设备认定为所述待测视频的拍摄设备。

在一个具体的实施例中，所述S1还包括：

通过自适应帧率提取视频中的图像，在通过所述自适应帧率提取时，设计两个线程，一个线程进行视频播放并提取视频的图像，另一个线程每隔一个计算周期获取并计算所述图像的相机指纹值，每所述计算一次，就在之前的相机指纹值基础上进行更新，将所述计算得到的相机指纹值以矩阵的形式保存到数据库中，所述数据库为拍摄设备的相机指纹值数据库。

在一个具体的实施例中，根据所述相机指纹值数据库中的相机指纹值计算得到拍摄设备的相机特征值，步骤如下：

首先把所述相机指纹值数据库中的相机指纹进行灰度处理，然后将灰度处理后相机指纹值矩阵与高斯随机矩阵相乘，用于压缩存储空间，接着，将所述相乘得到的矩阵进行二值化处理，最后将所述二值化处理后的矩阵转化为一维向量，由此得到一条一维向量的相机指纹值，该一维向量相机指纹值作为拍摄设备的相机特征值，并建立相机特征数据库。

在一个具体的实施例中，所述的二值化处理包括：

求出所述相乘得到的矩阵的平均值，将所述平均值设为第三阈值，小于所述第三阈值的像素点设为0，大于所述第三阈值的像素点设为255。

在一个具体的实施例中，所述S1还包括：

利用基于小波的图像去噪方法得到无噪图像，并通过与原图像作差计算得到所述图像的噪声残差，所述的噪声残差即作为该图像的相机指纹值。

在一个具体的实施例中，所述S1还包括：将所述提取到的图像尺寸重新定义为300*500。

在一个具体的实施例中，所述的S2还包括：

当待测视频进入检索所述相机特征数据库过程时，利用和建立所述相机特征数据库相同的方式获取待测视频的相机特征值。

在一个具体的实施例中，所述的S3还包括：

当待测视频进入检索所述相机指纹数据库过程时，利用和建立所述相机指纹数据库相同的方式获取待测视频的相机指纹值。

在一个具体的实施例中，所述的计算待测视频的相机特征值与所述相机特征数据库中每条相机特征值的相关系数，包括：

计算待测视频的相机特征值与所述相机特征数据库中相机特征值的汉明距离。

和传统的相机识别算法相比，本发明的一个重要区别在于相机特征的提取方式不同。在传统的相机识别算法中，是通过计算由一张图像得到的噪声残差与由一组图像估计的相机指纹之间的相关性系数来实现一张图像的相机检索，而在本发明中，通过隔帧计算视频的图像，进行迭代计算，获得更稳定的相机特征值。本发明的另一个不同在于，对通过视频来进行设备溯源提供了解决办法。利用高斯矩阵和二值化处理，能够稳定高效的、实时计算视频的相机特征。下面，对本发明的具体步骤进行详细说明。

步骤一：视频实时提取图像，并提取图像的PRNU特征值。

当获得一个视频流的时候，用户可以选择设定帧率或自适应帧率来处理当前视频流中的部分图像。自适应方式中，设计两个线程，分别用于播放视频和获取图像并处理。利用线程锁，每隔一个计算周期的时间获取另一个线程提取到的图像，计算图像的相机指纹值PRNU。

根据相机指纹值的产生原理和数码相机的成像过程，PRNU特征可以被看为隐含于图像中的、具有相机唯一性的乘性噪声，因此可通过滤波的方式进行特征提取。在本发明中，利用基于小波的图像去噪方法得到无噪图像，并通过与原图像做差来得到图像的噪声残差，而得到的噪声残差即作为该图像的PRNU特征。值得注意的是，相机识别方法只能检索尺寸相同的图像，而在网络环境中，由于各种原因，图像的尺寸往往遭到修改。为解决这个问题，本发明将所有视频中关键帧图像重新定义为300*500，并改进了检索方法，使得相机识别方法能够适用于网络环境。

每获取一次新的相机指纹，就在过去相机指纹的基础上进行迭代处理，即以上一帧计算出的PRNU值为基础，迭代计算这一帧以后的PRNU，使PRNU值趋于稳定，以获取更准确的信息特征值。将计算出的PRNU值以矩阵的形式保存在PRNU数据库中。

重复进行上述步骤，建立一个拥有大量相机PRNU值的数据库，用于比对。

步骤二：实现与数据库的高速检索--数据库处理得到相机特征数据库

在获得矩阵形式的PRNU值之后，我们对相机PRNU值进行二值化处理。首先把获取的PRNU灰度处理，然后将矩阵与高斯随机矩阵相乘，使矩阵降维，压缩存储空间。对得到的方阵进行二值化处理，方法是：求出矩阵的平均值，设为阈值，小于阈值的像素点设为0，大于阈值的像素点设为255。最终得到一个二值化的方阵。将二值化方阵转化为一维向量，便于保存，将一维向量的相机特征值保存到相机特征数据库中。

重复进行上述步骤，建立一个拥有大量一维相机特征向量的数据库，用于比对。

步骤三：实现与数据库的高速检索—设备认证检索。

当一个待检测的视频流进入检测系统时，我们利用和建立数据库相同的方式获取待测视频的PRNU值，与二值化的相机特征数据库中的数据计算汉明距离，通过设定阈值，筛选出少部分可能存在相关关系的相机指纹，以缩小搜索范围。后进行二次检索，再用当前视频的PRNU值与PRNU数据库中可能存在相关关系的条目进行检索。

迭代计算相机指纹的同时与数据库中的条目进行比对。通过设定阈值，当达到阈值时，便认为已经检索成功，结束数据流输入。

步骤四：计算相关性过程

在本发明中，视频与用户设备的相关性由相机特征值数据库的数据和待测视频的特征值相关系数以及视频PRNU值与PRNU数据库的相关系数决定，通过设定阈值来判断某段视频是否由数据库中的某部相机拍摄，进而实现视频设备快速溯源。

综上所述，本发明实施例通过获取每个设备相机的一段视频，通过处理视频并且计算视频的相机特征的方式计算出相机特征，建立数据库，每一部设备有自己独立的相机特征。同样方式计算待测视频的相机特征值，通过计算这个值与相机特征数据库中的特征值相关性来判断这个视频来自于哪部设备。

本发明利用了相机指纹这种难以被修改和伪造的设备特征以迭代处理，后续采用多种提高效率的方式建立相机特征数据库，并采用高效的识别方法实现设备高效溯源。

本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (9)

1.一种视频设备快速溯源的方法，其特征在于，包括：

S1：通过设定帧率提取视频中的图像，迭代计算所有所述图像的相机指纹值，将所有所述相机指纹值建立相机指纹值数据库，根据所述相机指纹值计算得到所述图像的相机特征值，将所有所述相机特征值建立相机特征数据库；

S2：检索所述相机特征数据库，计算待测视频的相机特征值与所述相机特征数据库中每条相机特征值的相关系数，当所述相关系数达到第一阈值时，将达到所述第一阈值的相关系数对应的相机特征值所对应的拍摄设备初步认定为所述待测视频的拍摄设备；

S3：检索所述相机指纹值数据库，计算所述待测视频的相机指纹值与所述初步认定为所述待测视频的拍摄设备所对应相机指纹值的相关系数，当所述相关系数达到第二阈值时，将达到所述第二阈值的相关系数对应的相机指纹特征值所对应的拍摄设备认定为所述待测视频的拍摄设备。

2.根据权利要求1所述的方法，其特征在于，所述S1还包括：

通过自适应帧率提取视频中的图像，在通过所述自适应帧率提取时，设计两个线程，一个线程进行视频播放并提取视频的图像，另一个线程每隔一个计算周期获取并计算所述图像的相机指纹值，每所述计算一次，就在之前的相机指纹值基础上进行更新，将所述计算得到的相机指纹值以矩阵的形式保存到数据库中，所述数据库为拍摄设备的相机指纹值数据库。

3.根据权利要求2所述的方法，其特征在于，所述S1还包括根据所述相机指纹值数据库中的相机指纹值计算得到拍摄设备的相机特征值，步骤如下：

首先把所述相机指纹值数据库中的相机指纹进行灰度处理，然后将灰度处理后相机指纹值矩阵与高斯随机矩阵相乘，用于压缩存储空间，接着，将所述相乘得到的矩阵进行二值化处理，最后将所述二值化处理后的矩阵转化为一维向量，由此得到一条一维向量的相机指纹值，该一维向量相机指纹值作为所述图像的相机特征值，并建立相机特征数据库。

4.根据权利要求3所述的方法，其特征在于，所述的二值化处理包括：

求出所述相乘得到的矩阵的平均值，将所述平均值设为第三阈值，小于所述第三阈值的像素点设为0，大于所述第三阈值的像素点设为255。

5.根据权利要求4所述的方法，其特征在于，所述S1还包括：

利用基于小波的图像去噪方法得到无噪图像，并通过与原图像作差计算得到所述图像的噪声残差，所述的噪声残差即作为该图像的相机指纹值。

6.根据权利要求5所述的方法，其特征在于，所述S1还包括：将所述提取到的图像尺寸重新定义为300*500。

7.根据权利要求6所述的方法，其特征在于，所述的S2还包括：

当待测视频进入检索所述相机特征数据库过程时，利用和建立所述相机特征数据库相同的方式获取待测视频的相机特征值。

8.根据权利要求7所述的方法，其特征在于，所述的S3还包括：

当待测视频进入检索所述相机指纹值数据库过程时，利用和建立所述相机指纹值数据库相同的方式获取待测视频的相机指纹值。

9.根据权利要求8所述的方法，其特征在于，所述的计算待测视频的相机特征值与所述相机特征数据库中每条相机特征值的相关系数，包括：

计算待测视频的相机特征值与所述相机特征数据库中相机特征值的汉明距离。

Images