CN105303449A - 基于相机指纹特征的社交网络用户的识别方法和系统 - Google Patents
基于相机指纹特征的社交网络用户的识别方法和系统 Download PDFInfo
- Publication number
- CN105303449A CN105303449A CN201510756440.4A CN201510756440A CN105303449A CN 105303449 A CN105303449 A CN 105303449A CN 201510756440 A CN201510756440 A CN 201510756440A CN 105303449 A CN105303449 A CN 105303449A
- Authority
- CN
- China
- Prior art keywords
- original image
- user
- camera
- camera fingerprint
- network users
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 239000000284 extract Substances 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 7
- 230000008878 coupling Effects 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 4
- 238000005859 coupling reaction Methods 0.000 description 4
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 229910052710 silicon Inorganic materials 0.000 description 3
- 239000010703 silicon Substances 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000013467 fragmentation Methods 0.000 description 1
- 238000006062 fragmentation reaction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Landscapes
- Collating Specific Patterns (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供了一种基于相机指纹特征的社交网络用户的识别方法和系统。所述基于相机指纹特征的社交网络用户的识别方法,包括:获取至少两个网络用户的原始图像;提取各个所述网络用户的原始图像的噪声模式;按照所述噪声模式相互的相关度大小,对各个所述网络用户的原始图像进行聚类;根据所述网络用户的聚类后的各类原始图像的噪声模式,估计得到所述各类的相机指纹,并组合作为所述用户的相机指纹组;根据两个所述网络用户的相机指纹组,计算两个所述网络用户之间的用户相关度;当两个所述网络用户之间的用户相关度大于第一阈值时,则确定为所述两个网络用户共享至少一个相机。本发明能够通过相机指纹特征对网络用户进行识别。
Description
技术领域
本发明涉及网络识别领域。尤其涉及一种基于相机指纹特征的社交网络用户的识别方法和系统。
背景技术
随着互联网技术和电子技术的发展,社交媒体已经成为了当今社会主要的社交方式,人们通过各种社交媒体平台来分享各种形式的信息。然而由于各种原因,同一个人往往会拥有多个在线社交账户,而这些账户分布在一个或数个社交网站之上。从一方面来说,这种现象极大的丰富了互联网的多媒体信息资源,但是从另一方面来说,这种现象也产生大量的冗余信息。虽然这种冗余对互联网的发展造成了诸多不便,但是也为数据的统一提供了可能。通常来说,属于同一个自然人的多个网络账户应当具有一些相似的行为模式,例如人们会更倾向于浏览、发布自己所感兴趣的内容,或是通过一些网站所提供的定位服务来体现相近的地理位置信息,又或是具有相近的人际关系网络等;而这些行为模式可以用来判断两个账户是否属于相同的人,进而将网络用户与真实世界的人所联系起来。
从信息安全的角度来说,网络中多媒体信息鱼龙混杂,难免存在一些诸如暴力、恐怖、犯罪等违法的多媒体信息,而发布该类信息的网络用户会可以掩盖自己的个人资料,从而导致难以追踪用户的实际拥有者。如果能根据发布该类信息的账号的行为模式寻找到属于发布人的多个网络账户,并将多个账户的信息进行融合,就可以得到较为完整的发布人信息,从而将网络账户与实际个体联系起来,进而追踪到发布该类信息的实际拥有者。
从网络服务的角度来说,对于属于同一个个体的多个账户,网络服务提供商可以融合多个账户的信息从而得到账户拥有者更为全面的信息,进而对用户提供更为便捷的、定制化的网络服务,如按兴趣点推送相关信息、避免广告的重复推送等。
无论是从信息安全的角度还是网络服务的角度,其核心问题是如何从单个用户的碎片信息中得到有效的模式,从而精确的找出属于同一个个体的所有用户。由于单个用户所表现出的模式是碎片化的,那么如何找到一种在所有用户中都能得到体现的模式特征则是用户识别问题面临的主要挑战。
最近几年,用户识别问题吸引了众多研究机构的目光,并且产生了大量的研究成果。
一般来说,目前典型的用户识别的方法有以下几种,首先是基于用户资料的用户识别。用户的基本资料指的是可以直接获取的用户数据,包括用户名、注册邮箱、个人资料、IP地址、地理信息等。在很多情况下,人们更倾向于使用相同的用户名、邮箱等资料注册新的网络用户,同时,属于同一个个体的多个网络用户应当具有相对固定的IP地址、地理坐标等模式特征,那么如果用户间存在相同的基本资料,进而可以判断这些用户属于同一个个体。该类方法具有较高的计算效率,但是其中一个明显不足就是该类特征较为容易被篡改,特别是在互联网迅猛发展的今天,人们可以轻易的申请一个新的邮箱,或是改变IP地址和地理信息。如果人们出于各种原因而没有使用相同的模式来注册新的网络用户,那么该类方法就会产生较大的误差甚至失效。
另一种用户识别方法是基于用户文本的模式特征。在在线的社交网络中,人们通过博文、微博等文本形式来实现与他人的互动,而在用户所发布的内容中隐含了大量的个人习惯。比如,每个人都具有特定的用词习惯,或语气风格等。一种典型的方法就是对用户文本的用词、语序等特征进行分析,从而得到一种表示文本风格的模式特征,进而通过比较该特征来判断用户是否属于同一个个体。显然,大多数的用户在创作文本内容时会不自觉的使用较为习惯的语言表述方式,但对于一些刻意改变文本创作习惯的恶意用户来说,该类方法有很大的可能失效。此外,提取用户文本的特征模式往往需要大量的文本数据进行训练,而如今的新兴媒体如微博、Twitter等消息类社交网络平台也很难能提供足够的训练样本。
一种可能的解决方法是利用相机指纹来实现多个用户的识别。相机指纹,也被称为PRNU(光响应非一致噪声,Photo-RespondNon-Uniformitynoise),主要由数码图像采集设备的感光敏感性的差异造成,是一种与相机唯一对应的数字特征。数码相机的感光部件是由数个硅晶片组成的阵列,每个硅晶片根据接受到的光子数量产生相应的电压,并经过A/D转换得到对应位置的像素值。然而每一个硅晶片的感光敏感性略有不同,那么由感光阵列得到的图像也与真实的场景存在微小的误差,而该误差即被称为PRNU。显然,图像的PRNU特征与相机唯一对应,即不同相机拍摄的图像具有不同的PRNU,因此也成PRNU为相机指纹。在用户识别时,如果能从用户图像中提取出相机指纹并进行特征匹配,那么具有相同相机指纹特征的用户则意味着共享同一部相机,即这些用户有很高的概率属于同一个个体,进而实现用户识别。相比之前的用户特征,相机指纹特征的一个巨大优势就在于其难以篡改和不可复制的特性,如果一个个体在不同的用户中使用相同相机拍摄的图像,那么无论其如何伪装,总能通过相机指纹找寻到相关用户,进而实现可靠性更高的用户识别。
然而,传统的相机指纹识别方法多用于法庭举证、图像来源鉴别等方面,即检测待识别图像是否由目标相机拍摄。主要步骤如下:
由目标相机拍摄数张图像,并提取其PRNU特征,通过最大似然估计得到目标相机的相机指纹。
提取待识别图像的噪声残差,并计算目标相机的相机指纹与该残差的相关度,并根据相关系数来判断待识别图像是否由目标相机拍摄得到。
显然,这种方法并不完全适用于用户识别。首先,用户识别问题并非是判断一张图像是否由目标相机拍摄,而是判断一个用户的数张图像与另一个用户的数张图像是否由同一部相机拍摄;其次,由于用户能够提供的图像都是来源未知的,且大多数用户的图像由多部相机拍摄得到,那么上述的方法就难以有效估计图像的相机指纹。
因此,需要找到一种方法来解决这些问题。
发明内容
本发明的实施例提供了一种基于相机指纹特征的社交网络用户的识别方法和系统,能够对网络用户进行识别。
一种基于相机指纹特征的社交网络用户的识别方法,包括:
获取至少两个网络用户的原始图像;
提取各个所述网络用户的原始图像的噪声模式;
按照所述噪声模式相互的相关度大小,对各个所述网络用户的原始图像进行聚类;
根据所述网络用户的聚类后的各类原始图像的噪声模式,估计得到所述各类原始图像的相机指纹,并组合作为所述网络用户的相机指纹组;
根据两个所述网络用户的相机指纹组,计算两个所述网络用户之间的用户相关度;
当两个所述网络用户之间的用户相关度大于第一阈值时,则确定为所述两个网络用户共享至少一个相机。
根据两个所述网络用户的相机指纹组,计算两个所述网络用户之间的用户相关度的步骤包括:
根据两个所述网络用户的相机指纹组的峰值能量相关度,计算两个所述网络用户的相机指纹之间的相关系数;
选择数值最大的所述相关系数,作为两个所述网络用户之间的用户相关度。
所述根据两个所述网络用户的相机指纹组,计算两个所述网络用户的相机指纹特征之间的相关系数的步骤包括:
根据两个所述网络用户的相机指纹组的峰值能量相关度,计算两个所述网络用户的相机指纹特征之间的相关系数;或者
根据两个所述网络用户的相机指纹组的相关性,计算两个所述网络用户的相机指纹特征之间的相关系数。
所述提取各个所述网络用户的原始图像的噪声模式的步骤包括:
步骤A1,对所述网络用户的原始图像进行去噪处理,得到无噪图像;
步骤A2,将所述无噪图像与所述原始图像做差,得到所述原始图像的噪声残差,将所述原始图像的噪声残差作为所述原始图像的噪声模式。
所述提取各个所述网络用户的原始图像的噪声模式的步骤包括:
步骤A0,将所述网络用户的原始图像处理成为相同大小;
步骤A1,对处理成相同大小的图像进行去噪处理,得到无噪图像;
步骤A2,将所述无噪图像与处理后的相同大小的所述图像做差,得到所述原始图像的噪声残差,将所述原始图像的噪声残差作为所述原始图像的噪声模式。
所述按照所述噪声模式相互的相关度大小,对各个所述网络用户的原始图像进行聚类的步骤包括:
步骤一,获取所述网络用户的所有原始图像,作为当前原始图像组;
步骤二,计算所述当前原始图像组中的所有原始图像间的噪声模式的两两相关度;
步骤三,选择出相关度最大的一对原始图像,将选择出的所述一对图像划分到当前类;根据所述当前类中的所有原始图像,估计所述当前类的相机指纹特征;
步骤四,依次获取一所述网络用户的所有原始图像中的除所述当前类中的原始图像外的一原始图像作为当前原始图像;计算所述当前原始图像的噪声模式与所述当前类的相机指纹特征之间的相关系数;
步骤五,当所述当前原始图像的噪声模式与所述当前类的相机指纹特征之间的相关系数大于第二阈值时,将所述当前原始图像加入所述当前类,跳到所述步骤四,直至完成所述网络用户的所有原始图像的分类;
步骤六,当所述当前原始图像的噪声模式与所述当前类的相机指纹特征之间的相关系数小于或者等于所述第二阈值时,将所述当前类中的图像设置为已分类,将所述所有原始图像中除已分类的原始图像外的原始图像组成当前原始图像组,执行所述步骤二,直至完成所述网络用户的所有原始图像的分类。
一种基于相机指纹特征的社交网络用户的识别系统,包括:
获取单元,获取至少两个网络用户的原始图像;
提取单元,提取各个所述网络用户的原始图像的噪声模式;
聚类单元,按照所述噪声模式相互的相关度大小,对各个所述网络用户的原始图像进行聚类;
估计单元,根据所述网络用户的聚类后的各类原始图像的噪声模式,估计得到所述各类原始图像的相机指纹,并组合作为所述网络用户的相机指纹组;
计算单元,根据两个所述网络用户的相机指纹组,计算两个所述网络用户之间的用户相关度;
确定单元,当两个所述网络用户之间的用户相关度大于第一阈值时,则确定为所述两个网络用户共享至少一个相机。
所述计算单元包括:
计算子单元,根据两个所述网络用户的相机指纹组,计算两个所述网络用户的相机指纹特征之间的相关系数;
选择子单元,选择数值最大的所述相关系数,作为两个所述网络用户之间的用户相关度。
所述提取单元包括:
去噪子单元,对所述网络用户的原始图像进行去噪处理,得到无噪图像;
做差子单元,将所述无噪图像与所述原始图像做差,得到所述原始图像的噪声残差,将所述原始图像的噪声残差作为所述原始图像的噪声模式。
由上述本发明的实施例提供的技术方案可以看出,本发明实施例中,并不需要事先获取部分用户图像的相机来源来估计相机指纹,而是通过聚类的方法对图像来源进行自动标注,并按类估计得到用户所使用相机的相机指纹特征,从而通过匹配相机指纹特征来实现网络用户的识别。
本发明附加的方面和优点将在下面的描述中部分给出,这些将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明提供的一种基于相机指纹特征的社交网络用户的识别方法的处理流程图;
图2为本发明提供的一种基于相机指纹特征的社交网络用户的识别方法的原理示意图;
图3为本发明提供的一种基于相机指纹特征的社交网络用户的识别方法中PRNU特征的聚类方法的示意图;
图4为本发明所述的一种基于相机指纹特征的社交网络用户的识别系统的连接图。
具体实施方式
下面详细描述本发明的实施方式,所述实施方式的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的,仅用于解释本发明,而不能解释为对本发明的限制。
本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解,当我们称元件被“连接”或“耦接”到另一元件时,它可以直接连接或耦接到其他元件,或者也可以存在中间元件。此外,这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。
本技术领域技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样定义,不会用理想化或过于正式的含义来解释。
为便于对本发明实施例的理解,下面将结合附图以几个具体实施例为例做进一步的解释说明,且各个实施例并不构成对本发明实施例的限定。
为了阅读的方便,首先解释本发明的几个术语:噪声残差、相机指纹特征以及相机指纹组。
噪声残差(PatternNoise):由原始图片得到的噪声残差,其中包含了相机指纹成分,但也含有其他的一些噪声在内。严格来说,噪声残差并不等价于相机指纹。在本发明中,是借助噪声残差来获取目标相机的相机指纹,因此为避免混淆,将所有表示噪声残差的相机指纹部分改为噪声模式(PatternNoise);
目标相机的相机指纹特征:是由多张图像的噪声模式估计得来,其特点在于用于估计相机指纹特征的图片必须是由一部相机拍摄得到,而得到的相机指纹是所述相机所特有的。对于如网络图片等来源相机未知的图片,首先需要找到用户中哪些图片是由相同的相机拍摄,进而才可以估计相机指纹,这就是聚类的意义,即把由相同相机拍摄的图片聚为一类。对于聚类后的图片,每一类的图片都用来估计一个相机指纹,对于用户上传了由多部相机拍摄的图片的情况,就可以聚得多类,并相应的估计所有相机的相机指纹。
表示用户特征的相机指纹组:即对一个用户聚类后,可得到估计的数个相机指纹特征,每个相机指纹特征特指一部相机的相机指纹,也就是说,用户采用了几部相机,就会得到几个相机指纹。而一个用户中所有的相机指纹结合起来,表示用户的这个特征。
以下描述本发明。
如图1所示,为本发明所述的一种基于相机指纹特征的社交网络用户的识别方法,包括:
步骤11,获取至少两个网络用户的原始图像;
步骤12,提取各个所述网络用户的原始图像的噪声模式;
步骤13,按照所述噪声模式相互的相关度大小,对各个所述网络用户的原始图像进行聚类;
步骤14,根据所述网络用户的聚类后的各类原始图像的噪声模式,估计得到所述各类原始图像的相机指纹,并组合作为所述网络用户的相机指纹组;
步骤15,根据两个所述网络用户的相机指纹组,计算两个所述网络用户之间的用户相关度;
步骤16,当两个所述网络用户之间的用户相关度大于第一阈值时,则确定为所述两个网络用户共享至少一个相机。
本发明实施例中,并不需要事先获取部分用户图像的相机来源来估计相机指纹,而是通过聚类的方法对图像来源进行自动标注,并按类估计得到用户所使用相机的相机指纹特征,从而通过匹配相机指纹特征来实现网络用户的识别。
在一个实施例中,步骤15包括:
步骤151,根据两个所述网络用户的相机指纹组,计算两个所述网络用户的相机指纹之的间相关系数;
步骤152,选择数值最大的所述相关系数,作为两个所述网络用户之间的用户相关度。
在一个实施例中,步骤151包括:
根据两个所述网络用户的相机指纹组的峰值能量相关度,计算两个所述网络用户的相机指纹特征之间的相关系数。
在一个实施例中,步骤151包括:
根据两个所述网络用户的相机指纹组的相关性,计算两个所述网络用户的相机指纹特征之间的相关系数。
在一个实施例中,步骤12包括:
步骤A1,对所述网络用户的原始图像进行去噪处理,得到无噪图像;
步骤A2,将所述无噪图像与所述原始图像做差,得到所述原始图像的噪声残差,将所述原始图像的噪声残差作为所述原始图像的噪声模式。
在一个实施例中,步骤12包括::
步骤A0,将所述网络用户的原始图像处理成为相同大小;
步骤A1,对处理成相同大小的图像进行去噪处理,得到无噪图像;
步骤A2,将所述无噪图像与处理后的相同大小的所述图像做差,得到所述原始图像的噪声残差,将所述原始图像的噪声残差作为所述原始图像的噪声模式。
步骤13包括:
步骤一,获取所述网络用户的所有原始图像,作为当前原始图像组;
步骤二,计算所述当前原始图像组中的所有原始图像间的噪声模式的两两相关度;
步骤三,选择出相关度最大的一对原始图像,将选择出的所述一对图像划分到当前类;根据所述当前类中的所有原始图像,估计所述当前类的相机指纹特征;
步骤四,依次获取一所述网络用户的所有原始图像中的除所述当前类中的原始图像外的一原始图像作为当前原始图像;计算所述当前原始图像的噪声模式与所述当前类的相机指纹特征之间的相关系数;
步骤五,当所述当前原始图像的噪声模式与所述当前类的相机指纹特征之间的相关系数大于第二阈值时,将所述当前原始图像加入所述当前类,跳到所述步骤四,直至完成所述网络用户的所有原始图像的分类;
步骤六,当所述当前原始图像的噪声模式与所述当前类的相机指纹特征之间的相关系数小于或者等于所述第二阈值时,将所述当前类中的图像设置为已分类,将所述所有原始图像中除已分类的原始图像外的原始图像组成当前原始图像组,执行所述步骤二,直至完成所述网络用户的所有原始图像的分类。
以下描述本发明的应用场景。
首先描述本发明的思想。本发明的基于相机指纹特征的社交网络用户的识别方法,包括:首先,通过对每个用户的图像按照噪声模式进行聚类。聚为一类的图像则有很高的概率具有相同的相机来源;然后,对每一类的图像进行相机指纹特征的估计,进而得到一组表示用户特征的相机指纹组;最后,通过计算每个用户间每个相机指纹组的相关度,来判断用户是否共享了一部或多部相机,从而实现用户识别。
具体来讲,一种基于相机指纹特征的用户识别方法,包括以下步骤:
首先,提取用户中所有图像的噪声模式,并根据其相互之间的相关度大小进行聚类。依据相机指纹特征的产生原理,本发明的聚类方法能够将具有相同来源的图像尽可能的聚为一类。
然后,对于一个用户中的几个类图像,采用最大似然估计方法估计得到每类图像的噪声模式,从而得到一组相机指纹(等同于上述的相机指纹组),并将其作为用户的识别特征。
然后,根据不同用户间的相机指纹组的相关程度,来判断用户是否属于同一个个体。其中,用户间的相机指纹组的相关程度是相机指纹组中每个相机指纹特征的相互相关系数的最大值来衡量的。通过与预设的第一阈值相比较,来判断用户间是否存在由相同相机拍摄的图像,进而实现用户识别。
和传统的相机识别算法相比,本发明的一个重要区别在于相机指纹特征的匹配方法不同。在传统的相机识别算法中,是通过计算由一张图像得到的噪声残差与由一组图像估计的相机指纹之间的相关度系数来实现一张图像的相机匹配,而在本发明中,通过两组图像分别估计得到的相机指纹,并通过二者的峰值能量相关度(PCE,PeakEnergyCorrelation)来度量一组图像的相关程度,进而实现图像匹配。
本发明的另一个不同在于,并不需要事先获取部分用户图像的相机来源来估计相机指纹,而是通过聚类的方法对图像来源进行自动标注,从而能够方便的获得用户的相机指纹。
下面,对本发明的具体步骤进行详细说明。
步骤一,噪声模式提取。
根据相机指纹特征的产生原理和数码相机的成像过程,噪声模式可以被看为隐含于图像中的、具有相机唯一性的乘性噪声,因此可通过滤波的方式进行提取。在本发明中,采用基于小波的图像去噪方法得到无噪图像,并通过与原图像做差来得到图像的噪声残差,而得到的噪声残差即作为该图像的噪声模式。值得注意的是,相机识别方法只能匹配尺寸相同的图像,而在网络用户的图片中,由于各种原因,图像的尺寸往往遭到修改。针对网络用户图像尺寸不同的特点,本发明将所有用户图像重新定义为相同尺寸,例如分辨率为512*512,并改进了匹配方法,使得相机识别方法能够适用于网络环境。
步骤二,噪声模式聚类;
如图3所示,根据相机指纹特征的产生原理,相同相机所拍摄的图像的PRNU应当尽可能的相似,即如果图像由相同的相机拍摄,那么其PRNU特征的相关度应尽可能的高。然而在面对网络用户图像时,即使是由相同相机拍摄,图像间的PRNU特征的相关度也可能很低,这主要是由于用户或网络平台对图像的修改导致的。网络图像的一大特点就是受到过多次修改,包括下采样、数据压缩、对于图像内容的局部修改等,而这些操作往往会对图像中的PRNU特征造成局部的破坏(通常发生在图像中的边缘和纹理部分),即网络图像中的PRNU特征会有部分的缺失。如果两张由同一相机拍摄的图像只有较小的共同区域的PRNU特征没有遭到破坏,那么其相关度也会很小。但是从另一个角度考虑,如果两张图像的PRNU特征相关度很高,那么就说明这两张图像的PRNU特征被破坏的共同区域很小,而没有遭到破坏的区域具有很高的相关度,进而得出两张图像有很高的概率由相同相机拍摄得到的结论,这就是本发明中所设计的聚类算法的基础。也就是说,针对网络用户可能采用多部相机的特点,对用户图像的噪声模式进行聚类,进而得到用户所使用的所有相机的相机指纹,并组合作为用户的特征模式。
在本发明中,采用一种基于图片噪声模式相关度的迭代聚类方法得到用户所使用的相机的相机指纹。如图3所示,本发明的聚类算法,主要分为以下步骤:
步骤1,计算用户中所有图像噪声模式特征的两两相关度,并选择相关度最大的图像对聚为一类;
步骤2,利用最大似然估计,得到类中图像的相机指纹特征;
步骤3,对于用户中剩余的所有图像,计算其噪声模式与上一步得到的相机指纹特征的相关度,如果某一张图像的相关系数大于预先设定的阈值,就将该图像加入该类,否则,对剩余的用户图像重新进行1步骤;
步骤4,重复2、3步骤,直至完成用户所有图像的分类。
在上述聚类算法中,首先找到最有可能由相同相机拍摄的两张图像,而步骤2的目的是令两张图像的PRNU信息相互补全,得到完整性更高的相机指纹,进而找到更多具有相同噪声模式的图像。因此,随着类中图像的数量越大,所得到的该类的相机指纹也就越完整,进而能够得到可靠的用户相机指纹。当用户的未分类图像的噪声模式与图像的相关度都小于预设阈值,说明剩余图像中再无相同相机拍摄的图像,也就是说该类完成了聚类。在完成聚类之后,估计每类图像的相机指纹,并将所有相机指纹组合作为该用户的相机指纹组,进行用户匹配。也就是说,该步骤采用一种基于图像噪声模式相关度的迭代聚类算法,来获得单个用户的多个图像采集设备的相机指纹。
步骤三,用户匹配。
传统的相机识别方法中,匹配的方法是基于待识别图像的噪声模式与目标相机的相机指纹间的相关度决定的,但是网络用户可能对图像进行裁剪等操作,使得传统方法失效。对此,本发明通过考察两张图片的噪声模式的相关性大小,来判断所述两张图片是否由同一部相机拍摄得到。PCE是一种更加科学的相关度衡量指标,是通过改变两张图像像素的相对位置来计算多个相关系数,并将最大的相关系数作为这两张图像的相关度指标。因此,PCE可以有效识别经过裁剪、旋转等操作的网络图像,进而提高用户识别的准确性。也就是说,在对用户图像聚类后,每个用户都能得到一组相机指纹,在识别用户时,需要分别计算用户间两两相机指纹特征的PCE,并取其中的最大值作为用户间的相关度指标。如果用户间具有较高的相关度,那么就说明用户间使用了相同的图像采集设备,进而说明这些用户有很高的概率属于同一个个体。
也就是说,本发明通过用户相机指纹特征的相关度来实现网络用户识别的目的。面对用户图像可能被裁减的情况,采用了PCE来衡量相机指纹特征的相似性;此外,对于用户间多个相机指纹特征的PCE指标,采用最大值作为衡量用户相关度的衡量标准。
本发明设计一种基于相机指纹特征的在线社交网络用户的识别方法,根据相机指纹特征的产生原理,发明了一种图像聚类算法来找出具有相同来源的用户图像,实现了网络用户的识别。本发明的一个显著优势就是利用了相机指纹特征这种难以被修改和伪造的特征来实现用户的识别,能够得到更为可靠的识别结果。
如图4所示,为本发明所述的一种基于相机指纹特征的社交网络用户的识别系统,包括:
获取单元21,获取至少两个网络用户的原始图像;
提取单元22,提取各个所述网络用户的原始图像的噪声模式;
聚类单元23,按照所述噪声模式相互的相关度大小,对各个所述网络用户的原始图像进行聚类;
估计单元24,根据所述网络用户的聚类后的各类原始图像的噪声模式,估计得到所述各类原始图像的相机指纹,并组合作为所述网络用户的相机指纹组;
计算单元25,根据两个所述网络用户的相机指纹组,计算两个所述网络用户之间的用户相关度;
确定单元26,当两个所述网络用户之间的用户相关度大于第一阈值时,则确定为所述两个网络用户共享至少一个相机。
在一个实施例中,所述计算单元25包括:
计算子单元,根据两个所述网络用户的相机指纹组,计算两个所述网络用户的相机指纹之间的相关系数;
选择子单元,选择数值最大的所述相关系数,作为两个所述网络用户之间的用户相关度。
在一个实施例中,所述计算单元25包括:
计算子单元,根据两个所述网络用户的相机指纹组,计算两个所述网络用户之间的相机指纹特征之间的相关系数;
选择子单元,选择数值最大的所述相关系数,作为两个所述网络用户之间的用户相关度。
在一个实施例中,所述提取单元21包括:
去噪子单元,对所述网络用户的原始图像进行去噪处理,得到无噪图像;
做差子单元,将所述无噪图像与所述原始图像做差,得到所述原始图像的噪声残差,将所述原始图像的噪声残差作为所述原始图像的噪声残差。
本领域普通技术人员可以理解:附图只是一个实施例的示意图,附图中的模块或流程并不一定是实施本发明所必须的。
通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置或系统实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的装置及系统实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求的保护范围为准。
Claims (10)
1.一种基于相机指纹特征的社交网络用户的识别方法,其特征在于,包括:
获取至少两个网络用户的原始图像;
提取各个所述网络用户的原始图像的噪声模式;
按照所述噪声模式相互的相关度大小,对各个所述网络用户的原始图像进行聚类;
根据所述网络用户的聚类后的各类原始图像的噪声模式,估计得到所述各类原始图像的相机指纹,并组合作为所述网络用户的相机指纹组;
根据两个所述网络用户的相机指纹组,计算两个所述网络用户之间的用户相关度;
当两个所述网络用户之间的用户相关度大于第一阈值时,则确定为所述两个网络用户共享至少一个相机。
2.根据权利要求1所述的方法,其特征在于,所述根据两个所述网络用户的相机指纹组,计算两个所述网络用户之间的用户相关度的步骤包括:
根据两个所述网络用户的相机指纹组,计算两个所述网络用户的相机指纹特征之间的相关系数;
选择数值最大的所述相关系数,作为两个所述网络用户之间的用户相关度。
3.根据权利要求2所述的方法,其特征在于,所述根据两个所述网络用户的相机指纹组,计算两个所述网络用户的相机指纹特征之间的相关系数的步骤包括:
根据两个所述网络用户的相机指纹组的峰值能量相关度,计算两个所述网络用户的相机指纹特征之间的相关系数;或者
根据两个所述网络用户的相机指纹组的相关性,计算两个所述网络用户的相机指纹特征之间的相关系数。
4.根据权利要求1所述的方法,其特征在于,所述提取各个所述网络用户的原始图像的噪声模式的步骤包括:
步骤A1,对所述网络用户的原始图像进行去噪处理,得到无噪图像;
步骤A2,将所述无噪图像与所述原始图像做差,得到所述原始图像的噪声残差,将所述原始图像的噪声残差作为所述原始图像的噪声模式。
5.根据权利要求1所述的方法,其特征在于,所述提取各个所述网络用户的原始图像的噪声模式的步骤包括::
步骤A0,将所述网络用户的原始图像处理成为相同大小;
步骤A1,对处理成相同大小的图像进行去噪处理,得到无噪图像;
步骤A2,将所述无噪图像与处理后的相同大小的所述图像做差,得到所述原始图像的噪声残差,将所述原始图像的噪声残差作为所述原始图像的噪声模式。
6.根据权利要求1所述的方法,其特征在于,所述按照所述噪声模式相互的相关度大小,对各个所述网络用户的原始图像进行聚类的步骤包括:
步骤一,获取所述网络用户的所有原始图像,作为当前原始图像组;
步骤二,计算所述当前原始图像组中的所有原始图像间的噪声模式的两两相关度;
步骤三,选择出相关度最大的一对原始图像,将选择出的所述一对图像划分到当前类;根据所述当前类中的所有原始图像,估计所述当前类的相机指纹特征;
步骤四,依次获取一所述网络用户的所有原始图像中的除所述当前类中的原始图像外的一原始图像作为当前原始图像;计算所述当前原始图像的噪声模式与所述当前类的相机指纹特征之间的相关系数;
步骤五,当所述当前原始图像的噪声模式与所述当前类的相机指纹特征之间的相关系数大于第二阈值时,将所述当前原始图像加入所述当前类,跳到所述步骤四,直至完成所述网络用户的所有原始图像的分类;
步骤六,当所述当前原始图像的噪声模式与所述当前类的相机指纹特征之间的相关系数小于或者等于所述第二阈值时,将所述当前类中的图像设置为已分类,将所述所有原始图像中除已分类的原始图像外的原始图像组成当前原始图像组,执行所述步骤二,直至完成所述网络用户的所有原始图像的分类。
7.一种基于相机指纹特征的社交网络用户的识别系统,其特征在于,包括:
获取单元,获取至少两个网络用户的原始图像;
提取单元,提取各个所述网络用户的原始图像的噪声模式;
聚类单元,按照所述噪声模式相互的相关度大小,对各个所述网络用户的原始图像进行聚类;
估计单元,根据所述网络用户的聚类后的各类原始图像的噪声模式,估计得到所述各类原始图像的相机指纹,并组合作为所述网络用户的相机指纹组;
计算单元,根据两个所述网络用户的相机指纹组,计算两个所述网络用户之间的用户相关度;
确定单元,当两个所述网络用户之间的用户相关度大于第一阈值时,则确定为所述两个网络用户共享至少一个相机。
8.根据权利要求7所述的系统,其特征在于,所述计算单元包括:
计算子单元,根据两个所述网络用户的相机指纹组,计算两个所述网络用户的相机指纹特征之间的相关系数;
选择子单元,选择数值最大的所述相关系数,作为两个所述网络用户之间的用户相关度。
9.根据权利要求7所述的系统,其特征在于,所述计算单元包括:
计算子单元,根据两个所述网络用户的相机指纹组,计算两个所述网络用户之间的相机指纹特征之间的相关系数;
选择子单元,选择数值最大的所述相关系数,作为两个所述网络用户之间的用户相关度。
10.根据权利要求7所述的系统,其特征在于,所述提取单元包括:
去噪子单元,对所述网络用户的原始图像进行去噪处理,得到无噪图像;
做差子单元,将所述无噪图像与所述原始图像做差,得到所述原始图像的噪声残差,将所述原始图像的噪声残差作为所述原始图像的噪声模式。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510756440.4A CN105303449B (zh) | 2015-11-09 | 2015-11-09 | 基于相机指纹特征的社交网络用户的识别方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510756440.4A CN105303449B (zh) | 2015-11-09 | 2015-11-09 | 基于相机指纹特征的社交网络用户的识别方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105303449A true CN105303449A (zh) | 2016-02-03 |
CN105303449B CN105303449B (zh) | 2019-05-17 |
Family
ID=55200679
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510756440.4A Active CN105303449B (zh) | 2015-11-09 | 2015-11-09 | 基于相机指纹特征的社交网络用户的识别方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105303449B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105938562A (zh) * | 2016-04-13 | 2016-09-14 | 中国科学院信息工程研究所 | 一种自动化网络应用指纹提取方法及系统 |
CN108154080A (zh) * | 2017-11-27 | 2018-06-12 | 北京交通大学 | 一种视频设备快速溯源的方法 |
CN108319986A (zh) * | 2018-02-08 | 2018-07-24 | 深圳市华云中盛科技有限公司 | 基于prnu的图像来源的鉴定方法及其系统 |
CN109034230A (zh) * | 2018-07-17 | 2018-12-18 | 厦门大学 | 一种基于深度学习的单幅图像相机溯源方法 |
CN109685094A (zh) * | 2018-09-21 | 2019-04-26 | 阿里巴巴集团控股有限公司 | 一种基于网络指纹的身份识别方法和装置 |
WO2022161397A1 (zh) * | 2021-02-01 | 2022-08-04 | 腾讯科技(深圳)有限公司 | 人脸图像的验证方法、装置、电子设备和存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120195476A1 (en) * | 2011-01-27 | 2012-08-02 | Sevine Bayram | Sensor fingerprint matching in large image and video databases |
CN102819831A (zh) * | 2012-08-16 | 2012-12-12 | 江南大学 | 基于模式噪声大分量的相机来源取证方法 |
-
2015
- 2015-11-09 CN CN201510756440.4A patent/CN105303449B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120195476A1 (en) * | 2011-01-27 | 2012-08-02 | Sevine Bayram | Sensor fingerprint matching in large image and video databases |
CN102819831A (zh) * | 2012-08-16 | 2012-12-12 | 江南大学 | 基于模式噪声大分量的相机来源取证方法 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105938562A (zh) * | 2016-04-13 | 2016-09-14 | 中国科学院信息工程研究所 | 一种自动化网络应用指纹提取方法及系统 |
CN105938562B (zh) * | 2016-04-13 | 2019-06-11 | 中国科学院信息工程研究所 | 一种自动化网络应用指纹提取方法及系统 |
CN108154080A (zh) * | 2017-11-27 | 2018-06-12 | 北京交通大学 | 一种视频设备快速溯源的方法 |
CN108319986A (zh) * | 2018-02-08 | 2018-07-24 | 深圳市华云中盛科技有限公司 | 基于prnu的图像来源的鉴定方法及其系统 |
CN109034230A (zh) * | 2018-07-17 | 2018-12-18 | 厦门大学 | 一种基于深度学习的单幅图像相机溯源方法 |
CN109685094A (zh) * | 2018-09-21 | 2019-04-26 | 阿里巴巴集团控股有限公司 | 一种基于网络指纹的身份识别方法和装置 |
WO2022161397A1 (zh) * | 2021-02-01 | 2022-08-04 | 腾讯科技(深圳)有限公司 | 人脸图像的验证方法、装置、电子设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN105303449B (zh) | 2019-05-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105303449A (zh) | 基于相机指纹特征的社交网络用户的识别方法和系统 | |
KR101887002B1 (ko) | 이미지-특징-기반 인식을 위한 시스템들 및 방법들 | |
US10210427B2 (en) | Systems, methods, and devices for image matching and object recognition in images | |
Neumann et al. | Computation of likelihood ratios in fingerprint identification for configurations of three minutiae | |
CN109492122B (zh) | 商家信息的获取方法、装置、终端及计算机可读存储介质 | |
US20120011119A1 (en) | Object recognition system with database pruning and querying | |
JP5563494B2 (ja) | 対応参照画像検索装置及び方法、コンテンツ重畳装置、システム、及び方法、並びにコンピュータプログラム | |
CN110555428B (zh) | 行人重识别方法、装置、服务器以及存储介质 | |
CN108154080B (zh) | 一种视频设备快速溯源的方法 | |
CN108960892B (zh) | 信息处理方法及装置、电子设备及存储介质 | |
CN110502694B (zh) | 基于大数据分析的律师推荐方法及相关设备 | |
WO2020098250A1 (zh) | 字符识别方法、服务器及计算机可读存储介质 | |
US20200218772A1 (en) | Method and apparatus for dynamically identifying a user of an account for posting images | |
CN107133951B (zh) | 图像篡改检测方法及装置 | |
Wan et al. | Efficient virtual data search for annotation‐free vehicle reidentification | |
US20150254527A1 (en) | Methods for 3d object recognition and registration | |
Lee et al. | Fast and Accurate Visual Place Recognition Using Street‐View Images | |
Golubev et al. | Validation of Real Estate Ads based on the Identification of Identical Images | |
Peng et al. | The knowing camera 2: recognizing and annotating places-of-interest in smartphone photos | |
de Jongh et al. | Performance evaluation of automated fingerprint identification systems for specific conditions observed in casework using simulated fingermarks | |
CN116503115B (zh) | 一种基于互联网游戏平台的广告资源推荐方法及系统 | |
CN111367897B (zh) | 一种数据处理方法、装置、设备及存储介质 | |
CN116932876A (zh) | 信息推送方法、装置、计算机设备和存储介质 | |
CN116600247A (zh) | 一种信息关联匹配方法、装置、设备以及存储介质 | |
Mashhadani | An object-based multimedia forensic analysis tool |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
EE01 | Entry into force of recordation of patent licensing contract | ||
EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20160203 Assignee: Beijing Yongxin Norhua Science & Technology Co.,Ltd. Assignor: Beijing Jiaotong University Contract record no.: X2023980048503 Denomination of invention: A Method and System for Identifying Social Network Users Based on Camera Fingerprint Features Granted publication date: 20190517 License type: Common License Record date: 20231124 |