CN109376719A - 一种基于组合特征表示的相机光响应非均匀性指纹提取及比对方法 - Google Patents

一种基于组合特征表示的相机光响应非均匀性指纹提取及比对方法 Download PDF

Info

Publication number
CN109376719A
CN109376719A CN201811557519.4A CN201811557519A CN109376719A CN 109376719 A CN109376719 A CN 109376719A CN 201811557519 A CN201811557519 A CN 201811557519A CN 109376719 A CN109376719 A CN 109376719A
Authority
CN
China
Prior art keywords
input picture
color lump
value
camera light
fingerprint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811557519.4A
Other languages
English (en)
Other versions
CN109376719B (zh
Inventor
杨阳
闵永浩
刘云霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN201811557519.4A priority Critical patent/CN109376719B/zh
Publication of CN109376719A publication Critical patent/CN109376719A/zh
Application granted granted Critical
Publication of CN109376719B publication Critical patent/CN109376719B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1347—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1365—Matching; Classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于组合特征表示的相机光响应非均匀性指纹提取及比对方法，首先对输入图像进行归一化，色彩空间转换等预处理；其次检测输入图像的饱和度，色度，亮度，边缘区域，纹理区域，平坦区域作为感兴趣候选区域；然后根据上述信息将图像切割成指定大小的色块，并将这些色块分成六个子集；最后将六个子集中的色块分别送入残差网络，利用深度学习的方法提取每个色块中的相机光响应非均匀性指纹，预训练形成一个指纹提取系统，用于源相机识别。本方法提取指纹具有唯一性且鲁棒性好，能够较为快速且准确的检测出相机光响应非均匀性指纹，适用于刑侦鉴定，支票防伪，图像比对，信息安全等领域。

Description

一种基于组合特征表示的相机光响应非均匀性指纹提取及比 对方法
技术领域
本发明涉及一种基于组合特征表示的相机光响应非均匀性指纹提取及比对方法，属于计算机视觉技术领域。
背景技术
随着计算机视觉技术的发展，源相机识别技术日趋得到重视，越来越多的场合使用源相机识别技术鉴定图像来源以及真伪，比如刑侦鉴定，支票防伪，图像比对，信息安全等。若在原始图像上直接进行检测，会造成准确性低、计算量大、检测速度慢等问题。因此，基于深度学习的相机光响应非均匀性指纹提取得到了广泛的应用，同时有效选取源相机识别所需的光响应非均匀性指纹特征信息更是其成功的关键。
现有技术中，对过大图像提取相机指纹时存在计算量大、计算复杂度高、空间占用率高等问题。
现有的关于相机光响应非均匀性指纹提取方法中，一般采用降噪的方式来提取，其中使用最广泛的是Lukas提出的方法，他在文章中已证明相机光响应非均匀性指纹是一种乘性噪声，Lukas方法是采用低通滤波器滤除原始图像加性噪声，然后用原始图像减去去噪后的图像，即得到相机光响应非均匀性指纹。但由于相机光响应非均匀性指纹噪声属于乘性噪声，是高频信号，并且与图像本身内容相关，这种方法得到的指纹噪声信息不强，准确性较低，且是在整幅图像上操作，计算量大，不容易操作。
中国专利文献CN104036280A公开了一种基于感兴趣区域和聚类相结合的视频指纹方法，其技术特点是包括以下步骤：在视频指纹提取阶段，将视频感兴趣区域作为提取视频指纹的基本单元，采用基于聚类算法去除视频指纹的时域冗余特征；在视频指纹匹配阶段，采用多个视频指纹距离平均值的方法进行视频指纹匹配。但是，该专利在提取视频指纹时算法复杂度较高，对于单帧视频，处理整幅图像，资源占用率较高，不利于视频指纹实时提取。
发明内容
针对现有技术的不足，本发明提供了一种基于组合特征表示的相机光响应非均匀性指纹提取及比对方法；
本发明避免了对过大图像提取相机指纹时计算量大、计算复杂度高、空间占用率高等问题，本方法能够快速且准确的找到具有相机光响应非均匀性指纹的感兴趣区域，其实际应用广泛且具有计算量小，算法复杂度小，准确快速的特点，缩小相机指纹提取范围以减少计算量，同时提高了检测效率和检测准确率，提高了相机光响应非均匀性指纹效率和准确度。
发明概述：
本发明一种基于组合特征表示的相机光响应非均匀性(PRNU)指纹提取及比对方法，包括：首先，对输入图像进行预处理；其次，检测输入图像的饱和度、色度、亮度、边缘区域、纹理区域及平坦区域，作为感兴趣候选区域；然后，根据上述信息将图像切割成指定大小的色块，并将这些色块分成六个子集；最后，将六个子集中的色块分别送入残差网络，利用深度学习的方法提取每个色块中的相机指纹，并对目标图像进行指纹比对。
术语解释：
1、相机光响应非均匀性指纹，是指由传感器像素单元对光照的响应非均匀性引起的一种模式噪声，由于其与传感器尺寸、光谱响应及传感器涂层厚度有关，不受外界温度和湿度的影响，性能稳定且独一无二，被认为是相机的固有属性，可作为相机的设备指纹。
2、饱和度，是指彩度除以明度，与彩度同样表征彩色偏离同亮度灰色的程度。
3、色度，颜色是由亮度和色度共同表示的，色度是不包括亮度在内的颜色的性质，它反映的是颜色的色调和饱和度。
4、亮度，是指发光体(反光体)表面发光(反光)强弱的物理量。
5、纹理区域，是指一种反映图像中同质现象的视觉特征，它体现了物体表面的具有缓慢变化或者周期性变化的表面结构组织排列属性，通过像素及其周围空间邻域的灰度分布的不同重复性来表现。
6、边缘区域，是指图像中一定数量像素点亮度发生明显变化的区域，它反映图像重要的结构属性。
7、平坦区域，是指图像中像素点亮度无明显变化的区域，它反映图像重要的结构属性。
8、色块，颜色块，在软件中用来设置颜色的方块。
9、残差人工神经网络，是指含多隐藏层的多层神经网络组成的用于解决图像，文本等问题的算法模型，主要包括卷积神经网络、循环神经网络、深度置信网络等。
10，归一化处理，是一种简化计算的方式，即将有量纲的表达式，经过变换，化为无量纲的表达式，成为标量。
11、RGB颜色空间，以R(Red:红)、G(Green:绿)、B(Blue:蓝)三种基本色为基础，进行不同程度的叠加，产生丰富而广泛的颜色，所以俗称三基色模式。
12、HSI颜色空间，HSI色彩空间是从人的视觉系统出发，用色调(Hue)、色饱和度(Saturation 或Chroma)和亮度(Intensity或Brightness)来描述色彩。HSI色彩空间可以用一个圆锥空间模型来描述。用这种描述HIS色彩空间的圆锥模型相当复杂，但确能把色调、亮度和色饱和度的变化情形表现得很清楚。通常把色调和饱和度通称为色度，用来表示颜色的类别与深浅程度。
13、小波分解，是指对原始图像信号分别进行低通、高通滤波，再分别进行二元下采样，得到低频、高频两部分信息。二层小波分解，是指对上一级分解得到的低频系数再进行小波分解一次。
14、残差网络，是2015年提出的深度卷积网络，残差网络更容易优化，并且能够通过增加相当的深度来提高准确率。核心是解决了增加深度带来的副作用(退化问题)，这样能够通过单纯地增加网络深度，来提高网络性能。
本发明的技术方案为：
一种基于组合特征表示的相机光响应非均匀性指纹提取及比对方法，具体步骤如下：
(1)对输入图像进行图像预处理；
(2)检测输入图像的饱和度、色度、亮度、纹理区域、边缘区域及平坦区域，以检测到的相应特征区域作为相机光响应非均匀性指纹提取的候选区域；
(3)按照候选区域，将输入图像切割成M*M大小的色块(patch)，M的取值为不大于原始图像像素点(或者叫分辨率)的值，并将这些色块均匀抽取，分成6个子集；此处6个子集为饱和度、色度、亮度、纹理区域、边缘区域及平坦区域六个子集；
进一步优选的，M＝32或M＝64或M＝128。
(4)将每个子集中的色块分别送入残差网络(ResNet)，利用残差网络提取每个色块中的相机光响应非均匀性指纹；
(5)将步骤(4)预训练的残差网络得到的最好模型保存下来，以此作为指纹比对模型，在对目标图像进行指纹比对时，先将目标图像分割成M*M大小的色块，再将分割好的色块送入指纹比对模型中进行指纹比对。
根据本发明优选的，所述步骤(1)中，对输入图像进行图像预处理，包括步骤如下：
A、对输入图像归一化处理，形成统一标准格式图像；例如，对任意输入图像统一缩放成 4000*3000大小的JPG格式图像，此处缩放尺寸需大于色块大小M；
B、对步骤A处理后的图像进行色彩空间转换，即从原始RGB颜色空间转换为HSI颜色空间。
根据本发明优选的，所述步骤(2)中，检测输入图像饱和度、色度、亮度、纹理区域、边缘区域及平坦区域，作为候选区域；包括步骤如下：
C、设定输入图像P，对于输入图像P，先计算像素值的均值(mean)和标准差(standard deviation)，像素值的取值范围为[0,255]：
输入图像P的像素值如矩阵(I)所示：
矩阵(I)中，矩阵元素为像素值，m表示行数，n表示列数，矩阵P元素的取值范围为[0,255]；
输入图像P的像素值的均值如式(Ⅱ)所示，对矩阵P按列的顺序逐次求均值，形成一个 1*n的矩阵：
式(Ⅱ)中，Xij为第i行第j列的像素点值，为第j列的像素值的均值，j∈[1，n]；
输入图像P的像素值的标准差(Std)如式(Ⅲ)所示，先由(Ⅱ)求出均值，之后按列求标准差：
式(Ⅲ)中，Stdj为矩阵P的第j列的像素值的标准差，j∈[1，n]；
D、检测输入图像的饱和度：
在本发明中，我们选取像素值的均值在[0,5]或[250,255]且像素值的标准差在[0,5]范围内的色块，作为相机光响应非均匀性指纹候选区域：
m∈[0，5]∪[250，255]
std∈[0，5]
E、检测输入图像的平坦区域：
在本发明中，我们选取像素值的均值在[0,5]或[250,255]且像素值的标准差为[5,8]范围内的色块，以及像素值的均值在[5,250]且像素值的标准差为[0,8]范围内的色块，作为相机指纹感兴趣候选区域：
m∈[0,5]∪[250,255]，std∈[5,8]
m∈[5,250]，std∈[0，8]
F、检测输入图像的边缘区域：对于边缘区域的检测，采用边缘算子检测的方法，一般有Canny算子、Sobel算子、Roberts算子等；
进一步优选的，采用Sobel算子检测输入图像的边缘区域，包括：
a、先对输入图像进行灰度化处理；
b、假设A是灰度图像，Gx和Gy分别是在横向及纵向的灰度偏导的近似值：
对应的计算过程如下：
Gx＝[f(x+1,y-1)+2*f(x+1,y)+f(x+1,y+1)]-[f(x-1,y-1)+2*f(x-1,y)+f(x-1,y+1)]，f(x,y)为图像A中(x,y)处的灰度值；
对于图像中每个像素点的梯度估计值G，由Gx和Gy得出：
c、设定一个阈值Gmax，Gmax的取值范围为[0,255]，若像素点的梯度估计值G大于阈值Gmax，则判定该像素点为边界点；
优选的，Gmax＝100；
d、选取边界点周围M*M大小区域为边缘区域。
优选的，步骤d中，选取边界点周围32*32、64*64、128*128区域为边缘区域。
G、检测输入图像的纹理区域
①对图像P的HSI空间各个通道进行二层小波分解，提取其小波能量Em；
②对提取到的小波能量进行归一化处理，得到能量特征
i＝1,2,3,表示三个高频细节，包含主要的纹理信息，d为分解层数，当d＝2时，得到18维的符合人视觉系统的具有纹理以及颜色属性的特征信息，Xj表示图像的H、S、I三个通道；是指Xj通道的第i个高频细节的能量特征；
③通过步骤②得到的纹理能量特征，用K近邻方法判断具有相同能量特征的像素点，以这些像素点为中心，确定M*M大小的纹理区域；
根据本发明优选的，所述步骤(3)中，按照候选区域，将输入图像切割成M*M大小的色块 (patch)，并将这些色块均匀抽取，分成六个子集；包括步骤如下：
④将步骤(2)检测的输入图像的饱和度、色度、亮度、纹理区域、边缘区域、平坦区域按照中心点周围M*M大小的窗口切割，形成指定大小的色块(patch)；
⑤将每类切割好的色块进行均匀抽取，使每类色块分布均匀；
⑥将抽取好的色块分别存放在不同文件夹，形成六个子集。
根据本发明优选的，所述步骤(4)中，将每个子集中的色块分别送入残差网络，利用深度学习的方法提取每个色块中的相机光响应非均匀性指纹；包括步骤如下：
⑦将步骤(3)的六个子集分别送入残差网络的输入层；
⑧输入图像依次通过残差网络各残差单元中的卷积层、批量归一化层、激活层、池化层、全连接层，学习相机光响应非均匀性指纹特征；
⑨通过残差网络每层提取到的特征信息，得到对应色块的特征信息，并输出带有相应指纹信息的色块。
根据本发明优选的，所述步骤(5)中，包括步骤如下：
⑩保存步骤(5)训练的残差网络，同时训练一个聚类分类器；
将目标图像输入该残差网络，并将其与残差网络保存的指纹信息特征进行比对；
通过聚类分类器，输出比对结果。
进一步优选的，所述步骤⑩中，训练一个聚类分类器，包括：同时将切割好的色块、残差网络提取出的指纹特征向量、标签送入分类器进行训练，使标签与对应的色块相匹配，得到一个聚类分类器。
本发明的有益效果为：
1、本发明定位精度较高，能够实现相机光响应非均匀性指纹的准确提取，简洁方便；
2、本发明方法采用提取图像色块的方式，有效减少了计算的复杂度，缩短了算法运算时间，提高了提取效率；
3、本发明方法采用选定图像饱和度，色度，亮度，纹理区域，边缘区域，平坦区域，其实用性强且鲁棒性高。
附图说明
图1为本发明一种基于组合特征表示的相机光响应非均匀性指纹提取及比对方法的流程示意图；
图2为本发明残差网络的结构框图；
具体实施方式
下面结合说明书附图和实施例对本发明作进一步限定，但不限于此。
实施例1
一种基于组合特征表示的相机光响应非均匀性指纹提取及比对方法，如图1所示，具体步骤如下：
(1)对输入图像进行图像预处理；
(2)检测输入图像的饱和度、色度、亮度、纹理区域、边缘区域及平坦区域，以检测到的相应特征区域作为相机光响应非均匀性指纹提取的候选区域；
(3)按照候选区域，将输入图像切割成M*M大小的色块(patch)，M的取值为不大于原始图像像素点(或者叫分辨率)的值，并将这些色块均匀抽取，分成6个子集；此处6个子集为饱和度、色度、亮度、纹理区域、边缘区域及平坦区域六个子集；
M＝32或M＝64或M＝128。
(4)将每个子集中的色块分别送入残差网络(ResNet)，利用残差网络提取每个色块中的相机光响应非均匀性指纹；
(5)将步骤(4)预训练的残差网络得到的最好模型保存下来，以此作为指纹比对模型，在对目标图像进行指纹比对时，先将目标图像分割成M*M大小的色块，再将分割好的色块送入指纹比对模型中进行指纹比对。
实施例2
根据实施例1所述的一种基于组合特征表示的相机光响应非均匀性指纹提取及比对方法，其区别在于：
步骤(1)中，对输入图像进行图像预处理，包括步骤如下：
A、对输入图像归一化处理，形成统一标准格式图像；例如，对任意输入图像统一缩放成 4000*3000大小的JPG格式图像，此处缩放尺寸需大于色块大小M；
B、对步骤A处理后的图像进行色彩空间转换，即从原始RGB颜色空间转换为HSI颜色空间。
步骤(2)中，检测输入图像饱和度、色度、亮度、纹理区域、边缘区域及平坦区域，作为候选区域；包括步骤如下：
C、设定输入图像P，对于输入图像P，先计算像素值的均值(mean)和标准差(standard deviation)，像素值的取值范围为[0,255]：
输入图像P的像素值如矩阵(I)所示：
矩阵(I)中，矩阵元素为像素值，m表示行数，n表示列数，矩阵P元素的取值范围为[0,255]；
输入图像P的像素值的均值如式(Ⅱ)所示，对矩阵P按列的顺序逐次求均值，形成一个 1*n的矩阵：
式(Ⅱ)中，Xij为第i行第j列的像素点值，为第j列的像素值的均值，j∈[1,n]；
输入图像P的像素值的标准差(Std)如式(Ⅲ)所示，先由式(Ⅱ)求出均值，之后按列求标准差：
式(Ⅲ)中，Stdj为矩阵P的第j列的像素值的标准差，j∈[1,n]；
D、检测输入图像的饱和度：
在本发明中，我们选取像素值的均值在[0,5]或[250,255]且像素值的标准差在[0,5]范围内的色块，作为相机光响应非均匀性指纹候选区域：
m∈[0,5]∪[250,255]
std∈[0,5]
E、检测输入图像的平坦区域：
在本发明中，我们选取像素值的均值在[0,5]或[250,255]且像素值的标准差为[5,8]范围内的色块，以及像素值的均值在[5,250]且像素值的标准差为[0,8]范围内的色块，作为相机指纹感兴趣候选区域：
m∈[0，5]∪[250,255]，std∈[5,8]
m∈[5，250]，std∈[0，8]
F、检测输入图像的边缘区域：对于边缘区域的检测，采用边缘算子检测的方法，一般有Canny算子、Sobel算子、Roberts算子等；
采用Sobel算子检测输入图像的边缘区域，包括：
a、先对输入图像进行灰度化处理；
b、假设A是灰度图像，Gx和Gy分别是在横向及纵向的灰度偏导的近似值：
对应的计算过程如下：
Gx＝[f(x+1,y-1)+2*f(x+1,y)+f(x+1,y+1)]-[f(x-1,y-1)+2*f(x-1,y)+f(x-1,y+1)]，f(x,y)为图像A中(x,y)处的灰度值；
对于图像中每个像素点的梯度估计值G，由Gx和Gy得出：
c、设定一个阈值Gmax，Gmax的取值范围为[0,255]，若像素点的梯度估计值G大于阈值Gmax，则判定该像素点为边界点；
Gmax＝100；
d、选取边界点周围M*M大小区域为边缘区域。
G、检测输入图像的纹理区域
①对图像P的HSI空间各个通道进行二层小波分解，提取其小波能量Em；
②对提取到的小波能量进行归一化处理，得到能量特征
i＝1,2,3,表示三个高频细节，包含主要的纹理信息，d为分解层数，当d＝2时，得到18维的符合人视觉系统的具有纹理以及颜色属性的特征信息，Xj表示图像的H、S、I三个通道；是指Xj通道的第i个高频细节的能量特征；
③通过步骤②得到的纹理能量特征，用K近邻方法判断具有相同能量特征的像素点，以这些像素点为中心，确定M*M大小的纹理区域；
步骤(3)中，按照候选区域，将输入图像切割成M*M大小的色块(patch)，并将这些色块均匀抽取，分成六个子集；包括步骤如下：
④将步骤(2)检测的输入图像的饱和度、色度、亮度、纹理区域、边缘区域、平坦区域按照中心点周围M*M大小的窗口切割，形成指定大小的色块(patch)；
⑤将每类切割好的色块进行均匀抽取，使每类色块分布均匀；
⑥将抽取好的色块分别存放在不同文件夹，形成六个子集。
步骤(4)中，将每个子集中的色块分别送入残差网络，利用深度学习的方法提取每个色块中的相机光响应非均匀性指纹；包括步骤如下：
⑦将步骤(3)的六个子集分别送入残差网络的输入层；
⑧输入图像依次通过残差网络各残差单元中的卷积层、批量归一化层、激活层、池化层、全连接层，学习相机光响应非均匀性指纹特征；
⑨通过残差网络每层提取到的特征信息，得到对应色块的特征信息，并输出带有相应指纹信息的色块。
步骤(5)中，包括步骤如下：
⑩保存步骤(5)训练的残差网络，同时训练一个聚类分类器；
将目标图像输入该残差网络，并将其与残差网络保存的指纹信息特征进行比对；
通过聚类分类器，输出比对结果。
步骤⑩中，训练一个聚类分类器，包括：同时将切割好的色块、残差网络提取出的指纹特征向量、标签送入分类器进行训练，使标签与对应的色块相匹配，得到一个聚类分类器。
实施例3
一种基于组合特征表示的相机光响应非均匀性指纹提取及比对方法，具体步骤如下：
(1)对输入图像进行图像预处理；包括步骤如下：
A、对任意输入图像统一缩放成3456*2592大小的JPG格式图像；
B、对步骤A处理后的图像进行色彩空间转换，即从原始RGB颜色空间转换为HSI颜色空间。
(2)检测输入图像的饱和度、色度、亮度、纹理区域、边缘区域及平坦区域，以检测到的相应特征区域作为相机光响应非均匀性指纹提取的候选区域；包括步骤如下：
C、设定输入图像P，对于输入图像P，先计算像素值的均值(mean)和标准差(standard deviation)，像素值的取值范围为[0,255]：
输入图像P的像素值如矩阵(I)所示：
矩阵(I)中，矩阵元素为像素值，m表示行数，n表示列数，矩阵P元素的取值范围为[0,255]；
输入图像P的像素值的均值如式(Ⅱ)所示，对矩阵P按列的顺序逐次求均值，形成一个 1*n的矩阵：
式(Ⅱ)中，Xij为第i行第j列的像素点值，为第j列的像素值的均值，j∈[1，n]；
输入图像P的像素值的标准差(Std)如式(Ⅲ)所示，先由式(Ⅱ)求出均值，之后按列求标准差：
式(Ⅲ)中，Stdj为矩阵P的第j列的像素值的标准差，j∈[1,n]；
D、检测输入图像的饱和度：
在本发明中，我们选取像素值的均值在[0,5]或[250,255]且像素值的标准差在[0,5]范围内的色块，作为相机光响应非均匀性指纹候选区域：
m∈[0,5]∪[250,255]
std∈[0,5]
E、检测输入图像的平坦区域：
在本发明中，我们选取像素值的均值在[0,5]或[250,255]且像素值的标准差为[5,8]范围内的色块，以及像素值的均值在[5,250]且像素值的标准差为[0,8]范围内的色块，作为相机指纹感兴趣候选区域：
m∈[0，5]∪[250，255]，std∈[5，8]
m∈[5，250]，std∈[0，8]
F、采用Sobel算子检测输入图像的边缘区域，包括：
a、先对输入图像进行灰度化处理；
b、假设A是灰度图像，Gx和Gy分别是在横向及纵向的灰度偏导的近似值：
对应的计算过程如下：
Gx＝[f(x+1,y-1)+2*f(x+1,y)+f(x+1,y+1)]-[f(x-1,y-1)+2*f(x-1,y)+f(x-1,y+1)]，f(x,y)为图像A中(x，y)处的灰度值；
对于图像中每个像素点的梯度估计值G，由Gx和Gy得出：
c、设定一个阈值Gmax＝100，若像素点的梯度估计值G大于阈值+max，则判定该像素点为边界点；
d、选取边界点周围32*32大小区域为边缘区域。
G、检测输入图像的纹理区域
①对图像P的HSI空间各个通道进行二层小波分解，提取其小波能量Em；
②对提取到的小波能量进行归一化处理，得到能量特征
i＝1,2,3,表示三个高频细节，包含主要的纹理信息，d为分解层数，当d＝2时，得到18维的符合人视觉系统的具有纹理以及颜色属性的特征信息，Xj表示图像的H、S、I三个通道；是指Xj通道的第i个高频细节的能量特征；
③通过步骤②得到的纹理能量特征，用K近邻方法判断具有相同能量特征的像素点，以这些像素点为中心，确定32*32大小的纹理区域；
(3)按照候选区域，将输入图像切割成32*32大小的色块(patch)，并将这些色块均匀抽取，分成6个子集；包括步骤如下：
④将步骤(2)检测的输入图像的饱和度、色度、亮度、纹理区域、边缘区域、平坦区域按照中心点周围32*32大小的窗口切割，形成指定大小的色块(patch)；
⑤将每类切割好的色块进行均匀抽取，使每类色块分布均匀；
⑥将抽取好的色块分别存放在不同文件夹，形成六个子集。
(4)将每个子集中的色块分别送入残差网络(ResNet)，如图2所示，利用残差网络提取每个色块中的相机光响应非均匀性指纹；包括步骤如下：
⑦将步骤(3)的六个子集分别送入残差网络的输入层；
⑧输入图像依次通过图2所示的残差网络各残差单元中的卷积层、批量归一化层、激活层、池化层、全连接层，学习相机光响应非均匀性指纹特征；
⑨通过残差网络每层提取到的特征信息，得到对应色块的特征信息，并输出带有相应指纹信息的色块。
(5)将步骤(4)预训练的残差网络得到的最好模型保存下来，以此作为指纹比对模型，在对目标图像进行指纹比对时，先将目标图像分割成32*32大小的色块，再将分割好的色块送入指纹比对模型中进行指纹比对。包括步骤如下：
⑩保存步骤(5)训练的残差网络，同时训练一个聚类分类器；包括：同时将切割好的色块、残差网络提取出的指纹特征向量、标签送入分类器进行训练，使标签与对应的色块相匹配，得到一个聚类分类器。
将目标图像输入该残差网络，并将其与残差网络保存的指纹信息特征进行比对；
通过聚类分类器，输出比对结果。

Claims (10)

1.一种基于组合特征表示的相机光响应非均匀性指纹提取及比对方法，其特征在于，包括步骤如下：
(1)对输入图像进行图像预处理；
(2)检测输入图像的饱和度、色度、亮度、纹理区域、边缘区域及平坦区域，以检测到的相应特征区域作为相机光响应非均匀性指纹提取的候选区域；
(3)按照候选区域，将输入图像切割成M*M大小的色块，M的取值为不大于原始图像像素点的值，并将这些色块均匀抽取，分成6个子集；此处6个子集为饱和度、色度、亮度、纹理区域、边缘区域及平坦区域六个子集；
(4)将每个子集中的色块分别送入残差网络，利用残差网络提取每个色块中的相机光响应非均匀性指纹；
(5)将步骤(4)预训练的残差网络得到的最好模型保存下来，以此作为指纹比对模型，在对目标图像进行指纹比对时，先将目标图像分割成M*M大小的色块，再将分割好的色块送入指纹比对模型中进行指纹比对。
2.根据权利要求1所述的一种基于组合特征表示的相机光响应非均匀性指纹提取及比对方法，其特征在于，M＝32或M＝64或M＝128。
3.根据权利要求1所述的一种基于组合特征表示的相机光响应非均匀性指纹提取及比对方法，其特征在于，所述步骤(1)中，对输入图像进行图像预处理，包括步骤如下：
A、对输入图像归一化处理，形成统一标准格式图像；
B、对步骤A处理后的图像进行色彩空间转换，即从RGB颜色空间转换为HSI颜色空间。
4.根据权利要求1所述的一种基于组合特征表示的相机光响应非均匀性指纹提取及比对方法，其特征在于，所述步骤(2)中，检测输入图像饱和度、色度、亮度、纹理区域、边缘区域及平坦区域，作为候选区域；包括步骤如下：
C、设定输入图像P，对于输入图像P，先计算像素值的均值和标准差，像素值的取值范围为[0,255]：
输入图像P的像素值如矩阵(I)所示：
矩阵(I)中，矩阵元素为像素值，m表示行数，n表示列数，矩阵P元素的取值范围为[0,255]；
输入图像P的像素值的均值如式(Ⅱ)所示，对矩阵P按列的顺序逐次求均值，形成一个1*n的矩阵：
式(Ⅱ)中，Xij为第i行第j列的像素点值，为第j列的像素值的均值，j∈[1,n]；
输入图像P的像素值的标准差如式(Ⅲ)所示：
式(Ⅲ)中，Stdj为矩阵P的第j列的像素值的标准差，j∈[1,n]；
D、检测输入图像的饱和度：
选取像素值的均值在[0,5]或[250,255]且像素值的标准差在[0,5]范围内的色块，作为相机光响应非均匀性指纹候选区域：
E、检测输入图像的平坦区域：
选取像素值的均值在[0,5]或[250,255]且像素值的标准差为[5,8]范围内的色块，以及像素值的均值在[5,250]且像素值的标准差为[0,8]范围内的色块，作为相机指纹感兴趣候选区域：
F、检测输入图像的边缘区域；
G、检测输入图像的纹理区域：
①对图像P的HSI空间各个通道进行二层小波分解，提取其小波能量Em；
②对提取到的小波能量进行归一化处理，得到能量特征
i＝1,2,3,表示三个高频细节，包含主要的纹理信息，Xj表示图像的H、S、I三个通道；是指Xj通道的第i个高频细节的能量特征；
③通过步骤②得到的纹理能量特征，用K近邻方法判断具有相同能量特征的像素点，以这些像素点为中心，确定M*M大小的纹理区域。
5.根据权利要求4所述的一种基于组合特征表示的相机光响应非均匀性指纹提取及比对方法，其特征在于，所述步骤F中，采用Sobel算子检测输入图像的边缘区域，包括：
a、先对输入图像进行灰度化处理；
b、假设A是灰度图像，Gx和Gy分别是在横向及纵向的灰度偏导的近似值：
对应的计算过程如下：
Gx＝[f(x+1,y-1)+2*f(x+1,y)+f(x+1,y+1)]-[f(x-1,y-1)+2*f(x-1,y)+f(x-1,y+1)]，f(x,y)为图像A中(x,y)处的灰度值；
对于图像中每个像素点的梯度估计值G，由Gx和Gy得出：
c、设定一个阈值Gmax，Gmax的取值范围为[0,255]，若像素点的梯度估计值G大于阈值Gmax，则判定该像素点为边界点；
d、选取边界点周围M*M大小区域为边缘区域。
6.根据权利要求5所述的一种基于组合特征表示的相机光响应非均匀性指纹提取及比对方法，其特征在于，Gmax＝100。
7.根据权利要求1所述的一种基于组合特征表示的相机光响应非均匀性指纹提取及比对方法，其特征在于，所述步骤(3)中，按照候选区域，将输入图像切割成M*M大小的色块，并将这些色块均匀抽取，分成六个子集；包括步骤如下：
④将步骤(2)检测的输入图像的饱和度、色度、亮度、纹理区域、边缘区域、平坦区域按照中心点周围M*M大小的窗口切割，形成指定大小的色块；
⑤将每类切割好的色块进行均匀抽取，使每类色块分布均匀；
⑥将抽取好的色块分别存放在不同文件夹，形成六个子集。
8.根据权利要求1所述的一种基于组合特征表示的相机光响应非均匀性指纹提取及比对方法，其特征在于，所述步骤(4)中，将每个子集中的色块分别送入残差网络，利用深度学习的方法提取每个色块中的相机光响应非均匀性指纹；包括步骤如下：
⑦将步骤(3)的六个子集分别送入残差网络的输入层；
⑧输入图像依次通过残差网络各残差单元中的卷积层、批量归一化层、激活层、池化层、全连接层，学习相机光响应非均匀性指纹特征；
⑨通过残差网络每层提取到的特征信息，得到对应色块的特征信息，并输出带有相应指纹信息的色块。
9.根据权利要求1-8任一所述的一种基于组合特征表示的相机光响应非均匀性指纹提取及比对方法，其特征在于，所述步骤(5)中，包括步骤如下：
⑩保存步骤(5)训练的残差网络，同时训练一个聚类分类器；
将目标图像输入该残差网络，并将其与残差网络保存的指纹信息特征进行比对；
通过聚类分类器，输出比对结果。
10.根据权利要求9所述的一种基于组合特征表示的相机光响应非均匀性指纹提取及比对方法，其特征在于，所述步骤⑩中，训练一个聚类分类器，包括：同时将切割好的色块、残差网络提取出的指纹特征向量、标签送入分类器进行训练，使标签与对应的色块相匹配，得到一个聚类分类器。
CN201811557519.4A 2018-12-19 2018-12-19 一种基于组合特征表示的相机光响应非均匀性指纹提取及比对方法 Active CN109376719B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811557519.4A CN109376719B (zh) 2018-12-19 2018-12-19 一种基于组合特征表示的相机光响应非均匀性指纹提取及比对方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811557519.4A CN109376719B (zh) 2018-12-19 2018-12-19 一种基于组合特征表示的相机光响应非均匀性指纹提取及比对方法

Publications (2)

Publication Number Publication Date
CN109376719A true CN109376719A (zh) 2019-02-22
CN109376719B CN109376719B (zh) 2021-07-30

Family

ID=65370961

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811557519.4A Active CN109376719B (zh) 2018-12-19 2018-12-19 一种基于组合特征表示的相机光响应非均匀性指纹提取及比对方法

Country Status (1)

Country Link
CN (1) CN109376719B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111723615A (zh) * 2019-03-20 2020-09-29 杭州海康威视数字技术股份有限公司 对检测物图像进行检测物匹配判定的方法和装置
CN112989308A (zh) * 2021-05-12 2021-06-18 腾讯科技（深圳）有限公司 账户的认证方法、装置、设备及介质
CN114255483A (zh) * 2020-09-10 2022-03-29 指纹卡安娜卡敦知识产权有限公司 具有不同测量电路配置的指纹传感器

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105426860A (zh) * 2015-12-01 2016-03-23 北京天诚盛业科技有限公司 人脸识别的方法和装置
CN106339702A (zh) * 2016-11-03 2017-01-18 北京星宇联合投资管理有限公司 一种基于多特征融合的人脸识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105426860A (zh) * 2015-12-01 2016-03-23 北京天诚盛业科技有限公司 人脸识别的方法和装置
CN106339702A (zh) * 2016-11-03 2017-01-18 北京星宇联合投资管理有限公司 一种基于多特征融合的人脸识别方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
V.SIREESHA ET.AL.: ""Fingerprint Recognition using Combined Feature Vector"", 《INTERNATIONAL JOURNAL OF ENGINEERING AND MANAGEMENT RESEARCH》 *
倪承龙: ""在不同色彩空间下的指纹识别"", 《现代计算机》 *
张永良等: ""基于深度学习的小面积指纹匹配方法"", 《计算机应用》 *
陈虹旭等: ""基于深度学习的指纹识别方法研究"", 《智能计算机与应用》 *
马晓晨等: ""基于相机溯源的潜在不良视频通话预警"", 《光学精密工程》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111723615A (zh) * 2019-03-20 2020-09-29 杭州海康威视数字技术股份有限公司 对检测物图像进行检测物匹配判定的方法和装置
CN111723615B (zh) * 2019-03-20 2023-08-08 杭州海康威视数字技术股份有限公司 对检测物图像进行检测物匹配判定的方法和装置
CN114255483A (zh) * 2020-09-10 2022-03-29 指纹卡安娜卡敦知识产权有限公司 具有不同测量电路配置的指纹传感器
CN112989308A (zh) * 2021-05-12 2021-06-18 腾讯科技（深圳）有限公司 账户的认证方法、装置、设备及介质

Also Published As

Publication number Publication date
CN109376719B (zh) 2021-07-30

Similar Documents

Publication Publication Date Title
He et al. A fully convolutional neural network for wood defect location and identification
CN109271960B (zh) 一种基于卷积神经网络的人数统计方法
Bai et al. Subset based deep learning for RGB-D object recognition
CN110084108A (zh) 基于gan神经网络的行人重识别系统及方法
CN109684922B (zh) 一种基于卷积神经网络的多模型对成品菜的识别方法
CN107451565B (zh) 一种半监督小样本深度学习图像模式分类识别方法
CN114220124A (zh) 一种近红外-可见光跨模态双流行人重识别方法及系统
CN111860351B (zh) 一种基于行列自注意力全卷积神经网络的遥感图像鱼塘提取方法
Kang et al. Person re-identification between visible and thermal camera images based on deep residual CNN using single input
CN109543602A (zh) 一种基于多视角图像特征分解的行人再识别方法
CN109543632A (zh) 一种基于浅层特征融合引导的深层网络行人检测方法
CN115690479A (zh) 一种基于卷积Transformer的遥感图像分类方法及系统
CN109635726B (zh) 一种基于对称式深度网络结合多尺度池化的滑坡识别方法
CN109376719A (zh) 一种基于组合特征表示的相机光响应非均匀性指纹提取及比对方法
CN101694691A (zh) 一种人脸图像合成方法及装置
CN109815864A (zh) 一种基于迁移学习的人脸图像年龄识别方法
CN108960142B (zh) 基于全局特征损失函数的行人再识别方法
CN108073940B (zh) 一种非结构化环境中的3d目标实例物体检测的方法
CN109919246A (zh) 基于自适应特征聚类和多重损失融合的行人重识别方法
CN106909883A (zh) 一种基于ros的模块化手部区域检测方法和装置
Zhao et al. Visible-infrared person re-identification based on frequency-domain simulated multispectral modality for dual-mode cameras
CN110135435A (zh) 一种基于广度学习系统的显著性检测方法及装置
CN106228163B (zh) 一种基于特征选择的局部差三进制序列图像特征描述方法
CN111754459B (zh) 基于统计深度特征的染色伪造图像检测方法及电子装置
CN114445875A (zh) 基于深度学习的身份识别与人脸比对系统及训练方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant