CN114677670B - 一种身份证篡改自动识别与定位的方法 - Google Patents
一种身份证篡改自动识别与定位的方法 Download PDFInfo
- Publication number
- CN114677670B CN114677670B CN202210330868.2A CN202210330868A CN114677670B CN 114677670 B CN114677670 B CN 114677670B CN 202210330868 A CN202210330868 A CN 202210330868A CN 114677670 B CN114677670 B CN 114677670B
- Authority
- CN
- China
- Prior art keywords
- picture
- model
- pictures
- training
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000012549 training Methods 0.000 claims abstract description 73
- 238000004458 analytical method Methods 0.000 claims abstract description 19
- 238000012795 verification Methods 0.000 claims abstract description 13
- 230000011218 segmentation Effects 0.000 claims abstract description 9
- 239000011159 matrix material Substances 0.000 claims description 18
- 238000003709 image segmentation Methods 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 7
- 230000006835 compression Effects 0.000 claims description 6
- 238000007906 compression Methods 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 6
- 238000013139 quantization Methods 0.000 claims description 6
- 238000005520 cutting process Methods 0.000 claims description 3
- 230000010354 integration Effects 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 5
- 230000006870 function Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000012550 audit Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000013077 scoring method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种身份证篡改自动识别与定位的方法，包括以下步骤：S1、将待检测图片A输入训练后的rankiqa模型，对图片A进行质量判断；S2、保持图片B1中图像的长宽比不变，将图片B1调整大小为长边为2048像素的图片C；S3、图片C输入训练后的HRNet模型，预测结果插值处理成图片B1的尺寸，并保存为mask图片D，再将图片B1与mask图片D相乘，获得图片E；S4、图片E输入训练后的CAT‑Net模型判定图像是否篡改。本发明中，待测图片首先进入图像质量分析，再进入已完成训练的卡证分割模型，最后进入图像篡改模型识别篡改区域，判断待测图像是否被篡改，降低人工审核的工作繁琐易出错的问题，提供自动识别图像是否被篡改，达到图像验真效果。
Description
技术领域
本发明涉及卡证篡改识别技术领域，尤其涉及一种身份证篡改自动识别与定位的方法。
背景技术
金融行业常常需要对一些卡证照片上传后进行人工审核，但是人工审核需要大量的人力资源，而且由于审核工作繁琐容易审核出错，且金融领域中卡证多样，拍照背景不可控，存在背景噪声大等问题，因此图像篡改识别技术很难只用一种识别方法能够全面且准确地对篡改区域进行定位和分类。
首先，传统篡改识别算法在少数篡改类型或特定数据集表现有效果，算法的通用性比较差，比如ela算法只对jpeg图像有效，对于png图片或gif图片无效；
其次，基于深度学习方法的图像篡改识别需要大量的数据集才能保证篡改识别的准确率，但是制作篡改检测数据集需要大量的人工标注，而且目前深度学习主要围绕forged篡改类型展开，在图像全局后处理如滤波等表现的效果比较差，这是由于深度学习篡改识别方法对图像质量有一定的要求，才能保证识别准确率；
最后，目前篡改识别算法由于不同场景拍摄、光线和拍摄抖动等原因造成运动模糊等情况都会导致图像质量较低，容易导致篡改识别结果出错，在卡证方面，如身份证拍摄上传的图像背景不可控，拍照环境不可控，拍摄质量不可控导致身份证照片篡改识别结果出错。
发明内容
为了解决上述背景技术中所提到的技术问题，而提出的一种身份证篡改自动识别与定位的方法。
为了实现上述目的，本发明采用了如下技术方案：
一种身份证篡改自动识别与定位的方法，包括以下步骤：
S1、将待检测图片A输入训练后的rankiqa模型，对图片A进行质量判断，若图片A满足图片质量要求则输出，反之则过滤：
S11、将图片A以中心点为基准裁剪为宽高比为1的图片B，并将图片B缩放到(224,224,3)；
S12、图片B输入到轻量骨架网络mobilentv3-large，并通过sigmoid函数计算图片B的分数b；
S13、输出分数b∈(a，1)的图片B1，图片B1即满足图片质量要求的图片A，过滤b∈(0，a]图片B2，图片B2即被过滤的图片A，其中，a为图像质量阈值；
S2、保持图片B1中图像的长宽比不变，将图片B1调整大小为长边为2048像素的图片C；
S3、图片C输入训练后的HRNet模型，预测结果插值处理成图片B1的尺寸，并保存为mask图片D，再将图片B1与mask图片D相乘，获得图片E，图片E只包含目标图像且背景全黑；
S4、图片E输入训练后的CAT-Net模型判定图像是否篡改，CAT-Net模型使用高分辨率网络HRNet模型结构：
S41、通过jpegio的coef_arrays和quant_tables方法获取图片E的DCT系数矩阵和量化表矩阵，用0填补DCT系数矩阵；
S42、将图片E尺寸修正为8的倍数，空白像素使用图片像素对应的灰度值127.5填补，归一化后获得RGB信息；
S43、通过Fusion Stage，先将RGB信息通过RGB Stream，输出分辨率为图片E尺寸的(1/4、1/8、1/16、1/32)的特征图F1，将DCT系数矩阵和量化表矩阵通过DCT Stream后，输出分辨率为图片E尺寸的(1/4、1/8、1/16)的特征图F2，再将特征图F1、F2融合成图片E尺寸的1/4的总特征图F，并输出结果为(2，H/4，W/4)的矩阵，即获得图片E的mask结果，其中，2表示图片E的热图和篡改热图，H和W表示图片E的高和宽；
S44、通过mask结果判断和定位图片E的篡改区域，如果图片E存在篡改区域，则对应像素值为1，否则为0。
作为上述技术方案的进一步描述：
所述rankiqa模型的训练方法包括以下步骤：
S101、图像质量分析数据集准备：使用不同拍摄设备采集正反面身份证参考图片至少217张，对每张图片进行高斯模糊、增加白噪声、jepg压缩和jepg2000压缩四种不同级别畸变失真的操作，生成至少4340张图片，即至少生成对比图片4340对训练图片，作为图像质量分析数据集；
S102、将图像质量分析数据集按照9：1分割成训练集和验证集；
S103、将训练集成对输入rankiqa模型中对模型进行训练，直到训练集的损失函数不再下降时停止训练，获得训练后的rankiqa模型。
作为上述技术方案的进一步描述：
所述HRNet模型的训练方法包括以下步骤：
S301、图像分割数据集准备：选择不同场景拍摄图片、扫描图片和网络图片至少1215张，使用labelme数据分割标注，获得图像分割数据集；
S302、将图像分割数据集按照7:2:1分割成训练集、验证集和测试集；
S303、将训练集输入HRNet模型中，对HRNet模型进行训练，当训练集的IOU值不再上升时停止训练，获得训练后的HRNet模型，IOU表示训练集中输入HRNet模型的图片预测结果和输入图片的真实值的交集与并集的比值。
作为上述技术方案的进一步描述：
所述CAT-Net模型的训练方法包括以下步骤：
S401、图像篡改数据集准备：S4011、通过217张原图人工标注出至少615标注图片，PS自动涂鸦后人工标注至少1112张，共计不少于1763张图片；
S4012、至少1763张图片通过训练后的HRNet模型输出掩码与输入原图所得到的目标图像背景全黑的图片至少1763张，根据输入原图尺寸生成对应的全黑掩码图片至少217张，共计不少于3743张图片，作为图像篡改数据集；
S402、将图像篡改数据集按照9：1分隔成训练集和验证集；
S403、将训练集输入CAT-Net模型，获得训练后的CAT-Net模型，直到训练集的损失函数不再下降时停止训练，获得训练后的CAT-Net模型。
作为上述技术方案的进一步描述：
所述待检测图片A的图像分辨率至少为500*500。
作为上述技术方案的进一步描述：
rankiqa模型的图片质量分析指标使用LCC线性相关系数和SROCC秩相关系数：
LCC∈(0，1)，其中，yi和/>分别是第i个图片的实际分数和预测分数，预测分数即指第i个图片通过rankqia模型输出的得分，/>和/>分别是第i个图片的真实平均质量得分和预测平均质量得分；
SROCC∈(0，1)其中，vi是第i个图片在一批图片的真实排名，pi是rankqia模型推测的排名结果，N是对N个图片进行排序。
作为上述技术方案的进一步描述：
IOU∈(0,1)，其中，TP＝GT∩PRED，预测正确，真正例，模型预测为正例，实际是正例，FP＝PRED-(GT∩PRED)，预测错误，假正例，模型预测为正例，实际是反例，FN＝GT-(GT∩PRED)，预测错误，假反例，模型预测为反例，实际是正例，具体的，GT代表输入HRNet模型的图片的真实值，PRED通过HRNet模型输出的预测样本。
综上所述，由于采用了上述技术方案，本发明的有益效果是：本发明中，待测图片首先进入图像质量分析，通过亮度、模糊度参数等过滤掉图像质量过低的图像，保留满足一定图像质量阈值的照片进入已完成训练的卡证分割模型，获得掩码图像，再将待测图像与掩码图像相乘，将分割结果图片送入以训练完成的图像篡改模型识别篡改区域，最后判断待测图像是否被篡改，避免图像背景扰动影响图像篡改识别的判别准确率，降低金融领域身份证上传需要人工审核的工作繁琐易出错的问题提供自动识别图像是否被篡改，达到图像验真效果，且能提高了识别准确率，满足实际需要。
附图说明
图1示出了根据本发明实施例提供的一种身份证篡改自动识别与定位的方法的流程示意图；
图2示出了根据本发明实施例提供的Siamese结构图；
图3示出了根据本发明实施例提供的mobilnetv3-large结构图；
图4示出了根据本发明实施例提供的HRNet模型结构示意图；
图5示出了根据本发明实施例提供的HRNet模型的交互单元结构图；
图6示出了根据本发明实施例提供的HRNet模型的Head模块结构图；
图7示出了根据本发明实施例提供的CAT-Net模型结构图；
图8示出了根据本发明实施例提供的IOU示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
实施例一
请参阅图1-8，本发明提供一种技术方案：一种身份证篡改自动识别与定位的方法，包括以下步骤：
S1、将待检测图片A输入训练后的rankiqa模型，对图片A进行质量判断，若图片A满足图片质量要求则输出，反之则过滤，待检测图片A的图像分辨率至少为500*500：
具体的，rankiqa模型的训练方法包括以下步骤：
S101、图像质量分析数据集准备：使用不同拍摄设备采集正反面身份证参考图片至少217张，对每张图片进行高斯模糊、增加白噪声、jepg压缩和jepg2000压缩四种不同级别畸变失真的操作，生成至少4340张图片，即至少生成对比图片4340对训练图片，作为图像质量分析数据集；
S102、将图像质量分析数据集按照9：1分割成训练集和验证集；
S103、将训练集成对输入rankiqa模型中对模型进行训练，直到训练集的损失函数不再下降时停止训练，获得训练后的rankiqa模型；
其中，rankiqa图像质量分析模型评价指标使用LCC线性相关系数和SROCC秩相关系数，LCC描述算法评价值与人眼主观打分之间的相关性，也衡量了算法预测的准确性，SROCC衡量算法预测的单调性；
LCC∈(0，1)，其中，yi和/>分别是第i个图片的实际分数和预测分数，预测分数即指第i个图片通过rankqia输出的得分，/>和/>分别是第i个图片的真实平均质量得分和预测平均质量得分；
SROCC∈(0，1)其中，vi是第i个图片在一批图片的真实排名，pi是排名序列模型推测的排名结果，N是对N个图片进行排序；
如现有5张图片A1-A5，图片质量依次下降，其实际分数yi分别为0.9、0.8、0.7、0.6、0.5，5张图片经过rankiqa模型，预测得分为0.8、0.9、0.78、0.7、0.6，图片A2得分太高，则根据SROCC指标，判断图片A2错误；
S11、将图片A以中心点为基准裁剪为宽高比为1的图片B，并将图片B缩放到(224,224,3)，rankiqa模型的输入图片要求是是(224,224,3)，否则无法输入rankiqa模型；
S12、图片B输入到轻量骨架网络mobilentv3-large，并通过sigmoid函数计算图片B的分数b；
S13、输出分数b∈(a，1)的图片B1，图片B1即满足图片质量要求的图片A，过滤b∈(0，a]图片B2，图片B2即被过滤的图片A，其中，a为图像质量阈值；
其中，图片A在进入图像篡改识别之前，先对图像质量进行分析，有效过滤一部分由于拍摄设备、拍摄环境或者人为原因导致测试图像质量比较差的情况，保证后续图像篡改准确识别；
如步骤S11-13，实际应用中的图像质量分析属于无参考图像质量分析，即输入图片A，经缩放后得到图片B，再经过rankqia模型计算输出图片B1的分数b，亦即图片A的分数，但是图像内容、拍摄环境和背景都会对图像得分造成影响，因此，对分析模型提出很大的挑战，在深度学习方法中需要大量的图片进行训练，而本发明中，使用rankiqa模型进行图像质量分析，其构造排名损失的训练方法有效解决数据集不足的问题，且不需要对数据进行打分标注，从而避免了模型训练的大量人工标注；
rankiqa模型的核心思想是从排名中学习无参考图像分析，训练思想来自Siamese网络，Siamese网络架构如图2，获得一对质量有差异的图像x1和x2，分别通过卷积网络获得向量，使用sigmoid函数计算图像的分数，然后通过对比损失函数margin_ranking_loss计算向量距离，然后通过反向传播算法更新卷积网络参数，且考虑到时间效率问题且保证一定准确率，采用轻量骨架网络mobilenetv3-large，mobilenetv3-large结构图如图3，类别数量设置k＝1，实际上，Siamese网络的两个卷积神经网络使用同一套参数，即训练一个神经网络即可；
其中，margin_ranking_loss[Gw(x1)，Gw(x2)]＝max{0，-[Gw(x1)-Gw(x2)]}，其中，Gw(x1)是mobilenetv3-large输出的图像x1的一维结果，Gw(x2)是mobilenetv3-large输出的图像x2的一维结果；
具体的：(1)以往的深度学习质量评分方法是从单张图像中学习特征向量来评估质量，对类别少、数量大的数据集比较适合，但是，rankiqa模型的目标是区分两张图片的质量，从图片的相对比较中学习，不需要大量的人工标注得分，有效评估图像质量得分；
(2)目标函数的优化：目标函数如下，x1为原图，x2为加入失真的图片，当x2质量得分比x1低，则L为0，网络参数不更新，当L＞0，更新网络参数；
其中，L(x1，x2；θ)＝max[0，f(x2；θ)-f(x1；θ)+ε]；
S2、保持图片B1中身份证的长宽比不变，将图片调整大小为长边为2048像素的图片C，HRNet模型的输入图片大小要求是长边为2048像素的图片，否则无法输入HRNet模型；
S3、图片C输入训练后的HRNet模型，预测结果插值处理成图片B1的尺寸，并保存为mask图片D，再将图片B1与mask图片D相乘，获得图片E，图片E只包含身份证图像且背景全黑；
具体的，HRNet模型的训练方法包括以下步骤：
S301、图像分割数据集准备：选择不同场景拍摄图片、扫描图片和网络图片至少1215张，使用labelme数据分割标注，获得图像分割数据集；
S302、将图像分割数据集按照7:2:1分割成训练集、验证集和测试集；
S303、将训练集输入HRNet模型中，对HRNet模型进行训练，当训练集的IOU值不再上升时停止训练，获得训练后的HRNet模型，IOU表示训练集中输入HRNet模型的图片预测结果和输入图片的真实值的交集与并集的比值，其中，IOU∈(0,1)，IOU值越大，分割效果越好；
如图8所示，GT代表真实值，PRED通过HRNet模型输出的预测样本，其中：
TP＝GT∩PRED，预测正确，真正例，模型预测为正例，实际是正例；
FP＝PRED-(GT∩PRED)，预测错误，假正例，模型预测为正例，实际是反例；
FN＝GT-(GT∩PRED)，预测错误，假反例，模型预测为反例，实际是正例；
TN＝～(GT∪PRED)，预测正确，真反例，模型预测为反例，实际是反例；
其中，分割模型选择高分辨率网络HRNet模型结构，如图4，其通过并行连接高分辨率到低分辨率卷积来保持高分辨率表示，并通过重复跨并行卷积执行多尺度融合来增强高分辨率表示；
如图5所示，第一阶段只包括高分辨率特征图，第二阶段是从第一阶段输出分开高分辨率和原分辨率的1/2两个阶段，第三和第四阶段再降低为原图分辨率的1/4和1/8，模型结构在跨并行子网设置交换单元，使每个子网重复接受来自其他并行子网的信息；
如图6所示的Head模块，其中，图6(a)为HRNetV1：只从高分辨率层输出融合特征图，图6(b)为HRNetV2：concat所有特征层输出融合特征图，然后接1x1卷积，图6(c)位HRNetV2p：concat所有特征层输出不同分辨率的特征图；
具体的，HRNet模型的网络结构不像以往常用的沙漏结构，特征图从高分辨率到低分辨率，再从低分辨率到高分辨率，然后将尺寸一致的高低层特征对应相加，在输出结果时能保持更多的信息，而HRNet模型的网络结构在预测过程中一直保持高分辨率特征图，并且每次减小特征图尺寸的时候，增加宽度，并且使用重复的多尺度融合，以达到更准确的热图预测；
S4、图片E输入训练后的CAT-Net模型判定身份证图像是否篡改，CAT-Net模型使用高分辨率网络HRNet模型结构，CAT-Net模型的结构如图7所示：
具体的，CAT-Net模型的训练方法包括以下步骤：
S401、图像篡改数据集准备：S4011、通过217张原图人工标注出至少615标注图片，PS自动涂鸦后人工标注至少1112张，共计不少于1763张图片；
S4012、至少1763张图片通过训练后的HRNet模型输出掩码与输入原图所得到的目标图像背景全黑的图片至少1763张，根据输入原图尺寸生成对应的全黑掩码图片至少217张，共计不少于3743张图片，作为图像篡改数据集；
S402、将图像篡改数据集按照9：1分隔成训练集和验证集；
S403、将训练集输入CAT-Net模型，获得训练后的CAT-Net模型，直到训练集的损失函数不再下降时停止训练，获得训练后的CAT-Net模型；
其中，图像篡改识别的评价指标包括IOU、平均IOU和PA像素精度，平均IOU即对各种类别的IOU取平均，PA表示正确分类的像素个数与总像素数之间的比例，从0-1取值,PA越大，篡改区域定位越准确，对于位置的偏移十分敏感，小的偏移都会产生大量的像素误差，公式如下：
S41、通过jpegio的coef_arrays和quant_tables方法获取图片E的DCT系数矩阵和量化表矩阵，用0填补DCT系数矩阵；
S42、将图片E尺寸修正为8的倍数，空白像素使用图片像素对应的灰度值127.5填补，归一化后获得RGB信息；
S43、通过Fusion Stage，先将RGB信息通过RGB Stream，输出分辨率为图片E尺寸的(1/4、1/8、1/16、1/32)的特征图F1，将DCT系数矩阵和量化表矩阵通过DCT Stream后，输出分辨率为图片E尺寸的(1/4、1/8、1/16)的特征图F2，再将特征图F1、F2融合成图片E尺寸的1/4的总特征图F，并输出结果为(2，H/4，W/4)的矩阵，即获得图片E的mask结果，其中，2表示图片E的热图和篡改热图，H和W表示图片E的高和宽；
S44、通过mask结果判断和定位图片E的篡改区域，如果图片E存在身份证篡改区域，则对应像素值为1，否则为0。
其中，图片A经过图像质量分析后，与图像质量阈值a比较，留下质量较好的图片B1，然后通过图像篡改识别模型判定是否篡改，本发明中，使用CAT-Net模型判定图像是否篡改，CAT-Net模型主要是利用了RGB信息，DCT系数矩阵、量化表来识别图像的篡改区域，基于高分辨率模型的HRNet模型作为骨架网络，对像素级别进行分类，对图像篡改判别和区域定位，适用于所有图片类型，尤其在JPEG图片篡改检测性能最佳。
首先，本发明为降低金融领域身份证上传需要人工审核的工作繁琐易出错的问题提供自动识别图像是否被篡改，达到图像验真效果，且能提高了识别准确率，满足实际需要，具体的，结合图像质量分析、身份证卡面分割和消除背景干扰信息后通过图像篡改识别整套识别流程，准确判断身份证卡面是否被篡改，避免了直接对图像进行篡改识别由于背景干扰大，拍摄引起的各种人为和环境导致的问题，提高了识别准确率，其次，本发明也可以用于一些翻拍图像识别场景。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
Claims (7)
1.一种身份证篡改自动识别与定位的方法，其特征在于，包括以下步骤：
S1、将待检测图片A输入训练后的rankiqa模型，对图片A进行质量判断，若图片A满足图片质量要求则输出，反之则过滤：
S11、将图片A以中心点为基准裁剪为宽高比为1的图片B，并将图片B缩放到(224,224,3)；
S12、图片B输入到轻量骨架网络mobilentv3-large，并通过sigmoid函数计算图片B的分数b；
S13、输出分数b∈(a，1)的图片B1，图片B1即满足图片质量要求的图片A，过滤b∈(0，a]图片B2，图片B2即被过滤的图片A，其中，a为图像质量阈值；
S2、保持图片B1中图像的长宽比不变，将图片B1调整大小为长边为2048像素的图片C；
S3、图片C输入训练后的HRNet模型，预测结果插值处理成图片B1的尺寸，并保存为mask图片D，再将图片B1与mask图片D相乘，获得图片E，图片E只包含目标图像且背景全黑；
S4、图片E输入训练后的CAT-Net模型判定图像是否篡改，CAT-Net模型使用高分辨率网络HRNet模型结构：
S41、通过jpegio的coef_arrays和quant_tables方法获取图片E的DCT系数矩阵和量化表矩阵，用0填补DCT系数矩阵；
S42、将图片E尺寸修正为8的倍数，空白像素使用图片像素对应的灰度值127.5填补，归一化后获得RGB信息；
S43、通过Fusion Stage，先将RGB信息通过RGB Stream，输出分辨率为图片E尺寸的(1/4、1/8、1/16、1/32)的特征图F1，将DCT系数矩阵和量化表矩阵通过DCT Stream后，输出分辨率为图片E尺寸的(1/4、1/8、1/16)的特征图F2，再将特征图F1、F2融合成图片E尺寸的1/4的总特征图F，并输出结果为(2，H/4，W/4)的矩阵，即获得图片E的mask结果，其中，2表示图片E的热图和篡改热图，H和W表示图片E的高和宽；
S44、通过mask结果判断和定位图片E的篡改区域，如果图片E存在篡改区域，则对应像素值为1，否则为0。
2.根据权利要求1所述的一种身份证篡改自动识别与定位的方法，其特征在于，所述rankiqa模型的训练方法包括以下步骤：
S101、图像质量分析数据集准备：使用不同拍摄设备采集正反面身份证参考图片至少217张，对每张图片进行高斯模糊、增加白噪声、jepg压缩和jepg2000压缩四种不同级别畸变失真的操作，生成至少4340张图片，即至少生成对比图片4340对训练图片，作为图像质量分析数据集；
S102、将图像质量分析数据集按照9：1分割成训练集和验证集；
S103、将训练集成对输入rankiqa模型中对模型进行训练，直到训练集的损失函数不再下降时停止训练，获得训练后的rankiqa模型。
3.根据权利要求1所述的一种身份证篡改自动识别与定位的方法，其特征在于，所述HRNet模型的训练方法包括以下步骤：
S301、图像分割数据集准备：选择不同场景拍摄图片、扫描图片和网络图片至少1215张，使用labelme数据分割标注，获得图像分割数据集；
S302、将图像分割数据集按照7:2:1分割成训练集、验证集和测试集；
S303、将训练集输入HRNet模型中，对HRNet模型进行训练，当训练集的IOU值不再上升时停止训练，获得训练后的HRNet模型，IOU表示训练集中输入HRNet模型的图片预测结果和输入图片的真实值的交集与并集的比值。
4.根据权利要求1所述的一种身份证篡改自动识别与定位的方法，其特征在于，所述CAT-Net模型的训练方法包括以下步骤：
S401、图像篡改数据集准备：S4011、通过217张原图人工标注出至少615标注图片，PS自动涂鸦后人工标注至少1112张，共计不少于1763张图片；
S4012、至少1763张图片通过训练后的HRNet模型输出掩码与输入原图所得到的目标图像背景全黑的图片至少1763张，根据输入原图尺寸生成对应的全黑掩码图片至少217张，共计不少于3743张图片，作为图像篡改数据集；
S402、将图像篡改数据集按照9：1分隔成训练集和验证集；
S403、将训练集输入CAT-Net模型，获得训练后的CAT-Net模型，直到训练集的损失函数不再下降时停止训练，获得训练后的CAT-Net模型。
5.根据权利要求1所述的一种身份证篡改自动识别与定位的方法，其特征在于，所述待检测图片A的图像分辨率至少为500*500。
6.根据权利要求1所述的一种身份证篡改自动识别与定位的方法，其特征在于，所述rankiqa模型的图片质量分析指标使用LCC线性相关系数和SROCC秩相关系数：
LCC∈(0，1)，其中，yi和/>分别是第i个图片的实际分数和预测分数，预测分数即指第i个图片通过rankqia模型输出的得分，/>和/>分别是第i个图片的真实平均质量得分和预测平均质量得分；
SROCC∈(0，1)其中，vi是第i个图片在一批图片的真实排名，pi是rankqia模型推测的排名结果，N是对N个图片进行排序。
7.根据权利要求3所述的一种身份证篡改自动识别与定位的方法，其特征在于，所述IOU∈(0,1)，其中，TP＝GT∩PRED，预测正确，真正例，模型预测为正例，实际是正例，FP＝PRED-(GT∩PRED)，预测错误，假正例，模型预测为正例，实际是反例，FN＝GT-(GT∩PRED)，预测错误，假反例，模型预测为反例，实际是正例，具体的，GT代表输入HRNet模型的图片的真实值，PRED通过HRNet模型输出的预测样本。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210330868.2A CN114677670B (zh) | 2022-03-30 | 2022-03-30 | 一种身份证篡改自动识别与定位的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210330868.2A CN114677670B (zh) | 2022-03-30 | 2022-03-30 | 一种身份证篡改自动识别与定位的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114677670A CN114677670A (zh) | 2022-06-28 |
| CN114677670B true CN114677670B (zh) | 2024-04-26 |
Family
ID=82075536
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210330868.2A Active CN114677670B (zh) | 2022-03-30 | 2022-03-30 | 一种身份证篡改自动识别与定位的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114677670B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116503721B (zh) * | 2023-06-29 | 2023-10-13 | 中邮消费金融有限公司 | 身份证篡改检测方法、装置、设备及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019061661A1 (zh) * | 2017-09-30 | 2019-04-04 | 平安科技（深圳）有限公司 | 图像篡改检测方法、电子装置及可读存储介质 |
| CN110852316A (zh) * | 2019-11-07 | 2020-02-28 | 中山大学 | 一种采用密集结构卷积网络的图像篡改检测和定位方法 |
| CN111445454A (zh) * | 2020-03-26 | 2020-07-24 | 江南大学 | 一种图像真伪鉴别方法及其在证照识别中的应用 |
| CN111986179A (zh) * | 2020-08-21 | 2020-11-24 | 中国科学技术大学 | 脸部篡改图像检测器 |
| WO2021137946A1 (en) * | 2019-12-30 | 2021-07-08 | Microsoft Technology Licensing, Llc | Forgery detection of face image |
| CN113570540A (zh) * | 2020-04-28 | 2021-10-29 | 上海舜瞳科技有限公司 | 一种基于检测-分割架构的图像篡改盲取证方法 |
| CN114202529A (zh) * | 2021-12-14 | 2022-03-18 | 四川大学 | 一种全局特征引导的多任务篡改图像检测方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106846303A (zh) * | 2016-12-30 | 2017-06-13 | 平安科技（深圳）有限公司 | 图像篡改检测方法及装置 |
-
2022
- 2022-03-30 CN CN202210330868.2A patent/CN114677670B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019061661A1 (zh) * | 2017-09-30 | 2019-04-04 | 平安科技（深圳）有限公司 | 图像篡改检测方法、电子装置及可读存储介质 |
| CN110852316A (zh) * | 2019-11-07 | 2020-02-28 | 中山大学 | 一种采用密集结构卷积网络的图像篡改检测和定位方法 |
| WO2021137946A1 (en) * | 2019-12-30 | 2021-07-08 | Microsoft Technology Licensing, Llc | Forgery detection of face image |
| CN111445454A (zh) * | 2020-03-26 | 2020-07-24 | 江南大学 | 一种图像真伪鉴别方法及其在证照识别中的应用 |
| CN113570540A (zh) * | 2020-04-28 | 2021-10-29 | 上海舜瞳科技有限公司 | 一种基于检测-分割架构的图像篡改盲取证方法 |
| CN111986179A (zh) * | 2020-08-21 | 2020-11-24 | 中国科学技术大学 | 脸部篡改图像检测器 |
| CN114202529A (zh) * | 2021-12-14 | 2022-03-18 | 四川大学 | 一种全局特征引导的多任务篡改图像检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114677670A (zh) | 2022-06-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110059694B (zh) | 电力行业复杂场景下的文字数据的智能识别方法 | |
| CN111612763B (zh) | 手机屏幕缺陷检测方法、装置及系统、计算机设备及介质 | |
| CN111325203B (zh) | 一种基于图像校正的美式车牌识别方法及系统 | |
| CN110879982B (zh) | 一种人群计数系统及方法 | |
| US9330336B2 (en) | Systems, methods, and media for on-line boosting of a classifier | |
| CN114663346A (zh) | 一种基于改进YOLOv5网络的带钢表面缺陷检测方法 | |
| CN109978871B (zh) | 融合概率型和确定型纤维束追踪的纤维束筛选方法 | |
| CN111738113A (zh) | 基于双注意力机制与语义约束的高分辨遥感图像的道路提取方法 | |
| CN112288758B (zh) | 一种电力设备红外与可见光图像配准方法 | |
| CN110415207A (zh) | 一种基于图像失真类型的图像质量评估的方法 | |
| CN115147418B (zh) | 缺陷检测模型的压缩训练方法和装置 | |
| JP4901229B2 (ja) | 赤目検出方法および装置並びにプログラム | |
| CN114677670B (zh) | 一种身份证篡改自动识别与定位的方法 | |
| Ma et al. | Image quality assessment in the modern age | |
| CN115546553A (zh) | 一种基于动态特征抽取和属性修正的零样本分类方法 | |
| CN110910497B (zh) | 实现增强现实地图的方法和系统 | |
| CN115830514B (zh) | 一种适用于带弯曲河道的全河段表面流速计算方法及系统 | |
| CN112348762A (zh) | 一种基于多尺度融合生成对抗网络的单幅图像去雨方法 | |
| CN112348809A (zh) | 基于多任务深度学习的无参考屏幕内容图像质量评价方法 | |
| CN114627397A (zh) | 行为识别模型构建方法以及行为识别方法 | |
| CN113269136B (zh) | 一种基于triplet loss的离线签名验证方法 | |
| CN114120061A (zh) | 一种面向电力巡检场景的小目标缺陷检测方法及系统 | |
| CN113781375A (zh) | 一种基于多曝光融合的车载视觉增强方法 | |
| Xiang et al. | Blockwise based detection of local defects | |
| CN116758401B (zh) | 基于深度学习和遥感图像的城市内河水质评估方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Country or region after: China Address after: No. 2-206, No. 1399 Liangmu Road, Cangqian Street, Yuhang District, Hangzhou City, Zhejiang Province, 311100 Applicant after: Kangxu Technology Co.,Ltd. Address before: 310000 2-206, 1399 liangmu Road, Cangqian street, Yuhang District, Hangzhou City, Zhejiang Province Applicant before: Zhejiang kangxu Technology Co.,Ltd. Country or region before: China |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |