CN108171689A - 一种显示器屏幕图像翻拍的鉴定方法、装置及存储介质 - Google Patents
一种显示器屏幕图像翻拍的鉴定方法、装置及存储介质 Download PDFInfo
- Publication number
- CN108171689A CN108171689A CN201711396199.4A CN201711396199A CN108171689A CN 108171689 A CN108171689 A CN 108171689A CN 201711396199 A CN201711396199 A CN 201711396199A CN 108171689 A CN108171689 A CN 108171689A
- Authority
- CN
- China
- Prior art keywords
- rank
- occurrence matrix
- channels
- matrix
- channel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
- G06T7/41—Analysis of texture based on statistical description of texture
- G06T7/45—Analysis of texture based on statistical description of texture using co-occurrence matrix computation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
Abstract
本发明提出了一种显示器屏幕图像翻拍的鉴定方法、装置及存储介质，想将输入的JPG图像转化为灰度图像并对应获取第一图像特征，再将输入的JPG图像提取R通道分量、G通道分量、及B通道分量并对应获取第二图像特征，将第一图像特征与第二图像特征进行融合，得到JPG图像最终图像特征；将JPG图像最终图像特征传输至Ensemble分类器进行分类鉴定，得到输入的JPG图像是原始图像或是翻拍图像的鉴定结果。对于同一个数据内的分类准确率相比于已有的特征提取方法得到了提高。尤其对于跨库实验，本发明的准确率要高于已有的特征提取方法，适用性更广，并不局限于实验环境下使用，即使推广到实际应用也能确保极高准确率。
Description
技术领域
本发明涉及信息取证技术领域，尤其涉及一种显示器屏幕图像翻拍的鉴定方法、装置及存储介质。
背景技术
现如今，随着电子设备、数码相机等数字图像获取设备以及各种图像编辑软件的普及使用，图像更加与人们的生活息息相关。然而，越来越多的人使用图像处理工具，图像的真实性变的越发的重要起来。篡改后的图像将会给社会带来很大的负面影响，尤其是政治、新闻、科研等领域。长此以往，人们将会失去对图像真实性的信任，“眼见”不一定“为实”。为了确保数字图像真实可靠，数字图像篡改检测技术应势而生，并得到了重视和发展。
经过翻拍的图像虽然保留了原始图像的基本内容，但是拍摄地点、相机的拍摄参数、拍摄的相机型号都发生了变化，因此，图像的内容与其记录的信息不一致，相当于更新了图像的文件头信息。一旦原始图像是经过某种篡改后的图像，导致翻拍后的图像内容并不真实，而原始图像的篡改痕迹将被抹除，图像篡改方法无法识别此类图像。因此数字图像取证技术逐渐成为国内外研究的热点。
关于二次取证图像的提出最早是在Harry Farid发表的一篇文章，其根据数字图像的高阶小波统计特征来区分非自然图像与自然图像。其中，非自然图像分为计算机生成的图像和翻拍的图像。在此之后，陆续有其他学者开始研究特定类型的二次获取图像。YuHang和Xinting Gao研究了纸面冲印出的相片翻拍获得的二次获取图像。Yu Hang发表的文章，首先用镜面反射分量和漫反射分量表示一张图片，然后通过分析证明，自然图像的镜面反射分量和总图像的比值和翻拍图像的存在区别，而且翻拍图像的镜面反射比值的梯度直方图为类瑞利分布，而自然图像的则为类高斯分布。Xinting Gao等发表的文章中，利用了常用的物理特征来对自然图像和翻拍图像进行分类。例如背景的上下文信息、表面梯度、镜面反射量的空间分布、翻拍前后的颜色直方图、色度、模糊度以及对比度等等。在此之后，Hong Gao针对由液晶显示屏翻拍得到的图像做了研究。基于图像纹理变化提出了LBP(Local Binary Pattern)特征和MsWS特征(Multi-scale Wavelet Statistics)。有研究者提出利用EM(Expectation/Maximization)算法计算每一个像素是为其某个邻域内的像素的线性组合的概率，根据这个概率可以判断数字图像是否经过了重采样。又有研究者提出通过主成分分析法，降低同幅图复制-粘贴篡改时的运算量，以及解决鲁棒性差的问题。还可以通过翻拍前后图像的光照方向并不一致来作为鉴定方法。美国SUNY Binghamton大学的研究团队，将数字图像取证技术与隐秘分析技术结合在一起，用于鉴别数字图像的完整性，可以作为判断通信中是否存在隐蔽的通信的证据。而后，在检测复制粘贴篡改方面，提出一种滑窗检测法，为研究取证技术提供了思路。2012年，尹京等人发表的文章中，主要对从液晶显示屏上翻拍的图像做了研究。作者主要根据文献的方法自己建立一个数据库，其中包括2400幅翻拍图像和2400幅原始图像。作者主要考虑了两个方面，一方面根据图像的噪声特性，由于自然图像和翻拍图像的拍摄环境不同，所使用的相机也不尽相同，因此会影响图像的噪声。可以对图像采用小波阈值法进行去噪，再用原始图像与去噪图像相减得到噪声，利用这种得到的噪声特征进行分类，实验发现这种特征可以区分出翻拍图像与自然图像，但是准确率还可以进一步提高。另一方面，由于翻拍图像经过了双重JPEG压缩，因此可以利用图像是否经过了这种双重JPEG压缩来判断图像是原始图像还是翻拍图像。实验显示这种方法特征维数和时间复杂度较低，而检测率较高。作者又研究翻拍纸面打印图片，发现翻拍后图像的细节部分会变模糊，并且在颜色上也与原始图像不同。
因此，现有技术还有待于改进和发展。
发明内容
鉴于上述现有技术的不足之处，本发明的目的在于提供一种显示器屏幕图像翻拍的鉴定方法、装置及存储介质，旨在解决现有技术中鉴定图像是原始图像还是翻拍图像时，或者是检测率低，或者是因特征维数和时间复杂度较低导致判断结果不准确的问题，或者是因特征维数和时间复杂度较低导致的仅能在实验环境下应用，无法应用到现实实际中。
为了达到上述目的，本发明采取了以下技术方案：
一种显示器屏幕图像翻拍的鉴定方法，其中，所述方法包括以下步骤：
S1、将输入的JPG图像转化为灰度图像，采用边缘检测算法提取灰度图像的边缘信息，选取边缘信息中符合预设选取条件的块对应的灰度值拼接成第一矩阵，根据预设的滤波器组中每个滤波器对第一矩阵依次进行卷积和量化截断，得到与滤波器一一对应的四阶共生矩阵，将与滤波器一一对应的四阶共生矩阵分别进行降维化简后将所有降维化简后的矩阵排成一行，得到JPG图像对应的第一图像特征；
S2、将输入的JPG图像提取R通道分量、G通道分量、及B通道分量，将R通道分量、G通道分量、及B通道分量分别与滤波器组中每个滤波器依次进行卷积和量化截断，得到与滤波器一一对应的三阶共生矩阵，分别将由滤波器组中的同一滤波器得到的R通道分量的三阶共生矩阵与B通道分量的三阶共生矩阵进行降维化简后相加合并，得到第一化简矩阵集合；再将由滤波器组中的每个滤波器得到的G通道分量的三阶共生矩阵分别进行降维化简，得到第二化简矩阵集合；将第一化简矩阵集合中的所有矩阵和第二化简矩阵集合中的所有矩阵排成一行得到JPG图像对应的第二图像特征；
S3、将第一图像特征与第二图像特征进行融合，得到JPG图像最终图像特征；
S4、将JPG图像最终图像特征传输至Ensemble分类器进行分类鉴定，得到输入的JPG图像是原始图像或是翻拍图像的鉴定结果。
所述显示器屏幕图像翻拍的鉴定方法，其中，所述步骤S1具体包括：
S11、将输入的JPG图像转化为灰度图像，并采用Canny边缘检测算法提取灰度图像的边缘图像；其中，所述边缘图像包括边缘信息；
S12、将边缘图像划分成若干块，每一块均为16*16的大小；
S13、提取若干16*16大小的块中只包含一个非零值的行数超过所有行数60％，或者只包含一个非零值的列数超过所有列数60％的块，并将提取选中的块相对应位置的灰度图的灰度值形成第一矩阵；
S14、根据滤波器组中所包括的11个滤波器分别对第一矩阵依次进行卷积和量化截断，得到与滤波器一一对应的四阶共生矩阵，分别记为第一四阶共生矩阵、第二四阶共生矩阵、第三四阶共生矩阵、第四四阶共生矩阵、第五四阶共生矩阵、第六四阶共生矩阵、第七四阶共生矩阵、第八四阶共生矩阵、第九四阶共生矩阵、第十四阶共生矩阵、第十一四阶共生矩阵；其中11个滤波器分别记为第一滤波器F1、第二滤波器F2、第三滤波器F3、第四滤波器F4、第五滤波器F5、第六滤波器F6、第七滤波器F7、第八滤波器F8、第九滤波器F9、第十滤波器F10及第十一滤波器F11，其中：
F1＝D1；
F2＝D2；
F3＝D5；
F4＝min(D2,D4)；
F5＝max(D2,D4)；
F6＝min(D2,D3)；
F7＝max(D2,D3)；
F8＝min(D4,D5)；
F9＝max(D4,D5)；
F10＝min(D2,D3,D4,D5)；
F11＝max(D2,D3,D4,D5)；
其中，D1＝a11*X(i-1,j-1)+a12*X(i-1,j)+a13*X(i-1,j+1)+a21*X(i,j-1)+a22*X(i,j)+a23*X(i,j+1)+a31*X(i+1,j-1)+a32*X(i+1,j)+a33*X(i+1,j+1)；
D2＝a11*X(i-1,j-1)+a12*X(i-1,j)+a13*X(i-1,j+1)+a21*X(i,j-1)+a22*X(i,j)+a23*X(i,j+1)；
D3＝a21*X(i,j-1)+a22*X(i,j)+a23*X(i,j+1)+a31*X(i+1,j-1)+a32*X(i+1,j)+a33*X(i+1,j+1)；
D4＝a11*X(i-1,j-1)+a12*X(i-1,j)+a21*X(i,j-1)+a22*X(i,j)+a31*X(i+1,j-1)+a32*X(i+1,j)；
D5＝a12*X(i-1,j)+a13*X(i-1,j+1)+a22*X(i,j)+a23*X(i,j+1)+a32*X(i+1,j)+a33*X(i+1,j+1)；
其中，a11＝-1，a12＝2，a13＝-1，a21＝2，a22＝-4，a23＝2，a31＝-1，a32＝2，a33＝-1；灰度图像X的像素值表示为X＝(Xij)∈{0,...,255}，Xij表示在(i,j)位置的灰度值；
S15、将第一四阶共生矩阵、第二四阶共生矩阵、第三四阶共生矩阵、第四四阶共生矩阵、第五四阶共生矩阵、第六四阶共生矩阵、第七四阶共生矩阵、第八四阶共生矩阵、第九四阶共生矩阵、第十四阶共生矩阵、第十一四阶共生矩阵进行降维化简后排列成一行，得到JPG图像对应的第一图像特征。
所述显示器屏幕图像翻拍的鉴定方法，其中，所述步骤S2具体包括：
S21、将输入的JPG图像提取R通道分量、G通道分量、及B通道分量；
S22、将R通道分别与滤波器组中所包括的11个滤波器分别进行卷积和量化截断，得到与滤波器一一对应的三阶共生矩阵，分别记为第一R通道三阶共生矩阵、第二R通道三阶共生矩阵、第三R通道三阶共生矩阵、第四R通道三阶共生矩阵、第五R通道三阶共生矩阵、第六R通道三阶共生矩阵、第七R通道三阶共生矩阵、第八R通道三阶共生矩阵、第九R通道三阶共生矩阵、第十R通道三阶共生矩阵、第十一R通道三阶共生矩阵；将G通道分别与滤波器组中所包括的11个滤波器分别进行卷积和量化截断，得到与滤波器一一对应的三阶共生矩阵，分别记为第一G通道三阶共生矩阵、第二G通道三阶共生矩阵、第三G通道三阶共生矩阵、第四G通道三阶共生矩阵、第五G通道三阶共生矩阵、第六G通道三阶共生矩阵、第七G通道三阶共生矩阵、第八G通道三阶共生矩阵、第九G通道三阶共生矩阵、第十G通道三阶共生矩阵、第十一G通道三阶共生矩阵；将B通道分别与滤波器组中所包括的11个滤波器分别进行卷积和量化截断，得到与滤波器一一对应的三阶共生矩阵，分别记为第一B通道三阶共生矩阵、第二B通道三阶共生矩阵、第三B通道三阶共生矩阵、第四B通道三阶共生矩阵、第五B通道三阶共生矩阵、第六B通道三阶共生矩阵、第七B通道三阶共生矩阵、第八B通道三阶共生矩阵、第九B通道三阶共生矩阵、第十B通道三阶共生矩阵、第十一B通道三阶共生矩阵；
S23、第一R通道三阶共生矩阵、第二R通道三阶共生矩阵、第三R通道三阶共生矩阵、第四R通道三阶共生矩阵、第五R通道三阶共生矩阵、第六R通道三阶共生矩阵、第七R通道三阶共生矩阵、第八R通道三阶共生矩阵、第九R通道三阶共生矩阵、第十R通道三阶共生矩阵、第十一R通道三阶共生矩阵与第一B通道三阶共生矩阵、第二B通道三阶共生矩阵、第三B通道三阶共生矩阵、第四B通道三阶共生矩阵、第五B通道三阶共生矩阵、第六B通道三阶共生矩阵、第七B通道三阶共生矩阵、第八B通道三阶共生矩阵、第九B通道三阶共生矩阵、第十B通道三阶共生矩阵、及第十一B通道三阶共生矩阵进行降维化简后相加合并，得到第一化简矩阵集合；
S24、将G通道分量对应的第一G通道三阶共生矩阵、第二G通道三阶共生矩阵、第三G通道三阶共生矩阵、第四G通道三阶共生矩阵、第五G通道三阶共生矩阵、第六G通道三阶共生矩阵、第七G通道三阶共生矩阵、第八G通道三阶共生矩阵、第九G通道三阶共生矩阵、第十G通道三阶共生矩阵、第十一G通道三阶共生矩阵进行降维化简后得到第二化简矩阵集合；
S25、将第一化简矩阵集合和第二化简矩阵集合中的所有矩阵排成一行得到JPG图像对应的第二图像特征。
所述显示器屏幕图像翻拍的鉴定方法，其中，所述步骤S14中11个滤波器分别对第一矩阵依次进行卷积时的量化步长为1、进行量化截断的截断门限值为2。
所述显示器屏幕图像翻拍的鉴定方法，其中，所述步骤S22中将R通道分别与滤波器组中所包括的11个滤波器分别进行卷积时的量化步长为1、进行量化截断的截断门限值为2；将G通道分别与滤波器组中所包括的11个滤波器分别进行卷积时的量化步长为1、进行量化截断的截断门限值为2；将B通道分别与滤波器组中所包括的11个滤波器分别进行卷积时的量化步长为1、进行量化截断的截断门限值为2。
一种显示器屏幕图像翻拍的鉴定装置，其中，包括：
处理器，适于实现各指令；以及
存储装置，适于存储多条指令，所述指令适于由处理器加载并执行以下步骤：
将输入的JPG图像转化为灰度图像，采用边缘检测算法提取灰度图像的边缘信息，选取边缘信息中符合预设选取条件的块对应的灰度值拼接成第一矩阵，根据预设的滤波器组中每个滤波器对第一矩阵依次进行卷积和量化截断，得到与滤波器一一对应的四阶共生矩阵，将与滤波器一一对应的四阶共生矩阵分别进行降维化简后将所有降维化简后的矩阵排成一行，得到JPG图像对应的第一图像特征；
将输入的JPG图像提取R通道分量、G通道分量、及B通道分量，将R通道分量、G通道分量、及B通道分量分别与滤波器组中每个滤波器依次进行卷积和量化截断，得到与滤波器一一对应的三阶共生矩阵，分别将由滤波器组中的同一滤波器得到的R通道分量的三阶共生矩阵与B通道分量的三阶共生矩阵进行降维化简后相加合并，得到第一化简矩阵集合集合；再将由滤波器组中的每个滤波器得到的G通道分量的三阶共生矩阵分别进行降维化简，得到第二化简矩阵集合；将第一化简矩阵集合中的所有矩阵和第二化简矩阵集合中的所有矩阵排成一行得到JPG图像对应的第二图像特征；
将第一图像特征与第二图像特征进行融合，得到JPG图像最终图像特征；
将JPG图像最终图像特征传输至Ensemble分类器进行分类鉴定，得到输入的JPG图像是原始图像或是翻拍图像的鉴定结果。
所述显示器屏幕图像翻拍的鉴定装置，其中，所述将输入的JPG图像转化为灰度图像，采用边缘检测算法提取灰度图像的边缘信息，选取边缘信息中符合预设选取条件的块对应的灰度值拼接成第一矩阵，根据预设的滤波器组中每个滤波器对第一矩阵依次进行卷积和量化截断，得到与滤波器一一对应的四阶共生矩阵，将与滤波器一一对应的四阶共生矩阵分别进行降维化简后将所有降维化简后的矩阵排成一行，得到JPG图像对应的第一图像特征的步骤具体包括：
将输入的JPG图像转化为灰度图像，并采用Canny边缘检测算法提取灰度图像的边缘图像；其中，所述边缘图像包括边缘信息；
将边缘图像划分成若干块，每一块均为16*16的大小；
提取若干16*16大小的块中只包含一个非零值的行数超过所有行数60％，或者只包含一个非零值的列数超过所有列数60％的块，并将提取选中的块相对应位置的灰度图的灰度值形成第一矩阵；
根据滤波器组中所包括的11个滤波器分别对第一矩阵依次进行卷积和量化截断，得到与滤波器一一对应的四阶共生矩阵，分别记为第一四阶共生矩阵、第二四阶共生矩阵、第三四阶共生矩阵、第四四阶共生矩阵、第五四阶共生矩阵、第六四阶共生矩阵、第七四阶共生矩阵、第八四阶共生矩阵、第九四阶共生矩阵、第十四阶共生矩阵、第十一四阶共生矩阵；其中11个滤波器分别记为第一滤波器F1、第二滤波器F2、第三滤波器F3、第四滤波器F4、第五滤波器F5、第六滤波器F6、第七滤波器F7、第八滤波器F8、第九滤波器F9、第十滤波器F10及第十一滤波器F11，其中：
F1＝D1；
F2＝D2；
F3＝D5；
F4＝min(D2,D4)；
F5＝max(D2,D4)；
F6＝min(D2,D3)；
F7＝max(D2,D3)；
F8＝min(D4,D5)；
F9＝max(D4,D5)；
F10＝min(D2,D3,D4,D5)；
F11＝max(D2,D3,D4,D5)；
其中，D1＝a11*X(i-1,j-1)+a12*X(i-1,j)+a13*X(i-1,j+1)+a21*X(i,j-1)+a22*X(i,j)+a23*X(i,j+1)+a31*X(i+1,j-1)+a32*X(i+1,j)+a33*X(i+1,j+1)；
D2＝a11*X(i-1,j-1)+a12*X(i-1,j)+a13*X(i-1,j+1)+a21*X(i,j-1)+a22*X(i,j)+a23*X(i,j+1)；
D3＝a21*X(i,j-1)+a22*X(i,j)+a23*X(i,j+1)+a31*X(i+1,j-1)+a32*X(i+1,j)+a33*X(i+1,j+1)；
D4＝a11*X(i-1,j-1)+a12*X(i-1,j)+a21*X(i,j-1)+a22*X(i,j)+a31*X(i+1,j-1)+a32*X(i+1,j)；
D5＝a12*X(i-1,j)+a13*X(i-1,j+1)+a22*X(i,j)+a23*X(i,j+1)+a32*X(i+1,j)+a33*X(i+1,j+1)；
其中，a11＝-1，a12＝2，a13＝-1，a21＝2，a22＝-4，a23＝2，a31＝-1，a32＝2，a33＝-1；灰度图像X的像素值表示为X＝(Xij)∈{0,...,255}，Xij表示在(i,j)位置的灰度值；
将第一四阶共生矩阵、第二四阶共生矩阵、第三四阶共生矩阵、第四四阶共生矩阵、第五四阶共生矩阵、第六四阶共生矩阵、第七四阶共生矩阵、第八四阶共生矩阵、第九四阶共生矩阵、第十四阶共生矩阵、第十一四阶共生矩阵进行降维化简排列成一行，得到JPG图像对应的第一图像特征。
所述显示器屏幕图像翻拍的鉴定装置，其中，所述将输入的JPG图像提取R通道分量、G通道分量、及B通道分量，将R通道分量、G通道分量、及B通道分量分别与滤波器组中每个滤波器依次进行卷积和量化截断，得到与滤波器一一对应的三阶共生矩阵，分别将由滤波器组中的同一滤波器得到的R通道分量的三阶共生矩阵与B通道分量的三阶共生矩阵进行降维化简后相加合并，得到第一化简矩阵集合集合；再将由滤波器组中的每个滤波器得到的G通道分量的三阶共生矩阵分别进行降维化简，得到第二化简矩阵集合；将第一化简矩阵集合中的所有矩阵和第二化简矩阵集合中的所有矩阵排成一行得到JPG图像对应的第二图像的步骤具体包括：
将输入的JPG图像提取R通道分量、G通道分量、及B通道分量；
将R通道分别与滤波器组中所包括的11个滤波器分别进行卷积和量化截断，得到与滤波器一一对应的三阶共生矩阵，分别记为第一R通道三阶共生矩阵、第二R通道三阶共生矩阵、第三R通道三阶共生矩阵、第四R通道三阶共生矩阵、第五R通道三阶共生矩阵、第六R通道三阶共生矩阵、第七R通道三阶共生矩阵、第八R通道三阶共生矩阵、第九R通道三阶共生矩阵、第十R通道三阶共生矩阵、第十一R通道三阶共生矩阵；将G通道分别与滤波器组中所包括的11个滤波器分别进行卷积和量化截断，得到与滤波器一一对应的三阶共生矩阵，分别记为第一G通道三阶共生矩阵、第二G通道三阶共生矩阵、第三G通道三阶共生矩阵、第四G通道三阶共生矩阵、第五G通道三阶共生矩阵、第六G通道三阶共生矩阵、第七G通道三阶共生矩阵、第八G通道三阶共生矩阵、第九G通道三阶共生矩阵、第十G通道三阶共生矩阵、第十一G通道三阶共生矩阵；将B通道分别与滤波器组中所包括的11个滤波器分别进行卷积和量化截断，得到与滤波器一一对应的三阶共生矩阵，分别记为第一B通道三阶共生矩阵、第二B通道三阶共生矩阵、第三B通道三阶共生矩阵、第四B通道三阶共生矩阵、第五B通道三阶共生矩阵、第六B通道三阶共生矩阵、第七B通道三阶共生矩阵、第八B通道三阶共生矩阵、第九B通道三阶共生矩阵、第十B通道三阶共生矩阵、第十一B通道三阶共生矩阵；
第一R通道三阶共生矩阵、第二R通道三阶共生矩阵、第三R通道三阶共生矩阵、第四R通道三阶共生矩阵、第五R通道三阶共生矩阵、第六R通道三阶共生矩阵、第七R通道三阶共生矩阵、第八R通道三阶共生矩阵、第九R通道三阶共生矩阵、第十R通道三阶共生矩阵、第十一R通道三阶共生矩阵与第一B通道三阶共生矩阵、第二B通道三阶共生矩阵、第三B通道三阶共生矩阵、第四B通道三阶共生矩阵、第五B通道三阶共生矩阵、第六B通道三阶共生矩阵、第七B通道三阶共生矩阵、第八B通道三阶共生矩阵、第九B通道三阶共生矩阵、第十B通道三阶共生矩阵、及第十一B通道三阶共生矩阵进行降维化简后相加合并，得到第一化简矩阵集合；
将G通道分量对应的第一G通道三阶共生矩阵、第二G通道三阶共生矩阵、第三G通道三阶共生矩阵、第四G通道三阶共生矩阵、第五G通道三阶共生矩阵、第六G通道三阶共生矩阵、第七G通道三阶共生矩阵、第八G通道三阶共生矩阵、第九G通道三阶共生矩阵、第十G通道三阶共生矩阵、第十一G通道三阶共生矩阵进行降维化简后得到第二化简矩阵集合；
将第一化简矩阵集合和第二化简矩阵集合中的所有矩阵排成一行得到JPG图像对应的第二图像特征。
一种存储介质，其中，其中存储有多条指令，所述指令适于由处理器加载并执行所述显示器屏幕图像翻拍的鉴定方法的步骤。
有益效果：本发明提供的显示器屏幕图像翻拍的鉴定方法、装置及存储介质，对于同一个数据内的分类准确率相比于已有的特征提取方法得到了提高。而且对于跨库实验，本发明的准确率要高于已有的特征提取方法，适用性更广。
附图说明
图1为本发明所述显示器屏幕图像翻拍的鉴定方法较佳实施例的流程图。
图2为本发明所述显示器屏幕图像翻拍的鉴定方法中步骤S1的流程图。
具体实施方式
本发明提供一种显示器屏幕图像翻拍的鉴定方法、装置及存储介质，为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
如图1所示，为本发明所述显示器屏幕图像翻拍的鉴定方法的具体实施例。所述方法包括以下步骤：
步骤S1、将输入的JPG图像转化为灰度图像，采用边缘检测算法提取灰度图像的边缘信息，选取边缘信息中符合预设选取条件的块对应的灰度值拼接成第一矩阵，根据预设的滤波器组中每个滤波器对第一矩阵依次进行卷积和量化截断，得到与滤波器一一对应的四阶共生矩阵，将与滤波器一一对应的四阶共生矩阵分别进行降维化简后将所有降维化简后的矩阵排成一行，得到JPG图像对应的第一图像特征；
步骤S2、将输入的JPG图像提取R通道分量、G通道分量、及B通道分量，将R通道分量、G通道分量、及B通道分量分别与滤波器组中每个滤波器依次进行卷积和量化截断，得到与滤波器一一对应的三阶共生矩阵，分别将由滤波器组中的同一滤波器得到的R通道分量的三阶共生矩阵与B通道分量的三阶共生矩阵进行降维化简后相加合并，得到第一化简矩阵集合；再将由滤波器组中的每个滤波器得到的G通道分量的三阶共生矩阵分别进行降维化简，得到第二化简矩阵集合；将第一化简矩阵集合中的所有矩阵和第二化简矩阵集合中的所有矩阵排成一行得到JPG图像对应的第二图像特征；
步骤S3、将第一图像特征与第二图像特征进行融合，得到JPG图像最终图像特征；
步骤S4、将JPG图像最终图像特征传输至Ensemble分类器进行分类鉴定，得到输入的JPG图像是原始图像或是翻拍图像的鉴定结果。
在步骤S2中，将R通道分量对应的三阶共生矩阵与B通道分量对应的三阶共生矩阵进行降维化简后相加合并得到第一化简矩阵集合，例如通过其中一个滤波器得到了一个125维的矩阵，此矩阵通过降维化简后得到的矩阵维数将变为75维。矩阵维数会发生变化是因为进行了化简。再将通过同一滤波器得到的R通道分量降维化简后的矩阵与B通道分量降维化简后的矩阵进行相加合并，得到一个第一化简矩阵。最后，将十一个第一化简矩阵和十一个第二化简矩阵分别排成一行得到JPG图像对应的第二图像特征，也即依次将第一个第一化简矩阵的第一行、第一个第一化简矩阵的第二行、……、第一个第一化简矩阵的第M行、……、第十一个第一化简矩阵的第一行、第十一个第一化简矩阵的第二行、……、第十一个第一化简矩阵的第M行、……、第一个第二化简矩阵的第一行、第一个第二化简矩阵的第二行、……、第一个第二化简矩阵的第N行、……、第十一个第二化简矩阵的第一行、第十一个第二化简矩阵的第二行、……、第十一个第二化简矩阵的第N行依次串成一行。
本发明的实施例中，从液晶显示屏翻拍得到的图像相比于原始图像，清晰度和对比度都会发生变化，由于液晶显示屏的影响，翻拍后的图像的纹理特征明显发生变化。翻拍后得到的图像的颜色与原始图像相比，也发生了改变。因此可以利用这些改变，提取相关的特征，根据这些特征能够较好的区分原始图像与翻拍图像。
提取图像的边缘可以大大的提高算法的效率，同时图像由于翻拍会发生变模糊的现象，这种现在在图像的边缘处体现的较为明显。多种滤波器的组和使用也是提高特征性能的方法。利用共生矩阵可以统计分析图像的纹理特征，因此共生矩阵对由于翻拍造成的图像清晰度、对比度的变化以及液晶显示屏产生的纹理比较敏感。由于图像的翻拍，图像的颜色也会产生一定程度的失真，对彩色图像的三个通道产生一定的影响。
下面给出本发明方法的一些实验以证实本特征提取算法的可用性以及我们方法的准确率。
本发明主要用到两个数据库。数据库一有10000张原始图像，有10000张从液晶显示屏翻拍得到的图像，数据库二有10000张原始图像，有10000张从液晶显示屏翻拍得到的图像。其中所有图像的大小均为512*512，数据库一和数据库二中的图像来源多种多样，有室外场景、室内场景、人物等等。并且两个数据拍摄原始图像的相机和翻拍图像的相机多种多样，有的原始图像与翻拍图像为同一部相机，有的原始图像与翻拍图像为不同相机，数据库一中用到的相机有一部分数据库二也会用到，另一部分用的相机各不相同。也就是说本发明选用的数据库一和数据库二之间没有任何相关性，同一个数据库内的图像也具有较好的多样性。本实验选用的分类是Ensemble分类器(也即集成分类器)。分类时使用的特征及结果如下：
表一中显示的结果为库内分类的准确率。随机选取数据库一中5000张原始图像和5000张翻拍图像做训练，选取数据库一剩余的5000张原始图像和5000张翻拍图像做测试。
表二中显示的结果为跨库分类的准确率。使用数据库一中的10000张原始图像和10000张翻拍图像做训练，使用数据库二中的10000张原始图像和10000张翻拍图像做测试。
| Features | Accuracy |
| Noise Features | 89.71 |
| DCT Coefficient | 95.94 |
| LBP | 97.74 |
| MsWs | 97.82 |
| HoWS | 98.94 |
| My Texture Features | 99.05 |
表一不同算法，同一数据库内的分类准确率
表二不同算法，跨库的分类准确率
最后，展示本特征提取方法的两个应用场景。在数字图像作为一种司法证据时，若有些不法分子将图像进行篡改后或因为其他目的对图像进行翻拍，以掩盖图像被篡改的痕迹或者其他处理痕迹。这时对图像原始性的鉴别尤为重要。在人脸识别的过程中，摄像头前是真实的人脸还是一些显示屏上的人脸图像，可以通过鉴定摄像头得到的图像是原始图像还是翻拍图像来解决。若公司使用人脸识别打卡机，可以通过本方法来防止代打卡等问题。
跨库实验中的两个数据库的每一个数据库都包括原始图像和翻拍图像，并且两个数据库之间的图像来源、图像拍摄环境、使用的相机等都没有任何联系，两个数据库直接相互是完全独立的。这组特征在跨库实验中表现的出的性能也相对较好，跨库即使用来源不同的两个数据库，比如本实验用的数据库一个是自己实验室做的数据库，另一个是国外实验室公开的数据库。同一个数据库内的实验，用原始图像/翻拍图像的一半特征做训练，另一半特征做测试，得到分类的准确率。跨库实验则是用一个数据库的原始图像/翻拍图像的全部特征做训练，用另一个数据库的原始图像/翻拍图像的全部做测试。跨库实验可以在一定程度上证明特征的普遍适用性，提高了特征的实际应用价值。
优选的，如图2所示，在所述显示器屏幕图像翻拍的鉴定方法中，所述步骤S1具体包括：
步骤S11、将输入的JPG图像转化为灰度图像，并采用Canny边缘检测算法提取灰度图像的边缘图像；其中，所述边缘图像包括边缘信息；
步骤S12、将边缘图像划分成若干块，每一块均为16*16的大小；
步骤S13、提取若干16*16大小的块中只包含一个非零值的行数超过所有行数60％，或者只包含一个非零值的列数超过所有列数60％的块，并将提取选中的块相对应位置的灰度图的灰度值形成第一矩阵；
步骤S14、根据滤波器组中所包括的11个滤波器分别对第一矩阵依次进行卷积和量化截断，得到与滤波器一一对应的四阶共生矩阵，分别记为第一四阶共生矩阵、第二四阶共生矩阵、第三四阶共生矩阵、第四四阶共生矩阵、第五四阶共生矩阵、第六四阶共生矩阵、第七四阶共生矩阵、第八四阶共生矩阵、第九四阶共生矩阵、第十四阶共生矩阵、第十一四阶共生矩阵；其中11个滤波器分别记为第一滤波器F1、第二滤波器F2、第三滤波器F3、第四滤波器F4、第五滤波器F5、第六滤波器F6、第七滤波器F7、第八滤波器F8、第九滤波器F9、第十滤波器F10及第十一滤波器F11，其中：
F1＝D1；
F2＝D2；
F3＝D5；
F4＝min(D2,D4)；
F5＝max(D2,D4)；
F6＝min(D2,D3)；
F7＝max(D2,D3)；
F8＝min(D4,D5)；
F9＝max(D4,D5)；
F10＝min(D2,D3,D4,D5)；
F11＝max(D2,D3,D4,D5)；
其中，D1＝a11*X(i-1,j-1)+a12*X(i-1,j)+a13*X(i-1,j+1)+a21*X(i,j-1)+a22*X(i,j)+a23*X(i,j+1)+a31*X(i+1,j-1)+a32*X(i+1,j)+a33*X(i+1,j+1)；
D2＝a11*X(i-1,j-1)+a12*X(i-1,j)+a13*X(i-1,j+1)+a21*X(i,j-1)+a22*X(i,j)+a23*X(i,j+1)；
D3＝a21*X(i,j-1)+a22*X(i,j)+a23*X(i,j+1)+a31*X(i+1,j-1)+a32*X(i+1,j)+a33*X(i+1,j+1)；
D4＝a11*X(i-1,j-1)+a12*X(i-1,j)+a21*X(i,j-1)+a22*X(i,j)+a31*X(i+1,j-1)+a32*X(i+1,j)；
D5＝a12*X(i-1,j)+a13*X(i-1,j+1)+a22*X(i,j)+a23*X(i,j+1)+a32*X(i+1,j)+a33*X(i+1,j+1)；
其中，a11＝-1，a12＝2，a13＝-1，a21＝2，a22＝-4，a23＝2，a31＝-1，a32＝2，a33＝-1；灰度图像X的像素值表示为X＝(Xij)∈{0,...,255}，Xij表示在(i,j)位置的灰度值；
步骤S15、将第一四阶共生矩阵、第二四阶共生矩阵、第三四阶共生矩阵、第四四阶共生矩阵、第五四阶共生矩阵、第六四阶共生矩阵、第七四阶共生矩阵、第八四阶共生矩阵、第九四阶共生矩阵、第十四阶共生矩阵、第十一四阶共生矩阵进行降维化简后排列成一行，得到JPG图像对应的第一图像特征。
为了更清楚的理解上述步骤S11-步骤S15的过程，下面通过一具体实施例来说明。假设输入的JPG图像为512*512分辨率大小，首先要对这个JPG图像图像提取边缘，用Canny边缘检测算法提取边缘，输出的是512*512的二值图像，就是二值图像中的像素值只有0或者1。此时，再把这512*512的二值图像划分为1024个16*16的块(其中，1024＝32*32，而512/32＝16，故512*512的二值图像可划分为1024个16*16的块，16*16的块包括256个像素值，每一像素值只取0或者1)。
之后，再提取若干16*16大小的块中只包含一个非零值的行数超过所有行数60％(例如这个16*16大小的块中，第1行-第10行共10行中都只包含一个非零值，且10/16>60％，那么这个16*16大小的块是满足预设的选取条件)，或者只包含一个非零值的列数超过所有列数60％(例如这个16*16大小的块中，第1列-第11行共11行中都只包含一个非零值，且11/16>60％，那么这个16*16大小的块是满足预设的选取条件)的块，并将提取选中的块相对应位置的灰度图的灰度值形成第一矩阵。之后执再行步骤S14的卷积和量化截断处理，及步骤S15中的共生矩阵化简合并，最终得到JPG图像对应的第一图像特征。
在步骤S13中，将提取选中的块相对应位置的灰度图的灰度值形成第一矩阵(也即选取边缘信息中符合预设选取条件的块对应的灰度值拼接成第一矩阵)中，是指将多个矩阵横向进行拼接而非排成一行。例如矩阵A与B拼接后得到
在步骤S15中，将第一四阶共生矩阵、第二四阶共生矩阵、第三四阶共生矩阵、第四四阶共生矩阵、第五四阶共生矩阵、第六四阶共生矩阵、第七四阶共生矩阵、第八四阶共生矩阵、第九四阶共生矩阵、第十四阶共生矩阵、第十一四阶共生矩阵进行降维化简后排列成一行中，将多个矩阵排列成一行的操作即使，从第一四阶共生矩阵的第一行、第一四阶共生矩阵的第二行、第一四阶共生矩阵的第三行、第一四阶共生矩阵的第四行、第二四阶共生矩阵的第一行、第而四阶共生矩阵的第二行、第二四阶共生矩阵的第三行、第二四阶共生矩阵的第四行、……、第十一四阶共生矩阵的第一行、第十一四阶共生矩阵的第二行、第十一四阶共生矩阵的第三行、第十一四阶共生矩阵的第四行依次串成一行。
具体的，在所述显示器屏幕图像翻拍的鉴定方法中，所述步骤S14中11个滤波器分别对第一矩阵依次进行卷积时的量化步长为1、进行量化截断的截断门限值为2。
步骤S14中11个滤波器分别对第一矩阵依次进行卷积时的量化步长为1，截断门限值为2。因此每一个滤波器与第一矩阵卷积后得到的共生矩阵为5*5＝625维，根据得到的共生矩阵具有的对称性，对矩阵简化，最终滤波器F1、F2、F3得到的特征维数分别为169维，将F4和F5得到的共生矩阵合并且根据其对称性化简得到的特征维数分别为325维，F6和F7得到的共生矩阵合并且根据其对称性化简得到的特征维数分别为325维，F8和F9得到的共生矩阵合并且根据其对称性化简得到的特征维数分别为325维，F10和F11得到的共生矩阵合并且根据其对称性化简得到的特征维数分别为325维，因此JPG图像对应的第一图像特征一共169*3+325*4＝1807维。
优选的，在所述显示器屏幕图像翻拍的鉴定方法中，所述步骤S2具体包括：
步骤S21、将输入的JPG图像提取R通道分量、G通道分量、及B通道分量；
步骤S22、将R通道分别与滤波器组中所包括的11个滤波器分别进行卷积和量化截断，得到与滤波器一一对应的三阶共生矩阵，分别记为第一R通道三阶共生矩阵、第二R通道三阶共生矩阵、第三R通道三阶共生矩阵、第四R通道三阶共生矩阵、第五R通道三阶共生矩阵、第六R通道三阶共生矩阵、第七R通道三阶共生矩阵、第八R通道三阶共生矩阵、第九R通道三阶共生矩阵、第十R通道三阶共生矩阵、第十一R通道三阶共生矩阵；将G通道分别与滤波器组中所包括的11个滤波器分别进行卷积和量化截断，得到与滤波器一一对应的三阶共生矩阵，分别记为第一G通道三阶共生矩阵、第二G通道三阶共生矩阵、第三G通道三阶共生矩阵、第四G通道三阶共生矩阵、第五G通道三阶共生矩阵、第六G通道三阶共生矩阵、第七G通道三阶共生矩阵、第八G通道三阶共生矩阵、第九G通道三阶共生矩阵、第十G通道三阶共生矩阵、第十一G通道三阶共生矩阵；将B通道分别与滤波器组中所包括的11个滤波器分别进行卷积和量化截断，得到与滤波器一一对应的三阶共生矩阵，分别记为第一B通道三阶共生矩阵、第二B通道三阶共生矩阵、第三B通道三阶共生矩阵、第四B通道三阶共生矩阵、第五B通道三阶共生矩阵、第六B通道三阶共生矩阵、第七B通道三阶共生矩阵、第八B通道三阶共生矩阵、第九B通道三阶共生矩阵、第十B通道三阶共生矩阵、第十一B通道三阶共生矩阵；
步骤S23、第一R通道三阶共生矩阵、第二R通道三阶共生矩阵、第三R通道三阶共生矩阵、第四R通道三阶共生矩阵、第五R通道三阶共生矩阵、第六R通道三阶共生矩阵、第七R通道三阶共生矩阵、第八R通道三阶共生矩阵、第九R通道三阶共生矩阵、第十R通道三阶共生矩阵、第十一R通道三阶共生矩阵与第一B通道三阶共生矩阵、第二B通道三阶共生矩阵、第三B通道三阶共生矩阵、第四B通道三阶共生矩阵、第五B通道三阶共生矩阵、第六B通道三阶共生矩阵、第七B通道三阶共生矩阵、第八B通道三阶共生矩阵、第九B通道三阶共生矩阵、第十B通道三阶共生矩阵、及第十一B通道三阶共生矩阵进行降维化简后相加合并，得到第一化简矩阵集合；
步骤S24、将G通道分量对应的第一G通道三阶共生矩阵、第二G通道三阶共生矩阵、第三G通道三阶共生矩阵、第四G通道三阶共生矩阵、第五G通道三阶共生矩阵、第六G通道三阶共生矩阵、第七G通道三阶共生矩阵、第八G通道三阶共生矩阵、第九G通道三阶共生矩阵、第十G通道三阶共生矩阵、第十一G通道三阶共生矩阵进行降维化简后得到第二化简矩阵集合；
步骤S25、将第一化简矩阵集合和第二化简矩阵集合中的所有矩阵排成一行得到JPG图像对应的第二图像特征。
具体的，在所述显示器屏幕图像翻拍的鉴定方法中，所述步骤S22中将R通道分别与滤波器组中所包括的11个滤波器分别进行卷积时的量化步长为1、进行量化截断的截断门限值为2；将G通道分别与滤波器组中所包括的11个滤波器分别进行卷积时的量化步长为1、进行量化截断的截断门限值为2；将B通道分别与滤波器组中所包括的11个滤波器分别进行卷积时的量化步长为1、进行量化截断的截断门限值为2。
同样根据得到的三阶共生矩阵的对称性，整理得到第二图像特征为5190维特征。
将第一图像特征与第二图像特征进行融合，得到JPG图像最终图像特征为6997维特征。
基于上述显示器屏幕图像翻拍的鉴定方法，本发明还提供一种显示器屏幕图像翻拍的鉴定装置，其中，所述装置包括：
处理器，适于实现各指令；以及
存储装置，适于存储多条指令，所述指令适于由处理器加载并执行以下步骤：
将输入的JPG图像转化为灰度图像，采用边缘检测算法提取灰度图像的边缘信息，选取边缘信息中符合预设选取条件的块对应的灰度值拼接成第一矩阵，根据预设的滤波器组中每个滤波器对第一矩阵依次进行卷积和量化截断，得到与滤波器一一对应的四阶共生矩阵，将与滤波器一一对应的四阶共生矩阵分别进行降维化简后将所有降维化简后的矩阵排成一行，得到JPG图像对应的第一图像特征；
将输入的JPG图像提取R通道分量、G通道分量、及B通道分量，将R通道分量、G通道分量、及B通道分量分别与滤波器组中每个滤波器依次进行卷积和量化截断，得到与滤波器一一对应的三阶共生矩阵，分别将由滤波器组中的同一滤波器得到的R通道分量的三阶共生矩阵与B通道分量的三阶共生矩阵进行降维化简后相加合并，得到第一化简矩阵集合集合；再将由滤波器组中的每个滤波器得到的G通道分量的三阶共生矩阵分别进行降维化简，得到第二化简矩阵集合；将第一化简矩阵集合中的所有矩阵和第二化简矩阵集合中的所有矩阵排成一行得到JPG图像对应的第二图像特征；
将第一图像特征与第二图像特征进行融合，得到JPG图像最终图像特征；
将JPG图像最终图像特征传输至Ensemble分类器进行分类鉴定，得到输入的JPG图像是原始图像或是翻拍图像的鉴定结果。
基于上述显示器屏幕图像翻拍的鉴定装置，本发明还提供一种存储介质，其中，其中存储有多条指令，所述指令适于由处理器加载并执行所述显示器屏幕图像翻拍的鉴定装置的步骤。
综上所述，本发明提出了一种显示器屏幕图像翻拍的鉴定方法、装置及存储介质，对于同一个数据内的分类准确率相比于已有的特征提取方法得到了提高。而且对于跨库实验，本发明的准确率要高于已有的特征提取方法，适用性更广，并不局限于实验环境下使用，即使推广到实际应用也能确保极高准确率。
可以理解的是，对本领域普通技术人员来说，可以根据本发明的技术方案及本发明构思加以等同替换或改变，而所有这些改变或替换都应属于本发明所附的权利要求的保护范围。
Claims (9)
1.一种显示器屏幕图像翻拍的鉴定方法，其特征在于，所述方法包括以下步骤：
S1、将输入的JPG图像转化为灰度图像，采用边缘检测算法提取灰度图像的边缘信息，选取边缘信息中符合预设选取条件的块对应的灰度值拼接成第一矩阵，根据预设的滤波器组中每个滤波器对第一矩阵依次进行卷积和量化截断，得到与滤波器一一对应的四阶共生矩阵，将与滤波器一一对应的四阶共生矩阵分别进行降维化简后将所有降维化简后的矩阵排成一行，得到JPG图像对应的第一图像特征；
S2、将输入的JPG图像提取R通道分量、G通道分量、及B通道分量，将R通道分量、G通道分量、及B通道分量分别与滤波器组中每个滤波器依次进行卷积和量化截断，得到与滤波器一一对应的三阶共生矩阵，分别将由滤波器组中的同一滤波器得到的R通道分量的三阶共生矩阵与B通道分量的三阶共生矩阵进行降维化简后相加合并，得到第一化简矩阵集合；再将由滤波器组中的每个滤波器得到的G通道分量的三阶共生矩阵分别进行降维化简，得到第二化简矩阵集合；将第一化简矩阵集合中的所有矩阵和第二化简矩阵集合中的所有矩阵排成一行得到JPG图像对应的第二图像特征；
S3、将第一图像特征与第二图像特征进行融合，得到JPG图像最终图像特征；
S4、将JPG图像最终图像特征传输至Ensemble分类器进行分类鉴定，得到输入的JPG图像是原始图像或是翻拍图像的鉴定结果。
2.根据权利要求1所述显示器屏幕图像翻拍的鉴定方法，其特征在于，所述步骤S1具体包括：
S11、将输入的JPG图像转化为灰度图像，并采用Canny边缘检测算法提取灰度图像的边缘图像；其中，所述边缘图像包括边缘信息；
S12、将边缘图像划分成若干块，每一块均为16*16的大小；
S13、提取若干16*16大小的块中只包含一个非零值的行数超过所有行数60％，或者只包含一个非零值的列数超过所有列数60％的块，并将提取选中的块相对应位置的灰度图的灰度值形成第一矩阵；
S14、根据滤波器组中所包括的11个滤波器分别对第一矩阵依次进行卷积和量化截断，得到与滤波器一一对应的四阶共生矩阵，分别记为第一四阶共生矩阵、第二四阶共生矩阵、第三四阶共生矩阵、第四四阶共生矩阵、第五四阶共生矩阵、第六四阶共生矩阵、第七四阶共生矩阵、第八四阶共生矩阵、第九四阶共生矩阵、第十四阶共生矩阵、第十一四阶共生矩阵；其中11个滤波器分别记为第一滤波器F1、第二滤波器F2、第三滤波器F3、第四滤波器F4、第五滤波器F5、第六滤波器F6、第七滤波器F7、第八滤波器F8、第九滤波器F9、第十滤波器F10及第十一滤波器F11，其中：
F1＝D1；
F2＝D2；
F3＝D5；
F4＝min(D2,D4)；
F5＝max(D2,D4)；
F6＝min(D2,D3)；
F7＝max(D2,D3)；
F8＝min(D4,D5)；
F9＝max(D4,D5)；
F10＝min(D2,D3,D4,D5)；
F11＝max(D2,D3,D4,D5)；
其中，D1＝a11*X(i-1,j-1)+a12*X(i-1,j)+a13*X(i-1,j+1)+a21*X(i,j-1)+a22*X(i,j)+a23*X(i,j+1)+a31*X(i+1,j-1)+a32*X(i+1,j)+a33*X(i+1,j+1)；
D2＝a11*X(i-1,j-1)+a12*X(i-1,j)+a13*X(i-1,j+1)+a21*X(i,j-1)+a22*X(i,j)+a23*X(i,j+1)；
D3＝a21*X(i,j-1)+a22*X(i,j)+a23*X(i,j+1)+a31*X(i+1,j-1)+a32*X(i+1,j)+a33*X(i+1,j+1)；
D4＝a11*X(i-1,j-1)+a12*X(i-1,j)+a21*X(i,j-1)+a22*X(i,j)+a31*X(i+1,j-1)+a32*X(i+1,j)；
D5＝a12*X(i-1,j)+a13*X(i-1,j+1)+a22*X(i,j)+a23*X(i,j+1)+a32*X(i+1,j)+a33*X(i+1,j+1)；
其中，a11＝-1，a12＝2，a13＝-1，a21＝2，a22＝-4，a23＝2，a31＝-1，a32＝2，a33＝-1；灰度图像X的像素值表示为X＝(Xij)∈{0,...,255}，Xij表示在(i,j)位置的灰度值；
S15、将第一四阶共生矩阵、第二四阶共生矩阵、第三四阶共生矩阵、第四四阶共生矩阵、第五四阶共生矩阵、第六四阶共生矩阵、第七四阶共生矩阵、第八四阶共生矩阵、第九四阶共生矩阵、第十四阶共生矩阵、第十一四阶共生矩阵进行降维化简后排列成一行，得到JPG图像对应的第一图像特征。
3.根据权利要求2所述显示器屏幕图像翻拍的鉴定方法，其特征在于，所述步骤S2具体包括：
S21、将输入的JPG图像提取R通道分量、G通道分量、及B通道分量；
S22、将R通道分别与滤波器组中所包括的11个滤波器分别进行卷积和量化截断，得到与滤波器一一对应的三阶共生矩阵，分别记为第一R通道三阶共生矩阵、第二R通道三阶共生矩阵、第三R通道三阶共生矩阵、第四R通道三阶共生矩阵、第五R通道三阶共生矩阵、第六R通道三阶共生矩阵、第七R通道三阶共生矩阵、第八R通道三阶共生矩阵、第九R通道三阶共生矩阵、第十R通道三阶共生矩阵、第十一R通道三阶共生矩阵；将G通道分别与滤波器组中所包括的11个滤波器分别进行卷积和量化截断，得到与滤波器一一对应的三阶共生矩阵，分别记为第一G通道三阶共生矩阵、第二G通道三阶共生矩阵、第三G通道三阶共生矩阵、第四G通道三阶共生矩阵、第五G通道三阶共生矩阵、第六G通道三阶共生矩阵、第七G通道三阶共生矩阵、第八G通道三阶共生矩阵、第九G通道三阶共生矩阵、第十G通道三阶共生矩阵、第十一G通道三阶共生矩阵；将B通道分别与滤波器组中所包括的11个滤波器分别进行卷积和量化截断，得到与滤波器一一对应的三阶共生矩阵，分别记为第一B通道三阶共生矩阵、第二B通道三阶共生矩阵、第三B通道三阶共生矩阵、第四B通道三阶共生矩阵、第五B通道三阶共生矩阵、第六B通道三阶共生矩阵、第七B通道三阶共生矩阵、第八B通道三阶共生矩阵、第九B通道三阶共生矩阵、第十B通道三阶共生矩阵、第十一B通道三阶共生矩阵；
S23、第一R通道三阶共生矩阵、第二R通道三阶共生矩阵、第三R通道三阶共生矩阵、第四R通道三阶共生矩阵、第五R通道三阶共生矩阵、第六R通道三阶共生矩阵、第七R通道三阶共生矩阵、第八R通道三阶共生矩阵、第九R通道三阶共生矩阵、第十R通道三阶共生矩阵、第十一R通道三阶共生矩阵与第一B通道三阶共生矩阵、第二B通道三阶共生矩阵、第三B通道三阶共生矩阵、第四B通道三阶共生矩阵、第五B通道三阶共生矩阵、第六B通道三阶共生矩阵、第七B通道三阶共生矩阵、第八B通道三阶共生矩阵、第九B通道三阶共生矩阵、第十B通道三阶共生矩阵、及第十一B通道三阶共生矩阵进行降维化简后相加合并，得到第一化简矩阵集合；
S24、将G通道分量对应的第一G通道三阶共生矩阵、第二G通道三阶共生矩阵、第三G通道三阶共生矩阵、第四G通道三阶共生矩阵、第五G通道三阶共生矩阵、第六G通道三阶共生矩阵、第七G通道三阶共生矩阵、第八G通道三阶共生矩阵、第九G通道三阶共生矩阵、第十G通道三阶共生矩阵、第十一G通道三阶共生矩阵进行降维化简后得到第二化简矩阵集合；
S25、将第一化简矩阵集合和第二化简矩阵集合中的所有矩阵排成一行得到JPG图像对应的第二图像特征。
4.根据权利要求2所述显示器屏幕图像翻拍的鉴定方法，其特征在于，所述步骤S14中11个滤波器分别对第一矩阵依次进行卷积时的量化步长为1、进行量化截断的截断门限值为2。
5.根据权利要求3所述显示器屏幕图像翻拍的鉴定方法，其特征在于，所述步骤S22中将R通道分别与滤波器组中所包括的11个滤波器分别进行卷积时的量化步长为1、进行量化截断的截断门限值为2；将G通道分别与滤波器组中所包括的11个滤波器分别进行卷积时的量化步长为1、进行量化截断的截断门限值为2；将B通道分别与滤波器组中所包括的11个滤波器分别进行卷积时的量化步长为1、进行量化截断的截断门限值为2。
6.一种显示器屏幕图像翻拍的鉴定装置，其特征在于，包括：
处理器，适于实现各指令；以及
存储装置，适于存储多条指令，所述指令适于由处理器加载并执行以下步骤：
将输入的JPG图像转化为灰度图像，采用边缘检测算法提取灰度图像的边缘信息，选取边缘信息中符合预设选取条件的块对应的灰度值拼接成第一矩阵，根据预设的滤波器组中每个滤波器对第一矩阵依次进行卷积和量化截断，得到与滤波器一一对应的四阶共生矩阵，将与滤波器一一对应的四阶共生矩阵分别进行降维化简后将所有降维化简后的矩阵排成一行，得到JPG图像对应的第一图像特征；
将输入的JPG图像提取R通道分量、G通道分量、及B通道分量，将R通道分量、G通道分量、及B通道分量分别与滤波器组中每个滤波器依次进行卷积和量化截断，得到与滤波器一一对应的三阶共生矩阵，分别将由滤波器组中的同一滤波器得到的R通道分量的三阶共生矩阵与B通道分量的三阶共生矩阵进行降维化简后相加合并，得到第一化简矩阵集合集合；再将由滤波器组中的每个滤波器得到的G通道分量的三阶共生矩阵分别进行降维化简，得到第二化简矩阵集合；将第一化简矩阵集合中的所有矩阵和第二化简矩阵集合中的所有矩阵排成一行得到JPG图像对应的第二图像特征；
将第一图像特征与第二图像特征进行融合，得到JPG图像最终图像特征；
将JPG图像最终图像特征传输至Ensemble分类器进行分类鉴定，得到输入的JPG图像是原始图像或是翻拍图像的鉴定结果。
7.根据权利要求6所述显示器屏幕图像翻拍的鉴定装置，其特征在于，所述将输入的JPG图像转化为灰度图像，采用边缘检测算法提取灰度图像的边缘信息，选取边缘信息中符合预设选取条件的块对应的灰度值拼接成第一矩阵，根据预设的滤波器组中每个滤波器对第一矩阵依次进行卷积和量化截断，得到与滤波器一一对应的四阶共生矩阵，将与滤波器一一对应的四阶共生矩阵分别进行降维化简后将所有降维化简后的矩阵排成一行，得到JPG图像对应的第一图像特征的步骤具体包括：
将输入的JPG图像转化为灰度图像，并采用Canny边缘检测算法提取灰度图像的边缘图像；其中，所述边缘图像包括边缘信息；
将边缘图像划分成若干块，每一块均为16*16的大小；
提取若干16*16大小的块中只包含一个非零值的行数超过所有行数60％，或者只包含一个非零值的列数超过所有列数60％的块，并将提取选中的块相对应位置的灰度图的灰度值形成第一矩阵；
根据滤波器组中所包括的11个滤波器分别对第一矩阵依次进行卷积和量化截断，得到与滤波器一一对应的四阶共生矩阵，分别记为第一四阶共生矩阵、第二四阶共生矩阵、第三四阶共生矩阵、第四四阶共生矩阵、第五四阶共生矩阵、第六四阶共生矩阵、第七四阶共生矩阵、第八四阶共生矩阵、第九四阶共生矩阵、第十四阶共生矩阵、第十一四阶共生矩阵；其中11个滤波器分别记为第一滤波器F1、第二滤波器F2、第三滤波器F3、第四滤波器F4、第五滤波器F5、第六滤波器F6、第七滤波器F7、第八滤波器F8、第九滤波器F9、第十滤波器F10及第十一滤波器F11，其中：
F1＝D1；
F2＝D2；
F3＝D5；
F4＝min(D2,D4)；
F5＝max(D2,D4)；
F6＝min(D2,D3)；
F7＝max(D2,D3)；
F8＝min(D4,D5)；
F9＝max(D4,D5)；
F10＝min(D2,D3,D4,D5)；
F11＝max(D2,D3,D4,D5)；
其中，D1＝a11*X(i-1,j-1)+a12*X(i-1,j)+a13*X(i-1,j+1)+a21*X(i,j-1)+a22*X(i,j)+a23*X(i,j+1)+a31*X(i+1,j-1)+a32*X(i+1,j)+a33*X(i+1,j+1)；
D2＝a11*X(i-1,j-1)+a12*X(i-1,j)+a13*X(i-1,j+1)+a21*X(i,j-1)+a22*X(i,j)+a23*X(i,j+1)；
D3＝a21*X(i,j-1)+a22*X(i,j)+a23*X(i,j+1)+a31*X(i+1,j-1)+a32*X(i+1,j)+a33*X(i+1,j+1)；
D4＝a11*X(i-1,j-1)+a12*X(i-1,j)+a21*X(i,j-1)+a22*X(i,j)+a31*X(i+1,j-1)+a32*X(i+1,j)；
D5＝a12*X(i-1,j)+a13*X(i-1,j+1)+a22*X(i,j)+a23*X(i,j+1)+a32*X(i+1,j)+a33*X(i+1,j+1)；
其中，a11＝-1，a12＝2，a13＝-1，a21＝2，a22＝-4，a23＝2，a31＝-1，a32＝2，a33＝-1；灰度图像X的像素值表示为X＝(Xij)∈{0,...,255}，Xij表示在(i,j)位置的灰度值；
将第一四阶共生矩阵、第二四阶共生矩阵、第三四阶共生矩阵、第四四阶共生矩阵、第五四阶共生矩阵、第六四阶共生矩阵、第七四阶共生矩阵、第八四阶共生矩阵、第九四阶共生矩阵、第十四阶共生矩阵、第十一四阶共生矩阵进行降维化简后排列成一行，得到JPG图像对应的第一图像特征。
8.根据权利要求6所述显示器屏幕图像翻拍的鉴定装置，其特征在于，所述将输入的JPG图像提取R通道分量、G通道分量、及B通道分量，将R通道分量、G通道分量、及B通道分量分别与滤波器组中每个滤波器依次进行卷积和量化截断，得到与滤波器一一对应的三阶共生矩阵，分别将由滤波器组中的同一滤波器得到的R通道分量的三阶共生矩阵与B通道分量的三阶共生矩阵进行降维化简后相加合并，得到第一化简矩阵集合集合；再将由滤波器组中的每个滤波器得到的G通道分量的三阶共生矩阵分别进行降维化简，得到第二化简矩阵集合；将第一化简矩阵集合中的所有矩阵和第二化简矩阵集合中的所有矩阵排成一行得到JPG图像对应的第二图像的步骤具体包括：
将输入的JPG图像提取R通道分量、G通道分量、及B通道分量；
将R通道分别与滤波器组中所包括的11个滤波器分别进行卷积和量化截断，得到与滤波器一一对应的三阶共生矩阵，分别记为第一R通道三阶共生矩阵、第二R通道三阶共生矩阵、第三R通道三阶共生矩阵、第四R通道三阶共生矩阵、第五R通道三阶共生矩阵、第六R通道三阶共生矩阵、第七R通道三阶共生矩阵、第八R通道三阶共生矩阵、第九R通道三阶共生矩阵、第十R通道三阶共生矩阵、第十一R通道三阶共生矩阵；将G通道分别与滤波器组中所包括的11个滤波器分别进行卷积和量化截断，得到与滤波器一一对应的三阶共生矩阵，分别记为第一G通道三阶共生矩阵、第二G通道三阶共生矩阵、第三G通道三阶共生矩阵、第四G通道三阶共生矩阵、第五G通道三阶共生矩阵、第六G通道三阶共生矩阵、第七G通道三阶共生矩阵、第八G通道三阶共生矩阵、第九G通道三阶共生矩阵、第十G通道三阶共生矩阵、第十一G通道三阶共生矩阵；将B通道分别与滤波器组中所包括的11个滤波器分别进行卷积和量化截断，得到与滤波器一一对应的三阶共生矩阵，分别记为第一B通道三阶共生矩阵、第二B通道三阶共生矩阵、第三B通道三阶共生矩阵、第四B通道三阶共生矩阵、第五B通道三阶共生矩阵、第六B通道三阶共生矩阵、第七B通道三阶共生矩阵、第八B通道三阶共生矩阵、第九B通道三阶共生矩阵、第十B通道三阶共生矩阵、第十一B通道三阶共生矩阵；
第一R通道三阶共生矩阵、第二R通道三阶共生矩阵、第三R通道三阶共生矩阵、第四R通道三阶共生矩阵、第五R通道三阶共生矩阵、第六R通道三阶共生矩阵、第七R通道三阶共生矩阵、第八R通道三阶共生矩阵、第九R通道三阶共生矩阵、第十R通道三阶共生矩阵、第十一R通道三阶共生矩阵与第一B通道三阶共生矩阵、第二B通道三阶共生矩阵、第三B通道三阶共生矩阵、第四B通道三阶共生矩阵、第五B通道三阶共生矩阵、第六B通道三阶共生矩阵、第七B通道三阶共生矩阵、第八B通道三阶共生矩阵、第九B通道三阶共生矩阵、第十B通道三阶共生矩阵、及第十一B通道三阶共生矩阵进行降维化简后相加合并，得到第一化简矩阵集合；
将G通道分量对应的第一G通道三阶共生矩阵、第二G通道三阶共生矩阵、第三G通道三阶共生矩阵、第四G通道三阶共生矩阵、第五G通道三阶共生矩阵、第六G通道三阶共生矩阵、第七G通道三阶共生矩阵、第八G通道三阶共生矩阵、第九G通道三阶共生矩阵、第十G通道三阶共生矩阵、第十一G通道三阶共生矩阵进行降维化简后得到第二化简矩阵集合；
将第一化简矩阵集合和第二化简矩阵集合中的所有矩阵排成一行得到JPG图像对应的第二图像特征。
9.一种存储介质，其特征在于，其中存储有多条指令，所述指令适于由处理器加载并执行权利要求1-5任一项所述显示器屏幕图像翻拍的鉴定方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711396199.4A CN108171689B (zh) | 2017-12-21 | 2017-12-21 | 一种显示器屏幕图像翻拍的鉴定方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711396199.4A CN108171689B (zh) | 2017-12-21 | 2017-12-21 | 一种显示器屏幕图像翻拍的鉴定方法、装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108171689A true CN108171689A (zh) | 2018-06-15 |
| CN108171689B CN108171689B (zh) | 2021-12-14 |
Family
ID=62523039
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711396199.4A Active CN108171689B (zh) | 2017-12-21 | 2017-12-21 | 一种显示器屏幕图像翻拍的鉴定方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108171689B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110348511A (zh) * | 2019-07-08 | 2019-10-18 | 创新奇智(青岛)科技有限公司 | 一种图片翻拍检测方法、系统及电子设备 |
| CN110490214A (zh) * | 2018-05-14 | 2019-11-22 | 阿里巴巴集团控股有限公司 | 图像的识别方法及系统、存储介质及处理器 |
| CN110659604A (zh) * | 2019-09-20 | 2020-01-07 | 北京达佳互联信息技术有限公司 | 视频检测方法、装置、服务器及存储介质 |
| CN111008651A (zh) * | 2019-11-13 | 2020-04-14 | 科大国创软件股份有限公司 | 一种基于多特征融合的图像翻拍检测方法 |
| WO2020143165A1 (zh) * | 2019-01-07 | 2020-07-16 | 平安科技（深圳）有限公司 | 一种翻拍图像的识别方法、系统及终端设备 |
| WO2020147398A1 (zh) * | 2019-01-17 | 2020-07-23 | 平安科技（深圳）有限公司 | 翻拍图像检测方法、装置、计算机设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6256409B1 (en) * | 1998-10-19 | 2001-07-03 | Sony Corporation | Method for determining a correlation between images using multi-element image descriptors |
| US20030210803A1 (en) * | 2002-03-29 | 2003-11-13 | Canon Kabushiki Kaisha | Image processing apparatus and method |
| CN103914839A (zh) * | 2014-03-27 | 2014-07-09 | 中山大学 | 一种基于隐写分析的图像拼接篡改检测方法及装置 |
| US20150030201A1 (en) * | 2013-07-19 | 2015-01-29 | Digimarc Corporation | Feature-based watermark localization in digital capture systems |
| CN105844278A (zh) * | 2016-04-15 | 2016-08-10 | 浙江理工大学 | 一种多特征融合的织物扫描图案识别方法 |
| CN106683031A (zh) * | 2016-12-30 | 2017-05-17 | 深圳大学 | 一种数字图像隐写分析特征提取方法及提取系统 |
-
2017
- 2017-12-21 CN CN201711396199.4A patent/CN108171689B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6256409B1 (en) * | 1998-10-19 | 2001-07-03 | Sony Corporation | Method for determining a correlation between images using multi-element image descriptors |
| US20030210803A1 (en) * | 2002-03-29 | 2003-11-13 | Canon Kabushiki Kaisha | Image processing apparatus and method |
| US20150030201A1 (en) * | 2013-07-19 | 2015-01-29 | Digimarc Corporation | Feature-based watermark localization in digital capture systems |
| CN103914839A (zh) * | 2014-03-27 | 2014-07-09 | 中山大学 | 一种基于隐写分析的图像拼接篡改检测方法及装置 |
| CN105844278A (zh) * | 2016-04-15 | 2016-08-10 | 浙江理工大学 | 一种多特征融合的织物扫描图案识别方法 |
| CN106683031A (zh) * | 2016-12-30 | 2017-05-17 | 深圳大学 | 一种数字图像隐写分析特征提取方法及提取系统 |
Non-Patent Citations (1)
| Title |
|---|
| JESSICA FRIDRICH ET AL: "Rich Models for Steganalysis of Digital Image", 《IEEE TRANSACTIONS ON INFOMATION FORENSICS & SECURITY》 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110490214A (zh) * | 2018-05-14 | 2019-11-22 | 阿里巴巴集团控股有限公司 | 图像的识别方法及系统、存储介质及处理器 |
| CN110490214B (zh) * | 2018-05-14 | 2023-05-02 | 阿里巴巴集团控股有限公司 | 图像的识别方法及系统、存储介质及处理器 |
| WO2020143165A1 (zh) * | 2019-01-07 | 2020-07-16 | 平安科技（深圳）有限公司 | 一种翻拍图像的识别方法、系统及终端设备 |
| WO2020147398A1 (zh) * | 2019-01-17 | 2020-07-23 | 平安科技（深圳）有限公司 | 翻拍图像检测方法、装置、计算机设备及存储介质 |
| CN110348511A (zh) * | 2019-07-08 | 2019-10-18 | 创新奇智(青岛)科技有限公司 | 一种图片翻拍检测方法、系统及电子设备 |
| CN110659604A (zh) * | 2019-09-20 | 2020-01-07 | 北京达佳互联信息技术有限公司 | 视频检测方法、装置、服务器及存储介质 |
| CN111008651A (zh) * | 2019-11-13 | 2020-04-14 | 科大国创软件股份有限公司 | 一种基于多特征融合的图像翻拍检测方法 |
| CN111008651B (zh) * | 2019-11-13 | 2023-04-28 | 科大国创软件股份有限公司 | 一种基于多特征融合的图像翻拍检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108171689B (zh) | 2021-12-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zheng et al. | A survey on image tampering and its detection in real-world photos | |
| Alkawaz et al. | Detection of copy-move image forgery based on discrete cosine transform | |
| CN108171689A (zh) | 一种显示器屏幕图像翻拍的鉴定方法、装置及存储介质 | |
| Li et al. | Image splicing detection based on Markov features in QDCT domain | |
| Bahrami et al. | Blurred image splicing localization by exposing blur type inconsistency | |
| Swaminathan et al. | Digital image forensics via intrinsic fingerprints | |
| CN109948566B (zh) | 一种基于权重融合与特征选择的双流人脸反欺诈检测方法 | |
| Shojae Chaeikar et al. | PSW statistical LSB image steganalysis | |
| CN110490214B (zh) | 图像的识别方法及系统、存储介质及处理器 | |
| Armas Vega et al. | Copy-move forgery detection technique based on discrete cosine transform blocks features | |
| Li et al. | An effective detection method based on physical traits of recaptured images on LCD screens | |
| Zhang et al. | Distinguishing photographic images and photorealistic computer graphics using visual vocabulary on local image edges | |
| Hou et al. | Detection of hue modification using photo response nonuniformity | |
| Ni et al. | Recaptured Images Forensics Based On Color Moments and DCT Coefficients Features. | |
| Li et al. | Distinguishing computer graphics from photographic images using a multiresolution approach based on local binary patterns | |
| Lu et al. | Digital image forensics using statistical features and neural network classifier | |
| Agarwal et al. | Blind forensics of images using higher order local binary pattern | |
| Malviya et al. | Digital forensic technique for double compression based JPEG image forgery detection | |
| Abraham | Digital image forgery detection approaches: A review and analysis | |
| González et al. | Towards refining ID cards presentation attack detection systems using face quality index | |
| Koliaskina et al. | Midv-holo: A dataset for id document hologram detection in a video stream | |
| Qu et al. | A framework for identifying shifted double JPEG compression artifacts with application to non-intrusive digital image forensics | |
| Sharma et al. | Robust prediction of copy-move forgeries using dual-tree complex wavelet transform and principal component analysis | |
| CN113706636A (zh) | 一种用于篡改图像识别的方法与装置 | |
| SUDHAKAR et al. | Image forgery detection based on fusion of lightweight deep learning models |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |