CN109754002A - 一种基于深度学习的隐写分析混合集成方法 - Google Patents
一种基于深度学习的隐写分析混合集成方法 Download PDFInfo
- Publication number
- CN109754002A CN109754002A CN201811577459.2A CN201811577459A CN109754002A CN 109754002 A CN109754002 A CN 109754002A CN 201811577459 A CN201811577459 A CN 201811577459A CN 109754002 A CN109754002 A CN 109754002A
- Authority
- CN
- China
- Prior art keywords
- feature
- steganalysis
- deep learning
- classifier
- hybrid integrated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000013135 deep learning Methods 0.000 title claims abstract description 20
- 230000009467 reduction Effects 0.000 claims abstract description 22
- 238000012549 training Methods 0.000 claims abstract description 17
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 16
- 230000008859 change Effects 0.000 claims abstract description 5
- 230000000694 effects Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 238000003066 decision tree Methods 0.000 claims description 2
- 230000004069 differentiation Effects 0.000 claims description 2
- 238000000513 principal component analysis Methods 0.000 claims description 2
- 238000012706 support-vector machine Methods 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims description 2
- 230000001737 promoting effect Effects 0.000 claims 1
- 230000000717 retained effect Effects 0.000 claims 1
- 230000004927 fusion Effects 0.000 abstract 1
- 238000010801 machine learning Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及一种基于深度学习的隐写分析混合集成方法，具体操作步骤如下：划分数据集，通过高通滤波器得到残差图像，构建卷积神经网络，训练网络模型，保存最优的若干个模型，分别加载模型，将池化层的输出作为特征保存下来；改变高通滤波器，产生不同的残差图像，得到差异特征，进行特征融合后得到高维特征；将高维特征输入到PCA中进行降维；将降维后的特征输入到xgboost分类器，SVM分类器，KNN分类器中进行分类；将得到的分类结果进行集成学习，通过加权投票得到最终的分类结果。本发明可以有效地提高分类器的分类准确度。
Description
技术领域
本发明涉及一种基于深度学习的隐写分析混合集成方法。
背景技术
隐写技术是信息隐藏技术的一个重要分支，隐写术是以图像、文本等数字媒体作为载体，把要发送的秘密信息嵌入到载体信号内部，以不引起第三方注意的方式通过公共信道。隐写分析技术主要是揭示数字媒体中秘密信息的存在性。
图像隐写分析是判断图像中是否含有秘密信息。在隐写分析技术中，图像特征的提取十分重要，随着隐写技术的不断提高，特征的设计也越来越复杂，卷积神经网络因为其可以自动提取特征而备受关注。卷积神经网络是一类有效的深度学习框架，而深度学习是机器学习的一个重要分支，除了深度学习，机器学习还包含其他许多分类器，如xgboost、SVM，它们都因训练速度较快、分类精度较高等特点而被广泛使用。在现有的分类方法中，卷积神经网络取得了不错的效果，但因为卷积神经网络匹配的Sigmoid分类器结构简单，分类效果没有传统机器学习分类器好。
集成分类器通过对多个子分类器的分类结果进行某种组合来决定最终的分类结果，性能往往优于单一的分类器，集成学习的个体学习器有同质和异质两种情况，同质即所有个体学习器是同一个种类，异质即所有个体学习器不全是同一个种类，异质个体学习器增加了学习器之间的多样性，因此，我们通过卷积神经网络来提取图像特征，将xgboost、SVM和KNN分类器进行混合集成以提高分类精度。
发明内容
本发明的目的是针对现有隐写分析的不足，提出一种基于深度学习的隐写分析混合集成方法。在使用卷积神经网络来提取图像相关特征并集成得到高维特征之后，用xgboost、SVM和KNN进行混合集成以提高模型的分类精度，更加适用于实际应用场景。
为达到上述目的，本发明采用如下技术方案：
一种基于深度学习的隐写分析混合集成方法，具体操作步骤如下：
（1）划分数据集，通过高通滤波器得到残差图像，构建卷积神经网络，训练网络模型，保存最优的若干个模型，分别加载模型，将池化层的输出作为特征保存下来；
（2）改变高通滤波器，产生不同的残差图像，重复步骤（1），得到差异特征，进行特征融合后得到高维特征；
（3）将高维特征输入到PCA中进行降维；
（4）将步骤（3）降维后的特征输入到xgboost分类器中进行分类；
（5）将步骤（3）降维后的特征输入到SVM分类器中进行分类；
（6）将步骤（3）降维后的特征输入到KNN分类器中进行分类；
（7）将步骤（4）、步骤（5）和步骤（6）得到的分类结果进行集成学习，通过加权投票得到最终的分类结果。
所述步骤（1）中，将数据集随机划分为测试集和训练集，从训练集中选取一部分数据作为验证集，通过高通滤波器得到噪声残差作为卷积神经网络的输入，卷积神经网络基本结构主要包括卷积层、批归一化层、ReLU层和池化层，训练网络模型，利用验证集选取效果最好的若干个模型保存，加载模型，将最后一个卷积模块的池化层输出作为特征保存。
所述步骤（2）中，通过改变高通滤波器，可以得到不同的残差图像，训练得到不同的模型，从而增加集成学习的多样性，得到更富于差异化的特征，将这些特征进行融合之后就得到表达能力更强的高维特征。
所述步骤（3）中，PCA为主成分分析，将数据空间通过正交变换映射到低维空间，只保留包含绝大部分方差的维度特征，忽略包含方差几乎为0的特征维度，从而去除噪声和不重要的特征，实现降维。若高维特征直接输入到分类器中，会因为维度太高导致运行太慢，因此我们先将高维特征输入到PCA中进行降维。
所述步骤（4）中，xgboost是在GDBT（梯度提升决策树）的基础上进行扩展和改进，xgboost在目标函数中加上了正则化项，防止模型过度复杂，降低了过拟合的可能性；损失函数是用泰勒展开式的二项逼近，而不是像GBDT的一阶导数；并且xgboost的树的节点分裂方式是经过优化推导后的，算法运行速度更快，准确率也相对更高一些。
所述步骤（5）中，SVM指的是支持向量机，用来解决二分类问题的有监督学习算法，基本模型是在特征空间上找到最佳的分离超平面使得训练集上正负样本间隔最大，在引入了核函数之后SVM也可以用来解决非线性问题，具有小样本下进行机器学习的优点。
所述步骤（6）中，KNN也叫K近邻，算法的核心思想是如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特性。该方法在类别决策时，主要靠周围有限的邻近的样本，而不是靠判别类域的方法。
与现有技术相比，本发明具有如下的优点：
本发明方法把卷积神经网络当作特征提取装置，自适应的提取出图像相关特征，再输入到xgboost、SVM、KNN等机器学习分类器中进行分类，并将这三种分类器通过集成学习方法进行集成，在一定程度上提高了分类精确度。
附图说明
图1为本发明基于深度学习的隐写分析混合集成方法流程图。
图2为本发明基于深度学习的隐写分析混合集成方法集成分类器构成图。
图3为本发明基于深度学习的隐写分析混合集成方法准确率曲线图。
具体实施方式
为了便于本领域技术人员理解，下面将结合附图以及实施例对本发明进行进一步描述。
如图1所示，本实施例提出的一种基于深度学习的隐写分析混合集成方法，具体操作步骤如下：
（1）划分数据集，通过高通滤波器得到残差图像，构建卷积神经网络，训练网络模型，保存最优的若干个模型，分别加载模型，将池化层的输出作为特征保存下来；
（2）改变高通滤波器，产生不同的残差图像，重复步骤（1），得到差异特征，进行特征融合后得到高维特征；
（3）将高维特征输入到PCA中进行降维；
（4）将步骤（3）降维后的特征输入到xgboost分类器中进行分类；
（5）将步骤（3）降维后的特征输入到SVM分类器中进行分类；
（6）将步骤（3）降维后的特征输入到KNN分类器中进行分类；
（7）将步骤（4）、步骤（5）和步骤（6）得到的分类结果进行集成学习，通过加权投票得到最终的分类结果。
本实例中，步骤（1）中，选取三种数据集进行实验，这三种数据集的嵌入率都为0.4，分别为WOW数据集、S-UNIWARD数据集和MVGG数据集。每种数据集有两万张图像，其中原始图像和加密图像各一万张，共一万对图像，随机选取其中的五千对作为测试集，五千对作为训练集，并从训练集中随机挑选一千对作为验证集；采用5种不同的卷积核生成的高通滤波器对训练集进行过滤，生成残差图像；整个卷积神经网络共包括六个卷积模块，每个卷积模块包括卷积层、批归一化层、ReLU层和池化层；将残差图像输入到卷积神经网络中进行训练，利用验证集得到分类效果最好的十个模型；加载模型进行测试，保存最后一个卷积模块的池化层输出为特征。
步骤（2）中，改变高通滤波器的卷积核，产生不同的残差图像，重复步骤（1）之后，将所有的特征进行融合得到高维特征，因为是5个不同的卷积核，每次选10个最优模型，因此最终高维特征维度为5*10*256=12800。
步骤（3）中，将12800维度的高维特征输入到PCA中进行降维，主成分数n_components取0.99，表示降维后的数据能够保留99%的信息。
步骤（4）中，将步骤（3）降维后的特征输入到xgboost分类器中进行分类，其中树的最大深度设为7，学习率设为0.1，随机采样的比例subsample设为0.8，每棵树随机采样的列数的占比colsample_bytree设为0.8。
步骤（5）中，将步骤（3）降维后的特征输入到SVM分类器中进行分类，采用rbf核函数。
步骤（6）中，将步骤（3）降维后的特征输入到KNN分类器中进行分类，其中K取17。
步骤（7）中，如图2所示，将xgboost、SVM和KNN三种机器学习分类器进行集成，最后使用加权投票得到最终分类结果，其中xgboost、SVM和KNN的权重分别设置为2:3:1。
如图3所示，为三种数据集在不同的分类器下的分类准确率曲线，其中xgboost、SVM、KNN分别代表使用单个分类器得到的分类精度，而混合集成代表本发明提出的将xgboost、SVM和KNN进行集成得到的分类器。由图中曲线可知，基于本发明实施步骤，混合集成后的分类器的分类性能明显高于单个分类器。
Claims (7)
1.一种基于深度学习的隐写分析混合集成方法，其特征在于，具体操作步骤如下：
（1）划分数据集，通过高通滤波器得到残差图像，构建卷积神经网络，训练网络模型，保存最优的若干个模型，分别加载模型，将池化层的输出作为特征保存下来；
（2）改变高通滤波器，产生不同的残差图像，重复步骤（1），得到差异特征，进行特征融合后得到高维特征；
（3）将高维特征输入到PCA中进行降维；
（4）将步骤（3）降维后的特征输入到xgboost分类器中进行分类；
（5）将步骤（3）降维后的特征输入到SVM分类器中进行分类；
（6）将步骤（3）降维后的特征输入到KNN分类器中进行分类；
（7）将步骤（4）、步骤（5）和步骤（6）得到的分类结果进行集成学习，通过加权投票得到最终的分类结果。
2.根据权利要求1所述的基于深度学习的隐写分析混合集成方法，其特征在于，所述步骤（1）中，将数据集随机划分为测试集和训练集，从训练集中选取一部分数据作为验证集，通过高通滤波器得到噪声残差作为卷积神经网络的输入，卷积神经网络基本结构主要包括卷积层、批归一化层、ReLU层和池化层，训练网络模型，利用验证集选取效果最好的若干个模型保存，加载模型，将最后一个卷积模块的池化层输出作为特征保存。
3.根据权利要求1所述的基于深度学习的隐写分析混合集成方法，其特征在于，所述步骤（2）中，通过改变高通滤波器得到不同的残差图像，训练得到不同的模型，从而增加集成学习的多样性，得到更富于差异化的特征，将这些特征进行融合之后就得到表达能力更强的高维特征。
4.根据权利要求1所述的基于深度学习的隐写分析混合集成方法，其特征在于，所述步骤（3）中，PCA为主成分分析，将数据空间通过正交变换映射到低维空间，只保留包含绝大部分方差的维度特征，忽略包含方差几乎为0的特征维度，从而去除噪声和不重要的特征，实现降维。
5.根据权利要求1所述的基于深度学习的隐写分析混合集成方法，其特征在于，所述步骤（4）中，xgboost是在GDBT，即梯度提升决策树的基础上进行扩展和改进。
6.根据权利要求1所述的基于深度学习的隐写分析混合集成方法，其特征在于，所述步骤（5）中，SVM指的是支持向量机，基本模型是在特征空间上找到最佳的分离超平面使得训练集上正负样本间隔最大。
7.根据权利要求1所述的基于深度学习的隐写分析混合集成方法，其特征在于，所述步骤（6）中，KNN也叫K近邻，即如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特性。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811577459.2A CN109754002A (zh) | 2018-12-24 | 2018-12-24 | 一种基于深度学习的隐写分析混合集成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811577459.2A CN109754002A (zh) | 2018-12-24 | 2018-12-24 | 一种基于深度学习的隐写分析混合集成方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109754002A true CN109754002A (zh) | 2019-05-14 |
Family
ID=66402873
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811577459.2A Pending CN109754002A (zh) | 2018-12-24 | 2018-12-24 | 一种基于深度学习的隐写分析混合集成方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109754002A (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110188820A (zh) * | 2019-05-30 | 2019-08-30 | 中山大学 | 基于深度学习子网络特征提取的视网膜oct图像分类方法 |
| CN110289097A (zh) * | 2019-07-02 | 2019-09-27 | 重庆大学 | 一种基于Xgboost神经网络堆叠模型的模式识别诊断系统 |
| CN110390394A (zh) * | 2019-07-19 | 2019-10-29 | 深圳市商汤科技有限公司 | 批归一化数据的处理方法及装置、电子设备和存储介质 |
| CN110674875A (zh) * | 2019-09-25 | 2020-01-10 | 电子科技大学 | 一种基于深度混合模型的行人运动模式识别方法 |
| CN111199343A (zh) * | 2019-12-24 | 2020-05-26 | 上海大学 | 一种多模型融合的烟草市场监管异常数据挖掘方法 |
| CN111476713A (zh) * | 2020-03-26 | 2020-07-31 | 中南大学 | 基于多深度卷积神经网络融合的天气图像智能识别方法及系统 |
| CN111859897A (zh) * | 2019-10-16 | 2020-10-30 | 沈阳工业大学 | 基于动态路由胶囊网络的文本隐写分析方法 |
| CN112466333A (zh) * | 2020-11-24 | 2021-03-09 | 深圳信息职业技术学院 | 一种声学场景分类方法与系统 |
| CN113379148A (zh) * | 2021-06-24 | 2021-09-10 | 合肥工业大学智能制造技术研究院 | 基于多种机器学习算法融合的污染物浓度反演方法 |
| CN113486932A (zh) * | 2021-06-21 | 2021-10-08 | 北京邮电大学 | 一种面向卷积神经网络隐写分析的优化方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106815369A (zh) * | 2017-01-24 | 2017-06-09 | 中山大学 | 一种基于Xgboost分类算法的文本分类方法 |
| CN108764270A (zh) * | 2018-04-03 | 2018-11-06 | 上海大学 | 一种利用卷积神经网络集成的信息隐藏检测方法 |
-
2018
- 2018-12-24 CN CN201811577459.2A patent/CN109754002A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106815369A (zh) * | 2017-01-24 | 2017-06-09 | 中山大学 | 一种基于Xgboost分类算法的文本分类方法 |
| CN108764270A (zh) * | 2018-04-03 | 2018-11-06 | 上海大学 | 一种利用卷积神经网络集成的信息隐藏检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 孙物一 等: "基于高维特征正则化的JPEG 图像隐写分析", 《应用科学学报》 * |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110188820A (zh) * | 2019-05-30 | 2019-08-30 | 中山大学 | 基于深度学习子网络特征提取的视网膜oct图像分类方法 |
| CN110188820B (zh) * | 2019-05-30 | 2023-04-18 | 中山大学 | 基于深度学习子网络特征提取的视网膜oct图像分类方法 |
| CN110289097A (zh) * | 2019-07-02 | 2019-09-27 | 重庆大学 | 一种基于Xgboost神经网络堆叠模型的模式识别诊断系统 |
| CN110390394A (zh) * | 2019-07-19 | 2019-10-29 | 深圳市商汤科技有限公司 | 批归一化数据的处理方法及装置、电子设备和存储介质 |
| CN110390394B (zh) * | 2019-07-19 | 2021-11-05 | 深圳市商汤科技有限公司 | 批归一化数据的处理方法及装置、电子设备和存储介质 |
| CN110674875A (zh) * | 2019-09-25 | 2020-01-10 | 电子科技大学 | 一种基于深度混合模型的行人运动模式识别方法 |
| CN111859897A (zh) * | 2019-10-16 | 2020-10-30 | 沈阳工业大学 | 基于动态路由胶囊网络的文本隐写分析方法 |
| CN111199343A (zh) * | 2019-12-24 | 2020-05-26 | 上海大学 | 一种多模型融合的烟草市场监管异常数据挖掘方法 |
| CN111476713A (zh) * | 2020-03-26 | 2020-07-31 | 中南大学 | 基于多深度卷积神经网络融合的天气图像智能识别方法及系统 |
| CN111476713B (zh) * | 2020-03-26 | 2022-07-22 | 中南大学 | 基于多深度卷积神经网络融合的天气图像智能识别方法及系统 |
| CN112466333A (zh) * | 2020-11-24 | 2021-03-09 | 深圳信息职业技术学院 | 一种声学场景分类方法与系统 |
| CN113486932A (zh) * | 2021-06-21 | 2021-10-08 | 北京邮电大学 | 一种面向卷积神经网络隐写分析的优化方法 |
| CN113486932B (zh) * | 2021-06-21 | 2023-09-19 | 北京邮电大学 | 一种面向卷积神经网络隐写分析的优化方法 |
| CN113379148A (zh) * | 2021-06-24 | 2021-09-10 | 合肥工业大学智能制造技术研究院 | 基于多种机器学习算法融合的污染物浓度反演方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109754002A (zh) | 一种基于深度学习的隐写分析混合集成方法 | |
| CN109614979B (zh) | 一种基于选择与生成的数据增广方法及图像分类方法 | |
| Yang et al. | A survey of DNN methods for blind image quality assessment | |
| Wu et al. | End-to-end chromosome Karyotyping with data augmentation using GAN | |
| CN107393542A (zh) | 一种基于双通道神经网络的鸟类物种识别方法 | |
| CN108764270A (zh) | 一种利用卷积神经网络集成的信息隐藏检测方法 | |
| CN111506773B (zh) | 一种基于无监督深度孪生网络的视频去重方法 | |
| CN107657257A (zh) | 一种基于多通道卷积神经网络的语义图像分割方法 | |
| CN110532911B (zh) | 协方差度量驱动小样本gif短视频情感识别方法及系统 | |
| CN113723489A (zh) | 一种改进关系网络的滚动轴承故障识别方法 | |
| CN110852288A (zh) | 一种基于两阶段卷积神经网络的细胞图像分类方法 | |
| CN103473558A (zh) | 基于神经网络的图像识别方法和系统 | |
| CN104463194A (zh) | 一种人车分类方法及装置 | |
| CN110852295B (zh) | 一种基于多任务监督学习的视频行为识别方法 | |
| CN111126401A (zh) | 一种基于上下文信息的车牌字符识别方法 | |
| CN111160356A (zh) | 一种图像分割分类方法和装置 | |
| CN110348448A (zh) | 一种基于卷积神经网络的车牌字符识别方法 | |
| CN106886763A (zh) | 实时检测人脸的系统及其方法 | |
| CN111160481A (zh) | 基于深度学习的adas目标检测方法及系统 | |
| CN113743505A (zh) | 基于自注意力和特征融合的改进ssd目标检测方法 | |
| TW202209194A (zh) | 目標模型的獲取 | |
| CN112395953A (zh) | 一种道面异物检测系统 | |
| Huang et al. | A method for identifying origin of digital images using a convolutional neural network | |
| CN111612803B (zh) | 一种基于图像清晰度的车辆图像语义分割方法 | |
| CN107180419A (zh) | 一种基于pca网络的中值滤波检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190514 |
|
| RJ01 | Rejection of invention patent application after publication |