CN114338944A - 一种基于深度学习的密文域图像分类方法 - Google Patents
一种基于深度学习的密文域图像分类方法 Download PDFInfo
- Publication number
- CN114338944A CN114338944A CN202210003353.1A CN202210003353A CN114338944A CN 114338944 A CN114338944 A CN 114338944A CN 202210003353 A CN202210003353 A CN 202210003353A CN 114338944 A CN114338944 A CN 114338944A
- Authority
- CN
- China
- Prior art keywords
- network
- image
- ecnet
- classification
- encryption
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000013135 deep learning Methods 0.000 title claims abstract description 17
- 230000004927 fusion Effects 0.000 claims abstract description 9
- 238000003062 neural network model Methods 0.000 claims abstract description 3
- 238000012549 training Methods 0.000 claims description 66
- 239000013598 vector Substances 0.000 claims description 39
- 230000006870 function Effects 0.000 claims description 12
- 238000010606 normalization Methods 0.000 claims description 10
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 9
- 238000013145 classification model Methods 0.000 claims description 6
- 238000011976 chest X-ray Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 4
- 238000013140 knowledge distillation Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 2
- 238000013528 artificial neural network Methods 0.000 claims 2
- 230000004913 activation Effects 0.000 claims 1
- 230000002708 enhancing effect Effects 0.000 claims 1
- 238000007500 overflow downdraw method Methods 0.000 claims 1
- 230000000739 chaotic effect Effects 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 8
- 238000011176 pooling Methods 0.000 description 5
- 238000007781 pre-processing Methods 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000005070 sampling Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 206010035664 Pneumonia Diseases 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000009792 diffusion process Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 229910002056 binary alloy Inorganic materials 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- -1 low-level Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
- 230000007306 turnover Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习的密文域图像分类方法，所设计的深度学习神经网络模型ECNet不仅可以对明文图像进行加密，而且可以对加密图像在密文域直接进行分类，其中ECNet加密解密网络使用的是基于ResNet改进而成的多尺度特征融合网络，在残差模块中引入了空洞卷积，使输出有较大的感受野，同时基于不同层次图像特征实施图像加解密。加密解密密钥平面基于混沌算法生成，修改密钥不需要重新训练网络，有较高的安全性和灵活性。ECNet能够在不解密出明文图像的情况下直接将解密特征映射为分类特征进行分类，并能用密钥控制分类网络的访问权限，能够很好地保护图像内容的隐私安全，且分类精度与明文图像的分类精度相当。
Description
技术领域
本发明涉及图像信息安全技术领域，具体涉及一种基于深度学习的密文域图像分类方法，可以保证图像的安全传输，及使用分类模型时实现图像数据的隐私安全保护。
背景技术
随着人工智能以及深度学习技术的快速发展，神经网络模型被广泛应用到计算机视觉的各个领域，图像分类是计算机视觉最重要的研究内容之一，是目标检测、图像分割等应用的基础，具有重要的应用价值。自2012年以来，深度学习技术在图像处理及机器视觉领域被广泛采用，研究人员提出并实现了一系列优秀的CNN模型，例如VGGNet，GoogleLeNet，ResNet，DenseNet等等，它们在许多挑战任务上表现优异，模型复杂度与性能均有了极大的提升。但是图像分类应用的普及引出了一个重要的问题，就是图像在分类模型的应用过程中如何保证图像的隐私安全。
随着云计算技术的发展和大数据时代的到来，数据拥有者将本地的图像数据外包给云平台，在云服务器上实现图像数据的存储以及检索，然而，由于图像数据中含有大量有关用户的敏感信息，外部攻击者和不完全可信的云服务器都可以访问原始图像的内容，窥探用户隐私，造成严重的隐私泄露风险，为了防止隐私泄露，图像加密技术被广泛用于外包数据的隐私保护计算。数字图像加密技术按照图像所在加密域的不同分为空域图像加密技术和频域图像加密技术等，频域图像加密技术是从频域空间对图像进行处理，利用离散余弦变换、傅里叶变换等频域变换方法实现图像加密。数字图像空域加密指将图像看作二维矩阵，从灰度值和像素坐标对图像进行可逆变换，包括置乱和扩散两个阶段，Arnold变换是空域加密中非常重要的一种，主要是改变像素值在图像中的位置，进而有效地掩盖明文信息，达到加密的目的。混沌系统具有初始值敏感性、参数敏感性和伪随机性，在数字图像加密领域得到广泛的应用。Ding等人提出了DLEDNet，它使用CycleGAN网络对医学图像进行加密，并使用与GAN中的生成器相同的网络结构对图像进行解密，利用网络参数作为图像加密和解密的密钥。Bao和Xue也使用CycleGAN实现图像加密和解密，并采用额外的扩散机制来补偿CycleGAN的微弱雪崩效应，他们还将CycleGAN的参数视为密钥的一部分。然而使用网络参数作为加密和解密密钥有一个缺点：如果用户想要使用不同的密钥，他们必须私下训练和维护自己的加密和解密网络，这对于具有多个用户的系统来说非常不方便。且目前大部分基于深度学习的人工智能系统都不能将图像加密技术以及分类模型相融合来保证分类图像的隐私安全，本发明将两者通过深度学习框架结合在一起，实现了一种基于深度学习的密文域图像分类方法，提出方法的网络结构和参数可以由不同的用户公开共享，更加灵活和方便。
发明内容
本发明设计了一种基于深度学习的密文域图像分类方法，提出了一种端到端的深度学习模型，不仅能够对明文图像进行有效加密及解密，同时在密文图像上，无需解密出明文图像，而是直接解密出图像的特征对其进行分类识别，且分类精度与直接在明文图像上分类精度相当。训练分为两个阶段，首先第一阶段使用深度学习方法训练ECNet加密网络和ECNet解密网络，第二阶段整体训练ECNet网络，在解密网络后面加上ECNet分类网络，将解密网络提取的多尺度特征通道连接后输入ECNet分类网络，并导入第一阶段训练网络的权重，进行整体联合训练，运用了知识蒸馏思想，将明文分类网络作为教师模型，ECNet解密分类网络作为学生模型，将教师模型提取的特征与学生模型提取的特征进行均方误差运算，和预测标签与真实标签的交叉熵运算共同指导ECNet解密分类网络进行收敛，训练后得到最后的密文域图像分类结果。具体包括如下步骤：
(1)首先进行第一阶段的训练，训练ECNet中的加密解密网络。首先获取充足的训练数据，对样本数据进行预处理，将样本图像等比例放缩和零填充成相同大小，之后对它进行随机的水平翻转，以及随机进行亮度和对比度增强等数据增强操作，最后将样本数据进行归一化，得到训练用的明文图像。
将预处理过的明文图像和加密用的密钥平面进行通道连接得到的一个双通道图像，然后将它输入到ECNet加密网络中，这里使用的加密密钥平面是通过混沌算法生成的。加密网络最后输出一个单通道的加密图像。再将加密图像和解密用的密钥平面一同输入到ECNet解密网络中，若解密密钥和加密密钥匹配，则解密网络输出正确的解密图像，否则将无法解密图像。
(2)进行第二阶段ECNet联合训练。这一阶段是在前一阶段训练得到的模型基础上进行的，首先需要导入第一阶段训练的加密网络和解密网络的权重，之后固定加密网络的参数，也就是加密网络的参数在第二阶段不进行训练，加密网络结构同上一个阶段一样，解密网络结构稍作改动，将解密网络提取的三种尺度特征分别经过一个卷积输出，并在ECNet解密网络的后面加上了一个分类网络，将ECNet解密网络输出的多尺度特征进行通道连接，作为ECNet分类网络的输入，利用ECNet解密网络得到的特征向量直接进行分类，相当于一个密文域分类网络。能够在不解密图像的基础上直接进行分类，若解密密钥和加密密钥匹配，ECNet输出正确的分类预测结果，若解密密钥与加密密钥不匹配时，ECNet输出一个无意义的预测结果，类似于随机猜测。
ECNet中的加密网络使用的网络结构是以ResNet为主干网络改进而成的一个多尺度融合网络，该网络由12个残差块构成，残差连接可以在训练时加快网络收敛，将浅中深等不同深度的残差块得到的特征图上采样成原图一样大小后进行通道连接，即把网络的第5，7，12个残差块的输出引出，分别进行反卷积步长为2，4，4的上采样，将这三个特征图进行多尺度融合特征连接后经过一个卷积层得到加密网络的结果(密文图像)，这样的多尺度融合方式能够同时保持全局和局部的特征；每个残差块由两个卷积组成，每个卷积层后由批量归一化(Batch Normalization)和激活层修正线性单元(ReLU)修正，部分残差模块使用了空洞卷积，通过设置不同的空洞系数扩大特征的感受野，同时可以捕获多尺度的上下文信息。将加密网络得到的密文图像输入到ECNet中的解密网络中，解密网络使用的网络结构前部分和加密网络的一样，只是将得到的3个尺度的特征分别经过一个卷积输出，得到3个具备不同特征的向量。之后将这三个不同特征的向量通道连接后直接输入ECNet分类网络中。ECNet的分类网络由5个卷积层和2个全连接层组成，每个卷积层后接批量归一化(BatchNormalization)和激活层修正线性单元(ReLU)修正，再进行最大池化(Max Pooling)下采样对得到的特征进行降维操作，即保留其中最强的特征，抛弃其他弱的特征，最后一个全连接层输出ECNet分类预测结果。
ECNet根据训练阶段的不同采用不同的损失函数，用Adam算法对网络参数进行优化，第一阶段训练ECNet加密网络和解密网络，以便于第二阶段直接使用这个阶段的权重训练整体ECNet网络，能够验证网络加密及解密效果以及加快第二阶段收敛速度。这一阶段的损失主要由ECNet中加密网络的损失和解密网络的损失构成，解密网络在密钥正确时和密钥错误时定义不同的损失，对两者进行联合交替训练，这一阶段总体的训练目标在密钥正确时是最小化解密图像和明文图像的差异，同时使加密图像包含尽可能少的明文图像信息，因此ECNet加密网络的损失基于加密图像像素的熵定义，密钥正确时解密网络的损失使用均方误差MSE、结构相似性SSIM以及CSD卡方距离误差三者来定义，均方误差反映了两图像的像素值的全局统计差异，结构相似性是一种衡量两幅图像相似度的指标；密钥不正确时，希望解密网络输出的解密图像携带尽可能少的信息，跟加密网络类似，解密损失基于像素熵设计。第二阶段训练整体ECNet网络，加密网络参数固定，它的整体损失为分类网络的损失。当用户输入的密钥正确时，设计分类损失为均方误差损失以及交叉熵损失之和，均方误差损失是由明文分类网络(教师模型)提取的特征向量以及ECNet解密分类网络(学生模型)提取的特征向量进行均方误差运算计算出来的，交叉熵损失则是由明文图像的标签以及ECNet分类网络的预测标签运算得出；当用户输入的密钥不正确时，根据余弦相似度定义损失函数，余弦相似度用向量空间中两个向量夹角的余弦值作为衡量两个个体间差异的大小，这里的两个向量分别是教师模型以及学生模型提取的两个特征向量。ECNet在训练的时候将这两种损失交替进行联合训练。
本发明提出了一种基于ECNet模型的图像密域分类方法，其中ECNet模型中的加密解密网络使用了多尺度融合的方式，能够很好地对明文图像进行加密和解密。ECNet不仅对明文图像有非常好的加密效果，而且不需要解密出图像，就可以利用解密的特征直接对加密图像在密文域进行分类，本发明可应用于生物特征图像和医疗图像数据的隐私保护，因为这些图像中包含个人敏感信息，需要对这些信息加以保护。该方法能够很好地对隐私敏感图像进行加密，同时可以直接对加密图像进行分类，分类的精度几乎与明文图像的分类精度相同，因此，在医疗领域中对患者的隐私保护具有重要的现实意义。
附图说明
图1为本发明一实施例的基于ECNet模型的图像密域分类方法流程图。
图2为本发明一实施例的ECNet模型训练的示意图。
图3为本发明一实施例的加密网络结构。
图4为本发明一实施例的解密网络结构。
具体实施方式
为了更好的了解本发明的内容，下面对本发明的具体实施方式和对本发明的技术方案进行更详细的描述和说明。该方法一实施例的流程如图1所示。所示本发明基于深度学习的密文域图像分类方法，包括如下步骤：
(1)步骤100获取充足的训练数据，将样本数据根据图像类别的不同制作不同的标签，将样本数据分为训练集和验证集；
(2)步骤101对样本数据进行归一化处理，根据样本图像本身的大小，将样本图像进行等比例缩放和零填充成相同大小；
(3)步骤102的数据增强操作，进行随机的水平翻转图像，以及随机亮度和对比度增强等，最后将增强后的数据进行归一化，得到训练用的图像；
(4)步骤103进行一阶段的联合训练，对加密网络以及解密网络进行联合训练，其中ECNet中的加密网络和解密网络的网络结构如图3所示，ECNet加密网络输入的是原始图像(200)和加密密钥平面(201)通道连接成的双通道图像，ECNet解密网络的输入是加密图像(205)和解密密钥平面(208)通道连接成的双通道图像。将步骤102处理过的图像和加密用的密钥平面(202)进行通道连接(203)得到的一个双通道图像输入到加密网络(204)中，这里使用的加密密钥平面(201)是通过混沌算法生成的。之后再将加密图像(205)和解密密钥平面(208)一起输入到ECNet解密网络(206)中，当网络损失不再明显减小，网络收敛，得到最后的训练结果和权重，完成一阶段联合训练；
(5)步骤104进行二阶段联合训练，该方法一实施例所构造的ECNet模型训练示意图如图2所示，原始图像(200)首先跟加密密钥平面(201)进行通道连接(203)操作，组成一个双通道输入，而加密密钥平面(201)是由用户指定的加密key(202)根据混沌算法生成的，之后输入到加密网络(205)中，得到单通道的加密图像(205)，再将加密图像(205)同解密密钥平面(208)一起输入到解密网络(206)中，该解密密钥平面(208)也是由用户指定的解密key(207)根据混沌算法生成的，从解密网络提取得到低级、中级、高级等3组特征向量进行通道连接后直接输入到分类网络(209)中，分类网络的网络模型结构如表1所示，ECNet分类网络主要由5个卷积层以及两个全连接层构成。将解密网络得到的3个特征向量进行通道连接后的向量直接作为分类网络的输入，组成一个密文域分类网络，直接利用解密的特征进行分类，而无需解密出图像，从而达到直接在加密图像上分类的效果。根据密钥是否匹配产生不同的结果，若解密密钥和加密密钥匹配，则解密分类网络输出正确的类别(210)，若解密密钥和加密密钥不匹配时，则解密分类网络输出的是一个随机标签(211)，两种情况进行联合交替训练，当损失不再明显减小，则网络收敛，训练完成；
(6)步骤105对加密图像在密文域进行分类，根据用户自定义的密钥，当用户输入的加密密钥与解密密钥匹配时，得到正确的分类预测结果(106)，当用户输入的解密密钥与加密密钥不匹配时，得到一个类似随机猜测的结果(107)。
本发明一实施例的ECNet中的加密网络和解密网络结构分别如图3和图4所示，使用的网络以ResNet为主干网络，采用多尺度融合策略，加密网络和解密网络均由12个残差块(302)、(402)构成，残差连接可以在训练时加快网络收敛，输入(300)、(400)经过一个卷积层(301)、(401)处理后进入由12个残差模块串接的深度网络，每个残差块由两个卷积组成，每个卷积层后由批量归一化(Batch Normalization)和激活层修正线性单元(ReLU)修正，部分残差模块使用了空洞卷积(305)、(405)，在第8个残差块(306)、(406)和第11个残差块(309)、(409)设置系数为2的空洞卷积，在第9个残差块(307)、(407)和第10个残差块(308)、(408)设置系数为3的空洞卷积，通过设置不同的空洞系数扩大特征的感受野，同时可以捕获多尺度的上下文信息，将网络的第5，9，12个残差块的输出引出，分别进行反卷积步长为2(310、410)，4(311、413)，4(312、416)的上采样，加密网络将这三个特征图进行多尺度融合通道连接(313)后经过一个卷积层(314)得到输出(315)。解密网络最后几层稍有不同，将解密网络得到的三个特征向量(410)，(413)，(416)不进行通道拼接，而是分别经过一个卷积(411)，(414)，(417)得到三个输出(412)，(415)，(418)，在外部进行通道连接后输入ECNet分类网络中进行分类，ECNet分类网络首先经过一个卷积层，之后由批量归一化(Batch Normalization)和激活层修正线性单元(RELU)修正，再进行最大池化(MaxPooling)下采样对得到的特征进行降维操作，保留其中特征最强的特征，抛弃其他弱的特征，再重复进行4次从卷积到最大池化的操作，最后接了两个全连接层输出得到ECNet分类的预测结果。
上述过程中的密码平面生成算法描述如下：首先将用户自定义的密钥通过混沌映射生成一个伪随机整数序列，将该序列转换成二进制并首尾相接构成二进制位串，生成长度为256的二进制位串，该位串以每行16位组织成16×16的位数组单元，然后对256×256的平面以该16×16的位数组单元进行周期性排列填充，填充完将得到一个伪随机的与图像相同大小的密码位平面，以图像256×256为例，该16×16的位数组单元排列成16×16的网格将得到256×256的位平面，该位平面数据类型转换成浮点数类型后与明文图像通道连接输入加密网络，解密密码平面的生成与加密密码平面生成方法相同。
表1分类网络结构
本发明根据训练阶段的不同采用不同的损失函数，步骤103进行一阶段的联合训练，仅训练ECNet中的加密网络和解密网络，其中ECNet加密网络的损失基于像素熵定义，描述如下：
公式(1)中ε为常数，这里设置它为0.693，pi为加密图像中第i个像素的值，N为图像总的像素数，ECNet解密网络在第一阶段定义的密钥正确时候的损失函数是由MSE(均方误差)和SSIM(结构相似度)以及CSD(卡方距离)构成的组合。如下：
Lde1＝MSE(x，y)+α[1-SSIM(x，y)]+βCSD(x，y) (5)
其中公式(2)中的xi和yi表示的是明文图像的第i个像素以及解密图像的第i个像素，公式(3)中的μx和μy分别表示图像x和图像y的均值，σx和σy分别表示图像x和图像y的方差，σxy表示的是图像x和图像y的协方差，c1,c2,c3,c4分别表示4个常数，公式(4)pi和qi分别表示图像直方图p和q中第i个柱的值，公式(5)中的α和β表示的是ECNet解密网络损失所占的权重。ECNet解密网络在第一阶段定义的密钥与加密网络的密钥不一致的时候，希望解密网络输出的解密图像携带尽可能少的信息，定义类似加密网络的损失，如下：
公式(6)中ε为常数，这里设置它为0.693，这里的di表示的是解密图像中第i个像素的值。因此得到第一阶段密钥匹配时总的损失函数为(7)，密钥不匹配时总的损失为(8)所示。
L1＝Len+Lde1 (7)
L2＝Len+Lde2 (8)
步骤104进行二阶段联合训练，主要训练的是ECNet密文分类网络的损失，因此导入并固定第一阶段ECNet加密网络的参数，在密钥匹配时，定义的ECNet分类网络损失是由交叉熵损失以及均方误差损失之和构成，交叉熵损失是由明文图像的标签和ECNet分类网络的预测标签计算得出，均方误差损失是由明文图像提取的特征向量以及ECNet分类网络得到的特征向量进行计算得出，这里借鉴了知识蒸馏思想，将明文分类模型作为教师模型，ECNet解密分类网络作为学生模型，基于两者提取的特征向量计算损失，如(9)所示：
其中y表示的是明文图像的标签，y′表示的是ECNet分类网络预测得到的标签，si表示的是明文图像提取的特征向量，xi表示的是ECNet分类网络提取的特征向量；当密钥不相符时，根据余弦相似度定义了以下损失：
这里的y代表的是教师模型中明文图像提取的特征向量，x代表的是ECNet解密分类网络提取的特征向量，将正向以及负向两种损失进行交替联合训练，得到最后的加密图像在密文域的分类预测结果。
实施例1
(1)准备数据集以及预处理数据集
首先准备数据集，数据集数量需要足够充足，第一阶段的数据集可以使用互连网已经公开的数据集进行训练，如ImageNet，第二阶段需要准备的数据集则是具有分类类别的数据集，需要根据样本类别不同制作不同的标签。这里使用的是Chest-X-Ray数据集，这是关于肺炎的胸部X射线数据集，是一种医疗图像数据集。将样本数据分为训练集和验证集，对样本数据进行预处理，将样本图像等比例缩放和零填充成256×256大小，然而用随机的水平翻转，以及随机亮度和对比度等数据调整进行增强操作，最后将样本数据进行归一化，得到训练用的图像。
(2)一阶段联合训练(训练ECNet加密解密网络)
将(1)中预处理好的训练数据与根据算法生成的加密密钥平面通道连接后得到的256×256双通道数据输入到ECNet加密网络中，得到一个单通道的256×256加密图像。之后将单通道的加密图像以及生成的解密密钥平面通道连接后得到的256×256的双通道数据输入到ECNet解密网络中，若用户输入的解密密钥与加密密钥一致，那么ECNet解密网络输出得到256×256的解密图像，否则的话解密失败输出一个不包含明文图像任何信息的错误图像。这个阶段的训练由ECNet加密网络的损失和解密网络损失在网络中反向传播完成，密钥正确与错误两种情况交替进行，直至训练完成。
(3)二阶段联合训练(训练整体ECNet)
将(2)中训练完成的网络以及参数保存，在这个阶段训练前需要导入一阶段训练部分ECNet的参数，之后将导入ECNet加密网络的参数进行固定，将ECNet解密网络提取的低级、中级、高级等3组特征向量进行通道连接后直接输入到ECNet分类网络中，形成一个密文分类网络，同时以明文图像提取的特征向量作为训练目标，将ECNet分类网络后最后一个分类层之前的特征图作为图像预测的特征向量，若用户输入的解密密钥与加密密钥相同时，将这个特征向量同明文图像提取的对应特征向量进行均方误差运算，和交叉熵损失一起作为ECNet分类网络的正向损失函数，来指导分类网络的收敛。当用户输入的解密密钥与加密密钥不匹配时，使用余弦相似度作为损失函数来指导训练。
(4)对加密图像在密文域进行分类识别
用户输入自定义的加密密钥，输入ECNet加密网络中后，会得到一张加密图像，当用户想在加密图像进上进行分类识别时，输入解密密钥，若用户输入的解密密钥与加密密钥不匹配时，此时会ECNet会得到一个类似于随机猜测的预测值，分类网络失效；若用户输入的解密密钥与加密密钥匹配时，则会ECNet会得到一个正确的分类结果。
实施例2
(1)准备数据集以及预处理数据集
首先准备数据集，数据集数量需要足够充足，第一阶段的数据集可以使用互连网已经公开的数据集进行训练，如ImageNet，第二阶段需要准备的数据集则是具有分类类别的数据集，需要根据样本类别不同制作不同的标签。这里使用的是Chest-X-Ray数据集，这是关于肺炎的胸部X射线数据集，是一种医疗图像数据集。将样本数据分为训练集和验证集，对样本数据进行预处理，将样本图像等比例缩放和零填充成512×512大小，然而用随机的水平翻转，以及随机亮度和对比度等数据调整进行增强操作，最后将样本数据进行归一化，得到训练用的图像。
(2)一阶段联合训练(训练ECNet加密解密网络)
将(1)中预处理好的训练数据与根据算法生成的加密密钥平面通道连接后得到的512×512双通道数据输入到ECNet加密网络中，得到一个单通道的512×512加密图像。之后将单通道的加密图像以及生成的解密密钥平面通道连接后得到的512×512的双通道数据输入到ECNet解密网络中，若用户输入的解密密钥与加密密钥一致，那么ECNet解密网络输出得到512×512的解密图像，否则的话解密失败输出一个不包含明文图像任何信息的错误图像。这个阶段的训练由ECNet加密网络的损失和解密网络损失在网络中反向传播完成，密钥正确与错误两种情况交替进行，直至训练完成。
(3)二阶段联合训练(训练整体ECNet)
将(2)中训练完成的网络以及参数保存，在这个阶段训练前需要导入一阶段训练部分ECNet的参数，之后将导入ECNet加密网络的参数进行固定，将ECNet解密网络提取的低级、中级、高级等3组特征向量进行通道连接后直接输入到ECNet分类网络中，形成一个解密分类网络，同时以明文图像提取的特征向量作为训练目标，将ECNet分类网络后最后一个分类层之前的特征图作为图像预测的特征向量，若用户输入的解密密钥与加密密钥相同时，将这个特征向量同明文图像提取的对应特征向量进行均方误差运算，和交叉熵损失一起作为ECNet分类网络的正向损失函数，来指导分类网络的收敛。当用户输入的解密密钥与加密密钥不匹配时，使用余弦相似度作为损失函数来指导训练。
(4)对加密图像在密文域进行分类识别
用户输入自定义的加密密钥，输入ECNet加密网络中后，会得到一张加密图像，当用户想在加密图像进上进行分类识别时，输入解密密钥，若用户输入的解密密钥与加密密钥不匹配时，此时会ECNet会得到一个类似于随机猜测的预测值，分类网络失效；若用户输入的解密密钥与加密密钥匹配时，则会ECNet会得到一个正确的分类结果。
上述对实施例的描述是为便于本技术领域的普通技术人员能理解和应用本发明。熟悉本领域技术的人员显然可以容易地对上述实施例做出各种修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于上述实施例，本领域技术人员根据本发明的揭示，对于本发明做出的改进和修改都应该在本发明的保护范围之内。
Claims (6)
1.一种基于深度学习的密文域图像分类方法，其特征在于，该方法包括如下步骤：
（1）构建ECNet神经网络分类模型：所述ECNet神经网络分类模型由数据处理模块、生成密钥模块和加密分类模块这三部分组成；
所述数据处理模块具体如下：图片数据来自于医疗领域的胸部X射线数据集，首先对数据集按照类别进行划分，得到训练数据及对应的标签，再将其进行数据增强和打乱操作得到最终的训练数据和标签；
所述的生成密钥模块具体如下：使用了一种混沌算法生成一定大小的伪随机序列，再基于该伪随机序列生成与训练数据大小相等的密钥平面，密钥平面和训练图片进行通道连接后，再输入神经网络模型得到最后结果；
所述的加密分类模块具体如下：ECNet模型由加密网络、密文域分类网络两部分构成，先将训练数据和加密密钥通道连接后输入加密网络中，得到加密图像，进行分类时，先将解密密钥和加密图像一同输入到密文域分类网络中，解密出图像特征向量并进行分类，无需解密出明文图像，直接利用解密特征进行分类，若密钥匹配，得到正确分类结果。
2.如权利要求1所述的基于深度学习的密文域图像分类方法，其特征在于：对训练数据进行数据增强，方法为对图片数据的宽高进行等比例缩放和零填充到同一大小，再依次进行图像随机水平翻转，随机对比度以及亮度调整等操作，使得训练的模型有更强的泛化能力。
3.如权利要求1所述的基于深度学习的密文域图像分类方法，其特征在于：首先生成一个伪随机整数序列，该序列将用于构造与图像大小相同的位平面，将该序列转换成二进制形式，所有位首尾相接构成长度为n×n的位序列，然后组织成n行n列的位矩阵单元，再将这个单元周期性重复排列扩展成与图像一样大小的位平面。
4.如权利要求1所述的基于深度学习的密文域图像分类方法，其特征在于：所描述的ECNet加密和解密网络使用的是一种多尺度融合残差网络，该网络由ResNet残差块构成，多尺度融合方法将网络不同深度得到的特征图融合并进一步处理得到最后的加密图像，这种多尺度融合结构使得模型能够更好地感受到不同尺度的特征，增强模型的特征表达能力；每个残差块的卷积层前由批量归一化（Batch Normalization）和激活函数（RELU）处理，部分残差块的卷积使用了不同空洞系数的空洞卷积，使输出有更大的感受野。
5.如权利要求4所述的ECNet加密分类网络，其特征在于：设计的ECNet的整体损失主要是由加密网络的损失以及分类网络的损失构成，ECNet加密网络使用的损失函数基于像素熵定义：
其中
为常数， 
为加密图像中第i个像素的值，N为图像总的像素数；ECNet分类网络的损失，根据生成的加密密钥和解密密钥是否一致，分别设计了两种不同的损失函数，其中在密钥相符时，采用交叉熵损失以及均方误差损失之和作为损失，定义如下：
其中
表示的是明文图像的标签，
表示的是ECNet分类网络预测得到的标签，
表示的是明文图像提取的特征向量，
表示的是ECNet密文分类网络得到的特征向量；当密钥不相符时，根据余弦相似度定义了以下损失：
这里的
代表的是明文图像提取的特征向量，x代表的是ECNet密文域分类网络提取的特征向量。
6.如权利要求4所述的ECNet加密分类网络，其特征在于：运用了知识蒸馏的思想，将明文分类网络作为教师模型，将ECNet密文域分类网络作为学生模型，训练目标是使得学生模型提取的特征与教师模型提取的特征相近。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210003353.1A CN114338944A (zh) | 2022-01-04 | 2022-01-04 | 一种基于深度学习的密文域图像分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210003353.1A CN114338944A (zh) | 2022-01-04 | 2022-01-04 | 一种基于深度学习的密文域图像分类方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114338944A true CN114338944A (zh) | 2022-04-12 |
Family
ID=81022698
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210003353.1A Pending CN114338944A (zh) | 2022-01-04 | 2022-01-04 | 一种基于深度学习的密文域图像分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114338944A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115294360A (zh) * | 2022-09-29 | 2022-11-04 | 汉达科技发展集团有限公司 | 一种驾驶模拟器混合编队训练考核系统管理方法 |
-
2022
- 2022-01-04 CN CN202210003353.1A patent/CN114338944A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115294360A (zh) * | 2022-09-29 | 2022-11-04 | 汉达科技发展集团有限公司 | 一种驾驶模拟器混合编队训练考核系统管理方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9787647B2 (en) | Secure computer evaluation of decision trees | |
| Man et al. | Double image encryption algorithm based on neural network and chaos | |
| Gilad-Bachrach et al. | Cryptonets: Applying neural networks to encrypted data with high throughput and accuracy | |
| Wu et al. | Local Shannon entropy measure with statistical tests for image randomness | |
| CN110490128B (zh) | 一种基于加密神经网络的手写识别方法 | |
| US9825758B2 (en) | Secure computer evaluation of k-nearest neighbor models | |
| Ye et al. | An effective framework for chaotic image encryption based on 3D logistic map | |
| CN108898028B (zh) | 涉及迭代与随机加密的神经网络模型加密保护系统及方法 | |
| CN103167213B (zh) | 基于Cat映射与超混沌Lorenz系统的数字图像加密方法 | |
| CN111654368A (zh) | 一种基于深度学习生成对抗网络的密钥生成方法 | |
| CN110139000B (zh) | 基于压缩感知和生命游戏置乱的图像压缩加密方法 | |
| EP2204943A1 (en) | Method and apparatus for camouflaging of data, information and functional transformations | |
| EP1374464B1 (en) | Method and apparatus for camouflaging of data, information and functional transformations | |
| CN111507386B (zh) | 一种存储文件及网络数据流加密通信检测方法及系统 | |
| CN112765652B (zh) | 叶节点分类权值的确定方法、装置、及设备 | |
| CN103258312B (zh) | 具有快速密钥流生成机制的数字图像加密方法 | |
| CN113992810B (zh) | 一种基于深度学习的敏捷图像加密方法 | |
| Shao et al. | Chaotic image encryption using piecewise-logistic-sine map | |
| CN114338944A (zh) | 一种基于深度学习的密文域图像分类方法 | |
| Kumar et al. | A GRU and chaos-based novel image encryption approach for transport images | |
| Manisha et al. | CBRC: a novel approach for cancelable biometric template generation using random permutation and Chinese Remainder Theorem | |
| Reyad et al. | Hash-enhanced elliptic curve bit-string generator for medical image encryption | |
| CN116094686B (zh) | 用于量子卷积计算的同态加密方法、系统、设备及终端 | |
| CN114065169B (zh) | 一种隐私保护生物认证方法和装置、电子设备 | |
| Li et al. | GPU accelerated full homomorphic encryption cryptosystem, library and applications for iot systems |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20220412 |