CN110363183A - 基于生成式对抗网络的服务机器人视觉图片隐私保护方法 - Google Patents
基于生成式对抗网络的服务机器人视觉图片隐私保护方法 Download PDFInfo
- Publication number
- CN110363183A CN110363183A CN201910695530.5A CN201910695530A CN110363183A CN 110363183 A CN110363183 A CN 110363183A CN 201910695530 A CN201910695530 A CN 201910695530A CN 110363183 A CN110363183 A CN 110363183A
- Authority
- CN
- China
- Prior art keywords
- data
- privacy
- picture
- training
- algorithm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000004519 manufacturing process Methods 0.000 title claims abstract description 18
- 230000000007 visual effect Effects 0.000 title claims abstract description 18
- 238000012549 training Methods 0.000 claims abstract description 73
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 62
- 238000006243 chemical reaction Methods 0.000 claims abstract description 26
- 230000006870 function Effects 0.000 claims abstract description 26
- 239000011159 matrix material Substances 0.000 claims description 15
- 238000009826 distribution Methods 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 238000013480 data collection Methods 0.000 claims description 3
- 238000009415 formwork Methods 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 210000002569 neuron Anatomy 0.000 claims description 3
- 230000003044 adaptive effect Effects 0.000 claims description 2
- 238000013528 artificial neural network Methods 0.000 claims description 2
- 238000012360 testing method Methods 0.000 description 22
- 238000002474 experimental method Methods 0.000 description 19
- 238000003384 imaging method Methods 0.000 description 6
- 230000006872 improvement Effects 0.000 description 6
- 230000007423 decrease Effects 0.000 description 5
- 230000036544 posture Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000000605 extraction Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 238000013256 Gubra-Amylin NASH model Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 206010065042 Immune reconstitution inflammatory syndrome Diseases 0.000 description 1
- 230000008485 antagonism Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 230000001932 seasonal effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于生成式对抗网络的服务机器人视觉图片隐私保护方法，其特征在于：所述隐私识别与保护包括数据预处理、隐私识别、图片转换等功能，由视觉数据的采集端采集的数据首先进行数据预处理，然后由隐私识别模块判定输入的预处理数据是否存在隐私，如果判定为涉及隐私的图片，进行图片转换，转换成不涉及隐私的图片数据并进行存储；训练数据生长与特征学习是用于训练数据集的更新，并基于训练数据集，通过改进的Cycle‑GAN算法获取特征模型，用于所述图片转换。本发明能从源头上使图片数据本身不涉及隐私内容，且具有训练时间短、隐私图片转化的泛化能力强的特点。
Description
技术领域
本发明涉及隐私保护领域，具体涉及一种基于生成式对抗网络的服务机器人视觉图片隐私保护方法。
背景技术
用于照顾老年人的智能家居系统，因其广泛使用摄像头、语音监听设备而存在隐私泄漏的风险，影响人的心理状态甚至会引起心理障碍，这是此类系统部署推广的最大障碍之一。目前研究主要面向已经存在安全隐患、带有隐私信息的数据进行研究，并非从源头上使数据本身不涉及隐私内容。
为了从源头解决因机器人视觉设备而引起的用户隐私泄露的问题，可以通过图像转换方法，使源头的视觉图片本身不涉及隐私内容，从而实现源头的视觉图片隐私保护。现有技术中，图片的转换方法虽然采用由生成对抗网络(GAN)衍生的Cycle-GAN进行转换，该方法在图像的风格迁移上有很多优势，能将图片从X域转换到Y域再从Y领域还原到X域，在结构上，Cycle-GAN一个判别器共用两个生成器，两个生成器各带一个判别器，但当应用的场景只需将图片从X域转换到Y域时，就存在冗余的判别器，这会产生损失，导致损失率不容易收敛，训练时间增长，且泛化能力低。
发明内容
本发明的目的在于克服上述缺点而提出了一种训练时间短、隐私图片转化的泛化能力强的基于生成式对抗网络的服务机器人视觉图片隐私保护方法。
本发明的一种基于生成式对抗网络的服务机器人视觉图片隐私保护方法，包括：视觉数据的采集端、隐私识别与保护、训练数据生长与特征学习等模块，其中：所述隐私识别与保护包括数据预处理、隐私识别、图片转换等功能，由视觉数据的采集端采集的数据首先进行数据预处理，然后由隐私识别模块判定输入的预处理数据是否存在隐私，如果判定为涉及隐私的图片，进行图片转换，转换成不涉及隐私的图片数据并进行存储；训练数据生长与特征学习是用于训练数据集的更新，并基于训练数据集，通过改进的Cycle-GAN算法获取特征模型，用于所述图片转换；
所述改进的Cycle-GAN算法，具体步骤如下：
(1)初始化训练轮次、网络结构参数、学习率等参数，并给定对抗损失总函数模型；初始化当前轮次t＝0；
(2)加载训练数据源数据集合X与目标数据集Y，分别生成三维特征点向量Fx和Fy；
(3)for i＝0 to n；
(4)
(5)将U输入生成器G(x)生成图片和
(6)对和执行池化操作；
(7)将和输入判别器DY，计算的得分；
(8)根据得分更新权值矩阵与偏置矩阵，形成新的特征模型FW；
(9)t＝t+1；
(10)if t＞N，输出特征模型FW；否则转到(3)。
上述基于生成式对抗网络的服务机器人视觉图片隐私保护方法，其中：所述改进的Cycle-GAN算法的步骤(1)中，需给定训练轮次N，神经网络的层数L，网络结构矩阵Q＝[y1，h2，…，hj，…，hL](hj表示第j层的神经元个数)，随机初始化输入层的权值矩阵W1与偏置矩阵b1，并给定学习率α；
所述对抗损失总函数模型的总对抗损失率计算公式为：
LGAN(G，F，DX，DY)＝LGAN(G，DY，X，Y)+λLcvc(G，F)
其中：
式中，DY为Cycle-GAN在X域鉴别生成的Y域图片所带的判别器，x服从先验分布Pdata(x)，y服从非真实数据的分布Pdata(y)，E(*)表示期望；
Lcyc(G，F)＝Ex～Pdata(x)[||F(G(x))-x||1]+Ey～Pdata(y)[||G(F(y))-y||1]
所述学习率根据下列公式动态调整：
上述基于生成式对抗网络的服务机器人视觉图片隐私保护方法，其中：所述改进的Cycle-GAN算法的步骤(5)中，生成器G(x)由4个卷积层和9个残差网络组成，卷积层采用ReLU函数为激活，残差层的激活函数为Tanh函数。
上述基于生成式对抗网络的服务机器人视觉图片隐私保护方法，其中：所述改进的Cycle-GAN算法的步骤(8)中，采用随机梯度下降法(Stochastic gradient descent，SGD)优化生成器与判别器，并采用Adam算法计算每个参数的自适应学习，学习率的更新公式为：
式中，为t时刻目标函数的梯度，mt和Vt是梯度的1阶和2阶估计，α为步长值，β1，β2为指数衰减率，ε为保证分母的非0参数。
上述基于生成式对抗网络的服务机器人视觉图片隐私保护方法，其中：所述的用于训练数据集的更新的训练数据生长，采用基于NCC的训练数据集生长算法，具体步骤如下：
(1)初始化最大相似性度阈值MR＝0.95；
(2)加载源数据集X＝{X1，X2，...，Xi，...，Xn}、目标数据集Y＝{Y1，Y2，...，Yi，...，Yn}，形成并集U＝X∪Y；
(3)采用NCC算法将通过数据采集获取到的任意图片数据Xpic分割为R1，R2，R3和R4四个模块以建立搜索图区域；
(4)对于每一个Ui∈U，运用NCC算法分别计算Ui与模板块R1，R2，R3和R4间的相似度MR1，MR2，MR3和MR4；
(5)若MR1，MR2，MR3和MR4均小于MR，则将图片数据Xpic归属到Fi所在的类别；否则设置图片数据Xpic的类别为null；
(6)如果图片数据Xpic的类别不为null，则将图片数据Xpic复制到所属类别的源数据集X或者目标数据集Y。
本发明与现有技术的相比，具有明显的有益效果，由以上方案可知，所述隐私识别与保护包括数据预处理、隐私识别、图片转换等功能，由视觉数据的采集端采集的数据输入隐私识别与保护进行数据预处理，然后由隐私识别模块判定输入的预处理数据是否存在隐私，如果判定为涉及隐私的图片，进行图片转换，转换成不涉及隐私的图片数据并进行存储；训练数据生长与特征学习是用于训练数据集的更新，并基于训练数据集，通过改进的Cycle-GAN算法获取特征模型，用于所述图片转换。其中改进的Cycle-GAN算法，是将生成图片和输入判别器DY，计算的得分，即通过剔除冗余判别器，采用一个判别器共享两个生成器，以达到改善损失率与提高训练速度的目的，即因为结构的改进，使得训练时间开销下降的同时输出更加鲁棒的特征模型，使得改进后的算法在将涉及隐私的图片转化为不包含隐私信息的图片时，具有更好的转换成功率，能够输出相似度更高、特征更明显的图片。采用基于NCC的训练数据集生长算法进行训练数据集的更新，当训练数据集被更新后，系统的工作站定期重新训练以完善特征模型，而后服务机器人下载新的特征模型用于图片的转换，从而提高系统的隐私图片转化的泛化能力，即系统具有根据环境变化而自动拓展训练集的能力，从而提高系统的泛化能力。总之，本发明能从源头上使图片数据本身不涉及隐私内容，且具有训练时间短、隐私图片转化的泛化能力强的特点。
以下通过具体实施方式，进一步说明本发明的有益效果。
附图说明
图1为本发明的流程图；
图2为本发明的改进的Cycle-GAN模型；
图3为实施例中的不同模型的对抗损失率变化趋势图；
图4为实施例中的哈希差值Ad盒子图。
具体实施方式
以下结合附图及较佳实施例，对依据本发明提出的一种基于生成式对抗网络的服务机器人视觉图片隐私保护方法的具体实施方式、特征及其功效，详细说明如后。
参见图1，本发明的一种基于生成式对抗网络的服务机器人视觉图片隐私保护方法，包括：视觉数据的采集端、隐私识别与保护、训练数据生长与特征学习等模块，其中：所述隐私识别与保护包括数据预处理、隐私识别、图片转换等功能，由视觉数据的采集端采集的数据首先进行数据预处理，然后由隐私识别模块判定输入的预处理数据是否存在隐私，如果判定为涉及隐私的图片，进行图片转换，转换成不涉及隐私的图片数据并进行存储；训练数据生长与特征学习是用于训练数据集的更新，并基于训练数据集，通过改进的Cycle-GAN算法获取特征模型，用于所述图片转换；所述的用于训练数据集的更新的训练数据生长，采用基于NCC的训练数据集生长算法。该改进的Cycle-GAN算法和改进的Cycle-GAN算法详细内容如下：
1 Cycle-GAN
生成式对抗网络(Generative Adversarial Networks，GAN)是一种能够实现无监督学习的深度学习模型。GAN模型至少包括一个生成器G和判别器D两个模型，其基本原理是生成器不断学习真实数据的概率分布，判别器不断判断数据来源为真实数据还是生成数据，两者在博弈与对抗中提升各自的生成能力及判别能力。Cycle-GAN是以GAN为基础于2017年在文献中提出，它通过学习可以将图片从源图像域X到目标域Y，通过映射G：X→Y，最终生成器G(X)生成的图像分布与目标域Y的图像分布无法用对抗性损失区分开来。同理，它可以通过逆映射F：Y→X循环执行完成F(G(X))≈X的任务。Cycle-GAN在不存在配对训练数据的情况下能够完成包括风格转换、对象变形、季节转换、图像增强等工作。单向Cycle-GAN通过生成器G(X)将X领域图像转换为目标域Y中图像的过程，即G：X→Y，它的目标函数为
其中，DY为Cycle-GAN在X域鉴别生成的Y域图片所带的判别器，x服从先验分布Pdata(x)，y服从非真实数据的分布Pdata(y)，E(*)表示期望。
2 改进的Cycle-GAN
虽然Cycle-GAN在图像的风格迁移上有很多优势，能将图片从X域转换到Y域再从Y领域还原到X域，在结构上，Cycle-GAN一个判别器共用两个生成器，两个生成器各带一个判别器，当应用的场景只需将图片从X域转换到Y域时，就存在冗余的判别器，这会产生损失，导致损失率不容易收敛，训练时间增长。出于这种考虑，可以通过剔除冗余判别器，采用一个判别器共享两个生成器，以达到改善损失率与提高训练速度的目的。此时，修改后的Cycle-GAN的连续损失函数为
Lcyc(G，F)＝Ex～Pdata(x)[||F(G(x))-x||1]+Ey～Pdata(y)[||G(F(y))-y||1] (2)
联合公式(1)与(2)，可得修改后的Cycle-GAN的总损失函数为
LGAN(G，F，DX，DY)＝LGAN(G，DY，X，Y)+λLcyc(G，F) (3)
为了提高局部小区域的特征获取能力以输出高精度图像，设计了具有5层隐藏层的判别器DY，卷积核大小为16×16，改进的Cycle-GAN模型如图2所示，改进的Cycle-GAN算法如算法1所示。
算法1：改进的Cycle-GAN算法
输入：源数据集X＝{X1，X2，...，Xi，...，Xn}，目标数据集Y＝{Y1，Y2，...，Yi，...，Yn}；
输出：特征模型FW；
1)初始化训练轮次、网络结构参数、学习率等参数，并给定对抗损失总函数模型；初始化当前轮次t＝0；
2)加载源数据集合X与目标数据集Y，分别生成三维特征点向量Fx和Fy；
3)for i＝0 to n；
4)
5)将U输入生成器G(x)生成图片和
6)对和执行池化操作；
7)将和输入判别器DY，计算的得分；
8)根据得分更新权值矩阵与偏置矩阵，形成新的特征模型FW；
9)t＝t+1；
10)if t＞N，输出离线特征模型FW；否则转到3)
需要特别说明的是，步骤1)中，需要给定训练轮次N(后文后测试中，N＝200)，神经网络的层数L，网络结构矩阵Q＝[h1，h2，…，hj，…，hL](hj表示第j层的神经元个数)，随机初始化输入层的权值矩阵W1与偏置矩阵b1，并给定学习率α。本研究中，总对抗损失率按公式(3)计算，学习率根据公式(4)动态调整。
步骤5)中，生成器G(x)由4个卷积层和9个残差网络组成，卷积层采用ReLU函数为激活，残差层的激活函数为Tanh函数。
步骤8)中，采用随机梯度下降法(Stochastic gradient descent，SGD)优化生成器与判别器，并采用Adam算法计算每个参数的自适应学习率，学习率的更新公式为
式中，为t时刻目标函数的梯度，mt和Vt是梯度的1阶和2阶估计，α为步长值，β1，β2为指数衰减率，ε为保证分母的非0参数。采用交叉熵函数刻画两个分布之间的距离，从而更新权重系数。当生成的图片越接近真实图片时，经过交叉熵函数输出的值越小，反之则输出的值越大。
3 基于NCC的训练数据集生长算法
若系统能够根据环境变化而自动拓展训练集，则有利于提高系统的泛化能力。考虑到归一化交叉相关(Normalized cross correlation，NCC)可以用于描述两个图片的相关程度，它通过计算模板图像和搜索图像的互相关值而刻画两幅图片的匹配程度与相似性。为了拓展训练数据集，让系统具有根据环境变化而自动拓展训练集的能力，从而提高系统的泛化能力，针对系统通过摄像头获得的任意图片数据Xpic，提出了如算法2所示的基于NCC的训练数据集生长算法。
算法2：基于NCC的训练数据集生长算法
输入：目标图片数据Xpic，源数据集X＝{X1，X2，...，Xi，...，Xn}，目标数据集Y＝{Y1，Y2，...，Yi，...，Yn}；
输出：图片Xpic在训练集中的归属类别。
1)初始化最大相似性度阈值MR＝0.95；
2)加载源数据集X＝{X1，X2，...，Xi，...，Xn}、目标数据集Y＝{Y1，Y2，...，Yi，...，Yn}，形成并集U＝X∪Y；
3)采用NCC算法将Xpic分割为R1，R2，R3和R4四个模块以建立搜索图区域；
4)对于每一个Ui∈U，运用NCC算法分别计算Ui与模板块R1，R2，R3和R4间的相似度MR1，MR2，MR3和MR4。
5)若MR1，MR2，MR3和MR4均小于MR，则将图片Xpic归属到Fi所在的类别。否则设置图片Xpic的类别为null。
6)如果图片Xpic的类别不为null，则将图片Xpic复制到所属类别的源数据集X或者目标数据集Y。
特别需要说明的是，当图片Xpic与源数据集和目标数据集中的数据均不匹配时，则图片Xpic不被加入到训练数据集。
下面为了测试本发明实施例的性能，通过实验进行评估分析得到有益效果如下：
(1)实验平台
实验平台为服务机器人平台。平台的显示屏是7.9寸IPad mini 4，视觉系统是Microsoft Kinect V2深度摄像头，主机为Intel NUC mini主机，配置有i7-6770HQ处理器和Intel IRIS Pro显卡，移动底盘为EAI B1。以ELLTOWER 5810为练数据集的工作站。服务机器人主机和工作站的操作系统为Ubuntu16.04 LTS，并安装了Kinect版本ROS(RobotOperation System)系统、CPU版本的TensorFlow深度学习框架和OpenCV 3.3.0。服务机器人与工作站均具有无线通信模块以实现他们间的通信和数据交换。
基于前节所述的硬件平台，采用Python、C语言进行了集成开发，实现了基于本发明的方法与Cycle-GAN的视觉图片隐私保护功能，图1是机器人视觉图片隐私保护系统的总体工作流程。系统中的隐私识别模块采用改进的YOLO特征提取算法实现，它能够判定摄像头数据是否存在隐私。整个隐私识别处理部分，可以将涉及隐私的图片转换成不涉及隐私的数据并进行存储。训练数据生长与特征学习部分，主要实现基于训练数据集的特征模型获取、以及基于NCC的训练数据集的更新功能。当训练数据集被更新后，系统的工作站定期重新训练以完善特征模型，而后服务机器人下载新的特征模型用于图片的转换，从而提高系统的隐私图片转化的泛化能力。
(2)训练数据集
构建了具有48000张图片的训练数据，其中涉及隐私的源数据集X与不涉及隐私的目标数据集Y分别24000张。数据来源包括以下2类：
1)采用所构建平台的摄像头在实验室模拟家居环境采集而得。这类图片约占总数的96％，人物包括4人，涉及6类包含大面积身体裸露的日常生活场景，具体为：C1：单人笔直站立时的各种姿势；C2：单人非笔直站立时的各种姿势；C3：单人躺在床上的各种姿势；C4：单人蹲着的各种姿势；C5：单人坐着的各种姿势；C6：2人以上在C1～C5的场景中。这一类数据，在采集图片时，尽可能使得源数据集与目标数据集的图片能够对应。目标数据集中的服饰主要有黑色长袖、图案毛衣、长袖衬衣、白色短袖。
2)从百度图库中收集、筛选并进行适当处理后的图片，它们具有不同的场景、对象、光亮、角度、背景与像素，以丰富数据集。这一类数据，源数据集与目标数据集间的图片基本上不存在对应的情况。
(3)测试方案与测试数据集
为了测试系统的性能，设计了4个实验。
实验1.测试对象(人)与背景包括在训练数据集中，只存在1个人。
实验2.测试对象与背景包括在训练数据集中，存在2-4人。
实验3.测试对象不包括在训练数据集中但场景是训练数据集中场景。
实验4.网络图片。对于这一类数据，测试对像与背景均不包括在训练数据集中。
实验1与2主要考查系统的特征提取的准确性，实验3与4主要检查系统的提取的特征模型的泛化能力与鲁棒性。实验1～实验3每个实验使用100张图片。由于法律等问题，在百度图库难以找到大量的符合要求的图片，因此，实验4的实验只使用30张图片。
(4)评价标准
为了客观的评价系统将涉及隐私的图片转化为不包含隐私信息的成像效果，采用转换成功率As、体现图片相似度的哈希差值Ad、以及体现脸部成像精度的人脸识别率Af作为评价标准。具体计算方式如下：
1)转换成功率As。设N0为所输入的涉及隐私内容的图片总数，N1代表成功去除隐私内容的图片总数，则
As值越大，表明系统转换的成功率越高。
2)哈希差值Ad。对于此值的计算，将测试数据集中每一张图与系统转换后输出的对应的目标图作为输入调用差值哈希算法程序获得。限于篇幅不再详述。Ad值越大，表示原图与生成的目标图之间的差异越大，相反则两图的相似度越高。
3)体现脸部成像精度的人脸识别率Af。设A0为测试数据集中人脸识别算法能够识别出人脸的图片数量，设A1为系统输出的已经成功将隐私内容去除的图片中人脸识别算法能够识别出人脸的图片数量，则
(5)测试结果与分析
训练过程中，分别运用本发明的方法与Cycle-GAN算法训练数据集获得特征模型，训练过程中两种方法的损失率如图3所示，训练过程中不同模型的图片处理速度如表1所示。测试时，模拟摄像头的工作机制，分别将测试图片输入到系统中，转换成功率As、以及体现脸部成像精度的人脸识别率Af、体现图片相似度的哈希差值Ad的统计结果如表2和表3所示。哈希差值Ad统计盒子图如图4所示。
1)观察图3可知，在模型训练阶段，两种算法的损失率均随着迭代次数和增加而呈现下降的趋势，但是Cycle-GAN的损失率在训练趋于结束时稳定在0.35左右，本发明的算法的损失率则最终稳定在0.19左右，下降超过45％，这表明本发明改进的结构有利于生成保留原图片元素的目标图片，可以促进获得更好的特征模型。在处理速度方面，由表1可知，改进模型的训练速度从原来的1.5张/秒提高到3张/秒，训练时间缩短了一半，这表明改进后的结构有利于减少系统的处理时间。
表1 不同模型训练速度
Tab.2 Training speed of different models
2)观察表2中实验1～实验4的转换成功率可知，Cycle-GAN算法的为96％，94％，92％，86％，而本发明的算法的分别为97％，96％，94％和93％，均高于Cycle-GAN算法的转换成功率，Cycle-GAN算法和本发明的算法的四个实验的平均转换成功率分别为92％和95％，这表明改进后的算法在特征提取的准确性方面优于Cycle-GAN算法。观察体现脸部成像精度的人脸识别率Af可知，在试验1～试验3中，Cycle-GAN的脸部成像精度的人脸识别率分别为91％，68％，5％，而本发明的算法分别为95％，84％，15％。这表明改进的结构可以输出更多的脸部特征完全的图片，能够获得更好的关键部位的特征模型。需要特别说明的是，实验4中的测试图片来自网络，难以找到脸部特征明显的图片，因此没有这一项统计数据。
表2 As和Af的统计结果
Tab.2 Statistics of As and Af
表3 不同算法的Ad统计结果
Tab.3 Statistical results of Ad with different algorithms
3)观察表3可知，实验1中，Cycle-GAN的图像相似度哈希差值均值为30.89，本发明的算法为8.94，仅为Cycle-GAN的28.9％。与此同时，Cycle-GAN与本发明的算法对应的方差分别为23.311和10.622。实验3中，Cycle-GAN的哈希差值均值与方差分别为28.5和46.05，而本发明的算法则分别为12.58和12.812，其均值下降了55.86％。在实验3中Cycle-GAN的均值和方差分别为22.43和11.77，而本发明的算法分别仅是Cycle-GAN的61.68％和55.65％。实验4中，本发明的算法的均值与方差分别为17.87％和30.53％，分别仅是Cycle-GAN的61.68％和71.92％。整体上而言，在4个实验中，本发明算法的哈希差值与Cycle-GAN相比均有较大幅度的下降，最大降幅达71.06％，最小降幅为38.32％，这表明改进后的算法成像相似性均优于Cycle-GAN。与此同时，由图4中的盒子图可知，本发明的算法对应的盒图的矩形区域均较窄，没有离散点，而Cycle-GAN的矩形区域较大且存在离散点，这表明本发明的算法能够输出一致性更好的图片，比Cycle-GAN具有更好的稳定性。
总之，本发明正是因为算法结构的改进，使得训练时间开销下降的同时输出更加鲁棒的特征模型，使得改进后的算法在将涉及隐私的图片转化为不包含隐私信息的图片时，具有更好的转换成功率，能够输出相似度更高、脸部特征更明显的图片，本发明所提出的方法优于Cycle-GAN。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，任何未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。
Claims (5)
1.一种基于生成式对抗网络的服务机器人视觉图片隐私保护方法，包括：视觉数据的采集端、隐私识别与保护、训练数据生长与特征学习等模块，其特征在于：所述隐私识别与保护包括数据预处理、隐私识别、图片转换等功能，由视觉数据的采集端采集的数据首先进行数据预处理，然后由隐私识别模块判定输入的预处理数据是否存在隐私，如果判定为涉及隐私的图片，进行图片转换，转换成不涉及隐私的图片数据并进行存储；训练数据生长与特征学习是用于训练数据集的更新，并基于训练数据集，通过改进的Cycle-GAN算法获取特征模型，用于所述图片转换；
所述改进的Cycle-GAN算法，具体步骤如下：
（1）初始化训练轮次、网络结构参数、学习率等参数，并给定对抗损失总函数模型；初始化当前轮次t=0;
（2）加载训练数据源数据集合X与目标数据集Y，分别生成三维特征点向量和；
（3）for i=0 to n；
（4）U= ；
（5）将U输入生成器G(x) 生成图片；
（6）对执行池化操作；
（7）将输入判别器D Y ，计算的得分；
（8）根据得分更新权值矩阵与偏置矩阵，形成新的特征模型F W；
（9）t=t+1；
（10）if t >N,输出特征模型F W;否则转到（3）。
2.如权利要求1所述的基于生成式对抗网络的服务机器人视觉图片隐私保护方法，其特征在于：所述改进的Cycle-GAN算法的步骤（1）中，需给定训练轮次N，神经网络的层数L，网络结构矩阵（h j 表示第j层的神经元个数），随机初始化输入层的权值矩阵W 1与偏置矩阵b 1，并给定学习率；
所述对抗损失总函数模型的总对抗损失率计算公式为：
其中：
该式中，为Cycle-GAN 在X域鉴别生成的Y域图片所带的判别器，x服从先验分布P data(x)，y服从非真实数据的分布P data(y)，E(*)表示期望；
所述学习率根据下列公式动态调整：
。
3.如权利要求1所述的基于生成式对抗网络的服务机器人视觉图片隐私保护方法，其特征在于：所述改进的Cycle-GAN算法的步骤（5）中，生成器G(x)由4个卷积层和9个残差网络组成，卷积层采用ReLU函数为激活，残差层的激活函数为Tanh函数。
4.如权利要求1所述的基于生成式对抗网络的服务机器人视觉图片隐私保护方法，其特征在于：所述改进的Cycle-GAN算法的步骤（8）中，采用随机梯度下降法(Stochasticgradient descent, SGD)优化生成器与判别器，并采用Adam算法计算每个参数的自适应学习，学习率的更新公式为：
式中，为t时刻目标函数的梯度，m t 和V t 是梯度的1阶和2阶估计，为步长值，为指数衰减率，为保证分母的非0参数。
5.如权利要求1至4中任一项所述的基于生成式对抗网络的服务机器人视觉图片隐私保护方法，其特征在于：所述的用于训练数据集更新的训练数据生长是采用基于NCC的训练数据集生长算法，具体步骤如下：
（1）初始化最大相似性度阈值M R =0 .95；
（2） 加载源数据集X={X 1,X 2,…,X i ,…,X n }、目标数据集Y={Y 1, Y 2,…, Y i ,…, Y n }，形成并集；
（3） 采用NCC算法将通过数据采集获取到的任意图片数据X pic 分割为R 1,R 2,R 3和R 4四个模块以建立搜索图区域；
（4）对于每一个，运用NCC算法分别计算U i 与模板块R 1,R 2,R 3和R 4间的相似度M R1,M R2,M R3和M R4；
（5）若M R1,M R2,M R3和M R4均小于M R，则将图片数据X pic 归属到F i 所在的类别；否则设置图片数据X pic 的类别为null；
（6）如果图片数据X pic 的类别不为null，则将图片数据X pic 复制到所属类别的源数据集X或者目标数据集Y。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910695530.5A CN110363183B (zh) | 2019-07-30 | 2019-07-30 | 基于生成式对抗网络的服务机器人视觉图片隐私保护方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910695530.5A CN110363183B (zh) | 2019-07-30 | 2019-07-30 | 基于生成式对抗网络的服务机器人视觉图片隐私保护方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110363183A true CN110363183A (zh) | 2019-10-22 |
| CN110363183B CN110363183B (zh) | 2020-05-08 |
Family
ID=68221800
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910695530.5A Active CN110363183B (zh) | 2019-07-30 | 2019-07-30 | 基于生成式对抗网络的服务机器人视觉图片隐私保护方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110363183B (zh) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111144274A (zh) * | 2019-12-24 | 2020-05-12 | 南京航空航天大学 | 一种面向yolo检测器的社交图片隐私保护方法和装置 |
| CN111177757A (zh) * | 2019-12-27 | 2020-05-19 | 支付宝(杭州)信息技术有限公司 | 一种图片中隐私信息保护的处理方法及装置 |
| CN111193920A (zh) * | 2019-12-31 | 2020-05-22 | 重庆特斯联智慧科技股份有限公司 | 一种基于深度学习网络的视频画面立体拼接方法和系统 |
| CN111242290A (zh) * | 2020-01-20 | 2020-06-05 | 福州大学 | 一种轻量级隐私保护生成对抗网络系统 |
| CN111860434A (zh) * | 2020-07-31 | 2020-10-30 | 贵州大学 | 机器人视觉隐私行为识别与保护方法 |
| CN112084962A (zh) * | 2020-09-11 | 2020-12-15 | 贵州大学 | 基于生成式对抗网络脸部隐私保护方法 |
| CN112308770A (zh) * | 2020-12-29 | 2021-02-02 | 北京世纪好未来教育科技有限公司 | 人像转换模型生成方法及人像转换方法 |
| CN112529978A (zh) * | 2020-12-07 | 2021-03-19 | 四川大学 | 一种人机交互式抽象画生成方法 |
| CN112926559A (zh) * | 2021-05-12 | 2021-06-08 | 支付宝(杭州)信息技术有限公司 | 人脸图像处理方法及装置 |
| CN113190811A (zh) * | 2021-05-13 | 2021-07-30 | 深圳奥赛思科技有限公司 | 可安全传输网络数据的方法以及云服务器 |
| CN113271469A (zh) * | 2021-07-16 | 2021-08-17 | 南京大学 | 一种安全可逆的视频隐私安全保护系统及保护方法 |
| CN113329000A (zh) * | 2021-05-17 | 2021-08-31 | 山东大学 | 一种基于智能家居环境下的隐私保护和安全监测一体化系统 |
| CN114419712A (zh) * | 2020-05-14 | 2022-04-29 | 支付宝(杭州)信息技术有限公司 | 保护个人数据隐私的特征提取方法、模型训练方法及硬件 |
| WO2023060918A1 (zh) * | 2021-10-14 | 2023-04-20 | 天翼数字生活科技有限公司 | 一种基于语义和姿态图引导的图片匿名化方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107292345A (zh) * | 2017-07-03 | 2017-10-24 | 贵州大学 | 隐私情境检测方法 |
| CN107368752A (zh) * | 2017-07-25 | 2017-11-21 | 北京工商大学 | 一种基于生成式对抗网络的深度差分隐私保护方法 |
| CN108710831A (zh) * | 2018-04-24 | 2018-10-26 | 华南理工大学 | 一种基于机器视觉的小数据集人脸识别算法 |
| US20190188830A1 (en) * | 2017-12-15 | 2019-06-20 | International Business Machines Corporation | Adversarial Learning of Privacy Protection Layers for Image Recognition Services |
-
2019
- 2019-07-30 CN CN201910695530.5A patent/CN110363183B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107292345A (zh) * | 2017-07-03 | 2017-10-24 | 贵州大学 | 隐私情境检测方法 |
| CN107368752A (zh) * | 2017-07-25 | 2017-11-21 | 北京工商大学 | 一种基于生成式对抗网络的深度差分隐私保护方法 |
| US20190188830A1 (en) * | 2017-12-15 | 2019-06-20 | International Business Machines Corporation | Adversarial Learning of Privacy Protection Layers for Image Recognition Services |
| CN108710831A (zh) * | 2018-04-24 | 2018-10-26 | 华南理工大学 | 一种基于机器视觉的小数据集人脸识别算法 |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111144274B (zh) * | 2019-12-24 | 2023-06-09 | 南京航空航天大学 | 一种面向yolo检测器的社交图片隐私保护方法和装置 |
| CN111144274A (zh) * | 2019-12-24 | 2020-05-12 | 南京航空航天大学 | 一种面向yolo检测器的社交图片隐私保护方法和装置 |
| CN111177757A (zh) * | 2019-12-27 | 2020-05-19 | 支付宝(杭州)信息技术有限公司 | 一种图片中隐私信息保护的处理方法及装置 |
| CN111193920A (zh) * | 2019-12-31 | 2020-05-22 | 重庆特斯联智慧科技股份有限公司 | 一种基于深度学习网络的视频画面立体拼接方法和系统 |
| CN111242290A (zh) * | 2020-01-20 | 2020-06-05 | 福州大学 | 一种轻量级隐私保护生成对抗网络系统 |
| CN111242290B (zh) * | 2020-01-20 | 2022-05-17 | 福州大学 | 一种轻量级隐私保护生成对抗网络系统 |
| CN114419712A (zh) * | 2020-05-14 | 2022-04-29 | 支付宝(杭州)信息技术有限公司 | 保护个人数据隐私的特征提取方法、模型训练方法及硬件 |
| CN111860434A (zh) * | 2020-07-31 | 2020-10-30 | 贵州大学 | 机器人视觉隐私行为识别与保护方法 |
| CN112084962A (zh) * | 2020-09-11 | 2020-12-15 | 贵州大学 | 基于生成式对抗网络脸部隐私保护方法 |
| CN112529978A (zh) * | 2020-12-07 | 2021-03-19 | 四川大学 | 一种人机交互式抽象画生成方法 |
| CN112308770B (zh) * | 2020-12-29 | 2021-03-30 | 北京世纪好未来教育科技有限公司 | 人像转换模型生成方法及人像转换方法 |
| CN112308770A (zh) * | 2020-12-29 | 2021-02-02 | 北京世纪好未来教育科技有限公司 | 人像转换模型生成方法及人像转换方法 |
| CN112926559A (zh) * | 2021-05-12 | 2021-06-08 | 支付宝(杭州)信息技术有限公司 | 人脸图像处理方法及装置 |
| CN113190811B (zh) * | 2021-05-13 | 2022-02-01 | 深圳奥赛思科技有限公司 | 可安全传输网络数据的方法以及云服务器 |
| CN113190811A (zh) * | 2021-05-13 | 2021-07-30 | 深圳奥赛思科技有限公司 | 可安全传输网络数据的方法以及云服务器 |
| CN113329000A (zh) * | 2021-05-17 | 2021-08-31 | 山东大学 | 一种基于智能家居环境下的隐私保护和安全监测一体化系统 |
| CN113271469A (zh) * | 2021-07-16 | 2021-08-17 | 南京大学 | 一种安全可逆的视频隐私安全保护系统及保护方法 |
| CN113271469B (zh) * | 2021-07-16 | 2021-10-29 | 南京大学 | 一种安全可逆的视频隐私安全保护系统及保护方法 |
| WO2023060918A1 (zh) * | 2021-10-14 | 2023-04-20 | 天翼数字生活科技有限公司 | 一种基于语义和姿态图引导的图片匿名化方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110363183B (zh) | 2020-05-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110363183A (zh) | 基于生成式对抗网络的服务机器人视觉图片隐私保护方法 | |
| WO2021077984A1 (zh) | 对象识别方法、装置、电子设备及可读存储介质 | |
| CN107194341B (zh) | Maxout多卷积神经网络融合人脸识别方法和系统 | |
| US11417148B2 (en) | Human face image classification method and apparatus, and server | |
| WO2021143101A1 (zh) | 人脸识别方法和人脸识别装置 | |
| CN105138993B (zh) | 建立人脸识别模型的方法及装置 | |
| Tian | Evaluation of face resolution for expression analysis | |
| CN101558431B (zh) | 脸认证设备 | |
| CN109902546A (zh) | 人脸识别方法、装置及计算机可读介质 | |
| CN108460356A (zh) | 一种基于监控系统的人脸图像自动处理系统 | |
| CN111439267B (zh) | 一种舱内环境的调整方法及装置 | |
| CN111476222B (zh) | 图像处理方法、装置、计算机设备和计算机可读存储介质 | |
| CN110462632A (zh) | 人脸识别的方法、装置和电子设备 | |
| CN110222718A (zh) | 图像处理的方法及装置 | |
| WO2022247539A1 (zh) | 活体检测方法、估算网络处理方法、装置、计算机设备和计算机可读指令产品 | |
| CN108985200A (zh) | 一种基于终端设备的非配合式的活体检测算法 | |
| CN109902561A (zh) | 一种应用于机器人的人脸识别方法和装置、机器人 | |
| CN112669343A (zh) | 一种基于深度学习的壮族少数民族服饰分割方法 | |
| Guehairia et al. | Deep random forest for facial age estimation based on face images | |
| Sakthimohan et al. | Detection and Recognition of Face Using Deep Learning | |
| CN113420697B (zh) | 基于表观和形状特征的换装视频行人重识别方法及系统 | |
| CN114565448A (zh) | 基于视频识别的贷款风险信息挖掘方法 | |
| CN110135362A (zh) | 一种基于红外摄像头下的人脸快速识别方法 | |
| CN102156879A (zh) | 基于加权陆地运动距离的人体目标匹配方法 | |
| Borah et al. | ANN based human facial expression recognition in color images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |