CN113066094B - 一种基于生成对抗网络的地理栅格智能化局部脱敏方法 - Google Patents
一种基于生成对抗网络的地理栅格智能化局部脱敏方法 Download PDFInfo
- Publication number
- CN113066094B CN113066094B CN202110264025.2A CN202110264025A CN113066094B CN 113066094 B CN113066094 B CN 113066094B CN 202110264025 A CN202110264025 A CN 202110264025A CN 113066094 B CN113066094 B CN 113066094B
- Authority
- CN
- China
- Prior art keywords
- desensitization
- image
- edge
- formula
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000586 desensitisation Methods 0.000 title claims abstract description 131
- 238000000034 method Methods 0.000 title claims abstract description 38
- 230000000295 complement effect Effects 0.000 claims abstract description 48
- 238000012549 training Methods 0.000 claims abstract description 35
- 230000006870 function Effects 0.000 claims description 31
- 239000002131 composite material Substances 0.000 claims description 9
- 230000008485 antagonism Effects 0.000 claims description 8
- 238000010586 diagram Methods 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 125000003275 alpha amino acid group Chemical group 0.000 claims description 6
- 150000001875 compounds Chemical class 0.000 claims description 6
- 230000000877 morphologic effect Effects 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000003708 edge detection Methods 0.000 claims description 3
- 230000008713 feedback mechanism Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 230000008447 perception Effects 0.000 claims 1
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 238000010276 construction Methods 0.000 abstract description 3
- 238000013528 artificial neural network Methods 0.000 description 11
- 230000009466 transformation Effects 0.000 description 8
- 238000011160 research Methods 0.000 description 6
- 238000011426 transformation method Methods 0.000 description 6
- 230000002787 reinforcement Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 208000009119 Giant Axonal Neuropathy Diseases 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 201000003382 giant axonal neuropathy 1 Diseases 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 240000000972 Agathis dammara Species 0.000 description 1
- 229920002871 Dammar gum Polymers 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6227—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database where protection concerns the structure of data, e.g. records, types, queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/155—Segmentation; Edge detection involving morphological operators
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Remote Sensing (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Bioethics (AREA)
- General Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提出了一种基于生成对抗网络的地理栅格智能化局部脱敏方法，包括：获取地理栅格数据集，并对数据集进行识别和裁剪预处理，得到预处理后的数据集；构建脱敏边缘生成网络；设计脱敏边缘生成网络的脱敏损失函数，并进行训练，最终输出已经脱敏完成的地理栅格脱敏边缘图；构建图像补全网络；设计图像补全网络损失函数，根据输入数据进行训练，最终输出脱敏彩色地理栅格。本发明的有益效果是：可按需求产生不同的脱敏结果，以达到智能化、高共享、结果多样的脱敏目标；实际解决了地理栅格共享共建需求，重点解决传统地理栅格数据脱敏保护方案自动化程度较低、脱敏后数据缺乏可用性以及脱敏结果失真的问题。
Description
技术领域
本发明涉及地质数据脱敏和深度学习领域，具体涉及一种基于生成对抗网络的地理栅格智能化局部脱敏方法。
背景技术
生成对抗网络(Generative Adversarial Nets,GANs)是一种无监督学习的训练方法，包括两部分：一个生成器网络D和一个辨别器网络G。生成器网络用于生成逼真的样本，鉴别器用于从中分辨出生成样本和原样本。GANs的学习过程是同时训练识别器D和生成器G。G的目标是学习数据x上的分布Pa。G从均匀分布或高斯分布的Pz(z)中对输入变量z采样，然后通过另一个网络将输入变量z映射到数据空间。另一方面D是分类器，目的是识别影像是来自训练数据还是来自G。GANs的极大极小目标损失函数可以表述如下：
通过迭代交替训练，判别模型完成辨别输入样本来自于真实数据还是生成模型的任务。同时，生成模型经过训练生成使判别模型无法分辨的数据。在训练期间，两种模型迭代训练竞争，最终生成与两部分模型学习到的数据分布最接近的数据。
脱敏领域使用的变换方法主要分全局变换方法和局部变换方法。全局变换方法中，置乱加密主要通过破坏数据的邻域相关性和空间有序性来实现数据脱敏；在局部变换方法中有分块变换和BP神经网络方法。地图局部变换处理是在保证其拓扑结构不变基础上进行不可逆的非线性变换，有分块变换、神经网络和图像补全。分块变换模型能够对不同的区域使用不同的变换参数进行变换，即每一个脱敏的特征点都作为脱敏的参数进行变换，保密性高于线性和非线性全局变换模型。但分块变形模型难以保持要素的拓扑关系，不符合变换光滑连续的原则。神经网络已在多个领域取得了显著的成效，一些学者提出利用BP神经网络进行影像的变换和配准，以达到影像光滑的变形效果，具有较高的转换精度，但在地理栅格脱敏方面，相关研究较少。
图像补全应用在地理信息方面已有一定的研究成果。传统的图像补全技术主要分为基于结构的图像补全技术和基于纹理的图像补全技术。基于结构的图像补全算法使用几何方法对影像中的空缺进行修复，较好的体现影像信息中的结构性原则；在基于纹理的图像补全方面，随着神经网络和计算机视觉的发展，产生了基于生成对抗网络的图像补全技术。Kamyar Nazeri等人提出一个包含边缘生成网络和图像补全网络的二阶对抗模型EdgeConnect，针对一般影像得到具有精细细节的补全结果。图像补全技术从传统的基于理论方法发展到基于生成对抗网络，补全效果显著增强。但现在图像补全技术大多都是针对一般影像的研究和应用，对于地理栅格的补全研究还很少，目前尚无文献将该方法应用在局部脱敏领域的案例。
反馈方法在人工智能中应用广泛，在神经网络、尤其是循环神经网络以及强化学习中都存在着反馈的应用。在神经网络方面，反馈应用的场景很多，如利用选择性正负反馈来产生WTA竞争，提出一个通过利用p范数与神经元的相互作用的模型。V J等设计了包含正负反馈的神经网络模型，用于预测在细胞控制系统中遗传网络的稳定性和冗余性。J Fei等提出了包含两种不同的反馈回路的双回路递归神经网络(DLRNN)结构的控制系统。强化学习是一种在与环境的交互中获得反馈的模型训练方法，强化学习的学习过程需要环境反馈的奖励信号，因此强化学习与反馈密不可分，但反馈方法在智能化脱敏方面却尚无文献应用。
现有的局部脱敏的方法几点不足：
(1)神经网络已在多个领域取得了显著的成效，但在地理栅格脱敏方面，相关研究较少。
(2)传统地理栅格数据脱敏保护方案中，涉密地理栅格可用性不足、脱敏效果灵活性不足和脱敏结果细节粗糙，失真度高。
(3)现有图像补全技术大多都是针对一般影像的研究和应用，对于地理栅格的补全研究还很少，目前尚无文献将该方法应用在局部脱敏领域的案例。
(4)反馈方法应用广泛与强化学习等人工智能算法上，但反馈方法在智能化脱敏方面却尚无文献应用。
发明内容
针对上述缺陷，本发明提供了一种基于生成对抗网络的地理栅格智能化局部脱敏方法，通过生成对抗网络实现智能化局部脱敏。设计了边缘生成网络和图像补全网络结合的结构，根据敏感区域生成高精度脱敏地理栅格；并设计了边缘生成网络的局部脱敏损失函数，脱敏时在敏感区域产生区别于原始地理栅格的高频细节特征；以及设计了基于负反馈的参数调节方法，可按需求产生不同的脱敏结果。在Massachusetts Roads Datasets遥感影像数据集上测试了方案，在生成效果指标和灰度共生矩阵评价指标中均证实了本发明的智能化局部脱敏效果。
本发明提供的一种基于生成对抗网络的地理栅格智能化局部脱敏方法，具体包括以下步骤：
S101：获取地理栅格数据集，并对数据集进行识别和裁剪预处理，得到预处理后的数据集；
S102：构建脱敏边缘生成网络；所述脱敏边缘生成网络包括边缘生成器G1和边缘判别器D1；根据预处理后的数据集中人工标注的源数据敏感区域位置，得到边缘判别器D1的输入数据；所述边缘判别器D1的输入数据包括：敏感区域的灰度掩膜mask M，非敏感区域的边缘地图和非敏感区域对应的灰度图/>
S103：设计脱敏边缘生成网络的脱敏损失函数，并进行训练，最终利用边缘生成器G1输出已经脱敏完成的地理栅格脱敏边缘图Cpred；
S104：构建图像补全网络；所述图像补全网络包括边缘图引导补全生成器G2和边缘图引导补全判别器D2；将脱敏完成的地理栅格脱敏边缘图Cpred、敏感区域的灰度掩膜mask M、预处理后的数据集输入至所述边缘图引导补全判别器D2；
S105：设计图像补全网络损失函数，根据输入数据进行训练，最终利用边缘图引导补全生成器G2输出脱敏彩色地理栅格Ipred。
进一步地，步骤S101中，对数据集进行识别和裁剪预处理，具体为：
步骤S101中，对数据集进行识别和裁剪预处理，具体为：
S201：对地理栅格数据集中的原始影像灰度化处理，随后再进行二值化处理，得到二值化影像；
S202：以3×3矩形结构元素对二值化影像进行形态学开运算，得到形态学处理后的影像；
S203：以4连通方式标出开运算后影像的所有连通区域，排序得到最大连通域并标识出区域的外接边框；
S204：通过接边框裁切原始影像得到有效影像部分，并以256×256分割得到预处理后的数据集。
进一步地，步骤S102中，根据预处理后的数据集中人工标注的源数据敏感区域位置，得到边缘判别器D1的输入数据，具体包括以下步骤:
S301：对地理栅格数据集中原始影像边缘图Cgt灰度化操作，得到对应的灰度图Igray；
S302：利用人工标注的mask区域，用黑色对影像地理栅格的敏感位置进行填充遮罩，标记出地图的敏感区域，得到敏感区域的掩膜影像mask M；
S303：使用canny边缘检测算法，将边缘图和敏感区域的掩膜影像mask M进行哈达玛积运算，如式(1)所示，得到非敏感区域的边缘图
式(1)中，⊙为矩阵的哈达玛积运算，M是敏感区域的掩膜影像mask M；
S304：将灰度图Igray与敏感区域的掩膜影像mask M进行哈达玛积运算后去除敏感区域，如式(2)所示，得到非敏感区域灰度图
S305：将以上得到的敏感区域的掩膜影像mask M，非敏感区域的边缘地图以及非敏感区域对应的灰度图/>三者输入到边缘判别器D1。
进一步地，步骤S103具体为：
步骤S103具体为：
S401：设计脱敏损失函数；所述脱敏损失函数包含对抗损失和脱敏损失，公式如式(3)：
式(3)中，λadv，1和λFM是正则化参数；为对抗损失，/>为脱敏损失，其中对抗损失λadv，1定义为式(4)：
E表示数学期望；脱敏损失定义为式(5)：
式(5)中，L表示判别器的最后卷积层，L～M表示mask M对应的卷积层区域，即表示敏感区域的卷积层部分；表示非敏感区域的卷积层，Ni表示i层的特征向量个数，/>表示当前层的单个特征向量，α为预设的脱敏参数因子；脱敏损失/>是非敏感区域特征与敏感区域特征的欧几里得距离乘以脱敏因子的差；
S402：引入负反馈机制，向脱敏损失函数并利用预设的脱敏参数因子更新出新的脱敏参数因子，迫使网络向设定的脱敏目标继续训练，最终收敛于设定的脱敏参数因子；脱敏参数因子更新公式如式(6)：
其中δ表示脱敏系数设置为1时敏感区域的SSIM评分，为网络训练稳定后的SSIM评分，γ为负反馈的权重值；
S403：根据敏感区域的掩膜影像mask M，非敏感区域的边缘地图以及非敏感区域对应的灰度图/>通过脱敏边缘生成网络进行迭代训练，得到脱敏边缘图Cpred：
式(7)中，Cpred为最终得到的脱敏边缘图。
进一步地，步骤S104具体如下：
步骤S104具体如下：
S501：将敏感区域掩膜影像mask M和预处理后数据集的地理栅格Igt进行哈达玛积运算，得到非敏感区域彩色地图栅格如式(8)：
S502：将敏感区域掩膜影像mask M、原始影像边缘图Cgt与脱敏边缘图Cpred进行组合，构造复合边缘图Ccomp，如式(9)：
Ccomp＝Cgt⊙(1-M)+Cpred⊙M (9)
S503：将S502得到的复合边缘图Ccomp、敏感区域掩膜影像mask M和非敏感区域彩色地图栅格作为输入，输入到边缘图引导补全判别器D2。
步骤S105具体包括以下步骤：
S601：构建图像补全网络的损失函数，共包含四项，分别为损失、对抗损失感知损失/>和风格损失/>利用脱敏边缘生成网络和图像补全网络联合训练；
其中，对抗损失公式如式(10)：
式(10)中，D2(Ipred，Ccomp)表示图像补全网络的判别器，其中Igt表示预处理后数据集的地理栅格，Ccomp表示复合边缘图；
感知损失计算公式如式(11)：
式(11)中，L表示最后的卷积层；i表示第i层预训练网络；φi表示预训练网络第i层的激活图；
风格损失定义如式(12)：
式(12)中，表示由激活映射构造的Gram矩阵；
整体损失函数如式(13)：
式(13)中，λadv，2、λp、λs为权重参数；
S604：根据整体损失函数，对每个像素的色彩精度以及拼接区域的平滑度进行对抗训练，得到低失真局部脱敏彩色地理栅格Ipred；
S605：边缘图引导补全生成器G2输出脱敏彩色地理栅格Ipred。
本发明提供的有益效果是：可按需求产生不同的脱敏结果，以达到智能化、高共享、结果多样的脱敏目标；实际解决了地理栅格共享共建需求，重点解决传统地理栅格数据脱敏保护方案自动化程度较低、脱敏后数据缺乏可用性以及脱敏结果失真的问题。
附图说明
图1为本发明一种基于生成对抗网络的地理栅格智能化局部脱敏方法的流程图；
图2为本发明数据预处理流程图；
图3为本发明边缘生成网络脱敏边缘生成图；
图4为本发明图像补全网络生成补全彩色地理栅格图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地描述。
请参考图1，图1为本发明一种基于生成对抗网络的地理栅格智能化局部脱敏方法的流程图；一种基于生成对抗网络的地理栅格智能化局部脱敏方法，包括以下：
S101：获取地理栅格数据集，并对数据集进行识别和裁剪预处理，得到预处理后的数据集；
S102：构建脱敏边缘生成网络；所述脱敏边缘生成网络包括边缘生成器G1和边缘判别器D1；根据预处理后的数据集中人工标注的源数据敏感区域位置，得到边缘判别器D1的输入数据；所述边缘判别器D1的输入数据包括：敏感区域的灰度掩膜mask M，非敏感区域的边缘地图和非敏感区域对应的灰度图/>
S103：设计脱敏边缘生成网络的脱敏损失函数，并进行训练，最终利用边缘生成器G1输出已经脱敏完成的地理栅格脱敏边缘图Cpred；
S104：构建图像补全网络；所述图像补全网络包括边缘图引导补全生成器G2和边缘图引导补全判别器D2；将脱敏完成的地理栅格脱敏边缘图Cpred、敏感区域的灰度掩膜mask M、预处理后的数据集输入至所述边缘图引导补全判别器D2；
S105：设计图像补全网络损失函数，根据输入数据进行训练，最终利用边缘图引导补全生成器G2输出脱敏彩色地理栅格Ipred。
请参考图2，步骤S101中，对数据集进行识别和裁剪预处理，具体为：
S201：对地理栅格数据集中的原始影像灰度化处理，随后再进行二值化处理，得到二值化影像；
优选的，对Massachusetts Roads Datasets遥感影像数据集采用加权平均法灰度化处理，归一化到后以0.99为阈值，转化为二值影像，共得到影像19195张。灰度化处理公式如下：
Gray(i，j)＝0.299*R(i，j)+0.587*G(i，j)+0.114*B(i，j)
将Massachusetts Roads Datasets遥感影像数据影像的R、G、B三分量以不同的权重进行加权。其中，平均加权系数0.299、0.587及0.114取值为通用标准化参数；
S202：以3×3矩形结构元素对二值化影像进行形态学开运算，得到形态学处理后的影像；
优选的，开运算的公式如下：
dst＝open(src，element)＝dilate(eroide(src，element))
其中src为二值影像，element为3×3矩形结构元素，eroide为腐蚀操作，dilate为膨胀操作；
S203：以4连通方式标出开运算后影像的所有连通区域，排序得到最大连通域并标识出区域的外接边框；
优选的，S203采用的是skimage中的label函数，而标识外接框采用的是regionprops函数；
S204：通过接边框裁切原始影像得到有效影像部分，并以256×256分割得到预处理后的数据集。
步骤S102中，根据预处理后的数据集中人工标注的源数据敏感区域位置，得到边缘判别器D1的输入数据，具体包括以下步骤:
S301：对地理栅格数据集中原始影像边缘图Cgt灰度化操作，得到对应的灰度图Igray；
优选的，对Massachusetts Roads Datasets遥感影像数据集边缘图Cgt灰度化操作，得到对应的灰度图Igray；
S302：利用人工标注的mask区域，用黑色对影像地理栅格的敏感位置进行填充遮罩，标记出地图的敏感区域，得到敏感区域的掩膜影像mask M；
S303：使用canny边缘检测算法，将边缘图和敏感区域的掩膜影像mask M进行哈达玛积运算，如式(1)所示，得到非敏感区域的边缘图
式(1)中，⊙为矩阵的哈达玛积运算，M是敏感区域的掩膜影像mask M；
S304：将灰度图Igray与敏感区域的掩膜影像mask M进行哈达玛积运算后去除敏感区域，如式(2)所示，得到非敏感区域灰度图
S305：将以上得到的敏感区域的掩膜影像mask M，非敏感区域的边缘地图以及非敏感区域对应的灰度图/>三者输入到边缘判别器D1。
请参考图3，图3为本发明边缘生成网络脱敏边缘生成图；步骤S103具体为：
S401：设计脱敏损失函数；所述脱敏损失函数包含对抗损失和脱敏损失，公式如式(3)：
式(3)中，λadv，1和λFM是正则化参数；为对抗损失，/>为脱敏损失，其中对抗损失λadv，1定义为式(4)：
E表示数学期望；脱敏损失定义为式(5)：
式(5)中，L表示判别器的最后卷积层，L～M表示mask M对应的卷积层区域，即表示敏感区域的卷积层部分；表示非敏感区域的卷积层，Ni表示i层的特征向量个数，/>表示当前层的单个特征向量，α为预设的脱敏参数因子；脱敏损失/>是非敏感区域特征与敏感区域特征的欧几里得距离乘以脱敏因子的差；
S402：引入负反馈机制，向脱敏损失函数并利用预设的脱敏参数因子更新出新的脱敏参数因子，迫使网络向设定的脱敏目标继续训练，最终收敛于设定的脱敏参数因子；脱敏参数因子更新公式如式(6)：
其中δ表示脱敏系数设置为1时敏感区域的SSIM评分，为网络训练稳定后的SSIM评分，γ为负反馈的权重值；
S403：根据敏感区域的掩膜影像mask M，非敏感区域的边缘地图以及非敏感区域对应的灰度图/>通过脱敏边缘生成网络进行迭代训练，得到脱敏边缘图Cpred：
式(7)中，Cpred为最终得到的脱敏边缘图请参考图4，图4为本发明图像补全网络生成补全彩色地理栅格图；
步骤S104具体如下：
S501：将敏感区域掩膜影像mask M和预处理后数据集的地理栅格Igt进行哈达玛积运算，得到非敏感区域彩色地图栅格如式(8)：
S502：将敏感区域掩膜影像mask M、原始影像边缘图Cgt与脱敏边缘图Cpred进行组合，构造复合边缘图Ccomp，如式(9)：
Ccomp＝Cgt⊙(1-M)+Cpred⊙M (9)
S503：将S502得到的复合边缘图Ccomp、敏感区域掩膜影像mask M和非敏感区域彩色地图栅格作为输入，输入到边缘图引导补全判别器D2。
步骤S105具体包括以下步骤：
S601：构建图像补全网络的损失函数，共包含四项，分别为损失、对抗损失感知损失/>和风格损失/>利用脱敏边缘生成网络和图像补全网络联合训练；
其中，对抗损失公式如式(10)：
式(10)中，D2(Ipred，Ccomp)表示图像补全网络的判别器，其中Igt表示预处理后数据集的地理栅格，Ccomp表示复合边缘图；
感知损失计算公式如式(11)：
式(11)中，L表示最后的卷积层；i表示第i层预训练网络；φi表示预训练网络第i层的激活图；
风格损失定义如式(12)：
式(12)中，表示由激活映射构造的Gram矩阵；
整体损失函数如式(13)：
式(13)中，λadv，2、λp、λs为权重参数；
S604：根据整体损失函数，对每个像素的色彩精度以及拼接区域的平滑度进行对抗训练，得到低失真局部脱敏彩色地理栅格Ipred；
S605：边缘图引导补全生成器G2输出脱敏彩色地理栅格Ipred。
本发明提供的有益效果是：可按需求产生不同的脱敏结果，以达到智能化、高共享、结果多样的脱敏目标；实际解决了地理栅格共享共建需求，重点解决传统地理栅格数据脱敏保护方案自动化程度较低、脱敏后数据缺乏可用性以及脱敏结果失真的问题。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (3)
1.一种基于生成对抗网络的地理栅格智能化局部脱敏方法，其特征在于：具体包括以下步骤：
S101：获取地理栅格数据集，并对数据集进行识别和裁剪预处理，得到预处理后的数据集；
S102：构建脱敏边缘生成网络；所述脱敏边缘生成网络包括边缘生成器G1和边缘判别器D1；根据预处理后的数据集中人工标注的源数据敏感区域位置，得到边缘判别器D1的输入数据；所述边缘判别器D1的输入数据包括：敏感区域的灰度掩膜mask M，非敏感区域的边缘地图和非敏感区域对应的灰度图/>
S103：设计脱敏边缘生成网络的脱敏损失函数，并进行训练，最终利用边缘生成器G1输出已经脱敏完成的地理栅格脱敏边缘图Cpred；
S104：构建图像补全网络；所述图像补全网络包括边缘图引导补全生成器G2和边缘图引导补全判别器D2；将脱敏完成的地理栅格脱敏边缘图Cpred、敏感区域的灰度掩膜mask M、预处理后的数据集输入至所述边缘图引导补全判别器D2；
S105：设计图像补全网络损失函数，根据边缘图引导补全判别器D2输入数据进行训练，最终利用边缘图引导补全生成器G2输出脱敏彩色地理栅格Ipred；
步骤S101中，对数据集进行识别和裁剪预处理，具体为：
S201：对地理栅格数据集中的原始影像灰度化处理，随后再进行二值化处理，得到二值化影像；
S202：以3×3矩形结构元素对二值化影像进行形态学开运算，得到形态学处理后的影像；
S203：以4连通方式标出开运算后影像的所有连通区域，排序得到最大连通域并标识出区域的外接边框；
S204：通过接边框裁切原始影像得到有效影像部分，并以256×256分割得到预处理后的数据集；
步骤S102中，根据预处理后的数据集中人工标注的源数据敏感区域位置，得到边缘判别器D1的输入数据，具体包括以下步骤：
S301：对地理栅格数据集中原始影像边缘图Cgt灰度化操作，得到对应的灰度图Igray；
S302：利用人工标注的mask区域，用黑色对影像地理栅格的敏感位置进行填充遮罩，标记出地图的敏感区域，得到敏感区域的掩膜影像mask M；
S303：使用canny边缘检测算法，将边缘图和敏感区域的掩膜影像mask M进行哈达玛积运算，如式(1)所示，得到非敏感区域的边缘图
式(1)中，⊙为矩阵的哈达玛积运算，M是敏感区域的掩膜影像mask M；
S304：将灰度图Igray与敏感区域的掩膜影像mask M进行哈达玛积运算后去除敏感区域，如式(2)所示，得到非敏感区域灰度图
S305：将以上得到的敏感区域的掩膜影像mask M，非敏感区域的边缘地图以及非敏感区域对应的灰度图/>三者输入到边缘判别器D1；
步骤S103具体为：
S401：设计脱敏损失函数；所述脱敏损失函数包含对抗损失和脱敏损失，公式如式(3)：
式(3)中，λadv，1和λFM是正则化参数；为对抗损失，/>为脱敏损失，其中对抗损失λadv，1定义为式(4)：
E表示数学期望；脱敏损失定义为式(5)：
式(5)中，L表示判别器的最后卷积层，L～M表示mask M对应的卷积层区域，即表示敏感区域的卷积层部分；表示非敏感区域的卷积层，Ni表示i层的特征向量个数，/>表示当前层的单个特征向量，α为预设的脱敏参数因子；脱敏损失/>是非敏感区域特征与敏感区域特征的欧几里得距离乘以脱敏因子的差；
S402：引入负反馈机制，向脱敏损失函数并利用预设的脱敏参数因子更新出新的脱敏参数因子，迫使网络向设定的脱敏目标继续训练，最终收敛于设定的脱敏参数因子；脱敏参数因子更新公式如式(6)：
其中δ表示脱敏系数设置为1时敏感区域的SSIM评分，为网络训练稳定后的SSIM评分，γ为负反馈的权重值；
S403：根据敏感区域的掩膜影像mask M，非敏感区域的边缘地图以及非敏感区域对应的灰度图/>通过脱敏边缘生成网络进行迭代训练，得到脱敏边缘图Cpred：
式(7)中，Cpred为最终得到的脱敏边缘图。
2.如权利要求1所述的一种基于生成对抗网络的地理栅格智能化局部脱敏方法，其特征在于：步骤S104具体如下：
S501：将敏感区域掩膜影像mask M和预处理后数据集的地理栅格Igt进行哈达玛积运算，得到非敏感区域彩色地图栅格如式(8)：
S502：将敏感区域掩膜影像mask M、原始影像边缘图Cgt与脱敏边缘图Cpred进行组合，构造复合边缘图Ccomp，如式(9)：
Ccomp＝Cgt⊙(1-M)+Cpred⊙M (9)
S503：将S502得到的复合边缘图Ccomp、敏感区域掩膜影像mask M和非敏感区域彩色地图栅格作为输入，输入到边缘图引导补全判别器D2。
3.如权利要求2所述的一种基于生成对抗网络的地理栅格智能化局部脱敏方法，其特征在于：步骤S105具体包括以下步骤：
S601：构建图像补全网络的损失函数，共包含四项，分别为损失、对抗损失/>感知损失/>和风格损失/>利用脱敏边缘生成网络和图像补全网络联合训练；
其中，对抗损失公式如式(10)：
式(10)中，D2(Ipred，Ccomp)表示图像补全网络的判别器，其中Igt表示预处理后数据集的地理栅格，Ccomp表示复合边缘图；
感知损失计算公式如式(11)：
式(11)中，L表示最后的卷积层；i表示第i层预训练网络；φi表示预训练网络第i层的激活图；
风格损失定义如式(12)：
式(12)中，表示由激活映射构造的Gram矩阵；
整体损失函数如式(13)：
式(13)中，λadv，2、λp、λs为权重参数；
S604：根据整体损失函数，对每个像素的色彩精度以及拼接区域的平滑度进行对抗训练，得到低失真局部脱敏彩色地理栅格Ipred；
S605：边缘图引导补全生成器G2输出脱敏彩色地理栅格Ipred。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110264025.2A CN113066094B (zh) | 2021-03-09 | 2021-03-09 | 一种基于生成对抗网络的地理栅格智能化局部脱敏方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110264025.2A CN113066094B (zh) | 2021-03-09 | 2021-03-09 | 一种基于生成对抗网络的地理栅格智能化局部脱敏方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113066094A CN113066094A (zh) | 2021-07-02 |
| CN113066094B true CN113066094B (zh) | 2024-01-30 |
Family
ID=76560008
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110264025.2A Active CN113066094B (zh) | 2021-03-09 | 2021-03-09 | 一种基于生成对抗网络的地理栅格智能化局部脱敏方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113066094B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111563275A (zh) * | 2020-07-14 | 2020-08-21 | 中国人民解放军国防科技大学 | 一种基于生成对抗网络的数据脱敏方法 |
| CN111861901A (zh) * | 2020-06-05 | 2020-10-30 | 西安工程大学 | 一种基于gan网络的边缘生成图像修复方法 |
| CN111861958A (zh) * | 2020-07-10 | 2020-10-30 | 逢亿科技(上海)有限公司 | 一种基于自适应性对抗系统的图像融合算法 |
| CN112151153A (zh) * | 2020-10-23 | 2020-12-29 | 脉得智能科技(无锡)有限公司 | 一种基于生成对抗网络的胃镜图像生成方法 |
| WO2021017372A1 (zh) * | 2019-08-01 | 2021-02-04 | 中国科学院深圳先进技术研究院 | 一种基于生成对抗网络的医学图像分割方法、系统及电子设备 |
| CN112417414A (zh) * | 2020-12-04 | 2021-02-26 | 支付宝(杭州)信息技术有限公司 | 一种基于属性脱敏的隐私保护方法、装置以及设备 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11520923B2 (en) * | 2018-11-07 | 2022-12-06 | Nec Corporation | Privacy-preserving visual recognition via adversarial learning |
| US20200364624A1 (en) * | 2019-05-16 | 2020-11-19 | Retrace Labs | Privacy Preserving Artificial Intelligence System For Dental Data From Disparate Sources |
-
2021
- 2021-03-09 CN CN202110264025.2A patent/CN113066094B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021017372A1 (zh) * | 2019-08-01 | 2021-02-04 | 中国科学院深圳先进技术研究院 | 一种基于生成对抗网络的医学图像分割方法、系统及电子设备 |
| CN111861901A (zh) * | 2020-06-05 | 2020-10-30 | 西安工程大学 | 一种基于gan网络的边缘生成图像修复方法 |
| CN111861958A (zh) * | 2020-07-10 | 2020-10-30 | 逢亿科技(上海)有限公司 | 一种基于自适应性对抗系统的图像融合算法 |
| CN111563275A (zh) * | 2020-07-14 | 2020-08-21 | 中国人民解放军国防科技大学 | 一种基于生成对抗网络的数据脱敏方法 |
| CN112151153A (zh) * | 2020-10-23 | 2020-12-29 | 脉得智能科技(无锡)有限公司 | 一种基于生成对抗网络的胃镜图像生成方法 |
| CN112417414A (zh) * | 2020-12-04 | 2021-02-26 | 支付宝(杭州)信息技术有限公司 | 一种基于属性脱敏的隐私保护方法、装置以及设备 |
Non-Patent Citations (1)
| Title |
|---|
| 基于生成对抗网络的高端装备研制数据脱敏方法;向南;张雄涛;豆亚杰;徐向前;杨克巍;谭跃进;;系统工程与电子技术(第06期);第112-118页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113066094A (zh) | 2021-07-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107945204B (zh) | 一种基于生成对抗网络的像素级人像抠图方法 | |
| CN109886121B (zh) | 一种遮挡鲁棒的人脸关键点定位方法 | |
| CN111191583B (zh) | 基于卷积神经网络的空间目标识别系统及方法 | |
| CN111507378A (zh) | 训练图像处理模型的方法和装置 | |
| CN110533024B (zh) | 基于多尺度roi特征的双二次池化细粒度图像分类方法 | |
| CN112183635A (zh) | 一种多尺度反卷积网络实现植物叶部病斑分割与识别方法 | |
| CN110619059B (zh) | 一种基于迁移学习的建筑物标定方法 | |
| CN111476806B (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| CN110175248B (zh) | 一种基于深度学习和哈希编码的人脸图像检索方法和装置 | |
| CN110210493B (zh) | 基于非经典感受野调制神经网络的轮廓检测方法及系统 | |
| CN113627472A (zh) | 基于分层深度学习模型的智慧园林食叶害虫识别方法 | |
| CN111461213A (zh) | 一种目标检测模型的训练方法、目标快速检测方法 | |
| CN113222123A (zh) | 模型训练方法、装置、设备及计算机存储介质 | |
| CN112613504A (zh) | 一种声呐水下目标检测方法 | |
| CN112598031A (zh) | 一种蔬菜病害检测方法及系统 | |
| CN116740422A (zh) | 基于多模态注意力融合技术的遥感图像分类方法及装置 | |
| CN111625457A (zh) | 基于改进的dqn算法的虚拟自动驾驶测试优化方法 | |
| CN114821229A (zh) | 基于条件生成对抗网络的水下声学数据集增广方法及系统 | |
| CN114638408A (zh) | 一种基于时空信息的行人轨迹预测方法 | |
| CN114492634A (zh) | 一种细粒度装备图片分类识别方法及系统 | |
| CN113066094B (zh) | 一种基于生成对抗网络的地理栅格智能化局部脱敏方法 | |
| CN116129189A (zh) | 一种植物病害识别方法、设备、存储介质及装置 | |
| CN116363461A (zh) | 多视图儿童肿瘤病理图像分类的深度网络增量学习方法 | |
| US20220092448A1 (en) | Method and system for providing annotation information for target data through hint-based machine learning model | |
| CN115713624A (zh) | 一种增强遥感影像多尺度特征的自适应融合语义分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |