CN114817951A - 一种多模态隐私敏感数据检测及加密方法 - Google Patents
一种多模态隐私敏感数据检测及加密方法 Download PDFInfo
- Publication number
- CN114817951A CN114817951A CN202210349108.6A CN202210349108A CN114817951A CN 114817951 A CN114817951 A CN 114817951A CN 202210349108 A CN202210349108 A CN 202210349108A CN 114817951 A CN114817951 A CN 114817951A
- Authority
- CN
- China
- Prior art keywords
- data
- sample
- neural network
- data set
- prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000001514 detection method Methods 0.000 title claims abstract description 21
- 238000003062 neural network model Methods 0.000 claims abstract description 25
- 238000012549 training Methods 0.000 claims abstract description 18
- 238000007781 pre-processing Methods 0.000 claims abstract description 16
- 239000013598 vector Substances 0.000 claims description 15
- 238000005070 sampling Methods 0.000 claims description 13
- 238000010586 diagram Methods 0.000 claims description 10
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 230000005764 inhibitory process Effects 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 4
- 230000008451 emotion Effects 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000009432 framing Methods 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 4
- 230000000739 chaotic effect Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000030279 gene silencing Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/602—Providing cryptographic facilities or services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/01—Social networking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- Bioinformatics & Computational Biology (AREA)
- Economics (AREA)
- Evolutionary Biology (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Bioethics (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种多模态隐私敏感数据检测及加密方法,包括:分别构造一组适用于文本、图像、语音的特征提取器和权重生成器,并构造一组相应的预测模块从而获得整体的神经网络模型;在原数据集的基础上生成支撑数据集,针对原数据集和支撑数据集中的不同模态数据,采用不同模态对应的方法进行预处理,将预处理后的数据输入至神经网络模型中;将构造的特征提取器和预测模块进行组合,在隐私敏感数据集上进行训练获得第一阶段神经网络模型;将构造的权重生成器接入训练好的第一阶段神经网络模型进行联合训练,获得最终整体的神经网络模型,将待检测样本输入完成训练的神经网络模型进行隐私区域检测,并对检测出的区域进行加密操作。
Description
技术领域
本发明涉及隐私数据安全领域,尤其涉及一种多模态隐私敏感数据检测及加密方法。
背景技术
随着网络社交应用的高速发展,微博、朋友圈等社交平台已经成为大多数人分享个人日常的渠道。但是随之而来的是各式各样的个人隐私泄露问题,不经意间分享的笔记、图片、语音或视频都有可能成为不法分子的谋利工具。而现如今的隐私检测技术大多采用传统的RMM分词算法、贝叶斯分类算法等。这些方法采用了人为的方法来对隐私特征进行定义,如绿坝花季护航系统简单的将肉色定义为色情内容。并且现有方法大都是针对单一模态数据,而实际生活中往往需要面对多种模态的数据。
发明内容
根据现有技术存在的问题,本发明公开了一种多模态隐私敏感数据检测及加密方法,具体包括如下步骤:
分别构造一组适用于文本、图像、语音的特征提取器和权重生成器,并构造一组相应的预测模块从而获得整体的神经网络模型;
在原数据集的基础上生成支撑数据集,针对原数据集和支撑数据集中的不同模态数据,采用不同模态对应的方法进行预处理,将预处理后的数据输入至神经网络模型中;
将构造的特征提取器和预测模块进行组合,在隐私敏感数据集上进行训练获得第一阶段神经网络模型;
将构造的权重生成器接入训练好的第一阶段神经网络模型进行联合训练,获得最终整体的神经网络模型,该权重生成器从数据集中提取出相应模态的各类别的权重向量,并以该向量对检测样本的特征图进行加权,从而对加权后的特征图进行预测;
将待检测样本输入完成训练的神经网络模型进行隐私区域检测,并对检测出的区域进行加密操作。
进一步的,构造基于LSTM的RNN模型作为文本特征提取器,将文本特征提取器每个时序下的输出构成特征图,在公开的数据集上对RNN模型进行情感预测任务的训练,将训练好的特征提取器用于文本特征提取,同时构造一个同样的RNN模型作为文本权重生成器,以最后一个时序的输出作为权重生成器的输出;
利用一维卷积构造文本中隐私区域预测模块,对RNN模型输出的二维特征图进行预测;
构造ResNet模型并作为图像特征提取器,对该图像特征提取器进行图片分类任务的训练,获得训练好的图像特征提取器,构造一个同样的ResNet模型并将其输出层改为全局平局池化层,作为图像权重生成器;
利用二维卷积构造图像中隐私区域预测模块,对ResNet输出的三维特征图进行预测。
进一步的,根据标注信息对原始数据中的隐私区域进行截取并分类,将所有隐私区域单独截取作为支撑数据构成支撑数据集;
采用Skip-gram算法将文本数据映射到新的多维空间中,获得文本嵌入向量;
将图像转为RGB图像,并对图像进行缩放和填充从而获得固定大小的图像,对裁剪后的图像进行像素值归一化处理;
构建汉明窗,利用该汉明窗对音频数据进行分帧加窗,再对处理完的数据进行快速傅里叶变换,将时域信号转换成频域信号,从而获得音频数据的语谱图。
进一步的,将视频数据进行分帧读取获得多张图像数据,再对多张图像数据进行预处理操作。
进一步的,在原始数据集中采样某一模态数据作为待检测样本,并对待检测样本进行预处理;
将预处理后的数据输入该模态对应的特征提取器中获得特征图;
将特征图上的每个点设置为锚点并生成多个不同大小的先验框,将特征图输入该模态对应的预测模块,获得预测结果,对预测框进行非极大抑制,获得最终的预测框及其分类结果;
选取类置信度和先验框调整参数对应的损失函数并进行反向传播和模型参数更新;
重复上述过程对第一阶段神经网络进行训练。
进一步的,在原始数据集中随机采样某一模态数据作为待检测样本,在支撑数据集中该模态下对每个类别随机采样一个样本作为支撑样本,采用相应的模态预处理方法对采样数据进行处理;
将待检测样本和支撑样本分别输入该模态对应的特征提取器和权重生成器,获得特征图和各类别的权重向量;
利用各类别的权重向量对特征图进行加权操作,对于文本特征图采用逐行相乘、图像特征图和音频特征图采用逐通道相乘的方法,获得每个类别的加权特征图;
将各个类别的加权特征图上的每个点设置为锚点并生成多个大小不同的先验框,将预测模块最后一层类别预测输出维度改为一,利用改变后的预测模块对各个类别的加权特征图进行预测,获得各类别的预测结果,对预测框进行非极大抑制,获得最终的预测框及其分类结果;
选取类置信度和先验框调整参数对应的损失函数并进行反向传播和模型参数更新;
重复上述过程对整体的神经网络进行训练。
进一步的,输入所需检测的数据样本,判断其模态类型,在支撑数据集中的该模态下对每个类别随机采样一个样本作为支撑样本,根据模态类型选择相应的数据预处理方法对数据样本和支撑样本进行预处理,将预处理后的数据输入训练好的神经网络模型,该神经网络模型根据该模态类型选择相应的模块进行预测,获得预测框及其分类结果;
按照模态类型对检测样本的预测框区域进行加密处理,采用该模态对应的加密方法进行检测样本的预测框区域进行局部加密。
由于采用了上述技术方案,本发明提供的一种多模态隐私敏感数据检测及加密方法,该方法可有效解决不同模态情况下数据中隐私敏感内容的检测,从而能够进一步对隐私区域进行加密处理;本发明提出的算法简单且高效,通过利用了深度学习模型,能够准确地识别出多种模态下的隐私敏感区域及其类别,为个人隐私提供了有力的保护。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明方法的流程图;
图2为本发明中加权过程原理图;
图3为本发明中先验框设置方法原理图;
图4为本发明中图像加密及解密结果示意图。
具体实施方式
为使本发明的技术方案和优点更加清楚,下面结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚完整的描述:
如图1所示的一种多模态隐私敏感数据检测及加密方法,具体包括如下步骤:
S1:模型初始化阶段:分别构造一组适用于文本、图像、语音的特征提取器和权重生成器,并构造一组相应的预测模块。具体采用如下方式:
S11:构造基于LSTM的RNN模型作为特征提取器,将每个时序下的输出构成特征图,并在IMDB数据集上对两个模型进行情感预测任务的训练,获得训练好的特征提取器用于文本特征提取。同时构造一个同样的RNN模型作为权重生成器,以最后一个时序的输出作为模型的输出;
S12:利用一维卷积构造文本隐私区域预测模块,对RNN输出的二维特征图进行预测;
S13:构造ResNet模型作为特征提取器,并在ImageNet上进行图片分类任务的训练,获得训练好的特征提取器用于图像特征提取。同时构造一个同样的ResNet模型并将其输出层改为全局平局池化层,作为权重生成器;
S14:利用二维卷积构造图像中隐私区域预测模块,对ResNet输出的三维特征图进行预测;
S15:构造DFCNN模型作为特征提取器,并在THCHS30上进行语音识别任务的训练,获得训练好的特征提取器用于音频特征提取。同时构造一个同样的DFCNN模型并将其输出层改为全局平局池化层,作为权重生成器;
S16:利用二维卷积构造图像中隐私区域预测模块,对DFCNN输出的一维多通道特征图进行预测。
S2:数据预处理阶段:在原数据集的基础上生成支撑数据集。然后针对原数据集和支撑数据集中的不同模态数据,采用相应的方法进行预处理,使其能够直接输入神经网络模型。具体采用如下方式:
S21:按照标注信息对于原始数据中的隐私区域进行截取并分类,将所有隐私区域单独截取出来作为支撑数据构成支撑数据集;
S22:利用Skip-gram算法将文本数据映射到新的多维空间中,获得其嵌入向量;
S22:将图像转为RGB图像,并对图像进行缩放和填充以获得固定大小的图像,对裁剪后的图像像素值归一化;
S23:利用如下公式构建汉明窗,利用该汉明窗对音频数据进行分帧加窗,然后对处理完的数据进行快速傅里叶变换,将时域信号转到频域上来;
S24:对视频数据分帧读取为多张图像数据,转化为图像处理方法。
S3:训练第一阶段:将构造的特征提取器和预测模块进行组合,在隐私敏感数据集上进行训练。具体采用如下方式:
S31:在原始数据集中采样某一模态数据作为待检测样本,并根据该模态采用相应的方法进行的预处理;
S32:将预处理后的数据输入该模态对应的特征提取器中,获得特征图;
S33:将特征图上的每个点设置为锚点并生成3个不同大小的先验框,然后将特征图输入该模态对应的预测模块,获得预测结果[先验框,两个先验框调整参数,分类置信度],其中先验框调整参数对于文本和音频数据为左右边框调整值,对图像数据为宽高调整值。然后对预测框进行非极大抑制,获得合理的预测框及其分类;
S34:利用Focal Loss和IOU Loss分别作为分类置信度和先验框调整参数的损失函数进行反向传播更新模型参数;
S35:重复S31-S34进行训练。
S4:训练第二阶段:将构造的权重生成器接入训练好的第一阶段模型进行联合训练。该权重生成器从数据集中提取出相应模态的各类别的权重向量,并以该向量对检测样本的特征图进行加权,随后对加权后的特征图进行预测。具体采用如下方式:
S41:在原始数据集中随机采样某一模态数据作为待检测样本,同时在支撑数据集中该模态下对每个类别随机采样一个样本作为支撑样本。采用相应的模态预处理方法对采样数据进行处理;
S42:将待检测样本和支撑样本分别输入该模态对应的特征提取器和权重生成器,获得特征图和各类别的权重向量;
S43:利用各类别的权重向量对特征图进行加权操作,对于文本特征图采用逐行相乘、图像特征图和音频特征图采用逐通道相乘的方法,获得每个类别的加权特征图。加权模块如图2所示;
S44:将各个类别的加权特征图上的每个点设置为锚点并生成3个不同大小先验框,先验框设置如图3所示。将预测模块最后一层类别预测输出维度改为一,然后利用改变后的预测模块对各个类别的加权特征图进行预测,获得各类别的预测结果[先验框,两个先验框调整参数,属于该类别的置信度],并对所有预测结果中属于该类别的置信度这一维度进行Softmax。然后对预测框进行非极大抑制,获得合理的预测框及其分类;
S45:利用Focal Loss和IOU Loss作为损失函数进行反向传播更新模型参数;
S46:重复S41-S45进行训练。
S5:在线检测加密阶段:将待检测样本输入模型进行隐私区域检测,并对于检测出的区域进行加密操作。具体采用如下方式:
S51:输入所需检测的数据样本,判断其模态类型,在支撑集中的该模态下对每个类别随机采样一个样本作为支撑样本,同时根据模态类型选择相应的数据预处理方法对数据样本和支撑样本进行预处理;
S52:将预处理后的数据输入训练好的神经网络模型,神经网络模型根据该模态类型选择相应的模块进行预测,获得预测框及其分类结果;
S53:按照模态类型对检测样本的预测框区域进行加密处理。采用DES加密算法对文本数据加密;基于混沌Logistic加密算法对图像数据加密,图像加密结果如图4所示;对音频进行消音处理。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,根据本发明的技术方案及其发明构思加以等同替换或改变,都应涵盖在本发明的保护范围之内。
Claims (7)
1.一种多模态隐私敏感数据检测及加密方法,其特征在于包括:
分别构造一组适用于文本、图像、语音的特征提取器和权重生成器,并构造一组相应的预测模块从而获得整体的神经网络模型;
在原数据集的基础上生成支撑数据集,针对原数据集和支撑数据集中的不同模态数据,采用不同模态对应的方法进行预处理,将预处理后的数据输入至神经网络模型中;
将构造的特征提取器和预测模块进行组合,在隐私敏感数据集上进行训练获得第一阶段神经网络模型;
将构造的权重生成器接入训练好的第一阶段神经网络模型进行联合训练,获得最终整体的神经网络模型,该权重生成器从数据集中提取出相应模态的各类别的权重向量,并以该向量对检测样本的特征图进行加权,从而对加权后的特征图进行预测;
将待检测样本输入完成训练的神经网络模型进行隐私区域检测,并对检测出的区域进行加密操作。
2.根据权利要求1所述的方法,其特征在于:构造基于LSTM的RNN模型作为文本特征提取器,将文本特征提取器每个时序下的输出构成特征图,在公开的数据集上对RNN模型进行情感预测任务的训练,将训练好的特征提取器用于文本特征提取,同时构造一个同样的RNN模型作为文本权重生成器,以最后一个时序的输出作为权重生成器的输出;
利用一维卷积构造文本中隐私区域预测模块,对RNN模型输出的二维特征图进行预测;
构造ResNet模型并作为图像特征提取器,对该图像特征提取器进行图片分类任务的训练,获得训练好的图像特征提取器,构造一个同样的ResNet模型并将其输出层改为全局平局池化层,作为图像权重生成器;
利用二维卷积构造图像中隐私区域预测模块,对ResNet输出的三维特征图进行预测。
3.根据权利要求1所述的方法,其特征在于:
根据标注信息对原始数据中的隐私区域进行截取并分类,将所有隐私区域单独截取作为支撑数据构成支撑数据集;
采用Skip-gram算法将文本数据映射到新的多维空间中,获得文本嵌入向量;
将图像转为RGB图像,并对图像进行缩放和填充从而获得固定大小的图像,对裁剪后的图像进行像素值归一化处理;
构建汉明窗,利用该汉明窗对音频数据进行分帧加窗,再对处理完的数据进行快速傅里叶变换,将时域信号转换成频域信号,从而获得音频数据的语谱图。
4.根据权利要求3所述的方法,其特征在于:将视频数据进行分帧读取获得多张图像数据,再对多张图像数据进行预处理操作。
5.根据权利要求1所述的方法,其特征在于:
在原始数据集中采样某一模态数据作为待检测样本,并对待检测样本进行预处理;
将预处理后的数据输入该模态对应的特征提取器中获得特征图;
将特征图上的每个点设置为锚点并生成多个不同大小的先验框,将特征图输入该模态对应的预测模块,获得预测结果,对预测框进行非极大抑制,获得最终的预测框及其分类结果;
选取类置信度和先验框调整参数对应的损失函数并进行反向传播和模型参数更新;
重复上述过程对第一阶段神经网络进行训练。
6.根据权利要求1所述的方法,其特征在于:
在原始数据集中随机采样某一模态数据作为待检测样本,在支撑数据集中该模态下对每个类别随机采样一个样本作为支撑样本,采用相应的模态预处理方法对采样数据进行处理;
将待检测样本和支撑样本分别输入该模态对应的特征提取器和权重生成器,获得特征图和各类别的权重向量;
利用各类别的权重向量对特征图进行加权操作,对于文本特征图采用逐行相乘、图像特征图和音频特征图采用逐通道相乘的方法,获得每个类别的加权特征图;
将各个类别的加权特征图上的每个点设置为锚点并生成多个大小不同的先验框,将预测模块最后一层类别预测输出维度改为一,利用改变后的预测模块对各个类别的加权特征图进行预测,获得各类别的预测结果,对预测框进行非极大抑制,获得最终的预测框及其分类结果;
选取类置信度和先验框调整参数对应的损失函数并进行反向传播和模型参数更新;
重复上述过程对整体的神经网络进行训练。
7.根据权利要求1所述的方法,其特征在于:
输入所需检测的数据样本,判断其模态类型,在支撑数据集中的该模态下对每个类别随机采样一个样本作为支撑样本,根据模态类型选择相应的数据预处理方法对数据样本和支撑样本进行预处理,将预处理后的数据输入训练好的神经网络模型,该神经网络模型根据该模态类型选择相应的模块进行预测,获得预测框及其分类结果;
按照模态类型对检测样本的预测框区域进行加密处理,采用该模态对应的加密方法进行检测样本的预测框区域进行局部加密。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210349108.6A CN114817951B (zh) | 2022-04-01 | 2022-04-01 | 一种多模态隐私敏感数据检测及加密方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210349108.6A CN114817951B (zh) | 2022-04-01 | 2022-04-01 | 一种多模态隐私敏感数据检测及加密方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114817951A true CN114817951A (zh) | 2022-07-29 |
CN114817951B CN114817951B (zh) | 2024-08-27 |
Family
ID=82532662
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210349108.6A Active CN114817951B (zh) | 2022-04-01 | 2022-04-01 | 一种多模态隐私敏感数据检测及加密方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114817951B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115620214A (zh) * | 2022-12-20 | 2023-01-17 | 浙江奥鑫云科技有限公司 | 一种用于网络信息数据的安全处理方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190267133A1 (en) * | 2018-02-27 | 2019-08-29 | NEC Laboratories Europe GmbH | Privacy-preserving method and system for medical appointment scheduling using embeddings and multi-modal data |
CN111460494A (zh) * | 2020-03-24 | 2020-07-28 | 广州大学 | 面向多模态深度学习的隐私保护方法及系统 |
CN112801265A (zh) * | 2020-11-30 | 2021-05-14 | 华为技术有限公司 | 一种机器学习方法以及装置 |
CN113159116A (zh) * | 2021-03-10 | 2021-07-23 | 中国科学院大学 | 一种基于类间距平衡的小样本图像目标检测方法 |
CN114154077A (zh) * | 2021-10-21 | 2022-03-08 | 北京邮电大学 | 多维度细粒度动态情感分析方法及系统 |
-
2022
- 2022-04-01 CN CN202210349108.6A patent/CN114817951B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190267133A1 (en) * | 2018-02-27 | 2019-08-29 | NEC Laboratories Europe GmbH | Privacy-preserving method and system for medical appointment scheduling using embeddings and multi-modal data |
CN111460494A (zh) * | 2020-03-24 | 2020-07-28 | 广州大学 | 面向多模态深度学习的隐私保护方法及系统 |
CN112801265A (zh) * | 2020-11-30 | 2021-05-14 | 华为技术有限公司 | 一种机器学习方法以及装置 |
CN113159116A (zh) * | 2021-03-10 | 2021-07-23 | 中国科学院大学 | 一种基于类间距平衡的小样本图像目标检测方法 |
CN114154077A (zh) * | 2021-10-21 | 2022-03-08 | 北京邮电大学 | 多维度细粒度动态情感分析方法及系统 |
Non-Patent Citations (1)
Title |
---|
叶卫华;: "多模态神经网络在复杂大数据特征学习中的应用", 电子技术与软件工程, no. 11, 8 June 2018 (2018-06-08) * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115620214A (zh) * | 2022-12-20 | 2023-01-17 | 浙江奥鑫云科技有限公司 | 一种用于网络信息数据的安全处理方法 |
Also Published As
Publication number | Publication date |
---|---|
CN114817951B (zh) | 2024-08-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111639692B (zh) | 一种基于注意力机制的阴影检测方法 | |
US20230081645A1 (en) | Detecting forged facial images using frequency domain information and local correlation | |
CN110084734B (zh) | 一种基于物体局部生成对抗网络的大数据权属保护方法 | |
US20230021661A1 (en) | Forgery detection of face image | |
CN113642634A (zh) | 一种基于混合注意力的阴影检测方法 | |
CN109359541A (zh) | 一种基于深度迁移学习的素描人脸识别方法 | |
US20220318349A1 (en) | Liveness detection using audio-visual inconsistencies | |
CN112861945B (zh) | 一种多模态融合谎言检测方法 | |
CN113569740B (zh) | 视频识别模型训练方法与装置、视频识别方法与装置 | |
CN111881944A (zh) | 图像鉴别的方法、电子设备和计算机可读介质 | |
CN113807214B (zh) | 基于deit附属网络知识蒸馏的小目标人脸识别方法 | |
CN113837942A (zh) | 基于srgan的超分辨率图像生成方法、装置、设备及存储介质 | |
das Neves et al. | A fast fully octave convolutional neural network for document image segmentation | |
CN114817951B (zh) | 一种多模态隐私敏感数据检测及加密方法 | |
Xu et al. | SFRNet: Feature Extraction‐Fusion Steganalysis Network Based on Squeeze‐and‐Excitation Block and RepVgg Block | |
KR102014288B1 (ko) | 드론을 이용한 인공지능 기반 개발압력 예측방법 | |
Xu et al. | Steganography algorithms recognition based on match image and deep features verification | |
Le et al. | Locality and relative distance-aware non-local networks for hand-raising detection in classroom video | |
De La Croix et al. | A Scheme Based on Convolutional Neural Network and Fuzzy Logic to Identify the Location of Possible Secret Data in a Digital Image. | |
CN113449751A (zh) | 基于对称性和群论的物体-属性组合图像识别方法 | |
CN118366478B (zh) | 基于音素间隔序列的生成音频鉴别与生成区域定位方法 | |
CN113642363B (zh) | 神经网络及其训练方法 | |
CN118298852B (zh) | 一种基于高频特征的区域生成音频检测与定位方法及装置 | |
CN117292437B (zh) | 一种唇语识别方法、装置、芯片及终端 | |
CN113177457B (zh) | 用户服务方法、装置、设备及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |