CN115310122B - 一种多模态数据融合训练中的隐私参数优化方法 - Google Patents

一种多模态数据融合训练中的隐私参数优化方法 Download PDF

Info

Publication number
CN115310122B
CN115310122B CN202210821237.0A CN202210821237A CN115310122B CN 115310122 B CN115310122 B CN 115310122B CN 202210821237 A CN202210821237 A CN 202210821237A CN 115310122 B CN115310122 B CN 115310122B
Authority
CN
China
Prior art keywords
privacy
data
sensitive
accuracy
parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210821237.0A
Other languages
English (en)
Other versions
CN115310122A (zh
Inventor
孙哲
殷丽华
王思敏
方滨兴
韩伟红
张美范
李然
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou University
Original Assignee
Guangzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou University filed Critical Guangzhou University
Priority to CN202210821237.0A priority Critical patent/CN115310122B/zh
Publication of CN115310122A publication Critical patent/CN115310122A/zh
Application granted granted Critical
Publication of CN115310122B publication Critical patent/CN115310122B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种多模态数据融合训练中的隐私参数优化方法，包括以下步骤：S1：客户端用户对隐私保护效果进行设定；S2：客户端针对文本、图像、音频的各类型数据使用对应的隐私保护方法进行脱敏处理，对脱敏处理后的数据进行单独模态的分类训练；S3：得出包含敏感数据准确率和非敏感数据准确率的各模态的分类准确率，判断敏感数据准确率是否满足用户需求；S4：基于权重自分配算法完成信息融合，得出最终的目标分类结果及敏感信息分类结果accns，accs；S5：服务器分别对敏感及非敏感数据分类结果进行评估。本发明提供的隐私参数优化方法，可有效提高分类结果的准确性，在满足用户隐私保护需求的前提下达到最佳准确率。

Description

一种多模态数据融合训练中的隐私参数优化方法
技术领域
本发明涉及多模态学习、隐私保护技术领域，具体为一种针对多模态深度学习隐私保护的数据可用性优化方法。
背景技术
多模态深度学习的目标是创建可以使用各种模态处理和链接信息的模型。单模态学习虽然得到了广泛的发展，但还不能涵盖人类学习的所有方面。多模态学习有助于更好地理解和分析不同感官参与信息处理的过程。多模态学习可以聚合多源数据的信息，使得模型学习到的表示更加完备。以视频分类为例，同时使用字幕标题等文本信息、音频信息和视觉信息的多模态模型要显著好于只使用任意一种信息的单模态模型。
多模态学习中一般针对各个模态进行分别隐私保护。比如多模态专利殷丽华等提出一个面向多模态深度学习的隐私保护方法，根据不同隐私保护场景、不同模态数据有针对性地设计了不同的隐私保护方法，在保证业务任务准确率的前提下，有效实现用户隐私保护。但是为数据添加隐私保护时，由于多种隐私保护机制叠加，导致融合训练时出现数据可用性危机，而此类方法并未在数据可用性和隐私保护效果之间做出权衡，使数据可用性与保护效果达到最佳范围。
总的来说，现有技术的问题在于：部分多模态深度学习任务加入了隐私保护手段，但是有可能由于过于强调隐私保护效果而大幅降低数据的可用性，造成多模态分析结果低于单模态分析结果的准确率。此类方法并不能保证数据可用性与保护效果达到最佳范围。
发明内容
有鉴于现有问题，本发明的目的在于提供一种多模态数据融合训练中的隐私参数优化方法，以解决上述问题。
本发明提供如下的技术方案：
一种多模态数据融合训练中的隐私参数优化方法，包括以下步骤：S1：客户端用户对隐私保护效果进行设定；S2：客户端针对文本、图像、音频的各类型数据使用对应的隐私保护方法进行脱敏处理，对脱敏处理后的数据进行单独模态的分类训练，得到目标训练结果accT,accA,accV；S3：得出包含敏感数据准确率和非敏感数据准确率的各模态的分类准确率，进行局部反馈判断敏感数据准确率是否满足用户需求；若敏感数据准确率高于用户设定的敏感数据准确率上限，则分别记录并调整当前文本、音频、图像的隐私参数θt,∈,θ回退至步骤S2，根据调整情况记录θtmin,∈max,θmin；若敏感数据准确率满足用户需求则将加入隐私保护后的数据及分类结果上传至服务器；S4：基于权重自分配算法完成信息融合，得出最终的目标分类结果及敏感信息分类结果accns，accs；S5：服务器分别对敏感及非敏感数据分类结果进行评估，根据评估结果向客户端进行整体反馈，调整并记录隐私参数，回退到步骤S2。
步骤S1中的设定包括设定敏感信息保护项目和用户可接受的分类器对设定敏感信息识别准确率的阈值。
步骤S2中脱敏处理需缓存当前脱敏数据，并处理后期步骤提供的反馈信息，脱敏处理包括以下模块：文本脱敏模块、音频脱敏模块、图像脱敏模块。
优选地，文本脱敏模块包括以下操作：设置隐私参数θt，为每个敏感词类型分配一个敏感词库，以隐私参数θt为比重，将采集的文本数据与θt比例的敏感词库进行对照，若符合则对该敏感词进行替换，替换为无关信息，并将原始信息保留，用于接受反馈后进行处理；若局部反馈高于用户设置的敏感信息识别准确率阈值，则将文本敏感词范围参数θt调大，并将原始参数记录为下限θtmin，利用原始数据重新进行脱敏处理。
优选地，音频脱敏模块通过差分隐私机制，根据隐私预算参数为音频添加基于差分隐私的高斯噪声，并将原始信息保留，用于接收反馈后进行处理，若局部反馈高于用户设置的敏感信息识别准确率阈值，则将音频的隐私预算参数∈调小，并将原始参数记录为上限∈max，利用原始数据重新添加高斯噪声。
优选地，图像脱敏模块根据隐私预算参数通过对抗算法对图像特征方面进行加噪，并将原始数据保留，用于接受反馈后进行处理，若局部反馈高于用户设置的敏感信息识别准确率阈值，则将图像的扰动参数θ调大，并将原始参数记录为下限θmin，利用原始数据重新加噪。
步骤S3中调整记录的操作若为调大隐私参数则记录为下限，调小隐私参数则记录为上限；文本、音频、图像分别对应调整文本敏感词范围、差分隐私中的隐私预算、图像中的扰动大小。
优选地，步骤S4中权重自分配算法包括：
基于注意力机制分配权重：通过协方差描述不同模态的相似性，依据与注意力关注对象的相关程度设计打分函数，给每个模态计算一个score，对所得到的score，通过一个softmax函数，得到最后的权重：
αi＝softmax(si)；
基于强化学习一般建模过程更新权重：通过融合函数f(x)＝WX，计算最优解
Figure BDA0003744558530000031
其中W为权重矩阵，X为各模态数据。
步骤S5的评估方法通过将accns与accT,accA,accV进行比较，确保多模态融合后的分类结果大于单个模态分类结果。
步骤S5的所述评估方法中，若分类结果小于单个模态分类结果，则判定分类失败，向客户端发送包含整体非敏感准确率、分类结果参数Fns和敏感信息准确率accs，客户端根据分类失败结果依次调小敏感词范围、调大隐私预算、调小扰动大小，并记录原始参数为θtmax,∈min,θmax，回退到步骤S2；若判定为分类成功，则继续比较敏感信息准确率accs和用户设定的敏感数据准确率上限，若高于上限则依次调大敏感词范围、调小隐私预算、调大扰动大小，并记录原始参数为θtmin,∈max,θmin，回退到步骤S2。
本发明的有益技术效果在于：
本发明提供的多模态数据融合训练中的隐私参数优化方法，与普通的多模态深度学习隐私保护方法相比，通过基于反馈机制的多模态隐私保护训练策略有效地提高了最终分类结果的准确性，在满足用户隐私保护需求的情况下实现准确率的最佳范围；此外，通过有针对性地设置阈值和不同的权重组合，均衡的提高了分类准确率。
附图说明
图1是本发明提供的多模态数据融合训练中的隐私参数反馈方法的流程示意图；
图2是本发明提供的多模态数据融合训练中的隐私参数反馈方法中隐私参数反馈机制示意图；
图3是本发明提供的多模态数据融合训练中的隐私参数反馈方法中基于注意力机制的自权重分配的方法示意图；
图4是本发明提供的多模态数据融合训练中的隐私参数反馈方法中基于强化学习一般建模过程更新权重的方法示意图。
具体实施方式
下面对本发明的实施例作详细说明，下述的实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，在不冲突的情况下，本文所描述的实施例可以与其它实施例相结合。
实施例1
如图1，本发明实施例提供的多模态数据融合训练中的隐私参数优化方法，其包括以下步骤：
S1：客户端用户对隐私保护效果进行设定；S2：客户端针对文本、图像、音频的各类型数据使用对应的隐私保护方法进行脱敏处理，对脱敏处理后的数据进行单独模态的分类训练，得到目标训练结果accT,accA,accV；S3：得出包含敏感数据准确率和非敏感数据准确率的各模态的分类准确率，进行局部反馈判断敏感数据准确率是否满足用户需求；若敏感数据准确率高于用户设定的敏感数据准确率上限，则分别记录并调整当前文本、音频、图像的隐私参数θt,∈,θ回退至步骤S2，根据调整情况记录θtmin,∈max,θmin；若敏感数据准确率满足用户需求则将加入隐私保护后的数据及分类结果上传至服务器；S4：基于权重自分配算法完成信息融合，得出最终的目标分类结果及敏感信息分类结果accns，accs；S5：服务器分别对敏感及非敏感数据分类结果进行评估，根据评估结果向客户端进行整体反馈，调整并记录隐私参数，回退到步骤S2。
步骤S1中的设定包括设定敏感信息保护项目和用户可接受的分类器对设定敏感信息识别准确率的阈值。
步骤S2中脱敏处理需缓存当前脱敏数据，并处理后期步骤提供的反馈信息，脱敏处理包括以下模块：文本脱敏模块、音频脱敏模块、图像脱敏模块。
文本脱敏模块包括以下操作：设置隐私参数θt，为每个敏感词类型分配一个敏感词库，以隐私参数θt为比重，将采集的文本数据与θt比例的敏感词库进行对照，若符合则对该敏感词进行替换，替换为无关信息，并将原始信息保留，用于接受反馈后进行处理；若局部反馈高于用户设置的敏感信息识别准确率阈值，则将文本敏感词范围参数θt调大，并将原始参数记录为下限θtmin，利用原始数据重新进行脱敏处理。
音频脱敏模块通过差分隐私机制，根据隐私预算参数为音频添加基于差分隐私的高斯噪声，并将原始信息保留，用于接收反馈后进行处理，若局部反馈高于用户设置的敏感信息识别准确率阈值，则将音频的隐私预算参数∈调小，并将原始参数记录为上限∈max，利用原始数据重新添加高斯噪声。
图像脱敏模块根据隐私预算参数通过对抗算法对图像特征方面进行加噪，并将原始数据保留，用于接受反馈后进行处理，若局部反馈高于用户设置的敏感信息识别准确率阈值，则将图像的扰动参数θ调大，并将原始参数记录为下限θmin，利用原始数据重新加噪。
步骤S3中调整记录的操作若为调大隐私参数则记录为下限，调小隐私参数则记录为上限；文本、音频、图像分别对应调整文本敏感词范围、差分隐私中的隐私预算、图像中的扰动大小。
步骤S4中权重自分配算法包括：
如图3所示，基于注意力机制分配权重：通过协方差描述不同模态的相似性，依据与注意力关注对象的相关程度设计打分函数，给每个模态计算一个score，对所得到的score，通过一个softmax函数，得到最后的权重：
αi＝softmax(si)；
如图4所示，基于强化学习一般建模过程更新权重：通过融合函数f(x)＝WX，计算最优解
Figure BDA0003744558530000051
其中W为权重矩阵，X为各模态数据。
步骤S5的评估方法通过将accns与accT,accA,accV进行比较，确保多模态融合后的分类结果大于单个模态分类结果。
步骤S5的所述评估方法中，若分类结果小于单个模态分类结果，则判定分类失败，向客户端发送包含整体非敏感准确率、分类结果参数Fns和敏感信息准确率accs，客户端根据分类失败结果依次调小敏感词范围、调大隐私预算、调小扰动大小，并记录原始参数为θtmax,∈min,θmax，回退到步骤S2；若判定为分类成功，则继续比较敏感信息准确率accs和用户设定的敏感数据准确率上限，若高于上限则依次调大敏感词范围、调小隐私预算、调大扰动大小，并记录原始参数为θtmin,∈max,θmin，回退到步骤S2。
实施例2
实施例2是在实施例1的基础上，进一步公开一种在驾驶场景的情绪识别中多模态学习的数据融合中隐私参数优化方法的具体应用，其中未提及的必要计算过程和算法与实施例1中相同，其实现过程的不同之处如下：
1.使用有标签的图像、音频以及文本数据进行隐私保护方法处理。
2.对处理后的不同类型数据分别进行分类，并验证隐私保护效果是否达标，达标后基于动态路由协议的权重自选择算法对不同模态下各情绪类别的权重进行自动分配，完成信息融合，得出情绪分类结果。
3.根据分类结果的准确性判断数据可用性是否达标，如果未能达标则向车载客户端发送反馈消息，使车载客户端减小隐私保护参数，然后从第二步开始继续进行新一轮训练，直到达到数据可用性的标准，完成训练。
4.将系统分成两部分部署到车载客户端和服务器上，车载客户端负责采集和使用隐私保护方法处理数据，并分别训练数据，服务器负责多模态融合训练并将结果反馈给客户端。
5.车载客户端部署于汽车内部，采集驾驶人员数据，包括图像、音频以及由音频识别转化得到的文本数据。
6.车载客户端针对不同类型数据应用不同的隐私保护方法进行处理，并将处理后的数据上传到云服务器。
7.云服务器对音频、图像和文本数据分别进行学习分类，完成信息融合，得出最终的情绪分类结果。
本发明上述实施例提供的隐私参数优化方法，可有效提高分类结果的准确性，在满足用户隐私保护需求的前提下达到最佳准确率。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思做出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的试验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (4)

1.一种多模态数据融合训练中的隐私参数优化方法，其特征在于，包括以下步骤：
S1：客户端用户对隐私保护效果进行设定；
S2：客户端针对文本、图像、音频的各类型数据使用对应的隐私保护方法进行脱敏处理，对脱敏处理后的数据进行单独模态的分类训练，得到目标训练结果
Figure QLYQS_1
；
S3：得出包含敏感数据准确率和非敏感数据准确率的各模态的分类准确率，进行局部反馈判断敏感数据准确率是否满足用户需求；若敏感数据准确率高于用户设定的敏感数据准确率上限，则分别记录并调整当前文本的隐私参数
Figure QLYQS_2
、音频的隐私参数/>
Figure QLYQS_3
、图像的隐私参数/>
Figure QLYQS_4
，回退至步骤S2，根据调整情况记录/>
Figure QLYQS_5
；若敏感数据准确率满足用户需求则将加入隐私保护后的数据及分类结果上传至服务器；
S4：基于权重自分配算法完成信息融合，得出最终的目标分类结果及敏感信息分类结果
Figure QLYQS_6
；
S5：服务器分别对敏感及非敏感数据分类结果进行评估，根据评估结果向客户端进行整体反馈，调整并记录隐私参数，回退到步骤S2；
所述步骤S2中所述脱敏处理需缓存当前脱敏数据，并处理后期步骤提供的反馈信息，所述脱敏处理包括以下模块：文本脱敏模块、音频脱敏模块、图像脱敏模块；
所述文本脱敏模块包括以下操作：设置隐私参数
Figure QLYQS_7
，为每个敏感词类型分配一个敏感词库，以隐私参数/>
Figure QLYQS_8
为比重，将采集的文本数据与/>
Figure QLYQS_9
比例的敏感词库进行对照，若符合则对该敏感词进行替换，替换为无关信息，并将原始信息保留，用于接受反馈后进行处理；若局部反馈高于用户设置的敏感信息识别准确率阈值，则将文本敏感词范围参数/>
Figure QLYQS_10
调大，并将原始参数记录为下限/>
Figure QLYQS_11
，利用原始数据重新进行脱敏处理；
所述音频脱敏模块通过差分隐私机制，根据隐私预算参数为音频添加基于差分隐私的高斯噪声，并将原始信息保留，用于接收反馈后进行处理，若局部反馈高于用户设置的敏感信息识别准确率阈值，则将音频的隐私预算参数
Figure QLYQS_12
调小，并将原始参数记录为上限/>
Figure QLYQS_13
，利用原始数据重新添加高斯噪声；
所述图像脱敏模块根据隐私预算参数通过对抗算法对图像特征方面进行加噪，并将原始数据保留，用于接受反馈后进行处理，若局部反馈高于用户设置的敏感信息识别准确率阈值，则将图像的扰动参数
Figure QLYQS_14
调大，并将原始参数记录为下限/>
Figure QLYQS_15
，利用原始数据重新加噪；
所述步骤S4中所述权重自分配算法包括：
基于注意力机制分配权重：通过协方差描述不同模态的相似性，依据与注意力关注对象的相关程度设计打分函数，给每个模态计算一个score，对所得到的score，通过一个softmax函数，得到最后的权重：
Figure QLYQS_16
；
基于强化学习一般建模过程更新权重：通过融合函数
Figure QLYQS_17
，计算最优解
Figure QLYQS_18
，其中W为权重矩阵，X为各模态数据；/>
所述步骤S5的所述评估方法通过将
Figure QLYQS_19
与/>
Figure QLYQS_20
进行比较，确保多模态融合后的分类结果大于单个模态分类结果。
2.根据权利要求1所述的多模态数据融合训练中的隐私参数优化方法，其特征在于，所述步骤S1中所述设定包括设定敏感信息保护项目和用户可接受的分类器对设定敏感信息识别准确率的阈值。
3.根据权利要求1所述的多模态数据融合训练中的隐私参数优化方法，其特征在于，所述步骤S3中调整记录的操作若为调大所述隐私参数则记录为下限，调小所述隐私参数则记录为上限；文本、音频、图像分别对应调整文本敏感词范围、差分隐私中的隐私预算、图像中的扰动大小。
4.根据权利要求1所述的多模态数据融合训练中的隐私参数优化方法，其特征在于，所述步骤S5的所述评估方法中，若所述分类结果小于单个模态分类结果，则判定分类失败，向客户端发送包含整体非敏感准确率、分类结果参数
Figure QLYQS_21
和敏感信息准确率/>
Figure QLYQS_22
，客户端根据分类失败结果依次调小敏感词范围、调大隐私预算、调小扰动大小，并记录原始参数为
Figure QLYQS_23
，回退到步骤S2；若判定为分类成功，则继续比较敏感信息准确率/>
Figure QLYQS_24
和用户设定的敏感数据准确率上限，若高于上限则依次调大敏感词范围、调小隐私预算、调大扰动大小，并记录原始参数为/>
Figure QLYQS_25
，回退到步骤S2。/>
CN202210821237.0A 2022-07-13 2022-07-13 一种多模态数据融合训练中的隐私参数优化方法 Active CN115310122B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210821237.0A CN115310122B (zh) 2022-07-13 2022-07-13 一种多模态数据融合训练中的隐私参数优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210821237.0A CN115310122B (zh) 2022-07-13 2022-07-13 一种多模态数据融合训练中的隐私参数优化方法

Publications (2)

Publication Number Publication Date
CN115310122A CN115310122A (zh) 2022-11-08
CN115310122B true CN115310122B (zh) 2023-05-26

Family

ID=83857291

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210821237.0A Active CN115310122B (zh) 2022-07-13 2022-07-13 一种多模态数据融合训练中的隐私参数优化方法

Country Status (1)

Country Link
CN (1) CN115310122B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116320713B (zh) * 2023-03-03 2024-02-20 浙江大学 一种基于图像信号处理器参数优化的隐私保护方法
CN117240982B (zh) * 2023-11-09 2024-01-26 沐城测绘(北京)有限公司 一种基于隐私保护的视频脱敏方法
CN117592555B (zh) * 2023-11-28 2024-05-10 中国医学科学院北京协和医院 一种面向多源异构医疗数据的联邦学习方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111352501A (zh) * 2019-12-09 2020-06-30 华为技术有限公司 业务交互方法及装置
CN111371830A (zh) * 2019-11-26 2020-07-03 航天科工网络信息发展有限公司 一种万网融合场景下基于数据驱动的智能协同云架构
CN114357519A (zh) * 2022-01-07 2022-04-15 支付宝(杭州)信息技术有限公司 一种数据脱敏方法和系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010182287A (ja) * 2008-07-17 2010-08-19 Steven C Kays 適応型インテリジェント・デザイン
CN111079174A (zh) * 2019-11-21 2020-04-28 中国电力科学研究院有限公司 基于匿名化及差分隐私技术的用电数据脱敏方法及系统
CN111460494B (zh) * 2020-03-24 2023-04-07 广州大学 面向多模态深度学习的隐私保护方法及系统
CN111859451B (zh) * 2020-07-23 2024-02-06 北京尚隐科技有限公司 多源多模态数据的处理系统及应用该系统的方法
CN112685565B (zh) * 2020-12-29 2023-07-21 平安科技（深圳）有限公司 基于多模态信息融合的文本分类方法、及其相关设备
CN112766197B (zh) * 2021-01-26 2022-05-17 支付宝(杭州)信息技术有限公司 基于隐私保护的人脸识别方法及装置
CN114297714A (zh) * 2021-12-30 2022-04-08 电子科技大学广东电子信息工程研究院 一种云环境下数据隐私保护与安全搜索的方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111371830A (zh) * 2019-11-26 2020-07-03 航天科工网络信息发展有限公司 一种万网融合场景下基于数据驱动的智能协同云架构
CN111352501A (zh) * 2019-12-09 2020-06-30 华为技术有限公司 业务交互方法及装置
CN114357519A (zh) * 2022-01-07 2022-04-15 支付宝(杭州)信息技术有限公司 一种数据脱敏方法和系统

Also Published As

Publication number Publication date
CN115310122A (zh) 2022-11-08

Similar Documents

Publication Publication Date Title
CN115310122B (zh) 一种多模态数据融合训练中的隐私参数优化方法
WO2021217572A1 (zh) 车内用户定位方法、车载交互方法、车载装置及车辆
CN108664931B (zh) 一种多阶段视频动作检测方法
JP6570731B2 (ja) 乗客の混雑度の算出方法及びそのシステム
WO2017219319A1 (zh) 车辆自动驾驶方法和车辆自动驾驶系统
Jafarnejad et al. Towards a real-time driver identification mechanism based on driving sensing data
US7295687B2 (en) Face recognition method using artificial neural network and apparatus thereof
JP5127392B2 (ja) 分類境界確定方法及び分類境界確定装置
US11823020B2 (en) Artificial intelligence apparatus for generating training data for artificial intelligence model and method thereof
TW201832960A (zh) 用於基於感測器資料操作車輛之系統及方法
US10726289B2 (en) Method and system for automatic image caption generation
US20070230797A1 (en) Method, apparatus, and program for detecting sightlines
KR20210025269A (ko) 승차구매 주문처리 장치 및 방법
US20200134455A1 (en) Apparatus and method for training deep learning model
KR102306658B1 (ko) 이종 도메인 데이터 간의 변환을 수행하는 gan의 학습 방법 및 장치
CN103839379A (zh) 汽车及用于其的驾驶员疲劳预警检测方法和系统
CN107992807B (zh) 一种基于cnn模型的人脸识别方法及装置
US20230129816A1 (en) Speech instruction control method in vehicle cabin and related device
WO2021227804A1 (zh) 一种模型训练方法及相关设备
CN112418302A (zh) 一种任务预测方法及装置
CN115205729A (zh) 基于多模态特征融合的行为识别方法、系统
CN108710821A (zh) 车辆用户状态识别系统及其识别方法
CN114882522A (zh) 基于多模态融合的行为属性识别方法、装置及存储介质
WO2015037973A1 (en) A face identification method
CN112861726A (zh) 基于规则意图表决器的d-s证据理论多模态融合人机交互方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant