CN113792759A - 识别模型训练方法、装置、计算机设备和存储介质 - Google Patents

识别模型训练方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN113792759A
CN113792759A CN202110955282.0A CN202110955282A CN113792759A CN 113792759 A CN113792759 A CN 113792759A CN 202110955282 A CN202110955282 A CN 202110955282A CN 113792759 A CN113792759 A CN 113792759A
Authority
CN
China
Prior art keywords
training
loss
recognition
model
model parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110955282.0A
Other languages
English (en)
Inventor
孟强
周峰
任海男
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Aibee Technology Co Ltd
Original Assignee
Beijing Aibee Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Aibee Technology Co Ltd filed Critical Beijing Aibee Technology Co Ltd
Priority to CN202110955282.0A priority Critical patent/CN113792759A/zh
Publication of CN113792759A publication Critical patent/CN113792759A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种识别模型训练方法、装置、计算机设备和存储介质。所述方法包括：根据初始模型参数以及图像训练样本，对识别模型进行训练，得到识别模型的识别损失；在识别损失不满足损失条件的情况下，对初始模型参数进行调整，得到训练模型参数，并将训练模型参数发送至服务器，指示服务器对训练模型参数进行更新处理得到综合模型参数；接收综合模型参数，根据综合模型参数以及图像训练样本，对识别模型进行训练，直至识别模型的识别损失满足损失条件，识别模型训练完成。采用本方法在保证隐私数据安全性的前提下，实现识别模型的准确训练。

Description

识别模型训练方法、装置、计算机设备和存储介质
技术领域
本申请涉及图像处理技术领域，特别是涉及一种识别模型训练方法、装置、计算机设备和存储介质。
背景技术
随着图像处理技术的蓬勃发展，生活中越来越多的场景应用人脸识别技术。其中，基于机器学习的人脸识别技术，需要预先构建训练样本对识别模型进行训练。
然而，在训练样本的构建过程中，若允许共享人脸图像信息，容易造成个人信息的泄露，不具有安全性，而仅根据少量人脸图像构建训练样本，进行模型训练，信息量有限，训练的识别模型稳定性差，输出结果不准确，因此，亟需一种保护隐私的识别模型训练方法。
发明内容
基于此，有必要针对上述技术问题，提供一种识别模型训练方法、装置、计算机设备和存储介质。
一种识别模型训练方法，所述方法应用于终端设备，所述方法包括：
根据初始模型参数以及图像训练样本，对识别模型进行训练，得到所述识别模型的识别损失；
在所述识别损失不满足损失条件的情况下，对所述初始模型参数进行调整，得到训练模型参数，并将所述训练模型参数发送至服务器，指示所述服务器对所述训练模型参数进行更新处理得到综合模型参数；
接收所述综合模型参数，根据所述综合模型参数以及所述图像训练样本，对所述识别模型进行训练，直至所述识别模型的识别损失满足损失条件，所述识别模型训练完成。
在其中一个实施例中，所述根据初始模型参数以及图像训练样本，对识别模型进行训练，得到所述识别模型的识别损失，包括：
根据初始模型参数中的初始特征提取器对图像训练样本进行特征提取，得到本地图像特征以及本地图像特征的聚类中心；
根据所述本地图像特征以及所述本地图像特征的聚类中心，计算所述识别模型的识别损失；
根据所述识别损失和损失条件，确定是否对所述初始特征提取器和所述本地图像特征的聚类中心进行调整。
在其中一个实施例中，所述训练模型参数包括训练特征提取器和加密后的本地图像特征的类中心，所述在所述识别损失不满足损失条件的情况下，对所述初始模型参数进行调整，得到训练模型参数，包括：
若所述识别模型的识别损失不满足损失条件，则调整所述初始特征提取器的参数，得到训练特征提取器；
根据所述训练特征提取器，提取所述图像训练样本中的本地图像特征；
在所述识别模型中对所述本地图像特征进行差分隐私聚类，得到加密后的所述本地图像特征的类中心。
在其中一个实施例中，所述在所述识别模型中对所述本地图像特征进行差分隐私聚类，得到加密后的所述本地图像特征的类中心，包括：
根据所述识别模型，对所述本地图像特征进行聚类分析，得到所述本地图像特征的聚类结果；
根据差分隐私算法，以簇集合的形式覆盖每一所述聚类结果，确定每一所述簇集合的中心；
对每一所述聚类结果对应的所述簇集合的中心进行随机扰动，得到加密后的所述本地图像特征的类中心。
在其中一个实施例中，所述综合模型参数包括更新后的特征提取器和包含至少两个训练方加密后的图像特征类中心，生成所述损失条件对应的损失函数的方法包括：
针对每一本地图像特征，根据所述本地图像特征与所述本地图像特征的聚类中心间的分类损失，所述本地图像特征与所述图像训练样本中其他聚类中心的差别损失，以及所述图像训练样本加密后的图像特征类中心与所述综合模型参数中包括的其他训练方加密后的图像特征类中心的差别损失，计算得到综合识别损失；
根据所述图像训练样本中每一所述本地图像特征与所述本地图像特征的聚类中心间的分类损失与所述综合识别损失，计算每一本地图像的图像识别损失。
在其中一个实施例中，所述方法还包括：
将待识别的人脸图像输入训练完成的所述识别模型中，根据所述识别模型的运算处理，得到人脸识别结果。
一种识别模型训练方法，所述方法应用于服务器，所述方法还包括：
接收至少两个训练方发送的训练模型参数，每一所述训练模型参数包括训练特征提取器和所述训练方的加密后的本地图像特征的类中心；
将各所述训练特征提取器进行均值计算，得到更新后的特征提取器；
将各所述训练方的加密后的本地图像特征的类中心进行汇总处理，得到各所述训练方的加密后的图像类中心的集合；
将更新后的特征提取器和所述加密后的图像类中心的集合作为综合模型参数，分别发送给每一所述训练方，指示每一所述训练方的终端设备根据所述综合模型参数以及所述图像训练样本，对所述识别模型进行训练。
一种识别模型训练装置，所述装置包括：
损失计算模块，用于根据初始模型参数以及图像训练样本，对识别模型进行训练，得到所述识别模型的识别损失；
参数更新模块，用于在所述识别损失不满足损失条件的情况下，对所述初始模型参数进行调整，得到训练模型参数，并将所述训练模型参数发送至服务器，指示所述服务器对所述训练模型参数进行更新处理得到综合模型参数；
训练模块，用于接收所述综合模型参数，根据所述综合模型参数以及所述图像训练样本，对所述识别模型进行训练，直至所述识别模型的识别损失满足损失条件，所述识别模型训练完成。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
根据初始模型参数以及图像训练样本，对识别模型进行训练，得到所述识别模型的识别损失；
在所述识别损失不满足损失条件的情况下，对所述初始模型参数进行调整，得到训练模型参数，并将所述训练模型参数发送至服务器，指示所述服务器对所述训练模型参数进行更新处理得到综合模型参数；
接收所述综合模型参数，根据所述综合模型参数以及所述图像训练样本，对所述识别模型进行训练，直至所述识别模型的识别损失满足损失条件，所述识别模型训练完成。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
根据初始模型参数以及图像训练样本，对识别模型进行训练，得到所述识别模型的识别损失；
在所述识别损失不满足损失条件的情况下，对所述初始模型参数进行调整，得到训练模型参数，并将所述训练模型参数发送至服务器，指示所述服务器对所述训练模型参数进行更新处理得到综合模型参数；
接收所述综合模型参数，根据所述综合模型参数以及所述图像训练样本，对所述识别模型进行训练，直至所述识别模型的识别损失满足损失条件，所述识别模型训练完成。
上述识别模型训练方法、装置、计算机设备和存储介质，根据所述初始模型参数以及图像训练样本，对识别模型进行训练，得到所述识别模型的识别损失；在所述识别损失不满足第一损失条件的情况下，对所述初始模型参数进行调整，得到训练模型参数，并将所述训练模型参数发送至服务器，指示所述服务器对所述训练模型参数进行更新处理得到综合模型参数；接收所述综合模型参数，根据所述综合模型参数以及所述图像训练样本，对所述识别模型进行训练，直至所述识别模型的识别损失满足第二损失条件，所述识别模型训练完成。采用本方法，通过本地训练样本在本地对识别模型的训练，保证了个人隐私数据的安全性，同时，对于训练过程中得到的训练模型参数，经过指示服务器对训练模型参数进行更新处理得到综合模型参数，实现了模型训练的多个训练方的训练信息的共享，提高训练完成的识别模型的结果准确性。
附图说明
图1为一个实施例中识别模型训练方法的应用环境图；
图2为一个实施例中识别模型训练方法的流程示意图；
图3为一个实施例中根据初始模型数据判别模型训练步骤的流程示意图；
图4为一个实施例中模型参数调整和差分隐私加密步骤的流程示意图；
图5为一个实施例中差分隐私确定簇中心步骤的流程示意图；
图6为一个实施例中差分隐私确定簇中心的示意图；
图7为另一个实施例中识别模型训练方法的流程示意图；
图8为一个实施例中识别模型训练方法的示例流程图；
图9为一个实施例中识别模型训练装置的结构框图；
图10为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的识别模型训练方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。终端102根据初始模型参数以及图像训练样本，在本地终端设备对识别模型进行训练，得到识别模型的识别损失。在识别损失不满足损失条件的情况下，对初始模型参数进行调整，得到训练模型参数，并将训练模型参数发送至服务器104，指示服务器104对训练模型参数进行更新处理，得到综合模型参数。然后，终端102接收服务器104下发的综合模型参数，继续根据该综合模型参数以及图像训练样本，对识别模型继续进行训练，直至识别模型的识别损失满足损失条件，则本地的识别模型训练完成。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机和平板电脑，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种识别模型训练方法，以该方法应用于图1中的终端设备为例进行说明，包括以下步骤：
步骤201，根据初始模型参数以及图像训练样本，对识别模型进行训练，得到识别模型的识别损失。
其中，图像训练样本为终端设备根据内部数据构建的用于本地模型训练的样本，例如，该图像训练样本为人脸图像训练样本，该样本仅用于训练内部模型(对应为人脸图像识别模型)，其中，该图像训练样本涉及的个人隐私内容(例如，涉及人脸图像信息)由终端设备所在训练方负责保密。初始模型参数为识别模型运算过程中设置的起始参数。初始模型参数包括初始特征提取参数。初始模型参数会预先存储在终端设备的数据库中，当需要进行本地识别模型的模型训练时，在数据库中获取该初始模型参数，进行模型训练。
可选的，图像训练样本还可以为车辆图像训练样本、行人图像训练样本等，其中，该车辆图像训练样本由多个目标车辆对应的车辆图像集组成。该车辆图像训练样本用于训练车辆识别模型；行人图像训练样本由多个目标行人对应的行人图像集组成。该行人图像训练样本用于训练行人重识别模型。因此，本申请实施例对于图像训练样本中包含的图像内容不做限定。
在实施中，终端设备首次进行识别模型训练时，可以通过识别模型以及初始特征提取参数，在识别模型中集成初始特征提取器(由此，初始特征提取参数等同于初始特征提取器)，对本地图像训练样本进行图像特征提取。进而，根据提取到的图像特征以及预设的识别模型的损失函数，计算得到识别模型的识别损失。
在后续识别模型的参数调整过程中，识别模型会基于服务器下发的模型数据对图像训练样本进行图像特征提取和图像聚类中心的确定，实现模型训练的参数调整过程。
步骤202，在识别损失不满足损失条件的情况下，对初始模型参数进行调整，得到训练模型参数，并将训练模型参数发送至服务器，指示服务器对训练模型参数进行更新处理得到综合模型参数。
在实施中，针对识别模型的识别损失以及预设的损失条件，判别终端设备是否需要对识别模型进行训练，若满足损失条件，则模型训练过程结束；若不满足损失条件时，则对模型进行参数调整。具体的，在识别损失不满足损失条件的情况下，终端设备对初始模型参数进行调整，得到训练模型参数，其中，训练模型参数包括训练特征提取器和加密后的本地图像特征的类中心。然后，终端设备将训练模型参数发送至服务器，指示服务器对训练模型参数进行进一步更新处理，得到的综合模型参数。
例如，针对图像训练样本为人脸图像训练样本的情况：在人脸识别损失不满足损失条件的情况下，终端设备对初始模型参数进行调整，得到训练模型参数，其中，训练模型参数包括训练特征提取器和加密后的人脸图像特征的类型中心。然后，终端设备将训练模型参数发送至服务器，指示服务器对训练模型参数进行进一步更新处理，得到的综合模型参数。
步骤203，接收综合模型参数，根据综合模型参数以及图像训练样本，对识别模型进行训练，直至识别模型的识别损失满足损失条件，识别模型训练完成。
其中，综合模型参数中包含了用于图像特征提取的更新后的特征提取器(参数数据)以及需要进行模型训练的各训练方的加密后的图像类中心信息。
在实施中，终端设备接收由服务器下发的综合模型参数，根据该综合模型参数以及图像训练样本，对识别模型进行训练，通过终端设备与服务器的交互实现模型参数(也即模型数据)的调整，直至识别模型的识别损失满足预设的损失条件，则识别模型训练完成。
上述识别模型训练方法中，终端根据初始模型参数以及图像训练样本，对识别模型进行训练，得到识别模型的识别损失；在识别损失不满足损失条件的情况下，对初始模型参数进行调整，得到训练模型参数，并将训练模型参数发送至服务器进行参数更新。根据服务器更新得到的综合模型参数以及图像训练样本，对识别模型进行训练，直至识别模型的识别损失满足损失条件，识别模型训练完成。采用本方法，通过本地训练样本在本地完成对识别模型的训练，保证了个人隐私数据的安全性，同时，对于训练过程中得到的训练模型参数，经过指示服务器对训练模型参数进行更新处理得到综合模型参数，实现了模型训练的多个训练方的训练信息的共享，提高训练完成的识别模型的结果准确性。
在一个实施例中，如图3所示，步骤201中根据终端设备本地的初始模型参数进行初始模型训练的具体处理过程包括：
步骤301，根据初始模型参数中的初始特征提取器对图像训练样本进行特征提取，得到本地图像特征以及本地图像特征的聚类中心。
在实施中，终端设备基于初始模型参数，在识别模型中运行初始特征提取器，通过初始特征提取器对本地存储的图像训练样本进行特征提取，得到每一图像对应的图像特征(可以用wj表示)，通过识别模型对全部的图像特征进行聚类分析，得到本地图像特征的聚类中心，用W＝[w1,w2,…wn]表示。其中，本地图像特征的聚类中心数目不限，可以是1个也可以是多个。例如，通过初始特征提取器对本地存储的人脸图像训练样本进行特征提取，得到每一人脸图像对应的人脸图像特征，进而可以通过识别模型对全部人脸图像对应的人脸图像特征进行聚类分析，其人脸图像处理实现过程与上述本地图像处理过程相同，本实施例不再赘述。
其中，本地识别模型首次进行模型训练时的初始模型参数只包括初始特征提取器，但是经过后续与服务器的交互过程进行更新，初始模型参数也基于服务器的下发，更新为综合模型参数，综合模型参数包括更新后的特征提取器和各训练方(至少两个)加密后的图像特征类中心。
步骤302，根据本地图像特征以及本地图像特征的聚类中心，计算识别模型的识别损失。
在实施中，终端设备根据提取到的本地图像特征以及本地图像特征的聚类中心，计算识别模型的识别损失。
具体地，以图像训练样本为人脸图像训练样本为例进行举例说明，在终端设备基于初始模型参数进行模型训练时，识别模型中运算的特征仅包含本地人脸图像特征信息(即仅包含本地人脸图像训练样本中提取出的图像特征信息)，因此，初始损失函数仅包含训练样本中每一人脸对象针对自身特征提取产生的提取损失信息，以及该人脸对象相对于训练样本中的其他对象的差别损失信息，具体地，初始模型参数对应的损失函数公式如下：
Figure BDA0003219980510000091
其中，Lc(φc,Wc,Dc)为损失函数，公式中包含的参数的上标c均表示图像训练样本(人脸图像训练样本)中包含的第c个人脸对象。φc为识别模型中包括的初始特征提取器。Wc为本地人脸图像训练样本中第c个人脸对象(也可以称为目标对象)所处聚类结果的聚类中心，Dc表示本地图像训练样本，Dc的训练样本中包含nc个人脸对象，其中每个人脸对象对应NC个人脸图像。u和v均为相似度判别函数，(例如，其相似度判别函数的输出值可以为0或1，相似为0，不相似为1)，fi c为第c个人脸对象的人脸图像中提取到的图像特征，
Figure BDA0003219980510000092
为第c个人脸对象对应的全部人脸图像聚类的聚类中心。
步骤303，根据识别损失和损失条件，确定是否对初始特征提取器和本地图像特征的聚类中心进行调整。
在实施中，模型的损失条件可以为预设的损失阈值，进而终端设备可以根据损失条件判别模型输出的识别损失是否满足模型准确性要求，从而确定是否对初始特征提取器和本地图像特征的聚类中心进行调整。
其中，初始特征提取器与本地图像的聚类中心具有关联关系，即聚类中心随着初始特征提取器进行调整。具体的，初始特征提取器进行调整后，则根据调整后的特征提取器重新进行图像特征提取，对于提取到的新的图像特征进行聚类，得到的是调整后的聚类中心。
在一个实施例中，如图4所示，训练模型参数包括训练特征提取器和加密后的本地图像特征的类中心，步骤202的具体处理过程包括：
步骤401，若识别模型的识别损失不满足损失条件，则调整初始特征提取器的参数，得到训练特征提取器；
步骤402，根据训练特征提取器，提取图像训练样本中的本地图像特征。
步骤403，在识别模型中对本地图像特征进行差分隐私聚类，得到加密后的本地图像特征的类中心。
在实施中，若识别模型的识别损失不满足预设损失条件(例如，识别损失大于预设的损失阈值)，则调整初始特征提取器的参数，得到调整后的训练特征提取器。然后，终端设备根据调整后的训练特征提取器，重新对本地图像训练样本进行图像特征提取。进而，针对重新提取的图像特征进行差分隐私(DPLC，Differentially Private Local Clustering)聚类，得到加密后的本地图像特征的类中心。
本实施例中，通过差分隐私聚类分析的方式，既可以通过服务器在各终端训练方间传递图像识别的差别信息，又经过差分隐私保证了每一终端本地的个人信息不被泄露。
在一个实施例中，如图5所示，其中，为了防止图像特征等涉及个人隐私的信息泄露，在进行图像识别过程中，可以采用差分隐私的方法对图像特征进行加密，则步骤403的具体处理过程包括如下步骤：
步骤501，根据识别模型，对本地图像特征进行聚类分析，得到本地图像特征的聚类结果。
在实施中，终端设备根据本地的识别模型，对提取得到的本地图像特征进行聚类分析，得到本地图像特征的聚类结果。以聚类结果这一整体特征进行分享或处理，避免了个人隐私信息的泄露。
其中，本地图像特征的聚类结果(用[w1,w2…wn]表示)可以为一个，也可以为多个，当聚类结果为一个时，对应的只有一个图像特征的聚类中心W1，当聚类结果为多个时，则对应的有多个图像特征的聚类中心，例如，如果划分得到三个类，则对应的有三个聚类中心，分别为W1，W2，W3。
步骤502，根据差分隐私算法，以簇集合的形式覆盖每一聚类结果，确定每一簇集合的中心。
在实施中，如图6中的(a)所示，对本地图像特征(例如，人脸图像特征)进行聚类后，本地图像特征的每一个聚类结果中包含了多个图像特征点，然后，终端设备以一个簇的形式，即以为p为中心，半径为p的簇对本地图像特征的每一个聚类结果进行覆盖，如图6中的(b)所示，其中，簇的覆盖标准是尽可能多的包含图像特征点，进而，针对每一聚类结果可以确定出每一簇集合的中心，簇集合的中心也可以称为簇中心。如图6中的(c)所示，各终端本地形成的簇中心存在差别，具体差别反映在簇的示意图中为各簇中心与p中心所在的各直线间存在夹角。
步骤503，对每一聚类结果对应的簇集合的中心进行随机扰动，得到加密后的本地图像特征的类中心。
在实施中，对每一聚类结果对应的簇集合的中心进行随机扰动，例如，可以为得到的簇集合的中心加上噪音，可以得到加密后的本地图像特征的类中心(用
Figure BDA0003219980510000113
表示)。具体的，加密后的本地图像特征的类中心即是经过差分隐私对本地图像特征的真实类中心进行隐私保护处理的类中心。其加密方式即是差分隐私加密方式。加密后的本地图像特征的类中心可以达到(∈,δ)-DP(差分隐私标准)，其中，∈,δ都是差分隐私的参数。
Figure BDA0003219980510000111
N为本地数据集样本个数。其中∈是隐私级别，该参数越小越好。为了达到这个要求，对于为簇中心添加的噪声，例如，高斯噪声的方差δ满足
Figure BDA0003219980510000112
噪声越大，分享的信息越少，隐私级别越高。
在一个实施例中，值得注意的是，识别模型在基于本地的初始模型参数进行损失计算时，模型的损失函数如上述公式(1)所示，当识别模型首次接收到服务器更新处理后的综合模型参数直至后续训练过程，其对应的损失函数，需要包括本地图像训练样本加密后的图像特征类中心与综合模型参数中其他训练方加密后的图像特征类中心的差别损失(即各训练方间的人脸识别差别需要参与训练)。具体的，综合模型参数包括更新后的特征提取器和包含至少两个训练方加密后的图像特征类中心，生成损失条件对应的损失函数的方法包括：
步骤一，针对每一本地图像特征，根据本地图像特征与本地图像特征的聚类中心间的分类损失，本地图像特征与图像训练样本中其他聚类中心的差别损失，以及图像训练样本加密后的图像特征类中心与综合模型参数中包括的其他训练方加密后的图像特征类中心的差别损失，计算得到综合识别损失。
步骤二，本地图像特征与本地图像特征的聚类中心间的分类损失与综合识别损失，计算每一本地图像的图像识别损失。
在实施中，针对综合模型参数进行模型训练，对应的识别模型的损失函数公式如下：
Figure BDA0003219980510000121
其中，Lc(φc,Wc,Dc,p)为损失函数，公式中包含的参数的上标c均表示图像训练样本中包含的第c个人脸对象。φc为识别模型中包括的综合特征提取器。Wc为本地图像训练样本中基于综合特征提取器提取的第c个人脸对象为所处图像特征聚类结果的聚类中心，Dc表示本地图像训练样本，Dc的训练样本中包含nc个人脸对象，其中每个人脸对象对应Nc个脸图像。i为Nc个人脸图像的起始，为综合模型参数中包含的各训练方加密后的图像特征的类中心。u和v均为相似度判别函数，(例如，其相似度判别函数的输出值可以为0或1，相似为0，不相似为1)，fi c为第c个人脸对象的人脸图像中提取到的图像特征，
Figure BDA0003219980510000131
为第c个人脸对象对应的全部人脸图像聚类的聚类中心。C为与服务器进行交互的待进行识别模型训练的训练方数目，当前的图像特征fi c和以
Figure BDA0003219980510000132
为中心(也即加密后的图像特征类中心)的簇产生区分。这里面
Figure BDA0003219980510000133
代表该簇是训练方l产生的第k个簇。其中，
Figure BDA0003219980510000134
(这一参量中参数所带下标、上标均省略未示出)，其中θ代表
Figure BDA0003219980510000135
和f的夹角。
在一个实施例中，对于经过终端设备本地以及与服务器间交互训练得到的训练好的识别模型，该方法还包括：将待识别的人脸图像输入训练完成的识别模型中，根据识别模型的运算处理，得到人脸识别结果。
在实施中，针对训练好的识别模型，终端设备可以获取待识别的人脸图像，输入至训练完成的识别模型中，根据识别模型的运算处理，得到人脸识别结果。
在一个实施例中，如图7所示，提供了一种识别模型训练方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：
步骤701，接收至少两个训练方发送的训练模型参数，每一训练模型参数包括训练特征提取器和训练方的加密后的本地图像特征的类中心。
在实施中，服务器接收本次参与模型训练的各训练方的训练模型参数，其中，参与模型训练的训练方数目至少为两个。每一训练方向服务器发送的训练模型参数中均包含训练特征提取器和自身加密后的本地图像特征的类中心(也称为差分隐私的簇中心)。
步骤702，将各训练特征提取器进行均值计算，得到更新后的特征提取器。
步骤703，将各训练方的加密后的本地图像特征的类中心进行汇总处理，得到各训练方的加密后的人脸图像类中心的集合。
在实施中，服务器将各训练特征提取器进行均值计算，得到更新后的特征提取器。并将各训练方的加密后的本地图像特征的类中心(即簇中心)进行汇总打包处理，得到包含全部训练方的簇中心的集合。
步骤704，将更新后的特征提取器和加密后的图像类中心的集合作为综合模型参数，分别发送给每一训练方，指示每一训练方的终端设备根据综合模型参数以及图像训练样本，对识别模型进行训练。
在实施中，服务器将更新后的特征提取器和加密后的图像类中心的集合(簇中心的集合)作为综合模型参数，分别发送给每一训练方，指示每一训练方的所属终端设备根据综合模型参数以及图像训练样本，对识别模型进行训练。
上述识别模型训练方法，通过服务器对训练模型参数的更新处理，实现对特征提取器的更新和对各训练方间的加密后的本地图像类中心进行打包处理，再由服务器将处理后得到的综合模型参数分别发送至每一终端设备，实现各训练方训练数据间的分享，保证了识别模型训练的准确性和稳定性。
在一个实施例中，提供了一种识别模型训练方法的示例，该方法包括：
步骤801，终端设备根据初始模型参数以及人脸图像训练样本，对识别模型进行训练，得到人脸识别模型的识别损失。
步骤802，终端设备在识别损失不满足损失条件的情况下，对初始模型参数进行调整，得到训练模型参数，并将训练模型参数发送至服务器。
步骤803，服务器接收至少两个训练方发送的训练模型参数。其中，每一训练模型参数包括训练特征提取器和训练方的加密后的本地人脸图像特征的类中心。然后，服务器将各训练特征提取器进行均值计算，得到更新后的特征提取器；将各训练方的加密后的本地人脸图像特征的类中心进行汇总处理，得到各训练方的加密后的图像类中心的集合。
步骤804，服务器将更新后的特征提取器和加密后的图像类中心的集合作为综合模型参数，分别发送给每一训练方所属终端设备。
步骤805，各训练的终端设备接收综合模型参数，根据综合模型参数以及人脸图像训练样本，对人脸识别模型进行训练，得到人脸识别模型的识别损失。
步骤806，若人脸识别模型的识别损失不满足损失条件，则执行步骤802至步骤805。
步骤807，若人脸识别模型的识别损失满足损失条件，人脸识别模型训练结束。
应该理解的是，虽然图2至5，图7和图8的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2至5，图7和图8中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图9所示，提供了一种识别模型训练装置900，包括：损失计算模块910、参数更新模块920和训练模块930，其中：
损失计算模块910，用于根据初始模型参数以及图像训练样本，对识别模型进行训练，得到识别模型的识别损失；
参数更新模块920，用于在识别损失不满足损失条件的情况下，对初始模型参数进行调整，得到训练模型参数，并将训练模型参数发送至服务器，指示服务器对训练模型参数进行更新处理得到综合模型参数；
训练模块930，用于接收综合模型参数，根据综合模型参数以及图像训练样本，对识别模型进行训练，直至识别模型的识别损失满足损失条件，识别模型训练完成。
在一个实施例中，损失计算模块910具体用于根据初始模型参数中的初始特征提取器对图像训练样本进行特征提取，得到本地图像特征以及本地图像特征的聚类中心；
根据本地图像特征以及本地图像特征的聚类中心，计算识别模型的识别损失；
根据识别损失和损失条件，确定是否对初始特征提取器和本地图像特征的聚类中心进行调整。
在一个实施例中，训练模型参数包括训练特征提取器和加密后的本地图像特征的类中心，参数更新模块920，具体用于若识别模型的识别损失不满足损失条件，则调整初始特征提取器的参数，得到训练特征提取器；
根据训练特征提取器，提取图像训练样本中的本地图像特征；
在识别模型中对本地图像特征进行差分隐私聚类，得到加密后的本地图像特征的类中心。
在一个实施例中，损失计算模块910具体用于根据识别模型，对本地图像特征进行聚类分析，得到本地图像特征的聚类结果；
根据差分隐私算法，以簇集合的形式覆盖每一聚类结果，确定每一簇集合的中心；
对每一聚类结果对应的簇集合的中心进行随机扰动，得到加密后的本地图像特征的类中心。
在一个实施例中，该装置900还包括
识别模块，用于将待识别的人脸图像输入训练完成的识别模型中，根据识别模型的运算处理，得到人脸识别结果。
在一个实施例中，综合模型参数包括更新后的特征提取器和包含至少两个训练方加密后的图像特征类中心，该装置还包括生成模块，生成模块用于根据每一人脸图像与图像训练样本中其他人脸图像的差别损失，以及图像训练样本加密后的图像特征类中心与综合模型参数中包括的其他训练方加密后的图像特征类中心的差别损失进行求和计算，得到综合识别损失；
根据图像训练样本中每一人脸图像的特征损失与综合识别损失，计算每一人脸图像的图像识别损失。
在另一个实施例中，提供了一种识别模型训练装置，包括：接收模块、更新模块、汇总模块和发送模块，其中：
接收模块，用于接收至少两个训练方发送的训练模型参数，每一训练模型参数包括训练特征提取器和训练方的加密后的本地图像特征的类中心；
更新模块，用于将各训练特征提取器进行均值计算，得到更新后的特征提取器；
汇总模块，用于将各训练方的加密后的本地图像特征的类中心进行汇总处理，得到各训练方的加密后的图像类中心的集合；
发送模块，用于将更新后的特征提取器和加密后的图像类中心的集合作为综合模型参数，分别发送给每一训练方，指示每一训练方的终端设备根综合模型参数以及图像训练样本，对识别模型进行训练。
关于识别模型训练装置的具体限定可以参见上文中对于识别模型训练方法的限定，在此不再赘述。上述识别模型训练装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种识别模型训练方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种识别模型训练方法，其特征在于，所述方法应用于终端设备，所述方法包括：
根据初始模型参数以及图像训练样本，对识别模型进行训练，得到所述识别模型的识别损失；
在所述识别损失不满足损失条件的情况下，对所述初始模型参数进行调整，得到训练模型参数，并将所述训练模型参数发送至服务器，指示所述服务器对所述训练模型参数进行更新处理得到综合模型参数；
接收所述综合模型参数，根据所述综合模型参数以及所述图像训练样本，对所述识别模型进行训练，直至所述识别模型的识别损失满足损失条件，所述识别模型训练完成。
2.根据权利要求1所述的方法，其特征在于，所述根据初始模型参数以及图像训练样本，对识别模型进行训练，得到所述识别模型的识别损失，包括：
根据初始模型参数中的初始特征提取器对图像训练样本进行特征提取，得到本地图像特征以及本地图像特征的聚类中心；
根据所述本地图像特征以及所述本地图像特征的聚类中心，计算所述识别模型的识别损失；
根据所述识别损失和损失条件，确定是否对所述初始特征提取器和所述本地图像特征的聚类中心进行调整。
3.根据权利要求1所述的方法，其特征在于，所述训练模型参数包括训练特征提取器和加密后的本地图像特征的类中心，所述在所述识别损失不满足损失条件的情况下，对所述初始模型参数进行调整，得到训练模型参数，包括：
若所述识别模型的识别损失不满足损失条件，则调整所述初始特征提取器的参数，得到训练特征提取器；
根据所述训练特征提取器，提取所述图像训练样本中的本地图像特征；
在所述识别模型中对所述本地图像特征进行差分隐私聚类，得到加密后的所述本地图像特征的类中心。
4.根据权利要求3所述的方法，其特征在于，所述在所述识别模型中对所述本地图像特征进行差分隐私聚类，得到加密后的所述本地图像特征的类中心，包括：
根据所述识别模型，对所述本地图像特征进行聚类分析，得到所述本地图像特征的聚类结果；
根据差分隐私算法，以簇集合的形式覆盖每一所述聚类结果，确定每一所述簇集合的中心；
对每一所述聚类结果对应的所述簇集合的中心进行随机扰动，得到加密后的所述本地图像特征的类中心。
5.根据权利要求1所述的方法，其特征在于，所述综合模型参数包括更新后的特征提取器和包含至少两个训练方加密后的图像特征类中心，生成所述损失条件对应的损失函数的方法，包括：
针对每一本地图像特征，根据所述本地图像特征与所述本地图像特征的聚类中心间的分类损失，所述本地图像特征与所述图像训练样本中其他聚类中心的差别损失，以及所述图像训练样本加密后的图像特征类中心与所述综合模型参数中包括的其他训练方加密后的图像特征类中心的差别损失，计算得到综合识别损失；
根据所述图像训练样本中每一所述本地图像特征与所述本地图像特征的聚类中心间的分类损失与所述综合识别损失，计算每一本地图像的图像识别损失。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将待识别的图像输入训练完成的所述识别模型中，根据所述识别模型的运算处理，得到图像识别结果。
7.一种识别模型训练方法，其特征在于，所述方法应用于服务器，所述方法还包括：
接收至少两个训练方发送的训练模型参数，每一所述训练模型参数包括训练特征提取器和所述训练方的加密后的本地图像特征的类中心；
将各所述训练特征提取器进行均值计算，得到更新后的特征提取器；
将各所述训练方的加密后的本地图像特征的类中心进行汇总处理，得到各所述训练方的加密后的图像类中心的集合；
将更新后的特征提取器和所述加密后的图像类中心的集合作为综合模型参数，分别发送给每一所述训练方，指示每一所述训练方的终端设备根据所述综合模型参数以及所述图像训练样本，对所述识别模型进行训练。
8.一种识别模型训练装置，其特征在于，所述装置包括：
损失计算模块，用于根据初始模型参数以及图像训练样本，对识别模型进行训练，得到所述识别模型的识别损失；
参数更新模块，用于在所述识别损失不满足损失条件的情况下，对所述初始模型参数进行调整，得到训练模型参数，并将所述训练模型参数发送至服务器，指示所述服务器对所述训练模型参数进行更新处理得到综合模型参数；
训练模块，用于接收所述综合模型参数，根据所述综合模型参数以及所述图像训练样本，对所述识别模型进行训练，直至所述识别模型的识别损失满足损失条件，所述识别模型训练完成。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项或权利要求7所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项或权利要求7所述的方法的步骤。
CN202110955282.0A 2021-08-19 2021-08-19 识别模型训练方法、装置、计算机设备和存储介质 Pending CN113792759A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110955282.0A CN113792759A (zh) 2021-08-19 2021-08-19 识别模型训练方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110955282.0A CN113792759A (zh) 2021-08-19 2021-08-19 识别模型训练方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN113792759A true CN113792759A (zh) 2021-12-14

Family

ID=79182002

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110955282.0A Pending CN113792759A (zh) 2021-08-19 2021-08-19 识别模型训练方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN113792759A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117132790A (zh) * 2023-10-23 2023-11-28 南方医科大学南方医院 基于人工智能的消化道肿瘤诊断辅助系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108805185A (zh) * 2018-05-29 2018-11-13 腾讯科技（深圳）有限公司 模型的训练方法、装置、存储介质及计算机设备
US20190311298A1 (en) * 2018-04-09 2019-10-10 Here Global B.V. Asynchronous parameter aggregation for machine learning
CN110795477A (zh) * 2019-09-20 2020-02-14 平安科技（深圳）有限公司 数据的训练方法及装置、系统
CN110955778A (zh) * 2019-12-13 2020-04-03 中国科学院深圳先进技术研究院 一种基于差分隐私联合学习的垃圾短信识别方法及系统
CN111310938A (zh) * 2020-02-10 2020-06-19 深圳前海微众银行股份有限公司 基于半监督的横向联邦学习优化方法、设备及存储介质
CN112801134A (zh) * 2020-12-30 2021-05-14 杭州趣链科技有限公司 基于区块链和图像的手势识别模型训练与分发方法与装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190311298A1 (en) * 2018-04-09 2019-10-10 Here Global B.V. Asynchronous parameter aggregation for machine learning
CN108805185A (zh) * 2018-05-29 2018-11-13 腾讯科技（深圳）有限公司 模型的训练方法、装置、存储介质及计算机设备
CN110795477A (zh) * 2019-09-20 2020-02-14 平安科技（深圳）有限公司 数据的训练方法及装置、系统
CN110955778A (zh) * 2019-12-13 2020-04-03 中国科学院深圳先进技术研究院 一种基于差分隐私联合学习的垃圾短信识别方法及系统
CN111310938A (zh) * 2020-02-10 2020-06-19 深圳前海微众银行股份有限公司 基于半监督的横向联邦学习优化方法、设备及存储介质
CN112801134A (zh) * 2020-12-30 2021-05-14 杭州趣链科技有限公司 基于区块链和图像的手势识别模型训练与分发方法与装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117132790A (zh) * 2023-10-23 2023-11-28 南方医科大学南方医院 基于人工智能的消化道肿瘤诊断辅助系统
CN117132790B (zh) * 2023-10-23 2024-02-02 南方医科大学南方医院 基于人工智能的消化道肿瘤诊断辅助系统

Similar Documents

Publication Publication Date Title
US11275819B2 (en) Generative adversarial network training and feature extraction for biometric authentication
CN107066983B (zh) 一种身份验证方法及装置
EP3504859B1 (en) Remote usage of locally stored biometric authentication data
US20190318077A1 (en) Visual data processing of response images for authentication
EP2863339B1 (en) Methods and systems for determing user liveness
WO2021036014A1 (zh) 联邦学习信用管理方法、装置、设备及可读存储介质
EP2863608B1 (en) Methods and systems for improving the accuracy performance of authentication systems
US11126827B2 (en) Method and system for image identification
CN112381782B (zh) 人脸图像质量评估方法、装置、计算机设备及存储介质
CN111832581B (zh) 肺部特征识别方法、装置、计算机设备及存储介质
CN110516734B (zh) 一种图像匹配方法、装置、设备及存储介质
US11711215B2 (en) Methods, systems, and media for secure authentication of users based on a biometric identifier and knowledge-based secondary information
CN111667001A (zh) 目标重识别方法、装置、计算机设备和存储介质
US20230027527A1 (en) Identity authentication method, and method and apparatus for training identity authentication model
CN111898561A (zh) 一种人脸认证方法、装置、设备及介质
CN110162942B (zh) 基于时间戳的身份验证方法、装置、设备及存储介质
WO2023124040A1 (zh) 一种人脸识别方法及装置
CN111667275A (zh) 用户身份识别方法、装置、设备及其介质
US20210342432A1 (en) Decentralized biometric identification and authentication network
CN113792759A (zh) 识别模型训练方法、装置、计算机设备和存储介质
KR102594497B1 (ko) 오프라인 nft 매장에 방문한 사용자에게 nft 경험을 제공하기 위해 얼굴 인식 기반 사용자의 지갑 주소를 생성하는 방법 및 이를 수행하는 nft 시스템
CN113792760A (zh) 聚类分析方法、装置、计算机设备和存储介质
US20220414193A1 (en) Systems and methods for secure adaptive illustrations
CN113596597A (zh) 一种游戏视频加速方法、装置、计算机设备和存储介质
Bharadwaj et al. Reliable human authentication using AI-based multibiometric image sensor fusion: Assessment of performance in information security

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination