CN114912572A - 目标识别方法及神经网络的训练方法 - Google Patents

目标识别方法及神经网络的训练方法 Download PDF

Info

Publication number
CN114912572A
CN114912572A CN202210322086.4A CN202210322086A CN114912572A CN 114912572 A CN114912572 A CN 114912572A CN 202210322086 A CN202210322086 A CN 202210322086A CN 114912572 A CN114912572 A CN 114912572A
Authority
CN
China
Prior art keywords
data
neural network
target
feature
sample image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210322086.4A
Other languages
English (en)
Inventor
王海波
朱烽
赵瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sensetime Technology Co Ltd
Original Assignee
Shenzhen Sensetime Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Sensetime Technology Co Ltd filed Critical Shenzhen Sensetime Technology Co Ltd
Priority to CN202210322086.4A priority Critical patent/CN114912572A/zh
Publication of CN114912572A publication Critical patent/CN114912572A/zh
Priority to PCT/CN2022/128143 priority patent/WO2023184958A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及人工智能技术领域，提供了一种目标识别方法及神经网络的训练方法。一种神经网络的训练方法，包括：获取第一神经网络；将第二样本图像数据输入所述第一神经网络，得到所述第一神经网络输出的第一特征数据；根据所述第二样本图像数据以及所述第一特征数据，对待训练的第二神经网络进行训练，得到训练后的第二神经网络；利用所述第二样本图像数据，对通过融合所述训练后的第二神经网络和所述第一神经网络得到的目标神经网络进行训练，直至满足收敛条件。本公开实施方式，在保证孤岛数据安全性的前提下，实现对多方孤岛数据的同时利用，训练得到的目标神经网络具有更好的兼容性，提高网络对多方数据的识别能力，大大提高目标识别精度。

Description

目标识别方法及神经网络的训练方法
技术领域
本公开涉及人工智能技术领域，具体涉及一种目标识别方法及神经网络的训练方法。
背景技术
数据孤岛是指不同的企业或者客户端之间积累的数据资源，出于隐私保护或者数据安全等目的，像一个个独立的孤岛一样无法进行连接互动，孤岛数据彼此之间缺乏关联性。
随着大数据时代的来临，数据逐渐成为了新的生产要素。数据是深度学习网络(DNN，Deep Neural Network)的基石，但是由于数据孤岛的存在，单个企业或者客户端所能获取的数据十分有限，导致DNN精度上限难以提高。
发明内容
为提高神经网络精度，本公开实施方式提供了一种目标识别方法及装置、神经网络的训练方法及装置、电子设备以及存储介质。
第一方面，本公开实施方式提供了一种神经网络的训练方法，应用于第二客户端，所述方法包括：
获取第一神经网络；所述第一神经网络为第一客户端利用第一样本图像数据预先训练得到，所述第一样本图像数据为所述第一客户端能够获取的第一孤岛数据；
将第二样本图像数据输入所述第一神经网络，得到所述第一神经网络输出的第一特征数据；所述第二样本图像数据为所述第二客户端能够获取的第二孤岛数据；
根据所述第二样本图像数据以及所述第一特征数据，对待训练的第二神经网络进行训练，得到训练后的第二神经网络；
利用所述第二样本图像数据，对通过融合所述训练后的第二神经网络和所述第一神经网络得到的目标神经网络进行训练，直至满足收敛条件。
在一些实施方式中，所述第二样本图像数据包括多个目标类别，其中，每个目标类别中包括至少一个目标样本图像；所述将第二样本图像数据输入所述第一神经网络，得到所述第一神经网络输出的第一特征数据，包括：
将各个目标样本图像输入所述第一神经网络，得到所述第一神经网络输出的每个目标样本图像所对应的第一图像特征；
对于每一个所述目标类别，根据所述目标类别中每个目标样本图像的所述第一图像特征，确定所述目标类别对应的第一类中心特征以及类特征范围；
将所述第一类中心特征和所述类特征范围确定为所述目标类别对应的所述第一特征数据。
在一些实施方式中，所述根据所述目标类别中每个目标样本图像的所述第一图像特征，确定所述目标类别对应的第一类中心特征以及类特征范围，包括：
根据所述目标类别中每个目标样本图像的所述第一图像特征，确定所述目标类别对应的所述第一类中心特征；
确定所述目标类别中每个第一图像特征与所述第一类中心特征的相似度，并根据所述相似度的最大值和最小值确定所述目标类别对应的所述类特征范围。
在一些实施方式中，根据所述第二样本图像数据以及所述第一特征数据，对待训练的第二神经网络进行训练，得到训练后的第二神经网络，包括：
将所述第二样本图像数据输入待训练的第二神经网络，得到所述第二神经网络输出的第二特征数据；
基于所述第二特征数据与所述第二样本图像数据包括的标签数据之间的第一差异，以及所述第二特征数据与所述第一特征数据之间的第二差异，对所述第二神经网络的网络参数进行调整，直至满足收敛条件，得到所述训练后的第二神经网络。
在一些实施方式中，所述第二样本图像数据包括多个目标类别，其中，每个目标类别包括至少一个目标样本图像；所述将所述第二样本图像数据输入待训练的第二神经网络，得到所述第二神经网络输出的第二特征数据，包括：
将各个目标样本图像输入待训练的第二神经网络，得到所述第二神经网络输出的每个目标样本图像所对应的第二图像特征；
对于每一个所述目标类别，根据所述目标类别中每个目标样本图像的所述第二图像特征，确定所述目标类别对应的第二类中心特征；
将所述第二类中心特征以及每个目标样本图像对应的所述第二图像特征，确定为目标类别对应的所述第二特征数据。
在一些实施方式中，每个目标类别的第一特征数据包括每个目标样本图像所属的目标类别的第一类中心特征以及类特征范围；所述基于所述第二特征数据与所述第二样本图像数据包括的标签数据之间的第一差异，以及所述第二特征数据与所述第一特征数据之间的第二差异，对所述第二神经网络的网络参数进行调整，包括：
根据每个目标样本图像对应的第二图像特征和所述标签数据，确定所述第一差异；
对于每个所述目标类别，根据所述目标类别对应的所述第二类中心特征与所述第一类中心特征的差异，以及每个目标样本图像对应的所述第二图像特征与所述类特征范围的差异，确定所述第二差异；
基于所述第一差异和所述第二差异，对所述第二神经网络的网络参数进行调整。
在一些实施方式中，所述利用所述第二样本图像数据，对通过融合所述训练后的第二神经网络以及所述第一神经网络得到的目标神经网络进行训练，包括：
将所述第二样本图像数据输入训练后的第二神经网络，得到所述第二神经网络输出的第三特征数据；
根据基于所述第二样本图像数据确定的融合权重，对所述第一特征数据和所述第三特征数据进行融合处理，得到融合特征数据；
基于所述融合特征数据和所述第二样本图像数据包括的标签数据之间的第三差异，对所述目标神经网络的网络参数进行调整，直至满足收敛条件。
在一些实施方式中，所述根据基于所述第二样本图像数据确定的融合权重，对所述第一特征数据和所述第三特征数据进行融合处理，得到融合特征数据，包括：
将所述第二样本图像数据输入所述目标神经网络的属性网络，得到所述属性网络输出的属性信息；
根据所述属性信息确定所述第一特征数据的第一权值，和所述第三特征数据的第二权值；
基于所述第一权值和所述第二权值，对所述第一特征数据和所述第三特征数据进行融合处理，得到所述融合特征数据。
在一些实施方式中，所述第一神经网络包括第一人脸识别网络，所述第一样本图像数据为第一人脸图像数据。
在一些实施方式中，所述第二神经网络包括第二人脸识别网络，所述第二样本图像数据为第二人脸图像数据。
第二方面，本公开实施方式提供了一种目标识别方法，包括：
获取待测图像，所述待测图像中包括待测目标；
将所述待测图像输入预先训练得到的目标识别网络，得到所述目标识别网络输出的识别结果；所述目标识别网络是根据第一方面任一实施方式所述的训练方法得到的目标神经网络。
第三方面，本公开实施方式提供了一种神经网络的训练装置，应用于第二客户端，所述装置包括：
网络获取模块，被配置为获取第一神经网络；所述第一神经网络为第一客户端利用第一样本图像数据预先训练得到，所述第一样本图像数据为所述第一客户端能够获取的第一孤岛数据；
第一处理模块，被配置为将第二样本图像数据输入所述第一神经网络，得到所述第一神经网络输出的第一特征数据；所述第二样本图像数据为所述第二客户端能够获取的第二孤岛数据；
第一训练模块，被配置为根据所述第二样本图像数据以及所述第一特征数据，对待训练的第二神经网络进行训练，得到训练后的第二神经网络；
第二训练模块，被配置为利用所述第二样本图像数据，对通过融合所述训练后的第二神经网络和所述第一神经网络得到的目标神经网络进行训练，直至满足收敛条件。
在一些实施方式中，所述第二样本图像数据包括多个目标类别，其中，每个目标类别中包括至少一个目标样本图像；所述第一处理模块被配置为：
将各个目标样本图像输入所述第一神经网络，得到所述第一神经网络输出的每个目标样本图像所对应的第一图像特征；
对于每一个所述目标类别，根据所述目标类别中每个目标样本图像的所述第一图像特征，确定所述目标类别对应的第一类中心特征以及类特征范围；
将所述第一类中心特征和所述类特征范围确定为所述目标类别对应的所述第一特征数据。
在一些实施方式中，所述第一处理模块被配置为：
根据所述目标类别中每个目标样本图像的所述第一图像特征，确定所述目标类别对应的所述第一类中心特征；
确定所述目标类别中每个第一图像特征与所述第一类中心特征的相似度，并根据所述相似度的最大值和最小值确定所述目标类别对应的所述类特征范围。
在一些实施方式中，所述第一训练模块被配置为：
将所述第二样本图像数据输入待训练的第二神经网络，得到所述第二神经网络输出的第二特征数据；
基于所述第二特征数据与所述第二样本图像数据包括的标签数据之间的第一差异，以及所述第二特征数据与所述第一特征数据之间的第二差异，对所述第二神经网络的网络参数进行调整，直至满足收敛条件，得到所述训练后的第二神经网络。
在一些实施方式中，所述第二样本图像数据包括多个目标类别，其中，每个目标类别包括至少一个目标样本图像；所述第一训练模块被配置为：
将各个目标样本图像输入待训练的第二神经网络，得到所述第二神经网络输出的每个目标样本图像所对应的第二图像特征；
对于每一个所述目标类别，根据所述目标类别中每个目标样本图像的所述第二图像特征，确定所述目标类别对应的第二类中心特征；
将所述第二类中心特征以及每个目标样本图像对应的所述第二图像特征，确定为目标类别对应的所述第二特征数据。
在一些实施方式中，每个目标类别的第一特征数据包括每个目标样本图像所属的目标类别的第一类中心特征以及类特征范围；所述第一训练模块被配置为：
根据每个目标样本图像对应的第二图像特征和所述标签数据，确定所述第一差异；
对于每个所述目标类别，根据所述目标类别对应的所述第二类中心特征与所述第一类中心特征的差异，以及每个目标样本图像对应的所述第二图像特征与所述类特征范围的差异，确定所述第二差异；
基于所述第一差异和所述第二差异，对所述第二神经网络的网络参数进行调整。
在一些实施方式中，所述第二训练模块被配置为：
将所述第二样本图像数据输入训练后的第二神经网络，得到所述第二神经网络输出的第三特征数据；
根据基于所述第二样本图像数据确定的融合权重，对所述第一特征数据和所述第三特征数据进行融合处理，得到融合特征数据；
基于所述融合特征数据和所述第二样本图像数据包括的标签数据之间的第三差异，对所述目标神经网络的网络参数进行调整，直至满足收敛条件。
在一些实施方式中，所述第二训练模块被配置为：
将所述第二样本图像数据输入所述目标神经网络的属性网络，得到所述属性网络输出的属性信息；
根据所述属性信息确定所述第一特征数据的第一权值，和所述第三特征数据的第二权值；
基于所述第一权值和所述第二权值，对所述第一特征数据和所述第三特征数据进行融合处理，得到所述融合特征数据。
在一些实施方式中，所述第一神经网络包括第一人脸识别网络，所述第一样本图像数据为第一人脸图像数据。
在一些实施方式中，所述第二神经网络包括第二人脸识别网络，所述第二样本图像数据为第二人脸图像数据。
第四方面，本公开实施方式提供了一种目标识别装置，包括：
图像获取模块，被配置为获取待测图像，所述待测图像中包括待测目标；
第二处理模块，被配置为将所述待测图像输入预先训练得到的目标识别网络，得到所述目标识别网络输出的识别结果；所述目标识别网络是根据第一方面任一实施方式所述的训练方法得到的目标神经网络。
第五方面，本公开实施方式提供了一种电子设备，包括：
处理器；和
存储器，存储有计算机指令，所述计算机指令用于使所述处理器执行根据第一方面或者第二方面中任一实施方式所述的方法。
第六方面，本公开实施方式提供了一种存储介质，存储有计算机指令，所述计算值指令用于使计算机执行根据第一方面或者第二方面中任一实施方式所述的方法。
本公开实施方式的神经网络训练方法，应用于第二客户端，所述方法包括获取第一客户端利用第一样本图像数据预先训练得到的第一神经网络，将第二样本图像数据输入第一神经网络，得到第一神经网络输出的第一特征数据，根据第二样本图像数据以及第一特征数据，对待训练的第二神经网络进行训练，得到训练后的第二神经网络，利用第二样本图像数据对通过融合第二神经网络和第一神经网络的目标神经网络进行训练，直至满足收敛条件。本公开实施方式中，在保证孤岛数据安全性的前提下，实现对多方孤岛数据的同时利用，训练得到的目标神经网络具有更好的兼容性，提高网络对多方数据的识别能力，大大提高目标识别精度。
附图说明
为了更清楚地说明本公开具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本公开一些实施方式中神经网络训练系统的结构示意图。
图2是根据本公开一些实施方式中神经网络的训练方法的流程图。
图3是根据本公开一些实施方式中神经网络的训练方法的流程图。
图4是根据本公开一些实施方式中神经网络的训练方法的流程图。
图5是根据本公开一些实施方式中神经网络的训练方法的流程图。
图6是根据本公开一些实施方式中神经网络的训练方法的流程图。
图7是根据本公开一些实施方式中神经网络的训练方法的流程图。
图8是根据本公开一些实施方式中神经网络的训练方法的流程图。
图9是根据本公开一些实施方式中神经网络的训练方法的原理图。
图10是根据本公开一些实施方式中神经网络的训练方法的流程图。
图11是根据本公开一些实施方式中神经网络的训练方法的流程图。
图12是根据本公开一些实施方式中神经网络的训练方法的原理图。
图13是根据本公开一些实施方式中目标识别方法的流程图。
图14是根据本公开一些实施方式中神经网络的训练装置的结构框图。
图15是根据本公开一些实施方式中目标识别装置的结构框图。
图16是根据本公开一些实施方式中电子设备的结构框图。
具体实施方式
下面将结合附图对本公开的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本公开一部分实施方式，而不是全部的实施方式。基于本公开中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本公开保护的范围。此外，下面所描述的本公开不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
随着大数据时代的来临，数据已经成为最为重要的生成要素，数据是深度学习网络(DNN，Deep Neural Network)的基石，如果能够利用更多的数据，将更有潜力突破神经网络的精度上限。但是由于数据孤岛的存在，导致单个企业或者客户端所能累积获取的数据十分有限，从而DNN精度上限难以提高。
以人脸识别场景为例，利用更多的人脸图像数据训练人脸识别网络是提升人脸识别精度的有效方法。但是，由于人脸数据的高度隐私性，不同企业或客户端积累的数据均独立存储和维护，彼此数据库之间相互孤立，形成数据孤岛。
例如，企业A积累有较多的通过摄像头采集的用户佩戴口罩的人脸数据，而企业B积累有较多的用户上传的不佩戴口罩的人脸数据。如果能够同时利用企业A和企业B的人脸数据来训练人脸识别网络，人脸识别网络即可同时学习到两种数据的人脸特征，大大提高人脸识别精度。但是，由于数据孤岛的存在，企业A与企业B的孤岛数据无法同时获取，导致人脸识别网络的精度上限难以进一步提高。
相关技术中，可以通过联邦学习(Federated Learning)的方法打破数据孤岛，实现孤岛数据的利用。联邦学习的基本原理是，构建一个“服务器——多客户端”之间的加密通信环境，其中，每个客户端具有独立存储和维护的孤岛数据。服务器将DNN发送至各个客户端，从而每个客户端利用自己的孤岛数据在本地训练DNN，将训练后的网络参数和梯度加密发送至服务器，然后服务器进行聚合处理得到最终训练后的DNN，以此实现孤岛数据不出本地即可参与网络训练的目的。
但是，联邦学习需要构建庞大的加密通信环境，以实现服务器与各个客户端之间的加密通信，部署难度大、时间周期长，成本很高，同时要求每个客户端的DNN网络结构相同，极大限制了孤岛数据利用的灵活性和网络训练效率。
基于此，本公开实施方式提供了一种人脸识别网络的训练方法及装置、人脸识别方法及装置、电子设备以及存储介质，旨在打破数据孤岛，有效利用各方孤岛数据参与网络训练，提高人脸识别精度，并且部署简单、成本低。
图1示出了本公开实施方式的人脸识别网络的训练系统的结构，下面结合图1对本公开实施方式的应用环境进行说明。
如图1所示，训练系统包括第一客户端100和第二客户端200，第一客户端100和第二客户端200可以通过网络300建立有线或者无线的通信连接。
本公开实施方式中，第一客户端100存储有第一样本图像数据，第二客户端200存储有第二样本图像数据。可以理解，根据应用场景的不同，第一样本图像数据和第二样本图像数据的数据类型可以相应设置，例如可以是人脸数据、自然场景数据、车辆数据等等，本公开对此不作限制。
其中，第一样本图像数据和第二样本图像数据互为孤岛数据。也即，第一客户端100无法获取得到第二样本图像数据，而第二客户端200同样无法获取得到第一样本图像数据。
在一个示例中，第一客户端100和第二客户端200可以是两个不同的企业。例如，第一客户端100为企业A，其具有独立积累、存储和维护的人脸数据，也即第一样本图像数据。第二客户端200为企业B，其具有独立积累、存储和维护的人脸数据，也即第二样本图像数据。出于数据价值或隐私保护等目的，企业A与企业B之间的数据无法互通，也即企业A无法获取到第二样本图像数据，同样，企业B也无法获取到第一样本图像数据。
在另一个示例中，第一客户端100和第二客户端200可以是同一个企业的不同部门。例如，第一客户端100为企业X的部门A，其具有独立积累、存储和维护的自然场景数据，也即第一样本图像数据。第二客户端200为企业X的部门B，其具有独立积累、存储和维护的自然场景数据，也即第二样本图像数据。出于数据价值或隐私保护等目的，部门A与部门B之间的数据无法互通，也即部门A无法获取到第二样本图像数据，同样，部门B也无法获取到第一样本图像数据。
当然，可以理解，本公开实施方式系统的应用场景并不局限于上述示例，还可以应用于任何适于联合两个或多个孤岛数据进行网络训练的场景，本公开对此不再枚举。
在图1所示的基础上，本公开实施方式提供了一种神经网络的训练方法，该方法可应用于第二客户端，实现第一样本图像数据和第二样本图像数据的同时参与网络训练。
如图2所示，在一些实施方式中，本公开示例的神经网络的训练方法，包括：
S210、获取第一神经网络。
本公开实施方式中，第一人脸识别网络为第一客户端利用第一样本图像数据预先训练得到。
参见图1可知，第一客户端100与第二客户端200之间，虽然两者存储的孤岛数据不可互通，但是两者建立有可通信连接，从而第一客户端100可预先利用自己能够获取的第一样本图像数据训练得到第一神经网络，然后将训练后的第一神经网络通过网络300发送至第二客户端200。
本公开下述实施方式中，对第一客户端训练得到第一神经网络的过程进行具体说明，在此暂不详述。
S220、将第二样本图像数据输入第一神经网络，得到第一神经网络输出的第一特征数据。
本公开实施方式中，在第二客户端接收到第一客户端发送的第一神经网络之后，可利用第一神经网络对第二神经网络进行辅助训练，从而使得第二神经网络可以兼具对第一神经网络学习到的特征的识别能力。
具体来说，第二客户端可以获取到自己存储的第二样本图像数据，本公开实施方式中，首先将第二样本图像数据输入接收的第一神经网络中，从而得到第一特征数据。
可以理解，第一神经网络是利用第一客户端100的第一样本图像数据训练得到的，也就是说，第一神经网络对第一样本图像数据的特征具有很好的识别能力。本公开实施方式中，在第二客户端200一侧，将第二样本图像数据输入第一神经网络中，从而可以提取得到第一神经网络对第二样本图像数据的识别特征，也即第一特征数据。
在本公开实施方式中，正是利用第一神经网络提取的第一特征数据，对第二客户端200一侧的第二神经网络进行辅助训练，使得第二神经网络可以兼容第一神经网络的识别能力，下面在S230中进行说明。
S230、根据第二样本图像数据以及第一特征数据，对待训练的第二神经网络进行训练，得到训练后的第二神经网络。
具体来说，对于第二客户端一侧，其具有自身存储的第二样本图像数据，还具有通过S220对第二样本图像数据进行特征提取得到的第一特征数据。
可以理解，若仅利用第二样本图像数据来训练第二神经网络，那么第二神经网络仅能学习到针对第二样本图像数据的特征，而不会学习到第一样本图像数据的特征。本公开实施方式中，将第一特征数据融合进第二神经网络的训练过程，使得第二神经网络可以兼容第一特征数据的特征识别。
也即，本公开实施方式中，在第二客户端200一侧，对第二神经网络进行训练时，目标函数的优化主要包括如下两个部分：
1)对第二样本图像数据的分类损失。
其表示的是第二神经网络对于第二样本图像数据的识别能力，也即对第二样本图像数据分类的预测值与标签值之间的差异。
2)第二神经网络提取特征与第一神经网络提取特征之间的损失。
其表示的是，对于同样的第二样本图像数据，利用第一神经网络提取到的特征与利用第二神经网络提取到的特征之间的差异。可以理解，两者的差异越小，表示第二神经网络兼容第一神经网络的能力越强，在利用第二神经网络来识别与第一样本图像数据更接近的目标时，网络识别精度更高。
因此，通过约束上述两个损失项，利用第一特征数据和第二样本图像数据，对待训练的第二神经网络进行训练，得到同时兼容第一样本图像数据和第二样本图像数据的第二神经网络。
S240、利用第二样本图像数据，对通过融合所述训练后的第二神经网络和第一神经网络得到的目标神经网络进行训练，直至满足收敛条件。
具体而言，在本公开实施方式中，在得到训练后的第二神经网络之后，将第二神经网络和第一神经网络进行融合，得到目标神经网络，然后再次利用第二样本图像数据对目标神经网络进行训练，直至满足收敛条件，训练完成，得到最终用于预测阶段使用的目标神经网络。
值得说明的是，本公开实施方式中，并非将训练后的第二神经网络直接作为最终的目标神经网络，而是同时融合之前得到的第一神经网络和第二神经网络，得到目标神经网络。这样，在对目标神经网络进行训练时，网络提取的特征既包括第一神经网络的提取特征，又包括第二神经网络的提取特征，使得目标神经网络无论对第一样本图像数据还是第二样本图像数据，均具有很好的鲁棒性。
对融合网络进行训练的过程，本公开下述实施方式中进行说明，在此暂不详述。
在一些实施方式中，在训练得到目标神经网络之后，可以将目标神经网络发送至第一客户端100。可以理解，第一客户端100和第二客户端200只有在最开始传输一次第一神经网络，和最后传输一次目标神经网络，两者的孤岛数据不存在任何的交互，在保证了数据安全的前提下，实现了双方孤岛数据的同时利用。
通过上述可知，本公开实施方式中，在保证孤岛数据安全性的前提下，实现对多方孤岛数据的同时利用，训练得到的目标神经网络具有更好的兼容性，提高网络对多方数据的识别能力，大大提高目标识别精度。
值得说明的是，本公开下文实施方式中，将以人脸识别场景为例对本公开神经网络训练方法进行说明，也即，在下文实施方式中，第一样本图像数据为第一人脸图像数据，第二样本图像数据为第二人脸图像数据，第一神经网络即可包括第一人脸识别网络，第二神经网络即可包括第二人脸识别网络。
但是可以理解，本公开并不局限于人脸识别场景，还可以是其他任何适于实施的应用场景，例如前述的车辆识别、自然场景识别等场景，本公开对此不再赘述，下面结合图2实施方式进行说明。
本公开实施方式中，无论第一样本图像数据还是第二样本图像数据，其均包括多个样本数据，每个样本数据包括目标样本图像、对应的标签数据以及所属的目标类别。以人脸识别场景为例，无论第一人脸数据还是第二人脸数据，其均包括多个样本数据，每个样本数据包括人脸样本图像、对应的标签数据以及人脸类别。人脸类别表示人脸样本图像所属的类别，例如，同一个人的多张人脸样本图像即属于同一个人脸类别。而标签数据表示对应的人脸样本图像属于某个人脸类别的真实值(Groundtruth)，标签数据可以由人工标注的方式得到。
简而言之，第一人脸数据和第二人脸数据均包括多个样本数据，这些样本数据分属于多个人脸类别，其中，每个样本数据包括人脸样本图像以及该人脸样本图像对应的标签数据。
在一些实施方式中，对于第一客户端100一侧，第一客户端100可以利用自身存储的第一人脸数据对第一人脸识别网络进行训练，从而得到训练后的第一人脸识别网络。下面结合图3实施方式进行说明。
如图3所示，在一些实施方式中，第一客户端100对第一人脸识别网络进行训练的过程包括：
S310、将第一样本图像数据输入待训练的第一神经网络，得到第一神经网络的输出结果。
S320、根据输出结果与标签数据之间的差异，对第一神经网络的网络参数进行调整，直至满足收敛条件，得到训练后的第一神经网络。
本公开实施方式中，对于第一人脸识别网络的具体网络结构不作限制，可以采用任何适于实现的人脸识别网络。例如一个示例中，第一人脸识别网络可以采用FaceNet网络结构，表示为：
Figure BDA0003570430200000141
式(1)中，xS表示第一人脸数据中的人脸样本图像，Ms表示第一人脸识别网络，
Figure BDA0003570430200000142
表示第一人脸识别网络提取的图像特征。下面以一个样本数据为例，对第一人脸识别网络的训练过程进行说明。
将样本数据包括的人脸样本图像输入待训练的第一人脸识别网络，第一人脸识别网络通过例如卷积、池化、分类等处理，得到针对该人脸样本图像的分类结果，也即输出结果。
可以理解，输出结果表示的是第一人脸识别网络的预测值，而标签数据表示该人脸样本图像的真实值，从而通过预先构建的目标函数计算得到输出结果与标签数据之间的差异，也即损失，根据该差异反向传播对第一人脸识别网络的网络参数进行优化调整。
上述仅以其中一个样本数据为例进行说明，对于第一人脸数据中的多个样本数据，重复上述过程，对第一人脸识别网络不断进行迭代优化，直至满足收敛条件，从而得到训练后的第一人脸识别网络。
第一客户端100在得到训练后的第一人脸识别网络之后，即可通过网络300将第一人脸识别网络发送至第二客户端200。可以理解，第一客户端100与第二客户端200只传输第一人脸识别网络，而没有任何针对第一人脸数据的传输，因此保证第一客户端100一侧的数据不出本地，保证数据安全。
对于第二客户端200一侧，在接收到第一客户端100发送的第一人脸识别网络之后，即可利用自身存储的第二人脸数据以及第一人脸识别网络对第二人脸识别网络进行兼容性训练。下面结合图4至图6实施方式进行说明。
如图4所示，在一些实施方式中，本公开示例的训练方法中，得到第一人脸特征数据的过程包括：
S410、将各个目标样本图像输入第一神经网络，得到第一神经网络输出的每个目标样本图像所对应的第一图像特征。
具体而言，在人脸识别场景中，目标样本图像也即第二人脸数据包括的样本数据中的人脸样本图像。以一个样本数据为例，可将样本数据包括的人脸样本图像输入第一人脸识别网络中，从而第一人脸识别网络通过例如卷积层对人脸样本图像进行特征提取，得到该人脸样本图像对应的第一图像特征。具体过程可与前述式(1)类似，对此不再赘述。
S420、对于每一个目标类别，根据目标类别中每个目标样本图像的第一图像特征，确定目标类别对应的第一类中心特征以及类特征范围。
具体来说，在人脸识别场景中，目标类别即为人脸样本图像所属的人脸类别。结合前述可知，第二人脸数据中包括多个人脸类别，例如，第二人脸数据中属于同一个人的人脸样本图像，即可属于同一个人脸类别。也即，每个人脸类别中包括至少一个人脸样本图像。
以任意一个人脸类别为例，该人脸类别包括N个人脸样本图像，通过前述S410中式(2)可以提取得到N个人脸样本图像对应的N个第一图像特征。对于该人脸类别，即可根据包括的N个人脸样本图像对应的第一图像特征，计算得到该人脸类别对应的第一类中心特征，表示为：
Figure BDA0003570430200000161
式(2)中，
Figure BDA0003570430200000162
表示利用第一人脸识别网络Ms提取的第二人脸数据中第i类的第k个人脸样本图像对应的第一图像特征，
Figure BDA0003570430200000163
表示第一类中心特征。可以理解，第一类中心特征表示该人脸类别的人脸样本图像的平均特征，其能够反映该人脸类别的特征平均值。
对于任意一个人脸类别，依次通过上述过程即可计算得到该人脸类别中每个人脸样本图像对应的第一图像特征，以及该人脸类别所对应的第一类中心特征。
在得到第一类中心特征之后，可根据第一类中心特征计算得到该人脸类别对应的类特征范围，下面结合图5实施方式进行说明。
S421、根据目标类别中每个目标样本图像的第一图像特征，确定目标类别对应的第一类中心特征。
S422、确定目标类别中每个第一图像特征与第一类中心特征的相似度，并根据相似度的最大值确定目标类别对应的类特征范围。
具体来说，通过前述式(2)可以得到每个人脸类别对应的第一类中心特征，第一类中心特征表示对应的人脸类别的平均特征。
以任意一个人脸类别为例，该人脸类别共包括N个人脸样本图像和对应的第一图像特征，该人脸类别还包括对应的类中心特征。在本公开实施方式中，可以计算每个人脸样本图像的第一图像特征与类中心特征的相似度。该相似度表示每个人脸样本图像与平均特征的相似程度，在一个示例中，可以计算每个第一图像特征与类中心特征的余弦相似度，表示为：
Figure BDA0003570430200000171
式(3)中，
Figure BDA0003570430200000172
表示利用第一人脸识别网络Ms提取的第i类的第k个第一图像特征与类中心特征的相似度，
Figure BDA0003570430200000173
表示利用第一人脸识别网络Ms提取的第i类的第k个第一特征数据，
Figure BDA0003570430200000174
表示第i类的类中心特征。
在得到每个第一图像特征与所述的类中心特征的相似度之后，确定相似度的最小值和最大值，表示为：
Figure BDA0003570430200000175
Figure BDA0003570430200000176
式(4)和(5)中，
Figure BDA0003570430200000177
表示相似度最小值，
Figure BDA0003570430200000178
表示相似度最大值，
Figure BDA0003570430200000179
表示第i类中的各个相似度。
在确定相似度最小值和相似度最大值之后，可以将相似度最大值
Figure BDA00035704302000001710
作为该人脸类别的内特征边界，而将相似度最小值
Figure BDA00035704302000001711
作为该人脸类别的外特征边界，内外特征边界之间的范围即为该人脸类别对应的类特征范围。
上述对其中一个人脸类别进行了说明，对于第二人脸数据包括的各个人脸类别，依次执行上述过程，即可得到每个人脸类别对应的类中心特征以及类特征范围。
S430、将第一类中心特征和类特征范围确定目标类别对应的第一特征数据。
具体而言，对于第二人脸数据包括的任意一个人脸类别，将上述得到的该人脸类别的第一类中心特征
Figure BDA00035704302000001712
和类特征范围(Smin，Smax)共同作为该人脸类别的第一特征数据。
通过上述可知，第二客户端200的第二人脸数据，在经过第一人脸识别网络进行特征提取之后，得到每个人脸类别对应的第一人脸特征，即可根据第一人脸特征辅助对第二人脸识别网络的训练，下面结合图6实施方式进行说明。
如图6所示，在一些实施方式中，第二客户端200对第二人脸识别网络进行训练的过程包括：
S610、将第二样本图像数据输入待训练的第二神经网络，得到第二神经网络输出的第二特征数据。
S620、基于第二特征数据与第二样本图像数据的标签数据之间的第一差异，以及第二特征数据与第一特征数据之间的第二差异，对第二神经网络的网络参数进行调整，直至满足收敛条件，得到训练后的第二神经网络。
具体而言，通过上述可知，对于第二人脸识别网络(即第二神经网络)进行兼容性训练的目标项主要包括两个部分：1)对第二人脸数据的分类损失；2)第二人脸识别网络提取特征与第一人脸识别网络提取特征之间的损失。
从而，本公开实施方式中，可将第二人脸数据(即第二样本图像数据)输入未训练的第二人脸识别网络中，得到第二人脸识别网络输出的第二特征数据，也即第二人脸特征数据。第二人脸特征数据包括每个人脸样本图像对应的第二图像特征、每个人脸类别对应的第二类中心特征。下面结合图7实施方式进行说明。
如图7所示，在一些实施方式中，本公开示例的训练方法，得到第二人脸特征数据的过程包括：
S611、将各个目标样本图像输入待训练的第二神经网络，得到第二神经网络输出的每个目标样本图像所对应的第二图像特征。
S612、对于每一个目标类别，根据目标类别中每个目标样本图像的第二图像特征，确定目标类别对应的第二类中心特征。
S613、将第二类中心特征以及每个目标样本图像对应的第二图像特征，确定为目标类别对应的第二特征数据。
总的来说，计算每个人脸样本图像的第二图像特征，以及每个人脸类别的第二类中心特征的过程，与前述计算第一图像特征和第一类中心特征的过程类似，主要区别在于：前述的第一图像特征和第一类中心特征是基于第一人脸识别网络得到，而本实施方式的第二图像特征和第二类中心特征是基于第二人脸识别网络得到。
具体来说，将第二人脸数据的各个人脸样本图像输入未训练的第二人脸识别网络。本公开实施方式中，对于第二人脸识别网络可以采用任何适于实现的人脸识别网络，第二人脸识别网络的网络结构可以与第一人脸识别网络相同，也可以不同，本公开对此不作限制。例如一个示例中，第一人脸识别网络同样可以采用FaceNet网络结构，表示为：
Figure BDA0003570430200000191
式(6)中，xA表示第二人脸数据中的人脸样本图像，MA表示第二人脸识别网络，
Figure BDA0003570430200000192
表示利用第二人脸识别网络提取的人脸样本图像的特征，也即本公开所述的第二图像特征。
以第二人脸数据的一个样本数据为例，可将样本数据包括的人脸样本图像xA输入未训练的第二人脸是被网络MA中，从而第二人脸识别网络基于式(6)对人脸样本图像xA进行特征提取，得到该人脸样本图像对应的第二图像特征
Figure BDA0003570430200000193
依次对第二人脸数据的每个样本数据进行上述处理，即可得到每个人脸样本图像对应的第二图像特征。
对于任意一个人脸类别，可根据该人脸类别中包括的各个第二图像特征，确定该人脸类别对应的第二类中心特征。例如，某个人脸类别包括N个人脸样本图像，对于该人脸类别，计算得到的第二类中心特征，表示为：
Figure BDA0003570430200000194
式(7)中，
Figure BDA0003570430200000195
表示利用第二人脸识别网络MA提取的第二人脸数据中第i类的第k个人脸样本图像对应的第二图像特征，
Figure BDA0003570430200000196
表示第二类中心特征。
对于任意一个人脸类别，依次通过上述过程即可计算得到该人脸类别中每个人脸样本图像对应的第二图像特征，以及该人脸类别所对应的第二类中心特征，将第二图像特征和第二类中心特征共同作为该人脸类别的第二特征数据，也即第二人脸特征数据。
在得到第一人脸特征数据和第二人脸特征数据之后，即可对第二人脸识别网络进行有监督训练，下面结合图8实施方式进行说明。
如图8所示，在一些实施方式中，本公开示例的训练方法，对第二人脸识别网络的网络参数进行调整的过程包括：
S621、根据每个目标样本图像对应的第二图像特征和标签数据，确定第一差异。
具体来说，以第二人脸数据中的一个样本数据为例，通过前述过程可以得到该样本数据的人脸样本图像对应的第二图像特征。第二人脸识别网络可以根据该第二图像特征，预测得到分类结果，也即输出结果。
可以理解，输出结果表示的是第二人脸识别网络的预测值，而标签数据表示该人脸样本图像的真实值，从而通过预先构建的损失函数即可计算得到输出结果与标签数据之间的损失，也即本公开所述的第一差异。
S622、对于每个目标类别，根据目标类别对应的第二类中心特征与第一类中心特征的差异，以及每个目标样本图像对应的第二图像特征与类特征范围的差异，确定第二差异。
本公开实施方式中，第二差异包括两个部分：一是第二类中心特征与第一类中心特征的差异；二是基于类特征范围对第二图像特征进行约束的损失项。
具体来说，以第二人脸数据中的任意一个人脸类别为例，通过前述图5实施方式，可以计算得到该人脸类别对应的第一类中心特征
Figure BDA0003570430200000201
而通过前述图7实施方式，可以计算得到该人脸类别对应的第二类中心特征
Figure BDA0003570430200000202
从而，根据第一类中心特征
Figure BDA0003570430200000203
和第二类中心特征
Figure BDA0003570430200000204
即可计算得到两者之间的差异。
同时，对于每个人脸类别，通过前述图5实施方式还可以得到对应的类特征范围(Smin，Smax)。在本公开实施方式，同时约束每个人脸样本图像的第二图像特征与类特征范围的差异。例如一个示例中，对于任意一个样本数据，可以计算样本数据的人脸样本图像对应的第二图像特征
Figure BDA0003570430200000205
与该人脸样本图像所属的人脸类别的第一类中心特征
Figure BDA0003570430200000206
的余弦相似度，然后约束余弦相似度小于
Figure BDA0003570430200000207
从而，第一类中心特征与第二类中心特征的差异，以及第二图像特征与类特征范围的差异，共同作为第二差异。
S623、基于第一差异和第二差异，对第二神经网络的网络参数进行调整，直至满足收敛条件，得到所述训练后的第二人脸识别网络。
具体而言，综合上述第一差异和第二差异，根据该差异反向传播对第二人脸识别网络的网络参数进行优化调整。对于第二人脸数据中的多个样本数据，重复上述过程，对第二人脸识别网络不断进行迭代优化，直至满足收敛条件，从而得到训练后的第二人脸识别网络。
可以理解，在上述对第二人脸识别网络进行训练的过程中，第一差异表示的是针对第二人脸识别网络对第二人脸数据识别能力的约束，而第二差异表示的是针对第二人脸识别网络对第一人脸数据兼容性的约束，从而基于上述训练过程，得到的第二人脸识别网络可以对第一人脸数据和第二人脸数据均具有很好的兼容识别能力，提高人脸识别精度。
图9示出了本公开训练方法中，对第二人脸识别网络MA进行兼容性训练的原理图，下面结合图9进一步进行说明。
如图9所示，该训练过程在第二客户端200一侧进行，从而基于前述图4和图5的过程，利用第二人脸数据和第一人脸识别网络Ms可以得到第一人脸特征数据。同时，基于前述图6和图7的过程，利用第二人脸数据和待训练的第二人脸识别网络MA可以得到第二人脸特征数据。然后根据前述图8的过程，基于第一人脸特征数据、第二人脸特征数据以及第二人脸数据中的标签数据，利用预先构建的损失函数可以计算得到包括第一差异和第二差异的损失，然后根据该损失反向传播调整第二人脸识别网络MA的网络参数，直至网络收敛，得到训练后的第二人脸识别网络MA。
通过上述可知，本公开实施方式中，利用第一人脸识别网络对第二人脸识别网络进行辅助兼容性训练，使得第二人脸识别网络可以对第一人脸数据和第二人脸数据均具有很好的兼容识别能力，同时网络可以更好的收敛，提高人脸识别精度。
可以理解，通过上述过程即可得到训练后的第二人脸识别网络，而在本公开实施方式中，并非直接将第二人脸识别网络作为最终的目标人脸识别网络，而是融合第一人脸识别网络和第二人脸识别网络，得到目标人脸识别网络，并且再次利用第二人脸数据对目标人脸识别网络进行训练，提高网络对各个孤岛数据的兼容性。下面结合图10实施方式进行说明。
如图10所示，在一些实施方式中，本公开示例的训练方法，对目标人脸识别网络进行训练的过程包括：
S1010、将第二样本图像数据输入训练后的第二神经网络，得到第二神经网络输出的第三特征数据。
S1020、根据基于第二样本图像数据确定的融合权重，对第一特征数据和第三特征数据进行融合处理，得到融合特征数据。
S1030、基于融合特征数据和第二样本图像数据包括的标签数据之间的第三差异，对目标神经网络的网络参数进行调整，直至满足收敛条件。
在一些实施方式中，可以在第一人脸识别网络和第二人脸识别网络的特征提取层之后添加融合层，从而对两者的提取特征进行融合处理。
具体来说，将第二人脸数据输入训练后的第二人脸识别网络，基于与上述提取第二人脸特征数据相同的过程，第二人脸识别网络可以输出第三特征数据，也即所述的第三人脸特征数据。可以理解，第三人脸特征数据本质上与第二人脸特征数据相同。本领域技术人员参照前述实施方式即可理解并充分实施，对此不再赘述。同时，将第二人脸数据输入第一人脸识别网络，基于前述实施方式过程，第一人脸识别网络可以输出第一人脸特征数据。
在对第一人脸特征数据和第三人脸特征数据进行融合处理时，首先需要确定两者的融合权重，基于该融合权重分别对两个数据进行融合处理。
在一些实施方式中，可以根据第二人脸数据的属性信息确定融合权重。属性信息表示第一人脸数据和第二人脸数据在属性上的差异。例如一个示例中，第一人脸数据主要包括“儿童”的人脸数据，而第二人脸数据主要包括“成人”的人脸数据，则“年龄”即为两个孤岛数据的属性差异。例如又一个示例中，第一人脸数据主要包括“男人”的人脸数据，而第二人脸数据主要包括“女人”的人脸数据，则“性别”即为两个孤岛数据的属性差异。
当然，本领域技术人员可以理解，属性信息并不局限于上述示例，还可以是其他任何适于实施的属性信息，只要能够从整体上使得第一人脸数据和第二人脸数据具有一定的差异化即可，本公开对此不作限制。
在一些示例中，目标人脸识别网络还可以包括属性识别网络，从而利用属性识别网络对人脸样本图像的属性信息进行提取，使得目标人脸识别网络可以根据属性信息确定对应的融合权重。本公开下述实施方式中进行说明，在此暂不详述。
在确定第一人脸特征数据和第三人脸特征数据的融合权重之后，可根据该融合权重对两者进行融合处理，从而得到融合特征数据。可以理解，融合特征数据同时融合了第一人脸识别网络和第二人脸识别网络的特征信息，从而对于两个孤岛数据的特征均具有一定的代表性。
目标人脸识别网络可以在融合层之后添加分类层，分类层例如为全连接层，全连接层根据输入的融合特征数据，预测输出人脸样本数据对应的输出结果。
可以理解，输出结果表示的是目标人脸识别网络对人脸样本图像的预测值，而标签数据表示该人脸样本图像的真实值，从而通过预先构建的损失函数计算输出结果与标签数据之间的第三差异，也即损失，根据第三差异反向传播对目标人脸识别网络的分类层参数进行优化调整。对于第二人脸数据中的多个样本数据，重复上述过程，对目标人脸识别网络不断进行迭代优化，直至满足收敛条件，从而得到训练后的目标人脸识别网络。
通过上述可知，本公开实施方式中，融合第一人脸识别网络和第二人脸识别网络得到目标人脸识别网络，从而提高目标人脸识别网络对多方孤岛数据的兼容能力，提高网络精度和人脸识别精度。
如图11所示，在一些实施方式中，本公开示例的训练方法，对第一人脸特征数据和第三人脸特征数据进行融合处理的过程包括：
S1021、将第二样本图像数据输入目标神经网络的属性网络，得到属性网络输出的属性信息。
S1022、根据属性信息确定第一特征数据的第一权值，和第三特征数据的第二权值。
S1023、基于第一权值和第二权值，对第一特征数据和第三特征数据进行融合处理，得到融合特征数据。
图12示出了本公开训练方法中，对目标人脸识别网络进行训练的原理图，下面结合图12进行具体说明。
如图12所示，在一些实施方式中，目标人脸识别网络包括属性网络Mattr，属性网络Mattr表示对第二人脸数据的属性信息进行识别的网络，属性网络Mattr可以基于属性信息类型预先训练得到。
通过前述可知，目标人脸识别网络引入属性信息的目的是为了更好的融合第一人脸特征数据和第二人脸特征数据，因此属性信息的类型可以是主要针对第一人脸数据和第二人脸数据差异化区分的属性信息。
例如一个示例中，第一人脸数据主要为用户面部无任何佩戴物的人脸数据，而第二人脸数据主要为用户面部佩戴口罩的人脸数据。从而，属性网络Mattr即可以是针对用户面部是否佩戴口罩预先进行训练的属性网络，主要用户提取用户面部佩戴物的特征，预测得到对应的属性信息。
参见图12所示，在本实施方式中，将第二人脸数据输入属性网络Mattr中，可以得到第二人脸数据的属性信息。将第二人脸数据输入第一人脸识别网络Ms得到第一人脸特征数据，将第二人脸数据输入第二人脸识别网络MA得到第二人脸特征数据。
在一些实施方式中，在基于属性信息确定第一人脸特征数据的第一权值和第二人脸特征数据的第二权值时，可以进一步基于平滑系数对属性信息进行平滑处理。
例如一个示例中，可以在第二人脸识别网络MA中增加一个全连接层分支，从而可以根据第二人脸数据输出对应的平滑系数T，利用平滑系数T对属性信息进行平滑处理，表示为：
Figure BDA0003570430200000241
式(8)中，Attrs表示平滑处理后的属性信息，Attr表示属性网络输出的属性信息，T表示第二人脸识别网络输出的平滑系数。
根据式(8)的到平滑后的属性信息之后，即可根据该属性信息确定第一人脸特征数据的第一权值，以及第三人脸特征数据的第二权值。然后基于第一权值和第二权值，对第一人脸特征数据和第三人脸特征数据进行线性加权融合处理，得到融合特征数据。
在得到融合特征数据之后，分类层根据融合特征数据预测得到对应的输出结果，然后基于输出结果与标签数据之间的差异，反向传播对目标人脸识别网络的分类层参数进行优化条件，直至满足收敛条件，完成目标人脸识别网络的训练。
对于第二客户端200，在得到训练完成的目标人脸识别网络之后，即可将该人脸识别网络通过网络300发送至第一客户端100。可以理解，本公开实施方式中，仅需要第一客户端100向第二客户端200发送一次第一人脸识别网络、第二客户端200向第一客户端100发送一次目标人脸识别网络，除此之外不需要任何数据通信，也不存在孤岛数据本身的互通，保护孤岛数据安全，并且网络架构简单，部署容易，成本低。
通过上述可知，本公开实施方式中，在保证孤岛数据安全性的前提下，实现对多方孤岛数据的同时利用，训练得到的目标神经网络具有更好的兼容性，提高网络对多方数据的识别能力，大大提高目标识别精度。并且，融合属性信息对目标属性进行识别预测，进一步增强网络对不同属性信息的孤岛数据的兼容性，提高目标识别精度。
本公开实施方式提供了一种目标识别方法，该目标识别方法可应用于电子设备。本公开实施方式的电子设备可以是任何适于实施的设备类型，例如移动终端、可穿戴设备、车载设备、服务器、云平台等，本公开对此不作限制。
如图13所示，在一些实施方式中，本公开示例的目标识别方法，包括：
S1310、获取待测图像。
S1320、将待测图像输入预先训练得到的目标识别网络，得到目标识别网络输出的识别结果。
具体而言，本公开实施方式所述的目标识别网络，是根据前述任意实施方式的训练方法训练得到的目标神经网络。
以人脸识别场景为例，在人脸识别中，待测图像即为期望于对图像中的目标人脸进行识别的图像，即可将包括待测人脸的待测图像输入本公开所述的目标识别网络中，从而即可得到目标识别网络输出的识别结果。
当然，可以理解，本公开实施方式的目标识别并不局限于人脸识别场景，还可以是其他任何适于实施的场景，例如车辆识别、自然场景识别等，本公开对此不再赘述。
通过上述可知，在本公开实施方式中，由于目标识别网络对多方孤岛数据均具有很好的兼容识别能力，因此对待测图像的识别精度更高，满足高精度的目标识别场景。
本公开实施方式提供了一种神经网络的训练装置，该装置可应用于第二客户端，实现第一样本图像数据和第二样本图像数据的同时参与网络训练。
如图14所示，在一些实施方式中，本公开示例的神经网络的训练装置，包括：
网络获取模块10，被配置为获取第一神经网络；所述第一神经网络为第一客户端利用第一样本图像数据预先训练得到，所述第一样本图像数据为所述第一客户端能够获取的第一孤岛数据；
第一处理模块20，被配置为将第二样本图像数据输入所述第一神经网络，得到所述第一神经网络输出的第一特征数据；所述第二样本图像数据为所述第二客户端能够获取的第二孤岛数据；
第一训练模块30，被配置为根据所述第二样本图像数据以及所述第一特征数据，对待训练的第二神经网络进行训练，得到训练后的第二神经网络；
第二训练模块40，被配置为利用所述第二样本图像数据，对通过融合所述训练后的第二神经网络和所述第一神经网络得到的目标神经网络进行训练，直至满足收敛条件。
通过上述可知，本公开实施方式中，在保证孤岛数据安全性的前提下，实现对多方孤岛数据的同时利用，训练得到的目标神经网络具有更好的兼容性，提高网络对多方数据的识别能力，大大提高目标识别精度。
在一些实施方式中，所述第二样本图像数据包括多个目标类别，其中，每个目标类别中包括至少一个目标样本图像；所述第一处理模块20被配置为：
将各个目标样本图像输入所述第一神经网络，得到所述第一神经网络输出的每个目标样本图像所对应的第一图像特征；
对于每一个所述目标类别，根据所述目标类别中每个目标样本图像的所述第一图像特征，确定所述目标类别对应的第一类中心特征以及类特征范围；
将所述第一类中心特征和所述类特征范围确定为所述目标类别对应的所述第一特征数据。
在一些实施方式中，所述第一处理模块20被配置为：
根据所述目标类别中每个目标样本图像的所述第一图像特征，确定所述目标类别对应的所述第一类中心特征；
确定所述目标类别中每个第一图像特征与所述第一类中心特征的相似度，并根据所述相似度的最大值和最小值确定所述目标类别对应的所述类特征范围。
在一些实施方式中，所述第一训练模块30被配置为：
将所述第二样本图像数据输入待训练的第二神经网络，得到所述第二神经网络输出的第二特征数据；
基于所述第二特征数据与所述第二样本图像数据包括的标签数据之间的第一差异，以及所述第二特征数据与所述第一特征数据之间的第二差异，对所述第二神经网络的网络参数进行调整，直至满足收敛条件，得到所述训练后的第二神经网络。
在一些实施方式中，所述第二样本图像数据包括多个目标类别，其中，每个目标类别包括至少一个目标样本图像；所述第一训练模块30被配置为：
将各个目标样本图像输入待训练的第二神经网络，得到所述第二神经网络输出的每个目标样本图像所对应的第二图像特征；
对于每一个所述目标类别，根据所述目标类别中每个目标样本图像的所述第二图像特征，确定所述目标类别对应的第二类中心特征；
将所述第二类中心特征以及每个目标样本图像对应的所述第二图像特征，确定为目标类别对应的所述第二特征数据。
在一些实施方式中，每个目标类别的第一特征数据包括每个目标样本图像所属的目标类别的第一类中心特征以及类特征范围；所述第一训练模块30被配置为：
根据每个目标样本图像对应的第二图像特征和所述标签数据，确定所述第一差异；
对于每个所述目标类别，根据所述目标类别对应的所述第二类中心特征与所述第一类中心特征的差异，以及每个目标样本图像对应的所述第二图像特征与所述类特征范围的差异，确定所述第二差异；
基于所述第一差异和所述第二差异，对所述第二神经网络的网络参数进行调整。
在一些实施方式中，所述第二训练模块40被配置为：
将所述第二样本图像数据输入训练后的第二神经网络，得到所述第二神经网络输出的第三特征数据；
根据基于所述第二样本图像数据确定的融合权重，对所述第一特征数据和所述第三特征数据进行融合处理，得到融合特征数据；
基于所述融合特征数据和所述第二样本图像数据包括的标签数据之间的第三差异，对所述目标神经网络的网络参数进行调整，直至满足收敛条件。
在一些实施方式中，所述第二训练模块40被配置为：
将所述第二样本图像数据输入所述目标神经网络的属性网络，得到所述属性网络输出的属性信息；
根据所述属性信息确定所述第一特征数据的第一权值，和所述第三特征数据的第二权值；
基于所述第一权值和所述第二权值，对所述第一特征数据和所述第三特征数据进行融合处理，得到所述融合特征数据。
在一些实施方式中，所述第一神经网络包括第一人脸识别网络，所述第一样本图像数据为第一人脸图像数据。
在一些实施方式中，所述第二神经网络包括第二人脸识别网络，所述第二样本图像数据为第二人脸图像数据。
通过上述可知，本公开实施方式中，在保证孤岛数据安全性的前提下，实现对多方孤岛数据的同时利用，训练得到的目标神经网络具有更好的兼容性，提高网络对多方数据的识别能力，大大提高目标识别精度。并且，融合属性信息对目标属性进行识别预测，进一步增强网络对不同属性信息的孤岛数据的兼容性，提高目标识别精度。
如图15所示，在一些实施方式中，本公开示例提供了一种目标识别装置，包括：
图像获取模块50，被配置为获取待测图像，所述待测图像中包括待测目标；
第二处理模块60，被配置为将所述待测图像输入预先训练得到的目标识别网络，得到所述目标识别网络输出的识别结果；所述目标识别网络是根据第一方面任一实施方式所述的训练方法得到的目标神经网络。
通过上述可知，在本公开实施方式中，由于目标识别网络对多方孤岛数据均具有很好的兼容识别能力，因此对待测图像的识别精度更高，满足高精度的目标识别场景。
在一些实施方式中，本公开示例提供了一种电子设备，包括：
处理器；和
存储器，存储有计算机指令，所述计算机指令用于使所述处理器执行上文任一实施方式所述的方法。
在一些实施方式中，本公开示例提供了一种存储介质，存储有计算机指令，所述计算值指令用于使计算机执行上文任一实施方式所述的方法。
具体而言，图16示出了适于用来实现本公开方法的电子设备600的结构示意图，通过图16所示电子设备，可实现上述处理器及存储介质相应功能。
如图16所示，电子设备600包括处理器601，其可以根据存储在存储器602中的程序或者从存储部分608加载到存储器602中的程序而执行各种适当的动作和处理。在存储器602中，还存储有电子设备600操作所需的各种程序和数据。处理器601和存储器602通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。
特别地，根据本公开的实施方式，上文方法过程可以被实现为计算机软件程序。例如，本公开的实施方式包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行上述方法的程序代码。在这样的实施方式中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。
附图中的流程图和框图，图示了按照本公开各种实施方式的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
显然，上述实施方式仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本公开创造的保护范围之中。

Claims (14)

1.一种神经网络的训练方法，其特征在于，应用于第二客户端，所述方法包括：
获取第一神经网络；所述第一神经网络为第一客户端利用第一样本图像数据预先训练得到，所述第一样本图像数据为所述第一客户端能够获取的第一孤岛数据；
将第二样本图像数据输入所述第一神经网络，得到所述第一神经网络输出的第一特征数据；所述第二样本图像数据为所述第二客户端能够获取的第二孤岛数据；
根据所述第二样本图像数据以及所述第一特征数据，对待训练的第二神经网络进行训练，得到训练后的第二神经网络；
利用所述第二样本图像数据，对通过融合所述训练后的第二神经网络和所述第一神经网络得到的目标神经网络进行训练，直至满足收敛条件。
2.根据权利要求1所述的方法，其特征在于，所述第二样本图像数据包括多个目标类别，其中，每个目标类别中包括至少一个目标样本图像；所述将第二样本图像数据输入所述第一神经网络，得到所述第一神经网络输出的第一特征数据，包括：
将各个目标样本图像输入所述第一神经网络，得到所述第一神经网络输出的每个目标样本图像所对应的第一图像特征；
对于每一个所述目标类别，根据所述目标类别中每个目标样本图像的所述第一图像特征，确定所述目标类别对应的第一类中心特征以及类特征范围；
将所述第一类中心特征和所述类特征范围确定为所述目标类别对应的所述第一特征数据。
3.根据权利要求2所述的方法，其特征在于，所述根据所述目标类别中每个目标样本图像的所述第一图像特征，确定所述目标类别对应的第一类中心特征以及类特征范围，包括：
根据所述目标类别中每个目标样本图像的所述第一图像特征，确定所述目标类别对应的所述第一类中心特征；
确定所述目标类别中每个第一图像特征与所述第一类中心特征的相似度，并根据所述相似度的最大值和最小值确定所述目标类别对应的所述类特征范围。
4.根据权利要求1至3任一项所述的方法，其特征在于，根据所述第二样本图像数据以及所述第一特征数据，对待训练的第二神经网络进行训练，得到训练后的第二神经网络，包括：
将所述第二样本图像数据输入待训练的第二神经网络，得到所述第二神经网络输出的第二特征数据；
基于所述第二特征数据与所述第二样本图像数据包括的标签数据之间的第一差异，以及所述第二特征数据与所述第一特征数据之间的第二差异，对所述第二神经网络的网络参数进行调整，直至满足收敛条件，得到所述训练后的第二神经网络。
5.根据权利要求4所述的方法，其特征在于，所述第二样本图像数据包括多个目标类别，其中，每个目标类别包括至少一个目标样本图像；所述将所述第二样本图像数据输入待训练的第二神经网络，得到所述第二神经网络输出的第二特征数据，包括：
将各个目标样本图像输入待训练的第二神经网络，得到所述第二神经网络输出的每个目标样本图像所对应的第二图像特征；
对于每一个所述目标类别，根据所述目标类别中每个目标样本图像的所述第二图像特征，确定所述目标类别对应的第二类中心特征；
将所述第二类中心特征以及每个目标样本图像对应的所述第二图像特征，确定为目标类别对应的所述第二特征数据。
6.根据权利要求5所述的方法，其特征在于，每个目标类别的第一特征数据包括每个目标样本图像所属的目标类别的第一类中心特征以及类特征范围；所述基于所述第二特征数据与所述第二样本图像数据包括的标签数据之间的第一差异，以及所述第二特征数据与所述第一特征数据之间的第二差异，对所述第二神经网络的网络参数进行调整，包括：
根据每个目标样本图像对应的第二图像特征和所述标签数据，确定所述第一差异；
对于每个所述目标类别，根据所述目标类别对应的所述第二类中心特征与所述第一类中心特征的差异，以及每个目标样本图像对应的所述第二图像特征与所述类特征范围的差异，确定所述第二差异；
基于所述第一差异和所述第二差异，对所述第二神经网络的网络参数进行调整。
7.根据权利要求1至6任一项所述的方法，其特征在于，所述利用所述第二样本图像数据，对通过融合所述训练后的第二神经网络以及所述第一神经网络得到的目标神经网络进行训练，包括：
将所述第二样本图像数据输入训练后的第二神经网络，得到所述第二神经网络输出的第三特征数据；
根据基于所述第二样本图像数据确定的融合权重，对所述第一特征数据和所述第三特征数据进行融合处理，得到融合特征数据；
基于所述融合特征数据和所述第二样本图像数据包括的标签数据之间的第三差异，对所述目标神经网络的网络参数进行调整，直至满足收敛条件。
8.根据权利要求7所述的方法，其特征在于，所述根据基于所述第二样本图像数据确定的融合权重，对所述第一特征数据和所述第三特征数据进行融合处理，得到融合特征数据，包括：
将所述第二样本图像数据输入所述目标神经网络的属性网络，得到所述属性网络输出的属性信息；
根据所述属性信息确定所述第一特征数据的第一权值，和所述第三特征数据的第二权值；
基于所述第一权值和所述第二权值，对所述第一特征数据和所述第三特征数据进行融合处理，得到所述融合特征数据。
9.根据权利要求1至8任一项所述的方法，其特征在于，
所述第一神经网络包括第一人脸识别网络，所述第一样本图像数据为第一人脸图像数据；和/或，所述第二神经网络包括第二人脸识别网络，所述第二样本图像数据为第二人脸图像数据。
10.一种目标识别方法，其特征在于，包括：
获取待测图像，所述待测图像中包括待测目标；
将所述待测图像输入预先训练得到的目标识别网络，得到所述目标识别网络输出的识别结果；所述目标识别网络是根据权利要求1至9任一项所述的训练方法得到的目标神经网络。
11.一种神经网络的训练装置，其特征在于，应用于第二客户端，所述装置包括：
网络获取模块，被配置为获取第一神经网络；所述第一神经网络为第一客户端利用第一样本图像数据预先训练得到，所述第一样本图像数据为所述第一客户端能够获取的第一孤岛数据；
第一处理模块，被配置为将第二样本图像数据输入所述第一神经网络，得到所述第一神经网络输出的第一特征数据；所述第二样本图像数据为所述第二客户端能够获取的第二孤岛数据；
第一训练模块，被配置为根据所述第二样本图像数据以及所述第一特征数据，对待训练的第二神经网络进行训练，得到训练后的第二神经网络；
第二训练模块，被配置为利用所述第二样本图像数据，对通过融合所述训练后的第二神经网络和所述第一神经网络得到的目标神经网络进行训练，直至满足收敛条件。
12.一种目标识别装置，其特征在于，包括：
图像获取模块，被配置为获取待测图像，所述待测图像中包括待测目标；
第二处理模块，被配置为将所述待测图像输入预先训练得到的目标识别网络，得到所述目标识别网络输出的识别结果；所述目标识别网络是根据权利要求1至9任一项所述的训练方法得到的目标神经网络。
13.一种电子设备，其特征在于，包括：
处理器；和
存储器，存储有计算机指令，所述计算机指令用于使所述处理器执行根据权利要求1至10任一项所述的方法。
14.一种存储介质，其特征在于，存储有计算机指令，所述计算值指令用于使计算机执行根据权利要求1至10任一项所述的方法。
CN202210322086.4A 2022-03-29 2022-03-29 目标识别方法及神经网络的训练方法 Pending CN114912572A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210322086.4A CN114912572A (zh) 2022-03-29 2022-03-29 目标识别方法及神经网络的训练方法
PCT/CN2022/128143 WO2023184958A1 (zh) 2022-03-29 2022-10-28 目标识别及神经网络的训练

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210322086.4A CN114912572A (zh) 2022-03-29 2022-03-29 目标识别方法及神经网络的训练方法

Publications (1)

Publication Number Publication Date
CN114912572A true CN114912572A (zh) 2022-08-16

Family

ID=82763493

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210322086.4A Pending CN114912572A (zh) 2022-03-29 2022-03-29 目标识别方法及神经网络的训练方法

Country Status (2)

Country Link
CN (1) CN114912572A (zh)
WO (1) WO2023184958A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116798103A (zh) * 2023-08-29 2023-09-22 广州诚踏信息科技有限公司 基于人工智能的人脸图像处理方法及系统
WO2023184958A1 (zh) * 2022-03-29 2023-10-05 上海商汤智能科技有限公司 目标识别及神经网络的训练

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107256423A (zh) * 2017-05-05 2017-10-17 深圳市丰巨泰科电子有限公司 一种增广神经网架构及其训练方法、计算机可读存储介质
CN110598504B (zh) * 2018-06-12 2023-07-21 北京市商汤科技开发有限公司 图像识别方法及装置、电子设备和存储介质
CN113191479B (zh) * 2020-01-14 2024-09-24 华为技术有限公司 联合学习的方法、系统、节点及存储介质
US11763551B2 (en) * 2020-03-03 2023-09-19 Assa Abloy Ab Systems and methods for fine tuning image classification neural networks
CN114912572A (zh) * 2022-03-29 2022-08-16 深圳市商汤科技有限公司 目标识别方法及神经网络的训练方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023184958A1 (zh) * 2022-03-29 2023-10-05 上海商汤智能科技有限公司 目标识别及神经网络的训练
CN116798103A (zh) * 2023-08-29 2023-09-22 广州诚踏信息科技有限公司 基于人工智能的人脸图像处理方法及系统
CN116798103B (zh) * 2023-08-29 2023-12-01 广州诚踏信息科技有限公司 基于人工智能的人脸图像处理方法及系统

Also Published As

Publication number Publication date
WO2023184958A1 (zh) 2023-10-05

Similar Documents

Publication Publication Date Title
CN109583332B (zh) 人脸识别方法、人脸识别系统、介质及电子设备
CN111462282B (zh) 一种场景图生成方法
CN114912572A (zh) 目标识别方法及神经网络的训练方法
CN111291190B (zh) 一种编码器的训练方法、信息检测的方法以及相关装置
CN113159283B (zh) 一种基于联邦迁移学习的模型训练方法及计算节点
CN113435365B (zh) 人脸图像迁移方法及装置
CN112580826B (zh) 业务模型训练方法、装置及系统
EP4350572A1 (en) Method, apparatus and system for generating neural network model, devices, medium and program product
CN111724400B (zh) 视频自动抠像方法及系统
WO2022174805A1 (zh) 模型训练与图像处理方法、装置、电子设备和存储介质
CN111210002B (zh) 一种基于生成对抗网络模型的多层学术网络社区发现方法、系统
CN111539903B (zh) 训练人脸图像合成模型的方法和装置
CN116757460B (zh) 基于深度学习的应急指挥调度平台构建方法及系统
CN114611672B (zh) 模型训练方法、人脸识别方法及装置
WO2023231753A1 (zh) 一种神经网络的训练方法、数据的处理方法以及设备
CN112069412B (zh) 信息推荐方法、装置、计算机设备及存储介质
CN115115910A (zh) 图像处理模型的训练方法、使用方法、装置、设备及介质
CN114330476A (zh) 用于媒体内容识别的模型训练方法及媒体内容识别方法
CN117351192A (zh) 一种对象检索模型训练、对象检索方法、装置及电子设备
CN116721315A (zh) 活体检测模型的训练方法、装置、介质及电子设备
CN116958027A (zh) 三维工业异常检测方法、装置、存储介质及电子设备
KR20210038027A (ko) 신경망 압축 훈련 방법 및 압축된 신경망을 이용하는 방법
CN116110074A (zh) 一种基于图神经网络的动态小股行人识别方法
CN116910341A (zh) 标签预测方法、装置及电子设备
CN116932788A (zh) 封面图像提取方法、装置、设备及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination