CN108898184A - 建立跨域联合分布匹配模型的方法、装置及其应用 - Google Patents

建立跨域联合分布匹配模型的方法、装置及其应用 Download PDF

Info

Publication number
CN108898184A
CN108898184A CN201810712950.5A CN201810712950A CN108898184A CN 108898184 A CN108898184 A CN 108898184A CN 201810712950 A CN201810712950 A CN 201810712950A CN 108898184 A CN108898184 A CN 108898184A
Authority
CN
China
Prior art keywords
sample
view
distribution
parameter
given
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810712950.5A
Other languages
English (en)
Inventor
王浩
杜长营
庞旭林
张晨
杨康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Qihoo Technology Co Ltd
Original Assignee
Beijing Qihoo Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Qihoo Technology Co Ltd filed Critical Beijing Qihoo Technology Co Ltd
Priority to CN201810712950.5A priority Critical patent/CN108898184A/zh
Priority to PCT/CN2018/098550 priority patent/WO2020000582A1/zh
Publication of CN108898184A publication Critical patent/CN108898184A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种建立跨域联合分布匹配模型的方法、装置及其应用，该方法包括：对于一个视图x、另一个视图y以及两者的共享隐含表示z，建立生成器、样本联合分布、鉴别器和目标函数，对各生成器和各鉴别器进行训练，确定各生成器和各鉴别器中的参数。该方法无需大量的跨域配对训练数据样本。作为一种新型半监督学习方法，本发明的技术方案能更有效地解决可被建模为跨域联合分布匹配的诸多问题，如提升图像翻译、图像到语义标签的生成、基于语义标签的图像生成等任务的性能。本发明还对提出的基本多视图对抗推理学习方法进行了拓展，使得模型性能更优、更稳定。

Description

建立跨域联合分布匹配模型的方法、装置及其应用
技术领域
本发明涉及人工智能领域，具体涉及建立跨域联合分布匹配模型的方法和装置、该模型的应用方法和装置、电子设备和计算机可读存储介质。
背景技术
许多重要的机器学习和数据挖掘问题可以被建模为学习两个数据域之间的双向映射，例如：(1)图像翻译/编辑的目标是将某一输入图像转换成另一符合人们要求且跟原始图像有明显对应关系的图像；(2)图像属性预测的目标是自动为某一输入图像打上多个语义标签，而其反向过程为根据给定的若干语义标签生成一幅图像；(3)跨模态检索的目标是将某一给定模态或视图的输入查询样本自动与另一模态或视图的数据库中的样本进行相似度比较并返回最相似的若干样本。为了进行有意义的相似性比较，机器必须能够理解两个不同模态或视图的数据样本间的双向对应关系。容易看到，以上问题场景所涉及的数据域转换过程均可正向可反向，双向都有实际意义。基于生成式对抗网络(GANs，Generative Adversarial Network)，特别是条件GAN，跨域联合分布匹配是一种日益流行的解决此类问题的方法。虽然跨域联合分布匹配取得了重大进展，但该方法仍有两个主要缺点，即需要大量的跨域配对训练数据样本和众所周知的模型不稳定性。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的建立跨域联合分布匹配模型的方法和装置，及其应用方法和装置，以及电子设备和计算机可读存储介质。
依据本发明的一个方面，提供了一种建立跨域联合分布匹配模型的方法，该方法包括：对于一个视图x、另一个视图y以及两者的共享隐含表示z，建立生成器、样本联合分布、鉴别器和目标函数；其中，
建立生成器包括：确定给定z时x的条件高斯分布p01、给定z时y的条件高斯分布p02、给定x时z的条件高斯分布p03以及给定y时z的条件高斯分布p04；
建立样本联合分布包括：建立z和x的生成式联合分布p1，建立z和x的推理式联合分布p2，建立z和y的生成式联合分布p3，建立z和y的推理式联合分布p4，定义x和y的联合分布p5为x和y配对出现的真实观测数据的分布，利用z建立x和y的生成式联合分布p6，利用z建立x为真实观测数据而y为生成数据时的x和y的推理与生成联合分布p7，利用z建立y为真实观测数据而x为生成数据时的x和y的推理与生成联合分布p8；
建立鉴别器包括：使用参数为ωx的深度神经网络DNN建立鉴别来自联合分布p1的样本和来自联合分布p2的样本的第一鉴别器使用参数为ωy的DNN建立鉴别来自联合分布p3的样本和来自联合分布p4的样本的第二鉴别器使用参数为ζ的DNN建立鉴别x和y配对出现的真实观测样本P5和来自联合分布P6的样本的第三鉴别器Dζ(x,y)，使用参数为的DNN建立鉴别来自联合分布p7的样本和来自联合分布p8的样本的第四鉴别器使用参数为ηx的DNN建立鉴别联合样本(x，)与联合样本(x，x)的第五鉴别器使用参数为ηy的DNN建立鉴别联合样本(y，)与联合样本(y，y)的第六鉴别器
建立目标函数包括：在给定z时，根据p01得到视图x的伪样本根据p02得到视图y的伪样本同时得到跨域伪配对样本在给定观测到的样本x时，根据p03得到隐含表示z的样本在给定观测到的y时，根据p04得到隐含表示z的样本设定根据x推断然后预测y得到的伪样本为设定根据y推断然后预测x得到的伪样本为给定时，得到x的伪样本为给定时，得到y的伪样本
则目标函数为：
其中，Θ表示所有生成器的集合，Ω表示所有鉴别器的集合，而Ez[·]表示在z所服从的分布上关于中括号内的函数取期望；
对各生成器和各鉴别器进行训练，确定各生成器和各鉴别器中的参数。
可选地，所述建立生成器具体包括：
使用参数为θx的DNN建立生成网络，该网络以隐含表示z为输入，以关于视图x的均值向量和协方差矩阵为输出；根据该网络输出的视图x的均值向量和协方差矩阵，确定给定z时视图x的条件高斯分布
使用参数为θy的DNN建立生成网络，该网络以隐含表示z为输入，以关于视图y的均值向量和协方差矩阵为输出；根据该网络输出的视图y的均值向量和协方差矩阵，确定给定z时视图y的条件高斯分布
使用参数为φx的DNN建立推理网络，该网络以视图x为输入，以隐含表示z的均值向量和协方差矩阵为输出；根据该网络输出的隐含表示z的均值向量和协方差矩阵，确定给定视图x时z的条件高斯分布
使用参数为φy的DNN建立推理网络，该网络以视图y为输入，以隐含表示z的均值向量和协方差矩阵为输出；根据该网络输出的隐含表示z的均值向量和协方差矩阵，确定给定视图y时z的条件高斯分布
可选地，
隐含表示z的样本来自于给定的简单先验分布p(z)，具体为多维标准正太分布或均匀分布；
视图x的样本来自于该视图的经验观测分布p(x)；
视图y的样本来自于该视图的经验观测分布p(y)。
可选地，所述建立样本联合分布具体包括：
令θx为从z到x的生成网络参数；
φx为从x到z的推理网络参数；
θy为z到y的生成网络参数；
φy为从y到z的推理网络参数；
p5＝p(x，y)；
可选地，在建立目标函数的过程中：
在给定z时，得到视图x的伪样本θx为从z到x的生成网络参数；
在给定z时，得到视图y的伪样本θy为从z到y的生成网络参数；
在给定观测到的x时，得到隐含表示z的伪样本φx为从x到z的推理网络参数；
在给定观测到的y时，得到隐含表示z的伪样本φy为从y到z的推理网络参数；
设定根据x推断然后预测y得到的伪样本为
设定根据y推断然后预测x得到的伪样本为
给定时，得到x的伪样本为θx为从z到x的生成网络参数；
给定时，得到y的伪样本θy为从z到y的生成网络参数。
可选地，所述对各生成器和各鉴别器进行训练，确定各生成器和各鉴别器中的参数包括：
采用随机梯度的方式进行训练，训练的过程由更新每个生成器和更新每个鉴别器的交替迭代过程构成。
可选地，该方法进一步包括：
在给定伪样本时，根据p03得到隐含表示z的伪样本φx为从x到z的推理网络参数；
在给定伪样本时根据p04得到隐含表示z的伪样本φy为从y到z的推理网络参数；
则目标函数为：
其中，α为正则系数。
可选地，该方法进一步包括：
使用参数为χx的DNN建立鉴别从视图y到视图x的跨域映射性能的鉴别器
使用参数为χy的DNN建立鉴别从视图x到视图y的跨域映射性能的鉴别器
目标函数为：
其中，Ω表示所有鉴别器的集合。
根据本发明的另一个方面，提供了一种跨域联合分布匹配模型的应用方法，该跨域联合分布匹配模型是根据如上述中任一项所述的方法建立的，该方法包括：
对于给定的视图x的样本，通过由参数为φx的推理网络定义的条件高斯分布推断与其相应的隐含表示然后通过由参数为θy的生成网络定义的条件高斯分布生成视图y的伪样本
根据本发明的又一个方面，提供了一种跨域联合分布匹配模型的应用方法，该跨域联合分布匹配模型是根据如上述任一项所述的方法建立的，该方法对于给定的视图x的样本，从数据库中检索与其最相关的视图y的样本，该方法具体包括：
对于数据库中的大量的视图y的样本，通过由参数为φy的推理网络定义的条件高斯分布推断每个样本相应的隐含表示
对于给定的视图x的一个样本，通过有参数为φx的推理网络定义的条件高斯分布推断其相应的隐含表示
计算得到与最为相似的则相应的视图y的样本即为与给定的视图x的所述样本最相关的视图y的样本。
根据本发明的另一个方面，提供了一种建立跨域联合分布匹配模型的装置，其中，该装置包括：生成器建立单元、样本联合分布建立单元、鉴别器建立单元、目标函数建立单元和训练单元；其中，对于一个视图x、另一个视图y以及两者的共享隐含表示z，
所述生成器建立单元，适于确定给定z时x的条件高斯分布p01、给定z时y的条件高斯分布p02、给定x时z的条件高斯分布p03以及给定y时z的条件高斯分布p04；
所述样本联合分布建立单元，适于建立z和x的生成式联合分布p1，建立z和x的推理式联合分布p2，建立z和y的生成式联合分布p3，建立z和y的推理式联合分布p4，定义x和y的联合分布p5为x和y配对出现的真实观测数据的分布，利用z建立x和y的生成式联合分布p6，利用z建立x为真实观测数据而y为生成数据时的x和y的推理与生成联合分布p7，利用z建立y为真实观测数据而x为生成数据时的x和y的推理与生成联合分布p8；
所述鉴别器建立单元。适于使用参数为ωx的深度神经网络DNN建立鉴别来自联合分布p1的样本和来自联合分布p2的样本的第一鉴别器使用参数为ωy的DNN建立鉴别来自联合分布p3的样本和来自联合分布p4的样本的第二鉴别器使用参数为ζ的DNN建立鉴别x和y配对出现的真实观测样本P5和来自联合分布P6的样本的第三鉴别器Dζ(x,y)，使用参数为的DNN建立鉴别来自联合分布p7的样本和来自联合分布p8的样本的第四鉴别器使用参数为ηx的DNN建立鉴别联合样本(x，)与联合样本(x，x)的第五鉴别器使用参数为ηy的DNN建立鉴别联合样本(y，)与联合样本(y，y)的第六鉴别器
所述目标函数建立单元，适于在给定z时，根据p01得到视图x的伪样本根据p02得到视图y的伪样本，同时得到跨域伪配对样本在给定观测到的样本x时，根据p03得到隐含表示z的样本在给定观测到的y时，根据p04得到隐含表示z的样本设定根据x推断然后预测y得到的伪样本为设定根据y推断然后预测x得到的伪样本为给定时，得到x的伪样本为给定时，得到y的伪样本则确定目标函数为：
其中，Θ表示所有生成器的集合，Ω表示所有鉴别器的集合，而Ez[·]表示在z所服从的分布上关于中括号内的函数取期望；
所述训练单元，适于对各生成器和各鉴别器进行训练，确定各生成器和各鉴别器中的参数。
可选地，
所述生成器建立单元，具体适于使用参数为θx的DNN建立生成网络，该网络以隐含表示z为输入，以关于视图x的均值向量和协方差矩阵为输出；根据该网络输出的视图x的均值向量和协方差矩阵，确定给定z时视图x的条件高斯分布使用参数为θy的DNN建立生成网络，该网络以隐含表示z为输入，以关于视图y的均值向量和协方差矩阵为输出；根据该网络输出的视图y的均值向量和协方差矩阵，确定给定z时视图y的条件高斯分布使用参数为φx的DNN建立推理网络，该网络以视图x为输入，以隐含表示z的均值向量和协方差矩阵为输出；根据该网络输出的隐含表示z的均值向量和协方差矩阵，确定给定视图x时z的条件高斯分布使用参数为φy的DNN建立推理网络，该网络以视图y为输入，以隐含表示z的均值向量和协方差矩阵为输出；根据该网络输出的隐含表示z的均值向量和协方差矩阵，确定给定视图y时z的条件高斯分布
可选地，
隐含表示z的样本来自于给定的简单先验分布p(z)，具体为多维标准正太分布或均匀分布；
视图x的样本来自于该视图的经验观测分布p(x)；
视图y的样本来自于该视图的经验观测分布p(y)。
可选地，所述样本联合分布建立单元，具体适于令θx为从z到x的生成网络参数；
φx为从x到z的推理网络参数；
θy为z到y的生成网络参数；
φy为从y到z的推理网络参数；
p5＝p(x，y)；
可选地，
所述目标函数建立单元，具体适于在给定z时，得到视图x的伪样本θx为从z到x的生成网络参数；在给定z时，得到视图y的伪样本θy为从z到y的生成网络参数；在给定观测到的x时，得到隐含表示z的伪样本φx为从x到z的推理网络参数；在给定观测到的y时，得到隐含表示z的伪样本φy为从y到z的推理网络参数；设定根据x推断然后预测y得到的伪样本为设定根据y推断然后预测x得到的伪样本为给定时，得到x的伪样本为θx为从z到x的生成网络参数；给定时，得到y的伪样本θy为从z到y的生成网络参数。
可选地，
所述训练单元，适于采用随机梯度的方式进行训练，训练的过程由更新每个生成器和更新每个鉴别器的交替迭代过程构成。
可选地，
所述目标函数建立单元，进一步适于在给定伪样本时，根据p03得到隐含表示z的伪样本φx为从x到z的推理网络参数；在给定伪样本时根据p04得到隐含表示z的伪样本φy为从y到z的推理网络参数；并将目标函数确定为：
其中，α为正则系数。
可选地，
所述鉴别器建立单元，进一步适于使用参数为χx的DNN建立鉴别从视图y到视图x的跨域映射性能的鉴别器使用参数为χy的DNN建立鉴别从视图x到视图y的跨域映射性能的鉴别器
则所述目标函数建立单元将目标函数确定为：
其中，Ω表示所有鉴别器的集合。
根据本发明的又一个方面，提供了一种跨域联合分布匹配模型的应用装置，包括：如上述任一项所述的建立跨域联合分布匹配模型的装置，以及第一应用单元；
所述第一应用单元，适于对于给定的视图x的样本，通过由参数为φx的推理网络定义的条件高斯分布推断与其相应的隐含表示然后通过由参数为θy的生成网络定义的条件高斯分布生成视图y的伪样本
根据本发明的又一个方面，提供了一种跨域联合分布匹配模型的应用方装置，包括：如上述任一项所述的建立跨域联合分布匹配模型的装置，以及第二应用单元；
所述第二应用单元，适于对于给定的视图x的样本，从数据库中检索与其最相关的视图y的样本，具体适于对数据库中的大量的视图y的样本，通过由参数为φy的推理网络定义的条件高斯分布推断每个样本相应的隐含表示对于给定的视图x的一个样本，通过有参数为φx的推理网络定义的条件高斯分布推断其相应的隐含表示计算得到与最为相似的则相应的视图y的样本即为与给定的视图x的所述样本最相关的视图y的样本。
根据本发明的又一个方面，提供了一种电子设备，所述电子设备包括：处理器，以及存储有可在处理器上运行的计算机程序的存储器；
其中，所述处理器，用于在执行所述存储器中的计算机程序时执行上述任一项所述的方法。
根据本发明的又一个方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述任一项所述的方法。
由上述可知，本发明的技术方案，对于一个视图x、另一个视图y以及两者的共享隐含表示z，建立生成器、样本联合分布、鉴别器和目标函数，然后对各生成器和各鉴别器进行训练，确定各生成器和各鉴别器中的参数。该方法依赖于两个域的共享隐含空间，可以生成任意数量的伪造跨域配对样本来辅助模型学习，从通常很少的跨域配对样本(以及充足的单域未配对样本)中就足以学习到理想的跨域映射，无需大量的跨域配对训练数据样本。当循环一致性原则不适用于一对多跨域映射关系时，例如，基于属性的条件图像生成问题，一个潜在的低纬空间可以用来构建一个小循环，因此，作为一种新型半监督学习方法，本发明能更有效地解决可被建模为跨域联合分布匹配的诸多问题，如提升图像翻译、图像到属性的生成(多标签分类)、基于属性的图像生成等任务的预测性能。与在高维数据空间计算相似性的半监督跨模态检索方法相比，本发明可基于共享低维隐含空间进行更快速的相似度计算，实现性能相当但效率更优的搜索。本发明还对提出的基本多视图对抗推理学习方法进行了拓展，使得模型性能更优、更稳定。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了根据本发明一个实施例的一种建立跨域联合分布匹配模型的方法流程图；
图2示出了根据本发明一个实施例的另一种跨域联合分布匹配模型的应用方法流程图；
图3示出了根据本发明一个实施例的一种建立跨域联合分布匹配模型的装置示意图；
图4示出了根据本发明一个实施例提供的一种跨域联合分布匹配模型的应用装置示意图；
图5示出了根据本发明一个实施例提供的另一种跨域联合分布匹配模型的应用装置示意图；
图6示出了根据本发明一个实施例提供的一种电子设备结构示意图；
图7示出了根据本发明一个实施例提供的一种计算机可读存储介质的结构示意图。
具体实施方式
本发明涉及到的专业名词解释：
数据域：指特定数据模态或视图，如图像和其对应的语义标签可分别视作一个数据域。
单域数据：指只涉及某一个特定数据模态或视图的数据或数据集合。
跨域数据：指涉及某两个特定数据模态或视图的数据或数据集合，其中每个数据样本均含有两个相对应的视图信息，每个视图反映该样本的一个侧面。
DNN：Deep Neural Network，深度神经网络。
GAN：Generative Adversarial Networks，生成式对抗网络，是一种公知算法，且为一种近几年非常流行的无监督数据分布拟合方法。原始框架定义在单域数据上，由一个生成器负责拟合数据分布以及一个鉴别器负责判定生成器对观测数据分布拟合的好坏，生成器和鉴别器均由DNN实现并互相对抗，直到鉴别器不能区分开真实数据分布和生成器所学习到的分布。
ALI：Adversarially Learned Inference，对抗推理学习，为一种基于GAN思想的跨域联合(数据)分布拟合框架。当联合分布定义在观测数据和其相应隐含表示上时，该框架能实现自动推断每个数据所对应的隐含表示。
将本发明提供的新型半监督式跨域联合分布匹配方法命名为MALI(Multi-viewAdversarially Learned Inference，多视图对抗推理学习)。模型训练时只需要少量跨域配对样本以及充足单域样本即可达到理想性能。
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
图1示出了根据本发明一个实施例的一种建立跨域联合分布匹配模型的方法流程图，如图1所示，该方法包括以下步骤：
步骤S11：对于一个视图x、另一个视图y以及两者的共享隐含表示z，建立生成器、样本联合分布、鉴别器和目标函数；其中，
建立生成器包括：确定给定z时x的条件高斯分布p01、给定z时y的条件高斯分布p02、给定x时z的条件高斯分布p03以及给定y时z的条件高斯分布p04；
建立样本联合分布包括：建立z和x的生成式联合分布p1，建立z和x的推理式联合分布p2，建立z和y的生成式联合分布p3，建立z和y的推理式联合分布p4，定义x和y的联合分布p5为x和y配对出现的真实观测数据的分布，利用z建立x和y的生成式联合分布p6，利用z建立x为真实观测数据而y为生成数据时的x和y的推理与生成联合分布p7，利用z建立y为真实观测数据而x为生成数据时的x和y的推理与生成联合分布p8；
建立鉴别器包括：使用参数为ωx的深度神经网络DNN建立鉴别来自联合分布p1的样本和来自联合分布p2的样本的第一鉴别器使用参数为ωy的DNN建立鉴别来自联合分布p3的样本和来自联合分布p4的样本的第二鉴别器使用参数为ζ的DNN建立鉴别x和y配对出现的真实观测样本P5和来自联合分布P6的样本的第三鉴别器Dζ(x,y)，使用参数为的DNN建立鉴别来自联合分布p7的样本和来自联合分布p8的样本的第四鉴别器使用参数为ηx的DNN建立鉴别联合样本(x，)与联合样本(x，x)的第五鉴别器使用参数为ηy的DNN建立鉴别联合样本(y，)与联合样本(y，y)的第六鉴别器
建立目标函数包括：在给定z时，根据p01得到视图x的伪样本根据p02得到视图y的伪样本同时得到跨域伪配对样本在给定观测到的样本x时，根据p03得到隐含表示z的样本在给定观测到的y时，根据p04得到隐含表示z的样本设定根据x推断然后预测y得到的伪样本为设定根据y推断然后预测x得到的伪样本为给定时，得到x的伪样本为给定时，得到y的伪样本
则目标函数为：
其中，Θ表示所有生成器的集合，Ω表示所有鉴别器的集合，而Ez[·]表示在z所服从的分布上关于中括号内的函数取期望；
步骤S12：对各生成器和各鉴别器进行训练，确定各生成器和各鉴别器中的参数。
可见，图1所示的方法，对于一个视图x、另一个视图y以及两者的共享隐含表示z，建立生成器、样本联合分布、鉴别器和目标函数，然后对各生成器和各鉴别器进行训练，确定各生成器和各鉴别器中的参数。该方法依赖于两个域的共享隐含空间，可以生成任意数量的伪造跨域配对样本来辅助模型学习，从通常很少的跨域配对样本(以及充足的单域未配对样本)中就足以学习到理想的跨域映射，无需大量的跨域配对训练数据样本。当循环一致性原则不适用于一对多跨域映射关系时，例如，基于属性的条件图像生成问题，一个潜在的低纬空间可以用来构建一个小循环，因此，作为一种新型半监督学习方法，本发明能更有效地解决可被建模为跨域联合分布匹配的诸多问题，如提升图像翻译、图像到语义标签的生成、基于语义标签的图像生成等任务的性能。与在高维数据空间计算相似性的半监督跨模态检索方法相比，本发明可基于共享低维隐含空间进行更快速的相似度计算，实现性能相当但效率更优的搜索。本发明还对提出的基本多视图对抗推理学习方法进行了拓展，使得模型性能更优、更稳定。
以下实施例均为将原始对抗推理学习(ALI)模型延伸到能处理两个视图数据的情形的介绍，通过共享隐含表示将两个不同视图关联起来，从而实现视图间相互推断(双向跨域映射)。当然对两个以上视图数据的情形的处理可参照以下实施例类似处理。
该方法包括生成器的建立、样本联合分布的建立、鉴别器的建立、目标函数的建立和训练单元的建立，分别具体介绍如下：
1、生成器的建立：
(1)隐含表示z的样本来自于给定的简单先验分布p(z)，具体为多维标准正太分布或均匀分布，即隐含表示z的样本来自于某给定简单先验分布(如标准正态分布或均匀分布)p(z)。
(2)视图x的样本来自于该视图的经验观测分布p(x)。
(3)视图y的样本来自于该视图的经验观测分布p(y)。
(4)使用参数为θx的深度神经网络DNN建立生成网络，该网络以隐含表示z为输入，以关于视图x的均值向量和协方差矩阵为输出；根据该网络输出的视图x的均值向量和协方差矩阵，确定给定z时视图x的条件高斯分布即p01；
(5)使用参数为θy的DNN建立生成网络，该网络以隐含表示z为输入，以关于视图y的均值向量和协方差矩阵为输出；根据该网络输出的视图y的均值向量和协方差矩阵，确定给定z时视图y的条件高斯分布即p02；
(6)使用参数为φx的DNN建立推理网络，该网络以视图x为输入，以隐含表示z的均值向量和协方差矩阵为输出；根据该网络输出的隐含表示z的均值向量和协方差矩阵，确定给定视图x时z的条件高斯分布即p03；
(7)使用参数为φy的DNN建立推理网络，该网络以视图y为输入，以隐含表示z的均值向量和协方差矩阵为输出；根据该网络输出的隐含表示z的均值向量和协方差矩阵，确定给定视图y时z的条件高斯分布即p04。
以上基于生成网络和推理网络定义的4个条件分布均能通过深度网络变换产生(关于x、y、z的)伪造样本，因而均可视为生成器。其中变量z被假定为视图x和视图y的共享隐含表示，对其进行关于视图x的生成网络变换最终可得到视图x的伪数据样本，而对其进行关于视图y的生成网络变换最终可得到视图y的伪数据样本。反过来，当给定了视图x和视图y的真实观测样本时，我们可推断它们分别对应的隐含表示z。
2、样本联合分布的建立
(1)建立隐含表示z和视图x的生成式联合分布p1，其中，,其中θx为从z到x的生成网络参数。
(2)建立隐含表示z和视图x的推理式联合分布p2，其中，其中φx为从x到z的推理网络参数。
(3)建立隐含表示z和视图y的生成式联合分布p3，其中，其中θy为z到y的生成网络参数。
(4)建立隐含表示z和视图y的推理式联合分布p4，其中，其中φy为从y到z的推理网络参数。
(5)定义视图x和视图y的联合分布为跨域配对数据(x,y)的经验观测分布p5，其中，p5＝p(x，y)；
(6)建立视图x和视图y的生成式联合分布(相对于真实观测到的跨域数据联合分布，该分布可视为伪造)p6，其中，
(7)使用DNN建立视图x和视图y的推理与生成混合式联合分布p7(相对于真实观测到的跨域数据联合分布，该分布可视为半伪造，其中x为真实观测数据而y为模型生成)，其中，
(8)使用DNN建立的视图x和视图y的推理与生成混合式联合分布p8(相对于真实观测到的跨域数据联合分布，该分布可视为半伪造，其中y为真实观测数据而x为模型生成)，其中，
3、鉴别器的建立
(1)使用参数为ωx的DNN建立第一鉴别器即使用DNN建立鉴别器其用来鉴别来自p1中生成式联合分布的样本(x,z)和来自p2中推理式联合分布的样本(x,z)，其中ωx为该鉴别网络的参数。
(2)使用参数为ωy的DNN建立第二鉴别器即使用DNN建立鉴别器其用来鉴别来自p3中生成式联合分布的样本(y,z)和来自p4中推理式联合分布的样本(y,z)，其中ωy为该鉴别网络的参数。
(3)使用参数为ζ的DNN建立第三鉴别器Dζ(x,y)，使用DNN建立鉴别器Dζ(x,y)，其用来鉴别来自真实观测跨域数据联合分布p(x,y)的样本(x,y)和来自p6中生成式联合分布的伪配对样本(x,y)，其中ζ为该鉴别网络的参数。
(4)使用参数为的DNN建立第四鉴别器使用DNN建立鉴别器其用来鉴别来自p7中推理与生成混合式联合分布的伪配对样本(x,y)和来自p8中推理与生成混合式联合分布的伪配对样本(x,y)，其中为该鉴别网络的参数。
(5)使用参数为ηx的DNN建立鉴别联合样本(x，)与联合样本(x，x)的第五鉴别器
(6)使用参数为ηy的DNN建立鉴别联合样本(y，)与联合样本(y，y)的第六鉴别器
4、目标函数的建立
在给定z时，得到视图x的伪样本θx为从z到x的生成网络参数；
在给定z时，得到视图y的伪样本θy为从z到y的生成网络参数；同时得到跨域伪配对样本
在给定观测到的x时，得到隐含表示z的伪样本φx为从x到z的推理网络参数；
在给定观测到的y时，得到隐含表示z的伪样本φy为从y到z的推理网络参数；
设定根据x推断然后预测y得到的伪样本为
设定根据y推断然后预测x得到的伪样本为
给定时，得到x的伪样本为θx为从z到x的生成网络参数；
给定时，得到y的伪样本θy为从z到y的生成网络参数。
即首先，给定z，假定根据两个视图x、y的生成网络分别得到的单域伪样本为由于这两个伪样本是基于相同的隐含表示z产生的，因而它们一起又形成跨域伪配对样本给定真实观测跨域配对样本(x,y)或真实观测单域样本x和y，假定根据两个视图的推理网络分别得到的隐含表示伪样本为
设定根据x推断隐含表示然后预测y得到的伪样本为
设定根据y推断隐含表示然后预测x得到的伪样本为
则目标函数为
其中，Θ表示所有生成器的集合，而Ez[·]表示在z所服从的分布上关于中括号内的函数取期望，α为正则系数。
相应正则项的作用是使得真实观测跨域配对数据(x,y)的隐含表示和充分接近，以此达到通过隐含空间关联两个不同视图的目的，最终实现双向跨域映射。
其次，将本发明提出的基本多视图对抗推理学习方法进行拓展，以使得模型性能更优、更稳定。该模型拓展方法包括利用单域样本提升隐含表示判别性和模型稳定性、合理利用跨域伪配对样本对生成器进行正则化、利用条件GAN提升双向跨域映射。
(1)利用单域样本提升隐含表示判别性和模型稳定性
在初始建立的目标函数基本模型的基础上，进一步，
给定时，得到x的伪样本为θx为从z到x的生成网络参数；
给定时，得到y的伪样本θy为从z到y的生成网络参数；
则目标函数为：
换句话说，给定真实观测单域样本x和y，假定根据两个视图的推理网络分别得到的隐含表示伪样本为定义根据两个视图的生成网络分别得到的单域重构样本为则本发明一个具体实施例提出如下目标函数拓展初始建立的目标函数的基本模型，得到目标函数的第一拓展模型：
其中，Θ表示所有生成器的集合，Ω表示所有鉴别器的集合，包括ωx、ωy、ηx、ηy、和ζ，其中ηx和ηy是新引入的两个鉴别器，它们分别负责鉴别视图x和视图y自重构的好坏。这种基于隐含空间的循环一致性机制不仅能提升隐含表示的判别性而且能提升模型训练时的稳定性。
关于生成器和鉴别器的对抗机制，以参数为ηx的鉴别器为例：生成器的目标是通过推理网络和生成网络生成伪样本使得联合样本(x，)与联合样本(x，x)充分接近，以至于当前给定的鉴别器无法较好区分它们；而当生成器给定时，鉴别器的目标是尽最大可能去区分开当前生成器所给出的伪联合样本(x，)与相应真实联合样本(x，x)。该过程交替迭代进行，直到鉴别器不能区分开真实数据分布和生成器所学习到的分布。
(2)合理利用跨域伪配对样本对生成器进行正则化
通过利用单域样本提升隐含表示判别性和模型稳定性得到了目标函数第一拓展模型，在该第一拓展模型的基础上，进一步，
在给定伪样本时，得到隐含表示z的伪样本φx为从x到z的推理网络参数；
在给定伪样本时得到隐含表示z的伪样本φy为从y到z的推理网络参数。
即定义根据两个视图的推理网络分别得到的隐含表示重构样本为则本发明一个具体实施例提出如下目标函数继续拓展目标函数第一拓展模型，得到目标函数的第二拓展模型：
其中，α为正则系数。
这样一种处理方式可视为在隐含空间中施加的循环一致性准则，其中用到了不同视图的数据共享隐含表示这一建模假设。注意，尽管这一假设在本发明提出的基本模型中也有所体现(即初始建立的目标函数基本模型以α为正则系数的正则项)，但那里只是强迫真实观测跨域配对数据(x,y)的隐含表示和充分接近，以此达到通过隐含空间关联两个不同视图的目的，最终实现双向跨域映射，而真实观测跨域配对数据通常都很少，所以不足以提供充分的监督信号。而对于这里采用的跨域伪配对样本，则可根据不同隐含表示z产生任意多的数量。
这样一种合理利用跨域伪配对样本对生成器进行正则化处理的方法，本质上是对生成网络和推理网络施加了额外的目标约束，使训练过程中各个网络参数的优化更易于收敛到性质符合我们假设的值。
(3)利用条件GAN提升双向跨域映射
通过合理利用跨域伪配对样本对生成器进行正则化后得到对目标函数的第二拓展模型，在该第二拓展模型的基础上，进一步，
使用参数为χx的DNN建立鉴别从视图y到视图x的跨域映射性能的鉴别器
使用参数为χy的DNN建立鉴别从视图x到视图y的跨域映射性能的鉴别器
目标函数为：
其中，Ω表示所有鉴别器参数的集合，包括ωx、ωy、ηx、ηy、ζ、χx和χy，其中χx和χy是新引入的两个鉴别器，它们分别负责鉴别从视图y到视图x的跨域映射和从视图x到视图y的跨域映射的好坏。
换句话说，给定真实观测跨域配对样本(x,y),假定根据视图x推断隐含表示然后预测视图y得到的伪样本为另外假定根据视图y推断隐含表示然后预测视图x得到的伪样本为则本发明一个具体实施例提出如下目标函数拓展上面描述的第二拓展模型，得到目标函数的第三拓展模型，至此形成最终的完全模型：
5、训练单元的建立
对各生成器和各鉴别器进行训练，确定各生成器和各鉴别器中的参数。
在本发明的一个实施例中，对各生成器和各鉴别器进行训练，确定各生成器和各鉴别器中的参数包括：采用随机梯度的方式进行训练，训练的过程由更新每个生成器和更新每个鉴别器的交替迭代过程构成。其中为了计算梯度，在本发明的一个具体实施例采用开源深度学习编程平台Tensorflow提供的AdamOptimizer来进行自动微分，而无需人工推导公式。
本发明一个实施例提供了一种跨域联合分布匹配模型的应用方法，该跨域联合分布匹配模型是根据图1所述的方法建立的。该方法包括以下步骤：
对于给定的视图x的样本，通过由参数为φx的推理网络定义的条件高斯分布推断与其相应的隐含表示然后通过由参数为θy的生成网络定义的条件高斯分布生成视图y的伪样本
该方法是当根据图1的方法将模型训练完毕后的一种实际应用场景，即一种为根据某一视图的数据(比如图像)推断与其对应的另一视图的数据(比如文本)的场景。该应用场景只涉及参数被固定为训练终止时的最优参数的模型生成器，与鉴别器无关。
假定给定视图x的样本，而目标为预测与其对应的视图y的伪样本。根据视图x，我们可以通过由参数为φx的推断网络定义的条件高斯分布推断其相应的隐含表示然后根据又可通过由参数为θy的生成网络定义的条件高斯分布生成(或称为预测)视图y的伪样本其中隐含的逻辑是不同视图的数据共享隐含表示，这一假设在模型训练阶段也有所提现。
举例来说，假如想要进行图像翻译/编辑，即实现将某一输入图像转换成另一符合人们要求且跟原始图像有明显对应关系的图像，比如，将早上拍的照片转化成晚上拍的照片，因为早上和晚上的环境和光线不同，拍出来的照片曝光度、饱和度、对比度和亮度等也不同，这是一种同模态之间的转变。此时假使将在早上拍的照片设定为视图x，将晚上拍的照片设定为视图y，根据视图x，我们可以通过由参数为φx的推断网络定义的条件高斯分布推断其相应的隐含表示然后根据又可通过由参数为θy的生成网络定义的条件高斯分布生成(或称为预测)视图y的伪样本由此就由早上拍的照片不用经过实际晚上拍摄就得到了对应的晚上拍的照片。同样，已有晚上拍的照片，将晚上拍的照片设定为视图x，与其对应的早上拍的照片设定为视图y，处理过程类似。
假如想要进行图像属性预测，即自动为某一输入图像打上多个语义标签，而其反向过程为根据给定的若干语义标签生成一幅图像。比如，输入图像为一张人脸图像，生成相应的语义标签，像大眼睛、高鼻梁、厚嘴唇等语义标签，这是从图像到文本形式的转换，即跨模态之间的转换。假使将人脸图像设定为视图x，对应的语义标签设定为视图y，根据视图x，我们可以通过由参数为φx的推断网络定义的条件高斯分布推断其相应的隐含表示然后根据又可通过由参数为θy的生成网络定义的条件高斯分布生成(或称为预测)视图y的伪样本由此就由一张人脸图像生成了对应的语义标签。反过来，语义标签已有，设定为视图x，目标是生成一幅人脸图像，设定为视图y，处理过程类似。
本发明一个实施例还提供了一种跨域联合分布匹配模型的应用方法，如图2所示。图2示出了根据本发明一个实施例的另一种跨域联合分布匹配模型的应用方法流程图，该跨域联合分布匹配模型是根据图1所述的方法建立的。其中，该方法对于给定的视图x的样本，从数据库中检索与其最相关的视图y的样本，如图2所示，该方法具体包括以下步骤：
步骤S21：对于数据库中的大量的视图y的样本，通过由参数为φy的推理网络定义的条件高斯分布推断每个样本相应的隐含表示
步骤S22：对于给定的视图x的一个样本，通过由参数为φx的推理网络定义的条件高斯分布推断其相应的隐含表示
步骤S23：计算得到与最为相似的则相应的视图y的样本即为与给定的视图x的所述样本最相关的视图y的样本。
图2所示的方法是根据图1的方法将模型训练完毕后的另一种实际应用场景，即在共享的低纬隐含空间中比较来自两个不同视图的数据的相似度，从而实现高效的跨模态检索。该应用场景只涉及参数被固定为训练终止时的最优参数的模型生成器，与鉴别器无关。
假定查询输入数据为视图x的样本，而目标为从数据库中检索与其最相关的视图y的样本。一种较低效的做法是如上述第一种应用场景先根据视图x的样本预测与其对应的视图y的伪样本，然后在视图y的样本特征空间中计算相似度，然而这种方法的缺点是原始数据的特征空间一般维度较高，导致相似度计算费时。在本发明提出的框架下，我们可以在两个视图共享的低纬隐含空间中高效地计算相似度，比如根据视图x，我们可以通过由参数为φx的推断网络定义的条件高斯分布推断其相应的隐含表示而对于数据库中大量的视图y的样本则可通过由参数为φy的推断网络定义的条件高斯分布推断每个样本相应的隐含表示其中，视图y的样本事先离线计算完毕，不占用在线检索的各种资源。
假如想要进行跨模态搜索，即将某一给定模态或视图的输入查询样本自动与另一模态或视图的数据库中的样本进行相似度比较并返回最相似的若干样本，假使将一幅人脸画像与语义标签库中的若干语义标签进行相似度比较，设定人脸画像为视图x，语义标签为视图y，根据视图x，我们可以通过由参数为φx的推断网络定义的条件高斯分布推断其相应的隐含表示而对于数据库中大量的视图y的样本则可通过由参数为φy的推断网络定义的条件高斯分布推断每个样本相应的隐含表示选出与最为相似的对应的视图x样本即与对应的视图y样本最为相似。
图3示出了根据本发明一个实施例的一种建立跨域联合分布匹配模型的装置示意图，如图3所示，该装置30包括：生成器建立单元301、样本联合分布建立单元302、鉴别器建立单元303、目标函数建立单元304和训练单元305；对于一个视图x、另一个视图y以及两者的共享隐含表示z，
生成器建立单元301，适于确定给定z时x的条件高斯分布p01、给定z时y的条件高斯分布p02、给定x时z的条件高斯分布p03以及给定y时z的条件高斯分布p04；
样本联合分布建立单元302，适于建立z和x的生成式联合分布p1，建立z和x的推理式联合分布p2，建立z和y的生成式联合分布p3，建立z和y的推理式联合分布p4，定义x和y的联合分布p5为x和y配对出现的真实观测数据的分布，利用z建立x和y的生成式联合分布p6，利用z建立x为真实观测数据而y为生成数据时的x和y的推理与生成联合分布p7，利用z建立y为真实观测数据而x为生成数据时的x和y的推理与生成联合分布p8；
鉴别器建立单元303，适于使用参数为ωx的深度神经网络DNN建立鉴别来自联合分布p1的样本和来自联合分布p2的样本的第一鉴别器使用参数为ωy的DNN建立鉴别来自联合分布p3的样本和来自联合分布p4的样本的第二鉴别器使用参数为ζ的DNN建立鉴别x和y配对出现的真实观测样本P5和来自联合分布P6的样本的第三鉴别器Dζ(x,y)，使用参数为的DNN建立鉴别来自联合分布p7的样本和来自联合分布p8的样本的第四鉴别器使用参数为ηx的DNN建立鉴别联合样本(x，)与联合样本(x，x)的第五鉴别器使用参数为ηy的DNN建立鉴别联合样本(y，)与联合样本(y，y)的第六鉴别器
目标函数建立单元304，适于在给定z时，根据p01得到视图x的伪样本根据p02得到视图y的伪样本同时得到跨域伪配对样本在给定观测到的样本x时，根据p03得到隐含表示z的样本在给定观测到的y时，根据p04得到隐含表示z的样本设定根据x推断然后预测y得到的伪样本为设定根据y推断然后预测x得到的伪样本为给定时，得到x的伪样本为给定时，得到y的伪样本则确定目标函数为：
其中，Θ表示所有生成器的集合，Ω表示所有鉴别器的集合，而Ez[·]表示在z所服从的分布上关于中括号内的函数取期望；
训练单元305，适于对各生成器和各鉴别器进行训练，确定各生成器和各鉴别器中的参数。
可见，图3所示的装置，通过各单元的配合，对于一个视图x、另一个视图y以及两者的共享隐含表示z，建立生成器、样本联合分布、鉴别器和目标函数，然后对各生成器和各鉴别器进行训练，确定各生成器和各鉴别器中的参数。该方法依赖于两个域的共享隐含空间，可以生成任意数量的伪造跨域配对样本来辅助模型学习，从通常很少的跨域配对样本(以及充足的单域未配对样本)中就足以学习到理想的跨域映射，无需大量的跨域配对训练数据样本。当循环一致性原则不适用于一对多跨域映射关系时，例如，基于属性的条件图像生成问题，一个潜在的低纬空间可以用来构建一个小循环，因此，作为一种新型半监督学习方法，本发明能更有效地解决可被建模为跨域联合分布匹配的诸多问题，如提升图像翻译、图像到语义标签的生成、基于语义标签的图像生成等任务的性能。与在高维数据空间计算相似性的半监督跨模态检索方法相比，本发明可基于共享低维隐含空间进行更快速的相似度计算，实现性能相当但效率更优的搜索。本发明还对提出的基本多视图对抗推理学习方法进行了拓展，使得模型性能更优、更稳定。
在本发明的一个实施例中，图3所示的装置中，生成器建立单元301，具体适于使用参数为θx的深度神经网络DNN建立生成网络，该网络以隐含表示z为输入，以关于视图x的均值向量和协方差矩阵为输出；根据该网络输出的视图x的均值向量和协方差矩阵，确定给定z时视图x的条件高斯分布使用参数为θy的DNN建立生成网络，该网络以隐含表示z为输入，以关于视图y的均值向量和协方差矩阵为输出；根据该网络输出的视图y的均值向量和协方差矩阵，确定给定z时视图y的条件高斯分布使用参数为φx的DNN建立推理网络，该网络以视图x为输入，以隐含表示z的均值向量和协方差矩阵为输出；根据该网络输出的隐含表示z的均值向量和协方差矩阵，确定给定视图x时z的条件高斯分布使用参数为φy的DNN建立推理网络，该网络以视图y为输入，以隐含表示z的均值向量和协方差矩阵为输出；根据该网络输出的隐含表示z的均值向量和协方差矩阵，确定给定视图y时z的条件高斯分布
在本发明的一个实施例中，图3所示的装置中，隐含表示z的样本来自于给定的简单先验分布，具体为多维标准正太分布或均匀分布；视图x的样本来自于该视图的经验观测分布；视图y的样本来自于该视图的经验观测分布。
在本发明的一个实施例中，图3所示的装置中，样本联合分布建立单元302具体适于：
令θx为从z到x的生成网络参数；
φx为从x到z的推理网络参数；
θy为z到y的生成网络参数；
φy为从y到z的推理网络参数；
p5＝p(x，y)；
在本发明的一个实施例中，图3所示的装置中，目标函数建立单元304，具体适于在给定z时，得到视图x的伪样本θx为从z到x的生成网络参数；在给定z时，得到视图y的伪样本θy为从z到y的生成网络参数；在给定观测到的x时，得到隐含表示z的伪样本，φx为从x到z的推理网络参数；在给定观测到的y时，得到隐含表示z的伪样本，φy为从y到z的推理网络参数；设定根据x推断然后预测y得到的伪样本为设定根据y推断然后预测x得到的伪样本为给定时，得到x的伪样本为θx为从z到x的生成网络参数；给定时，得到y的伪样本θy为从z到y的生成网络参数。
在本发明的一个实施例中，图3所示装置中，训练单元305，适于采用随机梯度的方式进行训练，训练的过程由更新每个生成器和更新每个鉴别器的交替迭代过程构成。
在本发明的一个实施例中，图3所示装置中，目标函数建立单元304，进一步适于在给定伪样本时，根据p03得到隐含表示z的伪样本φx为从x到z的推理网络参数；在给定伪样本时根据p04得到隐含表示z的伪样本φy为从y到z的推理网络参数；并将目标函数确定为：
其中，α为正则系数。
在本发明的一个实施例中，图3所示装置中，鉴别器建立单元303，进一步适于使用参数为χx的DNN建立鉴别从视图y到视图x的跨域映射性能的鉴别器使用参数为χy的DNN建立鉴别从视图x到视图y的跨域映射性能的鉴别器
则目标函数建立单元将目标函数确定为：
其中，Ω表示所有鉴别器的集合。
在本发明的一个实施例中，图3所示装置中，鉴别器建立单元303，进一步适于使用参数为χx的DNN建立鉴别从视图y到视图x的跨域映射性能的鉴别器使用参数为χy的DNN建立鉴别从视图x到视图y的跨域映射性能的鉴别器
则目标函数建立单元304将目标函数确定为：
其中，Ω表示所有鉴别器的集合。
图4示出了根据本发明一个实施例提供的一种跨域联合分布匹配模型的应用装置示意图，该装置40包括：如图3所述的建立跨域联合分布匹配模型的装置30，以及第一应用单元401；
第一应用单元401，适于对于给定的视图x的样本，通过由参数为φx的推理网络定义的条件高斯分布推断与其相应的隐含表示然后通过由参数为θy的生成网络定义的条件高斯分布生成视图y的伪样本
图5示出了根据本发明一个实施例提供的另一种跨域联合分布匹配模型的应用装置示意图，该装置50包括：如图3所述的建立跨域联合分布匹配模型的装置30，以及第二应用单元501；
第二应用单元501，适于对于数据库中的大量的视图y的样本，通过由参数为φy的推理网络定义的条件高斯分布推断每个样本相应的隐含表示对于给定的视图x的一个样本，通过由参数为φx的推理网络定义的条件高斯分布推断其相应的隐含表示计算得到与最为相似的则相应的视图y的样本即为与给定的视图x的所述样本最相关的视图y的样本。
综上所述，本发明的技术方案，对于一个视图x、另一个视图y以及两者的共享隐含表示z，建立生成器、样本联合分布、鉴别器和目标函数，然后对各生成器和各鉴别器进行训练，确定各生成器和各鉴别器中的参数。该方法依赖于两个域的共享隐含空间，可以生成任意数量的伪造跨域配对样本来辅助模型学习，从通常很少的跨域配对样本(以及充足的单域未配对样本)中就足以学习到理想的跨域映射，无需大量的跨域配对训练数据样本。当循环一致性原则不适用于一对多跨域映射关系时，例如，基于属性的条件图像生成问题，一个潜在的低纬空间可以用来构建一个小循环，因此，作为一种新型半监督学习方法，本发明能更有效地解决可被建模为跨域联合分布匹配的诸多问题，如提升图像翻译、图像到语义标签的生成、基于语义标签的图像生成等任务的性能。与在高维数据空间计算相似性的半监督跨模态检索方法相比，本发明可基于共享低维隐含空间进行更快速的相似度计算，实现性能相当但效率更优的搜索。本发明还对提出的基本多视图对抗推理学习方法进行了拓展，使得模型性能更优、更稳定。
需要说明的是：
在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的建立跨域联合分布匹配模型的装置、该模型的应用装置、电子设备和计算机可读存储介质中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
例如，图6示出了根据本发明一个实施例提供的一种电子设备结构示意图。该电子设备600包括：处理器610，以及存储有可在所述处理器610上运行的计算机程序的存储器620。处理器610，用于在执行所述存储器620中的计算机程序时执行本发明中方法的各步骤。存储器620可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。存储器620具有存储用于执行上述方法中的任何方法步骤的计算机程序631的存储空间630。计算机程序631可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。这些计算机程序产品包括诸如硬盘，紧致盘(CD)、存储卡或者软盘之类的程序代码载体。这样的计算机程序产品通常为例如图7所述的计算机可读存储介质。
图7示出了根据本发明一个实施例提供的一种计算机可读存储介质的结构示意图。该计算机可读存储介质700存储有用于执行根据本发明的方法步骤的计算机程序631，可以被电子设备600的处理器610读取，当计算机程序631由电子设备600运行时，导致该电子设备600执行上面所描述的方法中的各个步骤，具体来说，该计算机可读存储介质存储的计算程序631可以执行上述任一实施例中示出的方法。计算机程序631可以以适当形式进行压缩。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (10)

1.一种建立跨域联合分布匹配模型的方法，其中，该方法包括：对于一个视图x、另一个视图y以及两者的共享隐含表示z，建立生成器、样本联合分布、鉴别器和目标函数；其中，
建立生成器包括：确定给定z时x的条件高斯分布p01、给定z时y的条件高斯分布p02、给定x时z的条件高斯分布p03以及给定y时z的条件高斯分布p04；
建立样本联合分布包括：建立z和x的生成式联合分布p1，建立z和x的推理式联合分布p2，建立z和y的生成式联合分布p3，建立z和y的推理式联合分布p4，定义x和y的联合分布p5为x和y配对出现的真实观测数据的分布，利用z建立x和y的生成式联合分布p6，利用z建立x为真实观测数据而y为生成数据时的x和y的推理与生成联合分布p7，利用z建立y为真实观测数据而x为生成数据时的x和y的推理与生成联合分布p8；
建立鉴别器包括：使用参数为ωx的深度神经网络DNN建立鉴别来自联合分布p1的样本和来自联合分布p2的样本的第一鉴别器使用参数为ωy的DNN建立鉴别来自联合分布p3的样本和来自联合分布p4的样本的第二鉴别器使用参数为ζ的DNN建立鉴别x和y配对出现的真实观测样本P5和来自联合分布P6的样本的第三鉴别器Dζ(x,y)，使用参数为的DNN建立鉴别来自联合分布p7的样本和来自联合分布p8的样本的第四鉴别器使用参数为ηx的DNN建立鉴别联合样本与联合样本(x，x)的第五鉴别器使用参数为ηy的DNN建立鉴别联合样本与联合样本(y，y)的第六鉴别器
建立目标函数包括：在给定z时，根据p01得到视图x的伪样本根据p02得到视图y的伪样本同时得到跨域伪配对样本在给定观测到的样本x时，根据p03得到隐含表示z的样本在给定观测到的y时，根据p04得到隐含表示z的样本设定根据x推断然后预测y得到的伪样本为设定根据y推断然后预测x得到的伪样本为给定时，得到x的伪样本为给定时，得到y的伪样本
则目标函数为：
其中，Θ表示所有生成器的集合，Ω表示所有鉴别器的集合，而Ez[·]表示在z所服从的分布上关于中括号内的函数取期望；
对各生成器和各鉴别器进行训练，确定各生成器和各鉴别器中的参数。
2.如权利要求1所述的方法，其中，所述建立生成器具体包括：
使用参数为θx的DNN建立生成网络，该网络以隐含表示z为输入，以关于视图x的均值向量和协方差矩阵为输出；根据该网络输出的视图x的均值向量和协方差矩阵，确定给定z时视图x的条件高斯分布
使用参数为θy的DNN建立生成网络，该网络以隐含表示z为输入，以关于视图y的均值向量和协方差矩阵为输出；根据该网络输出的视图y的均值向量和协方差矩阵，确定给定z时视图y的条件高斯分布
使用参数为φx的DNN建立推理网络，该网络以视图x为输入，以隐含表示z的均值向量和协方差矩阵为输出；根据该网络输出的隐含表示z的均值向量和协方差矩阵，确定给定视图x时z的条件高斯分布
使用参数为φy的DNN建立推理网络，该网络以视图y为输入，以隐含表示z的均值向量和协方差矩阵为输出；根据该网络输出的隐含表示z的均值向量和协方差矩阵，确定给定视图y时z的条件高斯分布
3.如权利要求1或2所述的方法，其中，
隐含表示z的样本来自于给定的简单先验分布p(z)，具体为多维标准正太分布或均匀分布；
视图x的样本来自于该视图的经验观测分布p(x)；
视图y的样本来自于该视图的经验观测分布p(y)。
4.一种跨域联合分布匹配模型的应用方法，该跨域联合分布匹配模型是根据如权利要求1-3中任一项所述的方法建立的，其中，该方法包括：
对于给定的视图x的样本，通过由参数为φx的推理网络定义的条件高斯分布推断与其相应的隐含表示然后通过由参数为θy的生成网络定义的条件高斯分布生成视图y的伪样本
5.一种跨域联合分布匹配模型的应用方法，该跨域联合分布匹配模型是根据如权利要求1-3中任一项所述的方法建立的，其中，该方法对于给定的视图x的样本，从数据库中检索与其最相关的视图y的样本，该方法具体包括：
对于数据库中的大量的视图y的样本，通过由参数为φy的推理网络定义的条件高斯分布推断每个样本相应的隐含表示
对于给定的视图x的一个样本，通过有参数为φx的推理网络定义的条件高斯分布推断其相应的隐含表示
计算得到与最为相似的则相应的视图y的样本即为与给定的视图x的所述样本最相关的视图y的样本。
6.一种建立跨域联合分布匹配模型的装置，其中，该装置包括：生成器建立单元、样本联合分布建立单元、鉴别器建立单元、目标函数建立单元和训练单元；其中，对于一个视图x、另一个视图y以及两者的共享隐含表示z，
所述生成器建立单元，适于确定给定z时x的条件高斯分布p01、给定z时y的条件高斯分布p02、给定x时z的条件高斯分布p03以及给定y时z的条件高斯分布p04；
所述样本联合分布建立单元，适于建立z和x的生成式联合分布p1，建立z和x的推理式联合分布p2，建立z和y的生成式联合分布p3，建立z和y的推理式联合分布p4，定义x和y的联合分布p5为x和y配对出现的真实观测数据的分布，利用z建立x和y的生成式联合分布p6，利用z建立x为真实观测数据而y为生成数据时的x和y的推理与生成联合分布p7，利用z建立y为真实观测数据而x为生成数据时的x和y的推理与生成联合分布p8；
所述鉴别器建立单元。适于使用参数为ωx的深度神经网络DNN建立鉴别来自联合分布p1的样本和来自联合分布p2的样本的第一鉴别器使用参数为ωy的DNN建立鉴别来自联合分布p3的样本和来自联合分布p4的样本的第二鉴别器使用参数为ζ的DNN建立鉴别x和y配对出现的真实观测样本P5和来自联合分布P6的样本的第三鉴别器Dζ(x,y)，使用参数为的DNN建立鉴别来自联合分布p7的样本和来自联合分布p8的样本的第四鉴别器使用参数为ηx的DNN建立鉴别联合样本与联合样本(x，x)的第五鉴别器使用参数为ηy的DNN建立鉴别联合样本与联合样本(y，y)的第六鉴别器
所述目标函数建立单元，适于在给定z时，根据p01得到视图x的伪样本根据p02得到视图y的伪样本同时得到跨域伪配对样本在给定观测到的样本x时，根据p03得到隐含表示z的样本在给定观测到的y时，根据p04得到隐含表示z的样本设定根据x推断然后预测y得到的伪样本为设定根据y推断然后预测x得到的伪样本为给定时，得到x的伪样本为给定时，得到y的伪样本则确定目标函数为：
其中，Θ表示所有生成器的集合，Ω表示所有鉴别器的集合，而Ez[·]表示在z所服从的分布上关于中括号内的函数取期望；
所述训练单元，适于对各生成器和各鉴别器进行训练，确定各生成器和各鉴别器中的参数。
7.一种跨域联合分布匹配模型的应用装置，包括：如权利要求6中任一项所述的建立跨域联合分布匹配模型的装置，以及第一应用单元；
所述第一应用单元，适于对于给定的视图x的样本，通过由参数为φx的推理网络定义的条件高斯分布推断与其相应的隐含表示然后通过由参数为θy的生成网络定义的条件高斯分布生成视图y的伪样本
8.一种跨域联合分布匹配模型的应用装置，包括：如权利要求6中任一项所述的建立跨域联合分布匹配模型的装置，以及第二应用单元；
所述第二应用单元，适于对于给定的视图x的样本，从数据库中检索与其最相关的视图y的样本，具体适于对数据库中的大量的视图y的样本，通过由参数为φy的推理网络定义的条件高斯分布推断每个样本相应的隐含表示对于给定的视图x的一个样本，通过有参数为φx的推理网络定义的条件高斯分布推断其相应的隐含表示计算得到与最为相似的则相应的视图y的样本即为与给定的视图x的所述样本最相关的视图y的样本。
9.一种电子设备，其特征在于，所述电子设备包括：处理器，以及存储有可在处理器上运行的计算机程序的存储器；
其中，所述处理器，用于在执行所述存储器中的计算机程序时执行权利要求1-3中任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-3中任一项所述的方法。
CN201810712950.5A 2018-06-29 2018-06-29 建立跨域联合分布匹配模型的方法、装置及其应用 Pending CN108898184A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810712950.5A CN108898184A (zh) 2018-06-29 2018-06-29 建立跨域联合分布匹配模型的方法、装置及其应用
PCT/CN2018/098550 WO2020000582A1 (zh) 2018-06-29 2018-08-03 建立跨域联合分布匹配模型的方法、装置及其应用

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810712950.5A CN108898184A (zh) 2018-06-29 2018-06-29 建立跨域联合分布匹配模型的方法、装置及其应用

Publications (1)

Publication Number Publication Date
CN108898184A true CN108898184A (zh) 2018-11-27

Family

ID=64347725

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810712950.5A Pending CN108898184A (zh) 2018-06-29 2018-06-29 建立跨域联合分布匹配模型的方法、装置及其应用

Country Status (1)

Country Link
CN (1) CN108898184A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110211045A (zh) * 2019-05-29 2019-09-06 电子科技大学 基于srgan网络的超分辨率人脸图像重建方法
CN111241571A (zh) * 2018-11-28 2020-06-05 创新工场(北京)企业管理股份有限公司 一种数据共享方法及模型、存储介质
CN114757342A (zh) * 2022-06-14 2022-07-15 南昌大学 一种基于对抗训练的电子数据信息反取证方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111241571A (zh) * 2018-11-28 2020-06-05 创新工场(北京)企业管理股份有限公司 一种数据共享方法及模型、存储介质
CN110211045A (zh) * 2019-05-29 2019-09-06 电子科技大学 基于srgan网络的超分辨率人脸图像重建方法
CN110211045B (zh) * 2019-05-29 2022-09-06 电子科技大学 基于srgan网络的超分辨率人脸图像重建方法
CN114757342A (zh) * 2022-06-14 2022-07-15 南昌大学 一种基于对抗训练的电子数据信息反取证方法
CN114757342B (zh) * 2022-06-14 2022-09-09 南昌大学 一种基于对抗训练的电子数据信息反取证方法

Similar Documents

Publication Publication Date Title
Chen et al. Multi-label image recognition with graph convolutional networks
Du et al. Reconstructing perceived images from human brain activities with Bayesian deep multiview learning
Mansinghka et al. Structured priors for structure learning
CN108898184A (zh) 建立跨域联合分布匹配模型的方法、装置及其应用
CN103262103B (zh) 用于情景分析的处理器
Skowron et al. Introduction to perception based computing
Lin et al. R 2-resnext: A resnext-based regression model with relative ranking for facial beauty prediction
Bolojan Creative AI: augmenting design potency
Xu et al. Academic coupled dictionary learning for sketch-based image retrieval
Sood et al. Neunets: An automated synthesis engine for neural network design
CN108985362A (zh) 建立跨域联合分布匹配模型的方法、装置及其应用
CN108960324A (zh) 建立跨域联合分布匹配模型的方法、装置及其应用
Del Ser et al. Exploring the trade-off between plausibility, change intensity and adversarial power in counterfactual explanations using multi-objective optimization
Zhou et al. Emerging synergies in causality and deep generative models: A survey
CN108830384A (zh) 建立跨域联合分布匹配模型的方法、装置及其应用
WO2020000582A1 (zh) 建立跨域联合分布匹配模型的方法、装置及其应用
Sawarkar Deep Learning with PyTorch Lightning: Swiftly Build High-performance Artificial Intelligence (AI) Models Using Python
Singh et al. Machine Learning: A Comprehensive Survey on Existing Algorithms
ter Haar Romeny A deeper understanding of deep learning
Prates et al. Typed graph networks
Chander Deep learning network: deep neural networks
Samuel et al. A virtual “Werkstatt” for digitization in the sciences
Tynchenko et al. Software development based on artificial neural networks for fitness club
Urban et al. The mixture of autoregressive hidden Markov models of morphology for dentritic spines during activation process
Barceló Computational intelligence in archaeology. State of the art

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181127