CN109643383A - 域分离神经网络 - Google Patents

域分离神经网络 Download PDF

Info

Publication number
CN109643383A
CN109643383A CN201680088052.6A CN201680088052A CN109643383A CN 109643383 A CN109643383 A CN 109643383A CN 201680088052 A CN201680088052 A CN 201680088052A CN 109643383 A CN109643383 A CN 109643383A
Authority
CN
China
Prior art keywords
neural network
input picture
image
sharing feature
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680088052.6A
Other languages
English (en)
Other versions
CN109643383B (zh
Inventor
康斯坦丁诺斯·布斯马利斯
内森·西尔伯曼
迪利普·克里希南
乔治·特里格奥尔齐斯
杜米特鲁·埃尔汉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN109643383A publication Critical patent/CN109643383A/zh
Application granted granted Critical
Publication of CN109643383B publication Critical patent/CN109643383B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/10—Pre-processing; Data cleansing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/72—Data preparation, e.g. statistical preprocessing of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)

Abstract

用于使用图像处理神经网络系统处理图像的方法、系统和装置，包括在计算机存储介质上编码的计算机程序。该系统之一包括由以下实现的共享编码器神经网络：一个或多个计算机，其中，共享编码器神经网络被配置为从目标域接收输入图像，并处理输入图像以生成输入图像的特征的共享特征表示，所述特征在来自目标域的图像和来自不同于目标域的源域的图像之间共享；以及由所述一个或多个计算机实现的分类器神经网络，其中，所述分类器神经网络被配置为接收所述共享特征表示，并处理共享特征表示以生成表征输入图像的输入图像的网络输出。

Description

域分离神经网络
背景技术
本说明书涉及通过神经网络层处理图像数据以生成输出。
神经网络是机器学习模型，其使用一个或多个非线性单元的层来对于接收的输入预测输出。除了输出层之外，一些神经网络还包括一个或多个隐藏层。每个隐藏层的输出用作网络中下一层(即，下一个隐藏层或输出层)的输入。网络的每个层根据相应参数集的当前值从接收的输入生成输出。
发明内容
通常，本说明书描述了由一个或多个计算机实现并且为表征图像的来自目标域的图像生成网络输出的图像处理神经网络。特别地，图像处理神经网络系统从目标域接收输入图像并处理该图像以生成输入图像的特征的共享特征表示，所述特征在来自目标域的图像和来自不同于目标域的源域的图像之间共享。然后，图像处理神经网络系统生成网络输出，该网络输出表征来自共享特征表示的输入图像。
对于被配置为执行特定操作或动作的一个或多个计算机的系统意味着系统已经在其上安装了软件、固件、硬件或它们的组合，其在操作中使得系统执行所述操作或动作。对于被配置为执行特定操作或动作的一个或多个计算机程序意味着一个或多个程序包括当由数据处理装置执行时使装置执行所述操作或动作的指令。
可以实现本说明书中描述的主题的特定实施例，以便实现以下优点中的一个或多个。本说明书中描述的神经网络系统可以在一系列无监督域适应场景上优于现有技术，并且另外产生私有和共享表示的可视化，其使得能够在训练期间解释域自适应过程。神经网络系统可以在其中在训练和测试期间的数据分布不同的情况下学习域不变的表示。
在以下附图和描述中阐述了本说明书的主题的一个或多个实施例的细节。根据说明书、附图和权利要求，本主题的其他特征、方面和优点将变得显而易见。
附图说明
图1示出了示例图像处理神经网络系统。
图2示出了示例神经网络训练系统。
图3是用于对于来自目标域的图像生成网络输出的示例过程的流程图。
图4是用于执行训练共享编码器神经网络和分类器神经网络的迭代的示例过程的流程图。
各附图中相同的附图标记和名称表示相同的元件。
具体实施方式
该说明书描述了在一个或多个位置中的一个或多个计算机上实现为计算机程序的图像处理神经网络系统。
图像处理神经网络系统处理来自目标域的输入图像，以为表征网络图像的每个输入图像生成相应的网络输出。
图像处理神经网络系统可以被配置为生成网络输出，该网络输出以各种方式中的任何一种来表征来自目标域的接收图像。
例如，图像处理神经网络系统可以被配置为将来自目标域的输入图像分类为包括来自一个或多个对象类别的对象的图像，即，为输入图像生成分类输出，所述分类输出包括一个或多个对象类别的每个的相应分数。所述相应分数表示输入图像包括属于对象类别的对象的图像的可能性。
作为另一示例，图像处理神经网络系统可以被配置为估计输入图像中的对象的姿势。通常，对象的姿势是输入图像中对象的位置和定向的组合。例如，系统可以生成姿势向量作为网络输出，该姿势向量包括对象的预定数量的身体关节中的每一个的图像中的估计位置。
作为另一示例，图像处理神经网络系统可以被配置为将输入图像划分为多个区域，每个区域属于类别集合中的不同的一个。例如，系统可以生成数据(例如，矢量或矩阵)作为网络输出，其为输入图像的每个像素识别像素所属的类别。
图1示出了示例图像处理神经网络系统100。图像处理神经网络系统100是在一个或多个位置中的一个或多个计算机上实现为计算机程序的系统的示例，其在该一个或多个计算机中，可以实现下面描述的系统、组件和技术。
图像处理神经网络系统100接收目标域图像102作为输入并处理目标域图像102以生成网络输出122。如上所述，图像处理神经网络系统100可以被配置为对于接收的输入图像生成各种网络输出。
图像处理神经网络系统100包括共享编码器神经网络110和分类器神经网络120。
共享编码器神经网络110是神经网络，例如卷积神经网络，其已经通过训练而被配置为接收目标域图像102并且处理目标域图像102以生成目标域图像102的共享特征表示112。共享特征表示112是数值的矢量，并且是目标域图像102的特征的表示，所述特征在来自目标域的图像和来自源域的图像之间共享。
通常，源域与目标域不同。特别地，来自源域的图像中的像素值的分布不同于来自目标域的图像中的像素值的分布。
在某些情况下，源域和目标域的主要区别在于低级图像统计信息的分布，而不是高级图像统计信息的分布。分布中的低级差异的示例包括由于噪声、分辨率、照明和颜色而产生的差异。另一方面，高级差异可能包括与类的数目、对象的类型和几何变化(例如，3D位置)相关的差异。
在一个示例中，源域可以是模拟真实世界环境的虚拟环境的图像，并且目标域可以是真实世界环境的图像。例如，源域图像可以是虚拟环境的图像，虚拟环境模拟将由机器人或其他机械代理或自主或半自主车辆与之交互的真实世界环境，而目标域图像可以是由机械代理或车辆捕获的现实世界环境的图像。因此，源域图像可以更具扩展性，特别是对于在现实世界环境中很少发生或难以或危险地生成的边缘情况。通过训练系统以仅使用如本说明书中所描述的标记的源域图像来生成目标域图像的准确网络输出，即使仅在模拟版本中遇到某些情况，也可以改善代理或车辆在现实世界环境中的性能。
在另一示例中，源域和目标域都可以是真实世界图像，但是具有光度差异，例如，一个域可以是室内图像，而另一个域可以是类似对象的室外图像。
在另一示例中，源域和目标域可以是从类似对象的不同图像集合中选择的图像。例如，源域可以是来自策划图像集合的图像，并且目标域可以是来自非策划数据集的图像(例如，因特网图像)。
在一些情况下，源域可以是其中容易获得标记图像的域，而获得目标域的标记图像数据在计算上是昂贵的或者困难或不可行。
分类器神经网络120是神经网络，例如，完全连接的神经网络，其已经通过训练被配置为接收共享特征表示112并且处理共享特征表示112以生成用于目标域图像102的网络输出122。
下面参考图2和4更详细地描述训练共享编码器神经网络110和分类器神经网络120以生成共享特征表示112和网络输出122。
图2示出了示例性神经网络训练系统200。神经网络训练系统200是在一个或多个位置中的一个或多个计算机上实现为计算机程序的系统的示例，在该计算机中，可以实现下面描述的系统、组件和技术。
神经网络训练系统200训练共享编码器神经网络110和分类器神经网络120，以生成来自目标域的接收图像的网络输出。
特别地，神经网络训练系统200在来自源域的标记图像和来自目标域的未标记图像上训练共享编码器神经网络110，并且仅在来自源域的标记图像上训练分类器神经网络120。标记图像是在训练期间神经网络训练系统200可获得已知网络输出(即，应由分类器神经网络120为该图像生成的网络输出)的图像，并且未标记图像在训练期间神经网络训练系统200没有可用的已知网络输出的图像。
为了训练共享编码器神经网络110和分类器神经网络120，神经网络训练系统200还包括私有目标编码器神经网络210、私有源编码器神经网络220和共享解码器神经网络230。
私有目标编码器神经网络210特定于目标域，并且被配置为从目标域接收图像并且为每个接收到的图像生成图像的私有特征表示。
私有源编码器神经网络220特定于源域，并且被配置为从源域接收图像并且为每个接收的图像生成图像的私有特征表示。
在一些实现中，私有目标编码器神经网络210、私有源编码器神经网络220和共享编码器神经网络110具有相同的神经网络架构，例如，都是具有相同网络架构的卷积神经网络。在一些其它实现中，私有目标编码器神经网络210和私有源编码器神经网络220是卷积神经网络，其具有与共享编码器神经网络110的架构不同的架构。
共享解码器神经网络230被配置为接收图像的组合特征表示并处理组合特征表示以生成图像的重构。在一些实现中，共享解码器神经网络230是去卷积神经网络。
图像的组合特征表示是图像的共享特征表示和图像的私有特征表示的组合，例如，级联、总和或平均。也就是说，如果图像来自源域，则组合特征表示是由私有源编码器神经网络220为图像生成的私有特征表示和由共享编码器神经网络110为图像生成的共享特征表示的组合。如果图像来自目标域，则组合特征表示是由私有目标编码器神经网络210为图像生成的私有特征表示和由共享编码器神经网络110为图像生成的共享特征表示的组合。
在训练期间，神经网络训练系统200调整共享编码器神经网络110、分类器神经网络120、私有目标编码器神经网络210、私有源编码器神经网络220和共享解码器神经网络230的参数的值，以确定网络中的每个网络的参数的训练值。
特别地，神经网络训练系统200训练共享编码器神经网络110以(i)生成来自目标域的输入图像的共享特征表示，其类似于来自源域的输入图像的共享特征表示，同时(ii)生成来自目标域的输入图像的共享特征表示，其不同于由私有目标编码器神经网络210生成的来自目标域的相同输入图像的私有特征表示，以及(iii)生成来自源域的输入图像的共享特征表示，其不同于由私有源编码器神经网络220生成的来自源域的相同输入图像的私有特征表示。
另外，神经网络训练系统200训练共享编码器神经网络110以生成来自目标域的输入图像的共享特征表示，其当与私有目标编码器神经网络210生成的相同输入图像的私有特征表示组合时可以用于通过共享解码器神经网络230精确地重构输入图像，并且生成来自源域的输入图像的共享特征表示，所述共享特征表示当与私有源编码器神经网络220生成的相同的输入图像的私有特征表示相结合时，可用于通过共享解码器神经网络230精确地重构输入图像。
此外，作为训练的一部分，神经网络训练系统200训练分类器神经网络120以在来自源域的标记图像上生成准确的网络输出。
下面参考图4更详细地描述训练共享编码器神经网络110、分类器神经网络120、私有目标编码器神经网络210、私有源编码器神经网络220和共享解码器神经网络230以确定网络中的每个网络的参数的训练值。
在一些实施方式中，一旦经过训练，共享编码器神经网络110和共享解码器神经网络230可用于将目标域图像变换为源域中的图像。例如，可以使用共享编码器神经网络110处理目标域图像以生成共享表示。然后，可以将共享表示与为私有源编码器神经网络220生成的图像生成的占位符或期望的私有特征表示组合，以生成组合表示。然后，组合表示可以由共享解码器神经网络230处理，以生成具有与输入目标域图像相同的特征的源域图像。
图3是用于对于来自目标域的图像生成网络输出的示例过程300的流程图。为方便起见，过程300将被描述为由位于一个或多个位置的一个或多个计算机的系统执行。例如，被适当地编程的图像处理神经网络系统(例如，图1的图像处理神经网络系统100)可以执行过程300。
系统从目标域接收图像(步骤302)。
系统使用共享编码器神经网络处理目标域图像(步骤304)。如上所述，共享编码器神经网络已经通过训练被配置为接收目标域图像并且生成目标域图像的特征的共享特征表示，所述特征在来自目标域的图像和来自源域的图像之间共享。
系统使用分类器神经网络处理共享特征表示(步骤306)。如上所述，已经通过训练配置分类器神经网络以接收共享特征表示并处理共享特征表示以生成目标域图像的网络输出。
图4是用于执行训练共享编码器神经网络和分类器神经网络的迭代的示例过程400的流程图。为方便起见，过程400将被描述为由位于一个或多个位置的一个或多个计算机的系统执行。例如，被适当编程的神经网络训练系统(例如，图1的神经网络训练系统200)可以执行过程400。
系统接收标记的训练源域图像和未标记的训练目标域图像(步骤402)。
系统根据共享编码器神经网络的参数的当前值使用共享编码器神经网络处理每个训练源域图像和每个训练目标域图像，以为图像中的每个图像生成相应的共享特征表示(步骤404)。
系统根据私有目标编码器神经网络的参数的当前值使用私有目标编码器神经网络处理每个训练目标域图像，以为每个训练目标域图像生成相应的私有特征表示(步骤406)。
系统根据私有源编码器神经网络的参数的当前值使用私有源编码器神经网络处理每个训练源域图像，以为每个训练源域图像生成相应的私有特征表示(步骤408)。
对于每个训练源域图像，系统根据分类器神经网络的参数的当前值使用分类器神经网络处理训练源域图像的共享特征表示，以生成训练源域图像的网络输出(步骤410)。
系统为每个训练源域图像和每个训练目标域图像生成相应的组合表示，例如，如上面参考图2所述(步骤412)。
系统根据共享解码器神经网络的参数的当前值使用共享解码器神经网络处理训练图像中的每个训练图像的组合表示，以生成对应训练图像的重构(步骤414)。
系统调整私有目标编码器神经网络、共享编码器神经网络、私有源编码器神经网络、共享解码器神经网络和分类器神经网络的参数的当前值，以减少由通过神经网络产生的输出导致的损失(步骤416)。
特别地，该系统执行诸如具有动量的随机梯度的机器学习训练技术的迭代，以最小化取决于分类损失、重构损失、差异损失和相似性损失的损失。例如，损失可能满足：
其中，是分类损失，是重构损失，是差异损失，是相似性损失，α、β和γ是控制损失项相互作用的权重。
分类损失训练分类器神经网络，并且由于反向传播，训练共享编码器神经网络以生成源域图像的准确网络输出，即，生成与训练源域图像的已知网络输出匹配的网络输出。例如，分类损失可能满足：
其中，Ns是标记的训练源域图像的总数，是由分类器神经网络为第i个训练源域图像生成的网络输出，并且是第i个训练源域图像的已知网络输出。
重构损失训练共享解码器神经网络，并且通过反向传播，训练编码器神经网络中的每个以生成输入图像的精确重构，即，生成与训练图像匹配的训练图像的重构。例如，重构损失可能是满足以下条件的尺度不变均方误差损失：
其中，Nt是训练目标域图像的总数，是第i个训练源域图像，是由共享解码器神经网络生成的第i个训练源域图像的重构，是第i个训练目标域图像，是共享解码器神经网络生成的第i个训练目标域图像的重构，是图像与图像重构之间的尺度不变均方误差，其满足：
其中，是平方L2范数，k是输入x中的像素数，1k是长度为k的1的矢量。因此，尺度不变的均方误差惩罚像素对之间的差异，像素对即给定训练图像中的像素和训练图像的重构中的对应像素。通过最小化该尺度不变的均方误差损失，系统训练共享解码器神经网络以再现被建模的对象的整体形状，而不消耗对输入的绝对颜色或强度的建模功率。
差异损失训练共享编码器神经网络以(i)生成来自目标域的输入图像的共享特征表示，其不同于由私有目标编码器神经网络生成的来自目标域的相同输入图像的私有特征表示，并且(ii)生成来自源域的输入图像的共享特征表示，其不同于由私有源编码器神经网络生成的来自源域的相同输入图像的私有特征表示。例如，差异损失可能满足：
其中，是具有作为训练源域图像的共享特征表示的行的矩阵，是具有作为训练目标域图像的共享特征表示的行的矩阵，是具有作为训练源域图像的私有特征表示的行的矩阵，是具有作为训练目标域图像的私有特征表示的行的矩阵，并且是平方Frobenius范数。
相似性损失训练共享编码器神经网络以生成来自目标域的输入图像的共享特征表示，其类似于来自源域的输入图像的共享特征表示。
例如，在一些情况下，相似性损失可以是域对抗相似性损失，其训练共享编码器神经网络以生成共享表示，使得域分类器神经网络不能可靠地预测编码表示的域。例如，域对抗相似性损失可能满足：
其中，di是识别第i个训练图像是来自目标域还是源域的变量的值，并且是域分类器神经网络通过处理第i训练图像的共享特征表示而预测的变量的预测值。系统可以相对于域分类器神经网络的参数最大化损失，并且相对于共享编码器神经网络的参数最小化损失，即，通过包括梯度反转层作为域分类器神经网络的输入层，并且最小化整体损失。
作为另一示例，在一些其他情况下，相似性损失可以是最大平均差异损失，其是样本对之间的基于核的距离函数。例如，最大平均差异损失可能满足：
其中，κ(·，·)是PSD核函数，是训练源域图像的共享特征表示，并且是训练目标域图像的共享特征表示。在一些情况下，PSD核函数可以是多个不同RBF核的线性组合。
系统可以对不同批次的标记训练源域图像和未标记的训练目标域图像重复执行过程400，以通过迭代地调整神经网络的参数值来训练神经网络，以确定神经网络参数的训练值。
在本说明书中描述的主题和功能操作的实施例可以在数字电子电路中、在有形体现的计算机软件或固件中、在计算机硬件(包括在本说明书中公开的结构及其结构等同物)中或者在它们的一个或多个的组合实现。在本说明书中描述的主题的实施例可以被实现为一个或多个计算机程序，即，编码在有形非暂时性程序载体上的计算机程序指令的一个或多个模块，用于由数据处理装置执行或控制数据处理装置的操作。替选地或另外地，程序指令可以被编码在人工生成的传播信号上，例如机器生成的电、光或电磁信号，其被生成以编码信息以用于传输到合适的接收机设备，以由数据处理装置执行。计算机存储介质可以是机器可读存储设备、机器可读存储基板、随机或串行存取存储器设备或它们中的一个或多个的组合。
术语“数据处理装置”包括用于处理数据的所有种类的装置、设备和机器，例如包括可编程处理器、计算机或多个处理器或计算机。该装置可以包括专用逻辑电路，例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)。除硬件之外，该装置还可以包括创建用于所涉及的计算机程序的执行环境的代码，例如构成处理器固件、协议栈、数据库管理系统、操作系统或它们中的一个或多个的组合的代码。
计算机程序(也可被称为或描述为程序、软件、软件应用、模块、软件模块、脚本或代码)可以以任何形式的编程语言编写，包括编译或解释语言或声明性或过程性语言，并且其可以以任何形式部署，包括作为独立程序或作为适于在计算环境中使用的模块、组件、子例程或其他单元。计算机程序可以但不需要对应于文件系统中的文件。程序可以存储在保存其他程序或数据的文件的一部分中，例如存储在标记语言文档中、存储在专用于所涉及的程序的单个文件中或者存储在多个协同文件(例如，存储一个或多个模块、子程序或代码部分的文件)中的一个或多个脚本。计算机程序可以被部署为在一个计算机上或在位于一个地点或分布在多个地点并通过通信网络互连的多个计算机上执行。
本说明书中描述的过程和逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程计算机执行，以通过对输入数据进行操作并生成输出来执行功能。过程和逻辑流程也可以由专用逻辑电路(例如，FPGA(现场可编程门阵列)或ASIC(专用集成电路))来执行，并且装置也可以实现为该专用逻辑电路。
适合于执行计算机程序的计算机包括，例如可以基于通用或专用微处理器或两者或任何其它类型的中央处理单元。通常，中央处理单元将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是用于执行或实施指令的中央处理单元和用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括用于存储数据的一个或多个大容量存储设备，例如磁盘、磁光盘或光盘，或者可操作地耦合以从其接收数据或向其传送数据或两者。然而，计算机不需要具有这样的设备。此外，计算机可以嵌入在另一设备中，例如移动电话、个人数字助理(PDA)、移动音频或视频播放器、游戏控制台、全球定位系统(GPS)接收器或便携式存储设备，例如，通用串行总线(USB)闪存驱动器，这里仅举几个例子。适于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，包括例如半导体存储器设备，例如EPROM、EEPROM和闪存设备；磁盘，例如内部硬盘或可移动盘；磁光盘；以及CD-ROM和DVD-ROM盘。处理器和存储器可以由专用逻辑电路补充或并入专用逻辑电路中。
为了提供与用户的交互，本说明书中描述的主题的实施例可以实现在计算机上，该计算机具有：显示设备(例如，CRT(阴极射线管)或LCD(液晶显示器)监视器)，用于向用户显示信息和键盘；以及，指示设备，例如鼠标或轨迹球，用户可以通过该指示设备向计算机提供输入。其他类型的设备也可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的感觉反馈，例如视觉反馈、听觉反馈或触觉反馈；并且可以以任何形式接收来自用户的输入，该任何形式包括声音、语音或触觉输入。另外，计算机可以通过下述方式与用户交互：向用户使用的设备发送文档和从用户使用的设备接收文档；例如，通过响应于从用户的客户端设备上的web浏览器接收的请求，将网页发送到该web浏览器。
在本说明书中描述的主题的实施例可以实现在计算系统中，该计算系统包括诸如作为数据服务器的后端组件，或者包括诸如应用服务器的中间件组件，或者包括诸如具有图形用户界面或Web浏览器的客户端计算机的前端组件，或者包括一个或多个这样的后端、中间件或前端组件的任何组合，用户可以通过该Web浏览器与本说明书中描述的主题的实现交互。系统的组件可以通过任何形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)和诸如因特网的广域网(“WAN”)。
计算系统可以包括客户端和服务器。客户端和服务器通常彼此远离并且通常通过通信网络交互。客户端和服务器的关系借助于在相应计算机上运行并且彼此具有客户端-服务器关系的计算机程序而产生。
虽然本说明书包含许多具体实施细节，但是这些不应被解释为对任何发明的范围或对所要求保护内容的范围的限制，而是作为可以对特定发明的特定实施例特定的特征的描述。在本说明书中在单独实施例的上下文中描述的某些特征也可以在单个实施例中组合实现。相反，在单个实施例的上下文中描述的各种特征也可以在多个实施例中单独地或以任何合适的子组合来实现。此外，虽然特征可以在上面描述为在某些组合中起作用并且甚至最初如此要求保护，但是来自所要求保护的组合的一个或多个特征在一些情况下可以从组合中删除，并且所要求保护的组合可以涉及子组合或子组合的变体。
类似地，虽然在附图中以特定顺序描绘了操作，但是这不应被理解为要求这些操作以所示的特定顺序或以顺序次序执行，或者所有所示的操作被执行，以实现期望的结果。在某些情况下，多任务和并行处理可能是有利的。此外，上述实施例中的各种系统模块和组件的分离不应被理解为在所有实施例中都需要这样的分离，并且应当理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中，或者封装成多个软件产品。
已经描述了主题的特定实施例。其他实施例在所附权利要求的范围内。例如，权利要求中所述的动作可以以不同的顺序执行并且仍然实现期望的结果。作为一个示例，附图中描绘的过程不一定需要所示的特定顺序或顺序，以实现期望的结果。在某些实施方式中，多任务和并行处理可以是有利的。

Claims (25)

1.一种系统，包括：
由一个或多个计算机实现的共享编码器神经网络，其中，所述共享编码器神经网络被配置为：
从目标域接收输入图像；以及
处理所述输入图像以生成所述输入图像的特征的共享特征表示，所述特征在来自所述目标域的图像和来自不同于所述目标域的源域的图像之间共享；以及
由所述一个或多个计算机实现的分类器神经网络，其中，所述分类器神经网络被配置为：
接收所述共享特征表示；以及
处理所述共享特征表示以生成表征所述输入图像的所述输入图像的网络输出。
2.根据权利要求1所述的系统，其中，来自所述目标域的图像具有与来自所述源域的图像的图像不同的低级图像统计。
3.根据权利要求1或2中的任一项所述的系统，其中，所述网络输出是对象分类输出。
4.根据权利要求1或2中的任一项所述的系统，其中，所述网络输出是姿势估计输出。
5.根据权利要求1-4中的任一项所述的系统，其中，分类器神经网络已经在来自所述源域的标记图像上进行了训练。
6.根据权利要求1-5中的任一项所述的系统，其中，所述共享编码器神经网络已经被训练以生成来自所述目标域的输入图像的共享特征表示，所述共享特征表示类似于来自所述源域的输入图像的共享特征表示。
7.根据权利要求6所述的系统，其中，所述共享编码器神经网络已被训练以生成来自所述目标域的输入图像的共享特征表示，所述共享特征表示不同于由特定于所述目标域的私有目标编码器神经网络生成的来自所述目标域的相同输入图像的私有特征表示。
8.根据权利要求7所述的系统，其中，所述共享编码器神经网络已被训练以生成来自所述源域的输入图像的共享特征表示，所述共享特征表示不同于由特定于所述源域的私有源编码器神经网络生成的来自所述源域的相同输入图像的私有特征表示。
9.根据权利要求8所述的系统，其中，所述共享编码器神经网络已被训练以生成来自所述目标域的输入图像的共享特征表示，所述共享特征表示在与由所述私有目标编码器神经网络生成的相同输入图像的私有特征表示组合时能够用于通过共享解码器神经网络精确地重构所述输入图像。
10.根据权利要求9所述的系统，其中，所述共享编码器神经网络已被训练以生成来自所述源域的输入图像的共享特征表示，所述共享特征表示在与由所述私有源编码器神经网络生成的相同输入图像的私有特征表示组合时能够用于通过所述共享解码器神经网络精确地重构所述输入图像。
11.根据权利要求10所述的系统，其中，所述共享编码器神经网络、所述私有源编码器神经网络和所述私有目标编码器神经网络是具有相同架构但不同参数值的卷积神经网络。
12.根据权利要求1-11中的任一项所述的系统，其中，所述分类器神经网络是完全连接的神经网络。
13.一种编码有指令的计算机存储介质，所述指令在由一个或多个计算机执行时使所述一个或多个计算机实现权利要求1-12中的任一项所述的系统。
14.一种由一个或多个计算机执行的方法，所述方法包括：
从目标域接收输入图像；
使用共享编码器神经网络处理来自所述目标域的所述输入图像，其中，所述共享编码器神经网络被配置为：
从所述目标域接收所述输入图像；以及
处理所述输入图像以生成所述输入图像的特征的共享特征表示，所述特征在来自所述目标域的图像和来自不同于所述目标域的源域的图像之间共享；以及
使用分类器神经网络处理来自所述目标域的所述输入图像，其中，所述分类器神经网络被配置为：
接收所述共享特征表示；以及
处理所述共享特征表示以生成表征所述输入图像的所述输入图像的网络输出。
15.根据权利要求14所述的方法，其中，来自所述目标域的图像具有与来自所述源域的图像的图像不同的低级图像统计。
16.根据权利要求14或15中的任一项所述的方法，其中，所述网络输出是对象分类输出。
17.根据权利要求14或15中的任一项所述的方法，其中，所述网络输出是姿势估计输出。
18.根据权利要求14-17中的任一项所述的方法，其中，分类器神经网络已经在来自所述源域的标记图像上进行了训练。
19.根据权利要求14-18中的任一项所述的方法，其中，所述共享编码器神经网络已经被训练以生成来自所述目标域的输入图像的共享特征表示，所述共享特征表示类似于来自所述源域的输入图像的共享特征表示。
20.根据权利要求19所述的方法，其中，所述共享编码器神经网络已被训练以生成来自所述目标域的输入图像的共享特征表示，所述共享特征表示不同于由特定于所述目标域的私有目标编码器神经网络生成的来自所述目标域的相同输入图像的私有特征表示。
21.根据权利要求20所述的方法，其中，所述共享编码器神经网络已被训练以生成来自所述源域的输入图像的共享特征表示，所述共享特征表示不同于由特定于所述源域的私有源编码器神经网络生成的来自所述源域的相同输入图像的私有特征表示。
22.根据权利要求21所述的方法，其中，所述共享编码器神经网络已被训练以生成来自所述目标域的输入图像的共享特征表示，所述共享特征表示在与由所述私有目标编码器神经网络生成的相同输入图像的私有特征表示组合时能够用于通过共享解码器神经网络精确地重构所述输入图像。
23.根据权利要求22所述的方法，其中，所述共享编码器神经网络已被训练以生成来自所述源域的输入图像的共享特征表示，所述共享特征表示在与由所述私有源编码器神经网络生成的相同输入图像的私有特征表示组合时能够用于通过所述共享解码器神经网络精确地重构所述输入图像。
24.根据权利要求23所述的方法，其中，所述共享编码器神经网络、所述私有源编码器神经网络和所述私有目标编码器神经网络是具有相同架构但不同参数值的卷积神经网络。
25.根据权利要求14-24中的任一项所述的方法，其中，所述分类器神经网络是完全连接的神经网络。
CN201680088052.6A 2016-07-28 2016-07-28 域分离神经网络 Active CN109643383B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/GR2016/000035 WO2018020277A1 (en) 2016-07-28 2016-07-28 Domain separation neural networks

Publications (2)

Publication Number Publication Date
CN109643383A true CN109643383A (zh) 2019-04-16
CN109643383B CN109643383B (zh) 2023-09-01

Family

ID=56842965

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680088052.6A Active CN109643383B (zh) 2016-07-28 2016-07-28 域分离神经网络

Country Status (6)

Country Link
US (2) US10970589B2 (zh)
EP (1) EP3475879A1 (zh)
JP (1) JP6771645B2 (zh)
KR (1) KR102318772B1 (zh)
CN (1) CN109643383B (zh)
WO (1) WO2018020277A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112270208A (zh) * 2020-09-28 2021-01-26 天津大学 一种基于特征子空间分离的交叉数据域微表情分类方法
CN112767368A (zh) * 2021-01-25 2021-05-07 京科互联科技(山东)有限公司 一种基于域自适应的跨域医疗图像分类系统及分类方法

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180107791A1 (en) * 2016-10-17 2018-04-19 International Business Machines Corporation Cohort detection from multimodal data and machine learning
US10529088B2 (en) 2016-12-02 2020-01-07 Gabriel Fine Automatically determining orientation and position of medically invasive devices via image processing
US10832166B2 (en) * 2016-12-20 2020-11-10 Conduent Business Services, Llc Method and system for text classification based on learning of transferable feature representations from a source domain
US11200459B1 (en) * 2017-10-10 2021-12-14 Snap Inc. Adversarial network for transfer learning
WO2019146057A1 (ja) * 2018-01-26 2019-08-01 株式会社ソニー・インタラクティブエンタテインメント 学習装置、実写画像分類装置の生成システム、実写画像分類装置の生成装置、学習方法及びプログラム
CN108460415B (zh) * 2018-02-28 2021-06-15 国信优易数据股份有限公司 一种语种识别方法
JP7063052B2 (ja) * 2018-03-28 2022-05-09 富士通株式会社 適合度算出プログラム、適合度算出方法、適合度算出装置、識別プログラム、識別方法及び識別装置
JP6893194B2 (ja) * 2018-05-28 2021-06-23 日本電信電話株式会社 モデル学習装置、モデル学習方法、及びプログラム
US10915792B2 (en) * 2018-09-06 2021-02-09 Nec Corporation Domain adaptation for instance detection and segmentation
US11640519B2 (en) * 2018-10-31 2023-05-02 Sony Interactive Entertainment Inc. Systems and methods for domain adaptation in neural networks using cross-domain batch normalization
CN109523526B (zh) * 2018-11-08 2021-10-22 腾讯科技（深圳）有限公司 组织结节检测及其模型训练方法、装置、设备和系统
US11222210B2 (en) * 2018-11-13 2022-01-11 Nec Corporation Attention and warping based domain adaptation for videos
EP3654245A1 (en) * 2018-11-13 2020-05-20 Nokia Technologies Oy Method and apparatus for processing sensor data
CN109523532B (zh) * 2018-11-13 2022-05-03 腾讯医疗健康(深圳)有限公司 图像处理方法、装置、计算机可读介质及电子设备
US11188795B1 (en) * 2018-11-14 2021-11-30 Apple Inc. Domain adaptation using probability distribution distance
KR20200075344A (ko) * 2018-12-18 2020-06-26 삼성전자주식회사 검출기, 객체 검출 방법, 학습기 및 도메인 변환을 위한 학습 방법
JP7230521B2 (ja) * 2019-01-17 2023-03-01 富士通株式会社 学習方法、学習プログラムおよび学習装置
JP7172677B2 (ja) * 2019-02-05 2022-11-16 富士通株式会社 学習方法、学習プログラムおよび学習装置
US11120526B1 (en) * 2019-04-05 2021-09-14 Snap Inc. Deep feature generative adversarial neural networks
CN110197183B (zh) * 2019-04-17 2022-10-04 深圳大学 一种图像盲去噪的方法、装置、计算机设备和存储介质
WO2020255260A1 (ja) * 2019-06-18 2020-12-24 日本電信電話株式会社 一般化データ生成装置、推定装置、一般化データ生成方法、推定方法、一般化データ生成プログラム、及び推定プログラム
EP3767536A1 (en) * 2019-07-17 2021-01-20 Naver Corporation Latent code for unsupervised domain adaptation
CN110689558B (zh) * 2019-09-30 2022-07-22 清华大学 多传感器图像增强方法及装置
JP7166738B2 (ja) * 2019-10-15 2022-11-08 Kddi株式会社 情報処理装置、情報処理方法、及びプログラム
KR102345996B1 (ko) * 2019-10-29 2021-12-30 연세대학교 산학협력단 동적 객체 검출 장치 및 방법
US20210150347A1 (en) * 2019-11-14 2021-05-20 Qualcomm Incorporated Guided training of machine learning models with convolution layer feature data fusion
KR20210074748A (ko) * 2019-12-12 2021-06-22 삼성전자주식회사 도메인 적응에 기반한 네트워크의 트레이닝 방법, 동작 방법 및 동작 장치
US11468294B2 (en) * 2020-02-21 2022-10-11 Adobe Inc. Projecting images to a generative model based on gradient-free latent vector determination
CN113496237A (zh) * 2020-03-20 2021-10-12 商汤集团有限公司 域适应神经网络训练和交通环境图像处理方法及装置
KR20210129874A (ko) 2020-04-21 2021-10-29 한국전자통신연구원 촬영 영상 데이터의 분석을 위한 모델 학습 장치 및 방법, 그리고 이를 적용한 지능형 영상 촬영 장치
CN111524521B (zh) * 2020-04-22 2023-08-08 北京小米松果电子有限公司 声纹提取模型训练方法和声纹识别方法、及其装置和介质
GB202016824D0 (en) 2020-10-23 2020-12-09 Deep Render Ltd DR big book 3
JP7391784B2 (ja) 2020-07-06 2023-12-05 株式会社東芝 情報処理装置、情報処理方法およびプログラム
KR102595207B1 (ko) * 2021-01-11 2023-10-26 연세대학교 산학협력단 컨텐츠 전달을 이용한 도메인 적응에서의 클래스 불균형 해결 장치 및 방법
CN112946567B (zh) * 2021-01-26 2023-05-02 西安电子科技大学 基于域对抗神经网络的运动目标指纹室内定位方法
KR102641500B1 (ko) * 2021-10-06 2024-02-27 서울대학교산학협력단 비지도 도메인 적응 장치 및 방법
KR20230090648A (ko) * 2021-12-15 2023-06-22 연세대학교 산학협력단 메모리를 이용하는 의미론적 영상 분할 장치 및 방법
CN117078983B (zh) * 2023-10-16 2023-12-29 安徽启新明智科技有限公司 图像匹配方法、装置、设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104318214A (zh) * 2014-10-27 2015-01-28 中国科学院自动化研究所 一种基于结构化词典域转移的交叉视角人脸识别方法
CN104933722A (zh) * 2015-06-29 2015-09-23 电子科技大学 一种基于Spiking-卷积网络模型的图像边缘检测方法
CN105159890A (zh) * 2014-06-06 2015-12-16 谷歌公司 使用神经网络产生输入序列的表示
CN105719000A (zh) * 2016-01-21 2016-06-29 广西师范大学 一种神经元硬件结构及用这种结构模拟脉冲神经网络的方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9158971B2 (en) * 2014-03-03 2015-10-13 Xerox Corporation Self-learning object detectors for unlabeled videos using multi-task learning
US9922272B2 (en) 2014-09-25 2018-03-20 Siemens Healthcare Gmbh Deep similarity learning for multimodal medical images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105159890A (zh) * 2014-06-06 2015-12-16 谷歌公司 使用神经网络产生输入序列的表示
CN104318214A (zh) * 2014-10-27 2015-01-28 中国科学院自动化研究所 一种基于结构化词典域转移的交叉视角人脸识别方法
CN104933722A (zh) * 2015-06-29 2015-09-23 电子科技大学 一种基于Spiking-卷积网络模型的图像边缘检测方法
CN105719000A (zh) * 2016-01-21 2016-06-29 广西师范大学 一种神经元硬件结构及用这种结构模拟脉冲神经网络的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MAXIME OQUAB ET AL.: "Learning and Transferring Mid-level Image Representations Using Convolutional Neural Networks", 《2014 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112270208A (zh) * 2020-09-28 2021-01-26 天津大学 一种基于特征子空间分离的交叉数据域微表情分类方法
CN112270208B (zh) * 2020-09-28 2023-07-07 天津大学 一种基于特征子空间分离的交叉数据域微表情分类方法
CN112767368A (zh) * 2021-01-25 2021-05-07 京科互联科技(山东)有限公司 一种基于域自适应的跨域医疗图像分类系统及分类方法

Also Published As

Publication number Publication date
US20190180136A1 (en) 2019-06-13
KR102318772B1 (ko) 2021-10-28
JP6771645B2 (ja) 2020-10-21
JP2019523504A (ja) 2019-08-22
EP3475879A1 (en) 2019-05-01
WO2018020277A1 (en) 2018-02-01
KR20190031318A (ko) 2019-03-25
US20210224573A1 (en) 2021-07-22
CN109643383B (zh) 2023-09-01
US10970589B2 (en) 2021-04-06
US11361531B2 (en) 2022-06-14

Similar Documents

Publication Publication Date Title
CN109643383A (zh) 域分离神经网络
CN110084874B (zh) 对于三维模型的图像风格迁移
US11966839B2 (en) Auto-regressive neural network systems with a soft attention mechanism using support data patches
CN110226172A (zh) 将源域图像变换为目标域图像
CN110062934A (zh) 使用神经网络确定图像中的结构和运动
CN111340214B (zh) 对抗攻击模型的训练方法及装置
Liu et al. Spatiotemporal attacks for embodied agents
US20190228495A1 (en) Learning robotic tasks using one or more neural networks
US20210335039A1 (en) Template based generation of 3d object meshes from 2d images
US9684996B2 (en) Rendering global light transport in real-time using machine learning
CN109726813A (zh) 任务的强化和模仿学习
CN109690576A (zh) 在多个机器学习任务上训练机器学习模型
CN110520871A (zh) 训练机器学习模型
CN110168574A (zh) 中间强化学习目标的无监督的检测
CN110383298A (zh) 用于连续控制任务的数据高效强化学习
US8531464B1 (en) Simulating skin deformation relative to a muscle
CN110383299A (zh) 记忆增强的生成时间模型
CN109983480A (zh) 使用聚类损失训练神经网络
US11453121B2 (en) Mirror loss neural networks
CN111931067A (zh) 兴趣点推荐方法、装置、设备和介质
CN109155005A (zh) 使用伪计数的增强学习
CN110447041A (zh) 噪声神经网络层
CN110235149A (zh) 神经情节控制
CN113554653A (zh) 基于互信息校准点云数据长尾分布的语义分割方法
CN115953524B (zh) 一种数据处理方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant