CN108875928B - 多输出回归网络及学习方法 - Google Patents

多输出回归网络及学习方法 Download PDF

Info

Publication number
CN108875928B
CN108875928B CN201710338088.1A CN201710338088A CN108875928B CN 108875928 B CN108875928 B CN 108875928B CN 201710338088 A CN201710338088 A CN 201710338088A CN 108875928 B CN108875928 B CN 108875928B
Authority
CN
China
Prior art keywords
mapping
output
input
linear
nodes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710338088.1A
Other languages
English (en)
Other versions
CN108875928A (zh
Inventor
张磊
甄先通
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Petrochemical Technology
Original Assignee
Guangdong University of Petrochemical Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Petrochemical Technology filed Critical Guangdong University of Petrochemical Technology
Priority to CN201710338088.1A priority Critical patent/CN108875928B/zh
Publication of CN108875928A publication Critical patent/CN108875928A/zh
Application granted granted Critical
Publication of CN108875928B publication Critical patent/CN108875928B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了用于学习输入‑输出关系的多输出回归网络、一种基于多输出回归网络的学习输入‑输出关系的方法以及计算机可读存储介质。该多输出回归网络包括：多个输入节点，用于接收输入数据(xi)；多个中间节点，其与所述多个输入节点之间形成非线性网络层，所述非线性网络层通过非线性映射将所述输入数据(xi)映射到所述多个中间节点，所述多个中间节点对经过非线性映射的输入数据(xi)施加预定函数；和多个输出节点，其与所述多个中间节点之间形成线性网络层，所述线性网络层通过线性映射将施加了所述预定函数的输入数据(xi)映射到所述多个输出节点，作为输出数据(yi)进行输出；其中，所述多输出回归网络通过在给定所述输入数据(xi)和所述输出数据(yi)的条件下对所述非线性映射的映射参数(W)和所述线性映射的映射参数(S)进行联合优化，学习所述输入数据(xi)与所述输出数据(yi)之间的关系。

Description

多输出回归网络及学习方法
技术领域
本发明涉及机器学习领域，尤其涉及一种用于学习输入-输出关系的多输出回归网络，以及一种输入-输出关系学习方法。
背景技术
随着深度学习的爆发，神经网络再次成为人们关注的热点。在机器学习和数据挖掘领域，目前采用核近似方法、多输出回归模型来刻画输入-输出的关系。
核近似方法是在勃赫纳定理基础上寻找一个映射函数，其恰好和一个平移不变的核函数对应。核近似方法的基本原理认为一个正定的、平移不变的核函数是一个分布的傅立叶变换，通过该对傅立叶变换的基函数分解，可以近似将映射函数表示成参数ω上随机采样的D个样本点[ω1,…,ωD]和x内积的余弦表示，其中bi为相位偏移，可以设定为0。具体如下：
Figure BDA0001294459420000011
但是，在式(1)中，核近似中的参数ωi是和输入数据本身无关的，随机选取而得，因此一般为了达到较好的近似效果，维度D一般选择较大。另外，核近似中的参数ωi是无监督得到的，因此其可区分性不能得到保障。
多输出回归模型需要描述的是输入-输出之间的关系，以及多输出之间的相关性。目前多输出回归模型在刻画输入-输出关系时，主要采用线性回归模型。而对多输出之间内在关系刻画上，主要基于某些先验知识的相关假设的模型。
在线性回归模型中，一般对回归系数加入低秩或者稀疏的限定以获得多输出之间关系。然而，在很多实际应用中，输入一般是底层的特征，而输出一般是具有语义层面的信息，它们之间多是一种复杂的非线性关系，用线性模型刻画输入-输出之间的关系存在局限性。
在基于先验知识的相关假设模型中，一般认为回归系数存在一个低维的流形空间或者共享一个线性子空间。然而，在多数实际应用中，基于先验知识的相关假设模型中，其回归系数存在一个低维的流形空间的假设并不成立，并且在不同应用中，也不能保证可以共享一个线性子空间，这两点大大限制了该方法在实际数据中的应用，这种特殊假设会严重影响系统性能。而且，线性回归模型不能很好地处理输入与输出之间的非线性关系。
发明内容
本发明提供了一种用于学习输入-输出关系的多输出回归网络，以及一种输入-输出关系学习方法。
本发明的一方面提供了一种用于学习输入-输出关系的多输出回归网络，包括：多个输入节点，用于接收输入数据(xi)；多个中间节点，其与所述多个输入节点之间形成非线性网络层，所述非线性网络层通过非线性映射将所述输入数据(xi)映射到所述多个中间节点，所述多个中间节点对经过非线性映射的输入数据(xi)施加预定函数；和多个输出节点，其与所述多个中间节点之间形成线性网络层，所述线性网络层通过线性映射将施加了所述预定函数的输入数据(xi)映射到所述多个输出节点，作为输出数据(yi)进行输出；其中，所述多输出回归网络通过在给定所述输入数据(xi)和所述输出数据(yi)的条件下对所述非线性映射的映射参数(W)和所述线性映射的映射参数(S)进行联合优化，学习所述输入数据(xi)与所述输出数据(yi)之间的关系。
优选地，所述预定函数处理为余弦函数。
优选地，在进行所述联合优化时，对所述非线性映射的映射参数(W)施加了稀疏限定，对所述线性映射的映射参数(S)施加了低秩限定。
优选地，利用以下联合优化目标函数执行所述联合优化：
Figure BDA0001294459420000031
其中，D为所述中间节点的数量，N为样本数量，||·||2,1表示所述稀疏限定，||·||*表示所述低秩限定，||·||F表示F范数归一化。
优选地，通过迭代更新，确定使所述联合优化目标函数收敛的所述非线性映射的映射参数(W)和所述线性映射的映射参数(S)的优化值，进而学习所述输入数据(xi)与所述输出数据(yi)之间的关系。
本发明的另一方面提供了一种基于多输出回归网络的学习输入-输出关系的方法，所述多输出回归网络包括：多个输入节点，用于接收输入数据(xi)；多个中间节点，其与所述多个输入节点之间形成非线性网络层，所述非线性网络层通过非线性映射将所述输入数据(xi)映射到所述多个中间节点，所述多个中间节点对经过非线性映射的输入数据(xi)施加预定函数；多个输出节点，其与所述多个中间节点之间形成线性网络层，所述线性网络层通过线性映射将施加了所述预定函数的输入数据(xi)映射到所述多个输出节点，作为输出数据(yi)进行输出；其中，所述方法包括以下步骤：给定所述输入数据(xi)和所述输出数据(yi)；对所述非线性映射的映射参数(W)和所述线性映射的映射参数(S)进行联合优化；学习所述输入数据(xi)与所述输出数据(yi)之间的关系。
本发明的另一方面提供了一种计算机可读存储介质，其存储有程序，所述程序被处理器执行时可控制包括多个输入节点、多个中间节点和多个输出节点的多输出回归网络，所述多个输入节点用于接收输入数据(xi)，所述多个中间节点与所述多个输入节点之间形成非线性网络层，所述非线性网络层通过非线性映射将所述输入数据(xi)映射到所述多个中间节点，所述多个中间节点对经过非线性映射的输入数据(xi)施加预定函数，所述多个输出节点与所述多个中间节点之间形成线性网络层，所述线性网络层通过线性映射将施加了所述预定函数的输入数据(xi)映射到所述多个输出节点，作为输出数据(yi)进行输出，所述程序被处理器执行时控制所述多输出回归网络实现以下步骤：通过在给定所述输入数据(xi)和所述输出数据(yi)的条件下对所述非线性映射的映射参数(W)和所述线性映射的映射参数(S)进行联合优化，学习所述输入数据(xi)与所述输出数据(yi)之间的关系。
本发明的多输出回归网络对输入-多输出之间的非线性映射关系和多输出之间结构信息的表示进行了联合优化。第一层网络主要利用余弦激活函数来解决非线性映射关系和利用稀疏限定实现特征选择功能；第二层网络主要用低秩限定来实现节点共享的输出结构关系刻画。
本发明中采用的余弦激活函数与核近似方法中的傅立叶随机特征最大的区别在于：1)核近似中的参数ωi是和输入数据本身无关的，随机选取而得，因此一般为了达到较好的近似效果，维度D一般选择较大；而本发明中参数ω的数值是和输入数据紧密相关的，并且在稀疏限定条件下，可以在保持较小维度的前提下得到较好的效果；2)核近似中的参数ωi是无监督得到的，因此其可区分性不能得到保障；而本发明中的参数ω是在有监督情况下学习得到，并且和第二层网络联合学习得到参数ω，使其在保证第二层网络低秩的紧致结构的前提下保持最大的可区分性。
另外，本发明两层的紧致网络结构将非线性的输入-输出关系以及线性的多输出之间结构关系进行了完美结合。
本发明通过两层的网络结构，将稀疏限定和低秩限定进行了完美结合，在稀疏限定中体现了特征选择的重要性，而在低秩限定中体现了输出的多节点之间共享特性，将这两种限定条件结合到对多输出回归问题的优化中，对系统性能有明显提升。
附图说明
图1是本发明的用于学习输入-输出关系的多输出回归网络的结构。
图2是本发明的基于多输出回归网络的学习输入-输出关系的方法的流程图。
图3是本发明的基于多输出回归网络的学习输入-输出关系的方法的一个实施例的流程图。
图4是本发明的学习方法在人脸标定应用中的测试结果。
图5是本发明的学习方法在人脸标定应用中的测试结果。
图6是本发明的学习方法在人脸标定应用中的测试结果。
具体实施方式
为使本领域技术人员更好地理解本发明的技术方案，下面结合附图和具体实施方式对本发明提供的用于学习输入-输出关系的多输出回归网络以及输入-输出关系学习方法进行详细描述。在这些附图中，对于相同或者相当的构成要素，标注相同标号。以下仅为本发明的用于学习输入-输出关系的多输出回归网络以及输入-输出关系学习方法的最佳实施方式，本发明并不仅限于下述结构。
下面参照图1说明本发明的用于学习输入-输出关系的多输出回归网络。
如图1所示，本发明的用于学习输入-输出关系的多输出回归网络10是由输入节点NI、中间节点NM、输出节点NO构成的两层网络。
在多输出回归网络10中，输入节点NI用于接收输入数据(xi)，输入节点NI的数量和输入数据(xi)的维度一致。在图1中，输入节点NI的数量为d。
中间节点NM与输入节点NI之间形成非线性网络层L1。非线性网络层L1通过非线性映射将输入数据(xi)从输入节点NI映射到中间节点NM。在这里的非线性映射中，映射参数设为W。中间节点NM对经过非线性映射的输入数据(xi)施加预定函数。
在图1中，该预定函数为余弦函数。余弦函数作为激活函数，可以充分挖掘输入和输出之间的非线性关系。
输出节点NO与中间节点NM之间形成了线性网络层L2。线性网络层L2通过线性映射将施加了预定函数的输入数据(xi)映射到输出节点NO，作为输出数据(yi)进行输出。
本发明的多输出回归网络10通过在给定输入数据(xi)和输出数据(yi)的条件下对非线性映射的映射参数W和线性映射的映射参数S进行联合优化，学习输入数据(xi)与输出数据(yi)之间的关系。
非线性网络层L1利用余弦激活函数解决非线性映射关系，并利用稀疏限定实现特征选择功能。线性网络层L2利用低秩限定实现节点共享的输出结构关系刻画。也就是说，在进行联合优化时，对非线性映射的映射参数W施加了稀疏限定，对线性映射的映射参数S施加了低秩限定。
由于在非线性网络层L1中加入了稀疏限定，因此中间节点NM的数量应该大于输入节点NI的数量，具体数值可以通过实际数据的交叉验证得到。输入节点NI的数量和训练数据的多少相关。一般而言，训练数据足够充足的条件下，中间节点NM的数据增加，稀疏性会体现得明显。因此非线性网络层L1实际是一个稀疏网络。
从中间节点NM到输出节点NO满足线性关系，其中每个输出节点NO对应一个多输出的数值。输出节点NO的数量由实际的应用决定，一般中间节点NM的数量要大于输出节点NO的数量，加上低秩和F范数归一化的限定，因此线性网络层L2实际是一个MEN(Matrix ElasticNet)网络。
在本发明的多输出回归网络中，对非线性网络层L1和线性网络层L2的映射参数进行联合优化，其中联合优化目标函数如下：
Figure BDA0001294459420000061
其中xi表示输出数据，yi表示对应输出数据，W表示非线性网络层L1的映射参数，S表示线性网络层L2的映射参数。
在式(2)中，对非线性网络层L1进行优化时加入了||·||2,1限定条件，在解决稀疏限定的同时满足了顽健性需求。余弦激活函数可以充分挖掘输入和输出之间的非线性关系。对线性网络层L2的输入是非线性网络层L1施加余弦激活函数的输出，其和映射参数S之间是线性关系，但是在约束条件中加入了低秩的限定||·||*和F范数归一化||·||F。
下面结合图2和3说明本发明的基于多输出回归网络的学习输入-输出关系的方法的细节。
图2是本发明的基于多输出回归网络的学习输入-输出关系的方法的流程图。
在本发明的学习方法中，首先给定多输出回归网络的输入数据和输出数据(步骤S202)。
然后，对非线性网络层L1的映射参数W和线性网络层L2的映射参数S进行联合优化(步骤S204)。通过优化结果，学习输入数据与输出数据之间的关系(步骤S206)。
下面结合图3更详细地说明映射参数W和映射参数S的联合优化。
图3是本发明的基于多输出回归网络的学习输入-输出关系的方法的一个实施例的流程图。
如图3所示，在该实施例中，首先随机选择本发明的多输出回归网络的映射参数W和映射参数S(步骤S302)。
然后，给定本发明的多输出回归网络的输入数据和输出数据(步骤S304)。
在给定输入数据和输出数据的条件下，分别计算上述联合优化目标函数的梯度G(W)和G(S)(步骤S306)。
其中，G(W)的计算方法可以为：
Figure BDA0001294459420000071
其中O为对角阵
Figure BDA0001294459420000072
G(S)的计算方法可以为：
Figure BDA0001294459420000073
其中，V为对S进行SVD分解的右奇异矩阵，U为对S进行SVD分解的左奇异矩阵，Σ为奇异值矩阵。
S＝UΣVT (6)
然后，迭代更新映射参数W和S的值(步骤S308)。
例如，可以如下进行迭代更新：
Wt+1＝Wt-ηW×G(Wt) (7)
St+1＝St-ηS×G(St) (8)
其中，迭代次数t为从1开始的自然数，ηW是W的更新步长，ηS是S的更新步长。ηW和ηS可以采用线性搜索方式自适应确定。
然后，判断上述联合优化目标函数是否收敛(步骤S310)。
如果在步骤S310中判定为否，即上述联合优化目标函数不收敛，则继续进行映射参数W和S的迭代更新(步骤S308)，直到联合优化目标函数收敛为止。
然后，在联合优化目标函数收敛的条件下，确定本发明的多输出回归网络的映射参数W和S(步骤S312)。
至此，通过本发明的上述学习方法，可以得到本发明的多输出回归网络的映射参数W和S。获得了映射参数W和S，就可以确定本发明的多输出回归网络的输入-输出关系。
下面结合图4-6来说明本发明的多输出回归网络及学习方法的应用实例。
图4-6是本发明的学习方法在人脸标定应用中的测试结果。
具体地，图4是本发明的学习方法针对CelebA数据库的部分人脸标注结果，CelebA是一个公开的人脸数据库，其中标注点为5个，包括两个眼睛、鼻子和两个嘴角的位置。
图5是本发明的学习方法针对AFLW数据库的部分人脸标注结果，AFLW是另一个公开的人脸数据库，其中标注点为19个，包括每个眼眉、每个眼睛和鼻子、嘴各3个标注点以及1个下巴的标注点。
图6是本发明的学习方法针对300W数据库的部分人脸标注结果，300W是另一个公开的人脸数据库，其中标注点为68个，包括脸的轮廓、眉的轮廓和眼周围的轮廓信息以及鼻梁和嘴的轮廓信息，是目前标注点最多的一个数据库。
通过将本发明的多输出回归网络及学习方法应用于上述数据库进行人脸标定测试，可以证明本发明的多输出回归网络在学习输入-输出关系过程中的有效性。
上述测试可以分为两个阶段：学习阶段和预测阶段。
在学习阶段中，向本发明的多输出回归网络输入训练数据集合，对每一幅图像经过特征提取环节(这里特征提取可以是普通的HOG特征或者经过深度网路的特征)，将每一幅图像表示成一个特征向量，输入图1所示的输入节点，其中d表示该特征向量的维度。
在学习阶段，有输出对应的标签信息。在图4所示情形中，输出为五个点的位置信息，即5×2＝10维数据；在图5所示情形中，输出为19点的位置信息，即19×2＝38维数据；在图6所示情形中，输出为68点的位置信息，即68×2＝136维数据。
在已知输入层以及输出层的数据的前提下，对联合优化目标函数(式2)进行优化，在优化过程中选择合适的映射参数W和S，使得输入x在W和S作用下产生的输出和标定的输出y之间误差达到最小，同时W满足稀疏限定而S满足低秩限定。
下一步，在预测阶段，输入测试数据集合，对每一幅图像经过特征提取环节(这里特征提取可以是普通的HOG特征或者经过深度网路的特征)，将每一幅图像表示成一个特征向量，输入图1所示的输入节点，其中d表示该特征向量的维度。将其作为本发明的多输出回归网络的输入x，在已知映射参数W和S的前提下得到输出y。预测结果如图4-图6所示。
如图4-图6所示，本发明的多输出回归网络，通过学习所输入的人脸图片与输出的人脸标定之间的关系，确定了映射参数W和S。然后在预测阶段，将任意人脸图片输入该多输出回归网络，都可以得到令人满意的标定结果，证明了本发明的多输出回归网络及相应的学习方法的有效性。
本发明的多输出回归网络的各功能及学习方法的各个步骤可以通过程序来实现。当要实现本发明的多输出回归网络的各功能及学习方法的各个步骤时，将该程序从网络获得，或者从存储介质安装到计算机等电子设备中，由该程序执行一系列处理。
存储有该程序的计算机可读存储介质可以是与装置本体分离的、单独向使用者提供程序的可移动介质，也可以预装于装置本体的存储介质中。例如，程序可以存储在计算机可读存储介质中。
另外，作为上述计算机可读存储介质，可以采用例如CD-ROM等的光盘、DVD-ROM等相位变化型光盘、MO(Magnet Optical，磁光)或MD(Mini Disk，迷你盘)等光磁盘、软盘(注册商标)或移动硬盘等磁盘、闪存(注册商标)、智能媒体、SD存储卡、存储棒、以及通过网络连接的各种存储设备。
本发明两层的紧致网络结构将非线性的输入-输出关系以及线性的多输出之间结构关系进行了完美结合。
本发明通过两层的网络结构，将稀疏限定和低秩限定进行了完美结合，在稀疏限定中体现了特征选择的重要性，而在低秩限定中体现了输出的多节点之间共享特性，将这两种限定条件结合到对多输出回归问题的优化中，对系统性能有明显提升。
以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进。这些变型和改进也视为本发明的保护范围。

Claims (4)

1.一种用于学习输入-输出关系的多输出回归网络，对输入的人脸图像进行人脸标定，包括：
多个输入节点，用于接收输入的人脸图像数据xi，所述人脸图像数据表示成一个特征向量；
多个中间节点，其与所述多个输入节点之间形成非线性网络层，所述非线性网络层通过非线性映射将所述输入的人脸图像数据xi映射到所述多个中间节点，所述多个中间节点对经过非线性映射的人脸图像数据xi施加预定函数；和
多个输出节点，其与所述多个中间节点之间形成线性网络层，所述线性网络层通过线性映射将施加了所述预定函数的人脸图像数据xi映射到所述多个输出节点，作为输出的人脸标定数据yi进行输出；其中，
所述多输出回归网络通过在给定所述输入的人脸图像数据xi和所述输出的人脸标定数据yi的条件下对所述非线性映射的映射参数W和所述线性映射的映射参数S进行联合优化，学习所述输入的人脸图像数据xi与所述输出的人脸标定数据yi之间的关系；
在进行所述联合优化时，对所述非线性映射的映射参数W施加了稀疏限定，对所述线性映射的映射参数S施加了低秩限定；
利用以下联合优化目标函数执行所述联合优化：
Figure FDA0002825040200000011
其中，D为所述中间节点的数量，N为样本数量，||·||2,1表示所述稀疏限定，||·||*表示所述低秩限定，||·||F表示F范数归一化。
2.根据权利要求1所述的多输出回归网络，其中，所述预定函数处理为余弦函数。
3.根据权利要求1所述的多输出回归网络，其中，通过迭代更新，确定使所述联合优化目标函数收敛的所述非线性映射的映射参数W和所述线性映射的映射参数S的优化值，进而学习所述输入的人脸图像数据xi与所述输出的人脸标定数据yi之间的关系。
4.一种计算机可读存储介质，其存储有程序，对输入的人脸图像进行人脸标定，所述程序被处理器执行时可控制包括多个输入节点、多个中间节点和多个输出节点的多输出回归网络，所述多个输入节点用于接收输入的人脸图像数据xi，所述多个中间节点与所述多个输入节点之间形成非线性网络层，所述非线性网络层通过非线性映射将所述输入的人脸图像数据xi映射到所述多个中间节点，所述多个中间节点对经过非线性映射的输入的人脸图像数据xi施加预定函数，所述多个输出节点与所述多个中间节点之间形成线性网络层，所述线性网络层通过线性映射将施加了所述预定函数的输入的人脸图像数据xi映射到所述多个输出节点，作为输出的人脸标定数据yi进行输出，
所述程序被处理器执行时控制所述多输出回归网络实现以下步骤：
通过在给定所述输入的人脸图像数据xi和所述输出的人脸标定数据yi的条件下对所述非线性映射的映射参数W和所述线性映射的映射参数S进行联合优化，学习所述输入的人脸图像数据xi与所述输出的人脸标定数据yi之间的关系；
在进行所述联合优化时，对所述非线性映射的映射参数W施加了稀疏限定，对所述线性映射的映射参数S施加了低秩限定；
利用以下联合优化目标函数执行所述联合优化：
Figure FDA0002825040200000021
其中，D为所述中间节点的数量，N为样本数量，||·||2,1表示所述稀疏限定，||·||*表示所述低秩限定，||·||F表示F范数归一化。
CN201710338088.1A 2017-05-15 2017-05-15 多输出回归网络及学习方法 Active CN108875928B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710338088.1A CN108875928B (zh) 2017-05-15 2017-05-15 多输出回归网络及学习方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710338088.1A CN108875928B (zh) 2017-05-15 2017-05-15 多输出回归网络及学习方法

Publications (2)

Publication Number Publication Date
CN108875928A CN108875928A (zh) 2018-11-23
CN108875928B true CN108875928B (zh) 2021-02-26

Family

ID=64320372

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710338088.1A Active CN108875928B (zh) 2017-05-15 2017-05-15 多输出回归网络及学习方法

Country Status (1)

Country Link
CN (1) CN108875928B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101694652A (zh) * 2009-09-30 2010-04-14 西安交通大学 一种基于极速神经网络的网络资源个性化推荐方法
CN105404861A (zh) * 2015-11-13 2016-03-16 中国科学院重庆绿色智能技术研究院 人脸关键特征点检测模型的训练、检测方法及系统
CN106227705A (zh) * 2016-09-20 2016-12-14 北京邮电大学 一种数据收集的方法及装置
CN106250929A (zh) * 2016-07-29 2016-12-21 中国石油大学(华东) 弹性网络约束自解释稀疏表示分类器的设计方法
CN106326935A (zh) * 2016-08-29 2017-01-11 重庆大学 一种基于稀疏非线性子空间迁移的图像分类方法
CN106250914B (zh) * 2016-07-22 2019-07-09 华侨大学 基于结构稀疏多核学习的多模态数据特征筛选和分类方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101694652A (zh) * 2009-09-30 2010-04-14 西安交通大学 一种基于极速神经网络的网络资源个性化推荐方法
CN105404861A (zh) * 2015-11-13 2016-03-16 中国科学院重庆绿色智能技术研究院 人脸关键特征点检测模型的训练、检测方法及系统
CN106250914B (zh) * 2016-07-22 2019-07-09 华侨大学 基于结构稀疏多核学习的多模态数据特征筛选和分类方法
CN106250929A (zh) * 2016-07-29 2016-12-21 中国石油大学(华东) 弹性网络约束自解释稀疏表示分类器的设计方法
CN106326935A (zh) * 2016-08-29 2017-01-11 重庆大学 一种基于稀疏非线性子空间迁移的图像分类方法
CN106227705A (zh) * 2016-09-20 2016-12-14 北京邮电大学 一种数据收集的方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Direct and simultaneous estimation of cardiac four chamber volumes by multioutput sparse regression;Xiantong Zhen et al;《Medical Image Analysis》;20161130;全文 *
Multi-Target Regression via Robust Low-Rank Learning;XianTong Zhen et al;《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》;20170328;摘要、第1-5节、图1 *
Multitarget Sparse Latent Regression;XianTong Zhen et al;《IEEE TRANSACTIONS ON NEURAL NETWORKS AND LEARNING SYSTEMS》;20170316;摘要、第1-5节、图1 *

Also Published As

Publication number Publication date
CN108875928A (zh) 2018-11-23

Similar Documents

Publication Publication Date Title
US20230196117A1 (en) Training method for semi-supervised learning model, image processing method, and device
CN107358293B (zh) 一种神经网络训练方法及装置
US11307865B2 (en) Data processing apparatus and method
US11836610B2 (en) Concurrent training of functional subnetworks of a neural network
JP6504590B2 (ja) 画像のセマンティックセグメンテーションのためのシステム及びコンピューター実施方法、並びに非一時的コンピューター可読媒体
WO2019100723A1 (zh) 训练多标签分类模型的方法和装置
CN112288086B (zh) 一种神经网络的训练方法、装置以及计算机设备
EP2973241B1 (en) Signal processing systems
CN107292352B (zh) 基于卷积神经网络的图像分类方法和装置
Li et al. Self-taught low-rank coding for visual learning
Atkinson et al. Structured Bayesian Gaussian process latent variable model: Applications to data-driven dimensionality reduction and high-dimensional inversion
Naderahmadian et al. Correlation based online dictionary learning algorithm
WO2022105108A1 (zh) 一种网络数据分类方法、装置、设备及可读存储介质
CN110210540B (zh) 基于注意力机制的跨社交媒体用户身份识别方法及系统
Zhang et al. Self-taught semisupervised dictionary learning with nonnegative constraint
CN114548428B (zh) 基于实例重构的联邦学习模型智能攻击检测方法及装置
Zhao et al. Soft label based linear discriminant analysis for image recognition and retrieval
Li et al. Unsupervised transfer learning via low-rank coding for image clustering
CN113255798A (zh) 一种分类模型训练方法、装置、设备及介质
CN112417289A (zh) 一种基于深度聚类的资讯信息智能推荐方法
CN110188825A (zh) 基于离散多视图聚类的图像聚类方法、系统、设备及介质
CN112633482A (zh) 一种高效宽度图卷积神经网络模型及其训练方法
CN112528650B (zh) 一种Bert模型预训练方法、系统及计算机设备
CN107729885B (zh) 一种基于多重残差学习的人脸增强方法
CN108875928B (zh) 多输出回归网络及学习方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Zhen Xiantong

Inventor after: Zhang Lei

Inventor before: Zhang Lei

Inventor before: Zhen Xiantong