CN115136150A - 信息处理装置和机器学习方法 - Google Patents

信息处理装置和机器学习方法 Download PDF

Info

Publication number
CN115136150A
CN115136150A CN202180015456.3A CN202180015456A CN115136150A CN 115136150 A CN115136150 A CN 115136150A CN 202180015456 A CN202180015456 A CN 202180015456A CN 115136150 A CN115136150 A CN 115136150A
Authority
CN
China
Prior art keywords
data
unit
graph structure
information processing
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180015456.3A
Other languages
English (en)
Inventor
桥本敦史
牛久祥孝
森信介
西村太一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Kyoto University
Original Assignee
Omron Corp
Kyoto University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Kyoto University filed Critical Omron Corp
Publication of CN115136150A publication Critical patent/CN115136150A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0895—Weakly supervised learning, e.g. semi-supervised or self-supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

提高从输入数据中提取图结构作为中间表达的模型的精度。编码部(100)从输入数据(10)中提取图结构(Tr)所包含的多个顶点各自的特征量，并计算在该顶点连接有边的似然度。采样部(130)基于针对该似然度的Gumbel‑Softmax函数的变换结果，决定图结构(Tr)。学习部(150)通过使用损失函数的反向传播，使解码部(140)和编码部(100)优化，所述损失函数包含根据图结构(Tr)生成的输出数据(20)与正解数据的误差(LP)。

Description

信息处理装置和机器学习方法
技术领域
本公开涉及信息处理装置以及机器学习方法。
背景技术
以往，已知有将输入数据所包含的要素间的关系作为图结构来提取，并将该图结构作为中间表达来进行后处理的结构。例如，在非专利文献1中公开了如下结构：通过REINFORCE(REward Increment Nonnegative Factor Offset ReinforcementCharacteristic Eligibility：奖励递增非负因子偏移强化特征资格)算法生成语法树，将通过该语法树结构化后的数据作为中间表达来进行基于VAE(Variational Autoencoder：变分自编码器)的重构。
现有技术文献
非专利文献
非专利文献1：Pengcheng Yin，Chunting Zhou，Junxian He，Graham Neubig，“StructVAE：Tree-structured Latent Variable Models for Semi-supervisedSemantic Parsing”(https：//www.aclweb.org/anthology/P18-1070/)，in Proceedingsof the 56th Annual Meeting of the Association for Computational Linguistics(Volume 1：Long Papers)，pp.754-765.
非专利文献2：Eric Jang，Shixiang Gu，Ben Poole，“CategoricalReparameterization with Gumbel-Softmax”，https：//openreview.net/forum？id＝rkE3y85ee，ICLR(International Conference on Learning Representations)2017.
非专利文献3：Jianlong Chang，Xinbang Zhang，Yiwen Guo，Gaofeng Meng，Shiming Xiang，Chunhong Pan，“Differentiable Architecture Search with EnsembleGumbel-Softmax”，https：//arxiv.org/abs/1905.01786.
非专利文献4：Kai Sheng Tai，Richard Socher，Christopher D.Manning，“Improved Semantic Representations From Tree-Structured Long Short-TermMemory Networks”，https：//www.aclweb.org/anthology/P15-1150/，in Proceedings ofthe 53rd Annual Meeting of the Association for Computational Linguistics andthe 7th International Joint Conference on Natural Language Processing(Volume1：Long Papers)，pp.1556-1566.
发明内容
发明所要解决的课题
在包含非专利文献1所使用的REINFORCE算法的强化学习中，作为优化对象的模型(智能体，agent)一边反复试错一边推进参数的优化，因此有时难以确定针对模型输出的正解。因此，已知在强化学习中，与如下的机器学习相比，有时难以提高模型的精度，在该机器学习中，对规定来自模型的输出与正解的误差的损失函数进行微分，使用基于链式法则使该误差从模型的输出层朝向输入层传播的反向传播(back propagation)。在非专利文献1所公开的结构中，通过机器学习形成的已学习模型的精度存在改善的余地。
本公开是为了解决上述那样的课题而完成的，其目的在于提高从输入数据提取图结构作为中间表达的模型的精度。
用于解决课题的手段
本公开一例的信息处理装置从输入数据中提取表示输入数据所包含的要素间的相关关系的图结构，并根据图结构生成输出数据。信息处理装置包含编码部、采样部、解码部和学习部。编码部从输入数据中提取图结构所包含的多个顶点各自的特征量，并计算在该顶点连接有表示相关关系的边的似然度。采样部基于针对似然度的Gumbel-Softmax函数的变换结果，决定图结构。解码部接受图结构和多个顶点各自的特征量而生成输出数据。学习部通过将包含输出数据与正解数据的误差的损失函数作为最小化对象的反向传播，使解码部和编码部优化。
根据本公开，通过采样部对图结构的决定处理也能够对损失函数进行微分，因此能够通过反向传播使输出数据与正解数据的误差从解码部的输出层反向传播至编码部的输入层。其结果，能够从解码部的输出层到编码部的输入端到端地进行解码部以及编码部的优化，因此能够提高作为中间表达的图结构的精度以及输出数据的精度。
在上述公开中，信息处理装置也可以还具有根据输出数据重构图结构的重构部。损失函数也可以包含来自重构部的输出与正解图结构的误差。
根据本公开，以在由重构部重构的图结构与正解图结构之间维持同一性的方式进行机器学习，由此促进编码部的无损压缩(可逆压缩)。其结果，与结构1相比，能够进一步提高作为中间表达的图结构的精度以及输出数据的精度。
在上述公开中，也可以还具有推理部，所述推理部从采样部接受图结构，输出针对输入数据的推理结果。学习部也可以对解码部以及编码部进行无教师学习，对推理部进行有教师学习。
根据本公开，能够促进编码部的无损压缩，并且通过对推理部的教师学习来提高推理部的推理精度。
在上述公开中，输入数据也可以包含第1数据和第2数据。第1数据的模态也可以与第2数据的模态不同。编码部也可以包含第1编码器和第2编码器。第1编码器也可以提取第1数据的特征量。第2编码器也可以提取第2数据的特征量。
根据本公开，能够从多种输入数据中提取图结构。
在上述公开中，输出数据的模态也可以与输入数据的模态不同。
根据本公开，能够根据图结构来生成多种数据。
本公开的另一例的机器学习方法通过针对模型执行保存于存储部的机器学习程序的处理器来进行，所述模型从输入数据中提取表示输入数据所包含的要素间的相关关系的图结构，并根据图结构生成输出数据。机器学习方法包含以下步骤：从输入数据中提取图结构所包含的多个顶点各自的特征量，并计算在该顶点连接有表示相关关系的边的似然度；基于针对似然度的Gumbel-Softmax函数的变换结果，决定图结构；接受图结构和多个顶点各自的特征量而生成输出数据；以及通过将包含输出数据与正解数据的误差的损失函数作为最小化对象的反向传播，使模型优化。
根据本公开，通过决定图结构的步骤也能够对损失函数进行微分，因此能够通过反向传播使输出数据与正解数据的误差从模型的输出层反向传播至模型的输入层。其结果，能够从模型的输出层到模型的输入层端到端地进行模型的优化，因此能够提高作为中间表达的图结构的精度以及输出数据的精度。
发明的效果
根据本公开的信息处理装置以及机器学习方法，能够提高从输入数据提取图结构作为中间表达的模型的精度。
附图说明
图1是表示实施方式1的信息处理装置的结构的框图。
图2是用于说明图1的输入数据和编码部的具体结构的框图。
图3是从图2的第1编码器输出的邻接矩阵的示意图。
图4是从图2的第2编码器输出的邻接矩阵的示意图。
图5是表示图1的树结构的图。
图6是表示表达图5的树结构的邻接矩阵的图。
图7是表示图1的解码部和输出数据的具体结构的框图。
图8是表示在信息处理装置中进行的机器学习方法流程的流程图。
图9是表示实施方式1的变形例的信息处理装置的结构的框图。
图10是表示图9的重构部的具体结构的框图。
图11是表示实施方式2的信息处理装置的结构的框图。
图12是表示从输入数据提取的、多个用户与多个企业之间的二分图结构的一例的图。
图13是表示表达图12所示的二分图结构的矩阵的图。
图14是表示实施方式3的管理系统的结构例的示意图。
图15是表示构成图14的管理系统的PLC的硬件结构的一例的示意图。
图16是表示图14的收集分析服务器装置的功能结构的框图。
图17是表示图14的收集分析服务器装置的硬件结构的框图。
图18是表示与品质数据和基准品质数据之间的误差一起可视化的图结构的一例的图。
图19是用于说明由与实施方式的信息处理装置对应的机器人进行的路线规划的图。
图20是表示由图19的机器人提取的有向图结构的图。
图21是表示与图20的有向图结构对应的矩阵表达的图。
具体实施方式
以下，参照附图详细说明实施方式。另外，对图中相同或相应部分标注相同标号并在原则上不再反复其说明。
＜应用例＞
[实施方式1]
图1是表示实施方式1的信息处理装置1的结构的框图。如图1所示，信息处理装置1包含编码部100、采样部130、解码部140和学习部150。信息处理装置1从输入数据10中提取表示输入数据10所包含的要素间的相关关系的图结构，根据该图结构生成输出数据20。在实施方式1中，对根据包含烹调步骤的图像列数据以及食材列数据的输入数据，生成包含料理的步骤序列数据的输出数据的情况进行说明。
图2是用于说明图1的输入数据10和编码部100的具体结构的框图。如图2所示，输入数据10包含图像列数据11(第1数据)和食材列数据12(第2数据)。图像列数据11的模态是图像。食材列数据12的模态是字符串。图像列数据11的模态与食材列数据12的模态不同。另外，模态包含数据的形式、种类或类型。
图像列数据11包含图像Im1～ImM。图像Im1～ImM分别表示烹调的各步骤的图像，按照图像Im1～ImM的顺序进行烹调。即，图像Im1～ImM以该顺序排序。食材列数据12包含字符串Tx1～TxN。字符串Tx1～TxN分别表示食材名称。在烹调的过程中，按照字符串Tx1～TxN的顺序使用。即，字符串Tx1～TxN以该顺序排序。在图2中，示出了步骤数M为4、食材数N为4的情况。字符串Tx1～Tx4分别表示“番茄”、“南瓜”、“蛋黄酱”、“番茄酱”。另外，步骤数M并不限定于4，可以是3以下，也可以是5以上。食材数N也同样。另外，步骤数M和食材数N也可以不同。
编码部100包含编码器110(第1编码器)和编码器120(第2编码器)。编码器110包含已学习的图像编码器111、biLSTM(bidirectional Long Short-Term Memory：双向长短期记忆)112、113以及矩阵估计器114。编码器120包含方差表达器121、LSTM 122、biLSTM 123和矩阵估计器124。方差表达器121例如包含word2vec。
图像编码器111提取图像列数据11所包含的图像Imk的特征向量vk，输出向量表达V＝(v1，v2，……，vk，……，vM)(特征量)。biLSTM 112接受向量表达V，输出向量表达Θ＝(θ1，θ2，……，θk，……θM)(特征量)。特征向量θ1～θM分别与特征向量v1～vM对应。biLSTM 113接受向量表达V，输出向量表达
Figure BDA0003804605440000051
Figure BDA0003804605440000052
(特征量)。特征向量
Figure BDA0003804605440000053
分别与特征向量v1～vM对应。另外，索引k是自然数。
矩阵估计器114接受向量表达Θ、Φ，估计图像Im1～ImM的相邻关系，并作为邻接矩阵Y输出。图像Im1～ImM的相邻关系的估计是指，通过将图像Im1～ImM分别作为图结构的顶点，计算在两个顶点之间存在边的似然度。邻接矩阵Y的分量Yi，j由以下的式(1)表示。
Figure BDA0003804605440000061
编码器120根据向量表达Θ、Φ计算向量表达Ω＝(ω1，ω2，……，ωk，……，ωM)(特征量)，并将向量表达Ω输入到矩阵估计器124。特征向量ωk的各维度的分量是特征向量θk、
Figure BDA0003804605440000063
的该维度的分量中的较大的分量。
方差表达器121输出食材列数据12所包含的字符串Txk的方差表达。LSTM 122将字符串Txk的方差表达变换为特征向量gk，输出向量表达G＝(g1，g2，……，gk，……，gN)。biLSTM123接受向量表达G，输出向量表达Γ＝(γ1，γ2，……，γk，……，γN)(特征量)。特征向量γ1～γN分别与特征向量g1～gN对应。
矩阵估计器124接受向量表达Ω、Γ，估计图像Im1～ImM和字符串Tx1～TxN的相邻关系，并将该相邻关系作为邻接矩阵X输出。图像Im1～ImM和字符串Tx1～TxN的相邻关系的估计是指，通过将字符串Tx1～TxN分别作为图结构的顶点，计算在与字符串Tx1～TxN分别对应的顶点和与图像Im1～ImM分别对应的顶点之间存在边的似然度。邻接矩阵X的分量Xi，j由以下的式(2)表示。
Figure BDA0003804605440000062
图3是图2的邻接矩阵Y的示意图。在图3中对各分量标注的阴影线越深，该分量的似然度越大。在图3中，是否存在从行所包含的顶点朝向列所包含的顶点的边的似然度是由该行以及列所确定的邻接矩阵的分量。即，邻接矩阵Y表达有向图结构。是否存在从列所包含的顶点朝向行所包含的顶点的边的似然度也可以是由该行以及列所确定的邻接矩阵的分量。
表示有向图结构的邻接矩阵Y也可以根据需要变换为表示无向图结构的邻接矩阵T。在变换邻接矩阵Y时，为了使邻接矩阵T的转置矩阵与邻接矩阵T相等，例如能够将邻接矩阵Y的各分量和使该分量的行和列相反的分量的平均值设为与该2个分量对应的邻接矩阵T的分量。
图4是图2的邻接矩阵X的示意图。阴影线的浓度与似然度的关系和图3相同。在图4中，在行所包含的顶点与列所包含的顶点之间是否存在边的似然度是由该行以及列所确定的邻接矩阵的分量。邻接矩阵X表达无向图结构。
再次参照图2，采样部130接受邻接矩阵X、Y，并输出树结构Tr(图结构)，该树结构Tr将与字符串Tx1～TxN分别对应的顶点作为叶节点，将与图像列数据11中的最后图像对应的顶点作为根节点，将与另一图像对应的顶点作为节点。采样部130使用Gumbel-Softmax函数(参照非专利文献2)，将邻接矩阵X、Y的各分量的似然度变换为在与该分量对应的2个顶点间存在边的概率(再参数化技巧)。采样部130通过再参数化技巧，将邻接矩阵X、Y分别变换为邻接矩阵A、B。分量Ai，j、Bi，j分别如以下的式(3)、(4)那样表示。
Figure BDA0003804605440000071
Figure BDA0003804605440000072
在式(3)、(4)中，δi，k、εi，k是从Gumbel(0，1)分布中采样出的噪声。τ是Gumbel-Softmax函数的温度参数。采样部130通过使用邻接矩阵A、B来确定节点之间是否有无分支(边)，并且确定树结构Tr。
图5是表示图1的树结构Tr的图。在图5中，节点Nd1～Nd4分别与图像Im1～Im4对应。节点Nd4是根节点。叶节点Lf1～Lf4分别与字符串Tx1～Tx4对应。
如图5所示，叶节点Lf1和节点Nd1通过分支Br1连接。叶节点Lf2和节点Nd2通过分支Br2连接。叶节点Lf3和根节点Nd4通过分支Br3连接。叶节点Lf4和根节点Nd4通过分支Br4连接。节点Nd1和Nd3通过从节点Nd1朝向Nd3的分支Br5连接。节点Nd2和Nd3通过从节点Nd2朝向Nd3的分支Br6连接。节点Nd3和根节点Nd4通过从节点Nd3朝向根节点Nd4的分支Br7连接。
树结构Tr表示图像Im1所示的步骤的结果和图像Im2所示的步骤的结果在图像Im3所示的步骤中使用，图像Im3所示的步骤的结果在图像Im4所示的步骤中使用。另外，树结构Tr表示在图像Im1所示的步骤中使用字符串Tx1的食材，在图像Im2所示的步骤中使用字符串Tx2的食材，在图像Im4所示的步骤中使用字符串Tx3、Tx4各自的食材。
图6是表示表达图5的树结构Tr的邻接矩阵X1、Y1的图。邻接矩阵X1、Y1分别由采样部130经由邻接矩阵A、B来决定。例如，采样部130将与邻接矩阵A、B的各行中的最大值对应的分量设为1，将除此以外的分量设为0，将各行作为独热(One-Hot)表达来决定邻接矩阵X1、Y1。在决定了从输入数据中提取的图结构所包含的顶点起的出边的最大数或向该顶点的入边的最大数的情况下，也可以通过Ensemble Gumbel-Softmax(参照非专利文献3)，将各行或各列表达为2个以上的独热表达的重合。另外，在决定图结构时，除了针对邻接矩阵X、Y的各分量的似然度的、使用了Gumbel-Softmax函数的再参数化技巧的变换结果以外，还能够考虑所提取的图结构的特性。例如，由于在表示烹饪过程的树结构Tr中不允许从某个节点到该节点的边(自环，self-loop)，所以邻接矩阵Y1的对角分量为0。另外，由于在树结构Tr中不存在层级比根节点高的节点，所以在邻接矩阵Y1中与根节点对应的第4行的各分量为0。
表示有向图结构的邻接矩阵Y1也可以根据需要变换为表示无向图结构的邻接矩阵T1。在变换邻接矩阵Y1时，为了使邻接矩阵T1的转置矩阵与邻接矩阵T1相等，例如能够将随机选择了邻接矩阵Y1的各分量和使该分量的行和列相反的分量中的最大值、最小值、或者任意一个的值设为与该2个分量对应的邻接矩阵T1的分量。
图7是表示图1的解码部140和输出数据20的具体结构的框图。如图7所示，解码部140包含LSTM 141、编码器-解码器模型142和采样部143。LSTM 141包含Tree-LSTM(参照非专利文献4)，例如包含Child-sum LSTM。LSTM 141从Child-sum LSTM的第k个隐藏层得到与树结构Tr中的图像列数据11的第k个步骤对应的特征量作为特征向量hk，并输出向量表达H＝(h1，h2，……，hk，……，hM)。编码器-解码器模型142从LSTM 141接受向量表达H，并且从图2的图像编码器111接受向量表达V。编码器-解码器模型142将对(hk，vk)变换为字符串Stk，并且输出包含步骤序列数据即字符串St1～StM的输出数据20。输出数据20的模态是字符串，与输入数据10所包含的图像列数据11的模态不同。字符串St1表示“将番茄切成一口大的大小。”。字符串St2表示“用煎锅炒南瓜。”。字符串St3表示“将南瓜放在番茄上。”。字符串St4表示“加番茄酱和蛋黄酱。”。输出数据20表示按照字符串St1～StM的顺序进行烹调。即，字符串St1～StM以该顺序排序。此外，在编码器-解码器模型142中，使用Gumbel-Softmax函数来输出单词。
接着，对在图1的信息处理装置1中进行的机器学习处理进行说明。学习部150通过如以下的式(5)那样表示的将损失函数L1作为最小化对象的反向传播，进行解码部140以及编码部100的优化。
L1＝LP+LT (5)
损失函数L1将在进行上述说明的从编码部100到解码部140的处理的过程中产生的整体的误差规定为损失函数LT与LP之和。损失函数LT规定从编码部100输出的邻接矩阵X、Y与预先准备的正解矩阵(正解图结构)的交叉熵误差。损失函数LP规定从解码部140输出的输出数据与预先准备的正解数据的交叉熵误差。利用再参数化技巧，通过由采样部130进行的图结构的决定处理也能够对损失函数L1进行微分，因此能够通过反向传播使输出数据20与正解数据的误差从解码部140的输出层反向传播至编码部100的输入层。其结果，能够从解码部140的输出层到编码部100的输入层端到端地进行解码部140以及编码部100的优化，因此能够提高作为中间表达的图结构的精度以及输出数据的精度。
图8是表示在信息处理装置1中进行的机器学习方法流程的流程图。如图8所示，在S11中，编码部100提取输入数据10所包含的要素(顶点)的特征量，使处理进入S12。在S12中，编码部100使用2个顶点的余弦相似度，计算在该2个顶点间存在边的似然度。在该似然度的计算时，也可以使用余弦相似度以外的相似度或距离。在S13中，采样部130进行使用Gumbel-Softmax函数的再参数化技巧，决定图结构。在S14中，解码部140根据来自采样部130的图结构和来自编码部100的各顶点的特征量，生成输出数据。在S15中，学习部150通过以损失函数L1为最小化对象的反向传播，使解码部140以及编码部100各自所包含的参数优化，并结束机器学习方法。该参数包含解码部140和编码部100中包含的神经网络的权重和偏差。
以上，根据实施方式1的信息处理装置以及机器学习方法，能够提高从输入数据中提取图结构作为中间表达的模型的精度。
[实施方式1的变形例]
在实施方式1的变形例中，说明根据输出数据重构邻接矩阵的情况。通过进行机器学习以在重构的邻接矩阵与从编码部输出的邻接矩阵之间维持同一性，促进编码部的无损压缩。其结果，与实施方式1相比，能够进一步提高作为中间表达的图结构的精度以及输出数据的精度。
图9是表示实施方式1的变形例的信息处理装置1A的结构的框图。信息处理装置1A的结构是在图1的信息处理装置1的结构中追加了重构部160，并且将学习部150置换为150A的结构。除此以外是同样的，因此不重复说明。如图9所示，重构部160接受输出数据20，并且从编码部100接受向量表达Γ、Ω。
图10是表示图9的重构部160的具体结构的框图。如图10所示，包含biLSTM 161、162和矩阵估计器163。biLSTM 161接受输出数据20，对各个字符串St1～StM输出通过结合最初的隐藏层和最后的隐藏层而得到的特征向量。biLSTM 162从biLSTM 161接受字符串St1～StM各自的特征向量，输出反映字符串St1～StM的顺序的向量表达Λ＝(λ1，λ2，……，λk，……，λM)(特征量)。特征向量λ1～λM分别与字符串St1～StM对应。
矩阵估计器163接受向量表达Γ、Ω和Λ，估计字符串Tx1～TxM和字符串St1～StM的相邻关系作为邻接矩阵C，并且估计图像Im1～ImM和字符串St1～StM的相邻关系作为邻接矩阵D。邻接矩阵C、D分别如以下的式(6)、(7)那样表示。
Figure BDA0003804605440000101
Figure BDA0003804605440000102
在在输入数据所包含的树结构被准确地反映在输出数据20中的情况下，图像列数据11中的图像Im1～ImM与输出数据20中的字符串St1～StM对应。因此，邻接矩阵C、D需要与由编码部100计算的邻接矩阵X、Y分别具有同一性。因此，在实施方式1的变形例中，对损失函数L1加上损失函数LR，该损失函数LR规定从编码部100输出的邻接矩阵X、Y的误差计算中使用的正解矩阵与邻接矩阵C、D的误差。实施方式1的变形例中的规定整体误差的损失函数L2如以下的式(8)那样表示。损失函数L2的系数α是超参数。另外，损失函数LR也可以是规定邻接矩阵C、D与邻接矩阵X、Y(正解数据)的误差的损失函数。
L2＝LP+LT+α·LR (8)
学习部150A通过以损失函数L2为最小化对象的反向传播，使重构部160、解码部140以及编码部100各自所包含的参数优化。
关于输出数据20的精度，在以下的表1中示出比较例、实施方式1以及实施方式1的变形例的比较。在表1中，将GLACNet(GLocal Attention Cascading Networks：GLocal注意力级联网络)作为比较例。另外，在表1中，示出了作为自动评价尺度的BLEU(BiLingualEvaluation Understudy：双语评估替补)1、BLEU4、ROUGE-L(Recall-Oriented Understudyfor Gisiting Evaluation Longest common subsequence：面向召回率摘要评估研究-最长公共子序列)、CIDEr(Consensus-based Image Description Evaluation：基于共识的图像描述评估)-D、METEOR(Metric for Evaluation of Translation with ExplicitORdering：显式排序的翻译评估指标)各自的得分。
【表1】
Figure BDA0003804605440000111
如表1所示，在各自动评价尺度中，实施方式1的性能高于比较例的性能。另外，实施方式1的变形例的性能高于实施方式1的性能。
以上，根据实施方式1的变形例的信息处理装置以及机器学习方法，与实施方式1相比，能够进一步提高从输入数据中提取图结构作为中间表达的模型的精度。
[实施方式2]
在实施方式1中，说明了从输入数据中提取树结构作为图结构的结构。从输入数据中提取的图结构并不限定于树结构，例如也可以是N分图结构(N为2以上的自然数)。在实施方式2中，作为N分图结构的一例，对从输入数据中提取二分图结构的结构进行说明。
图11是表示实施方式2的信息处理装置2的结构的框图。如图11所示，信息处理装置2包含编码部200、采样部230、解码部240、学习部250和推理部270。编码部200、采样部230、解码部240和学习部250形成了VAE(Variational Autoencoder：变分自编码器)。
编码部200提取输入数据10B所包含的图结构的多个顶点各自的特征量。编码部200将该多个顶点分割为不具有共同的顶点的2个子集Sb1、Sb2。编码部200计算在子集Sb1所包含的顶点与子集Sb2所包含的顶点之间存在边的似然度，并将该似然度作为分量的邻接矩阵输出到采样部230。即，编码部200在子集Sb1与Sb2之间进行二分图匹配。
采样部230对来自编码部200的邻接矩阵进行使用了Gumbel-Softmax函数的再参数化技巧，决定二分图结构Bp，并将二分图结构Bp以及二分图结构Bp所包含的多个顶点各自的特征量输出到解码部240以及推理部270。解码部240根据二分图结构Bp以及该特征量再现输出数据20B。推理部270基于二分图结构Bp以及该特征量进行推理，输出推理结果。推理部270例如包含GNN(Graph Neural Network：图神经网络)。
学习部250通过反向传播优化推理部270、解码部240和编码部200。反向传播中的作为最小化对象的损失函数包含输出数据20B与输入数据10B(正解数据)的误差、以及推理部270的推理结果与学习数据集中包含的正解数据的误差。即，学习部250对推理部270、解码部240和编码部200进行半教师学习。具体而言，学习部250对解码部240以及编码部200进行无教师学习，对推理部270进行有教师学习。
信息处理装置2的主要目的是推理部270的推理结果的输出。由编码部200、采样部230、解码部240和学习部250形成的VAE的优化被定位为用于实现从输入数据10B到二分图结构的无损压缩的子任务。
以下，说明将用户对检索系统的检索操作历史设为输入数据10B的情况。图12是表示从输入数据10B提取的、多个用户与多个企业之间的二分图结构Bp的一例的图。图12示出了用户Us1、Us2、Us3、Us4与企业Cm1、Cm2、Cm3、Cm4、m5之间的相关关系。如图12所示，用户Us1和企业Cm2通过边Rs1连接。用户Us2和企业Cm4通过边Rs2连接。用户Us3和企业Cm3通过边Rs3连接。用户Us4和企业Cm5通过边Rs4连接。图13是表示表达图12所示的二分图结构Bp的矩阵的图。图11的推理部270接受二分图结构Bp，推理与各用户的需求匹配的企业，并将该企业推荐给该用户。
以上，根据实施方式2的信息处理装置以及机器学习方法，能够提高从输入数据中提取图结构作为中间表达的模型的精度。
[实施方式3]
在实施方式3中，说明如下结构：基于制造设备所包含的多个工序中的多个传感器的检测值的时间序列数据，将多个传感器结构化为图结构，确定在产品中产生的不良情况在哪个工序中产生。
图14是表示实施方式3的管理系统3000的结构例的示意图。参照图14，管理系统3000与包含多个工序的制造设备30相关联，提供用于管理由制造设备30制造的产品的品质的功能。在图14中，沿着用于搬运工件的输送机307，示出5个连续的工序Pr1、Pr2、Pr3、Pr4、Pr5。工件依次通过工序Pr1～Pr5。在各工序Pr1～Pr5中设置有用于检测该工序的状态的传感器。在工序Pr1～Pr5中，通过作为控制装置的一例的可编程逻辑控制器(ProgrammableLogic Controller，PLC)301、302、303、304、305，分别控制并监视工序Pr1～Pr5。
PLC 301～305经由本地网络306以能够进行数据通信的方式连接。PLC 301～305每隔规定期间或每隔事件，对本地网络306上的中继服务器装置308发送与控制对象工序相关的状态信息。在该状态信息中，包含由设置于该工序的传感器在多个采样时间分别检测出的多个检测值的时间序列数据(传感器时间序列数据)。
中继服务器装置308经由互联网将状态信息分别从PLC 301～305传送到收集分析服务器装置3(信息处理装置)。中继服务器装置308也可以对状态信息实施必要的预处理。
收集分析服务器装置3收集从中继服务器装置308接受到的状态信息，并对收集到的信息进行分析。收集分析服务器装置3在满足预先确定的条件时，或者在从终端装置309接收到请求时，经由互联网向终端装置309输出分析结果。
在图14中，作为典型例，例示了在设置于单一的制造设备30的多个工序中分别设置PLC，各个PLC经由同一本地网络306与中继服务器装置308连接的结构，但不限于此。例如，也可以不配置中继服务器装置308，而采用多个PLC与收集分析服务器装置3直接连接的结构。在该情况下，各个PLC分别向收集分析服务器装置3发送所需的信息。
或者，也可以设置多个中继服务器装置308。在该情况下，也可以是某个中继服务器装置308将来自一部分PLC的状态信息传送到收集分析服务器装置3，另一个中继服务器装置308将来自剩余的PLC的状态信息传送到收集分析服务器装置3。
接着，对PLC的硬件结构例进行说明。图15是表示构成图14的管理系统3000的PLC301～305的硬件结构的一例的示意图。参照图15，PLC 301～305分别包含运算单元310和1个或多个功能单元320。运算单元310是执行预先保存的用户程序等的运算装置，从功能单元320取得现场信号(表示控制对象设备的状态的信息等)，并通过功能单元320输出所需的控制信号。
运算单元310包含：处理器312，其执行用户程序等；存储器316，其保存用户程序、操作系统(OS：Operating System)和各种数据等；总线控制器314，其控制经由内部总线326的数据交换；以及通信接口318。存储器316也可以将DRAM(Dynamic Random AccessMemory：动态随机存取存储器)等易失性存储装置与闪存等非易失性存储装置组合来构成。处理器312从在分别对应于PLC 301～305的工序中设置的传感器315取得检测值。该检测值例如包含电流值、电压值、电力值、温度、湿度或振动值。也可以在1个工序中设置多个传感器315。
通信接口318也可以根据交换数据的对象装置而设置1个或多个通信端口。例如，也可以安装用于与本地网络306(参照图14)连接的遵循以太网(注册商标)的通信端口、用于与个人计算机等连接的遵循USB(Universal Serial Bus：通用串行总线)的通信端口、或者支持串行线路/并行线路的通信端口等。
功能单元320也可以提供用于与控制对象设备之间交换各种信息的IO(InputOutput：输入输出)功能。具体而言，也可以安装接收数字信号的DI(Digital Input：数字输入)、输出数字信号的DO(Digital Output：数字输出)、接收模拟信号的AI(Analog Input：模拟输入)、以及输出模拟信号的AO(Analog Output：模拟输出)等功能。进而，也可以安装PID(Proportional Integral Derivative：比例积分微分)控制或运动控制等特殊功能。
例如，提供IO功能的功能单元320各自包含IO模块322、及用于控制经由内部总线326与运算单元310之间的数据交换的总线控制器324。各个IO模块322取得来自控制对象工序的状态信息，并通过运算单元310将该状态信息向中继服务器装置308以及收集分析服务器装置3送出。
在管理系统3000中，只要是具有用于使用某种通信单元向外部装置输出内部信息的接口的PLC，则可以采用任意的PLC。PLC的硬件结构并不限定于图15所示的结构，能够采用任意的结构。设想现实中，在配置于图14所示的制造设备30的多个PLC之间，制造商以及机型不统一。在管理系统3000中，中继服务器装置308吸收这样的PLC的制造商以及机型的差异。
图16是表示图14的收集分析服务器装置3的功能结构的框图。如图16所示，收集分析服务器装置3包含编码部300、采样部330、解码部340和品质检查部370(推理部)。输入数据10C包含来自PLC 301～305的传感器时序数据。编码部300、采样部330、解码部340和学习部350形成了VAE(Variational Autoencoder：变分自编码器)。
编码部300包含编码器模型Mc。编码器模型Mc从输入数据10C中提取输入数据10C所包含的表示传感器间的相关关系的图结构。编码部300从传感器时间序列数据中，提取作为该图结构的顶点的多个传感器各自的特征量。编码部300计算在多个顶点所包含的2个顶点之间存在边的似然度，将以该似然度为分量的邻接矩阵输出到采样部330。
采样部330对来自编码部300的邻接矩阵进行使用了Gumbel-Softmax函数的再参数化技巧，决定图结构Gs，并且将图结构Gs和图结构Gs的多个顶点中各自的特征量输出到解码部340和品质检查部370。
解码部340包含解码器模型Md。解码器模型Md根据图结构Gs和特征量再现输出数据20C。
品质检查部370包含品质检查模型Mm。品质检查模型Mm基于图结构Gs以及该特征量来计算表示产品品质的品质数据。品质检查部370例如包含GNN。品质检查部370将该品质数据与基准品质数据的误差在图结构Gs中可视化。基准品质数据是与正常的产品对应的标准的品质数据。品质数据与基准品质数据的误差越大，该品质数据所包含的不良情况的程度越大。作为该误差的图结构Gs中的可视化的方法，例如能够举出使用了GradCAM(Gradient-weighted Class Activation Mapping：梯度加权类激活映射)的该误差的热映射化。
学习部350通过反向传播，使品质检查模型Mm、解码器模型Md以及编码器模型Mc各自所包含的神经网络的参数优化。该参数中包含该神经网络的权重和偏差。反向传播中的作为最小化对象的损失函数包含输出数据20C与输入数据10C(正解数据)的误差、以及品质检查部370的检查结果与学习数据集所包含的正解品质数据的误差。即，学习部350对品质检查部370、解码部340和编码部300进行半教师学习。具体而言，学习部350对解码部340以及编码部300进行无教师学习，对品质检查部370进行有教师学习。
收集分析服务器装置3的主要目的是品质检查部370的检查结果的输出。由编码部300、采样部330、解码部340和学习部350形成的VAE的优化被定位为用于实现从输入数据10C到图结构的无损压缩的子任务。
图17是表示图14的收集分析服务器装置3的硬件结构的框图。如图17所示，收集分析服务器装置3包含作为运算处理部的处理器31、作为存储部的主存储器32和硬盘33、输入接口34、显示控制器35、通信接口36、数据读写器38。这各个部分经由总线39以能够相互进行数据通信的方式连接。
处理器31包含CPU(Central Processing Unit：中央处理单元)。处理器31也可以还包含GPU(Graphics Processing Unit：图形处理单元)。处理器31将保存在硬盘33中的程序(代码)在主存储器32中展开，并以规定顺序执行这些程序，由此实施各种运算。
典型地，主存储器32是DRAM(Dynamic Random Access Memory：动态随机存取存储器)等易失性的存储装置。主存储器32保持从硬盘33读出的程序。
输入接口34对处理器31与输入部361之间的数据传输进行中介。输入部361例如包含鼠标、键盘或触摸面板。即，输入接口34受理通过用户操作输入部361而提供的操作指令。
显示控制器35与作为显示装置的典型例的显示器362连接，将处理器31中的图像处理的结果等通知给用户。即，显示控制器35与显示器362连接，控制显示器362上的显示。显示器362例如是液晶显示器、有机EL(Electro Luminescence：电致发光)显示器或其他显示装置。
通信接口36对处理器31与其他外部装置之间的经由互联网的数据传输进行中介。通信接口36典型地包含Ethernet(注册商标)或USB(Universal Serial Bus：通用串行总线)。
数据读写器38对处理器31与作为记录介质的存储卡363之间的数据传输进行中介。在存储卡363中，例如保存有在收集分析服务器装置3中执行的程序。数据读写器38从存储卡363读出程序。另外，存储卡363由CF(Compact Flash：紧凑式闪存)、SD(SecureDigital：安全数字)等通用的半导体存储设备、软盘(Flexible Disk)等磁存储介质、或CD-ROM(Compact Disk Read Only Memory：光盘只读存储器)等光学存储介质等构成。另外，收集分析服务器装置3也可以根据需要连接打印机等其他输出装置。
硬盘33是非易失性的磁存储装置。在硬盘33中保存有学习数据集Ds、品质检查模型Mm、编码器模型Mc、解码器模型Md、机器学习程序Pg1以及品质检查程序Pg2。硬盘33中也可以保存各种设定值等。另外，也可以除了硬盘33之外，或者代替硬盘33，采用闪存等半导体存储装置。
学习数据集Ds包含多个学习数据。多个学习数据分别是产品通过的多个工序的各自的传感器的检测值的时间序列数据、以及与该产品的品质对应的正解品质数据的组合。
在机器学习程序Pg1中，参照学习数据集Ds、编码器模型Mc、解码器模型Md以及品质检查模型Mm。通过执行机器学习程序Pg1的处理器31，实现图16的编码部300、采样部330、解码部340、学习部350以及品质检查部370。处理器31通过执行机器学习程序Pg1，使编码器模型Mc、解码器模型Md以及品质检查模型Mm分别匹配已学习。
在品质检查程序Pg2中，参照编码器模型Mc和品质检查模型Mm。处理器31通过执行品质检查程序Pg2，根据与产品对应的传感器时间序列数据，计算该产品的品质数据，并将该品质数据与基准品质数据的误差在图结构Gs中可视化。在该误差的图结构Gs中被可视化的该误差被输出到显示器362以及终端装置309。
图18是表示与品质数据和基准品质数据之间的误差一起可视化的图结构Gs的一例的图。在图18中，顶点Sn1～Sn5与分别设置于图14中的步骤Pr1～Pr5的传感器对应。阴影线越深的顶点表示与该顶点对应的传感器的检测值越偏离正常值。
如图18所示，顶点Sn3与Sn1、Sn2、Sn4连接。顶点Sn5与顶点Sn2连接。顶点Sn2最深，顶点Sn1、Sn4最浅。连接顶点Sn2和Sn3的边以及连接顶点Sn2和Sn5的边比其他边更粗地强调。误差被可视化的图结构Gs表示多个传感器的检测值的相关关系，并且表示对产品所包含的不良情况(品质数据与基准品质数据的误差)做贡献的传感器的检测值。在图18中，对产品所包含的不良情况做最大贡献的传感器的检测值是设置于与顶点Sn2对应的工序Pr2的传感器的检测值。因此，工序Pr2发生不良情况的可能性高。另外，在图结构Gs中与连接于顶点Sn2的顶点Sn3、Sn5分别对应的工序Pr3、Pr5中，也仅次于工序Pr2而可能发生不良情况。在分别与顶点Sn1、Sn4对应的工序Pr1、Pr4中，发生不良情况的可能性最低。根据误差被可视化的图结构Gs，能够容易地确定导致经过多个工序而完成的产品所包含的不良情况产生的工序。
以上，根据实施方式3的信息处理装置以及机器学习方法，能够提高从输入数据中提取图结构作为中间表达的模型的精度。
[实施方式的信息处理装置以及机器学习方法的其他应用例]
实施方式的信息处理装置以及机器学习方法能够应用于基于人流预测的路线规划。图19是用于说明由与实施方式的信息处理装置对应的机器人Rb进行的路线规划的图。如图19所示，在机器人Rb的视野中包含行人Ps1、Ps2、Ps3。行人Ps1正在看着行人Ps2。行人Ps2正在看着行人Ps3。行人Ps3正在看着行人Ps2。机器人Rb基于作为时间序列数据的视野动态图像所包含的行人Ps1～Ps3各自的姿势、视线方向、以及行人Ps1～Ps3的相对位置关系等，提取以行人Ps1～Ps3各自为顶点的有向图结构。
图20是表示由图19的机器人Rb提取的有向图结构Pf的图。在图19中，顶点Vx1、Vx2、Vx3分别与图19的行人Ps1、Ps2、Ps3对应。如图20所示，顶点Vx1和顶点Vx2通过从顶点Vx1朝向Vx2的边Eg1连接。顶点Vx2与顶点Vx3通过从顶点Vx2朝向Vx3的边Eg2以及从顶点Vx3朝向Vx2的边Eg3连接。
图21是表示与图20的有向图结构Pf对应的矩阵表达的图。机器人Rb将图21所示的有向图结构Pf输入到推理部，进行针对行人Ps1～Ps3的人流预测，计划能够避开行人Ps1～Ps3的图19的路线Rt。该推理部例如包含Social GAN(Generative Adversarial Network：生成对抗网络)。
实施方式的信息处理装置以及机器学习方法也能够应用于交通拥堵的预测。在预测交通拥堵时，将通过道路连接的多个地点的每个时刻的交通量作为时间序列的输入数据，从该输入数据中提取将各时刻的多个地点分别作为顶点、将遍及不同时刻的2个地点间的交通量的关系性作为边的图结构。即，从输入数据中提取图结构，作为将每个时刻的多个地点作为顶点集合的子集的N分图表匹配的结果。信息处理装置基于该图结构来预测特定时刻的各地点的交通拥堵。
实施方式的信息处理装置以及机器学习方法也能够应用于材料信息学(MI：Materials Informatics)。在材料信息学的应用例中，使从输入数据中提取出的图结构的顶点及边与分子结构的原子及键对应，来估计该分子结构的物性。
＜附记＞
如上所述的实施方式包含以下这样的技术思想。
(结构1)
一种信息处理装置(1、1A、2、3)，其从输入数据(10、10B、10C)中提取表示所述输入数据(10、10B、10C)所包含的要素间的相关关系的图结构(Tr、Bp、Gs、Pf)，并根据所述图结构(Tr、Bp、Gs、Pf)生成输出数据(20、20B、20C)，其中，所述信息处理装置(1、1A、2、3)具有：
编码部(100、200、300)，其从所述输入数据(10、10B、10C)中提取所述图结构(Tr、Bp、Gs、Pf)所包含的多个顶点(Lf1～Lf4、Nd1～Nd4、Us1～Us4、Cm1～Cm5、Sn1～Sn5、Vx1～Vx3)各自的特征量(Θ、Φ、Ω、Γ)，并计算在该顶点连接有表示所述相关关系的边(Br1～Br7、Rs1～Rs4、Eg1～Eg3)的似然度；
采样部(130、230、330)，其基于针对所述似然度的Gumbel-Softmax函数的变换结果，决定所述图结构(Tr、Bp、Gs、Pf)；
解码部(140，240，340)，其接受所述图结构(Tr、Bp、Gs、Pf)和所述特征量(Θ、Φ、Ω、Γ)，生成所述输出数据(20、20B、20C)；以及
学习部(150、250、350)，其通过将包含所述输出数据(20、20B、20C)与正解数据的误差(LP)的损失函数作为最小化对象的反向传播，使所述解码部(140、240、340)和所述编码部(100、200、300)优化。
(结构2)
在结构1所记载的信息处理装置(1A)中，
该信息处理装置(1A)还具有根据所述输出数据(10)重构所述图结构(Tr)的重构部(160)，
所述损失函数包含来自所述重构部(160)的输出与正解图结构的误差(LR)。
(结构3)
在结构1或2所记载的信息处理装置(2、3)中，
该信息处理装置(2、3)还具有推理部(270、370)，所述推理部(270、370)从所述采样部(230、330)接受所述图结构(Bp、Gs)，输出针对所述输入数据(10B、10C)的推理结果，
所述学习部(250、350)对所述解码部(240、340)和所述编码部(100、200)进行无教师学习，对所述推理部(270、370)进行有教师学习。
(结构4)
在结构1～3中的任意一项所记载的信息处理装置(1、1A)中，
所述输入数据(10)包含第1数据(11)和第2数据(12)，
所述第1数据(11)的模态与所述第2数据(12)的模态不同，
所述编码部(100)包含：
第1编码器(110)，其提取所述第1数据(11)的特征量(Θ、Φ)；以及
第2编码器(120)，其提取所述第2数据(12)的特征量(Γ)。
(结构5)
在结构1～4中的任意一项所记载的信息处理装置(1、1A)中，
所述输出数据(20)的模态与所述输入数据(10)的模态不同。
(结构6)
一种机器学习方法，由对模型(Mc、Md)执行保存于存储部(33)的机器学习程序(Pg1)的处理器(31)来进行，所述模型(Mc、Md)从输入数据(10、10B、10C)中提取表示所述输入数据(10、10B、10C)所包含的要素间的相关关系的图结构(Tr、Bp、Gs、Pf)，并根据所述图结构(Tr、Bp、Gs、Pf)生成输出数据(20、20B、20C)，其中，所述机器学习方法包含以下步骤：
步骤(S11、S12)，从所述输入数据(10、10B、10C)中提取所述图结构(Tr、Bp、Gs、Pf)所包含的多个顶点(Lf1～Lf4、Nd1～Nd4、Us1～Us4、Cm1～Cm5、Sn1～Sn5、Vx1～Vx3)各自的特征量(Θ、Φ、Ω、Γ)，并计算在该顶点连接有表示所述相关关系的边(Br1～Br7、Rs1～Rs4、Eg1～Eg3)的似然度；
步骤(S13)，基于针对所述似然度的Gumbel-Softmax函数的变换结果，决定所述图结构(Tr、Bp、Gs、Pf)；
步骤(S14)，接受所述图结构(Tr、Bp、Gs、Pf)和所述特征量(Θ、Φ、Ω、Γ)，生成所述输出数据(20、20B、20C)；以及
步骤(S15)，通过将包含所述输出数据(20、20B、20C)与正解数据的误差(LP)的损失函数作为最小化对象的反向传播，使所述模型(Mc、Md)优化。
本次公开的各实施方式也预定在不矛盾的范围内适当组合来实施。应该认为本次公开的实施方式在所有方面都是例示而不是限制性的。本发明的范围由权利要求书、而不由上述的说明来表示，意在包含与权利要求书等同的意思以及范围内的所有变更。
标号说明
1、1A、2：信息处理装置；3：收集分析服务器装置；10、10B、10C：输入数据；11：图像列数据；12：食材列数据；20、20B、20C：输出数据；30：制造设备；31、312：处理器；32：主存储器；33：硬盘；34：输入接口；35：显示控制器；36、318：通信接口；38：数据读写器；39：总线；100、200、300：编码部；110、120：编码器；111：图像编码器；114、124、163：矩阵估计器；121：方差表达器；130、143、230、330：采样部；140、240、340：解码部；142：编码器-解码器模型；150、150A、250、350：学习部；160：重构部；270：推理部；306：本地网络；307：输送机；308：中继服务器装置；309：终端装置；310：运算单元；314、324：总线控制器；315：传感器；316：存储器；320：功能单元；322：模块；326：内部总线；361：输入部；362：显示器；363：存储卡；370：品质检查部；3000：管理系统；Bp：二分图结构；Br1～Br7：分支；Cm1～Cm5：企业；Ds：学习数据集；Eg1～Eg3、Rs1～Rs4：边；Gs：图结构；Im1～Im4：图像；LP、LR、LT：损失函数；Lf1～Lf4：叶节点；Mc：编码器模型；Md：解码器模型；Mm：品质检查模型；Nd1～Nd4：节点；Pf：有向图结构；Pg1：机器学习程序；Pg2：品质检查程序；Pr1～Pr5：工序；Ps1～Ps3：行人；Rb：机器人；Rt：路线；Sb1、Sb2：子集；Sn1～Sn5、Vx1～Vx3：顶点；St1～St4、Tx1～Tx4：字符串；Tr：树结构；Us1～Us4：用户。

Claims (6)

1.一种信息处理装置，其从输入数据中提取表示所述输入数据所包含的要素间的相关关系的图结构，并根据所述图结构生成输出数据，其中，所述信息处理装置具有：
编码部，其从所述输入数据中提取所述图结构所包含的多个顶点各自的特征量，并计算在该顶点连接有表示所述相关关系的边的似然度；
采样部，其基于针对所述似然度的Gumbel-Softmax函数的变换结果，决定所述图结构；
解码部，其接受所述图结构和所述特征量，生成所述输出数据；以及
学习部，其通过将包含所述输出数据与正解数据的误差的损失函数作为最小化对象的反向传播，使所述解码部和所述编码部优化。
2.根据权利要求1所述的信息处理装置，其中，
该信息处理装置还具有根据所述输出数据重构所述图结构的重构部，
所述损失函数包含来自所述重构部的输出与正解图结构的误差。
3.根据权利要求1或2所述的信息处理装置，其中，
该信息处理装置还具有推理部，所述推理部从所述采样部接受所述图结构，输出针对所述输入数据的推理结果，
所述学习部对所述解码部和所述编码部进行无教师学习，对所述推理部进行有教师学习。
4.根据权利要求1～3中的任意一项所述的信息处理装置，其中，
所述输入数据包含第1数据和第2数据，
所述第1数据的模态与所述第2数据的模态不同，
所述编码部包含：
第1编码器，其提取所述第1数据的特征量；以及
第2编码器，其提取所述第2数据的特征量。
5.根据权利要求1～4中的任意一项所述的信息处理装置，其中，
所述输出数据的模态与所述输入数据的模态不同。
6.一种机器学习方法，由对模型执行保存于存储部的机器学习程序的处理器来进行，所述模型从输入数据中提取表示所述输入数据所包含的要素间的相关关系的图结构，并根据所述图结构生成输出数据，其中，所述机器学习方法包含以下步骤：
从所述输入数据中提取所述图结构所包含的多个顶点各自的特征量，并计算在该顶点连接有表示所述相关关系的边的似然度；
基于针对所述似然度的Gumbel-Softmax函数的变换结果，决定所述图结构；
接受所述图结构和所述特征量，生成所述输出数据；以及
通过将包含所述输出数据与正解数据的误差的损失函数作为最小化对象的反向传播，使所述模型优化。
CN202180015456.3A 2020-03-06 2021-02-19 信息处理装置和机器学习方法 Pending CN115136150A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020-038785 2020-03-06
JP2020038785A JP7359394B2 (ja) 2020-03-06 2020-03-06 情報処理装置および機械学習方法
PCT/JP2021/006302 WO2021177056A1 (ja) 2020-03-06 2021-02-19 情報処理装置および機械学習方法

Publications (1)

Publication Number Publication Date
CN115136150A true CN115136150A (zh) 2022-09-30

Family

ID=77613527

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180015456.3A Pending CN115136150A (zh) 2020-03-06 2021-02-19 信息处理装置和机器学习方法

Country Status (5)

Country Link
US (1) US20230013870A1 (zh)
EP (1) EP4116881A4 (zh)
JP (1) JP7359394B2 (zh)
CN (1) CN115136150A (zh)
WO (1) WO2021177056A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022041024A1 (zh) * 2020-08-27 2022-03-03 清华大学 并行程序可扩展性瓶颈检测方法和计算装置
CN115249057A (zh) * 2021-04-26 2022-10-28 阿里巴巴新加坡控股有限公司 用于图形节点采样的系统和由计算机实现的方法
CN116151337A (zh) * 2021-11-15 2023-05-23 平头哥(上海)半导体技术有限公司 用于加速图神经网络属性访问的方法、系统和存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11704541B2 (en) * 2017-10-27 2023-07-18 Deepmind Technologies Limited Graph neural network systems for generating structured representations of objects

Also Published As

Publication number Publication date
JP7359394B2 (ja) 2023-10-11
EP4116881A4 (en) 2024-03-20
JP2021140551A (ja) 2021-09-16
US20230013870A1 (en) 2023-01-19
EP4116881A1 (en) 2023-01-11
WO2021177056A1 (ja) 2021-09-10

Similar Documents

Publication Publication Date Title
US8983888B2 (en) Efficient modeling system for user recommendation using matrix factorization
CN115136150A (zh) 信息处理装置和机器学习方法
CA3007853C (en) End-to-end deep collaborative filtering
CN111967972B (zh) 理财产品推荐方法及装置
Best et al. Geospatial web services within a scientific workflow: Predicting marine mammal habitats in a dynamic environment
CN112184391A (zh) 一种推荐模型的训练方法、介质、电子设备和推荐模型
US10599975B2 (en) Scalable parameter encoding of artificial neural networks obtained via an evolutionary process
CN107203756A (zh) 一种识别手势的方法与设备
US20200074267A1 (en) Data prediction
CN113254716B (zh) 视频片段检索方法、装置、电子设备和可读存储介质
Lockhart et al. Scission: Performance-driven and context-aware cloud-edge distribution of deep neural networks
CN113761219A (zh) 基于知识图谱的检索方法、装置、电子设备及存储介质
CN113033090A (zh) 推送模型训练方法、数据推送方法、装置及存储介质
CN111488460B (zh) 数据处理方法、装置和计算机可读存储介质
CN114925270A (zh) 一种会话推荐方法和模型
CN116958738A (zh) 图片识别模型的训练方法和装置、存储介质及电子设备
CN115760201A (zh) 智能销售线索推荐理由生成方法及系统
CN115631008B (zh) 商品推荐方法、装置、设备及介质
CN113065321B (zh) 基于lstm模型和超图的用户行为预测方法及系统
CN115080856A (zh) 推荐方法及装置、推荐模型的训练方法及装置
Eisenhauer The approximate solution of finite‐horizon discrete‐choice dynamic programming models
CN112231546A (zh) 异构文档的排序方法、异构文档排序模型训练方法及装置
Chiogna et al. Automatic identification of seasonal transfer function models by means of iterative stepwise and genetic algorithms
CN111290756A (zh) 一种基于对偶强化学习的代码-注释转换方法
CN116579722B (zh) 一种基于深度学习的商品分销出入库管理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination