CN118525283A - 模型生成方法、模型生成装置、推理程序以及推理装置 - Google Patents

Abstract

本发明的模型生成装置实施具备预处理模块和图推理模块的推理模型的机器学习。预处理模块具备特征提取器和选拔模块。特征提取器构成为计算各个要素的特征量，该各个要素分别属于输入图中包含的多个集合。选拔模块根据所算出的各个要素的特征量来选拔以各个要素为起点延伸的一个以上的枝，并针对每个集合生成图信息，该图信息示出所算出的各个要素的特征量和枝的选拔结果。图推理模块构成为能够进行微分，并根据所生成的各集合的图信息来推理针对输入图的任务的解。

Description

模型生成方法、模型生成装置、推理程序以及推理装置

技术领域

本发明涉及模型生成方法、模型生成装置、推理程序以及推理装置。

背景技术

在解答匹配、路径搜索等各种推理任务时，为了表达各种信息，有时使用图。图基本上由要素（顶点/节点）和枝（边）构成。枝示出要素之间的关系性。根据推理任务，能够使用例如有向图、二分图、顶点特征图、超图等具有各种结构的图。

作为一例，在解答稳定匹配问题时，能够使用二分图。稳定匹配问题例如是求职者和雇主之间的匹配等双边市场（two sided market）的分配问题。二分图是构成为将要素（顶点）集合分割为两个子集，在各子集内的要素彼此之间不存在枝的图。各子集可以与进行匹配的对象所属的团体对应，各子集内的要素（顶点）可以与匹配的对象（例如求职者/雇主）对应。各对象可以具有对属于其他团体的对象的期望度（例如期望顺位），期望度可以通过枝表达。

匹配可以通过由枝构成的枝集来表达，该枝示出属于一方子集的要素和属于另一方子集的要素的组合，且以不共享要素的方式分配。对于构成匹配的枝集，在存在期望度比属于该枝集的枝的组合高的要素彼此的组合的情况下，示出该组合的枝阻塞该匹配（即，示出另外存在比该枝集所示的匹配更优选的匹配）。在稳定匹配问题的一例中，以不具有这样的阻塞对且满足任意尺度（例如公平性）的方式搜索要素彼此的组合。

作为另一例，在推理多件点云数据（二维/三维模型等）之间的对应关系（例如，确定相同的要素）的情况下，能够使用顶点特征图。顶点特征图是构成为各个要素（顶点）具有属性的图。构成点云数据的各点与各个要素对应。推理对应关系例如能够与点云的对位、光流的估计、立体匹配等对应。

作为典型例，假设如下场景：点云数据示出二维或三维模型，在两件点云数据间确定相同的点（即，确定具有对应关系的点的组合）。该情况下，基本来说，与一方点云数据中包含的各点具有对应关系的点的候补是另一方点云数据的全部的点。推理任务的一例是通过从该候补中确定具有对应关系的点（即，从多个候补中估计具有对应关系的点的组合）而构成。

此外，在推理上述点云数据间的对应关系等要素之间的关系性未知的情况下，也可以不对在推理前赋予的图（上述例子中为多件点云数据）赋予枝。该情况下，当解答推理任务时，可以视为在可具有对应关系的要素的组合的所有候补中生成了枝。

以往，为了解答这样的以图表达的任务，开发了各种算法。非专利文献1中提出的GS算法作为解答上述稳定匹配问题的经典方法的一例而为人所知。但是，这样基于特定算法的方法在任务的内容稍微变更时便无法使用，因此缺乏通用性，另外，通过手动作业构成的部分多，因此求解器的生成成本变高。

因此，近年来，作为解答以图表达的任务的通用方法，正在研究使用神经网络等机器学习模型的方法。例如，在非专利文献2中，提出了使用五层神经网络来解答稳定匹配问题。在非专利文献3中，提出了使用由机器学习模型构成的WeaveNet来解答以图表达的任务的方法。根据这样的使用机器学习模型的方法，若准备与任务相应的学习数据，则能够生成获得了解答该任务的能力的已学习模型（求解器）。因此，能够提高生成的模型的通用性，并且能够降低求解器的生成成本。

现有技术文献

非专利文献

非专利文献1: David Gale, Lloyd S Shapley, “College admissions and thestability of marriage”, The American Mathematical Monthly, 69(1):9-15, 1962.

非专利文献2: Shira Li, “Deep Learning for Two-Sided MatchingMarkets”, PhD thesis, Harvard University, 2019.

非专利文献3: Shusaku Sone, Atsushi Hashimoto, Jiaxin Ma, RintaroYanagi, Naoya Chiba, Yoshitaka Ushiku, “WeaveNet: A Differentiable Solver forNon-linear Assignment Problems”［online］，［2022年1月11日检索］、因特网＜URL:https://openreview.net/forum?id=ktHKpsbsxx＞

发明内容

发明所要解决的技术问题

本申请的发明人们发现，在非专利文献2、3等中提出的通过机器学习模型来解答针对具有图结构的数据的推理任务的方法中存在如下问题。即，随着要素的数量增加，推理处理中参考的枝的数量增加。作为一例，在上述稳定匹配问题中，在一方子集的要素的数量为N个，另一方子集的要素的数量为M个，利用有向枝对所有要素间赋予期望度的情况下，参考的枝的数量为2MN个。作为另一例，在解答在上述两件点云数据间确定相同点的任务的情形中，各件点云数据中包含的点（要素）的数量为N个，并从所有候补（轮询）中确定相同点的组合的情况下，参考的枝（候补）的数量为N²。由此，解答推理任务的运算的负荷增大，处理的效率有可能变差。

本发明的一方面是鉴于这样的情况而完成的，其目的在于，提供一种在通过机器学习模型解答针对具有图结构的数据的推理任务时实现处理的高效化的技术。

用于解决问题的技术方案

本公开为了解决上述技术问题而采用以下的结构。

即，本公开的一方面所涉及的模型生成方法是由计算机执行获取多个训练图的步骤、和使用获取到的多个所述训练图来实施推理模型的机器学习的步骤的信息处理方法。所述推理模型具备预处理模块和图推理模块。所述预处理模块具备特征提取器和选拔模块。所述特征提取器构成为计算各个要素的特征量，各个所述要素分别属于输入图中包含的多个集合。所述选拔模块构成为：基于所算出的各个所述要素的特征量来选拔以各个所述要素为起点延伸的一个以上的枝，并针对每个集合生成图信息，所述图信息示出所算出的各个所述要素的特征量和选拔出的一个以上的所述枝。所述图推理模块构成为能够进行微分，并且构成为根据所生成的各个所述集合的图信息来推理针对所述输入图的任务的解。所述机器学习通过以使推理结果符合针对各个所述训练图的所述任务的正解的方式对所述推理模型进行训练而构成，所述推理结果是通过将各个所述训练图作为所述输入图输入所述预处理模块而从所述图推理模块得到的结果。

根据该构成所涉及的模型生成方法，能够生成具备预处理模块的训练完毕的推理模型。根据预处理模块，能够算出输入图的各个要素的特征量，并基于所算出的各个要素的特征量来选拔解答推理任务时参考的枝（要素的组合）。即，即使数据中包含的要素的数量增加，也能够通过利用预处理模块对枝进行选拔，从而抑制推理处理中参考的枝的数量。因此，在通过训练完毕的推理模型解答针对具有图结构的数据的推理任务时，能够实现处理的高效化。

在上述一方面所涉及的模型生成方法中，也可以是，基于各个所述要素的特征量来选拔一个以上的所述枝由以下步骤构成：算出各个候补要素与各个所述要素之间的似然度，各个所述候补要素成为连接来自各个所述要素的枝的目标的候补；以及根据所算出的似然度选拔一个以上的所述枝。根据该构成，能够基于似然度适当地选拔解答推理任务时参考的枝，由此，能够期待推理处理的高效化和精度的提高。

在上述一方面所涉及的模型生成方法中，各个所述训练图可以是有向二分图，所述有向二分图中包含的多个要素可以被划分为属于两个子集中的任意一个。所述输入图的多个所述集合可以由所述有向二分图的两个所述子集构成。各个所述要素的特征量的计算可以由以下步骤构成：根据以所述有向二分图的各个所述要素为起点延伸的枝的特征来计算各个所述要素的特征量。根据该构成，在由有向二分图表达推理任务的场景下，能够实现解答推理任务（推理解）的处理的高效化。

在上述一方面所涉及的模型生成方法中，所述任务可以是两个团体之间的匹配任务，且是决定属于各个团体的对象彼此间的最佳配对。所述有向二分图的两个所述子集可以与所述匹配任务中的两个所述团体相对应。属于所述有向二分图的各个所述子集的所述要素可以与属于各个所述团体的所述对象相对应。根据该构成，能够实现推理由有向二分图表达的双边匹配之解的处理的高效化。

在上述一方面所涉及的模型生成方法中，各个所述训练图可以是无向二分图，所述无向二分图中包含的多个要素可以被划分为属于两个子集中的任意一个。所述输入图的多个所述集合可以由所述无向二分图的两个所述子集构成。各个所述要素的特征量的计算可以由以下步骤构成：根据与所述无向二分图的各个所述要素连接的枝的特征来计算各个所述要素的特征量。根据该构成，在由无向二分图表达推理任务的场景下，能够实现解答推理任务的处理的高效化。

在上述一方面所涉及的模型生成方法中，所述任务可以是两个团体之间的匹配任务，且是决定属于各个团体的对象彼此间的最佳配对。所述无向二分图的两个所述子集可以与所述匹配任务中的两个所述团体相对应。属于所述无向二分图的各个所述子集的所述要素可以与属于各个所述团体的所述对象相对应。根据该构成，能够实现推理由无向二分图表达的单边匹配之解的处理的高效化。

在上述一方面所涉及的模型生成方法中，各个所述训练图可以是有向图。所述输入图的多个所述集合可以由第一集合和第二集合构成。属于所述第一集合的要素可以与构成所述有向图的有向枝的起点相对应，属于所述第二集合的要素可以与所述有向枝的终点相对应。各个所述要素的特征量的计算可以由以下步骤构成：根据从属于所述第一集合的所述要素流出的有向枝的特征来计算属于所述第一集合的所述要素的特征量；以及根据流入属于所述第二集合的所述要素的有向枝的特征来计算属于所述第二集合的所述要素的特征量。根据该构成，在由有向图表达推理任务的场景下，能够实现解答推理任务的处理的高效化。

在上述一方面所涉及的模型生成方法中，各个所述训练图可以是无向图。所述输入图的多个所述集合可以由第一集合和第二集合构成。分别属于所述第一集合和所述第二集合的各个要素可以与构成所述无向图的各个要素相对应。各个所述要素的特征量的计算可以由以下步骤构成：根据与各个所述要素连接的枝的特征来计算各个所述要素的特征量。根据该构成，在由无向图表达推理任务的场景下，能够实现解答推理任务的处理的高效化。

在上述一方面所涉及的模型生成方法中，各个所述训练图可以构成为各个所述训练图中包含的各个要素具有属性。各个所述要素的特征量的计算可以由以下步骤构成：根据各个所述要素具有的属性来计算各个所述要素的特征量。根据该构成，在由在顶点（要素）具有特征（属性）的顶点特征图表达推理任务的场景下，能够实现解答推理任务的处理的高效化。此外，所述任务可以是估计属于各个所述集合的要素之间的关系性。要素之间的关系性的估计例如可以是点云的对位、光流的估计、立体匹配等。由此，能够实现估计要素之间的关系性的处理的高效化。

在上述一方面所涉及的模型生成方法中，各个所述训练图可以构成为各个所述训练图中包含的各个要素具有属性。各个所述训练中包含的各个所述要素之间的关系性可以已被定义。各个所述要素的特征量的计算可以由以下步骤构成：根据各个所述要素所具有的属性和示出所述关系性的信息来计算各个所述要素的特征量。根据该构成，在由预先赋予了顶点间的关系性的顶点特征图表达推理任务的场景下，能够实现解答推理任务的处理的高效化。

在上述一方面所涉及的模型生成方法中，各个所述训练图可以是超图，所述超图中包含的多个要素可以被划分为属于三个以上的子集中的任意一个。所述输入图的多个所述集合可以由所述超图的三个以上的所述子集构成。各个所述要素的特征量的计算可以由以下步骤构成：根据与所述超图的各个所述要素连接的枝的特征来计算各个所述要素的特征量。根据该构成，在由超图表达推理任务的场景中，能够实现解答推理任务的处理的高效化。

另外，本公开的方式可以不限于上述模型生成方法。本公开的一方面可以是包括如下步骤的估计方法：使用通过上述任一方式所涉及的模型生成方法生成的训练完毕的推理模型，来推理针对图的任务的解。例如，本公开的一方面所涉及的推理方法是由计算机执行获取对象图的步骤、使用通过机器学习训练完毕的推理模型来推理针对获取到的所述对象图的任务的解的步骤、以及输出与所述任务的解的推理结果相关的信息的步骤的信息处理方法。推理模型与上述同样地构成。针对所述对象图的任务的解的推理通过将所述对象图作为所述输入图输入所述预处理模块，并从所述图推理模块得到所述任务的解的推理结果而构成。根据该构成，能够在通过训练完毕的推理模型推理任务的解时实现处理的高效化。此外，推理方法可以根据应用场景中的任务的种类而改称为例如匹配方法、预测方法等。对于其他的方式（例如推理装置等）也是同样的。

另外，作为上述各方式所涉及的模型生成方法和推理方法各自的其他方式，本公开的一方面既可以是实现以上各结构的全部或其一部分的信息处理装置（模型生成装置、推理装置），也可以是程序，还可以是存储这样的程序的计算机及其他装置、机器等可读的存储介质。在此，计算机等可读的存储介质是指通过电、磁、光学、机械或化学作用存储程序等信息的介质。另外，本公开的一方面也可以是由模型生成装置和推理装置构成的推理系统。

例如，本公开的一方面所涉及的模型生成装置具备：获取部，构成为获取多个训练图；以及学习处理部，构成为使用获取到的多个所述训练图来实施推理模型的机器学习。另外，例如，本公开的一方面所涉及的模型生成程序是用于使计算机执行获取多个训练图的步骤和使用获取到的多个所述训练图来实施推理模型的机器学习的步骤的程序。推理模型与上述同样地构成。所述机器学习通过以使推理结果符合针对各个所述训练图的所述任务的正解的方式对所述推理模型进行训练而构成，所述推理结果是通过将各个所述训练图作为所述输入图输入所述预处理模块而从所述图推理模块得到的结果。

例如，本公开的一方面所涉及的推理装置具备：获取部，构成为获取对象图；推理部，构成为使用通过机器学习训练完毕的推理模型来推理针对获取到的所述对象图的任务的解；以及输出部，构成为输出与所述任务的解的推理结果相关的信息。另外，例如，本公开的一方面所涉及的推理程序是使计算机执行获取对象图的步骤、使用通过机器学习训练完毕的推理模型来推理针对获取的所述对象图的任务的解的步骤、以及输出与所述任务的解的推理结果相关的信息的步骤的程序。推理模型与上述同样地构成。针对所述对象图的任务的解的推理由以下步骤构成：将所述对象图作为所述输入图输入所述预处理模块，并从所述图推理模块得到所述任务的解的推理结果。

发明效果

根据本发明，能够在通过机器学习模型解答针对具有图结构的数据的推理任务时实现处理的高效化。

附图说明

图1示意性地示出应用本发明的场景的一例。

图2示意性地示出实施方式所涉及的推理模型的结构的一例。

图3示意性地示出实施方式所涉及的预处理模块的运算过程的一例。

图4示意性地示出实施方式所涉及的模型生成装置的硬件结构的一例。

图5示意性地示出实施方式所涉及的推理装置的硬件结构的一例。

图6示意性地示出实施方式所涉及的模型生成装置的软件结构的一例。

图7示意性地示出实施方式所涉及的推理装置的软件结构的一例。

图8是示出实施方式所涉及的模型生成装置的处理过程的一例的流程图。

图9是示出实施方式所涉及的推理装置的处理过程的一例的流程图。

图10示意性地例示应用本发明的其他场景（利用有向二分图表达任务的场景）的一例。

图11示意性地例示应用本发明的其他场景（利用无向二分图表达任务的场景）的一例。

图12示意性地例示应用本发明的其他场景（利用一般有向图表达任务的场景）的一例。

图13示意性地例示应用本发明的其他场景（利用一般无向图表达任务的场景）的一例。

图14示意性地例示应用本发明的其他场景（利用顶点特征图表达推理要素之间的关系性的任务的场景）的一例。

图15示意性地例示应用本发明的其他场景（利用被赋予了要素之间的关系性的顶点特征图表达任务的场景）的一例。

图16示意性地例示应用本发明的其他场景（利用超图表达任务的场景）的一例。

图17示出针对第一数据集的实施例和比较例的实验结果（设定的容许误差下的推理精度）。

图18示出针对第二数据集的实施例和比较例的实验结果（设定的容许误差下的推理精度）。

图19A示出将容许误差设定为0.00时针对第二数据集的第一样本的比较例的推理结果。

图19B示出将容许误差设定为0.00时针对第二数据集的第一样本的实施例的推理结果。

图19C示出将容许误差设定为0.06时针对第二数据集的第一样本的比较例的推理结果。

图19D示出将容许误差设定为0.06时针对第二数据集的第一样本的实施例的推理结果。

图20A示出将容许误差设定为0.00时针对第二数据集的第二样本的比较例的推理结果。

图20B示出将容许误差设定为0.00时针对第二数据集的第二样本的实施例的推理结果。

图20C示出将容许误差设定为0.06时针对第二数据集的第二样本的比较例的推理结果。

图20D示出将容许误差设定为0.06时针对第二数据集的第二样本的实施例的推理结果。

具体实施方式

以下，基于附图对本发明的一方面所涉及的实施方式（以下，也表述为“本实施方式”）进行说明。但是，以下说明的本实施方式在所有方面都仅为本发明的例示。显然能够在不脱离本发明的范围的情况下进行各种改良和变形。也就是说，在实施本发明时，也可以适当地采用符合实施方式的具体结构。此外，本实施方式中利用自然语言来说明出现的数据，但是，更为具体而言，利用计算机可识别的模拟语言、指令、参数、机器语言等进行指定。

§1 应用例

图1示意性地例示应用本发明的场景的一例。如图1所示，本实施方式所涉及的推理系统100具备模型生成装置1和推理装置2。

（模型生成装置）

本实施方式所涉及的模型生成装置1是构成为通过实施机器学习而生成训练完毕的推理模型5的一台以上的计算机。具体而言，模型生成装置1获取多个训练图30。各训练图30的种类可以根据解答使推理模型5获得的任务的能力而适当地选择。各训练图30例如可以是有向二分图、无向二分图、一般有向图、一般无向图、顶点特征图、超图等。各训练图30的数据格式可以根据实施方式适当地选择。各训练图30例如也可以由图像数据、点云数据、其他示出图结构的数据等构成。模型生成装置1使用获取到的多个训练图30来实施推理模型5的机器学习。由此，能够生成训练完毕的推理模型5。

（推理装置）

另一方面，本实施方式所涉及的推理装置2是构成为使用训练完毕的推理模型5来推理针对图的任务的解的一台以上的计算机。具体而言，推理装置2获取对象图221。对象图221是成为推理任务的解的对象的图，其种类可以与上述训练图30同样地根据训练完毕的推理模型5所获得的能力适当地选择。对象图221的数据格式也可以与训练图30同样地根据实施方式适当地选择。对象图221例如可以为有向二分图、无向二分图、一般有向图、一般无向图、顶点特征图、超图等。对象图221例如可以由图像数据、点云数据等构成。推理装置2使用通过机器学习训练完毕的推理模型5来推理针对获取到的对象图221的任务的解。而且，推理装置2输出与任务的解的推理结果相关的信息。

（推理模型）

图2示意性地示出本实施方式所涉及的推理模型5的结构的一例。如图1和图2所示，本实施方式所涉及的推理模型5由预处理模块50和图推理模块55构成。预处理模块50具备特征提取器501和选拔模块503。

本实施方式所涉及的特征提取器501构成为计算各个要素的特征量，各个要素分别属于输入图中包含的多个集合。在一例中，特征提取器501可以构成为针对每个集合根据与属于输入图中的各集合的各个要素相关的特征算出各个要素的特征量。要素与图的顶点（节点）对应。与各个要素相关的特征例如可以是与各个要素连接的枝的特征、各个要素自身的特征（属性）等。

特征提取器501可以由机器学习模型构成，该机器学习模型具备用于执行提取特征量的运算处理的一个以上的参数，该参数通过机器学习进行调整。特征提取器501例如可以通过函数式表达。由此，特征提取器501可以构成为能够进行微分。此外，构成特征提取器501的机器学习模型的种类可以没有特别限定，可以根据实施方式适当地选择。构成特征提取器501的机器学习模型例如可以使用神经网络等。神经网络的结构可以根据实施方式适当地决定。在特征提取器501使用神经网络的情况下，各节点（神经元）间的连接的权重、各节点的阈值等为参数的一例。

特征提取器501的数量可以没有特别限定，可以根据实施方式适当地决定。在一例中，如图2所示，特征提取器501可以针对输入图中包含的多个集合中的至少一部分集合共通地使用。在简单的情形下，特征提取器501可以针对所有集合共通地使用。该情况下，预处理模块50可以具备单个特征提取器501。在另一例中，特征提取器501可以针对每个集合分别准备。该情况下，预处理模块50可以具备多个特征提取器501。

本实施方式所涉及的选拔模块503构成为基于特征提取器501针对每个集合算出的各个要素的特征量，选拔以各个要素为起点向其他集合的其他要素延伸的一个以上的枝。进而，选拔模块503构成为针对每个集合生成图信息，该图信息示出所算出的各个要素的特征量和针对每个要素选拔出的一个以上的枝。在图2的一例中，输入图包含集合A和集合B，特征提取器501算出各集合（A、B）的各个要素的特征量（A、B）。选拔模块503根据各集合（A、B）的各个要素的特征量（A、B），针对每个要素选拔以各个要素为起点延伸的一个以上的枝，并导出各集合（A、B）的图信息（A、B）。图信息如果构成为示出各个要素的特征量和枝的选拔结果，则其数据格式可以没有特别限定。在一例中，可以通过将示出各个要素的特征量和枝的选拔结果的信息结合（例如进行cat运算）而导出各集合的图信息。

在枝选拔的一例中，选拔模块503可以与是否预先对要素间赋予了枝无关地选拔以各个要素为起点延伸的一个以上的枝。即，作为选拔模块503的枝选拔的结果，也可以在输入图中未赋予枝的要素间生成枝。例如，成为使枝从属于对象集合的对象要素延伸的目标的要素的候补（以下，也记载为“候补要素”）可以是属于对象集合以外的其他集合的所有要素。选拔模块503可以构成为从该所有要素中选拔与对象要素组合并生成枝的候补（即，选拔在各集合间生成枝的要素的组合）。但是，枝选拔的方式可以不限定于这样的例子。在另一例中，选拔模块503可以从预先赋予的枝中选拔一个以上的枝。

基于特征量选拔枝的方法如果能够从各个要素的特征量选拔对任务的推理有益的枝，便无特别限定，可根据实施方式适当地决定。在一例中，基于各个要素的特征量选拔一个以上的枝可以由以下步骤构成：根据各个要素的特征量算出各个候补要素与各个要素之间的似然度，各个候补要素成为连接来自各个要素的枝的目标的候补；以及根据针对每个候补要素算出的似然度选拔一个以上的枝。由此，能够适当地选拔解答推理任务时参考的枝。此外，似然度示出各个要素和各个候补要素的组合与任务的推理相关联的程度。似然度例如也可以称为类似度等其他的名称。

图3示意性地示出本实施方式所涉及的预处理模块50的运算过程的一例。在图3中，假设如下场景：作为输入图而赋予示出人体模型的两件点云数据（集合A、集合B），并确定在点云数据间对应的点（要素）的组合。假设集合A的点云数据的点（要素）的数量为N个，集合B的点云数据的点（要素）的数量为M个。

在图3的一例中，首先，预处理模块50通过特征提取器501算出各集合（A、B）的各个要素的特征量（A、B）。各个要素的特征量（A、B）可以根据点云数据的点的属性值（例如坐标等）而算出。接着，预处理模块50通过选拔模块503针对各集合（A、B）的各个要素算出与其他的集合（B、A）的各个候补要素之间的似然度。算出似然度的方法可以根据实施方式适当地选择。在本实施方式中，各个要素的似然度可以通过预定的运算而算出。在一例中，选拔模块503可以通过以下的式1的运算式算出似然度。

[数式1]

…（式1）

s^A _n，m示出集合A的各个要素与集合B的各个候补要素之间的似然度。f^A _n示出集合A的各个要素的特征量A。f^B _m示出集合B的各个要素的特征量B。集合B的各个要素与集合A的各个候补要素之间的似然度也可以同样算出。但是，算出似然度的方法可以不限于这样的例子。在另一例中，选拔模块503可以通过各个要素的特征量（A、B）的内积算出似然度。

接着，预处理模块50根据由选拔模块503算出的似然性，针对各集合（A、B）的每个要素选拔一个以上的枝。选拔枝的方法可以根据实施方式适当地选择。在一例中，选拔模块503可以针对每个要素选拔k个枝。该情况下，选拔k个枝的方法例如可以使用k近邻法等任意的算法。在另一例中，也可以规定针对每个集合（A、B）选拔的枝的最大数K，选拔模块503也可以针对每个要素选拔至少一个以上的枝（可变数量）。例如，在似然度高的候补优先的情况下，选拔模块503可以在针对每个要素选择了似然度最高的候补（在集合A的情况下为N个）之后，按似然度从高到低依次选出第二个及其以后的候补（K-N个）。

而且，预处理模块50通过选拔模块503生成图信息（A、B），图信息（A、B）示出所算出的各个要素的特征量（A、B）以及针对每个要素选拔出的一个以上的枝的各集合（A、B）。图信息A可以适当地构成为示出集合A的各个要素的特征量A和针对集合A的各个要素的枝的选拔结果，图信息B可以适当地构成为示出集合B的各个要素的特征量B和针对集合B的各个要素的枝的选拔结果。此外，枝的选拔结果例如可以取决于图的种类、枝的选拔方法等。在图3的一例中，用实线示出选拔出的枝，用虚线示出未选拔出的枝。例如，对于集合A的第一要素而言，选拔了与集合B的第一要素和第M要素各自之间的枝。相对于此，对于集合B的第一要素而言，未选拔与集合A的第一要素之间的枝，而选拔了与集合A的第二要素之间的枝。这样，根据情况，在集合A和集合B之间，枝的选拔结果可以不同。

返回图1和图2，图推理模块55构成为能够进行微分，并且构成为根据所生成的各集合的图信息来推理针对输入图的任务的解。图推理模块55可以由机器学习模型构成，该机器学习模型具备用于执行根据图信息推理任务的解的运算处理的一个以上的参数，该参数通过机器学习进行调整。构成图推理模块55的机器学习模型的种类可以没有特别限定，可以根据实施方式适当地选择。构成图推理模块55的机器学习模型例如可以使用神经网络等。神经网络的结构可以根据实施方式适当地决定。在图推理模块55使用神经网络的情况下，各节点间的连接的权重、各节点的阈值等是参数的一例。

在一例中，图推理模块55可以由参考文献1（Jiaming Sun, Zehong Shen, YuangWang, Hujun Bao, Xiaowei Zhou, “LoFTR: Detector-Free Local Feature Matchingwith Transformers”［online］，［2022年1月11日检索］，因特网＜URL: https://arxiv.org/abs/2104.00680＞）中提出的交叉注意力层（Cross-Attention Layer）构成。

在另一例中，图推理模块55可以由非专利文献3中提出的WeaveNet构成。该情况下，图推理模块55可以具备特征嵌入网络和推理器。特征嵌入网络可以构成为通过具备多个特征嵌入层而受理图信息的输入，并输出特征信息。推理器可以构成为根据从特征嵌入网络输出的特征信息来推理任务的解。各特征嵌入层可以受理L个（L+1）阶的输入张量的输入（L为2以上的自然数）。L个输入张量中的第i个输入张量可以构成为：在第一轴上，作为要素排列有属于第i个集合的第i顶点（属于第i个集合的第i个要素），在第二轴至第L轴的第j轴上，作为要素而以第i个为起点循环排列有属于第（j-1）个集合的顶点，并且，在第（L+1）轴上，排列有与从属于第i个集合的第i顶点向分别属于（L-1）个其他的集合的顶点彼此的组合流出的枝相关的特征量。各特征嵌入层可以具备编码器。各特征嵌入层可以构成为：针对第一个至第L个的第i个输入张量，将第i个以外的（L-1）个其他的输入张量各自的第（L+1）轴固定，以与第i个输入张量的各轴一致的方式使其他的输入张量各自的第（L+1）轴以外的其他轴循环，并且，将第i个输入张量和循环后的该各其他的输入张量的各个要素的特征量连结，从而生成L个（L+1）阶的连结张量，并且将所生成的L个连结张量分别针对第一轴的每个要素进行分割并输入编码器，执行编码器的运算，从而生成与L个输入张量分别对应的L个（L+1）阶的输出张量。编码器可以构成为从输入的所有要素的特征量导出各个要素的相对特征量。多个特征嵌入层中的第一个特征嵌入层可以构成为从各集合的图信息直接或者经由预定的运算间接地接收L个输入张量。特征信息可以由从多个特征嵌入层中的最后的特征嵌入层输出的L个输出张量构成。通过在图推理模块55中采用WeaveNet，即使是复杂的任务，通过加深特征嵌入网络的层级，也能够实现推理任务的解的精度的提高。

上述模型生成装置1中的机器学习通过以使推理结果符合针对各训练图30的任务的正解（真值）的方式对推理模型5进行训练而构成，其中，该推理结果是通过将各训练图30作为输入图输入预处理模块50而从图推理模块55得到的结果。在该机器学习时，推理模型5可以从图推理模块55至特征提取器501一致性地进行训练。另一方面，上述推理装置2中针对对象图221的任务的解的推理通过将对象图221作为输入图输入预处理模块50并从图推理模块55得到任务的解的推理结果而构成。

（特征）

如上所述，在本实施方式所涉及的推理模型5中，可以通过预处理模块50算出输入图的各个要素的特征量，并基于所算出的各个要素的特征量来选拔解答推理任务时参考的枝。由此，即使数据中包含的要素的数量增加，也能够通过利用预处理模块50对枝进行选拔而抑制推理处理中参考的枝的数量。因此，根据本实施方式，在解答针对具有图结构的数据的推理任务时，能够实现处理的高效化。根据本实施方式所涉及的模型生成装置1，能够生成能够高效地执行推理处理的训练完毕的推理模型5。根据本实施方式所涉及的推理装置2，通过使用所生成的训练完毕的推理模型5，能够高效地解答针对对象图221的推理任务。

此外，简单来说，可以考虑基于规则选拔枝，实现推理处理的高效化的方法。然而，在该方法中，由于选拔枝的规则不一定最适合于推理处理，因此，推理处理的性能受到该选拔枝的规则的限制，有可能导致精度变差。相对于此，在本实施方式中，在推理模型5的机器学习中，能够将从图推理模块55至特征提取器501为止一致性地作为训练的对象。由此，能够使特征提取器501的性能最适于推理处理，其结果是，能够抑制推理精度变差。因此，根据本实施方式，能够在确保推理精度的基础上实现推理处理的高效化。

除此之外，在特征量的偏差存在多样性的情况下，有可能因为该多样性而导致推理精度变差。相对于此，在本实施方式中，通过利用选拔模块503选拔枝，能够抑制由图推理模块55进行处理的特征量的偏差的多样性。其结果是，能够期待推理精度的提高。

§2 结构例

[硬件结构]

＜模型生成装置＞

图4示意性地例示本实施方式所涉及的模型生成装置1的硬件结构的一例。如图4所示，本实施方式所涉及的模型生成装置1是控制部11、存储部12、通信接口13、外部接口14、输入装置15、输出装置16以及驱动器17电连接的计算机。

控制部11包括作为硬件处理器的CPU（Central Processing Unit：中央处理器）、RAM（Random Access Memory：随机存取存储器）、ROM（Read Only Memory：只读存储器）等，并构成为根据程序和各种数据执行信息处理。控制部11（CPU）是处理器资源的一例。存储部12是存储器资源的一例，例如由硬盘驱动器、固态驱动器等构成。在本实施方式中，存储部12存储模型生成程序81、多个训练图30、学习结果数据125等的各种信息。

模型生成程序81是用于使模型生成装置1执行生成训练完毕的推理模型5的后述机器学习的信息处理（图8）的程序。模型生成程序81包含该信息处理的一系列命令。多个训练图30使用于推理模型5的机器学习。学习结果数据125示出与通过实施机器学习而生成的训练完毕的推理模型5相关的信息。在本实施方式中，学习结果数据125作为执行模型生成程序81的结果而生成。

通信接口13例如是有线LAN（Local Area Network：局域网）模块、无线LAN模块等，且是用于经由网络进行有线或无线通信的接口。模型生成装置1能够利用通信接口13与其他的信息处理装置之间经由网络执行数据通信。外部接口14例如是USB（Universal SerialBus：通用串行总线）端口、专用端口等，且是用于与外部装置连接的接口。外部接口14的种类和数量可以任意地选择。训练图30例如也可以通过照相机等的传感器得到。或者，训练图30也可以通过其他的计算机生成。在这些情况下，模型生成装置1可以经由通信接口13和外部接口14的至少一方与该传感器或其他的计算机连接。

输入装置15例如是鼠标、键盘等用于进行输入的装置。另外，输出装置16例如是显示器、扬声器等用于进行输出的装置。操作者能够利用输入装置15和输出装置16操作模型生成装置1。训练图30也可以通过经由输入装置15的输入而得到。输入装置15和输出装置16例如也可以通过触摸面板显示器等呈一体地构成。

驱动器17例如是CD驱动器、DVD驱动器等，且是用于读入存储介质91中存储的程序等各种信息的驱动装置。存储介质91是以使得计算机及其他装置、机械等能够读取所存储的程序等各种信息的方式，通过电、磁、光学、机械或化学作用蓄积该程序等信息的介质。上述模型生成程序81和多个训练图30的至少任意一个也可以存储于存储介质91。模型生成装置1也可以从该存储介质91获取上述模型生成程序81和多个训练图30的至少任意一个。在此，在图4中，作为存储介质91的一例，例示出CD、DVD等的盘式存储介质。但是，存储介质91的种类也可以不限于盘式，也可以为盘式以外的类型。作为盘式以外的存储介质，例如可以举出闪存等的半导体存储器。驱动器17的种类可以根据存储介质91的种类任意选择。

此外，关于模型生成装置1的具体的硬件结构，能够根据实施方式适当地省略、替换以及追加构成要素。例如，控制部11也可以包含多个硬件处理器。硬件处理器可以由微处理器、FPGA（field-programmable gate array：现场可编程门阵列）、DSP（digital signalprocessor：数字信号处理器）等构成。存储部12也可以由控制部11中包含的RAM和ROM构成。也可以省略通信接口13、外部接口14、输入装置15、输出装置16以及驱动器17中的至少任意一个。模型生成装置1也可以由多台计算机构成。该情况下，各计算机的硬件结构既可以一致，也可以不一致。另外，模型生成装置1除了被设计为所提供的服务专用的信息处理装置之外，也可以为通用的服务器装置、PC（Personal Computer：个人计算机）等。

＜推理装置＞

图5示意性地例示出本实施方式所涉及的推理装置2的硬件结构的一例。如图5所示，本实施方式所涉及的推理装置2是控制部21、存储部22、通信接口23、外部接口24、输入装置25、输出装置26以及驱动器27电连接的计算机。

推理装置2的控制部21～驱动器27以及存储介质92分别可以与上述模型生成装置1的控制部11～驱动器17以及存储介质91的各个同样地构成。控制部21包括作为硬件处理器的CPU、RAM、ROM等，并构成为基于程序和数据执行各种信息处理。存储部22例如由硬盘驱动器、固态驱动器等构成。在本实施方式中，存储部22存储推理程序82、学习结果数据125等的各种信息。

推理程序82是用于使推理装置2执行使用训练完毕的推理模型5执行推理任务的后述信息处理（图9）的程序。推理程序82包含该信息处理的一系列命令。推理程序82和学习结果数据125的至少任意一个也可以存储于存储介质92。另外，推理装置2也可以从存储介质92获取推理程序82和学习结果数据125的至少任意一个。

与上述训练图30同样地，对象图221例如也可以通过照相机等的传感器得到。或者，对象图221也可以通过其他的计算机生成。在这些情况下，推理装置2可以经由通信接口23和外部接口24的至少一方与该传感器或其他的计算机连接。对象图221也可以通过经由输入装置25的输入而得到。

此外，关于推理装置2的具体的硬件结构，能够根据实施方式适当地省略、替换以及追加构成要素。例如，控制部21也可以包含多个硬件处理器。硬件处理器可以由微处理器、FPGA、DSP等构成。存储部22也可以由控制部21中包含的RAM和ROM构成。也可以省略通信接口23、外部接口24、输入装置25、输出装置26以及驱动器27的至少任意一个。推理装置2也可以由多台计算机构成。该情况下，各计算机的硬件结构既可以一致，也可以不一致。另外，推理装置2除了被设计为所提供的服务专用的信息处理装置以外，也可以是通用的服务器装置、通用的PC、平板PC、终端装置等。

[软件结构]

＜模型生成装置＞

图6示意性地例示本实施方式所涉及的模型生成装置1的软件结构的一例。模型生成装置1的控制部11将存储于存储部12的模型生成程序81加载至RAM。而且，控制部11通过CPU解释和执行加载至RAM的模型生成程序81中包含的命令，从而控制各构成要素。由此，如图6所示，本实施方式所涉及的模型生成装置1作为计算机进行动作，该计算机具备获取部111、学习处理部112以及保存处理部113作为软件模块。即，在本实施方式中，模型生成装置1的各软件模块通过控制部11（CPU）实现。

获取部111构成为获取多个训练图30。学习处理部112构成为使用获取到的多个训练图30来实施推理模型5的机器学习。推理模型5具备预处理模块50和图推理模块55。机器学习通过以使推理结果符合针对各训练图30的任务的正解（真值）的方式对推理模型5进行训练而构成，其中，该推理结果是通过将各训练图30作为输入图输入预处理模块50而从图推理模块55得到的结果。

推理模型5的训练构成为：调整（最优化）推理模型5中包含的参数的值，以从各训练图30导出符合各训练图30的输出（推理结果）。机器学习的方法可以根据采用的机器学习模型的种类等适当地选择。机器学习的方法例如可以采用误差反向传播法、解答最优化问题等方法。

在本实施方式中，推理模型5（特征提取器501和图推理模块55）可以使用神经网络。该情况下，通过将各训练图30作为输入图输入预处理模块50，执行预处理模块50和图推理模块55的正向的运算处理，由此能够得到针对各训练图30的推理结果作为图推理模块55的输出。学习处理部112构成为在机器学习的处理中对推理模型5的参数（例如，上述特征提取器501和图推理模块55的参数）进行调整，以使得针对各训练图30得到的推理结果与正解之间的误差变小。

针对各训练图30的正解（真值）例如可以通过不具有稳定匹配问题的情形下的阻塞对、满足预定的尺度、点彼此具有对应关系等预定的规则而赋予。或者，可以对获取到的各训练图30关联正解标签（教师信号）。各正解标签可以构成为示出针对对应的训练图30的推理任务的正解（真值）。

保存处理部113构成为生成与通过上述机器学习生成的训练完毕的推理模型5相关的信息作为学习结果数据125，并将所生成的学习结果数据125保存于预定的存储区域。如果能够再生训练完毕的推理模型5，则学习结果数据125的结构可以没有特别限定，可以根据实施方式适当地决定。作为一例，学习结果数据125可以包含示出通过上述机器学习的调整得到的各参数的值的信息。根据情况，学习结果数据125可以包含示出推理模型5的结构的信息。结构例如可以通过层的数量、各层的种类、各层中包含的节点的数量、相邻层的节点彼此的连接关系等而确定。

＜推理装置＞

图7示意性地例示本实施方式所涉及的推理装置2的软件结构的一例。推理装置2的控制部21将存储于存储部22的推理程序82加载至RAM。而且，控制部21通过CPU解释和执行加载至RAM的推理程序82中包含的命令，从而控制各构成要素。由此，如图7所示，本实施方式所涉及的推理装置2作为计算机进行动作，该计算机具备获取部211、推理部212以及输出部213作为软件模块。即，在本实施方式中，推理装置2的各软件模块也与模型生成装置1同样通过控制部21（CPU）实现。

获取部211构成为获取对象图221。推理部212通过保持学习结果数据125而具备训练完毕的推理模型5。推理部212构成为使用训练完毕的推理模型5来推理针对获取到的对象图221的任务的解。针对对象图221的任务的解的推理由以下步骤构成：将对象图221作为输入图输入预处理模块50，并从图推理模块55得到任务的解的推理结果。输出部213构成为输出与任务的解的推理结果相关的信息。

＜其他＞

关于模型生成装置1和推理装置2的各软件模块，在后述动作例中详细进行说明。此外，在本实施方式中，对模型生成装置1和推理装置2的各软件模块均由通用的CPU实现的例子进行说明。然而，上述软件模块的一部分或全部也可以由一个或多个专用的处理器（例如图形处理器）实现。上述各模块也可以作为硬件模块而实现。另外，关于模型生成装置1和推理装置2各自的软件结构，也可以根据实施方式适当地省略、替换以及追加软件模块。

§3 动作例

[模型生成装置]

图8是示出与本实施方式所涉及的模型生成装置1进行的机器学习相关的处理过程的一例的流程图。以下说明的模型生成装置1的处理过程是模型生成方法的一例。但是，以下说明的模型生成装置1的处理过程仅为一例，各步骤可以在可能的范围内进行变更。另外，关于以下的处理过程，可以根据实施方式适当地省略、替换以及追加步骤。

（步骤S101）

在步骤S101中，控制部11作为获取部111进行动作，获取多个训练图30。

各训练图30可以根据使推理模型5获得的任务的推理能力而适当地生成。可以适当地赋予解答任务的对象的条件，各训练图30可以根据赋予的条件生成。各训练图30也可以从示出现有的交通网、现有的通信网络等的现有数据得到。各训练图30可以从图像数据得到。图像数据既可以通过照相机得到，或者也可以通过计算机适当地生成。另外，各训练图30可以从示出二维或三维模型的点云数据得到。

各训练图30的数据格式可以没有特别限定，可以根据实施方式适当地选择。在一例中，各训练图30可以由邻接列表或者邻接矩阵构成。在另一例中，各训练图30可以由邻接列表和邻接矩阵以外的其他的数据格式（例如图像数据、点云数据等）构成。作为另一例，各训练图30可以由图像数据构成。该情况下，各像素可以对应于要素（顶点），像素间的关系性可以对应于枝。作为又一例，各训练图30可以由点云数据构成。该情况下，点云数据中包含的各点可以对应于要素。

针对各训练图30的正解（真值）可以适当地赋予。在一例中，正解（真值）可以通过预定的规则赋予。在另一例中，正解（真值）可以由正解标签（教师信号）示出。该情况下，可以适当地生成与各训练图30对应的正解标签，所生成的正解标签可以与各训练图30建立关联。由此，各训练图30也可以以关联有正解标签的数据集的形式生成。

各训练图30既可以通过计算机的动作自动生成，或者也可以通过至少部分包含操作者的操作而手动生成。另外，各训练图30的生成既可以通过模型生成装置1进行，或者也可以通过模型生成装置1以外的其他计算机进行。即，控制部11可以自动地、或者通过经由输入装置15的操作者的操作而手动生成各训练图30。或者，控制部11例如可以经由网络、存储介质91等获取通过其他计算机生成的各训练图30。也可以是多个训练图30的一部分通过模型生成装置1生成，其他通过一个或多个其他的计算机生成。多个训练图30中的至少任意一个例如也可以通过由机器学习模型构成的生成模型（例如，生成对抗网络中包含的生成模型）生成。

获取的训练图30的数量可以没有特别限定，可以根据实施方式以能够实施机器学习的方式适当地决定。当获取多个训练图30时，控制部11使处理进入下一步骤S102。

（步骤S102）

在步骤S102中，控制部11作为学习处理部112进行动作，使用获取到的多个学习训练图30来实施推理模型5的机器学习。

作为机器学习的处理的一例，首先，控制部11进行作为机器学习的处理对象的推理模型5的初始设定。推理模型5的结构和参数的初始值可以通过模板赋予，或者也可以通过操作者的输入进行决定。另外，在进行追加学习或再学习的情况下，控制部11可以基于通过过去的机器学习得到的学习结果数据，进行推理模型5的初始设定。

接着，控制部11通过机器学习对推理模型5进行训练（即，对推理模型5的参数的值进行调整），以使针对各训练图30推理任务的解的结果符合正解（真值）。在该训练处理中，可以使用随机梯度下降法、小批量梯度下降法等。

作为训练处理的一例，首先，控制部11将各训练图30输入推理模型5，执行正向的运算处理。在一例中，控制部11将示出与属于各训练图30的各集合的各个要素有关系的特征（例如，与各个要素连接的枝的特征、各个要素自身的特征）的信息输入特征提取器501，执行特征提取器501的运算处理。由此，控制部11针对每个集合算出各个要素的特征量。接着，控制部11将针对每个集合算出的各个要素的特征量输入选拔模块503，执行选拔模块503的运算处理。在选拔模块503中，控制部11根据各个要素的特征量选拔以各个要素为起点延伸的一个以上的枝。在本实施方式中，控制部11可以根据特征量算出各个要素与各个候补要素之间的似然度，并根据所算出的似然度，针对每个要素选拔一个以上的枝。控制部11针对每个集合生成示出所算出的各个要素的特征量和选拔出的一个以上的枝的图信息。而且，控制部11将针对每个集合生成的图信息输入图推理模块55，执行图推理模块55的运算处理。通过该一系列正向的运算处理，控制部11从图推理模块55获取针对各训练图30的任务的解的推理结果。

接着，控制部11算出得到的推理结果与对应的正解之间的误差。误差的计算中可以使用损失函数。损失函数例如可以根据任务、正解的格式等适当地设定。控制部11算出所算出的误差的梯度。控制部11通过误差反向传播法，并使用所算出的误差的梯度，从输出侧起依次算出推理模型5的参数的值的误差。控制部11基于所算出的各误差，更新推理模型5的各参数的值。在一例中，推理模型5的参数包含图推理模块55和预处理模块50（特征提取器501）的各参数，控制部11可以从图推理模块55至特征提取器501为止一致性地更新各参数的值。各参数的值的更新程度可以根据学习率进行调节。学习率既可以通过操作者的指定而赋予，也可以作为程序内的设定值而赋予。

控制部11通过上述一系列更新处理，针对各训练图30调整各参数的值，以使所算出的误差之和变小。例如，控制部11也可以反复通过上述一系列更新处理调整各参数的值，直到满足执行规定次数、所算出的误差之和在阈值以下等预定的条件为止。作为该机器学习的处理的结果，控制部11能够生成获得了执行与使用的训练图30相应的所期望的推理任务（即，针对赋予的图推理任务的解）的能力的训练完毕的推理模型5。当该机器学习的处理完成时，控制部11使处理进入下一步骤S103。

（步骤S103）

在步骤S103中，控制部11作为保存处理部113进行动作，生成与通过机器学习生成的训练完毕的推理模型5相关的信息作为学习结果数据125。而且，控制部11将所生成的学习结果数据125保存至预定的存储区域。

预定的存储区域例如可以为控制部11内的RAM、存储部12、外部存储装置、存储介质或者它们的组合。存储介质例如可以为CD、DVD等，控制部11也可以经由驱动器17将学习结果数据125存储至存储介质。外部存储装置例如可以为NAS（Network Attached Storage：网络附加存储）等的数据服务器。该情况下，控制部11也可以利用通信接口13经由网络将学习结果数据125存储至数据服务器。另外，外部存储装置例如也可以为经由外部接口14与模型生成装置1连接的外置的存储装置。

当学习结果数据125的保存完成时，控制部11结束本动作例所涉及的模型生成装置1的处理过程。

此外，所生成的学习结果数据125可以在任意定时向推理装置2提供。例如，控制部11也可以作为步骤S103的处理、或者与步骤S103的处理分开地将学习结果数据125转发至推理装置2。推理装置2也可以通过接收该转发而获取学习结果数据125。另外，例如，推理装置2也可以利用通信接口23并经由网络访问模型生成装置1或数据服务器，从而获取学习结果数据125。另外，例如，推理装置2也可以经由存储介质92获取学习结果数据125。另外，例如，学习结果数据125也可以预先嵌入推理装置2。

进而，控制部11也可以通过定期或不定期地反复进行上述步骤S101～步骤S103的处理，从而更新或重新生成学习结果数据125。在该反复时，可以适当地执行机器学习中使用的训练图30的至少一部分的变更、修改、追加、删除等。而且，控制部11也可以通过利用任意方法向推理装置2提供更新后的或者新生成的学习结果数据125，从而更新推理装置2所保持的学习结果数据125。

[推理装置]

图9是示出与本实施方式所涉及的推理装置2执行推理任务相关的处理过程的一例的流程图。以下说明的推理装置2的处理过程是推理方法的一例。但是，以下说明的推理装置2的处理过程仅为一例，各步骤可以在可能的范围内进行变更。另外，关于以下的处理过程，可以根据实施方式适当地省略、替换以及追加步骤。

（步骤S201）

在步骤S201中，控制部21作为获取部211进行动作，获取成为推理任务的对象的对象图221。对象图221的结构与训练图30相同。对象图221的数据格式可以根据实施方式适当地选择。对象图221例如可以根据经由输入装置25等输入的条件而生成。对象图221例如也可以从示出现有的交通网、现有的通信网络等的现有数据得到。或者，对象图221例如也可以从图像数据、点云数据等得到。在一例中，控制部21可以直接获取对象图221。在另一例中，控制部21例如可以经由网络、传感器、其他计算机、存储介质92等间接地获取对象图221。当获取对象图221时，控制部21使处理进入下一步骤S202。

（步骤S202）

在步骤S202中，控制部21作为推理部212进行动作，参考学习结果数据125进行训练完毕的推理模型5的设定。而且，控制部21使用训练完毕的推理模型5推理针对获取到的对象图221的任务的解。该推理的运算处理可以与上述机器学习的训练处理中的正向的运算处理相同。控制部21将对象图221输入训练完毕的推理模型5，执行训练完毕的推理模型5的正向的运算处理。作为执行该运算处理的结果，控制部21可以从图推理模块55获取针对对象图221推理任务的解的结果。当获取了推理结果时，控制部21使处理进入下一步骤S203。

（步骤S203）

在步骤S203中，控制部21作为输出部213进行动作，输出与推理结果相关的信息。

输出目标和输出的信息的内容分别可以根据实施方式适当地决定。例如，控制部21也可以将通过步骤S202得到的推理结果直接输出至输出装置26或者其他的计算机的输出装置。另外，控制器21也可以基于得到的推理结果执行一些信息处理。而且，控制部21也可以将该信息处理的执行结果作为与推理结果相关的信息输出。该信息处理的执行结果的输出可以包括根据推理结果对控制对象装置的动作进行控制等。输出目标例如可以为输出装置26、其他的计算机的输出装置、控制对象装置等。

当与推理结果相关的信息的输出完成时，控制部21结束本动作例所涉及的推理装置2的处理顺序。此外，控制部21也可以持续反复执行步骤S201～步骤S203的一系列信息处理。反复的定时可以根据实施方式适当地决定。由此，推理装置2可以构成为持续地反复执行上述推理任务。

[特征]

如上所述，根据本实施方式所涉及的推理模型5，通过利用预处理模块50选拔枝，能够抑制推理处理中参考的枝的数量。能够在解答针对具有图结构的数据的推理任务时实现处理的高效化。在模型生成装置1中，通过上述步骤S101和步骤S102的处理，能够生成能够高效地执行推理处理的训练完毕的推理模型5。在上述步骤S102的机器学习中，通过从图推理模块55至特征提取器501一致性地进行训练，能够生成能够在保证推理精度的基础上高效地执行推理处理的训练完毕的推理模型5。在推理装置2中，通过上述步骤S201～步骤S203的处理，能够高效地解答针对对象图221的推理任务。另外，在步骤S202的处理中，通过利用选拔模块503选拔枝，能够抑制通过图推理模块55处理的特征量的偏差的多样性。其结果是，能够期待推理精度的提高。

§4 变形例

以上，对本发明的实施方式详细进行了说明，但上述说明在所有方面均仅为本发明的例示。毋庸置疑，能够在不脱离本发明范围的情况下进行各种改良或变形。例如，能够进行如下变更。此外，以下针对与上述实施方式相同的结构要素使用相同的附图标记，对于与上述实施方式相同的点，适当地省略了说明。以下的变形例能够适当地进行组合。

＜4.1＞

上述实施方式所涉及的推理系统100可以应用于解答能够以图表达的各种任务的场景。图（训练图30、对象图221）的种类可以根据任务适当地选择。图例如可以为有向二分图、无向二分图、一般有向图、一般无向图、顶点特征图、超图等。任务例如可以为双边匹配、单边匹配、事件的估计（包括预测）、图的特征估计、图内的检索、顶点的分类（图的分割）、顶点间的关系性的估计等。以下，示出限定了应用场景的具体例。

（A）采用有向二分图的场景

图10示意性地例示第一具体例所涉及的推理系统100A的应用场景的一例。第一具体例是将上述实施方式应用于采用有向二分图作为表达被赋予的条件（解答任务的对象）的图的场景的例子。第一具体例所涉及的推理系统100A具备模型生成装置1和推理装置2A。推理装置2A是上述推理装置2的一例。

在第一具体例中，各训练图30A和对象图221A（输入图）是有向二分图70A。有向二分图70A中包含的多个要素（顶点）以各子集（71A、72A）内的要素彼此间不存在枝的方式被划分为属于两个子集（71A、72A）的任意一个。分别定义从属于两个子集（71A、72A）中的一个子集的要素朝向属于另一个子集的要素的枝、和从属于另一个子集的要素朝向属于一个子集的要素的枝。输入图的多个集合由有向二分图70A的两个子集（71A、72A）构成。各训练图30A和对象图221A是上述实施方式中的各训练图30和对象图221的一例。有向二分图70A中的要素的数量和要素间的有向枝的有无可以适当地赋予以适当地表达解答任务的对象。

任务如果能够通过有向二分图表达，其内容可以没有特别限定，可以根据实施方式适当地选择。在一例中，任务可以为双边匹配。即，任务可以是两个团体之间的匹配任务，且是决定属于各个团体的对象彼此间的最佳配对。该情况下，有向二分图70A的两个子集（71A、72A）与匹配任务中的两个团体相对应。属于有向二分图70A的各子集（71A、72A）的要素与属于各个团体的对象相对应。

从属于一个子集的要素向属于另一个子集的要素流出的有向枝的特征与从属于一个团体的对象朝向属于另一个团体的对象的期望度相对应。同样地，从属于另一个子集的要素向属于一个子集的要素流出的有向枝的特征与从属于另一个团体的对象朝向属于一个团体的对象的期望度相对应。即，从各个要素流出的有向枝的特征与从与各个要素对应的对象朝向属于另一个团体（与对应的对象所属的团体不同的团体）的对象的期望度相对应。

如果能够示出期望组对（匹配）的程度，则期望度的形式可以没有特别限定，可以根据实施方式适当地选择。期望度例如可以由期望顺位、得分等表达。得分用数值示出期望组对的程度。得分可以适当地赋予。在一例中，可以在从各对象赋予了期望顺位的列表之后，通过预定的运算对各对象的列表所示的期望顺位进行数值转换而得到得分，可以将得到的得分用作期望度。

匹配的对象可以根据实施方式适当地选择。匹配的对象例如可以为男/女、室友、求职者/雇主、员工/部门、患者/医生、能量的供给者/受供者等。此外，与任务为匹配相对应地，推理装置2A可以替换为匹配装置。

图推理模块55可以构成为根据每个子集（71A、72A）的图信息推理匹配结果。可以适当地赋予机器学习中的正解，以得到满足期望的标准的匹配结果。

在第一具体例中，在模型生成装置1的机器学习时和推理装置2A的推理处理时，将有向二分图70A看作输入图。属于各集合的各个要素的特征量的计算构成为：根据以属于有向二分图70A的各子集（71A、72A）的各个要素为起点延伸的枝（换言之，从各个要素流出的有向枝）的特征算出各个要素的特征量。即，特征提取器501构成为针对有向二分图70A的每个子集（71A、72A），根据从各个要素流出的有向枝的特征算出各个要素的特征量。除了这些点以外，第一具体例的结构可以与上述实施方式相同。

（模型生成装置）

在第一具体例中，模型生成装置1能够通过与上述实施方式同样的处理过程生成训练完毕的推理模型5，该训练完毕的推理模型5获得了推理针对有向二分图70A的任务的解的能力。

即，在步骤S101中，控制部11获取多个训练图30A。各训练图30A由有向二分图70A构成。各训练图30A中的要素（顶点）和枝的设定可以适当地赋予，以适当地表达训练对象的条件。在步骤S102中，控制部11使用获取到的多个训练图30A来实施推理模型5的机器学习。通过该机器学习，能够生成训练完毕的推理模型5，该训练完毕的推理模型5获得了推理针对有向二分图70A的任务的解的能力。任务可以为上述匹配任务。在步骤S103中，控制部11生成示出所生成的训练完毕的推理模型5的学习结果数据125，并将所生成的学习结果数据125保存于预定的存储区域。学习结果数据125可以在任意定时向推理装置2A提供。

（推理装置）

推理装置2A的硬件结构和软件结构可以与上述实施方式所涉及的推理装置2相同。在第一具体例中，推理装置2A能够通过与上述推理装置2相同的处理过程来推理针对有向二分图70A的任务的解。

即，在步骤S201中，推理装置2A的控制部作为获取部进行动作，获取对象图221A。对象图221A由有向二分图70A构成。对象图221A中的要素（顶点）和枝的设定可以适当地赋予，以适当地表达推理对象的条件。在步骤S202中，控制部作为推理部进行动作，使用训练完毕的推理模型5来推理针对获取到的对象图221A的任务的解。在训练完毕的推理模型5获得了执行上述匹配任务的能力的情况下，控制部能够得到匹配的推理结果。

在步骤S203中，控制部作为输出部进行动作，输出与推理结果相关的信息。作为一例，在得到了上述匹配的推理结果的情况下，控制部也可以将得到的推理结果直接输出至输出装置。由此，推理装置2A也可以催促操作者是否采用推理结果。作为另一例，在得到上述匹配的推理结果的情况下，控制部也可以使推理结果的至少一部分的匹配成立（确定）。该情况下，匹配的对象（要素）可以在任意的定时追加，推理装置2A也可以反复执行自由的对象（要素）彼此的匹配。通过执行匹配任务而匹配成立的对象（要素）可以从下次以及之后的匹配任务的对象排除。另外，成立的匹配可以在任意的定时解除，匹配被解除的对象（要素）可以追加至此后的匹配任务的对象中。由此，推理装置2A可以构成为在线实时执行匹配。

（特征）

根据第一具体例，在由有向二分图70A表达被赋予的任务（例如匹配任务）的场景中，能够实现推理处理的高效化。在模型生成装置1中，能够生成能够高效地执行由有向二分图70A表达的任务的训练完毕的推理模型5。在推理装置2A中，通过使用这样的训练完毕的推理模型5，能够高效地推理由有向二分图70A表达的任务的解。

此外，在有向二分图70A中，也可以不必对两个子集（71A、72A）间的所有要素的组合赋予有向枝。即，也可以存在未被赋予有向枝的要素的组合。该情况下，选拔模块503可以与是否在要素间预先赋予了枝无关地选拔从各个要素流出的一个以上的有向枝。由此，即使未赋予有向枝，也能够参考对解答任务有益的要素的组合来推理任务的解。其结果是，能够期待推理精度的提高。

（B）采用无向二分图的场景

图11示意性地例示第二具体例所涉及的推理系统100B的应用场景的一例。第二具体例是将上述实施方式应用于采用无向二分图作为表达被赋予的条件（解答任务的对象）的图的场景的例子。第二具体例所涉及的推理系统100B具备模型生成装置1和推理装置2B。推理装置2B是上述推理装置2的一例。

在第二具体例中，各训练图30B和对象图221B（输入图）是无向二分图70B。构成无向二分图70B的多个顶点以在各子集（71B、72B）内的顶点彼此间不存在枝的方式被划分为属于两个子集（71B、72B）的任意一个。从属于两个子集（71B、72B）中的一个子集的要素朝向属于另一个子集的要素的枝、以及从属于另一个子集的要素朝向属于一个子集的要素的枝相互不区别地被定义。输入图的多个集合由无向二分图70B的两个子集（71B、72B）构成。各训练图30B和对象图221B是上述实施方式中的各训练图30和对象图221的一例。此外，无向二分图70B中的要素的数量以及要素间有无枝可以适当地赋予，以适当地表达解答任务的对象。

任务只要能够通过无向二分图进行表达，其内容可以没有特别限定，可以根据实施方式适当地选择。在一例中，任务可以为单边匹配。即，任务可以是两个团体之间的匹配任务，且是决定属于各个团体的对象彼此间的最佳配对。该情况下，无向二分图70B的两个子集（71B、72B）与匹配任务中的两个团体相对应。属于无向二分图70B的各子集（71B、72B）的要素（顶点）与属于各个团体的对象相对应。将属于两个子集（71B、72B）中的一方的要素和属于另一方的要素连接的枝的特征，与将属于两个团体中的一方的对象和属于另一方的对象（具体为与通过枝连接的两个要素对应的两个对象）彼此配对的成本或者报酬相对应。

匹配的对象可以根据实施方式适当地选择。匹配的对象例如可以为搬运机器人/货物、房间/客人（住宿设施的自动登记）、座位/客人（例如公共交通工具、游乐设施等中的座位分配）等。在另一例中，可以以在多个图像（例如动态图像中的连续帧）之间跟踪多个物体的方式执行匹配。该情况下，可以是第一图像对应于一个团体，第二图像对应于另一个团体，匹配的对象（顶点）可以是各图像中检测出的物体（或者物体区域）。通过在各图像间匹配同一物体，可以进行该物体的跟踪。

成本示出妨碍匹配的程度。报酬示出促进匹配的程度。作为一例，在进行搬运机器人和货物的匹配的场景中，可以将对象搬运机器人至对象货物的距离设定为成本。作为另一例，在进行座位和客人的匹配的场景中，可以将对象客人的喜好（例如窗侧、通道侧等喜好的位置）设定为针对对象座位的报酬。成本或报酬的数值表达可以根据实施方式适当地决定。此外，与任务为匹配相对应地，推理装置2A可以替换为匹配装置。

在另一例中，在卷积神经网络中得到的特征图可以理解为无向二分图，该无向二分图具有属于一个子集的高度h个的要素和属于另一个子集的宽度w个的要素。因此，无向二分图70B可以由这样的特征图构成，任务可以是针对图像的预定的推理。针对图像的推理例如可以是分割区域、检测物体等。这些预定的推理例如可以在提取利用车辆的照相机得到的拍摄图像中映现的对象的场景、检测利用配置于街头的照相机得到的拍摄图像中映现的人物的场景等各种场景下执行。此外，卷积神经网络的结构可以没有特别限定，可以根据实施方式适当地设定。另外，特征图既可以作为卷积神经网络的输出而得到，也可以作为卷积神经网络的中途的运算结果而得到。

图推理模块55可以适当地构成为从每个子集（71B、72B）的图信息导出针对无向二分图70B的任务（例如上述匹配、针对图像的预定的推理等）的解的推理结果。机器学习中的正解可以根据针对无向二分图70B的任务的内容适当地赋予。在任务为上述匹配任务的情况下，与上述第一具体例同样地，机器学习中的正解可以适当地赋予，以得到满足所期望的基准的匹配结果。在任务为针对上述图像的预定推理的情况下，例如可以对各训练图30B适当地赋予区域分割的真值、物体的检测结果的真值等推理的正解。

在第二具体例中，在模型生成装置1的机器学习时和推理装置2B的推理处理时，将无向二分图70B看作输入图。属于各集合的各个要素的特征量的计算构成为：根据与属于无向二分图70B的各子集（71B、72B）的各个要素连接的枝的特征来计算各个要素的特征量。即，特征提取器501构成为针对无向二分图70B的每个子集（71B、72B），根据与各个要素连接的枝的特征来计算各个要素的特征量。除了这些点以外，第二具体例的结构可以与上述实施方式相同。

（模型生成装置）

在第二具体例中，模型生成装置1能够通过与上述实施方式同样的处理过程生成训练完毕的推理模型5，该训练完毕的推理模型5获得了推理针对无向二分图70B的任务的解的能力。

即，在步骤S101中，控制部11获取多个训练图30B。各训练图30B由无向二分图70B构成。各训练图30B中的要素（顶点）和枝的设定可以适当地赋予以适当地表达训练对象的条件。在步骤S102中，控制部11使用获取得多个训练图30B实施推理模型5的机器学习。通过该机器学习，可以生成训练完毕的推理模型5，该训练完毕的推理模型5获得了推理针对无向二分图70B的任务的解的能力。任务例如可以为上述匹配任务、针对图像的推理任务等。在步骤S103中，控制部11生成示出所生成的训练完毕的推理模型5的学习结果数据125，并将所生成的学习结果数据125保存于预定的存储区域。学习结果数据125可以在任意定时向推理装置2B提供。

（推理装置）

推理装置2B的硬件结构和软件结构可以与上述实施方式所涉及的推理装置2相同。在第二具体例中，推理装置2B能够通过与上述推理装置2相同的处理过程来推理针对无向二分图70B的任务的解。

即，在步骤S201中，推理装置2B的控制部作为获取部进行动作，获取对象图221B。对象图221B由无向二分图70B构成。对象图221B中的要素（顶点）和枝的设定可以适当地赋予，以适当地表达推理对象的条件。在训练完毕的推理模型5获得了执行针对上述图像的预定推理的能力的情况下，控制部可以通过执行卷积神经网络的运算处理而获取对象图221B（特征图）。

在步骤S202中，控制部作为推理部进行动作，使用训练完毕的推理模型5来推理针对获取的对象图221B的任务的解。在训练完毕的推理模型5获得了执行上述匹配任务的能力的情况下，控制部能够得到匹配的推理结果。在训练完毕的推理模型5获得了执行针对上述图像的预定推理的能力的情况下，控制部能够得到针对获取到对象图221B的图像的预定推理的结果。

在步骤S203中，控制部作为输出部进行动作，输出与推理结果相关的信息。作为一例，控制部可以将得到的推理结果直接输出至输出装置。作为另一例，在得到了匹配的推理结果的情况下，与上述第一具体例同样地，控制部也可以使推理结果的至少一部分的匹配成立。该情况下，进一步与上述第一具体例同样地，推理装置2B可以构成为在线实时地执行匹配。例如，在上述自动登记/座位分配的事例中，推理装置2B可以随着客人的来访和房间/座位的开放而将对应的要素追加至各子集，根据客人的要求，通过匹配来分配空房间/空座位。而且，推理装置2B可以从各子集中删除与所分配的客人和房间/座位对应的各个要素。作为又一例，在上述物体跟踪的情况下，控制器可以根据推理结果跟踪各图像内的一个以上的物体。该情况下，推理装置2B可以构成为在图像内检测到时将对象物体追加至匹配的对象，在图像内未检测到（例如，去到拍摄范围以外、被遮挡物的影子遮住等）时将对象物体从匹配的对象排除。由此，推理装置2B可以构成为实时地执行物体跟踪。

（特征）

根据第二具体例，在被赋予的任务（例如，匹配任务、针对图像的推理任务）由无向二分图70B表达的场景中，能够实现推理处理的高效化。在模型生成装置1中，能够生成能够高效地执行由无向二分图70B表达的任务的训练完毕的推理模型5。在推理装置2B中，通过使用这样的训练完毕的推理模型5，能够高效地推理由无向二分图70B表达的任务的解。

另外，与第一具体例同样地，在无向二分图70B中，也可以不必对两个子集（71B、72B）间的全部要素的组合赋予枝。选拔模块503可以与是否在要素间预先赋予了枝无关地选拔从各个要素延伸的一个以上的枝。由此，即使未赋予枝，也能够参考对解答任务有益的要素的组合来推理任务的解。其结果是，能够期待推理精度的提高。

（C）采用一般有向图的情况

图12示意性地例示第三具体例所涉及的推理系统100C的应用场景的一例。第三具体例是将上述实施方式应用于采用一般有向图（也可以简称为有向图）作为表达被赋予的条件（解答任务的对象）的图的场景的例子。第三具体例所涉及的推理系统100C具备模型生成装置1和推理装置2C。推理装置2C是上述推理装置2的一例。

在第三具体例中，各训练图30C和对象图221C（输入图）是一般有向图70C。一般有向图70C可以由多个要素（顶点）和连结要素（顶点）之间的一个以上的有向枝构成。图中的圆形标记、方形标记以及星形标记示出要素（顶点）。输入图的多个集合由第一集合和第二集合构成。属于第一集合的要素与构成一般有向图70C的有向枝的起点对应，属于第二集合的要素与有向枝的终点对应。因此，第一集合和第二集合的要素的数量可以相同，属于各集合的要素可以相同。从属于第一集合的要素向属于第二集合的要素流出的枝与从起点向终点流出的有向枝对应，从属于第二集合的要素向属于第一集合的要素流出的枝与从起点向终点流入的有向枝对应。各训练图30C和对象图221C是上述实施方式中的各训练图30和对象图221的一例。此外，一般有向图70C中的要素的数量和要素间有无有向枝可以适当地决定，以适当地表达解答任务的对象。

任务如果能够通过一般有向图进行表达，则其内容可以没有特别限定，可以根据实施方式适当地选择。在一例中，一般有向图70C可以构成为表达网络。网络例如可以对应于公路网、铁路网、航路网、航空路网等交通网。或者，网络可以对应于通信网。与此相对应地，任务可以是对网络上发生的事件进行推理（包括预测）。事件的推理例如可以是预估两个顶点之间的移动所花费的时间、预测异常的发生、检索最佳路线等。

该情况下，有向枝的特征可以构成为包括网络中对应的顶点之间的连接的属性。在网络对应于交通网的情况下，各顶点可以对应于交通的据点（例如交叉路口、主要地点、车站、港口、机场等），连接的属性例如可以是路的种类（例如普通道路、高速道路等道路的种类）、路的通行容许量、移动所花费的时间、距离等。在网络对应于通信网的情况下，各顶点可以对应于通信的据点（例如服务器、路由器、交换机等)，连接的属性例如可以是通信的种类、通信容许量、通信速度等。有向枝的特征可以由一个以上的属性值构成。此外，与事件的预测相对应地，推理装置2C可以替换为预测装置。

在另一例中，任务可以是对一般有向图进行分割（即，对构成一般有向图的要素进行分类）。作为任务的具体例，一般有向图70C可以是示出根据在连续两张图像间将特征点建立对应的结果得到的运动的相似性的加权图。该情况下，上述图的分割可以为了以判定对应的正确性为目的检测稠密的部分图而执行。或者，一般有向图70C可以是示出图像内的特征点的图。该情况下，上述图的分割可以为了将特征点按每个物体进行分类而执行。在各个事例中，可以以示出特征点之间的关系性的方式适当地设定有向枝的特征。

在又一例中，任务可以是推理一般有向图所表达的特征。作为任务的具体例，一般有向图70C例如可以为知识图等表达对象物（例如人、物等）的轮廓的图。该情况下，任务可以是推理从由图表达的轮廓导出的对象物的特征。

图推理模块55可以适当地构成为从各集合的图信息导出针对一般有向图70C的任务（例如上述事件推理、图分割、特征推理等）的解的推理结果。机器学习中的正解可以根据针对一般有向图70C的任务的内容适当地赋予。例如，可以向各训练图30C适当地赋予事件的真值、分割的真值、特征的真值等推理的正解。

在第三具体例中，在模型生成装置1的机器学习时和推理装置2C的推理处理时，将一般有向图70C看作输入图。属于各集合的各个要素的特征量的计算构成为以下步骤：根据从属于第一集合的要素流出的有向枝的特征，算出属于第一集合的要素的特征量；以及根据流入属于第二集合的要素的有向枝的特征，算出属于第二集合的要素的特征量。即，特征提取器501构成为：根据从属于第一集合的各个要素流出的有向枝的特征，算出属于第一集合的各个要素的特征量，并且根据流入属于第二集合的各个要素的有向枝的特征，算出属于第二集合的各个要素的特征量。除了这些点以外，第三具体例的结构可以与上述实施方式相同。

（模型生成装置）

在第三具体例中，模型生成装置1可以通过与上述实施方式同样的处理过程生成训练完毕的推理模型5，该训练完毕的推理模型5获得了推理针对一般有向图70C的任务的解的能力。

即，在步骤S101中，控制部11获取多个训练图30C。各训练图30C由一般有向图70C构成。各训练图30C中的要素（顶点）和有向枝的设定可以适当地赋予，以适当地表达训练对象的条件。在步骤S102中，控制部11使用获取到的多个训练图30C来实施推理模型5的机器学习。通过该机器学习，能够生成训练完毕的推理模型5，该训练完毕的推理模型5获得了推理针对一般有向图70C的任务的解的能力。任务例如可以是上述事件推理、图分割、特征推理等。在步骤S103中，控制部11生成示出所生成的训练完毕的推理模型5的学习结果数据125，并将所生成的学习结果数据125保存于预定的存储区域。学习结果数据125可以在任意定时向推理装置2C提供。

（推理装置）

推理装置2C的硬件结构和软件结构可以与上述实施方式所涉及的推理装置2相同。在第三具体例中，推理装置2C可以通过与上述推理装置2相同的处理过程来推理针对一般有向图70C的任务的解。

即，在步骤S201中，推理装置2C的控制部作为获取部进行动作，获取对象图221C。对象图221C由一般有向图70C构成。对象图221C中的要素（顶点）和有向枝的设定可以适当地赋予，以适当地表达推理对象的条件。在步骤S202中，控制部作为推理部进行动作，使用训练完毕的推理模型5来推理针对获取到的对象图221C的任务的解。

在步骤S203中，控制部作为输出部进行动作，输出与推理结果相关的信息。作为一例，控制部可以将得到的推理结果直接输出至输出装置。作为另一例，在得到了在上述网络上发生的事件的推理结果的情况下，控制部也可以在异常发生的可能性为阈值以上时输出通知该情况的警报。作为又一例，在得到了通信网中的最佳路线的推理结果的情况下，控制部也可以按照推理出的最佳路线发送数据包。

（特征）

根据第三具体例，在被赋予的任务由一般有向图70C表达的场景中，能够实现推理处理的高效化。在模型生成装置1中，能够生成能够高效地执行由一般有向图70C表达的任务的训练完毕的推理模型5。在推理装置2C中，通过使用这样的训练完毕的推理模型5，能够高效地推理由一般有向图70C表达的任务的解。

另外，与第一具体例等同样地，在一般有向图70C中，也可以不必对第一集合与第二集合之间的所有要素的组合赋予有向枝。选拔模块503可以与是否在要素间预先赋予了枝无关地选拔从各个要素延伸的一个以上的枝。由此，即使未赋予枝，也能够参考对解答任务有益的要素的组合来推理任务的解。其结果是，能够期待推理精度的提高。

（D）采用一般无向图的情况

图13示意性地例示第四具体例所涉及的推理系统100D的应用场景的一例。第四具体例是将上述实施方式应用于采用一般无向图（也可以简称为无向图）作为表达被赋予的条件（解答任务的对象）的图的场景的例子。第四具体例所涉及的推理系统100D具备模型生成装置4和推理装置2D。推理装置2D是上述推理装置2的一例。

在第四具体例中，各训练图30D和对象图221D（输入图）是一般无向图70D。一般无向图70D可以由多个要素（顶点）和连结要素（顶点）之间的一个以上的枝构成。输入图的多个集合由第一集合和第二集合构成。分别属于第一集合和第二集合的各个要素与构成一般无向图70D的各个要素对应。因此，与上述第三具体例同样地，第一集合和第二集合的要素的数量可以相同，属于各集合的要素可以相同。从属于第一集合的要素向属于第二集合的要素延伸的枝和从属于第二集合的要素向属于第一集合的要素延伸的枝都对应于连接对应两个要素的枝（无向枝）。各训练图30D和对象图221D是上述实施方式中的各训练图30和对象图221的一例。此外，一般无向图70D中的要素的数量和要素间有无枝可以适当地决定，以适当地表达解答任务的对象。

任务如果能够通过一般无向图进行表达，则其内容可以没有特别限定，可以根据实施方式适当地选择。除了枝不具有方向性这一点以外，第四具体例中的任务可以与第三具体例相同。即，在一例中，一般无向图70D可以构成为表达网络。与此相应地，任务可以是推理（包括预测）网络上发生的事件。该情况下，枝的特征可以构成为包括网络中对应顶点之间的连接的属性。此外，与事件的推理相对应地，推理装置2D可以改称为预测装置。在另一例中，任务可以是分割一般无向图。在又一例中，任务可以是推理一般无向图所表达的特征。

图推理模块55可以适当地构成为从各集合的图信息导出针对一般无向图70D的任务（例如上述事件推理、图分割、特征推理等）的解的推理结果。机器学习中的正解可以根据针对一般无向图70D的任务的内容适当地赋予。例如，可以向各训练图30C适当地赋予事件的真值、分割的真值、特征的真值等推理的正解。

在第四具体例中，在模型生成装置1的机器学习时和推理装置2D的推理处理时，将一般无向图70D看作输入图。属于各集合的各个要素的特征量的计算构成为根据与各个要素连接的枝的特征算出各个要素的特征量。即，特征提取器501构成为针对每个集合，根据与各个要素连接的枝的特征算出各个要素的特征量。此外，在第四具体例中，针对第一集合的运算结果和针对第二集合的运算结果可能变得相同。因此，特征提取器501进行的特征量的计算、选拔模块503进行的枝的选择、以及图推理模块55进行的推理处理可以针对第一集合和第二集合相同地执行。即，可以省略针对第一集合的一系列运算处理和针对第二集合的一系列运算处理中的任意一方，可以看作通过执行任意一方的运算处理而执行了双方的运算处理。除了这些点以外，第四具体例的结构可以与上述实施方式相同。

（模型生成装置）

在第四具体例中，模型生成装置1能够通过与上述实施方式同样的处理过程生成训练完毕的推理模型5，该训练完毕的推理模型5获得了推理针对一般无向图70D的任务的解的能力。

即，在步骤S101中，控制部11获取多个训练图30D。各训练图30D由一般无向图70D构成。各训练图30D中的要素（顶点）和枝的设定可以适当地赋予，以适当地表达训练对象的条件。在步骤S102中，控制部11使用获取到的多个训练图30D来实施推理模型5的机器学习。通过该机器学习，能够生成训练完毕的推理模型5，该训练完毕的推理模型5获得了推理针对一般无向图70D的任务的解的能力。在步骤S103中，控制部11生成示出所生成的训练完毕的推理模型5的学习结果数据125，并将所生成的学习结果数据125保存于预定的存储区域。学习结果数据125可以在任意定时向推理装置2D提供。

（推理装置）

推理装置2D的硬件结构和软件结构可以与上述实施方式所涉及的推理装置2相同。在第四具体例中，推理设备2D能够通过与上述推理装置2相同的处理过程来推理针对一般无向图70D的任务的解。

即，在步骤S201中，推理装置2D的控制部作为获取部进行动作，获取对象图221D。对象图221D由一般无向图70D构成。对象图221D中的要素（顶点）和枝的设定可以适当地赋予，以适当地表达推理对象的条件。在步骤S202中，控制部作为推理部进行动作，使用训练完毕的推理模型5来推理针对获取到的对象图221D的任务的解。

在步骤S203中，控制部作为输出部进行动作，输出与推理结果相关的信息。作为一例，控制部可以将得到的推理结果直接输出至输出装置。作为另一例，在得到了在上述网络上发生的事件的推理结果的情况下，控制部也可以在异常发生的可能性为阈值以上时输出通知该情况的警报。作为又一例，在得到了通信网中的最佳路线的推理结果的情况下，控制部也可以按照推理出的最佳路线发送数据包。

（特征）

根据第四具体例，在被赋予的任务由一般无向图70D表达的场景中，能够实现推理处理的高效化。在模型生成装置1中，能够生成能够高效地执行由一般无向图70D表达的任务的训练完毕的推理模型5。在推理装置2D中，通过使用这样的训练完毕的推理模型5，能够高效地推理由一般无向图70D表达的任务的解。

另外，与第一具体例等同样地，在一般无向图70D中，也可以不必对第一集合与第二集合之间的所有要素的组合赋予枝。选拔模块503可以与是否在要素间预先赋予了枝无关地选拔从各个要素延伸的一个以上的枝。由此，即使未赋予枝，也能够参考对解答任务有益的要素的组合来推理任务的解。其结果是，能够期待推理精度的提高。

（E）采用要素之间的关系性不明的顶点特征图的情况

图14示意性地例示第五具体例所涉及的推理系统100E的应用场景的一例。第五具体例是将上述实施方式应用于采用顶点特征图作为表达被赋予的条件（解答任务的对象）的图、且构成所采用的顶点特征图的要素（顶点）间的关系性未知的场景的例子。第五具体例所涉及的推理系统100E具备模型生成装置5和推理装置2E。推理装置2E是上述推理装置2的一例。

在第五具体例中，各训练图30E和对象图221E（输入图）是包含多个要素（顶点）的顶点特征图70E，该顶点特征图70E构成为各个要素具有属性（顶点特征）。各个要素所具有的属性的种类和数量可以根据实施方式适当地决定。各个要素可以具有一种以上的属性值。权重是属性的一例，顶点加权图是顶点特征图70E的一例。

顶点特征图70E中包含的各个要素（顶点）可以适当地划分至各集合。集合的数量可以根据实施方式适当地决定。在一例中，顶点特征图70E中包含的所有要素可以被划分为第一集合和第二集合的双方，属于第一集合的要素和属于第二集合的要素可以彼此相同。在另一例中，属于第一集合的要素和属于第二集合的要素可以部分重复。在又一例中，在推理上述点云数据之间的对应关系的事例中，各集合可以对应于点云数据，属于各集合的要素可以对应于构成点云数据的各点。该情况下，属于各集合的要素可以不重复。各训练图30E和对象图221E是上述实施方式中的各训练图30和对象图221的一例。此外，顶点特征图70E中的要素（顶点）的数量和属性可以适当地决定，以适当地表达解答任务的对象。

任务如果能够通过要素之间的关系性未知的顶点特征图进行表达，则其内容可以没有特别限定，可以根据实施方式适当地选择。在一例中，任务可以是估计属于各集合的要素之间的关系性。关系性的估计例如可以是判定是否为上述点云数据的匹配中的同一点。

作为任务的具体例，顶点特征图70E可以构成为与检测出物体的图像相对应（例如场景图）。该情况下，各个要素可以对应于检测到的物体，各个要素的属性可以对应于检测到的物体的属性。输入图的多个集合可以由第一集合和第二集合构成，顶点特征图70E中包含的所有要素可以划分至第一集合和第二集合的双方。各个要素之间的关系性的估计可以是推理图像中显现的特征（图像识别）。该具体例可以在进行图像识别的各种场景中采用。

作为任务的其他具体例，顶点特征图70E可以构成为与拍到一人以上的人物且检测出人物的特征点的图像相对应（例如，场景图、骨骼模型）。该情况下，各个要素可以对应于检测出的人物的特征点（例如关节等），各个要素的属性可以对应于检测出的特征点的属性（例如关节的种类、位置、倾斜等）。输入图的多个集合可以由第一集合和第二集合构成，顶点特征图70E中包含的所有要素可以划分至第一集合和第二集合的双方。各个要素的关系性的估计可以是推理人物的动作的种类（动作解析）。该具体例例如可以在进行体育（特别是团体竞技）的动态图像解析等动作解析的各种场景中采用。

作为任务的其他具体例，顶点特征图70E可以构成为示出组成物的性质。组成物的性质例如可以通过对人体的影响的种类（药效、副作用、残留性、皮肤接触时的反应等）、各种效果的程度（光电效应的高效性、热电效应的高效性、红外线的吸收/反射效率、摩擦系数等）等进行预定。该情况下，各个要素可以对应于特定的性质，各个要素的属性可以构成为示出特定性质的程度。输入图的多个集合可以由第一集合和第二集合构成，顶点特征图70E中包含的所有要素可以划分至第一集合和第二集合的双方。各个要素的关系性的估计可以是推理（生成）满足由顶点特征图70E示出的性质的组成物的结构（例如化学式、物理晶体结构）。

作为任务的其他具体例，顶点特征图70E可以由分别示出二维或三维模型的多个点云数据构成。该情况下，各集合可以对应于各件点云数据，属于各集合的各个要素可以对应于对应点云数据中包含的点。各个要素的属性可以对应于点云数据中包含的点的属性。各个要素的关系性的估计例如可以是点云的对位、光流的估计、立体匹配等点彼此的匹配。

图推理模块55可以被适当地构成为从各集合的图信息导出针对顶点特征图70E的任务（例如上述图像识别、动作分析、结构生成、匹配等）的解的推理结果。机器学习中的正解可以根据针对顶点特征图70E的任务的内容适当地赋予。例如，可以向各训练图30E适当地赋予图像识别的真值、动作解析的真值、结构生成的真值等推理的正解。

在第五具体例中，在模型生成装置1的机器学习时和推理装置2E的推理处理时，将顶点特征图70E看作输入图。属于各集合的各个要素的特征量的计算构成为根据各个要素所具有的属性来计算各个要素的特征量。即，特征提取器501构成为针对每个集合，根据各个要素所具有的属性来计算各个要素的特征量。除了这些点以外，第五具体例的结构可以与上述实施方式相同。

（模型生成装置）

在第五具体例中，模型生成装置1能够通过与上述实施方式同样的处理过程生成训练完毕的推理模型5，该训练完毕的推理模型5获得了推理针对顶点特征图70E的任务的解的能力。

即，在步骤S101中，控制部11获取多个训练图30E。各训练图30E由顶点特征图70E构成。各训练图30E中的要素（顶点）和属性的设定可以适当地赋予，以适当地表达训练对象的条件。在步骤S102中，控制部11使用获取到的多个训练图30E来实施推理模型5的机器学习。通过该机器学习，能够生成获得了针对顶点特征图70E推理任务的解的能力的训练完毕的推理模型5。在步骤S103中，控制部11生成示出所生成的训练完毕的推理模型5的学习结果数据125，并将所生成的学习结果数据125保存于预定的存储区域。学习结果数据125可以在任意定时向推理装置2E提供。

（推理装置）

推理装置2E的硬件结构和软件结构可以与上述实施方式所涉及的推理装置2相同。在第五具体例中，推理装置2E可以通过与上述推理装置2相同的处理过程推理针对顶点特征图70E的任务的解。

即，在步骤S201中，推理装置2E的控制部作为获取部进行动作，获取对象图221E。对象图221E由顶点特征图70E构成。对象图221E中的要素（顶点）和属性的设定可以适当地赋予，以适当地表达推理对象的条件。在结构生成的事例中，各性质的值（即，各个要素的属性值）可以利用随机数进行赋予，或者也可以通过操作者的指定进行赋予。在步骤S202中，控制部作为推理部进行动作，使用训练完毕的推理模型5推理针对获取的对象图221E的任务的解。在一例中，任务是估计对象图221E中的要素之间的关系性。

在步骤S203中，控制部作为输出部进行动作，输出与推理结果相关的信息。作为一例，控制部可以将得到的推理结果直接输出至输出装置。作为另一例，控制部可以执行与得到的推理结果相应的信息处理。例如，在对象图221E构成为与已检测出物体的图像对应的情况下，控制部可以执行与图像识别的结果相应的信息处理。作为具体的应用场景，第五具体例可以应用于识别通过利用照相机拍摄车辆外部的状况而得到的拍摄图像的场景。在该场景中，在基于图像识别的结果判定为障碍物正接近车辆的情况下，控制部可以向车辆发出避开障碍物的指令（例如，停止、变更车道等）。另外，例如，在对象图221E构成为与检测到人物的特征点的图像相对应的情况下，控制部可以执行与动作解析的结果相应的信息处理。作为具体的应用场景，第五具体例可以应用于进行利用设置于铁路车站的站台上的照相机得到的拍摄图像中映现的人物的动作解析的场景。在该场景中，在基于动作解析的结果判定为危险迫近位于站台的人物（例如将要从站台跌落）的情况下，控制部也可以输出通知该情况的警报。

（特征）

根据第五具体例，在由顶点特征图70E表达被赋予的任务（例如，估计要素之间的关系性）的场景中，能够实现推理处理的高效化。在模型生成装置1中，能够生成能够高效地执行由顶点特征图70E表达的任务的训练完毕的推理模型5。在推理装置2D中，通过使用这样的训练完毕的推理模型5，能够高效地推理由顶点特征图70E表达的任务的解。

（F）采用定义了要素之间的关系性的顶点特征图的情况

图15示意性地例示第六具体例所涉及的推理系统100F的应用场景的一例。第六具体例是将上述实施方式应用于采用顶点特征图作为表达被赋予的条件（解答任务的对象）的图、且所采用的顶点特征图中包含的要素（顶点）间的关系性已知的场景的例子。第六具体例所涉及的推理系统100F具备模型生成装置1和推理装置2F。推理装置2F是上述推理装置2的一例。

在第六具体例中，各训练图30F和对象图221F（输入图）是包含多个要素（顶点）的顶点特征图70F，且是构成为各个要素具有属性的顶点特征图70F。在第六具体例中，定义了顶点特征图70F中包含的各个要素之间的关系性。除了预先定义了关系性这一点以外，顶点特征图70F可以与上述第五具体例中的顶点特征图70E同样地构成。各训练图30F和对象图221F是上述实施方式中的各训练图30和对象图221的一例。此外，顶点特征图70F中的要素（顶点）的数量、属性以及要素（顶点）间的枝可以适当地决定，以适当地表达解答任务的对象。

任务如果能够通过顶点特征图表达，则其内容可以没有特别限定，可以根据实施方式适当地选择。在一例中，任务可以是推理从顶点特征图70F导出的事件。

作为任务的具体例，顶点特征图70F可以构成为显示示出组成的化学式或物理晶体结构。该情况下，各个要素与元素相对应，各个要素的属性例如可以与元素的种类等元素的属性相对应。要素之间的关系性可以与元素间的连接关系相对应。输入图的多个集合可以由第一集合和第二集合构成，顶点特征图70F中包含的所有要素可以划分至第一集合和第二集合的双方。事件的推理可以是推理其组成所具有的性质等与组成相关的特征。除此之外，事件的推理也可以是推理生成该组成的物质的过程。过程的表达例如可以使用自然语言、符号串等。在使用符号串的情况下，可以通过规则预先确定符号串与过程之间的对应关系。进而，符号串可以包括用于控制生产装置的动作的命令，该生产装置构成为生成该组成的物质。生产装置例如可以是计算机、控制器、机器人装置等。命令例如可以是控制指令、计算机程序等。

作为任务的其他具体例，顶点特征图70F可以构成为示出多个对象物（例如人、物等）各自的特征。该情况下，各个要素可以与各对象物相对应，各个要素的属性可以与各对象物的特征相对应。各对象物的特征可以通过上述第三具体例或第四具体例从表达轮廓的图中提取。输入图的多个集合可以由第一集合和第二集合构成，顶点特征图70F中包含的所有要素可以划分至第一集合和第二集合的双方。事件的推理可以是将对象物彼此最佳地匹配。匹配的对象物例如可以是客人/广告、患者/医生、人物/工作等。

作为任务的又一具体例，顶点特征图70F可以构成为示出供电网。该情况下，各个要素可以与电力的生产节点或消耗节点相对应。要素的属性例如可以构成为示出生产量、消耗量等。各枝可以与电线相对应。输入图的多个集合可以由第一集合和第二集合构成，顶点特征图70F中包含的所有要素可以划分至第一集合和第二集合的双方。事件的推理可以是推理生产节点和消费节点的最佳组合。

图推理模块55可以适当地构成为从各集合的图信息导出针对顶点特征图70F的任务（例如上述事件推理等）的解的推理结果。机器学习中的正解可以根据针对顶点特征图70F的任务的内容适当地赋予。例如，可以对各训练图30F赋予事件的真值等推理的正解。

在第六具体例中，在模型生成装置1的机器学习时和推理装置2F的推理处理时，将顶点特征图70F看作输入图。属于各集合的各个要素的特征量的计算通过根据示出各个要素所具有的属性和与各个要素连接的枝的关系性的信息算出各个要素的特征量而构成。即，特征提取器501构成为针对每个集合，根据各个要素所具有的属性和枝的特征（示出关系性的信息）算出各个要素的特征量。除了这些点以外，第六具体例的结构可以与上述实施方式相同。

（模型生成装置）

在第六具体例中，模型生成装置6可以通过与上述实施方式同样的处理过程生成训练完毕的推理模型5，该训练完毕的推理模型5获得了推理针对顶点特征图70F的任务的解的能力。

即，在步骤S101中，控制部11获取多个训练图30F。各训练图30F由顶点特征图70F构成。各训练图30F中的要素（顶点）和枝的设定可以适当地赋予，以适当地表达训练对象的条件。在步骤S102中，控制部11使用获取到的多个训练图30F来实施推理模型5的机器学习。通过该机器学习，能够生成获得了针对顶点特征图70F推理任务的解的能力的训练完毕的推理模型5。在步骤S103中，控制部11生成示出所生成的训练完毕的推理模型5的学习结果数据125，并将所生成的学习结果数据125保存于预定的存储区域。学习结果数据125可以在任意定时向推理装置2F提供。

（推理装置）

推理装置2F的硬件结构和软件结构可以与上述实施方式所涉及的推理装置2相同。在第六具体例中，推理设备2F可以通过与上述推理装置2相同的处理过程来推理针对顶点特征图70F的任务的解。

即，在步骤S201中，推理装置2F的控制部作为获取部进行动作，获取对象图221F。对象图221F由顶点特征图70F构成。对象图221F中的要素（顶点）、属性以及枝的设定可以适当地赋予，以适当地表达推理对象的条件。在步骤S202中，控制部作为推理部进行动作，使用训练完毕的推理模型5来推理针对获取的对象图221F的任务的解。

在步骤S203中，控制部作为输出部进行动作，输出与推理结果相关的信息。作为一例，控制部可以将得到的推理结果直接输出至输出装置。作为另一例，在对象图221F构成为示出对象的组成（化学式或物理晶体结构），并推理了生成该对象的组成的物质的过程的情况下，控制部也可以按照得到的推理结果所示出的过程控制生产装置的动作。作为另一例，在推理了对象物彼此间的匹配或生产节点和消费节点的组合的情况下，控制部也可以使该匹配或组合成立（确定）。

（特征）

根据第六具体例，在由顶点特征图70F表达被赋予的任务的场景中，能够实现推理处理的高效化。在模型生成装置1中，能够生成能够高效地执行由顶点特征图70F表达的任务的训练完毕的推理模型5。在推理装置2F中，通过使用这样的训练完毕的推理模型5，能够高效地推理由顶点特征图70F表达的任务的解。

另外，与第一具体例等同样地，在顶点特征图70F中，也可以不必对各集合间的所有要素的组合赋予枝。选拔模块503可以与是否在要素间预先赋予了枝无关地选拔从各个要素延伸的一个以上的枝。由此，即使未赋予枝，也能够参考对解答任务有益的要素的组合来推理任务的解。其结果是，能够期待推理精度的提高。

（G）采用超图的情况

图16示意性地例示第七具体例所涉及的推理系统100G的应用场景的一例。第七具体例是将上述实施方式应用于采用超图作为表达被赋予的条件（解答任务的对象）的图的场景的例子。第七具体例所涉及的推理系统100G具备模型生成装置1和推理装置2G。推理装置2G是上述推理装置2的一例。

在第七具体例中，各训练图30G和对象图221G（输入图）是K份的超图70G。K可以是3以上的整数。输入图的多个集合由超图70G的K个子集构成。超图70G中包含的多个要素（顶点）可以被划分为属于K个子集中的任意一个。在图16的一例中，超图70G中包含的各个要素被划分为属于三个子集中的任意一个。枝可以以示出属于各子集的要素的组合的方式适当地设定。各训练图30G和对象图221G是上述实施方式中的各训练图30和对象图221的一例。此外，超图70G中的要素（顶点）的数量、要素（顶点）间有无枝、以及K的值可以适当地决定，以适当地表达解答任务的对象。

任务如果能够通过超图表达，则其内容可以没有特别限定，可以根据实施方式适当地选择。在一例中，任务可以是K个团体之间的匹配任务，决定属于各个团体的对象彼此的最佳组合。该情况下，超图70G的各子集与匹配任务中的各个团体相对应。属于超图70G的各子集的要素与属于各个团体的对象相对应。从属于第i个子集的第i个要素向分别属于（K-1）个（第i个以外的）其他子集的要素彼此的组合流出的枝的特征可以对应于对与第i个要素对应的对象和与属于第i个以外的其他子集的各个要素对应的对象彼此的组合进行匹配的成本或报酬。或者，该枝的特征可以对应于从与第i个要素对应的对象向与属于第i个以外的其他子集的各个要素对应的对象彼此的组合的期望度。

匹配的对象可以根据实施方式适当地选择。匹配任务可以以如下目的进行执行，例如，确定三个以上的部件的最佳组合、确定三人以上的人物的最佳组合、确定最适于用于计算距离学习中的三元组损失（triplet loss）的学习的三项组合、确定在同时推理图像中的多个人物的姿势时属于同一人物的特征点的组合、确定配送用卡车、货物以及路线的最佳组合，等等。与此相应地，匹配的对象例如可以是部件、人物、成为计算三元组损失的对象的数据、在图像内检测到的人物的特征点、配送用卡车/货物/路线等。确定人物的最佳组合例如可以是为了管理者/程序员/销售、网页的前端程序员/后端程序员/数据科学家等的团体建设而进行。

图推理模块55可以适当地构成为从各子集的图信息导出针对超图70G的任务（例如上述匹配任务等）的解的推理结果。机器学习中的正解可以根据针对超图70G的任务的内容适当地赋予。例如，可以对各训练图30G赋予满足预定基准的匹配的真值等推理的正解。作为一例，在上述团体建设的事例中，预定基准例如可以规定为对金钱利益、离职率的降低、开发工序的缩小、进展报告量的增加、心理指标（例如问卷调查、睡眠时间、血压等）的改善等在现实世界中达成的成果进行评价。

在第七具体例中，在模型生成装置1的机器学习时和推理装置2G的推理处理时，将超图70G看作输入图。属于各集合的各个要素的特征量的计算构成为根据与属于超图70G的各子集的各个要素连接的枝的特征算出各个要素的特征量。即，特征提取器501构成为针对超图70G的每个子集，根据与各个要素连接的枝的特征算出各个要素的特征量。除了这些点以外，第七具体例的结构可以与上述实施方式相同。

（模型生成装置）

在第七具体例中，模型生成装置1可以通过与上述实施方式同样的处理过程生成获得了推理针对超图70G的任务的解的能力的训练完毕的推理模型5。

即，在步骤S101中，控制部11获取多个训练图30G。各训练图30G由超图70G构成。各训练图30G中的要素和枝的设定可以适当地赋予，以适当地表达训练对象的条件。在步骤S102中，控制部11使用获取到的多个训练图30G来实施推理模型5的机器学习。通过该机器学习，能够生成获得了针对超图70G推理任务的解的能力的训练完毕的推理模型5。在步骤S103中，控制部11生成示出所生成的训练完毕的推理模型5的学习结果数据125，并将所生成的学习结果数据125保存于预定的存储区域。学习结果数据125可以在任意定时向推理装置2G提供。

（推理装置）

推理装置2G的硬件结构和软件结构可以与上述实施方式所涉及的推理装置2相同。在第七具体例中，推理装置2G可以通过与上述推理装置2相同的处理过程来推理针对超图70G的任务的解。

即，在步骤S201中，推理装置2G的控制部作为获取部进行动作，获取对象图221G。对象图221G由超图70G构成。对象图221G中的要素和枝的设定可以适当地赋予，以适当地表达推理对象的条件。在步骤S202中，控制部作为推理部进行动作，使用训练完毕的推理模型5推理针对获取到的对象图221G的任务的解。

在步骤S203中，控制部作为输出部进行动作，输出与推理结果相关的信息。作为一例，控制部可以将得到的推理结果直接输出至输出装置。作为另一例，在得到了上述匹配的推理结果的情况下，与上述第一具体例等同样地，控制部也可以使推理结果的至少一部分的匹配成立。另外，推理装置2G可以构成为在线实时地执行匹配。

（特征）

根据第七具体例，在由超图70G表达被赋予的任务的场景中，能够实现推理处理的高效化。在模型生成装置1中，能够生成能够高效地执行由超图70G表达的任务的训练完毕的推理模型5。在推理装置2G中，通过使用这样的训练完毕的推理模型5，能够高效地推理由超图70G表达的任务的解。

另外，与第一具体例等同样地，在超图70G中，也可以不必对子集间的所有要素的组合赋予枝。选拔模块503可以与是否在要素间预先赋予了枝无关地选拔与各个要素连接的一个以上的枝。由此，即使未赋予枝，也能够参考对解答任务有益的要素的组合来推理任务的解。其结果是，能够期待推理精度的提高。

＜4.2＞

在上述实施方式中，选拔模块503可以具备运算模块，该运算模块构成为能够进行微分，并且构成为计算上述似然度。即，选拔模块503可以构成为通过运算模块算出各个要素与各个候补要素之间的似然度。运算模块可以由机器学习模型构成，该机器学习模型具备用于执行算出似然度的运算处理的一个以上的参数，该参数通过机器学习进行调整。而且，在上述机器学习的处理中，选拔模块503的运算模块也可以与图推理模块55和特征提取器501一起一致性地进行训练。由此，可以使运算模块的性能最适于推理处理。其结果是，在训练完毕的推理模型5中，能够在确保推理的精度的基础上实现推理处理的高效化。

＜4.3＞

在上述实施方式中，在步骤S102的机器学习的正向的运算时，控制部11可以对选拔模块503中所算出的似然度加算随机数，并根据得到的值选拔一个以上的枝。由此，在机器学习的处理中，能够进行随机选拔枝的搜索。即，能够扩大用于搜索枝选拔参数的最佳值的范围。其结果是，能够期待提高所生成的训练完毕的推理模型5的推理精度。

＜4.4＞

在上述实施方式中，选拔模块503可以具有用于选拔枝的多个基准，可以构成为按每个基准选拔枝。多个基准例如可以包括似然度高的枝优先、选择似然度相差阈值以上的枝等。作为多个基准中的一个，可以包括随机进行选择。该情况下，选拔模块503可以构成为向各集合的图信息中示出枝的选择结果的信息进一步追加示出选拔了该枝的基准的信息（例如，执行cat运算）。示出基准的信息例如可以由独热向量（one-hot-vector）等构成。各基准可以用任意的函数表达。可以用一个函数来表达两个以上的基准，也可以用一个函数来表达一个基准。根据本变形例，通过以多个基准选拔枝，能够扩大参考的枝的范围，由此，能够期待提高所生成的训练完毕的推理模型5的推理精度。

§5 实施例

为了验证上述实施方式的有效性，生成了以下的实施例和比较例所涉及的推理模型。但是，本发明并不限定于以下的实施例。

＜数据集＞

首先，假设上述第五具体例的顶点特征图作为表达被赋予的条件的图，在任务中采用了两件点云数据间的匹配。为了匹配任务的机器学习和评价，准备了以下两个数据集。

第一数据集使用了参考文献2（Gul Varol, Javier Romero, Xavier Martin,Naureen Mahmood, Michael J. Black, Ivan Laptev, Cordelia Schmid, “Learningfrom Synthetic Humans”, ［online］，[2022年1月11日检索]，因特网＜URL：https://arxiv.org/abs/1701.01370＞中公开的Surreal数据集。该第一数据集中包含训练用的230,000件点云样本和评价用的100件点云样本。通过将训练用的点云样本随机进行配对，制作了115,000件组合（训练图）。另一方面，通过将评价用的点云样本随机进行旋转和平移，制作成对的点云样本，从而制作了100件组合（评价用的输入图、对象图）。由此，在各组合间，各点云样本构成为示出形状没有变化的物体（人体）（刚体设定）。

第二数据集使用了上述第一数据集的Surreal数据集和参考文献3（Bo Li, etal. “A comparison of 3D shape retrieval methods based on a large-scalebenchmark supporting multimodal queries”, ［online］，[2022年1月11日检索]，因特网＜URL：https://userweb.cs.txstate.edu/~burtscher/papers/cviu15.pdf＞中公开的SHREC数据集。该第二数据集分别包含230,000件和860件点云样本。训练用的点云样本的组合使用了与上述第一数据集同样的115,000件组合。另一方面，评价用的点云样本通过随机进行配对，制作了430件组合（评价用的输入图、对象图）。由此，在第二数据集中的评价用的各组合间，各点云样本构成为示出形状（姿势）有变化的人体（非刚体设定）。此外，在第一数据集和第二数据集中，各点云样本包含1024个点（要素）。

＜实施例＞

采用上述实施方式所涉及的结构，使用开源的机器学习库，在个人计算机上制作了第一实施例所涉及的推理模型。特征提取器构成为针对每个要素算出128维的特征量。选拔模块构成为基于似然度针对各点云样本（集合）的每个要素选拔128个枝。似然度的计算中使用了上述式1的运算式。图推理模块采用了非专利文献3中提出的WeaveNet。特征嵌入层的数量设定为10个。使用上述115,000件训练用的点云样本的组合，实施了第一实施例所涉及的推理模型的机器学习。在机器学习中，将学习率设定为0.0001，最优算法中使用了Adam。而且，与后述参考文献4的图4所示的方法相对应地，在针对训练用的点云样本的组合而基于推理结果将各点的坐标映射至对应目标之后，使推理模型的参数的值最优化（无监督学习），以使通过其他处理复原原来的点云时的重构误差最小化。由此，生成了第一实施例所涉及的训练完毕的推理模型。

另外，制作了具有与第一实施例同样的结构的第二实施例所涉及的推理模型。而且，对上述115,000件训练用的点云样本的组合赋予正解标签，使第二实施例所涉及的推理模型的参数的值最优化（监督学习），以得到符合由正解标签示出的匹配的真值的输出。第二实施例的其他条件设定为与第一实施例相同。由此，生成了第二实施例所涉及的训练完毕的推理模型。

＜比较例＞

另一方面，采用参考文献4（Yiming Zeng, Yue Qian, Zhiyu Zhu, Junhui Hou,Hui Yuan, Ying He, “CorrNet3D: Unsupervised end-to-end learning of densecorrespondence for 3D point clouds”, ［online］，［2022年1月11日检索］、因特网＜URL: https://arxiv.org/abs/2012.15638＞)中提出的CorrNet3D，制作了第一比较例所涉及的推理模型。而且，通过在与上述第一实施例相同的条件（无监督学习）下实施机器学习，生成了第一比较例所涉及的训练完毕的推理模型。另外，制作了具有与第一比较例同样的结构的第二比较例所涉及的推理模型。而且，通过在与上述第二实施例相同的条件（监督学习）下实施机器学习，生成了第二比较例所涉及的训练完毕的推理模型。

＜评价＞

使用通过以上生成的各实施例和各比较例所涉及的训练完毕的推理模型，对第一数据集和第二数据集的评价用的点云样本的组合执行了点云匹配的任务。使容许误差在0.00～0.2之间变动，对各实施例和各比较例所涉及的训练完毕的推理模型的匹配精度进行了评价。

图17示出针对第一数据集的各实施例和各比较例的实验结果（设定的容许误差下的匹配精度）。图18示出针对第二数据集的各实施例和各比较例的实验结果（设定的容许误差下的匹配精度）。如图17和图18所示，在刚体设定和非刚体设定中，各实施例的匹配精度均高于各比较例。特别是，通过无监督学习进行训练的第一实施例的匹配精度高于通过监督学习进行训练的第二比较例。根据这些结果可知，根据本发明，能够生成通过枝选拔来实现推理处理的高效化，并且与现有方法相比能够高精度地推理的训练完毕的推理模型。

进而，为了在第一实施例与第一比较例之间比较匹配精度，从第二数据集的评价用的组合中提取了容许误差＝0.00的第一实施例的匹配精度与容许误差＝0.06的第一比较例的匹配精度为相同程度的两件样本。而且，在提取出的各组合样本中，对容许误差＝0.00和容许误差＝0.06时的第一实施例和第一比较例的匹配精度进行了比较。

图19A和图19C示出将容许误差设定为0.00（图19A）和0.06（图19C）时针对第二数据集的第一组合样本的第一比较例的匹配结果。图19B和图19D示出将容许误差设定为0.00（图19B）和0.06（图19D）时针对第二数据集的第一组合样本的第一实施例的匹配结果。图20A和图20C示出将容许误差设定为0.00（图20A）和0.06（图20C）时针对第二数据集的第二组合样本的第一比较例的匹配结果。图20B和图20D示出将容许误差设定为0.00（图20B）和0.06（图20D）时针对第二数据集的第二组合样本的第一实施例的匹配结果。此外，图19A～图19D以及图20A～图20D中的实线示出在设定的容许误差下正确匹配的点的对。

如图19C、图19D、图20C以及图20D所示，相对于容许误差＝0.00的第一实施例的匹配精度与容许误差＝0.06的第一比较例的匹配精度为相同程度的各样本，容许误差＝0.06的第一实施例的匹配精度更高。根据这些结果也可知，根据本发明，能够生成与现有方法相比能够高精度地推理的训练完毕的推理模型。

附图标记说明

1…模型生成装置、11…控制部、12…存储部、13…通信接口、14…外部接口、15…输入装置、16…输出装置、17…驱动器、81…模型生成程序、91…存储介质、111…获取部、112…学习处理部、113…保存处理部、125…学习结果数据、2…推理装置、21…控制部、22…存储部、23…通信接口、24…外部接口、25…输入装置、26…输出装置、27…驱动器、82…推理程序、92…存储介质、211…获取部、212…推理部、213…输出部、221…对象图、30…训练图、5…推理模型、50…预处理模块、501…特征提取器、503…选拔模块、55…图推理模型。

Claims (15)

1.一种模型生成方法，其中，

由计算机执行以下步骤：

获取多个训练图的步骤；以及

使用获取到的多个所述训练图来实施推理模型的机器学习的步骤，

所述推理模型具备预处理模块和图推理模块，

所述预处理模块具备特征提取器和选拔模块，

所述特征提取器构成为计算各个要素的特征量，各个所述要素分别属于输入图中包含的多个集合，

所述选拔模块构成为：

基于所算出的各个所述要素的特征量来选拔以各个所述要素为起点延伸的一个以上的枝；以及

针对每个集合生成图信息，所述图信息示出所算出的各个所述要素的特征量和选拔出的一个以上的所述枝，

所述图推理模块构成为能够进行微分，并且构成为根据所生成的各个所述集合的图信息来推理针对所述输入图的任务的解，

所述机器学习构成为通过以使推理结果符合针对各个所述训练图的所述任务的正解的方式对所述推理模型进行训练，所述推理结果是通过将各个所述训练图作为所述输入图输入所述预处理模块而从所述图推理模块得到的结果。

2.根据权利要求1所述的模型生成方法，其中，

基于各个所述要素的特征量来选拔一个以上的所述枝由以下步骤构成：

计算各个候补要素与各个所述要素之间的似然度，各个所述候补要素成为连接来自各个所述要素的枝的目标的候补；以及

根据所算出的似然度选拔一个以上的所述枝。

3.根据权利要求1或2所述的模型生成方法，其中，

各个所述训练图是有向二分图，

所述有向二分图中包含的多个要素被划分为属于两个子集中的任意一个，

所述输入图的多个所述集合由所述有向二分图的两个所述子集构成，

各个所述要素的特征量的计算由以下步骤构成：根据以所述有向二分图的各个所述要素为起点延伸的枝的特征来计算各个所述要素的特征量。

4.根据权利要求3所述的模型生成方法，其中，

所述任务是两个团体之间的匹配任务，且是决定属于各个团体的对象彼此间的最佳配对，

所述有向二分图的两个所述子集与所述匹配任务中的两个所述团体相对应，

属于所述有向二分图的各个所述子集的所述要素与属于各个所述团体的所述对象相对应。

5.根据权利要求1或2所述的模型生成方法，其中，

各个所述训练图是无向二分图，

所述无向二分图中包含的多个要素被划分为属于两个子集中的任意一个，

所述输入图的多个所述集合由所述无向二分图的两个所述子集构成，

各个所述要素的特征量的计算由以下步骤构成：根据与所述无向二分图的各个所述要素连接的枝的特征来计算各个所述要素的特征量。

6.根据权利要求5所述的模型生成方法，其中，

所述任务是两个团体之间的匹配任务，且是决定属于各个团体的对象彼此间的最佳配对，

所述无向二分图的两个所述子集与所述匹配任务中的两个所述团体相对应，

属于所述无向二分图的各个所述子集的所述要素与属于各个所述团体的所述对象相对应。

7.根据权利要求1或2所述的模型生成方法，其中，

各个所述训练图是有向图，

所述输入图的多个所述集合由第一集合和第二集合构成，

属于所述第一集合的要素与构成所述有向图的有向枝的起点相对应，

属于所述第二集合的要素与所述有向枝的终点相对应，

各个所述要素的特征量的计算由以下步骤构成：根据从属于所述第一集合的所述要素流出的有向枝的特征来计算属于所述第一集合的所述要素的特征量；以及根据流入属于所述第二集合的所述要素的有向枝的特征来计算属于所述第二集合的所述要素的特征量。

8.根据权利要求1或2所述的模型生成方法，其中，

各个所述训练图是无向图，

所述输入图的多个所述集合由第一集合和第二集合构成，

分别属于所述第一集合和所述第二集合的各个要素与构成所述无向图的各个要素相对应，

各个所述要素的特征量的计算由以下步骤构成：根据与各个所述要素连接的枝的特征来计算各个所述要素的特征量。

9.根据权利要求1或2所述的模型生成方法，其中，

各个所述训练图构成为各个所述训练图中包含的各个要素具有属性，

各个所述要素的特征量的计算由以下步骤构成：根据各个所述要素所具有的属性来计算各个所述要素的特征量。

10.根据权利要求9所述的模型生成方法，其中，

所述任务是估计属于各个所述集合的要素之间的关系性。

11.根据权利要求1或2所述的模型生成方法，其中，

各个所述训练图构成为各个所述训练图中包含的各个要素具有属性，

各个所述训练图中包含的各个所述要素之间的关系性已被定义，

各个所述要素的特征量的计算由以下步骤构成：根据各个所述要素所具有的属性和示出所述关系性的信息来计算各个所述要素的特征量。

12.根据权利要求1或2所述的模型生成方法，其中，

各个所述训练图是超图，

所述超图中包含的多个要素被划分为属于三个以上的子集中的任意一个，

所述输入图的多个所述集合由所述超图的三个以上的所述子集构成，

各个所述要素的特征量的计算由以下步骤构成：根据与所述超图的各个所述要素连接的枝的特征来计算各个所述要素的特征量。

13.一种模型生成装置，具备：

获取部，构成为获取多个训练图；以及

学习处理部，构成为使用获取到的多个所述训练图来实施推理模型的机器学习，其中，

所述推理模型具备预处理模块和图推理模块，

所述预处理模块具备特征提取器和选拔模块，

所述特征提取器构成为计算各个要素的特征量，各个所述要素分别属于输入图中包含的多个集合，

所述选拔模块构成为：

基于所算出的各个所述要素的特征量来选拔以各个所述要素为起点延伸的一个以上的枝；以及

针对每个集合生成图信息，所述图信息示出所算出的各个所述要素的特征量和选拔出的一个以上的所述枝，

所述图推理模块构成为能够进行微分，并且构成为根据所生成的各个所述集合的图信息来推理针对所述输入图的任务的解，

所述机器学习通过以使推理结果符合针对各个所述训练图的所述任务的正解的方式对所述推理模型进行训练而构成，所述推理结果是通过将各个所述训练图作为所述输入图输入所述预处理模块而从所述图推理模块得到的结果。

14.一种推理程序，使计算机执行如下步骤：

获取对象图；

使用通过机器学习训练完毕的推理模型来推理针对获取到的所述对象图的任务的解；以及

输出与所述任务的解的推理结果相关的信息，

所述推理模型具备预处理模块和图推理模块，

所述预处理模块具备特征提取器和选拔模块，

所述特征提取器构成为计算各个要素的特征量，各个所述要素分别属于输入图中包含的多个集合，

所述选拔模块构成为：

基于所算出的各个所述要素的特征量来选拔以各个所述要素为起点延伸的一个以上的枝；以及

针对每个集合生成图信息，所述图信息示出所算出的各个所述要素的特征量和选拔出的一个以上的所述枝，

所述图推理模块构成为能够进行微分，并且构成为根据所生成的各个所述集合的图信息来推理针对所述输入图的所述任务的解，

针对所述对象图的任务的解的推理由以下步骤构成：将所述对象图作为所述输入图输入所述预处理模块，并从所述图推理模块得到所述任务的解的推理结果。

15.一种推理装置，具备：

获取部，构成为获取对象图；

推理部，构成为使用通过机器学习训练完毕的推理模型来推理针对获取到的所述对象图的任务的解；以及

输出部，构成为输出与所述任务的解的推理结果相关的信息，其中，

所述推理模型具备预处理模块和图推理模块，

所述预处理模块具备特征提取器和选拔模块，

所述特征提取器构成为计算各个要素的特征量，各个所述要素分别属于输入图中包含的多个集合，

所述选拔模块构成为：

基于所算出的各个所述要素的特征量来选拔以各个所述要素为起点延伸的一个以上的枝；以及

针对每个集合生成图信息，所述图信息示出所算出的各个所述要素的特征量和选拔出的一个以上的所述枝，

所述图推理模块构成为能够进行微分，并且构成为根据所生成的各个所述集合的图信息来推理针对所述输入图的所述任务的解，

针对所述对象图的任务的解的推理由以下步骤构成：将所述对象图作为所述输入图输入所述预处理模块，并从所述图推理模块得到所述任务的解的推理结果。