CN117078977A - 任务处理方法、神经网络的训练方法、装置、设备和介质 - Google Patents

Abstract

本公开提供了一种任务处理方法、神经网络的训练方法、装置、设备和介质，涉及人工智能技术领域。任务处理方法包括：获取第一数据和第二数据；获取第一数据和第二数据各自的第一尺度的图表示和第二尺度的图表示，第二尺度低于第一尺度，每一尺度的图表示包括该尺度的节点，每一尺度的节点包括向量类型的属性，每一数据的至少一个尺度的节点是通过对与该数据对应的稠密数据进行稀疏化而得到的，每一数据的至少一个尺度的图表示包括表征该尺度节点相对关系的邻接边；分别对第一数据和第二数据进行第一尺度和第二尺度的图匹配，以得到第一匹配结果和第二匹配结果；基于第一匹配结果和/或第二匹配结果，确定多尺度匹配结果并进一步确定任务处理结果。

Description

任务处理方法、神经网络的训练方法、装置、设备和介质

技术领域

本公开涉及人工智能技术领域，具体涉及一种任务处理方法、神经网络的训练方法、任务处理装置、神经网络的训练装置、电子设备、计算机可读存储介质和计算机程序产品。

背景技术

在对图像、视频、语音、文本、分子结构、蛋白质序列等非结构化数据进行分析和处理时，这些数据的原始形态通常很难直接使用以产生有效结果，而更有效的方法为将非结构化数据转化为半结构化的中间表示，进而在中间表示上进行分析。因此，确定一种合适的非结构化数据的中间表示形式以及如何利用这样的中间表示对非结构化数据进行有效分析和处理成为了亟待解决的问题。

在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明，否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地，除非另有指明，否则此部分中提及的问题不应认为在任何现有技术中已被公认。

发明内容

本公开提供了一种任务处理方法、神经网络的训练方法、任务处理装置、神经网络的训练装置、电子设备、计算机可读存储介质和计算机程序产品。

根据本公开的一方面，提供了一种任务处理方法，包括：获取第一数据和第二数据，第一数据和第二数据分别为图像数据、音频数据、文本数据和序列数据中的一者；获取第一数据和第二数据各自的第一尺度的图表示，第一尺度的图表示包括至少一个第一尺度的节点，其中，第一尺度的节点具有属性，第一尺度的节点的属性包括向量类型的属性；获取第一数据和第二数据各自的第二尺度的图表示，第二尺度低于第一尺度，第二尺度的图表示包括至少一个第二尺度的节点，其中，第二尺度的节点具有属性，第二尺度的节点的属性包括向量类型的属性，其中，第一数据和第二数据中的每一个数据的至少一个尺度的节点是通过对与该数据对应的稠密数据进行稀疏化而得到的，每一个数据的至少一个尺度的图表示包括至少一个邻接边，至少一个邻接边中的每一个邻接边用于表征同一尺度的两个节点的相对关系，邻接边具有属性；将第一数据的第一尺度的图表示和第二数据的第一尺度的图表示进行图匹配，以得到第一匹配结果；将第一数据的第二尺度的图表示和第二数据的第二尺度的图表示进行图匹配，以得到第二匹配结果；基于第一匹配结果和第二匹配结果，确定多尺度匹配结果；以及基于多尺度匹配结果，确定任务处理结果。

根据本公开的一方面，提供了一种神经网络的训练方法，方法包括：获取第一样本数据和第二样本数据，第一样本数据和第二样本数据分别为图像数据、音频数据、文本数据、分子结构数据和序列数据中的其中一者；获取第一样本数据和第二样本数据各自的多尺度图表示，其中，多尺度图表示是利用图表示提取网络确定的，多尺度图表示包括第一尺度的图表示和第二尺度的图表示；将第一样本数据的第一尺度的图表示和第二样本数据的第一尺度的图表示进行图匹配，以得到表征第一尺度的匹配程度的第一当前匹配结果；将第一样本数据的第二尺度的图表示和第二样本数据的第二尺度的图表示进行图匹配，以得到表征第二尺度的匹配程度的第二当前匹配结果；获取第一样本数据和第二样本数据的目标匹配结果和/或目标任务处理结果；根据目标匹配结果和/或目标任务处理结果、以及第一当前匹配结果和/或第二当前匹配结果，确定损失值；以及根据损失值，训练图表示提取网络。

根据本公开的另一方面，提供了一种任务处理装置，包括：第一获取单元，被配置为获取第一数据和第二数据，第一数据和第二数据分别为图像数据、音频数据、文本数据、分子结构数据和序列数据中的一者；第二获取单元，被配置为获取第一数据和第二数据各自的第一尺度的图表示，第一尺度的图表示包括至少一个第一尺度的节点，其中，第一尺度的节点具有属性，第一尺度的节点的属性包括向量类型的属性；第三获取单元，被配置为获取第一数据和第二数据各自的第二尺度的图表示，第二尺度低于第一尺度，第二尺度的图表示包括至少一个第二尺度的节点，其中，第二尺度的节点具有属性，第二尺度的节点的属性包括向量类型的属性，其中，第一数据和第二数据中的每一个数据的至少一个尺度的节点是通过对与该数据对应的稠密数据进行稀疏化而得到的，每一个数据的至少一个尺度的图表示包括至少一个邻接边，至少一个邻接边中的每一个邻接边用于表征同一尺度的两个节点的相对关系，邻接边具有属性；第一图匹配单元，被配置为将第一数据的第一尺度的图表示和第二数据的第一尺度的图表示进行图匹配，以得到第一匹配结果；第二图匹配单元，被配置为将第一数据的第二尺度的图表示和第二数据的第二尺度的图表示进行图匹配，以得到第二匹配结果；第一确定单元，被配置为基于第一匹配结果和第二匹配结果，确定多尺度匹配结果；以及第二确定单元，被配置为基于多尺度匹配结果，确定任务处理结果。

根据本公开的另一方面，提供了一种神经网络的训练装置，方法包括：第四获取单元，被配置为获取第一样本数据和第二样本数据，第一样本数据和第二样本数据分别为图像数据、音频数据、文本数据、分子结构数据和序列数据中的其中一者；第五获取单元，被配置为获取第一样本数据和第二样本数据各自的多尺度图表示，其中，多尺度图表示是利用图表示提取网络确定的，多尺度图表示包括第一尺度的图表示和第二尺度的图表示；第三图匹配单元，被配置为将第一样本数据的第一尺度的图表示和第二样本数据的第一尺度的图表示进行图匹配，以得到表征第一尺度的匹配程度的第一当前匹配结果；第四图匹配单元，被配置为将第一样本数据的第二尺度的图表示和第二样本数据的第二尺度的图表示进行图匹配，以得到表征第二尺度的匹配程度的第二当前匹配结果；第七获取单元，被配置为获取第一样本数据和第二样本数据的目标匹配结果和/或目标任务处理结果；第三确定单元，被配置为根据目标匹配结果和/或目标任务处理结果、以及第一当前匹配结果和/或第二当前匹配结果，确定损失值；以及训练单元，被配置为根据损失值，训练图表示提取网络。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行上述的方法。

根据本公开的另一方面，还提供了一种计算机程序产品，包括计算机程序，其中，计算机程序在被处理器执行时实现上述的方法。

根据本公开的一个或多个实施例，通过提取第一数据和第二数据的多个尺度的解耦特征，能够获取到每一数据的更通用、表征能力更强的多尺度图表示，进而利用多尺度图表示进行图匹配，并根据图匹配结果确定任务处理结果，一方面图表示相对于向量表示蕴含了更丰富的细节特征，使用图匹配相对于向量匹配所得到的匹配结果更加精准可靠，不同尺度的图表示能够兼顾整体尺度和局部尺度，对于残缺、变形、视角变化、遮挡、攻击样本等更加鲁棒，可解释性也更强；一方面将复杂任务转化成图匹配任务，使得更容易训练出达到准确性要求的模型，从而得到准确的任务处理结果。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图示例性地示出了实施例并且构成说明书的一部分，与说明书的文字描述一起用于讲解实施例的示例性实施方式。所示出的实施例仅出于例示的目的，并不限制权利要求的范围。在所有附图中，相同的附图标记指代类似但不一定相同的要素。

图1示出了根据本公开的实施例的任务处理方法的流程图；

图2示出了根据本公开的实施例的多尺度图表示的示意图；

图3示出了图1所示方法中每一尺度的图匹配过程的流程图；

图4示出了图3所示方法中确定候选匹配点对的匹配结果的流程图；

图5示出了图3所示方法中确定候选匹配边对的匹配结果的流程图；

图6示出了根据本公开的实施例的神经网络的训练方法的流程图；

图7示出了图6所示的方法中获取第一样本数据和第二样本数据的流程图；

图8示出了图6所示的方法中确定损失值的流程图；

图9示出了根据本公开的实施例的神经网络的训练方法的流程图；

图10示出了根据本公开的实施例的任务处理装置的结构框图；

图11示出了根据本公开的实施例的神经网络的训练装置的结构框图；以及

图12示出了根据本公开的实施例的服务器或客户端的电子设备的结构框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

在本公开中，除非另有说明，否则使用术语“第一”、“第二”等来描述各种要素不意图限定这些要素的位置关系、时序关系或重要性关系，这种术语只是用于将一个元件与另一元件区分开。在一些示例中，第一要素和第二要素可以指向该要素的同一实例，而在某些情况下，基于上下文的描述，它们也可以指代不同实例。

在本公开中对各种示例的描述中所使用的术语只是为了描述特定示例的目的，而并非旨在进行限制。除非上下文另外明确地表明，如果不特意限定要素的数量，则该要素可以是一个也可以是多个。此外，本公开中所使用的术语“和/或”涵盖所列出的项目中的任何一个以及全部可能的组合方式。

下面将结合附图详细描述本公开的实施例。

图1示出了根据本公开一个实施例的一种任务处理方法100的流程图，该方法100包括：

步骤101，获取第一数据和第二数据，第一数据和第二数据分别为图像数据、音频数据、文本数据、分子结构数据和序列数据中的一者；

步骤102，获取第一数据和第二数据各自的第一尺度的图表示，第一尺度的图表示包括至少一个第一尺度的节点，其中，第一尺度的节点具有属性，第一尺度的节点的属性包括向量类型的属性；

步骤103，获取第一数据和第二数据各自的第二尺度的图表示，第二尺度低于第一尺度，第二尺度的图表示包括至少一个第二尺度的节点，其中，第二尺度的节点具有属性，第二尺度的节点的属性包括向量类型的属性，其中，第一数据和第二数据中的每一个数据的至少一个尺度的节点是通过对与该数据对应的稠密数据进行稀疏化而得到的，每一个数据的至少一个尺度的图表示包括至少一个邻接边，至少一个邻接边中的每一个邻接边用于表征同一尺度的两个节点的相对关系，邻接边具有属性；

步骤104，将第一数据的第一尺度的图表示和第二数据的第一尺度的图表示进行图匹配，以得到第一匹配结果；

步骤105，将第一数据的第二尺度的图表示和第二数据的第二尺度的图表示进行图匹配，以得到第二匹配结果；

步骤106，基于第一匹配结果和第二匹配结果，确定多尺度匹配结果；以及

步骤107，基于多尺度匹配结果，确定任务处理结果。

根据本实施例的方法，通过提取第一数据和第二数据的多个尺度的解耦特征，能够获取到每一个数据的更通用、表征能力更强的多尺度图表示，进而通过多尺度图表示的图匹配以及根据图匹配结果确定任务处理结果，使得能够高效且充分利用数据所蕴含的丰富信息进行任务处理，以得到准确的任务处理结果。此外，多尺度图表示的图匹配能够增强稳健性，以更好地应对图像视角变换、文本表达方式转变、语音的发声者的不同等情况。

第一数据和第二数据可以分别为图像数据(包括图片、视频)、音频数据、文本数据、分子结构数据和序列数据中的一者。序列数据例如可以是蛋白质序列数据、基因序列数据，也可以是其他序列形式的数据。第一数据和第二数据的可以为同一类型的数据，也可以为不同类型的数据，在此不做限定。

第一数据和第二数据可以原始数据，也可以是经过特定处理后得到的数据。在一些实施例中，图像数据可以是原始图像，也可以是对原始图像进行预处理后的预处理图像；音频数据可以是音频的原始采样数据，也可以为对原始采样数据进行预处理后的预处理数据(例如对原始采样数据进行预处理后得到的频谱图)；文本数据可以是多个原始字符串，也可以是对文本数据进行预处理后得到的预处理数据，在此不做限定。

在得到第一数据和第二数据后，可以获取每一数据对应的多尺度图表示。多尺度图表示中，每一个尺度的图表示可以包括至少一个节点。节点可以具有属性，节点的属性可以包括向量类型的属性，也可以包括标量类型的属性。其中，标量类型的属性可以进一步包括类别属性(例如为离散数值)和数值属性(例如为连续数值)。在一个示例性实施例中，某一尺度的图表示中的节点例如可以为对原始数据(或如后文所具体描述的稠密数据，稠密数据例如是对原始数据进行特征提取后得到的特征图，对原始数据进行预处理得到的预处理数据)进行目标检测而得到的多个对象。节点的向量类型的属性例如可以包括与对象对应的特征向量，节点的数值属性例如可以包括对象的坐标、尺寸、对象所在邻域的方向场、梯度场、纹理密度以及节点的显著性，节点的类别属性例如可以包括对象的分类类别。可以理解的是，不同的节点可以包括不同的属性。

根据一些实施例，多尺度图表示中，至少一个尺度的图表示还可以包括至少一个邻接边。邻接边可以用于表征同一尺度的两个节点的相对关系。邻接边可以具有属性，邻接边的属性可以包括向量类型的属性，也可以包括标量类型的属性。在一个示例性实施例中，邻接边的向量类型的属性例如可以包括其对应的两个节点的特征向量和/或对这两个特征向量的进一步处理结果，邻接边的数值属性例如可以包括该邻接边的坐标、长度、角度等位置信息和/或几何信息，也可以包括该邻接边的显著性，邻接边的类别属性可以包括该邻接边的类别，例如不同类型的化学键、不同类型的力等等。

根据一些实施例，多尺度图表示还可以包括至少一个从属边。从属边可以用于表征不同尺度的两个节点的从属关系。从属边可以具有属性，从属边的属性可以包括向量类型的属性，也可以包括标量类型的属性。在一个示例性实施例中，从属边例如可以为表征两个尺度下的目标检测对象间的关系，例如在第一尺度下检测到的车辆和在第二尺度下检测到的该车辆的车轮之间可以具有从属边。从属边的向量类型的属性例如可以包括其对应的两个节点的特征向量和/或对这两个特征向量的进一步处理结果，从属边的数值属性例如可以包括该从属边的坐标、长度、角度等位置信息和几何信息以及该从属边所连接的节点之间的相关性，从属边的类别属性可以包括该从属边所连接的节点的类别属性。

需要说明的是，本发明实施例所指的图(graph)是广义的图，可以包括单节点图或多节点图。图匹配可以为对图中所包含节点进行匹配，也可以也为对图中所包含的节点和边进行匹配。当一个尺度的图为单节点图时，图匹配指的是节点所对应的向量之间的匹配。当一个尺度的图为多节点图时，图匹配可以包括传统意义上的图匹配(graph matching)，也可以是利用节点、边的属性(包括向量类型和标量类型的属性)的图匹配，还可以是包括节点/边配对检查(例如通过射影变换等进行几何关系求解的节点/边配对检查)以及上述几种的组合。其中，利用节点、边的属性的图匹配将在后文详细阐述。

图2示出了根据本公开一个实施例的多尺度图表示的示意图。如图2所示，由高到低的三个尺度的图表示202、204、206构成了多尺度图表示。其中，每一个图表示包括多个节点，图表示206包括多个邻接边。图表示202、204、206可以是通过对稠密数据208进行稀疏化而得到的。具体地，稠密数据208包括与三个尺度分别对应的三个稠密数据，通过对这三个稠密数据分别进行稀疏化，能够得到三个尺度的图表示202、204、206。

由此，通过在不同尺度下获取包括标量、向量、图(graph)等不同的特征的图表示，使得能够得到各类数据的更通用且表征能力更强大的中间表示，并且能够提升下游的匹配任务、检索任务、分类任务、识别任务、生成任务以及其他各类数据分析与处理相关任务的结果的准确性。此外，通过使用从属边，能够强化不同尺度的图表示之间的关联性，从而进一步丰富多尺度图表示所包括的信息。

可以理解的是，本公开并不限定多尺度图表示所包括的尺度的数量。在一些实施例中，多尺度图表示可以包括两个尺度、三个尺度、或更多尺度的图表示，在此不做限定。为便于表述，本公开使用第一尺度和低于第一尺度的第二尺度作为示例对多尺度图表示的形态、生成方式、匹配方式等内容进行说明，但并不意图限定本公开的范围。

需要说明的是，尺度的高低可以理解为对应的图表示对数据整体或局部的侧重，例如可以通过图表示中的每个节点在原始数据中的对应部分的大小、该尺度的图表示中的节点的数量等方式对尺度的高低进行衡量。示例性地，高尺度的图表示的节点例如可以对应图像整体、文本段落，低尺度的图表示的节点例如可以对应图像的局部、文本中的字或词等等。

如下将结合实施例对如何获取多尺度图表示进行描述。

根据一些实施例，至少一个尺度的节点可以是通过与对该数据对应的稠密数据进行稀疏化而得到的。

稠密数据，或者稠密图，例如可以包括稠密像素的原始图像、对原始图像进行卷积后得到的包括稠密特征向量的特征图、包括稠密采样点的音频数据(以及对该音频数据进行频谱化后得到的包括稠密像素的频谱图)、包括稠密字或词的文本段落、以及稠密的分子结构数据和序列数据等。通过对稠密数据进行稀疏化，能够得到多个节点，即稀疏图。其中，每个节点可以对应稠密数据中的一部分区域，并且具有属性。可以理解的是，稠密数据也可以包括多个节点，例如图像中的像素、音频数据中的采样点、文本数据中的字或词等等，每一个节点可以包括标签类型的属性(例如，在稠密数据中的位置、类别)和向量类型的属性(例如，特征向量)。

根据一些实施例，至少一个第一尺度的节点和至少一个第二尺度的节点可以是通过对同一稠密数据分别进行稀疏化而得到的。也就是说，可以对同一稠密数据进行不同程度的稀疏化，以得到不同尺度的节点。

根据一些实施例，稠密数据可以包括多个尺度。包括多个尺度的稠密数据可以是特征金字塔中的多个尺度上的特征图。至少一个第一尺度的节点和至少一个第二尺度的节点可以是通过对稠密数据的两个尺度的中的每一个尺度分别进行稀疏化而得到的。也就是说，可以先获取多个不同尺度的稠密数据，进而分别对每一尺度的稠密数据进行稀疏化，以得到对应尺度的节点。在一个示例性实施例中，可以对原始图像进行不同降采样倍数的卷积，以得到不同尺寸的特征图，即不同尺度的稠密数据。进而，可以分别对这些稠密数据进行稀疏化，以得到不同尺度的节点。上述两种方式均可以在得到稠密数据后并行生成多个尺度上的节点。

在一些实施例中，可以利用稠密节点的显著性在稠密数据中确定节点。稠密节点的标量类型的属性可以包括显著性。显著性表征稠密数据中的每一个稠密节点的重要性，其可以通过在所有稠密节点上的概率分布进行表示。在一些实施例中，稠密节点的显著性可以是根据稠密节点的特征向量而确定的。在一个示例性实施例中，可以使用显著性网络对所有稠密节点的特征向量进行处理，以确定每一个稠密节点的显著性。

对稠密数据进行稀疏化例如可以包括将多个稠密节点中的至少一部分稠密节点中显著性满足第三预设条件的节点确定为稀疏化后的节点。可以理解的是，本领域技术人员可以根据需求自行设置第三预设条件，在此不做限定。在一个示例性实施例中，第三预设条件可以为top-k，即选取显著性最高的k个稠密节点作为稀疏化后的节点，和/或，第三预设条件可以是显著性大于显著性阈值的节点。

在一些实施例中，除显著性以外，还可以利用注意力机制生成的注意力分数或其他对稠密节点的重要性的度量方式作为稀疏化的过程中对节点进行筛选的依据，这些方式均在本公开的保护范围内。

在一些实施例中，可以使用基于检测的方式在稠密数据中确定节点。基于检测的方式可以包括关键点检测，也可以包括目标检测，还可以包括其他类型的检测，在此不做限定。

可以理解的是，节点稀疏化可通过节点稀疏化网络进行，节点稀疏化网络可以包括检测网络、显著性网络等。当节点稀疏化网络为检测网络时，将稠密数据输入检测网络，得到该稠密数据对应的稀疏化后的节点及节点对应的置信度。当节点稀疏化网络为显著性网络时，将稠密数据和稠密数据对应的特征向量输入显著性网络，得到该稠密数据对应的各稠密节点的显著性分数，将显著性分数大于显著性阈值和/或显著性分数最高的前k个稠密节点作为稀疏化后的节点。在一些实施例中，还可以联合考虑非极大抑制(non-maximalsuppression)等条件综合筛选。

根据一些实施例，至少一个尺度的节点可以是通过对稠密数据中与另一尺度的节点位置对应的部分进行稀疏化而得到的，另一尺度的节点可以有是通过对稠密数据进行稀疏化而得到的。在一个示例性实施例中，第一尺度的节点例如可以是通过目标检测的方式确定的，每一个第一尺度的节点可以对应稠密数据中的一部分区域(即，目标检测输出的检测框)，则可以通过对每一个第一尺度的节点在稠密数据中对应的部分进行稀疏化而得到第二尺度的节点，从而得到各第一尺度的节点各自对应的第二尺度的节点。通过这样的方式，能够得到更有价值的第二尺度的节点，从而提升后续匹配任务和下游任务的处理效率和准确率。

根据一些实施例，至少一个尺度的节点可以是通过对稠密数据进行归并而得到的。在一些示例性实施例中，例如可以使用聚类或图神经网络的方法对稠密数据进行稀疏化，以得到低尺度的节点。进而可以对这些低尺度的节点进行进一步处理，以得到高尺度的节点。

根据一些实施例，至少一个尺度的节点可以是通过对低尺度的节点进行归并而得到的，低尺度的节点可以是通过对稠密数据进行稀疏化而得到的。在一些示例性实施例中，可以使用聚类或图神经网络的方法对稀疏化得到的多个低尺度节点进行聚类，或者将包含多个低尺度节点的子图输入图神经网络，得到更高尺度的节点和/或节点的属性。

上述对节点的归并可以是基于节点的标量类型的属性的(例如，位置信息)，也可以是基于节点的向量类型的属性的(例如，特征向量)，还可以是基于图表示中的邻接边的标量、向量类型的属性的(例如，所连接的两个节点的共现概率、相关性等)，在此不做限定。

在确定了各个尺度下的节点的位置、与其他尺度的节点或稠密节点的对应关系之前、同时或之后，可以确定这些节点的属性。

根据一些实施例，稀疏化得到的节点的属性可以是根据多个稠密节点中与该节点对应的至少一部分稠密节点的属性确定的。在一些实施例中，可以根据稠密数据中与该节点位置对应的稠密节点的一定范围内的邻居节点的属性确定该节点的属性。例如，可以将这部分邻居节点输入特征提取网络得到该节点的特征向量，或可以将这部分邻居节点的特征向量的平均确定为该节点的特征向量，或将这部分邻居节点的特征向量基于显著性的加权平均确定为该节点的特征向量。在一个示例性实施例中，该节点是通过目标检测的方式确定的，则可以将稠密数据中与该节点对应的检测框内的稠密节点输入特征提取网络提取出该节点对应的特征向量(向量类型的属性)。在另一个示例性实施例中，该节点是通过归并的方式确定的，则可以根据用于归并得到该节点的所有低尺度节点的属性通过聚类或图神经网络等方式确定该节点的属性。

根据一些实施例，至少一个尺度的节点可以是通过对稀疏化得到的另一尺度的节点归并得到的，归并得到的节点的属性可以是根据另一尺度的节点中与该节点具有从属关系的节点的属性确定的。

在一些实施例中，还可以对与该节点对应的至少一部分稠密节点或与该节点具有从属关系的节点的属性进行进一步处理，以得到该节点的属性。在一个示例性实施例中，可以使用图神经网络对与该节点对应的这些节点的属性进行处理，以得到该节点的属性。除上述方法外，还可以通过其他方式确定节点的各类属性，在此不做限定。

当节点之间的相对关系对刻画数据有帮助时，多尺度图可以包括邻接边。例如图像中两个目标之间的距离，图像中两个目标之间的作用，语音中前后词之间的关联，序列中不同基团的相互作用。

根据一些实施例，至少一个邻接边可以是根据同一尺度的至少一个节点各自的属性确定的。通过对节点的属性进行分析，可以在单尺度的图表示中确定具有关联关系的节点对，以生成相应的邻接边。

在一些实施例中，可以基于规则生成邻接边。在一些实施例中，可以在距离小于预设阈值和/或距离最近的前k个的节点对之间生成邻接边。在一些实施例中，可以仅沿特定方向生成邻接边。可以理解的是，本领域技术人员可以根据先验知识自行设定相应的邻接边生成规则，并根据所设定的规则生成邻接边，在此不做限定。

在一些实施例中，可以先生成候选邻接边，再从候选邻接边中筛选出邻接边。根据一些实施例，至少一个邻接边是通过执行如下步骤确定的：基于同一尺度的至少一个节点确定至少一个候选邻接边；基于同一尺度的至少一个节点各自的属性，确定至少一个候选邻接边各自的显著性；以及将至少一个候选邻接边中显著性满足第四预设条件的邻接边确定为至少一个邻接边。通过使用显著性生成邻接边，使得邻接边的生成过程可以通过训练进行优化，以提升生成的邻接边的有效性。可以理解的是，本领域技术人员可以根据需求设置相应的第四预设条件。在一个示例性实施例中，第四预设条件可以为显著性大于显著性阈值和/或显著性最高的前k个。

根据一些实施例，至少一个邻接边中的每一个邻接边的属性可以是根据该邻接边连接的两个节点各自的属性和该两个节点的相对关系中的至少一个确定的。在一个示例性实施例中，可以根据两个节点各自的位置/属性，将连接两个节点的邻接边的位置、长度、角度、相互作用大小等内容确定为该邻接边的属性。在一些实施例中，可以利用先验知识基于规则判断两个节点的相对关系，并根据该相对关系确定邻接边的属性。

根据一些实施例，至少一个从属边可以是根据两个尺度的节点之间的从属关系直接确定的。在一个示例性实施例中，第一尺度的第一节点是通过对稠密数据进行目标检测而得到的，第二尺度的第二节点是通过对第一节点在稠密数据中对应的区域进行进一步目标检测而得到的，则第一节点和第二节点具有从属关系，可以在第一节点和第二节点之间生成从属边。在另一个示例性实施例中，第二尺度的节点是通过对稠密数据进行聚类而得到的，第一尺度的节点通过对第二尺度的节点进行归并而得到的，则用于归并得到第一尺度的节点的第二尺度的节点和该第一尺度的节点之间具有从属关系，可以在这些第二尺度的节点和第一尺度的节点之间生成从属边。

根据一些实施例，从属边的属性可以是根据与该从属边相连的两个节点的属性确定的。如前文所描述的，可以以各种方式根据与从属边相连的两个节点的向量类型的属性和/或标量类型的属性确定该从属边的属性，在此不做限定。

根据一些实施例，第一数据和第二数据各自的第一尺度的图表示可以是利用第一网络生成的和/或第一数据和第二数据各自的第二尺度的图表示可以是利用第二网络生成的。在一些实施例中，上述节点、邻接边、从属边的生成过程以及节点、邻接边、从属边的属性的确定过程可以全部或部分是利用第一网络或第二网络进行的，也可以全部或部分是利用基于规则的方法进行的，还可以一部分环节是利用第一网络或第二网络进行的，另一部分环节是利用基于规则的方法进行的，在此不做限定。在利用网络进行节点、邻接边、从属边的生成和/或属性的确定时，可以在匹配结果中加入可微分的部分，从而使得能够通过训练对生成过程和/或属性的确定进行优化，以进一步提升图表示的表达能力。

在获取到第一数据和第二数据的多尺度图表示后，可以分别对第一数据和第二数据的不同尺度的图表示进行图匹配，以得到与每个尺度对应的匹配结果，进而根据这些匹配结果确定多尺度匹配结果。

根据一些实施例，如图3所示，第一尺度和第二尺度中每一尺度的图匹配过程可以包括：

步骤301，根据第一数据的该尺度的图表示所包括的至少一个节点和第二数据的该尺度的图表示所包括的至少一个节点确定候选匹配点对，其中，候选匹配点对包括属于第一数据的该尺度的图表示的第一候选匹配节点和属于第二数据的该尺度的图表示的第二候选匹配节点；

步骤302，针对候选匹配点对，基于候选匹配点对所包括的第一候选匹配节点的特征向量和候选匹配点对所包括的第二候选匹配节点的特征向量，确定候选匹配点对的匹配结果；

步骤303，基于候选匹配点对的匹配结果，确定第一数据的该尺度的图表示和第二数据的该尺度的图表示的匹配结果。

可以理解的是，第一数据的该尺度的图表示和第二数据的该尺度的图表示的匹配结果可以基于多个候选匹配点对的匹配结果确定，当该尺度的图表示包括邻接边时，还可基于多个候选匹配边对的匹配结果确定。

由此，通过在图表示中的节点构成的图结构和节点自身属性(例如特征向量)两个维度进行匹配，使得能够充分利用数据所包含的信息进行匹配，提升了匹配结果和后续任务的结果的准确性。

在步骤301中，可以利用不同数据的图表示中的节点(以及可选的，节点之间的邻接边)所呈现的结构的相似度信息，确定不同数据的图表示中的节点之间的匹配关系，以得到候选匹配点对。可以结合现有的匹配算法来进行不同数据的图表示之间的节点匹配，以得到候选匹配点对。

在一些实施例中，可以使用逐点匹配的方式快速得到候选匹配点对。

在一个示例性实施例中，可以在步骤302中确定候选匹配点对的匹配结果为匹配时，确定新的候选匹配点对(例如根据已确认匹配的匹配点对A和B，确定节点A的最近邻C和节点B的最近邻D为新的候选匹配点对)，再对新候选匹配点对执行步骤302，直到新的候选匹配点对不匹配或无法确定新的候选匹配点对。进而在步骤303中，根据该尺度的图表示中历史所有候选匹配点对的匹配结果，确定第一数据的该尺度的图表示和第二数据的该尺度的图表示的匹配结果。

在一些示例性实施例中，可以在每次得到新的候选匹配点对时执行步骤302和步骤303，进而根据当前得到的图表示的匹配结果确定是否继续搜索更多的候选匹配点对。如果此时图表示的匹配结果已经能够确定两个数据匹配(例如，匹配得分大于预设阈值)，则可以停止搜索并返回结果；否则可以继续搜索，直至无法找到更多的候选匹配点对。

在一些实施例中，通过结合树生长算法和束搜索，可以在递归的每一步在已经匹配到的节点构成的树上长出一个树枝，并且计算新生的树叶(即，所有可能生长出的树枝)的得分，筛选最好的k个树叶作为下一步的树枝，以实现逐点匹配。可以理解的是，还可以使用其他方法实现逐点匹配，在此不做限定。

在一些实施例中，可以使用全局匹配的方式(例如匈牙利算法)得到候选匹配点对。

在一些实施例中，可以使用动态规划的方式得到候选匹配点对。动态规划的方式能够得到全局最优的匹配结果。在一个示例性实施例中，匹配结果可以包括多个候选匹配点对，可以对其中的每一个候选匹配点对执行步骤302以得到对应的匹配结果，并在步骤303基于所有的候选匹配点对的匹配结果确定图表示的匹配结果。

在步骤302中，可以使用多种方式基于第一候选匹配节点的属性和第二候选匹配节点的属性确定这两个节点的匹配结果。

在一些实施例中，候选匹配点对的匹配结果例如可以是第一候选匹配节点的特征向量和第二候选匹配节点的特征向量之间的相似度。在一些实施例中，候选匹配点对的匹配结果还可以是第一候选匹配节点的显著性、第二候选匹配节点的显著性、以及第一候选匹配节点的特征向量和第二候选匹配节点的特征向量之间的相似度的乘积。这样的数值型的匹配结果也可以被称为节点的匹配得分。

在一些实施例中，可以先利用节点的标量类型的属性确定第一点对匹配结果，再根据第一点对匹配结果判断是否需要进一步利用节点的向量类型的属性确定第二点对匹配结果。如图4所示，步骤302，确定候选匹配点对的匹配结果可以包括：步骤401，基于候选匹配点对所包括的第一候选匹配节点的标量类型的属性和候选匹配点对所包括的第二候选匹配节点的标量类型的属性，确定候选匹配点对的第一点对匹配结果；步骤402，响应于确定候选匹配点对的第一点对匹配结果满足第一预设条件，基于候选匹配点对所包括的第一候选匹配节点的特征向量和候选匹配点对所包括的第二候选匹配节点的特征向量，确定候选匹配点对的第二点对匹配结果；以及步骤403，基于第二点对匹配结果，确定候选匹配点对的匹配结果。通过这样的方式，一方面可以利用先验知识基于标量类型的属性进行匹配结果判断，另一方面能够降低计算量，提高匹配结果的计算速度。

在步骤401中，例如可以将标量类型的属性所包括的类别属性的一致性或相关性确定为第一点对匹配结果，也可以将标量类型的属性所包括的数值属性的差值、比值或其他计算结果确定为第一点对匹配结果，还可以通过其他方式确定第一点对匹配结果，在此不做限定。

在步骤402中，第一预设条件可以和上述第一点对匹配结果对应，例如可以为类别属性一致，也可以为数值属性的差值小于阈值。可以理解的是，本领域技术人员可以自行根据需求设置第一预设条件，在此不做限定。第二点对匹配结果的确定方式与前文描述的利用两个节点各自的特征向量确定这两个节点的匹配结果的方式类似，在此不做赘述。

在步骤403中，可以直接将第二点对匹配结果确定为候选匹配点对的匹配结果，也可以基于第一点对匹配结果和第二点对匹配结果确定候选匹配点对的匹配结果。在一个示例性实施例中，第一点对匹配结果为候选匹配点对中的两个节点的数值属性的比值，第二点对匹配结果为这两个节点的特征向量的相似度，则可以将该比值和该相似度的综合计算结果确定为该候选匹配点对的匹配结果。

在一些实施例中，也可以在得到候选匹配点对后利用节点的标量类型的属性对候选匹配点对进行筛选，从而能够过滤掉部分不匹配的点对以得到更准确的图表示匹配结果，并且能够降低图表示匹配结果计算过程的计算量。

回到图3。在一些实施例中，还可以利用第一候选匹配节点的邻居节点和邻居邻接边以及第二候选匹配节点的邻居节点和邻居邻接边的属性确定这两个候选匹配节点的匹配结果。可以理解的是，当两个节点的邻居节点比较相似、连接两个节点各自的边比较相似时，这两个节点匹配的概率较高。

在步骤303中，第一数据和第二数据在该尺度下的图表示的匹配结果例如可以是所有候选匹配点对的匹配得分的总和。可以理解的是，还可以使用其他方式确定图表示的匹配结果。在一个实施例中，可以将匹配得分的综合和预设阈值的比较结果确定为最终匹配结果。在一个实施例中，每一个候选匹配点对可以具有权重，则最终匹配结果例如可以是所有候选匹配点对的匹配得分的加权总和。在一个实施例中，候选匹配点对的匹配结果指示该候选匹配点对的属性是否一致，则可以根据这些二元判断结果确定图表示的匹配结果。

在进行图匹配时，还可以对图表示所包括的邻接边进行匹配，并根据邻接边的匹配结果确定图表示的匹配结果。在一些实施例中，如果图表示中只有节点，则可以根据节点进行匹配；如果图表示中包括节点可邻接边，可以同时利用两者进行匹配。

根据一些实施例，如图3所示，第一尺度和第二尺度中每一尺度的图匹配过程还可以包括：

步骤304，根据第一数据的该尺度的图表示所包括的至少一个邻接边和第二数据的该尺度的图表示所包括的至少一个邻接边确定候选匹配边对，其中，候选匹配边对包括属于第一数据的该尺度的图表示的第一候选匹配邻接边和属于第二数据的该尺度的图表示的第二候选匹配邻接边；

步骤305，针对候选匹配边对，基于候选匹配边对所包括的第一候选匹配邻接边的属性和候选匹配边对所包括的第二候选匹配邻接边的属性，确定候选匹配边对的匹配结果；以及

步骤306，基于候选匹配边对的匹配结果，确定第一数据的该尺度的图表示和第二数据的该尺度的图表示的匹配结果。

由此，通过在图表示中的节点和邻接边构成的图结构和邻接边所包括的属性两个维度进行匹配，使得能够充分利用数据所包含的信息进行匹配，提升了匹配结果和后续任务的结果的准确性。

在一些实施例中，步骤304可以和步骤301同时执行。也就是说，可以使用前文描述的方法同时得到候选匹配点对和候选匹配边对。在一些实施例中，可以先确定候选匹配点对，进而根据这些候选匹配点对所包括的点之间的邻接边确定候选匹配边对。

可以理解的是，候选匹配边对的匹配结果的确定方式和上述候选匹配点对的匹配结果的确定方式类似，基于候选匹配边对的匹配结果确定图表示的匹配结果的方式和基于候选匹配点对的匹配结果确定图表示的方式类似，在此不做赘述。

在步骤305中，可以使用多种方式基于第一候选匹配邻接边的属性和第二候选匹配邻接边的属性确定这两个邻接边的匹配结果。

在一些实施例中，候选匹配边对的匹配结果例如可以是第一候选匹配邻接边的特征向量和第二候选匹配邻接边的特征向量之间的相似度。在一些实施例中，候选匹配边对的匹配结果可以是第一候选匹配邻接边的显著性、第二候选匹配邻接边的显著性、以及第一候选匹配邻接边的特征向量和第二候选匹配邻接边的特征向量的相似度的乘积。

在一些实施例中，可以先利用邻接边的标量类型的属性确定第一边对匹配结果，再根据第一边对匹配结果判断是否需要进一步利用邻接边的向量类型的属性确定第二边对匹配结果。如图5所示，步骤305，确定候选匹配边对的匹配结果可以包括：步骤501，基于候选匹配边对所包括的第一候选匹配邻接边的标量类型的属性和候选匹配边对所包括的第二候选匹配邻接边的标量类型的属性，确定候选匹配边对的第一边对匹配结果；步骤502，响应于确定候选匹配边对的第一边对匹配结果满足第二预设条件，基于候选匹配边对所包括的第一候选匹配邻接边的特征向量和候选匹配边对所包括的第二候选匹配邻接边的特征向量，确定候选匹配边对的第二边对匹配结果；以及步骤503，基于第二边对匹配结果，确定候选匹配边对的匹配结果。

可以理解的是，步骤501-步骤503对候选匹配边对的操作分别和步骤401-步骤403对候选匹配点对的操作类似，在此不做赘述。本领域技术人员可以根据需求自行设置第二预设条件，在此不做限定。

回到图3。在一些实施例中，还可以利用第一候选匹配邻接边的邻居节点以及第二候选匹配邻接边的邻居节点确定这两个候选匹配邻接边的匹配结果。

在步骤303中，第一数据和第二数据在该尺度下的图表示的匹配结果可以是所有候选匹配点对的匹配得分和/或所有候选匹配边对的匹配的分的总和，还可以是利用其他方式基于候选匹配点对的匹配结果和/或候选匹配边对的匹配结果得到的，在此不做限定。

在一些实施例中，除了匹配得分外，匹配结果还可以根据节点//边的配对检查结果确定。例如，节点/边配对检查包括通过射影变换等进行几何关系求解的节点/边配对检查。可理解的是，不同图表示中的节点的匹配还可以对应数据之间几何空间中的变换关系，其中，显式的变换可以包括场景匹配中的射影变换、指纹匹配中的等距变换，而隐式的变换可以包括语音相关任务中说话人和环境的改变。节点//边的配对检查结果可通过两种方式影响匹配结果：第一种，在进行节点匹配以得到候选匹配点对的过程中，可以加入约束条件，将满足约束条件的点对/边对作为候选匹配点对/边对，从而将先验知识带入到匹配过程中，并且能够加速匹配过程。第二种：在根据候选匹配点对/边对的匹配结果得到初始图匹配结果后，可对节点//边的配对检查结果确定检查结果，根据初始图匹配结果和检查结果共同确定最终的图匹配结果。例如，初始图匹配结果表明匹配度80％，检查结果表明不匹配，可加权得到最终图匹配结果例如70％。

在进行多尺度图表示的图匹配过程中，每一个尺度的图匹配可以是独立进行的，也可以是先在某一尺度进行图匹配，进而根据该尺度的匹配结果确定是否进行其他尺度的图匹配，或者调整其他尺度的图匹配策略或图匹配参数。

根据一些实施例，步骤105，将第一数据的第二尺度的图表示和第二数据的第二尺度的图表示进行图匹配，以得到第二匹配结果可以包括：响应于确定第一匹配结果为成功匹配，将第一数据的第二尺度的图表示和第二数据的第二尺度的图表示进行图匹配，以得到第二匹配结果。由此，通过先进行体现整体信息(信息量较少)的第一尺度的图匹配，再根据第一尺度的图匹配结果判断是否进行体现局部信息(信息量较大)的第二尺度的图匹配，使得能够减少第二尺度的图匹配的次数，从而在不影响匹配结果和后续任务处理结果的情况下降低匹配过程的整体耗时，提升任务处理效率。

根据一些实施例，步骤105，将第一数据的第二尺度的图表示和第二数据的第二尺度的图表示进行图匹配，以得到第二匹配结果可以包括：响应于确定第一匹配结果为成功匹配，将第一数据的第二尺度的第一子图和第二数据的第二尺度的第二子图进行匹配。其中，第一匹配结果指示第一数据的第一尺度的图表示中的第一节点和第二数据的第一尺度的图表示中的第二节点成功匹配，第一子图可以包括第一数据的第二尺度的图表示中与第一节点具有从属关系的节点，第二子图可以包括第二数据的第二尺度的图表示中与第二节点具有从属关系的节点。

由此，通过先进行第一尺度的图匹配，再对第一尺度的图匹配结果指示成功匹配的节点的子图进行匹配，使得无需对图表示中大概率不匹配的部分进行匹配，从而能够降低需要计算匹配结果的节点和/或邻接边的数量，并且能够在不影响匹配结果和后续任务处理结果的情况下进一步降低匹配过程的整体耗时，提升任务处理效率。

根据一些实施例，步骤105，将第一数据的第二尺度的图表示和第二数据的第二尺度的图表示进行图匹配，以得到第二匹配结果可以包括：基于当前节点的属性、与当前节点有从属关系的第一尺度的节点是否成功匹配，确定当前节点的匹配结果，其中，当前节点为第二尺度的节点。通过在低尺度的图匹配过程中考虑纵向关系，将与该节点具有从属关系的高尺度节点的匹配结果作为参考要素，使得能够提升低尺度的图匹配结果的准确性。

在步骤106中，可以根据需求设置相应的基于第一匹配结果和第二匹配结果确定多尺度匹配结果的方式和逻辑。在一些实施例中，当第一匹配结果和第二匹配结果均为成功匹配时，确定多尺度匹配结果为成功匹配。在一些实施例中，当低尺度的第二匹配结果成功匹配时，确定多尺度匹配结果为成功匹配。在一些实施例中，第一匹配结果和第二匹配结果例如可以为第一尺度和第二尺度下的图表示的匹配程度，则多尺度匹配结果可以为基于两个尺度下的图表示的匹配程度的计算结果，例如两个尺度下的图表示的匹配程度的平均值。可以理解的是，还可以以其他方式确定多尺度匹配结果，在此不做限定。

根据一些实施例，任务为匹配任务，步骤107，基于多尺度匹配结果，确定任务处理结果可以包括：将多尺度匹配结果作为最终任务的结果。

根据一些实施例，第二数据可以是从数据库中获取的。步骤107，基于多尺度匹配结果，确定任务处理结果可以包括：基于第一数据和数据库中的多个第二数据的多尺度匹配结果，确定与第一数据匹配的至少一个第二数据；以及基于至少一个第二数据，确定任务处理结果。由此，通过上述方式，能够将基于多尺度图表示的其他类型的任务转换为多尺度图表示的匹配任务。在一个示例性实施例中，最终任务可以为通过匹配手段实现的识别任务、匹配任务、搜索任务，则可以直接将匹配到的至少一个第二数据作为搜索结果。在一个示例性实施例中，最终任务为分类任务，可以将则可以将第一数据和匹配到的至少一个第二数据全部输入用于分类任务的模型，从而使该模型将至少一个第二数据作分类的参考以完成对第一数据的分类。在一个示例性实施例中，最终任务可以为生成任务(例如，文本或图像的填空)，则可以将局部空缺的第一数据和匹配到的至少一个第二数据全部输入用于生成任务的模型，从而使该模型将至少一个第二数据作为生成的参考以完成对第一数据的生成。如此，可借助与第一数据相似的数据完成任务，相比于仅将第一数据输入模型为模型提供了更为丰富的信息，在不增加模型复杂度的情况下更为准确的获得分类、生成任务的结果。

以下将结合实施例对不同类型的数据的多尺度图表示、图匹配、以及任务处理进行说明。

在一个示例性实施例中，第一数据和第二数据均可以为图像数据，稠密数据可以为基于对应的图像数据而得到的特征图，稠密数据中的多个稠密节点可以为特征图中的多个像素。通过对第一数据进行稀疏化(例如，基于显著性)可以得到多个第二尺度的节点。这些节点的属性可以包括节点在第一数据中的位置，以及节点对应的特征向量(例如，根据节点在特征图中邻域确定节点的特征向量，或者，根据节点在第一数据中对应的局部图像确定节点的特征向量，节点的特征向量可以用于描述节点所在邻域的属性，例如方向场、如果第一数据为指掌纹数据，节点的特征向量可用于描述节点所在邻域的纹理密度等)。类似地，可以得到第二数据的第二尺度的节点。通过对第一数据的第二尺度的节点进行归并可以得到多个第一尺度的节点。这些第一节点的属性同样可以包括节点在第一数据中的位置，以及节点对应的特征向量。类似地，可以得到第二数据的第一尺度的节点。第二尺度上还可以包括邻接边，用于在与同一个第一尺度的节点具有从属关系的多个第二尺度的节点之间建立连接，而具有从属关系的第一尺度的节点和第二尺度的节点之间还可以具有从属边。邻接边和从属边的属性例如可以包括边与其对应节点之间的相对位置、角度、边的长度(例如用于描述其所连接节点的作用力大小)等。

图像数据的多尺度图结构能够提取出图像中目标的几何信息(例如，图像中的多个目标的位置关系，或同一目标的不同部分之间的位置关系)，同时保留了丰富的细节信息(例如，节点的特征向量)。而不同尺度的图表示兼顾整体和局部，对于残缺、变形、视角变换、遮挡、攻击样本等更具有鲁棒性，可解释性也更强。通过使用这样的多尺度图表示进行图匹配，并利用图匹配的方式解决下游复杂任务(下游任务例如是图像匹配，图像搜索，图像分类，图像生成)，能够得到更加精准可靠的结果。此外，由于具有多尺度的特性，因此在进行图像数据检索、比对等任务时，可以根据高尺度的图表示进行初步筛选，再使用低尺度的图表示进行精确地检索和比对，同时基于先验知识进行约束(例如，几何约束)以得到准确结果。

在一个示例性实施例中，第一数据和第二数据均可以为文本数据，则稠密数据可以为文本段落，稠密数据中的节点可以为文本段落中的字/词。可以理解的是，稠密数据中的节点也可以为这些字/词对应的文本特征。通过对第一数据和第二数据进行稀疏化，可以得到第一尺度和第二尺度的节点，这些节点可以对应文本段落中的句子、子句、短语、词汇等文本中的不同尺度的文本片段。这些节点的属性例如可以包括对应的文本片段的词嵌入，还可以包括其在文本段落中的位置。节点之间的邻接边例如可以用于体现不同文本片段之间的关系，而从属边可以用于体现不同尺度的文本片段之间的从属关系。

文本数据的多尺度图表示能够提取出文本段落中的字、词、短语、子句、句子、段落等不同尺度的文本片段之间的结构关系和/或逻辑关系，并且能够保留这些文本中的要素对应的文本特征向量，使得能够更好的处理各类自然语言处理任务。而不同尺度的图表示兼顾整体和局部，对于句子不完整、残缺、句子变形、不同语言等更具有鲁棒性。下游任务可以是文本翻译，文本续写，自动问答等。

在一个示例性实施例中，第一数据和第二数据均可以为音频数据，则稠密数据可以为音频数据的频谱图，稠密数据中的节点为频谱图中的像素。第一尺度的节点例如可以是通过延时间方向对频谱图进行片段划分而得到的多个片段区域，而第二尺度的节点例如可以是从频谱图中提取出的特征点。第二节点之间可以具有邻接边，用于连接相邻的特征点。

音频数据的多尺度图表示能够延时间方向提取出多个片段，以及每个片段中的多个特征点和这些特征点之间的关联关系(例如，时间距离，频域距离)，并且保留了和这些特征点对应的特征向量，使得在完成音频相关任务，尤其是语音相关任务时，能够解决不同语音、语调、说话方式、以及内容的随机性带来的问题。而不同尺度的图表示兼顾整体和局部，对于语音不完整、噪声等更具有鲁棒性。下游任务可以是语音翻译等。

在一些示例性实施例中，第一数据和第二数据还可以为分子、基因、蛋白质、序列等各类复杂数据，则稠密数据中的节点可以为对应的数据类型下的最小单元，例如，原子、碱基对、氨基酸等。图表示的节点可以和稠密数据一致，也可以为更高尺度的单元，例如，原子团、官能团、多个碱基对构成的片段(例如，编码区和非编码区，或更低尺度下的增强子、启动子、外显子、内含子、终止子等)、蛋白质中氨基酸序列、肽链等等。节点间的邻接边和从属边可以用于体现同尺度的单元间的各类关系(例如，化学键、氢键)和不同尺度的单元间的各类关系(例如，从属关系)。此外，多尺度的图表示还能够体现这些数据在不同尺度下的结构，例如蛋白质的一级、二级、三级、四级结构。下游任务可以是分子结构数据、序列数据的性质/结构预测等。

这些复杂数据的多尺度图表示能够表征其复杂的空间结构和细节信息，并且能够体现出复杂数据中的各类单元之间的不同关系，因此使用多尺度图表示使得能够充分利用复杂数据的上述信息以进行匹配任务或其他下游任务。

在一些实施例中，其他类型的数据可以先转换为图像数据，再根据转换后的图像数据生成多尺度图表示。示例性地，例如可以将音频数据、文本数据等其他类型的数据转换为图像数据，再根据图像数据提取多尺度图表示，进而根据该图表示完成下游的各类任务。

在一些实施例中，也可以在不同类型的数据的图表示之间进行图匹配，以完成特定的跨模态任务。

图6示出了根据本公开一个实施例的一种神经网络的训练方法600的流程图，该方法600包括：

步骤601，获取第一样本数据和第二样本数据，第一样本数据和第二样本数据分别为图像数据、音频数据、文本数据、分子结构数据和序列数据中的一者；

步骤602，获取第一样本数据和第二样本数据各自的多尺度图表示，其中，多尺度图表示是利用图表示提取网络确定的，多尺度图表示包括第一尺度的图表示和第二尺度的图表示；

步骤603，将第一样本数据的第一尺度的图表示和第二样本数据的第一尺度的图表示进行图匹配，以得到表征第一尺度的匹配程度的第一当前匹配结果；

步骤604，将第一样本数据的第二尺度的图表示和第二样本数据的第二尺度的图表示进行图匹配，以得到表征第二尺度的匹配程度的第二当前匹配结果；

步骤605，获取第一样本数据和第二样本数据的目标匹配结果和/或目标任务处理结果；

步骤606，根据目标匹配结果和/或目标任务处理结果、以及第一当前匹配结果和/或第二当前匹配结果，确定损失值；以及

步骤607，根据损失值，训练图表示提取网络。

根据本实施例的方法，通过利用根据图匹配结果和目标匹配结果和/或目标任务处理结果确定的损失值训练图表示提取网络，使得在推理阶段能够利用图表示提取网络得到准确的、适于下游任务的多尺度图表示，从而能够帮助下游任务得到准确的任务处理结果。

可以理解的是，第一样本数据和第二样本数据与前文描述的第一数据和第二数据类似，步骤601-步骤604中的获取第一样本数据及其多尺度图表示、获取第二样本数据及其多尺度图表示以及对不同尺度的图表示进行图匹配的操作和图1中的步骤101-步骤105的操作类似，在此不做赘述。

根据一些实施例，多尺度图表示中的每一个尺度的图表示可以包括至少一个节点，节点可以包括属性，节点的属性可以包括标量类型的属性和向量类型的属性。多尺度图表示中的至少一个尺度的图表示可以包括至少一个邻接边，至少一个邻接边中的每一个邻接边用于表征同一尺度的两个节点的相对关系，邻接边具有属性，邻接边的属性包括标量类型的属性和向量类型的属性。

根据一些实施例，根据一些实施例，节点的标量类型的属性可以包括节点的显著性、标签、其他属性，节点的向量类型的属性包括节点的特征向量；邻接边的标量类型的属性包括邻接边的显著性、标签、其他属性，邻接边的向量类型的属性包括邻接边的特征向量。

图匹配的结果可以是两个图表示的相似度。两个图表示的相似度可以是各节点/边相似度的和，各节点/边显著性*相似度的和，示例性的，节点/边的相似度可以根据其属性确定。如此，可产生针对每个局部特征(节点/边的属性)的监督信号，单独对某个局部特征进行训练。

目标匹配结果可以为匹配或不匹配的匹配结果，也可以为表征匹配程度的结果(例如匹配度99％)；目标任务可以为匹配任务、检索任务、分类任务、识别任务、生成填空任务以及其他各类数据分析与处理相关任务。当目标任务为匹配任务时，目标任务的结果即为目标匹配结果。

在一个具体实施方式中，目标匹配结果和/或目标任务处理结果可以是根据针对样本数据的标注确定的。例如，例如标注是两个样本数据互为正样本，也就是标注了目标匹配结果为“匹配”。例如，目标任务是对样本图像进行分类的分类任务，可标注目标任务处理结果为类别“1”。如此，可对匹配结果和/或最终任务结果进行标注，无需标注具体的图表示提取网络提取出的图表示。

根据一些实施例，目标匹配结果和/或目标任务处理结果可以是根据以下中的一项确定的：基于人工标注、基于教师模型和/或预训练的模型、基于辅助约束信息、基于规则的方式。

具体的，可以对目标匹配结果和/或目标任务处理结果进行人工标注。可以理解的是，人工标注可以是数据维度而非尺度维度，例如，可标注第一数据和第二数据是否匹配，而无需标注第一数据中某个尺度和第二数据中某个尺度是否匹配。事实上，已知第一第二数据是否匹配，也就知道了各个尺度的是否匹配。如此，可根据数据维度的标签得到尺度维度的标签，大大增加了监督信号的数量。

另一具体实施方式中，可以根据教师模型和/或预训练的模型确定目标匹配结果和/或目标任务处理结果。其中，教师模型和预训练模型可以是在先利用大量数据训练得到的具有一定推理能力的模型，也可以利用这样的模型进行知识蒸馏，以实现对图表示提取网络的训练。例如，使用教师模型/预训练模型提取第一数据和第二尺度的多尺度图表示，基于该多尺度图表示判断匹配结果和/或任务处理结果，根据基于该多尺度图表示判断的匹配结果和/或任务处理结果确定目标匹配结果和/或目标任务处理结果(例如从中筛选置信度高的匹配结果或任务处理作为目标匹配结果和/或目标任务处理结果)。

另一具体实施方式中，可以基于规则确定目标匹配结果和/或目标任务处理结果。基于规则的方式中的规则可以是根据先验知识确定的。例如，基于特定的规则提取第一数据和第二尺度的多尺度图表示，基于该多尺度图表示判断匹配结果和/或任务处理结果，将匹配结果和/或任务处理结果作为目标匹配结果和/或目标任务处理结果。

可以理解的是，还可以使用其他方式得到目标匹配结果和/或目标任务处理结果，在此不做限定。

根据一些实施例，目标匹配结果可以是利用经过第N轮训练的网络确定的，目标匹配结果可以是根据经过第N轮训练的网络确定的。如图7所示，步骤601，获取第一样本数据和第二样本数据可以包括：

步骤701，利用经过第N轮训练的网络提取第一未标注数据和第二未标注数据各自的多尺度图表示；

步骤702，将第一未标注数据的第一尺度的图表示和第二未标注数据的第一尺度的图表示进行图匹配，以得到表征第一尺度的匹配程度的第一未标注数据匹配结果；

步骤703，将第一未标注数据的第二尺度的图表示和第二未标注数据的第二尺度的图表示进行图匹配，以得到表征第二尺度的匹配程度的第二未标注数据匹配结果；

步骤704，根据第一未标注数据匹配结果和/或第二未标注数据匹配结果，确定未标注数据匹配结果；

步骤705，响应于确定第一未标注数据和第二未标注数据满足第一条件，将第一未标注数据和第二未标注数据确定为互为正样本的第一样本数据和第二样本数据，其中，第一未标注数据和第二未标注数据满足第一条件包括未标注数据匹配结果满足第一匹配条件，正样本的目标匹配结果指示对应的第一样本数据和第二样本数据匹配；和/或

步骤706，响应于确定第一未标注数据和第二未标注数据满足第二条件，将第一未标注数据和第二未标注数据确定为互为负样本的第一样本数据和第二样本数据，其中，第一未标注数据和第二未标注数据满足第二条件包括未标注数据匹配结果满足第二匹配条件，负样本的目标匹配结果指示对应的第一样本数据和第二样本数据不匹配。

未标注数据的匹配结果可以是浮点数或整数，例如，第一未标注数据匹配结果为相似度，为浮点数；第二未标注数据的匹配结果为匹配上了几个节点/边，为整数。

第一条件、第二条件、第一匹配条件和第二匹配条件可由用户设置，例如第一匹配条件可以为第一未标注数据匹配结果大于80％且第二未标注数据匹配结果大于5个节点/边。可以理解的是，第一匹配条件和第二匹配条件设置的越严苛，由未标注数据生成的正样本/负样本对应的目标匹配结果更为可靠。

除了匹配条件的要求外，在将第一未标注数据和第二未标注数据确定为样本数据时，第一条件和第二条件还可以有辅助条件要求。辅助条件可以为时间地点条件，专家二次确认条件等。例如，当第一未标注数据和第二未标注数据为图像数据时，可将其拍摄时空信息作为辅助条件，用来判断其是否为正样本/负样本。例如，两张图像的相似度较高、匹配上的节点/边的数量较多，且拍摄时间、地点接近，则二者包含同一对象的概率更大，二者互为正样本的概率更大。

由此，通过上述方式利用经过第N轮的网络生成正样本和/或负样本，使得图表示提取网络能够用这些样本进行第N+1轮的训练，只需标注少量样本数据得到第N轮训练后的模型，即可利用第N轮训练后的模型得到更多的样本数据进行进一步的训练，大大减少了模型训练过程中对标注量的要求。并且，在同时生成正样本和负样本的情况下，能够利用这样的正样本和负样本进行对比学习以具备提取准确图表示的能力，同时降低了样本的获取成本。

在一个示例性实施例中，在图表示提取网络生成的多尺度图表示中，某一个节点上的特征不如其他的特征(稳健性不足)，则在正样本的图匹配中，匹配的误差将主要来源于这个节点的特征，则训练时监督信号会集中于这个节点的特征，以强化该特征的稳健性。

可以理解的是，图7中的步骤701-步骤703中的提取第一未标注数据和第二未标注数据各自的多尺度图表示、以及将第一未标注数据和第二未标注数据的不同尺度的图表示进行图匹配1的操作和图1中的步骤101-步骤105的操作类似，在此不做赘述。

在步骤704中，可以根据第一未标注数据匹配结果和第二未标注数据匹配结果中的一者或两者确定未标注数据匹配结果。在对数据质量相对严格的实施例中，响应于确定第一未标注数据匹配结果和第二未标注数据匹配结果均指示成功匹配，将未标注数据匹配结果确定为匹配。在一些实施例中，可设置第一尺度和第二尺度满足特定的匹配条件时，将未标注数据匹配结果确定为匹配。例如，如果第一尺度相似度大于80％且第二尺度匹配上5个节点，则将未标注数据匹配结果确定为匹配。在一些情况下，可以在不同尺度之间进行交叉验证，以产生更多的监督信号。在一些实施例中，由于较低尺度的图表示匹配结果涉及更多细节特征，可信度较宏观特征更高，在较低尺度的图表示匹配结果指示成功匹配时即可将未标注数据匹配结果确定为匹配。在一些实施例中，当多尺度图表示包括三个或更多尺度时，可以在最高和最低尺度的图表示匹配结果指示成功匹配时将未标注数据匹配结果确定为匹配。在对数据更为宽容的实施例中，可以在较高尺度的图表示匹配结果指示成功匹配时将未标注数据匹配结果确定为匹配。

可以理解的是，还可以以其他方式在不同尺度之间进行交叉验证，以产生监督信号，在此不做限定。

可以理解的是，“第N轮训练”表示该网络经过了至少一轮的训练，从而具备了一定的推断能力，但并不意图限定该网络的具体训练轮数。

根据一些实施例，损失值可以包括匹配损失值和/或任务损失值。如图8所示，步骤606，根据目标匹配结果和/或目标任务处理结果、以及第一当前匹配结果和/或第二当前匹配结果，确定损失值可以包括：步骤801，根据第一当前匹配结果和/或第二当前匹配结果，确定匹配损失值；和/或，步骤802，根据第一当前匹配结果和/或第二当前匹配结果，确定当前任务结果，以及根据目标任务处理结果和当前任务结果，确定任务损失值。

在一些实施例中，能够直接获取到某个或某些尺度的目标匹配结果，或者多尺度图表示之间的目标匹配结果，则可以根据目标匹配结果和第一当前匹配结果和/或第二当前匹配结果确定相应的匹配损失值，从而产生监督信号以训练网络。

在一些实施例中，例如在填空任务中，能够获取到相应的目标任务处理结果，则可以根据第一当前匹配结果和/或第二当前匹配结果确定当前任务处理结果，进而根据目标任务处理结果和当前任务处理结果确定相应的任务损失值，从而产生相应的监督信号以训练网络。例如，有多个第二数据，根据第一当前匹配结果和/或第二当前匹配结果确定第一数据和第二数据的当前匹配结果，将第一数据以及多个第二数据中和第一数据的当前匹配结果为匹配的第二数据输入填空网络，得到任务处理结果。此时可能并不知晓目标匹配结果，而是知道目标任务处理结果，则可根据目标任务处理结果确定监督信号。

根据一些实施例，步骤801，根据第一当前匹配结果和/或第二当前匹配结果，确定匹配损失值可以包括：根据第一当前匹配结果和/或第二当前匹配结果，确定当前匹配结果；以及根据当前匹配结果和目标匹配结果，确定匹配损失值。

在一些实施例中，能够直接获取到多尺度图表示直接的目标匹配结果，则可以先根据第一当前匹配结果和/或第二当前匹配结果确定当前匹配结果，进而根据当前匹配结果和目标匹配结果确定相应的匹配损失值，从而产生相应的监督信号以训练网络。

根据一些实施例，图表示提取网络可以包括用于提取第一尺度的图表示的第一网络。在一些实施例中，步骤606，根据第一当前匹配结果和/或第二当前匹配结果，确定匹配损失值可以包括：根据目标匹配结果和第一当前匹配结果，确定第一尺度匹配损失值。步骤607，根据损失值，训练图表示提取网络可以包括：根据第一尺度匹配损失值，训练第一网络。

根据一些实施例，图表示提取网络可以包括用于提取第二尺度的图表示的第二网络。在一些实施例中，步骤606，根据第一当前匹配结果和/或第二当前匹配结果，确定匹配损失值可以包括：根据目标匹配结果和第二当前匹配结果，确定第二尺度匹配损失值。步骤607，根据损失值，训练图表示提取网络可以包括：根据第二尺度匹配损失值，训练第二网络。由此，可以分别计算第一尺度和第二尺度的损失值，并分别训练对应的网络模型。

根据一些实施例，图表示提取网络可以包括以下中的至少一个：用于确定节点的标量类型的属性的网络模块；用于确定节点的向量类型的属性的网络模块；用于确定邻接边的标量类型的属性的网络模块；以及用于确定邻接边的向量类型的属性的网络模块。可以理解的是，图表示提取网络还可以包括由原始数据得到稠密数据的特征提取网络模块。损失值可以作用于与这些网络模块对应的可微分的部分，从而实现对这些网络模块的训练。

根据一些实施例，前述对稠密数据进行稀疏化得到稀疏化后的节点的稀疏化模块、对稀疏化得到的低尺度的节点进行归并得到高尺度节点也是通过神经网络实现的，相应的，图表示提取网络包括以下中的至少一个：用于对稠密数据进行稀疏化得到稀疏化后的节点的稀疏化模块；对稀疏化得到的低尺度的节点进行归并得到高尺度节点的归并模块。

根据一些实施例，根据稀疏化模块得到节点，将节点连接形成邻接边，通过用于确定邻接边的显著性属性的网络模块将显著性大于阈值的邻接边确定为保留的邻接边，根据确定节点/边向量类型属性的模块提取节点/边向量类型的属性。

根据一些实施例，节点和边均包括确定模块和属性提取的模块。确定模块用于确定出节点/边，节点确定模块可以包括稀疏化模块(例如可以为检测模块、显著性模块)或归并模块，边确定模块可以包括显著性模块；属性提取的模块可以为确定出显著性以外其他属性的模块。根据一些实施例，这些模块均为网络模块。

在一个实施例中，可以基于两个图表示的匹配度得到当前匹配结果。图表示的匹配度可以表示为：所有的候选匹配点对的匹配度和所有的候选匹配邻接边对的匹配度的总和，其中，候选匹配点对的匹配度为第一候选匹配点的显著性、第二候选匹配点的显著性、以及第一候选匹配点的特征向量和第二候选匹配点的特征向量的相似度的乘积，候选匹配邻接边对的匹配度为第一候选匹配邻接边的显著性、第二候选匹配邻接边的显著性、以及第一候选匹配邻接边的特征向量和第二候选匹配邻接边的特征向量的相似度的乘积。由此，通过上述方式，匹配不上的节点/边会被弱化，从而能够在不同尺度保留稳定、可靠的局部特征。

根据一些实施例，图表示提取网络可以包括规则模块和网络模块。规则模块例如可以是利用先验知识的基于规则的模块。这样的模块无需训练即可使用，但是准确度相比于训练好的网络模块较差，并且鲁棒性差、局限性强、通常很难训练或优化。虽然训练好的网络模块能够输出准确的结果，并且适应范围更大、鲁棒性强，但是在训练难度较大时很难快速收敛。

根据一些实施例，如图9所示，训练方法900还包括以下步骤中的至少一个：步骤901，响应于确定满足第五预设条件，将规则模块中的第一规则模块替换为网络模块；以及步骤902，响应于确定满足第六预设条件，在图表示提取网络中增加网络模块。图9中的步骤903-步骤909的操作和图6中的步骤601-步骤607的操作类似，在此不做限定。步骤909，根据损失值，训练图表示提取网络可以包括：根据损失值，训练网络模块。

在一些实施例中，在训练的初始阶段，可以在图表示提取网络中的部分环节使用规则模块，在另一部分环节使用网络模块，以对这些网络模块进行训练。在这部分网络模块收敛后，可以额外加入更多的网络模块，或者将规则模块替换为网络模块并继续训练，以提升网络的表现。如此，既能充分利用先验知识，又能提示网络训练速度和效果。

在一些实施例中，第五预设条件和第六预设条件例如可以是特定的训练轮数，也可以是网络当前的匹配准确率，还可以是其他的预设条件例如收敛速度、趋势等。可以理解的是，本领域技术人员可以根据需求自行确定第五预设条件和第六预设条件，在此不做限定。

图10示出了根据本公开一个实施例的一种任务处理装置1000的结构框图，该装置1000包括：第一获取单元1010，被配置为获取第一数据和第二数据，第一数据和第二数据分别为图像数据、音频数据、文本数据、分子结构数据和序列数据中的一者；第二获取单元1020，被配置为获取第一数据和第二数据各自的第一尺度的图表示，第一尺度的图表示包括至少一个第一尺度的节点，其中，第一尺度的节点具有属性，第一尺度的节点的属性包括向量类型的属性；第三获取单元1030，被配置为获取第一数据和第二数据各自的第二尺度的图表示，第二尺度低于第一尺度，第二尺度的图表示包括至少一个第二尺度的节点，其中，第二尺度的节点具有属性，第二尺度的节点的属性包括向量类型的属性，其中，第一数据和第二数据中的每一个数据的至少一个尺度的节点是通过对与该数据对应的稠密数据进行稀疏化而得到的，每一个数据的至少一个尺度的图表示包括至少一个邻接边，至少一个邻接边中的每一个邻接边用于表征同一尺度的两个节点的相对关系，邻接边具有属性；第一图匹配单元1040，被配置为将第一数据的第一尺度的图表示和第二数据的第一尺度的图表示进行图匹配，以得到第一匹配结果；第二图匹配单元1050，被配置为将第一数据的第二尺度的图表示和第二数据的第二尺度的图表示进行图匹配，以得到第二匹配结果；第一确定单元1060，被配置为基于第一匹配结果和第二匹配结果，确定多尺度匹配结果；以及第二确定单元1070，被配置为基于多尺度匹配结果，确定任务处理结果。

可以理解的是，装置1000中的单元1010-单元1070的操作和方法100中的步骤101-步骤107的操作类似，在此不做赘述。

图11示出了根据本公开一个实施例的一种神经网络的训练装置1100的结构框图，该装置1100包括：第四获取单元1110，被配置为获取第一样本数据和第二样本数据，第一样本数据和第二样本数据分别为图像数据、音频数据、文本数据、分子结构数据和序列数据中的一者；第五获取单元1120，被配置为获取第一样本数据和第二样本数据各自的多尺度图表示，其中，多尺度图表示是利用图表示提取网络确定的，多尺度图表示包括第一尺度的图表示和第二尺度的图表示；第三图匹配单元1130，被配置为将第一样本数据的第一尺度的图表示和第二样本数据的第一尺度的图表示进行图匹配，以得到表征第一尺度的匹配程度的第一当前匹配结果；第四图匹配单元1140，被配置为将第一样本数据的第二尺度的图表示和第二样本数据的第二尺度的图表示进行图匹配，以得到表征第二尺度的匹配程度的第二当前匹配结果；第七获取单元1150，被配置为获取第一样本数据和第二样本数据的目标匹配结果和/或目标任务处理结果；第三确定单元1160，被配置为根据目标匹配结果和/或目标任务处理结果、以及第一当前匹配结果和/或第二当前匹配结果，确定损失值；以及训练单元1170，被配置为根据损失值，训练图表示提取网络。

可以理解的是，装置1100中的单元1111-单元1170的操作和方法600中的步骤601-步骤607的操作类似，在此不做赘述。

根据本公开的实施例，还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

在下文中，结合图12描述这样的电子设备、非瞬时计算机可读存储介质和计算机程序产品的说明性示例。

图12示出了可以被用来实施本文所描述的方法的电子设备1200的示例配置。上述装置1000以及装置1100中的每一个也可以全部或至少部分地由电子设备1200或类似设备或系统实现。

电子设备1200可以是各种不同类型的设备。电子设备1200的示例包括但不限于：台式计算机、服务器计算机、笔记本电脑或上网本计算机、移动设备(例如，平板电脑、蜂窝或其他无线电话(例如，智能电话)、记事本计算机、移动台)、可穿戴设备(例如，眼镜、手表)、娱乐设备(例如，娱乐器具、通信地耦合到显示设备的机顶盒、游戏机)、电视或其他显示设备、汽车计算机等等。

电子设备1200可以包括能够诸如通过系统总线1214或其他适当的连接彼此通信的至少一个处理器1202、存储器1204、(多个)通信接口1206、显示设备1208、其他输入/输出(I/O)设备1210以及一个或更多大容量存储设备1212。

处理器1202可以是单个处理单元或多个处理单元，所有处理单元可以包括单个或多个计算单元或者多个核心。处理器1202可以被实施成一个或更多微处理器、微型计算机、微控制器、数字信号处理器、中央处理单元、状态机、逻辑电路和/或基于操作指令来操纵信号的任何设备。除了其他能力之外，处理器1202可以被配置成获取并且执行存储在存储器1204、大容量存储设备1212或者其他计算机可读介质中的计算机可读指令，诸如操作系统1216的程序代码、应用程序1218的程序代码、其他程序1220的程序代码等。

存储器1204和大容量存储设备1212是用于存储指令的计算机可读存储介质的示例，所述指令由处理器1202执行来实施前面所描述的各种功能。举例来说，存储器1204一般可以包括易失性存储器和非易失性存储器二者(例如RAM、ROM等等)。此外，大容量存储设备1212一般可以包括硬盘驱动器、固态驱动器、可移除介质、包括外部和可移除驱动器、存储器卡、闪存、软盘、光盘(例如CD、DVD)、存储阵列、网络附属存储、存储区域网等等。存储器1204和大容量存储设备1212在本文中都可以被统称为存储器或计算机可读存储介质，并且可以是能够把计算机可读、处理器可执行程序指令存储为计算机程序代码的非瞬时介质，所述计算机程序代码可以由处理器1202作为被配置成实施在本文的示例中所描述的操作和功能的特定机器来执行。

多个程序可以存储在大容量存储设备1212上。这些程序包括操作系统1216、一个或多个应用程序1218、其他程序1220和程序数据1222，并且它们可以被加载到存储器1204以供执行。这样的应用程序或程序模块的示例可以包括例如用于实现以下部件/功能的计算机程序逻辑(例如，计算机程序代码或指令)：方法100、方法600和/或方法900(包括方法100、方法600、方法900的任何合适的步骤)、和/或本文描述的另外的实施例。

虽然在图12中被图示成存储在电子设备1200的存储器1204中，但是模块1216、1218、1220和1222或者其部分可以使用可由电子设备1200访问的任何形式的计算机可读介质来实施。如本文所使用的，“计算机可读介质”至少包括两种类型的计算机可读介质，也就是计算机可读存储介质和通信介质。

计算机可读存储介质包括通过用于存储信息的任何方法或技术实施的易失性和非易失性、可移除和不可移除介质，所述信息诸如是计算机可读指令、数据结构、程序模块或者其他数据。计算机可读存储介质包括而不限于RAM、ROM、EEPROM、闪存或其他存储器技术，CD-ROM、数字通用盘(DVD)、或其他光学存储装置，磁盒、磁带、磁盘存储装置或其他磁性存储设备，或者可以被用来存储信息以供电子设备访问的任何其他非传送介质。与此相对，通信介质可以在诸如载波或其他传送机制之类的已调制数据信号中具体实现计算机可读指令、数据结构、程序模块或其他数据。本文所定义的计算机可读存储介质不包括通信介质。

一个或更多通信接口1206用于诸如通过网络、直接连接等等与其他设备交换数据。这样的通信接口可以是以下各项中的一个或多个：任何类型的网络接口(例如，网络接口卡(NIC))、有线或无线(诸如IEEE 802.11无线LAN(WLAN))无线接口、全球微波接入互操作(Wi-MAX)接口、以太网接口、通用串行总线(USB)接口、蜂窝网络接口、BluetoothTM接口、近场通信(NFC)接口等。通信接口1206可以促进在多种网络和协议类型内的通信，其中包括有线网络(例如LAN、电缆等等)和无线网络(例如WLAN、蜂窝、卫星等等)、因特网等等。通信接口1206还可以提供与诸如存储阵列、网络附属存储、存储区域网等等中的外部存储装置(未示出)的通信。

在一些示例中，可以包括诸如监视器之类的显示设备1208，以用于向用户显示信息和图像。其他I/O设备1210可以是接收来自用户的各种输入并且向用户提供各种输出的设备，并且可以包括触摸输入设备、手势输入设备、摄影机、键盘、遥控器、鼠标、打印机、音频输入/输出设备等等。

本文描述的技术可以由电子设备1200的这些各种配置来支持，并且不限于本文所描述的技术的具体示例。例如，该功能还可以通过使用分布式系统在“云”上全部或部分地实现。云包括和/或代表用于资源的平台。平台抽象云的硬件(例如，服务器)和软件资源的底层功能。资源可以包括在远离电子设备1200的服务器上执行计算处理时可以使用的应用和/或数据。资源还可以包括通过因特网和/或通过诸如蜂窝或Wi-Fi网络的订户网络提供的服务。平台可以抽象资源和功能以将电子设备1200与其他电子设备连接。因此，本文描述的功能的实现可以分布在整个云内。例如，功能可以部分地在电子设备1200上以及部分地通过抽象云的功能的平台来实现。

虽然在附图和前面的描述中已经详细地说明和描述了本公开，但是这样的说明和描述应当被认为是说明性的和示意性的，而非限制性的；本公开不限于所公开的实施例。通过研究附图、公开内容和所附的权利要求书，本领域技术人员在实践所要求保护的主题时，能够理解和实现对于所公开的实施例的变型。在权利要求书中，词语“包括”不排除未列出的其他元件或步骤，不定冠词“一”或“一个”不排除多个，术语“多个”是指两个或两个以上，并且术语“基于”应解释为“至少部分地基于”。在相互不同的从属权利要求中记载了某些措施的仅有事实并不表明这些措施的组合不能用来获益。

Claims (36)

1.一种任务处理方法，包括：

获取第一数据和第二数据，所述第一数据和所述第二数据分别为图像数据、音频数据、文本数据、分子结构数据和序列数据中的一者；

获取所述第一数据和所述第二数据各自的第一尺度的图表示，所述第一尺度的图表示包括至少一个第一尺度的节点，其中，所述第一尺度的节点具有属性，所述第一尺度的节点的属性包括向量类型的属性；

获取所述第一数据和所述第二数据各自的第二尺度的图表示，所述第二尺度低于所述第一尺度，所述第二尺度的图表示包括至少一个第二尺度的节点，其中，所述第二尺度的节点具有属性，所述第二尺度的节点的属性包括向量类型的属性，

其中，所述第一数据和所述第二数据中的每一个数据的至少一个尺度的节点是通过对与该数据对应的稠密数据进行稀疏化而得到的，所述每一个数据的至少一个尺度的图表示包括至少一个邻接边，所述至少一个邻接边中的每一个邻接边用于表征同一尺度的两个节点的相对关系，所述邻接边具有属性；

将所述第一数据的第一尺度的图表示和所述第二数据的第一尺度的图表示进行图匹配，以得到第一匹配结果；

将所述第一数据的第二尺度的图表示和所述第二数据的第二尺度的图表示进行图匹配，以得到第二匹配结果；

基于所述第一匹配结果和所述第二匹配结果，确定多尺度匹配结果；以及

基于所述多尺度匹配结果，确定任务处理结果。

2.根据权利要求1所述的方法，其中，每一个数据的多尺度图表示包括该数据的第一尺度的图表示和第二尺度的图表示，该数据的多尺度图表示包括至少一个从属边，所述至少一个从属边中的每一个从属边用于表征不同尺度的两个节点的从属关系，所述从属边具有属性。

3.根据权利要求2所述的方法，其中，所述从属边的属性是根据与该从属边相连的两个节点的属性确定的。

4.根据权利要求1-3中任一项所述的方法，其中，每一个数据的所述第一尺度的图表示和所述第二尺度的图表示中的至少一个满足以下中的至少一项：

该尺度的节点的属性包括标量类型的属性；

该尺度的邻接边的属性包括标量类型的属性；

该尺度的从属边的属性包括标量类型的属性；

该尺度的邻接边的属性包括向量类型的属性；以及

该尺度的从属边的属性包括向量类型的属性。

5.根据权利要求1-4中任一项所述的方法，其中，所述第一数据和所述第二数据各自的第一尺度的图表示是利用第一网络生成的和/或所述第一数据和所述第二数据各自的第二尺度的图表示是利用第二网络生成的。

6.根据权利要求1-5中任一项所述的方法，其中，节点的向量类型的属性包括特征向量，其中，每一个尺度的图匹配过程包括：

根据所述第一数据的该尺度的图表示所包括的至少一个节点和所述第二数据的该尺度的图表示所包括的至少一个节点确定候选匹配点对，其中，所述候选匹配点对包括属于所述第一数据的该尺度的图表示的第一候选匹配节点和属于所述第二数据的该尺度的图表示的第二候选匹配节点；

针对所述候选匹配点对，基于所述候选匹配点对所包括的第一候选匹配节点的特征向量和所述候选匹配点对所包括的第二候选匹配节点的特征向量，确定所述候选匹配点对的匹配结果；

基于所述候选匹配点对的匹配结果，确定所述第一数据的该尺度的图表示和所述第二数据的该尺度的图表示的匹配结果；

和/或，

根据所述第一数据的该尺度的图表示所包括的至少一个邻接边和所述第二数据的该尺度的图表示所包括的至少一个邻接边确定候选匹配边对，其中，所述候选匹配边对包括属于所述第一数据的该尺度的图表示的第一候选匹配邻接边和属于所述第二数据的该尺度的图表示的第二候选匹配邻接边；

针对所述候选匹配边对，基于所述候选匹配边对所包括的第一候选匹配邻接边的属性和所述候选匹配边对所包括的第二候选匹配邻接边的属性，确定所述候选匹配边对的匹配结果；以及

基于所述候选匹配边对的匹配结果，确定所述第一数据的该尺度的图表示和所述第二数据的该尺度的图表示的匹配结果。

7.根据权利要求6所述的方法，其中，节点的属性还包括标量类型的属性，其中，确定所述候选匹配点对的匹配结果包括：

基于所述候选匹配点对所包括的第一候选匹配节点的标量类型的属性和所述候选匹配点对所包括的第二候选匹配节点的标量类型的属性，确定所述候选匹配点对的第一点对匹配结果；

响应于确定所述候选匹配点对的第一点对匹配结果满足第一预设条件，基于所述候选匹配点对所包括的第一候选匹配节点的特征向量和所述候选匹配点对所包括的第二候选匹配节点的特征向量，确定所述候选匹配点对的第二点对匹配结果；以及

基于所述第二点对匹配结果，确定所述候选匹配点对的匹配结果，

和/或

其中，邻接边的属性包括标量类型的属性和向量类型的属性，邻接边的向量类型的属性包括特征向量，其中，确定所述候选匹配边对的匹配结果包括：

基于所述候选匹配边对所包括的第一候选匹配邻接边的标量类型的属性和所述候选匹配边对所包括的第二候选匹配邻接边的标量类型的属性，确定所述候选匹配边对的第一边对匹配结果；

响应于确定所述候选匹配边对的第一边对匹配结果满足第二预设条件，基于所述候选匹配边对所包括的第一候选匹配邻接边的特征向量和所述候选匹配边对所包括的第二候选匹配邻接边的特征向量，确定所述候选匹配边对的第二边对匹配结果；以及

基于所述第二边对匹配结果，确定所述候选匹配边对的匹配结果。

8.根据权利要求6所述的方法，其中，节点的标量类型的属性包括节点的显著性，和/或邻接边的标量类型的属性包括邻接边的显著性。

9.根据权利要求8所述的方法，其中，确定所述候选匹配点对的匹配结果包括：

将所述候选匹配点对所包括的第一候选匹配节点的显著性、所述候选匹配点对所包括的第二候选匹配节点的显著性、以及所述第一候选匹配节点的特征向量和所述第二候选匹配结果的特征向量之间的相似度三者的乘积确定为所述候选匹配点对的匹配结果，

和/或，

其中，确定所述候选匹配边对的匹配结果包括：

将所述候选匹配边对所包括的第一候选匹配邻接边的显著性、所述候选匹配边对所包括的第二候选匹配邻接边的显著性、以及所述第一候选匹配邻接边的特征向量和所述第二候选匹配邻接边的特征向量之间的相似度三者的乘积确定为所述候选匹配边对的匹配结果。

10.根据权利要求1-9中任一项所述的方法，其中，将所述第一数据的第二尺度的图表示和所述第二数据的第二尺度的图表示进行图匹配，以得到第二匹配结果包括：

响应于确定所述第一匹配结果为成功匹配，将所述第一数据的第二尺度的图表示和所述第二数据的第二尺度的图表示进行图匹配，以得到第二匹配结果。

11.根据权利要求1-9中任一项所述的方法，其中，将所述第一数据的第二尺度的图表示和所述第二数据的第二尺度的图表示进行图匹配，以得到第二匹配结果包括：

响应于确定所述第一匹配结果为成功匹配，将所述第一数据的第二尺度的第一子图和所述第二数据的第二尺度的第二子图进行匹配，其中，所述第一匹配结果指示所述第一数据的第一尺度的图表示中的第一节点和所述第二数据的第一尺度的图表示中的第二节点成功匹配，所述第一子图包括第一数据的第二尺度的图表示中与所述第一节点具有从属关系的节点，所述第二子图包括第二数据的第二尺度的图表示中与所述第二节点具有从属关系的节点。

12.根据权利要求1-9中任一项所述的方法，其中，将所述第一数据的第二尺度的图表示和所述第二数据的第二尺度的图表示进行图匹配，以得到第二匹配结果包括：

基于当前节点的属性、以及与当前节点有从属关系的第一尺度的节点是否成功匹配，确定当前节点的匹配结果，其中，所述当前节点为第二尺度的节点。

13.根据权利要求1-12中任一项所述的方法，其中，所述至少一个第一尺度的节点和所述至少一个第二尺度的节点是通过对同一稠密数据分别进行稀疏化而得到的，

和/或，

其中，稠密数据包括多个尺度，所述至少一个第一尺度的节点和所述至少一个第二尺度的节点是通过对所述稠密数据的多个尺度中的两个尺度分别进行稀疏化而得到的。

14.根据权利要求1-12中任一项所述的方法，其中，每一个数据的至少一个尺度的节点是通过对所述稠密数据中与另一尺度的节点位置对应的部分数据进行稀疏化而得到的，所述另一尺度的节点是通过对所述稠密数据进行稀疏化而得到的。

15.根据权利要求1-12中任一项所述的方法，其中，每一个数据的至少一个尺度的节点是通过对另一尺度的节点进行归并而得到的，所述另一尺度的节点是通过对所述稠密数据进行稀疏化而得到的。

16.根据权利要求13-15中任一项所述的方法，其中，所述稠密数据包括多个稠密节点，所述稠密节点具有属性，所述稠密节点的属性包括标量类型的属性和向量类型的属性，所述稠密节点的标量类型的属性包括显著性，所述稠密节点的向量类型的属性包括特征向量，

其中，所述稠密节点的显著性是根据所述稠密节点的特征向量确定的，并且其中，对所述稠密数据进行稀疏化包括将所述多个稠密节点中的至少一部分稠密节点中显著性满足第三预设条件的节点确定为稀疏化后的节点。

17.根据权利要求13-15中任一项所述的方法，其中，所述稠密数据包括多个稠密节点，所述稠密节点具有属性，

其中，稀疏化得到的节点的属性是根据所述多个稠密节点中与该节点对应的至少一部分稠密节点的属性确定的，

和/或，

其中，至少一个尺度的节点是通过对另一尺度的节点进行归并而得到的，归并得到的节点的属性是根据所述另一尺度的节点中与该节点具有从属关系的节点的属性确定的。

18.根据权利要求1-17中任一项所述的方法，其中，所述至少一个邻接边是根据同一尺度的至少一个节点各自的属性确定的，其中，所述至少一个邻接边中的每一个邻接边的属性是根据该邻接边连接的两个节点各自的属性和该两个节点的相对关系中的至少一个确定的。

19.根据权利要求18所述的方法，其中，所述至少一个邻接边是通过执行如下步骤确定的：

基于所述同一尺度的至少一个节点确定至少一个候选邻接边；

基于所述同一尺度的至少一个节点各自的属性，确定所述至少一个候选邻接边各自的显著性；以及

将所述至少一个候选邻接边中显著性满足第四预设条件的邻接边确定为所述至少一个邻接边。

20.根据权利要求1-19中任一项所述的方法，其中，所述第二数据是从数据库中获取的，其中，基于所述多尺度匹配结果，确定任务处理结果包括：

基于所述第一数据和所述数据库中的多个第二数据的多尺度匹配结果，确定与所述第一数据匹配的至少一个第二数据；以及

基于所述至少一个第二数据，确定任务处理结果。

21.根据权利要求1-20中任一项所述的方法，其中，所述第一数据、所述第二数据均为图像数据，所述稠密数据为基于对应的图像数据而得到的特征图，所述稠密数据中的多个稠密节点为所述特征图中的多个像素。

22.一种神经网络的训练方法，所述方法包括：

获取第一样本数据和第二样本数据，所述第一样本数据和所述第二样本数据分别为图像数据、音频数据、文本数据、分子结构数据和序列数据中的一者；

获取所述第一样本数据和所述第二样本数据各自的多尺度图表示，其中，所述多尺度图表示是利用图表示提取网络确定的，所述多尺度图表示包括第一尺度的图表示和第二尺度的图表示；

将所述第一样本数据的第一尺度的图表示和所述第二样本数据的第一尺度的图表示进行图匹配，以得到表征第一尺度的匹配程度的第一当前匹配结果；

将所述第一样本数据的第二尺度的图表示和所述第二样本数据的第二尺度的图表示进行图匹配，以得到表征第二尺度的匹配程度的第二当前匹配结果；

获取所述第一样本数据和所述第二样本数据的目标匹配结果和/或目标任务处理结果；

根据所述目标匹配结果和/或所述目标任务处理结果、以及所述第一当前匹配结果和/或所述第二当前匹配结果，确定损失值；以及

根据所述损失值，训练所述图表示提取网络。

23.根据权利要求22所述的方法，其中，所述损失值包括匹配损失值和/或任务损失值，

其中，根据所述目标匹配结果和/或所述目标任务处理结果、以及所述第一当前匹配结果和/或所述第二当前匹配结果，确定损失值包括：

根据所述第一当前匹配结果和/或所述第二当前匹配结果以及目标匹配结果，确定所述匹配损失值；

和/或，

根据所述第一当前匹配结果和/或所述第二当前匹配结果，确定当前任务结果；以及

根据所述目标任务处理结果和所述当前任务结果，确定所述任务损失值。

24.根据权利要求23所述的方法，其中，根据所述第一当前匹配结果和/或所述第二当前匹配结果，确定匹配损失值包括：

根据所述第一当前匹配结果和/或所述第二当前匹配结果，确定当前匹配结果；以及

根据当前匹配结果和目标匹配结果，确定匹配损失值。

25.根据权利要求23所述的方法，其中，所述图表示提取网络包括用于提取第一尺度的图表示的第一网络，其中，根据所述第一当前匹配结果和/或所述第二当前匹配结果，确定匹配损失值包括：

根据所述目标匹配结果和第一当前匹配结果，确定第一尺度匹配损失值；

其中，根据所述损失值，训练所述图表示提取网络包括：

根据所述第一尺度匹配损失值，训练所述第一网络，

和/或，

其中，所述图表示提取网络包括用于提取第二尺度的图表示的第二网络，其中，根据所述第一当前匹配结果和/或所述第二当前匹配结果，确定匹配损失值包括：

根据所述目标匹配结果和第二当前匹配结果，确定第二尺度匹配损失值；

其中，根据所述损失值，训练所述图表示提取网络包括：

根据所述第二尺度匹配损失值，训练所述第二网络。

26.根据权利要求22-25任一项所述的方法，其中，所述目标匹配结果和/或所述目标任务处理结果是根据以下中的一项确定的：

基于人工标注、基于教师模型和/或预训练的模型、基于辅助约束信息、基于规则的方式。

27.根据权利要求22-26中任一项所述的方法，其中，所述目标匹配结果是利用经过第N轮训练的网络确定的，其中，获取第一样本数据和第二样本数据包括：

利用所述经过第N轮训练的网络提取第一未标注数据和第二未标注数据各自的多尺度图表示；

将所述第一未标注数据的第一尺度的图表示和所述第二未标注数据的第一尺度的图表示进行图匹配，以得到表征第一尺度的匹配程度的第一未标注数据匹配结果；

将所述第一未标注数据的第二尺度的图表示和所述第二未标注数据的第二尺度的图表示进行图匹配，以得到表征第二尺度的匹配程度的第二未标注数据匹配结果；

根据所述第一未标注数据匹配结果和/或所述第二未标注数据匹配结果，确定未标注数据匹配结果；

响应于确定所述第一未标注数据和所述第二未标注数据满足第一条件，将所述第一未标注数据和所述第二未标注数据确定为作为正样本的第一样本数据和第二样本数据，其中，所述第一未标注数据和所述第二未标注数据满足第一条件包括所述未标注数据匹配结果满足第一匹配条件，正样本的目标匹配结果指示对应的第一样本数据和第二样本数据匹配；和/或

响应于确定所述第一未标注数据和所述第二未标注数据满足第二条件，将所述第一未标注数据和所述第二未标注数据确定为作为负样本的第一样本数据和第二样本数据，其中，所述第一未标注数据和所述第二未标注数据满足第二条件包括所述未标注数据匹配结果满足第二匹配条件，负样本的目标匹配结果指示对应的第一样本数据和第二样本数据不匹配。

28.根据权利要求27所述的方法，其中，根据所述第一未标注数据匹配结果和/或所述第二未标注数据匹配结果，确定未标注数据匹配结果包括：

响应于确定所述第二未标注数据匹配结果指示所述第一未标注数据的第二尺度的图表示和所述第二未标注数据的第二尺度的图表示成功匹配，将所述未标注数据匹配结果确定为匹配。

29.根据权利要求22-28中任一项所述的方法，其中，所述图表示提取网络包括规则模块和网络模块，其中，所述方法还包括以下步骤中的至少一个：

响应于确定满足第五预设条件，将所述规则模块中的第一规则模块替换为网络模块；以及

响应于确定满足第六预设条件，在所述图表示提取网络中增加网络模块，

其中，根据所述损失值，训练所述图表示提取网络包括：

根据所述损失值，训练所述网络模块。

30.根据权利要求22-29中任一项所述的方法，其中，所述多尺度图表示中的每一个尺度的图表示包括至少一个节点，所述节点包括属性，所述节点的属性包括标量类型的属性和向量类型的属性，

其中，所述多尺度图表示中的至少一个尺度的图表示包括至少一个邻接边，所述至少一个邻接边中的每一个邻接边用于表征同一尺度的两个节点的相对关系，所述邻接边具有属性，所述邻接边的属性包括标量类型的属性和向量类型的属性，

其中，所述图表示提取网络包括以下中的至少一个：

用于确定节点的标量类型的属性的网络模块；

用于确定节点的向量类型的属性的网络模块；

用于确定邻接边的标量类型的属性的网络模块；以及

用于确定邻接边的向量类型的属性的网络模块。

31.根据权利要求29所述的方法，其中，节点的标量类型的属性包括节点的显著性，和/或节点的向量类型的属性包括节点的特征向量，和/或邻接边的标量类型的属性包括邻接边的显著性，和/或邻接边的向量类型的属性包括邻接边的特征向量。

32.一种任务处理装置，包括：

第一获取单元，被配置为获取第一数据和第二数据，所述第一数据和所述第二数据分别为图像数据、音频数据、文本数据、分子结构数据和序列数据中的一者；

第二获取单元，被配置为获取所述第一数据和所述第二数据各自的第一尺度的图表示，所述第一尺度的图表示包括至少一个第一尺度的节点，其中，所述第一尺度的节点具有属性，所述第一尺度的节点的属性包括向量类型的属性；

第三获取单元，被配置为获取所述第一数据和所述第二数据各自的第二尺度的图表示，所述第二尺度低于所述第一尺度，所述第二尺度的图表示包括至少一个第二尺度的节点，其中，所述第二尺度的节点具有属性，所述第二尺度的节点的属性包括向量类型的属性，

其中，所述第一数据和所述第二数据中的每一个数据的至少一个尺度的节点是通过对与该数据对应的稠密数据进行稀疏化而得到的，所述每一个数据的至少一个尺度的图表示包括至少一个邻接边，所述至少一个邻接边中的每一个邻接边用于表征同一尺度的两个节点的相对关系，所述邻接边具有属性；

第一图匹配单元，被配置为将所述第一数据的第一尺度的图表示和所述第二数据的第一尺度的图表示进行图匹配，以得到第一匹配结果；

第二图匹配单元，被配置为将所述第一数据的第二尺度的图表示和所述第二数据的第二尺度的图表示进行图匹配，以得到第二匹配结果；

第一确定单元，被配置为基于所述第一匹配结果和所述第二匹配结果，确定多尺度匹配结果；以及

第二确定单元，被配置为基于所述多尺度匹配结果，确定任务处理结果。

33.一种神经网络的训练装置，所述方法包括：

第四获取单元，被配置为获取第一样本数据和第二样本数据，所述第一样本数据和所述第二样本数据分别为图像数据、音频数据、文本数据、分子结构数据和序列数据中的一者；

第五获取单元，被配置为获取所述第一样本数据和所述第二样本数据各自的多尺度图表示，其中，所述多尺度图表示是利用图表示提取网络确定的，所述多尺度图表示包括第一尺度的图表示和第二尺度的图表示；

第三图匹配单元，被配置为将所述第一样本数据的第一尺度的图表示和所述第二样本数据的第一尺度的图表示进行图匹配，以得到表征第一尺度的匹配程度的第一当前匹配结果；

第四图匹配单元，被配置为将所述第一样本数据的第二尺度的图表示和所述第二样本数据的第二尺度的图表示进行图匹配，以得到表征第二尺度的匹配程度的第二当前匹配结果；

第七获取单元，被配置为获取所述第一样本数据和所述第二样本数据的目标匹配结果和/或目标任务处理结果；

第三确定单元，被配置为根据所述目标匹配结果和/或所述目标任务处理结果、以及所述第一当前匹配结果和/或所述第二当前匹配结果，确定损失值；以及

训练单元，被配置为根据所述损失值，训练所述图表示提取网络。

34.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-31中任一项所述的方法。

35.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-31中任一项所述的方法。

36.一种计算机程序产品，包括计算机程序，其中，所述计算机程序在被处理器执行时实现权利要求1-31中任一项所述的方法。