CN109902167B - 嵌入结果的解释方法和装置 - Google Patents
嵌入结果的解释方法和装置 Download PDFInfo
- Publication number
- CN109902167B CN109902167B CN201811475037.4A CN201811475037A CN109902167B CN 109902167 B CN109902167 B CN 109902167B CN 201811475037 A CN201811475037 A CN 201811475037A CN 109902167 B CN109902167 B CN 109902167B
- Authority
- CN
- China
- Prior art keywords
- significant
- embedding
- value
- interpretation
- embedded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000012549 training Methods 0.000 claims abstract description 121
- 230000004913 activation Effects 0.000 claims description 42
- 230000005764 inhibitory process Effects 0.000 claims description 33
- 230000008569 process Effects 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 6
- 238000012163 sequencing technique Methods 0.000 claims description 5
- 239000000758 substrate Substances 0.000 claims 2
- 239000013598 vector Substances 0.000 description 16
- 230000001629 suppression Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 238000013145 classification model Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000000060 site-specific infrared dichroism spectroscopy Methods 0.000 description 1
- 230000009182 swimming Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Machine Translation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
说明书披露一种嵌入结果的解释方法和装置。该方法包括：采用嵌入算法对嵌入对象进行嵌入处理，得到每个嵌入对象的嵌入结果，所述嵌入结果包括若干维度的嵌入值；根据所述嵌入值的极值提取各维度下嵌入值满足显著条件的嵌入对象作为显著训练样本；针对每个维度，采用该维度下的显著训练样本的样本特征和显著类别标签对解释模型进行训练；基于已训练的解释模型确定所述显著训练样本属于所述显著类别的解释特征，作为所述嵌入结果在该维度下的解释特征。
Description
技术领域
本说明书涉及机器学习技术领域，尤其涉及一种嵌入结果的解释方法和装置。
背景技术
嵌入(Embedding)在数学上表示一种映射，可将一个空间映射到另一个空间，并保留基本属性。利用嵌入算法可将一些复杂的难以表达的特征转换成易计算的形式，例如向量、矩阵等，便于预测模型进行处理。然而，嵌入算法并不具有解释性，无法满足业务场景的需求。
发明内容
有鉴于此，本说明书提供一种嵌入结果的解释方法和装置。
具体地，本说明书是通过如下技术方案实现的：
一种嵌入结果的解释方法，包括：
采用嵌入算法对嵌入对象进行嵌入处理，得到每个嵌入对象的嵌入结果，所述嵌入结果包括若干维度的嵌入值；
根据所述嵌入值的极值提取各维度下嵌入值满足显著条件的嵌入对象作为显著训练样本；
针对每个维度，采用该维度下的显著训练样本的样本特征和显著类别标签对解释模型进行训练；
基于已训练的解释模型确定所述显著训练样本属于所述显著类别的解释特征，作为所述嵌入结果在该维度下的解释特征。
一种图嵌入的结果解释方法，包括：
采用嵌入算法对图节点进行嵌入处理，得到每个图节点的嵌入结果，所述嵌入结果包括若干维度的嵌入值；
根据所述嵌入值的极值提取各维度下嵌入值满足显著条件的图节点作为显著训练样本；
针对每个维度，采用该维度下的显著训练样本的样本特征和显著类别标签对解释模型进行训练；
基于已训练的解释模型确定所述显著训练样本属于所述显著类别的解释特征，作为所述嵌入结果在该维度下的解释特征。
一种词嵌入的结果解释方法，包括：
采用嵌入算法对文本中的词汇进行嵌入处理，得到每个文本对应的词嵌入结果，所述词嵌入结果包括若干维度的嵌入值；
根据所述嵌入值的极值提取各维度下嵌入值满足显著条件的词汇作为显著训练样本；
针对每个维度，采用该维度下的显著训练样本的样本特征和显著类别标签对解释模型进行训练；
基于已训练的解释模型确定所述显著训练样本属于所述显著类别的解释特征，作为所述嵌入结果在该维度下的解释特征。
一种嵌入结果的解释装置，包括：
嵌入处理单元，采用嵌入算法对嵌入对象进行嵌入处理，得到每个嵌入对象的嵌入结果，所述嵌入结果包括若干维度的嵌入值；
样本提取单元，根据所述嵌入值的极值提取各维度下嵌入值满足显著条件的嵌入对象作为显著训练样本；
模型训练单元，针对每个维度，采用该维度下的显著训练样本的样本特征和显著类别标签对解释模型进行训练；
特征解释单元，基于已训练的解释模型确定所述显著训练样本属于所述显著类别的解释特征，作为所述嵌入结果在该维度下的解释特征。
一种嵌入结果的解释装置，包括：
处理器；
用于存储机器可执行指令的存储器；
其中，通过读取并执行所述存储器存储的与嵌入结果的解释逻辑对应的机器可执行指令，所述处理器被促使：
采用嵌入算法对嵌入对象进行嵌入处理，得到每个嵌入对象的嵌入结果，所述嵌入结果包括若干维度的嵌入值；
根据所述嵌入值的极值提取各维度下嵌入值满足显著条件的嵌入对象作为显著训练样本；
针对每个维度，采用该维度下的显著训练样本的样本特征和显著类别标签对解释模型进行训练；
基于已训练的解释模型确定所述显著训练样本属于所述显著类别的解释特征，作为所述嵌入结果在该维度下的解释特征。
由以上描述可以看出，本说明书可基于嵌入结果中嵌入值的极值为嵌入结果的各维度提取嵌入值满足显著条件的嵌入对象作为显著训练样本，并采用显著训练样本对具有解释性的解释模型进行训练，进而根据训练后的解释模型确定嵌入结果在对应维度下的解释特征，实现嵌入结果的特征解释，为开发者修复所述原始预测模型的偏差提供依据，有助于提升该原始预测模型的泛化能力和性能，并且有助于规避法律风险和道德风险。
附图说明
图1是本说明书一示例性实施例示出的一种嵌入结果的解释方法的流程示意图。
图2是本说明书一示例性实施例示出的另一种嵌入结果的解释方法的流程示意图。
图3是本说明书一示例性实施例示出的一种用于嵌入结果的解释装置的一结构示意图。
图4是本说明书一示例性实施例示出的一种嵌入结果的解释装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书的一些方面相一致的装置和方法的例子。
在本说明书使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书。在本说明书和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本说明书可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
本说明书提供一种嵌入结果的解释方案，可先采用嵌入算法对嵌入对象进行嵌入处理，得到包括若干维度嵌入值的嵌入结果，然后基于所述嵌入值的极值提取各维度下的显著训练样本，采用该显著训练样本对解释模型进行训练，得到显著训练样本的解释特征以作为对应维度下嵌入结果的解释特征，实现嵌入结果的解释。
图1和图2是本说明书一示例性实施例示出的嵌入结果的解释方法的流程示意图。
所述嵌入算法可包括图嵌入(Graph Embedding)算法，图嵌入算法可将图数据映射为低维稠密的嵌入结果，例如向量、矩阵等；所述嵌入算法还可包括：词嵌入(WordEmbedding)算法，词嵌入可将词汇映射为低维嵌入结果，例如向量、矩阵等。
请参考图1和图2，所述嵌入结果的解释方法可包括以下步骤：
步骤102，采用嵌入算法对嵌入对象进行嵌入处理，得到每个嵌入对象的嵌入结果，所述嵌入结果包括若干维度的嵌入值。
在一个例子中，所述嵌入对象可以是图结构中的图节点。
例如，所述嵌入对象可以是用户网络图中的用户节点。所述用户网络图可基于用户的支付数据、好友关系数据等建立。
采用嵌入算法对用户网络图中的用户节点进行嵌入处理后，可得到每个用户节点对应的向量。
在另一个例子中，所述嵌入对象可以是待聚类的文本，例如：新闻、资讯等。
采用嵌入算法对每个文本所包括的词汇进行嵌入处理，可得到每个文本中各个词汇对应的向量，即可得到每个文本对应的向量集。
在本实施例中，为便于描述，可将嵌入对象经嵌入算法处理后得到的向量、矩阵等统称为嵌入结果。所述嵌入结果可包括若干维度的嵌入值。
当所述嵌入结果是向量时，可将向量的每个元素看作一个维度，每个元素值是对应维度下的嵌入值。
当所述嵌入结果是矩阵时，也可将矩阵的每个元素看作一个维度，每个元素值是对应维度下的嵌入值。
当所述嵌入结果是矩阵时，还可将矩阵的每一行或者每一列看作一个维度。以行为例，可将矩阵的每一行看作一个行向量，然后可将行向量中各元素平方和作为对应维度下的嵌入值。当然，在其他例子中，也可将行向量的元素和值或元素均值等作为对应维度下的嵌入值，本说明书对此不作特殊限制。
在本实施例中，采用嵌入算法分别将每个嵌入对象进行嵌入处理得到嵌入结果后，不同嵌入对象的嵌入结果包括相同维度的嵌入值。所述嵌入值通常是实数空间内的取值，不具有解释性。
举例来说，假设嵌入对象有100个，采用嵌入算法对嵌入对象进行嵌入处理后，得到的嵌入结果是包括有50维度的向量。换言之，嵌入处理后得到的嵌入结果向量有50个元素。在本例中，可将第m个嵌入对象嵌入处理后得到的嵌入结果向量记为Em，Em＝{em1，em2，...，em50}。
在本实施例中，在得到每个嵌入对象的嵌入结果后，可得到所有嵌入值中的极值。
在一个例子中，可采用各嵌入对象的嵌入结果对原始预测模型进行训练，在训练结束后，所述原始预测模型可输出所述嵌入结果中嵌入值的极值。
例如，可在所述原始预测模型中增加存储位，用于记录经过模型网络单元的嵌入值的极值，当模型训练完毕后，可输出所述极值。
上述原始预测模型可包括：分类模型、回归模型、聚类模型等。
在其他例子中，也可采用其他方式得到所述嵌入值的极值，本说明书对此不作特殊限制
在本实施例中，所述极值可包括最大值和最小值。仍以嵌入对象有100个，采用嵌入算法得到的嵌入结果包括50维度的嵌入值为例，本步骤在对原始预测模型进行训练后，可得到5000个嵌入值(100×50)中的最大值emax和最小值emin。
步骤104，根据所述嵌入值的极值提取各维度下嵌入值满足显著条件的嵌入对象作为显著训练样本。
在本实施例中，可先根据嵌入值的极值确定显著训练样本的显著条件，然后提取每个维度下嵌入值满足所述显著条件的嵌入对象作为所述维度下的显著训练样本。
在本实施例中，所述极值包括最大值和最小值。与极值相对应，所述显著条件可包括显著激活条件和显著抑制条件，所述显著训练样本可包括显著激活训练样本和显著抑制训练样本，所述显著激活训练样本的显著类别标签是显著激活标签，所述显著抑制训练样本的显著类别标签是显著抑制标签。
其中，所述显著激活条件是嵌入值大于等于最大值与预设变化参数的差值，同时小于等于所述最大值。假设，采用δ来表示所述预设变化参数，则满足显著激活条件的嵌入值ei的取值范围是：emax-δ≤ei≤emax。
所述显著抑制条件是嵌入值大于等于上述最小值，同时小于等于所述最小值和所述预设变化参数的求和值。即，满足所述显著抑制条件的嵌入值ei的取值范围是：emin≤ei≤emin+δ。
在本实施例中，可将满足上述显著激活条件的嵌入对象称为显著激活训练样本，满足上述显著抑制条件的嵌入对象称为显著抑制训练样本。
在本实施例中，在确定所述显著激活条件和所述显著抑制条件后，针对嵌入结果的每个维度，可进行显著激活训练样本以及显著抑制训练样本的提取。
以嵌入结果的第一个维度为例，可依次判断各嵌入对象经嵌入算法处理后得到的嵌入结果的第一个嵌入值是否满足上述显著抑制条件或显著激活条件，若满足，则可提取该嵌入对象作为第一个维度下的显著训练样本。
举例来说，请参考前述步骤102中的第m个嵌入对象，在本步骤中，可判断这个嵌入对象的嵌入结果的第一个嵌入值em1是否满足上述显著激活条件或显著抑制条件。若满足上述显著激活条件，则可提取该嵌入对象作为第一个维度下的显著激活训练样本；若满足上述显著抑制条件，则可提取该嵌入对象作为第一个维度下的显著抑制训练样本；若均不满足，则可确认该嵌入对象不可作为第一个维度下的显著训练样本。
类似的，针对嵌入结果的第二个维度，可依次判断各嵌入对象的嵌入结果的第二个嵌入值是否满足上述显著抑制条件或显著激活条件，若满足其一，则可提取该嵌入对象作为第二个维度下的显著训练样本。
例如，判断前述步骤102中的第m个嵌入对象的嵌入结果的第二个嵌入值em2是否满足上述显著抑制条件或显著激活条件等。
在本实施例中，同一个嵌入对象可能是某些维度的显著激活训练样本，同时还可能是其他维度的显著抑制训练样本。
例如，嵌入对象m可能是第一个维度下的显著激活训练样本，同时是第二个维度下的显著抑制训练样本，不是第三个维度下的显著训练样本等。
在本实施例中，基于本步骤，可为各个维度完成显著训练样本的提取。
步骤108，针对每个维度，采用该维度下的显著训练样本对解释模型进行训练。
在本实施例中，所述解释模型可以是具有较好解释性的二分类模型，例如线性模型、决策树等，本说明书对此不作特殊限制。值得注意的是，由于多分类模型是一种特殊形式的二分类模型，上述二分类模型可包括多分类模型。
在本实施例中，可采用所述显著训练样本的样本特征和样本标签对所述解释模型进行训练。
其中，所述样本标签可基于前述已训练的预测模型确定。
所述样本特征可包括样本的原始特征和拓扑特征。
所述原始特征通常是样本自身已有的特征。
例如，用户节点的原始特征可包括用户的年龄、性别、职业、收入等。
再例如，文本的原始特征可包括词汇的词性、词频等。
所述拓扑特征可用于表示嵌入对象的拓扑结构。
以嵌入对象是图节点为例，所述拓扑特征可包括：一阶邻居数据、二阶邻居数量、一阶邻居的平均邻居数量、一阶邻居在指定原始特征维度下的统计值等。
以风险团伙识别为例，所述一阶邻居在指定原始特征维度下的统计值可以是一阶邻居的平均年龄、一阶邻居的年龄最大值、一阶邻居的平均年收入、一阶邻居的年收入最小值等。
以嵌入对象是文本所包括的词汇为例，所述拓扑特征可包括：最常出现在该词汇前面的词汇、经常和该词汇搭配出现的词汇个数等。
在本实施例中，采用拓扑特征对原始特征进行补充，一方面可解决部分样本没有原始特征的问题，另一方面还可将样本的拓扑结构补充到样本特征中，从而提高解释模型训练结果的准确性。
在本实施例中，针对每个维度，在完成对解释模型的训练后，可得到该维度下各样本特征的权重。
表1
请参考表1的示例，在维度1中，样本特征1的权重是W11，样本特征2的权重是W12…；在维度2中，样本特征1的权重是W21，样本特征2的权重是W22…等。
步骤110，基于已训练的解释模型确定所述显著训练样本的解释特征，作为所述嵌入结果在该维度下的解释特征。
基于前述步骤108，基于每个维度下已训练的解释模型可确定各样本特征的权重，根据所述权重可确定对应维度下对预测结果影响显著的若干样本特征作为显著训练样本的解释特征，在本实施例中，还可将所述显著训练样本的解释特征确定为嵌入结果在该维度下的解释特征。
例如，可按照权重从大到小的顺序对样本特征进行排序，然后提取排列在前N位的样本特征作为所述解释特征。其中，N的取值可预先设置，N可等于3、5等，本说明书对此不作特殊限制。
请继续参考表1的示例，假设在维度1下，W11>W12>W13>Wi，N的取值是3，则可将嵌入结果在维度1下的解释特征确定为特征1、特征2和特征3。
由以上描述可以看出，本说明书可基于嵌入结果中嵌入值的极值为嵌入结果的各维度提取嵌入值满足显著条件的嵌入对象作为显著训练样本，并采用显著训练样本对具有解释性的解释模型进行训练，进而根据训练后的解释模型确定嵌入结果在对应维度下的解释特征，实现嵌入结果的特征解释，为开发者修复所述原始预测模型的偏差提供依据，有助于提升该原始预测模型的泛化能力和性能，并且有助于规避法律风险和道德风险。
本说明书还提供一种图嵌入的结果解释方法。
一方面，可采用嵌入算法对图节点进行嵌入处理，得到每个图节点的嵌入结果，所述嵌入结果包括若干维度的嵌入值。
另一方面，可根据所述嵌入值的极值提取各维度下嵌入值满足显著条件的图节点作为显著训练样本，然后针对每个维度，采用该维度下的显著训练样本的样本特征和显著类别标签对解释模型进行训练，并可基于已训练的解释模型确定所述显著训练样本属于所述显著类别的解释特征，作为所述嵌入结果在该维度下的解释特征。
以用户网络图为例，本实施例可根据用户的支付数据、交互数据等数据构建用户网络图。针对用户网络图中的每个用户节点可采用嵌入算法得到该用户节点的嵌入结果，例如向量。
根据所述嵌入值的极值可提取各维度下嵌入值满足显著条件的用户节点作为显著训练样本。
针对每个嵌入结果的每个维度，可采用该维度下的显著训练样本的样本特征和显著类别标签对解释模型进行训练，并可基于已训练的解释模型确定嵌入结果在该维度下的解释特征。
例如，嵌入结果在维度1下的解释特征可包括：无固定职业、年收入低于8万、常住地广西、年龄18-25周岁等。
再例如，嵌入结果在维度2下的解释特征可包括：无固定职业、年收入低于10万、常住地云南、年龄20-28周岁、使用Wi-Fi网络的SSID是12345等。
本说明书还提供一种词嵌入的结果解释方法。
一方面，可采用嵌入算法对文本中的词汇进行嵌入处理，得到每个文本对应的词嵌入结果，所述词嵌入结果包括若干维度的嵌入值。
另一方面，可根据所述嵌入值的极值提取各维度下嵌入值满足显著条件的词汇作为显著训练样本，然后针对每个维度，采用该维度下的显著训练样本的样本特征和显著类别标签对解释模型进行训练，并可基于已训练的解释模型确定所述显著训练样本属于所述显著类别的解释特征，作为所述嵌入结果在该维度下的解释特征。
例如，嵌入结果在维度1下的解释特征可包括：计算机、人工智能、技术、创新、技术的词频大于0.01等。
再例如，嵌入结果在维度2下的解释特征可包括：足球、篮球、运动、游泳、记录等。
需要说明的是，由于一个文本中通常包括有若干词汇，所述文本对应的词嵌入结果可以是所述文本包括的每个词汇的嵌入结果的拼接，也可以是每个词汇的嵌入结果的各嵌入值平均加和等，本说明书对此不作特殊限制。
在进行显著训练样本的提取时，若文本对应的嵌入结果的维度数量与词汇嵌入结果的维度数量相同，则也可以以文本为单位进行显著训练样本的提取，本说明书对此不作特殊限制。
与前述嵌入结果的解释方法的实施例相对应，本说明书还提供了嵌入结果的解释装置的实施例。
本说明书嵌入结果的解释装置的实施例可以应用在服务器上。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在服务器的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图3所示，为本说明书嵌入结果的解释装置所在服务器为的一种硬件结构图，除了图3所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的服务器通常根据该服务器的实际功能，还可以包括其他硬件，对此不再赘述。
图4是本说明书一示例性实施例示出的一种嵌入结果的解释装置的框图。
请参考图4，所述嵌入结果的解释装置300可以应用在前述图3所示的服务器中，包括有：嵌入处理单元301、样本提取单元302、模型训练单元303以及特征解释单元304。
其中，嵌入处理单元301，采用嵌入算法对嵌入对象进行嵌入处理，得到每个嵌入对象的嵌入结果，所述嵌入结果包括若干维度的嵌入值；
样本提取单元302，根据所述嵌入值的极值提取各维度下嵌入值满足显著条件的嵌入对象作为显著训练样本；
模型训练单元303，针对每个维度，采用该维度下的显著训练样本的样本特征和显著类别标签对解释模型进行训练；
特征解释单元304，基于已训练的解释模型确定所述显著训练样本属于所述显著类别的解释特征，作为所述嵌入结果在该维度下的解释特征。
可选的，所述极值包括：最大值和最小值；
所述显著条件包括：显著激活条件和显著抑制条件；
所述显著类别标签与所述显著条件对应，包括显著激活标签和显著抑制标签；
所述显著条件的确定过程包括：
计算所述最大值和预设变化参数的差值；
计算所述最小值和所述预设变化参数的求和值；
将所述显著激活条件确定为：嵌入值大于等于所述差值，且小于等于所述最大值；
将所述显著抑制条件确定为：嵌入值大于等于所述最小值，且小于等于所述求和值。
可选的，所述特征解释单元304：
基于已训练的解释模型确定所述显著训练样本中各样本特征的权重；
按照权重从大到小的顺序对样本特征进行排序；
提取排列在前N位的样本特征作为所述显著训练样本属于所述显著类别的解释特征，N为大于等于1的自然数。
可选的，所述样本特征包括：原始特征和拓扑特征。
可选的，所述拓扑特征包括以下一种或多种：
一阶邻居数量、二阶邻居数量、一阶邻居的平均邻居数量、一阶邻居在指定原始特征维度下的统计值。
可选的，所述解释模型是二分类模型。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本说明书方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
与前述嵌入结果的解释方法的实施例相对应，本说明书还提供一种嵌入结果的解释装置，该装置包括：处理器以及用于存储机器可执行指令的存储器。其中，处理器和存储器通常借由内部总线相互连接。在其他可能的实现方式中，所述设备还可能包括外部接口，以能够与其他设备或者部件进行通信。
在本实施例中，通过读取并执行所述存储器存储的与嵌入结果的解释逻辑对应的机器可执行指令，所述处理器被促使：
采用嵌入算法对嵌入对象进行嵌入处理，得到每个嵌入对象的嵌入结果，所述嵌入结果包括若干维度的嵌入值；
根据所述嵌入值的极值提取各维度下嵌入值满足显著条件的嵌入对象作为显著训练样本；
针对每个维度，采用该维度下的显著训练样本的样本特征和显著类别标签对解释模型进行训练；
基于已训练的解释模型确定所述显著训练样本属于所述显著类别的解释特征，作为所述嵌入结果在该维度下的解释特征。
可选的，所述极值包括：最大值和最小值；
所述显著条件包括：显著激活条件和显著抑制条件；
所述显著类别标签与所述显著条件对应，包括显著激活标签和显著抑制标签；
所述显著条件的确定过程包括：
计算所述最大值和预设变化参数的差值；
计算所述最小值和所述预设变化参数的求和值；
将所述显著激活条件确定为：嵌入值大于等于所述差值，且小于等于所述最大值；
将所述显著抑制条件确定为：嵌入值大于等于所述最小值，且小于等于所述求和值。
可选的，在基于已训练的解释模型确定所述显著训练样本属于所述显著类别的解释特征时，所述处理器被促使：
基于已训练的解释模型确定所述显著训练样本中各样本特征的权重；
按照权重从大到小的顺序对样本特征进行排序；
提取排列在前N位的样本特征作为所述显著训练样本属于所述显著类别的解释特征，N为大于等于1的自然数。
可选的，所述样本特征包括：原始特征和拓扑特征。
可选的，所述拓扑特征包括以下一种或多种：
一阶邻居数量、二阶邻居数量、一阶邻居的平均邻居数量、一阶邻居在指定原始特征维度下的统计值。
可选的，所述解释模型是二分类模型。
与前述嵌入结果的解释方法的实施例相对应，本说明书还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现以下步骤：
采用嵌入算法对嵌入对象进行嵌入处理，得到每个嵌入对象的嵌入结果，所述嵌入结果包括若干维度的嵌入值；
根据所述嵌入值的极值提取各维度下嵌入值满足显著条件的嵌入对象作为显著训练样本；
针对每个维度，采用该维度下的显著训练样本的样本特征和显著类别标签对解释模型进行训练；
基于已训练的解释模型确定所述显著训练样本属于所述显著类别的解释特征，作为所述嵌入结果在该维度下的解释特征。
可选的，所述极值包括：最大值和最小值；
所述显著条件包括：显著激活条件和显著抑制条件；
所述显著类别标签与所述显著条件对应，包括显著激活标签和显著抑制标签；
所述显著条件的确定过程包括：
计算所述最大值和预设变化参数的差值；
计算所述最小值和所述预设变化参数的求和值；
将所述显著激活条件确定为：嵌入值大于等于所述差值，且小于等于所述最大值；
将所述显著抑制条件确定为：嵌入值大于等于所述最小值，且小于等于所述求和值。
可选的，所述基于已训练的解释模型确定所述显著训练样本属于所述显著类别的解释特征，包括：
基于已训练的解释模型确定所述显著训练样本中各样本特征的权重；
按照权重从大到小的顺序对样本特征进行排序；
提取排列在前N位的样本特征作为所述显著训练样本属于所述显著类别的解释特征，N为大于等于1的自然数。
可选的，所述样本特征包括：原始特征和拓扑特征。
可选的，所述拓扑特征包括以下一种或多种：
一阶邻居数量、二阶邻居数量、一阶邻居的平均邻居数量、一阶邻居在指定原始特征维度下的统计值。
可选的，所述解释模型是二分类模型。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
以上所述仅为本说明书的较佳实施例而已，并不用以限制本说明书，凡在本说明书的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书保护的范围之内。
Claims (13)
1.一种嵌入结果的解释方法，包括：
采用嵌入算法对嵌入对象进行嵌入处理，得到每个嵌入对象的嵌入结果，所述嵌入结果包括若干维度的嵌入值；
根据所述嵌入值的极值提取各维度下嵌入值满足显著条件的嵌入对象作为显著训练样本；
针对每个维度，采用该维度下的显著训练样本的样本特征和显著类别标签对解释模型进行训练；
基于已训练的解释模型确定所述显著训练样本属于所述显著类别的解释特征，作为所述嵌入结果在该维度下的解释特征；
所述极值包括：最大值和最小值；
所述显著条件包括：显著激活条件和显著抑制条件；
所述显著类别标签与所述显著条件对应，包括显著激活标签和显著抑制标签；
所述显著条件的确定过程包括：
计算所述最大值和预设变化参数的差值；
计算所述最小值和所述预设变化参数的求和值；
将所述显著激活条件确定为：嵌入值大于等于所述差值，且小于等于所述最大值；
将所述显著抑制条件确定为：嵌入值大于等于所述最小值，且小于等于所述求和值。
2.根据权利要求1所述的方法，所述基于已训练的解释模型确定所述显著训练样本属于所述显著类别的解释特征，包括：
基于已训练的解释模型确定所述显著训练样本中各样本特征的权重；
按照权重从大到小的顺序对样本特征进行排序；
提取排列在前N位的样本特征作为所述显著训练样本属于所述显著类别的解释特征，N为大于等于1的自然数。
3.根据权利要求2所述的方法，
所述样本特征包括：原始特征和拓扑特征。
4.根据权利要求3所述的方法，所述拓扑特征包括以下一种或多种：
一阶邻居数量、二阶邻居数量、一阶邻居的平均邻居数量、一阶邻居在指定原始特征维度下的统计值。
5.根据权利要求1所述的方法，
所述解释模型是二分类模型。
6.一种图嵌入的结果解释方法，包括：
采用嵌入算法对图节点进行嵌入处理，得到每个图节点的嵌入结果，所述嵌入结果包括若干维度的嵌入值；
根据所述嵌入值的极值提取各维度下嵌入值满足显著条件的图节点作为显著训练样本；
针对每个维度，采用该维度下的显著训练样本的样本特征和显著类别标签对解释模型进行训练；
基于已训练的解释模型确定所述显著训练样本属于所述显著类别的解释特征，作为所述嵌入结果在该维度下的解释特征；
所述极值包括：最大值和最小值；
所述显著条件包括：显著激活条件和显著抑制条件；
所述显著类别标签与所述显著条件对应，包括显著激活标签和显著抑制标签；
所述显著条件的确定过程包括：
计算所述最大值和预设变化参数的差值；
计算所述最小值和所述预设变化参数的求和值；
将所述显著激活条件确定为：嵌入值大于等于所述差值，且小于等于所述最大值；
将所述显著抑制条件确定为：嵌入值大于等于所述最小值，且小于等于所述求和值。
7.一种词嵌入的结果解释方法，包括：
采用嵌入算法对文本中的词汇进行嵌入处理，得到每个文本对应的词嵌入结果，所述词嵌入结果包括若干维度的嵌入值；
根据所述嵌入值的极值提取各维度下嵌入值满足显著条件的词汇作为显著训练样本；
针对每个维度，采用该维度下的显著训练样本的样本特征和显著类别标签对解释模型进行训练；
基于已训练的解释模型确定所述显著训练样本属于所述显著类别的解释特征，作为所述嵌入结果在该维度下的解释特征；
所述极值包括：最大值和最小值；
所述显著条件包括：显著激活条件和显著抑制条件；
所述显著类别标签与所述显著条件对应，包括显著激活标签和显著抑制标签；
所述显著条件的确定过程包括：
计算所述最大值和预设变化参数的差值；
计算所述最小值和所述预设变化参数的求和值；
将所述显著激活条件确定为：嵌入值大于等于所述差值，且小于等于所述最大值；
将所述显著抑制条件确定为：嵌入值大于等于所述最小值，且小于等于所述求和值。
8.一种嵌入结果的解释装置，包括：
嵌入处理单元，采用嵌入算法对嵌入对象进行嵌入处理，得到每个嵌入对象的嵌入结果，所述嵌入结果包括若干维度的嵌入值；
样本提取单元，根据所述嵌入值的极值提取各维度下嵌入值满足显著条件的嵌入对象作为显著训练样本；
模型训练单元，针对每个维度，采用该维度下的显著训练样本的样本特征和显著类别标签对解释模型进行训练；
特征解释单元，基于已训练的解释模型确定所述显著训练样本属于所述显著类别的解释特征，作为所述嵌入结果在该维度下的解释特征；
所述极值包括：最大值和最小值；
所述显著条件包括：显著激活条件和显著抑制条件；
所述显著类别标签与所述显著条件对应，包括显著激活标签和显著抑制标签；
所述显著条件的确定过程包括：
计算所述最大值和预设变化参数的差值；
计算所述最小值和所述预设变化参数的求和值；
将所述显著激活条件确定为：嵌入值大于等于所述差值，且小于等于所述最大值；
将所述显著抑制条件确定为：嵌入值大于等于所述最小值，且小于等于所述求和值。
9.根据权利要求8所述的装置，所述特征解释单元：
基于已训练的解释模型确定所述显著训练样本中各样本特征的权重；
按照权重从大到小的顺序对样本特征进行排序；
提取排列在前N位的样本特征作为所述显著训练样本属于所述显著类别的解释特征，N为大于等于1的自然数。
10.根据权利要求9所述的装置，
所述样本特征包括：原始特征和拓扑特征。
11.根据权利要求10所述的装置，所述拓扑特征包括以下一种或多种：
一阶邻居数量、二阶邻居数量、一阶邻居的平均邻居数量、一阶邻居在指定原始特征维度下的统计值。
12.根据权利要求8所述的装置，
所述解释模型是二分类模型。
13.一种嵌入结果的解释装置，包括：
处理器；
用于存储机器可执行指令的存储器；
其中，通过读取并执行所述存储器存储的与嵌入结果的解释逻辑对应的机器可执行指令，所述处理器被促使：
采用嵌入算法对嵌入对象进行嵌入处理，得到每个嵌入对象的嵌入结果，所述嵌入结果包括若干维度的嵌入值；
根据所述嵌入值的极值提取各维度下嵌入值满足显著条件的嵌入对象作为显著训练样本；
针对每个维度，采用该维度下的显著训练样本的样本特征和显著类别标签对解释模型进行训练；
基于已训练的解释模型确定所述显著训练样本属于所述显著类别的解释特征，作为所述嵌入结果在该维度下的解释特征；
所述极值包括：最大值和最小值；
所述显著条件包括：显著激活条件和显著抑制条件；
所述显著类别标签与所述显著条件对应，包括显著激活标签和显著抑制标签；
所述显著条件的确定过程包括：
计算所述最大值和预设变化参数的差值；
计算所述最小值和所述预设变化参数的求和值；
将所述显著激活条件确定为：嵌入值大于等于所述差值，且小于等于所述最大值；
将所述显著抑制条件确定为：嵌入值大于等于所述最小值，且小于等于所述求和值。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811475037.4A CN109902167B (zh) | 2018-12-04 | 2018-12-04 | 嵌入结果的解释方法和装置 |
| TW108133376A TWI711934B (zh) | 2018-12-04 | 2019-09-17 | 嵌入結果的解釋方法和裝置 |
| PCT/CN2019/112106 WO2020114109A1 (zh) | 2018-12-04 | 2019-10-21 | 嵌入结果的解释方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811475037.4A CN109902167B (zh) | 2018-12-04 | 2018-12-04 | 嵌入结果的解释方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109902167A CN109902167A (zh) | 2019-06-18 |
| CN109902167B true CN109902167B (zh) | 2020-09-01 |
Family
ID=66943355
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811475037.4A Active CN109902167B (zh) | 2018-12-04 | 2018-12-04 | 嵌入结果的解释方法和装置 |
Country Status (3)
| Country | Link |
|---|---|
| CN (1) | CN109902167B (zh) |
| TW (1) | TWI711934B (zh) |
| WO (1) | WO2020114109A1 (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109902167B (zh) * | 2018-12-04 | 2020-09-01 | 阿里巴巴集团控股有限公司 | 嵌入结果的解释方法和装置 |
| CN111262887B (zh) * | 2020-04-26 | 2020-08-28 | 腾讯科技（深圳）有限公司 | 基于对象特征的网络风险检测方法、装置、设备及介质 |
| CN112561074A (zh) * | 2020-11-09 | 2021-03-26 | 联想(北京)有限公司 | 一种机器学习可解释方法、装置及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004326465A (ja) * | 2003-04-24 | 2004-11-18 | Matsushita Electric Ind Co Ltd | 文書分類用の学習装置、及びこれを用いた文書分類方法並びに文書分類装置 |
| CN101136141A (zh) * | 2007-10-12 | 2008-03-05 | 清华大学 | 基于单频连续波雷达的车型分类方法 |
| CN102880638A (zh) * | 2012-08-10 | 2013-01-16 | 合肥工业大学 | 一种面向植物叶片的多样化图像检索的自适应的鲁棒cmvm特征降维与抽取方法 |
| CN105303028A (zh) * | 2015-08-20 | 2016-02-03 | 扬州大学 | 基于有监督等度规映射的智能医学诊断分类方法 |
| CN107766873A (zh) * | 2017-09-06 | 2018-03-06 | 天津大学 | 基于排序学习的多标签零样本分类方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104679771B (zh) * | 2013-11-29 | 2018-09-18 | 阿里巴巴集团控股有限公司 | 一种个性化数据搜索方法和装置 |
| CN106774970B (zh) * | 2015-11-24 | 2021-08-20 | 北京搜狗科技发展有限公司 | 对输入法的候选项进行排序的方法和装置 |
| CN105548764B (zh) * | 2015-12-29 | 2018-11-06 | 山东鲁能软件技术有限公司 | 一种电力设备故障诊断方法 |
| CN107153630B (zh) * | 2016-03-04 | 2020-11-06 | 阿里巴巴集团控股有限公司 | 一种机器学习系统的训练方法和训练系统 |
| CN109902167B (zh) * | 2018-12-04 | 2020-09-01 | 阿里巴巴集团控股有限公司 | 嵌入结果的解释方法和装置 |
-
2018
- 2018-12-04 CN CN201811475037.4A patent/CN109902167B/zh active Active
-
2019
- 2019-09-17 TW TW108133376A patent/TWI711934B/zh active
- 2019-10-21 WO PCT/CN2019/112106 patent/WO2020114109A1/zh active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004326465A (ja) * | 2003-04-24 | 2004-11-18 | Matsushita Electric Ind Co Ltd | 文書分類用の学習装置、及びこれを用いた文書分類方法並びに文書分類装置 |
| CN101136141A (zh) * | 2007-10-12 | 2008-03-05 | 清华大学 | 基于单频连续波雷达的车型分类方法 |
| CN102880638A (zh) * | 2012-08-10 | 2013-01-16 | 合肥工业大学 | 一种面向植物叶片的多样化图像检索的自适应的鲁棒cmvm特征降维与抽取方法 |
| CN105303028A (zh) * | 2015-08-20 | 2016-02-03 | 扬州大学 | 基于有监督等度规映射的智能医学诊断分类方法 |
| CN107766873A (zh) * | 2017-09-06 | 2018-03-06 | 天津大学 | 基于排序学习的多标签零样本分类方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020114109A1 (zh) | 2020-06-11 |
| TWI711934B (zh) | 2020-12-01 |
| TW202022641A (zh) | 2020-06-16 |
| CN109902167A (zh) | 2019-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110046634B (zh) | 聚类结果的解释方法和装置 | |
| CN111523621B (zh) | 图像识别方法、装置、计算机设备和存储介质 | |
| CN110362677B (zh) | 文本数据类别的识别方法及装置、存储介质、计算机设备 | |
| CN109002562B (zh) | 一种仪器识别模型训练方法和装置及仪器识别方法和装置 | |
| CN109902167B (zh) | 嵌入结果的解释方法和装置 | |
| CA3066029A1 (en) | Image feature acquisition | |
| JPWO2006073081A1 (ja) | 識別用データ学習システム、学習装置、識別装置及び学習方法 | |
| CN112818690B (zh) | 结合知识图谱实体信息的语义识别方法、装置及相关设备 | |
| JP2007128195A (ja) | 画像処理システム | |
| CN110414550B (zh) | 人脸识别模型的训练方法、装置、系统和计算机可读介质 | |
| CN110287311B (zh) | 文本分类方法及装置、存储介质、计算机设备 | |
| JP6107531B2 (ja) | 特徴抽出プログラム及び情報処理装置 | |
| CN110288085B (zh) | 一种数据处理方法、装置、系统及存储介质 | |
| CN113642400A (zh) | 基于2s-agcn的图卷积动作识别方法、装置及设备 | |
| CN111062440B (zh) | 一种样本选择方法、装置、设备及存储介质 | |
| CN112749737A (zh) | 图像分类方法及装置、电子设备、存储介质 | |
| CN116745763A (zh) | 用于自动提取分类训练数据的系统和方法 | |
| CN107533672A (zh) | 模式识别装置、模式识别方法以及程序 | |
| CN113011532A (zh) | 分类模型训练方法、装置、计算设备及存储介质 | |
| CN114358284A (zh) | 一种基于类别信息对神经网络分步训练的方法、装置、介质 | |
| CN110852102B (zh) | 一种中文的词性标注方法、装置、存储介质及电子设备 | |
| CN109165097B (zh) | 一种数据处理方法以及数据处理装置 | |
| CN115512693A (zh) | 音频识别方法、声学模型训练方法、装置和存储介质 | |
| CN112463964A (zh) | 文本分类及模型训练方法、装置、设备及存储介质 | |
| CN112686339A (zh) | 一种基于起诉状的案由确定方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20201012 Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands Patentee after: Innovative advanced technology Co.,Ltd. Address before: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands Patentee before: Advanced innovation technology Co.,Ltd. Effective date of registration: 20201012 Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands Patentee after: Advanced innovation technology Co.,Ltd. Address before: A four-storey 847 mailbox in Grand Cayman Capital Building, British Cayman Islands Patentee before: Alibaba Group Holding Ltd. |
|
| TR01 | Transfer of patent right |