CN109902186A - 用于生成神经网络的方法和装置 - Google Patents

用于生成神经网络的方法和装置 Download PDF

Info

Publication number
CN109902186A
CN109902186A CN201910184509.9A CN201910184509A CN109902186A CN 109902186 A CN109902186 A CN 109902186A CN 201910184509 A CN201910184509 A CN 201910184509A CN 109902186 A CN109902186 A CN 109902186A
Authority
CN
China
Prior art keywords
neural network
sample
training sample
entity
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910184509.9A
Other languages
English (en)
Other versions
CN109902186B (zh
Inventor
黄剑辉
乔敏
冯知凡
黄苹苹
朱勇
吕雅娟
李盈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201910184509.9A priority Critical patent/CN109902186B/zh
Publication of CN109902186A publication Critical patent/CN109902186A/zh
Priority to US16/665,882 priority patent/US11620532B2/en
Priority to EP19206096.0A priority patent/EP3709223A1/en
Priority to KR1020190137976A priority patent/KR102342604B1/ko
Priority to JP2019198129A priority patent/JP7009433B2/ja
Application granted granted Critical
Publication of CN109902186B publication Critical patent/CN109902186B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/10—Interfaces, programming languages or software development kits, e.g. for simulating neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Machine Translation (AREA)
  • Image Analysis (AREA)

Abstract

本公开的实施例公开了用于生成神经网络的方法和装置。该方法的一具体实施方式包括：获取目标神经网络，其中，目标神经网络对应预设关联关系，用于将目标知识图谱中的两个实体所对应的两个实体向量作为输入，以确定所输入的两个实体向量所对应的两个实体的关联关系是否为预设关联关系，目标神经网络包括针对预设关联关系预先确定的关系张量；将目标神经网络中的关系张量转化为目标数量个关系矩阵的积，生成包括转化成的目标数量个关系矩阵的候选神经网络；利用候选神经网络，生成结果神经网络。该实施方式可以减小神经网络的复杂程度，有助于在利用神经网络进行信息处理时，减小CPU的消耗，提高信息处理的效率。

Description

用于生成神经网络的方法和装置
技术领域
本公开的实施例涉及计算机技术领域，尤其涉及用于生成神经网络的方法和装置。
背景技术
知识图谱(Knowledge Graph)是由大量结构化三元组组成的网络，网络中的节点代表实体(entity)，节点间的边代表实体间的关联关系。
目前，知识图谱可以应用于各种领域，例如信息搜索、信息推荐等领域。利用知识图谱，可以得到与某一信息所对应的实体关联的其他实体，进而可以得到与该信息关联的其他信息。
发明内容
本公开的实施例提出了用于生成神经网络的方法和装置，以及用于更新知识图谱的方法和装置。
第一方面，本公开实施例提供了一种用于生成神经网络的方法，该方法包括：获取目标神经网络，其中，目标神经网络对应预设关联关系，用于将目标知识图谱中的两个实体所对应的两个实体向量作为输入，以确定所输入的两个实体向量所对应的两个实体的关联关系是否为预设关联关系，目标神经网络包括针对预设关联关系预先确定的关系张量；将目标神经网络中的关系张量转化为目标数量个关系矩阵的积，生成包括转化成的目标数量个关系矩阵的候选神经网络；利用候选神经网络，生成结果神经网络。
在一些实施例中，利用候选神经网络，生成结果神经网络，包括：针对预设关联关系，获取训练样本集，其中，训练样本集包括正训练样本和负训练样本，训练样本包括两个样本实体向量，样本实体向量用于表征样本实体，正训练样本所对应的两个实体的关联关系为预设关联关系，负训练样本所对应的两个实体的关联关系不是预设关联关系；从训练样本集中选取训练样本，以及执行以下训练步骤：利用所选取的训练样本训练候选神经网络；确定候选神经网络是否训练完成；响应于确定训练完成，将训练完成的候选神经网络确定为结果神经网络。
在一些实施例中，利用候选神经网络，生成结果神经网络，还包括：响应于确定未训练完成，从训练样本集包括的未被选取的训练样本中重新选取训练样本，调整候选神经网络的参数，以及使用最近一次选取的训练样本和最近一次调整的候选神经网络，继续执行训练步骤。
在一些实施例中，针对预设关联关系，获取训练样本集，包括：针对预设关联关系，获取正训练样本集；对于正训练样本集中的正训练样本，从该正训练样本中确定待保留样本实体向量和待替换样本实体向量；针对待替换样本实体向量，获取替换用样本实体向量，其中，替换用样本实体向量所对应的样本实体与待替换样本实体向量所对应的样本实体不同；利用替换用样本实体向量和待保留样本实体向量组成该正训练样本所对应的负训练样本；利用正训练样本集和所组成的负训练样本，组成训练样本集。
在一些实施例中，该方法还包括：存储结果神经网络。
第二方面，本公开的实施例提供了一种用于更新知识图谱的方法，该方法包括：获取两个待关联实体向量和预先生成的结果神经网络，其中，待关联实体向量用于表征目标知识图谱中的待关联实体，结果神经网络为采用第一方面所描述的方法中任一实施例的方法生成的；将所获取的两个待关联实体向量输入结果神经网络，生成用于表征两个待关联实体的关联关系是否为结果神经网络所对应的预设关联关系的关联结果；响应于确定关联结果指示两个待关联实体的关联关系为结果神经网络所对应的预设关联关系，利用针对预设关联关系预先设置的、用于添加到知识图谱中的关联信息，更新目标知识图谱。
在一些实施例中，该方法还包括：显示更新后的目标知识图谱。
第三方面，本公开的实施例提供了一种用于生成神经网络的装置，该装置包括：第一获取单元，被配置成获取目标神经网络，其中，目标神经网络对应预设关联关系，用于将目标知识图谱中的两个实体所对应的两个实体向量作为输入，以确定所输入的两个实体向量所对应的两个实体的关联关系是否为预设关联关系，目标神经网络包括针对预设关联关系预先确定的关系张量；张量转化单元，被配置成将目标神经网络中的关系张量转化为目标数量个关系矩阵的积，生成包括转化成的目标数量个关系矩阵的候选神经网络；网络生成单元，被配置成利用候选神经网络，生成结果神经网络。
在一些实施例中，网络生成单元包括：样本获取模块，被配置针对预设关联关系，获取训练样本集，其中，训练样本集包括正训练样本和负训练样本，训练样本包括两个样本实体向量，样本实体向量用于表征样本实体，正训练样本所对应的两个实体的关联关系为预设关联关系，负训练样本所对应的两个实体的关联关系不是预设关联关系；第一训练模块，被配置成从训练样本集中选取训练样本，以及执行以下训练步骤：利用所选取的训练样本训练候选神经网络；确定候选神经网络是否训练完成；响应于确定训练完成，将训练完成的候选神经网络确定为结果神经网络。
在一些实施例中，网络生成单元还包括：第二训练模块，被配置成响应于确定未训练完成，从训练样本集包括的未被选取的训练样本中重新选取训练样本，调整候选神经网络的参数，以及使用最近一次选取的训练样本和最近一次调整的候选神经网络，继续执行训练步骤。
在一些实施例中，样本获取模块进一步被配置成：针对预设关联关系，获取正训练样本集；对于正训练样本集中的正训练样本，从该正训练样本中确定待保留样本实体向量和待替换样本实体向量；针对待替换样本实体向量，获取替换用样本实体向量，其中，替换用样本实体向量所对应的样本实体与待替换样本实体向量所对应的样本实体不同；利用替换用样本实体向量和待保留样本实体向量组成该正训练样本所对应的负训练样本；利用正训练样本集和所组成的负训练样本，组成训练样本集。
在一些实施例中，该装置还包括：网络存储模块，被配置成存储结果神经网络。
第四方面，本公开的实施例提供了一种用于更新知识图谱的装置，该装置包括：第二获取单元，被配置成获取两个待关联实体向量和预先生成的结果神经网络，其中，待关联实体向量用于表征目标知识图谱中的待关联实体，结果神经网络为采用第一方面所描述的方法中任一实施例的方法生成的；结果生成单元，被配置成将所获取的两个待关联实体向量输入结果神经网络，生成用于表征两个待关联实体的关联关系是否为结果神经网络所对应的预设关联关系的关联结果；图谱更新单元，被配置成响应于确定关联结果指示两个待关联实体的关联关系为结果神经网络所对应的预设关联关系，利用针对预设关联关系预先设置的、用于添加到知识图谱中的关联信息，更新目标知识图谱。
在一些实施例中，该装置还包括：图谱显示单元，被配置成显示更新后的目标知识图谱。
第五方面，本公开的实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现上述第一方面和第二方面所描述的方法中任一实施例的方法。
第六方面，本公开的实施例提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现上述第一方面和第二方面所描述的方法中任一实施例的方法。
本公开的实施例提供的用于生成神经网络的方法和装置，通过获取目标神经网络，其中，目标神经网络对应预设关联关系，用于将目标知识图谱中的两个实体所对应的两个实体向量作为输入，以确定所输入的两个实体向量所对应的两个实体的关联关系是否为预设关联关系，目标神经网络包括针对预设关联关系预先确定的关系张量，而后将目标神经网络中的关系张量转化为目标数量个关系矩阵的积，生成包括转化成的目标数量个关系矩阵的候选神经网络，最后利用候选神经网络，生成结果神经网络，从而通过将神经网络中的关系张量转化为目标数量个关系矩阵的积，可以减少神经网络中参数的数量，进而可以减小神经网络的复杂程度，有助于在利用神经网络进行信息处理时，减小CPU的消耗，提高信息处理的效率。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本公开的其它特征、目的和优点将会变得更明显：
图1是本公开的一个实施例可以应用于其中的示例性系统架构图；
图2是根据本公开的用于生成神经网络的方法的一个实施例的流程图；
图3是根据本公开的实施例的用于生成神经网络的方法的一个应用场景的示意图；
图4是根据本公开的用于更新知识图谱的方法的一个实施例的流程图；
图5是根据本公开的用于生成神经网络的装置的一个实施例的结构示意图；
图6是根据本公开的用于更新知识图谱的装置的一个实施例的结构示意图；
图7是适于用来实现本公开的实施例的电子设备的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本公开作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。
图1示出了可以应用本公开的用于生成神经网络方法、用于生成神经网络的装置、用于更新知识图谱的方法或者用于更新知识图谱的装置的实施例的示例性系统架构100。
如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务的多个软件或软件模块)，也可以实现成单个软件或软件模块。在此不做具体限定。
服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103发送的目标神经网络进行处理的网络处理服务器。网络处理服务器可以对接收到的目标神经网络等数据进行分析等处理，并获得处理(例如结果神经网络)。
需要说明的是，本公开的实施例所提供的用于生成神经网络的方法可以由终端设备101、102、103执行，也可以由服务器105执行，相应地，用于生成神经网络的装置可以设置于终端设备101、102、103中，也可以设置于服务器105中。此外，本公开的实施例所提供的用于更新知识图谱的方法可以由终端设备101、102、103执行，也可以由服务器105执行，相应地，用于更新知识图谱的装置可以设置于终端设备101、102、103中，也可以设置于服务器105中
需要说明的是，服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务的多个软件或软件模块)，也可以实现成单个软件或软件模块。在此不做具体限定。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。在生成结果神经网络或者对目标知识图谱进行更新的过程中所使用的数据不需要从远程获取的情况下，上述系统架构可以不包括网络，而只包括终端设备或服务器。
继续参考图2，示出了根据本公开的用于生成神经网络的方法的一个实施例的流程200。该用于生成神经网络的方法，包括以下步骤：
步骤201，获取目标神经网络。
在本实施例中，用于生成神经网络的方法的执行主体(例如图1所示的服务器)可以通过有线连接方式或者无线连接方式从远程或本地获取目标神经网络。其中，目标神经网络为待对其进行调整的神经网络。具体的，目标神经网络可以为未经训练的神经网络，也可以为已经训练完成的神经网络。目标神经网络对应预设关联关系，用于将目标知识图谱中的两个实体所对应的两个实体向量作为输入，以确定所输入的两个实体向量所对应的两个实体的关联关系是否为预设关联关系。
目标知识图谱为待对其中的实体间的关联关系进行补全的知识图谱。目标知识图谱可以存储在上述执行主体中，也可以存储在与上述执行主体通信连接的其他电子设备中。通常，知识图谱中的实体可以用于表征某种事物或概念(例如表征人物、地点、时间、信息等)。实体的形式可以包括以下至少一种：数字、文字、符号。知识图谱中的关联关系可以由实体间的连线表征，而两个关联的实体所对应的关联关系的具体内容可以由针对该关联关系预先确定的关联信息表征。关联信息可以包括以下至少一种：数字、文字、符号。
作为示例，目标知识图谱包括实体“北京”和实体“中国”，二者之间可以包括用于表征二者具有关联关系的连线，以及用于表征二者的关联关系的具体内容的关联信息，例如文字“首都”。
目标知识图谱中的实体可以对应实体向量。实体向量可以用于表征实体的特征。实践中，实体向量可以采用各种方式获得，例如可以采用初始化的方式获得，或者可以利用预先训练的机器学习模型获得。
预设关联关系可以为技术人员预先确定的各种关联关系，例如父子关系、包含关系等。目标神经网络包括针对预设关联关系预先确定的关系张量。关系张量可以用于表征预设关联关系的特征。
实践中，张量(tensor)是一个多维的数据存储单元，数据的维度被称为张量的阶。它可以看成是向量和矩阵在多维空间中的推广，向量可以看成是一维张量，矩阵可以看成是二维的张量。通常，在研究张量时，可以将张量看作多个二维切片。每个切片看作一个矩阵。
具体的，上述执行主体或者其他电子设备可以采用各种方法确定预设关联关系所对应的关系张量。例如可以采用现有的各种初始化参数的方法(例如随机初始化或者Glove算法等)确定预设关联关系所对应的关系张量；或者，也可以利用预先训练的、用于表征关联关系与关系张量的对应关系的模型确定预设关联关系所对应的关系张量。
在本实施例中，关系张量用于与目标知识图谱中的两个实体的实体向量进行运算，以此确定目标知识图谱中的两个实体的关联关系是否为关系张量所对应的预设关联关系。可以理解，相较于矩阵或者向量而言，关系张量的维度较大，所以利用关系张量可以存储更多用于表征预设关联关系的特征的特征数据。然而，实践中，神经网络包括的参数越多，神经网络则会越复杂，这将不利于神经网络的存储和计算。
步骤202，将目标神经网络中的关系张量转化为目标数量个关系矩阵的积，生成包括转化成的目标数量个关系矩阵的候选神经网络。
在本实施例中，基于步骤201中得到的目标神经网络，上述执行主体可以将目标神经网络中的关系张量转化为目标数量个关系矩阵的积，生成包括转化成的目标数量个关系矩阵的候选神经网络。
其中，关系矩阵为采用预设的转化方法对关系张量进行转化后获得的矩阵。目标数量为基于预设的转化方法确定的数量。可以理解，实践中，将高维度的矩阵转化为低维度的向量的积时，所转化成的向量包括的元素的数量通常小于矩阵包括的元素的数量。例如，对于矩阵A:[1 1 1；1 1 1；1 1 1]，可以将其转化为向量b:[1 1 1]T与向量c:[1 1 1]的积。其中，字母“T”用于表征向量的转置。可见，矩阵A包括9个元素，而转化成的两个向量包括的元素之和为6，即矩阵A中的元素数量小于转化成的向量b和向量c包括的元素数量。进而，相类似的，将高维度的关系张量转化为低维度的目标数量个关系矩阵的积时，可以减少预设关联关系所对应的参数的数量，进而减小神经网络的复杂程度。
具体的，上述执行主体可以采用各种方式对关系张量进行转化，获得目标数量个关系矩阵。例如，上述执行主体可以首先对关系张量的各个切片所对应的矩阵进行聚合，以将关系张量构造成一个切片矩阵。然后将切片矩阵分解为目标数量个关系矩阵的积。这里，可以采用各种方法对切片矩阵进行分解，例如可以采用三角分解法(TriangularFactorization)、QR分解法(QR Factorization)或者奇异值分解法(Singular ValueDecompostion)等进行分解。需要说明的是，所采用的分解方法不同，最终获得的关系矩阵的数量(即目标数量)可以不同。例如，采用三角分解法，可以分解成两个关系矩阵；而采用奇异值分解法，则可以分解成三个关系矩阵。
此外，上述执行主体还可以采用其他方式对关系张量进行转化。作为示例，关系张量W包括三个切片，分别为W1、W2、W3。上述执行主体可以首先将关系张量W构造成一个切片矩阵W＇＝[W1,W2,W3]，然后，将切片矩阵中的每个矩阵元素(即Wi，其中，i＝1、2、3)转化成两个向量的积，即将W1转化为U1 T*V1；将W2转化为U2 T*V2；将W3转化为U3 T*V3；进而，可推出:
W＝W＇＝[U1 T*V1,U2 T*V2,U3 T*V3]＝[U1,U2,U3]T*[V1,V2,V3]
其中，矩阵[U1,U2,U3]T和矩阵[V1,V2,V3]即为转化成的两个关系矩阵。
对于上述示例而言。假设Wi为3×3维的矩阵，则Wi包括9个参数，进而关系张量W包括27(27＝9×3)个参数。转化成的、Wi所对应的Ui T为3维列向量，包括3个参数；Vi为三维行向量，包括3个参数。所以，转化成的关系矩阵[U1,U2,U3]T包括9个参数；转化成的关系矩阵[V1,V2,V3]也包括9个参数，即将关系张量转化成关系矩阵后，参数数量为18(18＝9+9)，小于关系张量包括的参数的数量27，以此，达到了减少神经网络中的参数的数量的目的。
在本实施例中，候选神经网络为将关系张量用转化成的目标数量个关系矩阵的积替换后的目标神经网络。
步骤203，利用候选神经网络，生成结果神经网络。
在本实施例中，基于步骤202中得到的候选神经网络，上述执行主体可以生成结果神经网络。其中，结果神经网络为调整后的神经网络。
具体的，上述执行主体可以直接将候选神经网络确定为结果神经网络；或者，也可以继续对候选神经网络进行调整，并将调整后的候选神经网络确定为结果神经网络。
在本实施例的一些可选的实现方式中，利用候选神经网络，上述执行主体可以通过以下步骤生成结果神经网络：
步骤2031，针对预设关联关系，获取训练样本集。
其中，训练样本集包括正训练样本和负训练样本。训练样本包括两个样本实体向量。样本实体向量用于表征样本实体。正训练样本所对应的两个实体的关联关系为预设关联关系。负训练样本所对应的两个实体的关联关系不是预设关联关系。例如，预设关联关系为包含关系。对于包含关系，正训练样本可以为样本实体“中国”和样本实体“北京”所对应的两个样本实体向量；负训练样本可以为样本实体“天津”和样本实体“北京”所对应的两个样本实体向量。
具体的，上述执行主体可以采用各种方法获取训练样本集。
在本实施例的一些可选的实现方式中，上述执行主体可以通过以下步骤获取训练样本集：
首先，针对预设关联关系，上述执行主体可以获取正训练样本集。
这里，可以采用各种方法获取正训练样本，例如可以从预先确定的样本知识图谱中搜索预设关联关系所对应的两个实体作为样本实体。然后确定搜索到的两个实体的实体向量作为样本实体向量。最后利用确定出的两个样本实体向量组成正训练样本。
然后，对于正训练样本集中的正训练样本，执行以下步骤：从该正训练样本中确定待保留样本实体向量和待替换样本实体向量；针对待替换样本实体向量，获取替换用样本实体向量，其中，替换用样本实体向量所对应的样本实体与待替换样本实体向量所对应的样本实体不同；利用替换用样本实体向量和待保留样本实体向量组成该正训练样本所对应的负训练样本。
最后，利用正训练样本集和所组成的负训练样本，组成训练样本集。
在本实现方式中，通过替换正训练样本中的待替换样本实体向量来获得负训练样本，可以简化训练样本集的获取步骤，进而有助于提高结果生成网络的生成效率。
步骤2032，从训练样本集中选取训练样本，以及执行以下训练步骤：利用所选取的训练样本训练候选神经网络；确定候选神经网络是否训练完成；响应于确定训练完成，将训练完成的候选神经网络确定为结果神经网络。
具体的，上述执行主体可以利用机器学习方法，利用所选取的训练样本训练候选神经网络。
在这里，候选神经网络是否训练完成可以由预先确定的完成条件来确定。当满足上述完成条件时，则可以确定候选神经网络训练完成。其中，完成条件可以包括但不限于以下至少一项：训练时间超过预设时长；训练次数超过预设次数；利用损失函数计算所得到的损失值小于预设损失阈值。
在本实现方式中，通过对候选神经网络进行训练，获得结果神经网络，可以提高所获得的结果神经网络的精度，有助于提高利用结果神经网络进行预测的准确程度。
在本实施例的一些可选的实现方式中，上述执行主体还可以响应于确定候选神经网络未训练完成，从训练样本集包括的未被选取的训练样本中重新选取训练样本，调整候选神经网络的参数，以及使用最近一次选取的训练样本和最近一次调整的候选神经网络，继续执行训练步骤。
具体的，上述执行主体可以响应于确定候选神经网络未训练完成，基于计算所得的差异，调整候选神经网络的参数。这里，可以采用各种实现方式基于计算得到的差异调整候选神经网络的参数。例如，可以采用BP(Back Propagation，反向传播)算法或者SGD(Stochastic Gradient Descent，随机梯度下降)算法来调整候选神经网络的参数。
本实现方式可以实现对候选神经网络的多次训练，以此，可以进一步提高结果神经网络的精度。
在本实施例的一些可选的实现方式中，上述执行主体可以存储结果神经网络。这里，由于结果神经网络相对应目标神经网络而言，所包括的参数的数量减少，所以，在对结果神经网络进行存储时，可以减少神经网络所占用的存储空间，节省存储资源。
继续参见图3，图3是根据本实施例的用于生成神经网络的方法的应用场景的一个示意图。在图3的应用场景中，服务器301首先获取目标神经网络302，其中，目标神经网络302对应预设关联关系(例如父子关系)，用于将目标知识图谱中的两个实体所对应的两个实体向量作为输入，以确定所输入的两个实体向量所对应的两个实体的关联关系是否为预设关联关系，目标神经网络302包括针对预设关联关系预先确定的关系张量303。然后，服务器301可以将目标神经网络302中的关系张量303转化为关系矩阵304和关系矩阵305的积，生成包括转化成的关系矩阵304和关系矩阵305的候选神经网络306。最后，服务器301可以利用候选神经网络306，生成结果神经网络307。
本公开的上述实施例提供的方法通过获取目标神经网络，其中，目标神经网络对应预设关联关系，用于将目标知识图谱中的两个实体所对应的两个实体向量作为输入，以确定所输入的两个实体向量所对应的两个实体的关联关系是否为预设关联关系，目标神经网络包括针对预设关联关系预先确定的关系张量，而后将目标神经网络中的关系张量转化为目标数量个关系矩阵的积，生成包括转化成的目标数量个关系矩阵的候选神经网络，最后利用候选神经网络，生成结果神经网络，从而通过将神经网络中的关系张量转化为目标数量个关系矩阵的积，可以减少神经网络中参数的数量，进而可以减小神经网络的复杂程度，有助于在利用神经网络进行信息处理时，减小CPU的消耗，提高信息处理的效率。
进一步参考图4，其示出了用于更新知识图谱的方法的一个实施例的流程400。该用于更新知识图谱的方法的流程400，包括以下步骤：
步骤401，获取两个待关联实体向量和预先生成的结果神经网络。
在本实施例中，用于更新知识图谱的方法的执行主体(例如图1所示的终端设备)可以通过有线连接方式或者无线连接方式从远程或本地获取两个待关联实体向量和预先生成的结果神经网络。其中，待关联实体向量用于表征目标知识图谱中的待关联实体。具体的，上述执行主体可以首先从目标知识图谱中提取两个待关联实体，然后确定所提取的两个待关联实体的待关联实体向量。具体确定待关联实体所对应的待关联实体向量的方法可以参考图2中描述的、用于确定实体向量的方法。
在本实施例中，结果神经网络是根据上述图2对应实施例描述的方法生成的，具体可以参见图2对应实施例描述的各步骤。
步骤402，将所获取的两个待关联实体向量输入结果神经网络，生成用于表征两个待关联实体的关联关系是否为结果神经网络所对应的预设关联关系的关联结果。
在本实施例中，基于步骤401中得到的两个待关联实体向量和结果神经网络，上述执行主体可以将所获取的两个待关联实体向量输入结果神经网络，生成用于表征两个待关联实体的关联关系是否为结果神经网络所对应的预设关联关系的关联结果。关联结果可以包括但不限于以下至少一项：文字、数字、符号。例如，关联结果可以包括文字“是”和文字“否”其中，文字“是”可以用于表征两个待关联实体的关联关系是结果神经网络所对应的预设关联关系；文字“否”可以用于表征两个待关联实体的关联关系不是结果神经网络所对应的预设关联关系。
步骤403，响应于确定关联结果指示两个待关联实体的关联关系为结果神经网络所对应的预设关联关系，利用针对预设关联关系预先设置的、用于添加到知识图谱中的关联信息，更新目标知识图谱。
在本实施例中，生成关联结果后，上述执行主体可以响应于确定关联结果指示两个待关联实体的关联关系为结果神经网络所对应的预设关联关系，利用针对预设关联关系预先设置的、用于添加到知识图谱中的关联信息，更新目标知识图谱。
具体的，上述执行主体可以将关联信息添加到待关联实体之间，以表征两个待关联实体的关联关系的内容。
特别的，在更新目标知识图谱时，若目标知识图谱中的两个待关联实体之间包括用于表征两个待关联实体的关联关系的内容的原始关联信息，上述执行主体可以利用预设关联关系所对应的关联信息替换原始关联信息，以实现对目标知识图谱的更新。
在本实施例的一些可选的实现方式中，更新目标知识图谱之后，上述执行主体还可以显示更新后的目标知识图谱。以此，可以直观地展现更新后的目标知识图谱。
本公开的上述实施例提供的方法可以利用图2对应实施例描述的方法生成的结果神经网络对目标知识图谱进行更新，由于结果生成网络相较于现有技术中的、用于更新知识图谱的张量神经网络，包括更少的参数，所以利用结果生成网络，可以减小计算的复杂程度，进而减小CPU的消耗，提高知识图谱的更新效率。
进一步参考图5，作为对上述图2所示方法的实现，本公开提供了一种用于生成神经网络的装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图5所示，本实施例的用于生成神经网络的装置500包括：第一获取单元501、张量转化单元502和网络生成单元503。其中，第一获取单元501被配置成获取目标神经网络，其中，目标神经网络对应预设关联关系，用于将目标知识图谱中的两个实体所对应的两个实体向量作为输入，以确定所输入的两个实体向量所对应的两个实体的关联关系是否为预设关联关系，目标神经网络包括针对预设关联关系预先确定的关系张量；张量转化单元502被配置成将目标神经网络中的关系张量转化为目标数量个关系矩阵的积，生成包括转化成的目标数量个关系矩阵的候选神经网络；网络生成单元503被配置成利用候选神经网络，生成结果神经网络。
在本实施例中，用于生成神经网络的装置的第一获取单元501可以通过有线连接方式或者无线连接方式从远程或本地获取目标神经网络。其中，目标神经网络为待对其进行调整的神经网络。具体的，目标神经网络可以为未经训练的神经网络，也可以为已经训练完成的神经网络。目标神经网络对应预设关联关系，用于将目标知识图谱中的两个实体所对应的两个实体向量作为输入，以确定所输入的两个实体向量所对应的两个实体的关联关系是否为预设关联关系。
预设关联关系可以为技术人员预先确定的各种关联关系，例如父子关系、包含关系等。目标神经网络包括针对预设关联关系预先确定的关系张量。关系张量可以用于表征预设关联关系的特征。
在本实施例中，基于第一获取单元501得到的目标神经网络，张量转化单元502可以将目标神经网络中的关系张量转化为目标数量个关系矩阵的积，生成包括转化成的目标数量个关系矩阵的候选神经网络。其中，关系矩阵为采用预设的转化方法对关系张量进行转化后获得的矩阵。目标数量为基于预设的转化方法确定的数量。
在本实施例中，候选神经网络为将关系张量用转化成的目标数量个关系矩阵的积替换后的目标神经网络。
在本实施例中，基于张量转化单元502得到的候选神经网络，网络生成单元503可以生成结果神经网络。其中，结果神经网络为调整后的神经网络。
在本实施例的一些可选的实现方式中，网络生成单元503可以包括：样本获取模块(图中未示出)，被配置针对预设关联关系，获取训练样本集，其中，训练样本集包括正训练样本和负训练样本，训练样本包括两个样本实体向量，样本实体向量用于表征样本实体，正训练样本所对应的两个实体的关联关系为预设关联关系，负训练样本所对应的两个实体的关联关系不是预设关联关系；第一训练模块(图中未示出)，被配置成从训练样本集中选取训练样本，以及执行以下训练步骤：利用所选取的训练样本训练候选神经网络；确定候选神经网络是否训练完成；响应于确定训练完成，将训练完成的候选神经网络确定为结果神经网络。
在本实施例的一些可选的实现方式中，网络生成单元503还可以包括：第二训练模块(图中未示出)，被配置成响应于确定未训练完成，从训练样本集包括的未被选取的训练样本中重新选取训练样本，调整候选神经网络的参数，以及使用最近一次选取的训练样本和最近一次调整的候选神经网络，继续执行训练步骤。
在本实施例的一些可选的实现方式中，样本获取模块可以进一步被配置成：针对预设关联关系，获取正训练样本集；对于正训练样本集中的正训练样本，从该正训练样本中确定待保留样本实体向量和待替换样本实体向量；针对待替换样本实体向量，获取替换用样本实体向量，其中，替换用样本实体向量所对应的样本实体与待替换样本实体向量所对应的样本实体不同；利用替换用样本实体向量和待保留样本实体向量组成该正训练样本所对应的负训练样本；利用正训练样本集和所组成的负训练样本，组成训练样本集。
在本实施例的一些可选的实现方式中，装置500还可以包括：网络存储单元(图中未示出)，被配置成存储结果神经网络。
可以理解的是，该装置500中记载的诸单元与参考图2描述的方法中的各个步骤相对应。由此，上文针对方法描述的操作、特征以及产生的有益效果同样适用于装置500及其中包含的单元，在此不再赘述。
本公开的上述实施例提供的装置500通过获取目标神经网络，其中，目标神经网络对应预设关联关系，用于将目标知识图谱中的两个实体所对应的两个实体向量作为输入，以确定所输入的两个实体向量所对应的两个实体的关联关系是否为预设关联关系，目标神经网络包括针对预设关联关系预先确定的关系张量，而后将目标神经网络中的关系张量转化为目标数量个关系矩阵的积，生成包括转化成的目标数量个关系矩阵的候选神经网络，最后利用候选神经网络，生成结果神经网络，从而通过将神经网络中的关系张量转化为目标数量个关系矩阵的积，可以减少神经网络中参数的数量，进而可以减小神经网络的复杂程度，有助于在利用神经网络进行信息处理时，减小CPU的消耗，提高信息处理的效率。
进一步参考图6，作为对上述图4所示方法的实现，本公开提供了一种用于更新知识图谱的装置的一个实施例，该装置实施例与图4所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图6所示，本实施例的用于更新知识图谱的装置600包括：第二获取单元601、结果生成单元602和图谱更新单元603。其中，第二获取单元601被配置成获取两个待关联实体向量和预先生成的结果神经网络，其中，待关联实体向量用于表征目标知识图谱中的待关联实体，结果神经网络为采用图2对应实施例描述的方法生成的；结果生成单元602被配置成将所获取的两个待关联实体向量输入结果神经网络，生成用于表征两个待关联实体的关联关系是否为结果神经网络所对应的预设关联关系的关联结果；图谱更新单元603被配置成响应于确定关联结果指示两个待关联实体的关联关系为结果神经网络所对应的预设关联关系，利用针对预设关联关系预先设置的、用于添加到知识图谱中的关联信息，更新目标知识图谱。
在本实施例中，用于更新知识图谱的装置600的第二获取单元601可以通过有线连接方式或者无线连接方式从远程或本地获取两个待关联实体向量和预先生成的结果神经网络。其中，待关联实体向量用于表征目标知识图谱中的待关联实体。
在本实施例中，结果神经网络是根据上述图2对应实施例描述的方法生成的，具体可以参见图2对应实施例描述的各步骤。
在本实施例中，基于第二获取单元601得到的两个待关联实体向量和结果神经网络，结果生成单元602可以将所获取的两个待关联实体向量输入结果神经网络，生成用于表征两个待关联实体的关联关系是否为结果神经网络所对应的预设关联关系的关联结果。关联结果可以包括但不限于以下至少一项：文字、数字、符号。
在本实施例中，图谱更新单元603可以响应于确定关联结果指示两个待关联实体的关联关系为结果神经网络所对应的预设关联关系，利用针对预设关联关系预先设置的、用于添加到知识图谱中的关联信息，更新目标知识图谱。
在本实施例的一些可选的实现方式中，装置600还可以包括：图谱显示单元(图中未示出)，被配置成显示更新后的目标知识图谱。
可以理解的是，该装置600中记载的诸单元与参考图4描述的方法中的各个步骤相对应。由此，上文针对方法描述的操作、特征以及产生的有益效果同样适用于装置600及其中包含的单元，在此不再赘述。
本公开的上述实施例提供的装置600可以利用图2对应实施例描述的方法生成的结果神经网络对目标知识图谱进行更新，由于结果生成网络相较于现有技术中的、用于更新知识图谱的张量神经网络，包括更少的参数，所以利用结果生成网络，可以减小计算的复杂程度，进而减小CPU的消耗，提高知识图谱的更新效率。
下面参考图7，其示出了适于用来实现本公开实施例的电子设备(例如图1中的终端设备或服务器)700的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图7示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图7所示，电子设备700可以包括处理装置(例如中央处理器、图形处理器等)701，其可以根据存储在只读存储器(ROM)702中的程序或者从存储装置708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM 703中，还存储有电子设备700操作所需的各种程序和数据。处理装置701、ROM 702以及RAM703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
通常，以下装置可以连接至I/O接口705：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置606；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置707；包括例如磁带、硬盘等的存储装置708；以及通信装置709。通信装置709可以允许电子设备700与其他设备进行无线或有线通信以交换数据。虽然图7示出了具有各种装置的电子设备700，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置709从网络上被下载和安装，或者从存储装置708被安装，或者从ROM 702被安装。在该计算机程序被处理装置701执行时，执行本公开实施例的方法中限定的上述功能。
需要说明的是，本公开所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取目标神经网络，其中，目标神经网络对应预设关联关系，用于将目标知识图谱中的两个实体所对应的两个实体向量作为输入，以确定所输入的两个实体向量所对应的两个实体的关联关系是否为预设关联关系，目标神经网络包括针对预设关联关系预先确定的关系张量；将目标神经网络中的关系张量转化为目标数量个关系矩阵的积，生成包括转化成的目标数量个关系矩阵的候选神经网络；利用候选神经网络，生成结果神经网络。
此外，当上述一个或者多个程序被该电子设备执行时，还可以使得该电子设备：获取两个待关联实体向量和预先生成的结果神经网络，其中，待关联实体向量用于表征目标知识图谱中的待关联实体，结果神经网络为采用图2所对应的实施例中任一实施例的方法生成的；将所获取的两个待关联实体向量输入结果神经网络，生成用于表征两个待关联实体的关联关系是否为结果神经网络所对应的预设关联关系的关联结果；响应于确定关联结果指示两个待关联实体的关联关系为结果神经网络所对应的预设关联关系，利用针对预设关联关系预先设置的、用于添加到知识图谱中的关联信息，更新目标知识图谱。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定，例如，第一获取单元还可以被描述为“获取目标神经网络的单元”。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (16)

1.一种用于生成神经网络的方法，包括：
获取目标神经网络，其中，所述目标神经网络对应预设关联关系，用于将目标知识图谱中的两个实体所对应的两个实体向量作为输入，以确定所输入的两个实体向量所对应的两个实体的关联关系是否为所述预设关联关系，目标神经网络包括针对所述预设关联关系预先确定的关系张量；
将所述目标神经网络中的关系张量转化为目标数量个关系矩阵的积，生成包括转化成的目标数量个关系矩阵的候选神经网络；
利用所述候选神经网络，生成结果神经网络。
2.根据权利要求1所述的方法，其中，所述利用所述候选神经网络，生成结果神经网络，包括：
针对所述预设关联关系，获取训练样本集，其中，训练样本集包括正训练样本和负训练样本，训练样本包括两个样本实体向量，样本实体向量用于表征样本实体，正训练样本所对应的两个实体的关联关系为所述预设关联关系，负训练样本所对应的两个实体的关联关系不是所述预设关联关系；
从所述训练样本集中选取训练样本，以及执行以下训练步骤：利用所选取的训练样本训练候选神经网络；确定候选神经网络是否训练完成；响应于确定训练完成，将训练完成的候选神经网络确定为结果神经网络。
3.根据权利要求2所述的方法，其中，所述利用所述候选神经网络，生成结果神经网络，还包括：
响应于确定未训练完成，从所述训练样本集包括的未被选取的训练样本中重新选取训练样本，调整候选神经网络的参数，以及使用最近一次选取的训练样本和最近一次调整的候选神经网络，继续执行所述训练步骤。
4.根据权利要求2所述的方法，其中，所述针对所述预设关联关系，获取训练样本集，包括：
针对所述预设关联关系，获取正训练样本集；
对于所述正训练样本集中的正训练样本，从该正训练样本中确定待保留样本实体向量和待替换样本实体向量；针对待替换样本实体向量，获取替换用样本实体向量，其中，替换用样本实体向量所对应的样本实体与待替换样本实体向量所对应的样本实体不同；利用替换用样本实体向量和待保留样本实体向量组成该正训练样本所对应的负训练样本；
利用所述正训练样本集和所组成的负训练样本，组成训练样本集。
5.根据权利要求1-4之一所述的方法，其中，所述方法还包括：
存储所述结果神经网络。
6.一种用于更新知识图谱的方法，包括：
获取两个待关联实体向量和预先生成的结果神经网络，其中，待关联实体向量用于表征目标知识图谱中的待关联实体，所述结果神经网络为采用如权利要求1-5之一所述的方法生成的；
将所获取的两个待关联实体向量输入所述结果神经网络，生成用于表征两个待关联实体的关联关系是否为所述结果神经网络所对应的预设关联关系的关联结果；
响应于确定所述关联结果指示两个待关联实体的关联关系为所述结果神经网络所对应的预设关联关系，利用针对所述预设关联关系预先设置的、用于添加到知识图谱中的关联信息，更新所述目标知识图谱。
7.根据权利要求6所述的方法，其中，所述方法还包括：
显示更新后的目标知识图谱。
8.一种用于生成神经网络的装置，包括：
第一获取单元，被配置成获取目标神经网络，其中，所述目标神经网络对应预设关联关系，用于将目标知识图谱中的两个实体所对应的两个实体向量作为输入，以确定所输入的两个实体向量所对应的两个实体的关联关系是否为所述预设关联关系，目标神经网络包括针对所述预设关联关系预先确定的关系张量；
张量转化单元，被配置成将所述目标神经网络中的关系张量转化为目标数量个关系矩阵的积，生成包括转化成的目标数量个关系矩阵的候选神经网络；
网络生成单元，被配置成利用所述候选神经网络，生成结果神经网络。
9.根据权利要求8所述的装置，其中，所述网络生成单元包括：
样本获取模块，被配置针对所述预设关联关系，获取训练样本集，其中，训练样本集包括正训练样本和负训练样本，训练样本包括两个样本实体向量，样本实体向量用于表征样本实体，正训练样本所对应的两个实体的关联关系为所述预设关联关系，负训练样本所对应的两个实体的关联关系不是所述预设关联关系；
第一训练模块，被配置成从所述训练样本集中选取训练样本，以及执行以下训练步骤：利用所选取的训练样本训练候选神经网络；确定候选神经网络是否训练完成；响应于确定训练完成，将训练完成的候选神经网络确定为结果神经网络。
10.根据权利要求9所述的装置，其中，所述网络生成单元还包括：
第二训练模块，被配置成响应于确定未训练完成，从所述训练样本集包括的未被选取的训练样本中重新选取训练样本，调整候选神经网络的参数，以及使用最近一次选取的训练样本和最近一次调整的候选神经网络，继续执行所述训练步骤。
11.根据权利要求9所述的装置，其中，所述样本获取模块进一步被配置成：
针对所述预设关联关系，获取正训练样本集；
对于所述正训练样本集中的正训练样本，从该正训练样本中确定待保留样本实体向量和待替换样本实体向量；针对待替换样本实体向量，获取替换用样本实体向量，其中，替换用样本实体向量所对应的样本实体与待替换样本实体向量所对应的样本实体不同；利用替换用样本实体向量和待保留样本实体向量组成该正训练样本所对应的负训练样本；
利用所述正训练样本集和所组成的负训练样本，组成训练样本集。
12.根据权利要求8-11之一所述的装置，其中，所述装置还包括：
网络存储模块，被配置成存储所述结果神经网络。
13.一种用于更新知识图谱的装置，包括：
第二获取单元，被配置成获取两个待关联实体向量和预先生成的结果神经网络，其中，待关联实体向量用于表征目标知识图谱中的待关联实体，所述结果神经网络为采用如权利要求1-5之一所述的方法生成的；
结果生成单元，被配置成将所获取的两个待关联实体向量输入所述结果神经网络，生成用于表征两个待关联实体的关联关系是否为所述结果神经网络所对应的预设关联关系的关联结果；
图谱更新单元，被配置成响应于确定所述关联结果指示两个待关联实体的关联关系为所述结果神经网络所对应的预设关联关系，利用针对所述预设关联关系预先设置的、用于添加到知识图谱中的关联信息，更新所述目标知识图谱。
14.根据权利要求13所述的装置，其中，所述装置还包括：
图谱显示单元，被配置成显示更新后的目标知识图谱。
15.一种电子设备，包括：
一个或多个处理器；
存储装置，其上存储有一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。
16.一种计算机可读介质，其上存储有计算机程序，其中，该程序被处理器执行时实现如权利要求1-7中任一所述的方法。
CN201910184509.9A 2019-03-12 2019-03-12 用于生成神经网络的方法和装置 Active CN109902186B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201910184509.9A CN109902186B (zh) 2019-03-12 2019-03-12 用于生成神经网络的方法和装置
US16/665,882 US11620532B2 (en) 2019-03-12 2019-10-28 Method and apparatus for generating neural network
EP19206096.0A EP3709223A1 (en) 2019-03-12 2019-10-30 Method and apparatus for generating neural network
KR1020190137976A KR102342604B1 (ko) 2019-03-12 2019-10-31 뉴럴 네트워크 생성 방법 및 장치
JP2019198129A JP7009433B2 (ja) 2019-03-12 2019-10-31 ニューラルネットワーク生成用の方法及び装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910184509.9A CN109902186B (zh) 2019-03-12 2019-03-12 用于生成神经网络的方法和装置

Publications (2)

Publication Number Publication Date
CN109902186A true CN109902186A (zh) 2019-06-18
CN109902186B CN109902186B (zh) 2021-05-11

Family

ID=66947083

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910184509.9A Active CN109902186B (zh) 2019-03-12 2019-03-12 用于生成神经网络的方法和装置

Country Status (5)

Country Link
US (1) US11620532B2 (zh)
EP (1) EP3709223A1 (zh)
JP (1) JP7009433B2 (zh)
KR (1) KR102342604B1 (zh)
CN (1) CN109902186B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112270179A (zh) * 2020-10-15 2021-01-26 和美（深圳）信息技术股份有限公司 一种实体识别方法、装置及电子设备
CN113220866A (zh) * 2021-04-28 2021-08-06 西安电子科技大学 基于用户社交网络和产品相似度的推荐方法
CN113873539A (zh) * 2020-06-30 2021-12-31 华为技术有限公司 获取神经网络的方法和装置
WO2022042603A1 (en) * 2020-08-27 2022-03-03 International Business Machines Corporation Tensor comparison across distributed machine learning environment
US11270190B2 (en) 2017-08-18 2022-03-08 Beijing Sensetime Technology Development Co., Ltd. Method and apparatus for generating target neural network structure, electronic device, and storage medium

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018176000A1 (en) 2017-03-23 2018-09-27 DeepScale, Inc. Data synthesis for autonomous control systems
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US10671349B2 (en) 2017-07-24 2020-06-02 Tesla, Inc. Accelerated mathematical engine
US11157441B2 (en) 2017-07-24 2021-10-26 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
US11215999B2 (en) 2018-06-20 2022-01-04 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
US11361457B2 (en) 2018-07-20 2022-06-14 Tesla, Inc. Annotation cross-labeling for autonomous control systems
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
SG11202103493QA (en) 2018-10-11 2021-05-28 Tesla Inc Systems and methods for training machine models with augmented data
US11196678B2 (en) 2018-10-25 2021-12-07 Tesla, Inc. QOS manager for system on a chip communications
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
US11150664B2 (en) 2019-02-01 2021-10-19 Tesla, Inc. Predicting three-dimensional features for autonomous driving
US10997461B2 (en) 2019-02-01 2021-05-04 Tesla, Inc. Generating ground truth for machine learning from time series elements
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
US10956755B2 (en) 2019-02-19 2021-03-23 Tesla, Inc. Estimating object properties using visual image data
US11455467B2 (en) * 2020-01-30 2022-09-27 Tencent America LLC Relation extraction using full dependency forests
CN111737546B (zh) * 2020-07-24 2020-12-01 支付宝(杭州)信息技术有限公司 确定实体业务属性的方法及装置
CN112202510B (zh) * 2020-09-27 2022-09-16 广州大学 基于正则化流神经网络的信号检测方法
JP7497664B2 (ja) 2020-10-09 2024-06-11 富士通株式会社 機械学習プログラム、機械学習装置、及び、機械学習方法
CN112069249A (zh) * 2020-10-14 2020-12-11 中国平安人寿保险股份有限公司 知识图谱关系挖掘方法、装置、计算机设备及存储介质
CN113220895B (zh) * 2021-04-23 2024-02-02 北京大数医达科技有限公司 基于强化学习的信息处理方法、装置、终端设备
JP2023068865A (ja) 2021-11-04 2023-05-18 富士通株式会社 機械学習プログラム、機械学習方法及び機械学習装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106127297A (zh) * 2016-06-02 2016-11-16 中国科学院自动化研究所 基于张量分解的深度卷积神经网络的加速与压缩方法
CN106295796A (zh) * 2016-07-22 2017-01-04 浙江大学 基于深度学习的实体链接方法
CN106776711A (zh) * 2016-11-14 2017-05-31 浙江大学 一种基于深度学习的中文医学知识图谱构建方法
CN106855853A (zh) * 2016-12-28 2017-06-16 成都数联铭品科技有限公司 基于深度神经网络的实体关系抽取系统
CN107729497A (zh) * 2017-10-20 2018-02-23 同济大学 一种基于知识图谱的词嵌入深度学习方法
CN107944559A (zh) * 2017-11-24 2018-04-20 国家计算机网络与信息安全管理中心 一种实体关系自动识别方法及系统
US20180189634A1 (en) * 2017-01-03 2018-07-05 International Business Machines Corporation Determining context-aware distances using deep neural networks
CN108280061A (zh) * 2018-01-17 2018-07-13 北京百度网讯科技有限公司 基于歧义实体词的文本处理方法和装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6663881B2 (ja) 2017-04-13 2020-03-13 日本電信電話株式会社 並列句解析装置、並列句解析モデル学習装置、方法、及びプログラム
KR101983455B1 (ko) * 2017-09-21 2019-05-28 숭실대학교산학협력단 지식베이스 구축 방법 및 그 서버
CN107662617B (zh) 2017-09-25 2019-11-05 重庆邮电大学 基于深度学习的车载交互控制算法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106127297A (zh) * 2016-06-02 2016-11-16 中国科学院自动化研究所 基于张量分解的深度卷积神经网络的加速与压缩方法
CN106295796A (zh) * 2016-07-22 2017-01-04 浙江大学 基于深度学习的实体链接方法
CN106776711A (zh) * 2016-11-14 2017-05-31 浙江大学 一种基于深度学习的中文医学知识图谱构建方法
CN106855853A (zh) * 2016-12-28 2017-06-16 成都数联铭品科技有限公司 基于深度神经网络的实体关系抽取系统
US20180189634A1 (en) * 2017-01-03 2018-07-05 International Business Machines Corporation Determining context-aware distances using deep neural networks
CN107729497A (zh) * 2017-10-20 2018-02-23 同济大学 一种基于知识图谱的词嵌入深度学习方法
CN107944559A (zh) * 2017-11-24 2018-04-20 国家计算机网络与信息安全管理中心 一种实体关系自动识别方法及系统
CN108280061A (zh) * 2018-01-17 2018-07-13 北京百度网讯科技有限公司 基于歧义实体词的文本处理方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李广西: "关于张量网络和神经网络的关系的研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11270190B2 (en) 2017-08-18 2022-03-08 Beijing Sensetime Technology Development Co., Ltd. Method and apparatus for generating target neural network structure, electronic device, and storage medium
CN113873539A (zh) * 2020-06-30 2021-12-31 华为技术有限公司 获取神经网络的方法和装置
WO2022042603A1 (en) * 2020-08-27 2022-03-03 International Business Machines Corporation Tensor comparison across distributed machine learning environment
US11954611B2 (en) 2020-08-27 2024-04-09 International Business Machines Corporation Tensor comparison across a distributed machine learning environment
CN112270179A (zh) * 2020-10-15 2021-01-26 和美（深圳）信息技术股份有限公司 一种实体识别方法、装置及电子设备
CN113220866A (zh) * 2021-04-28 2021-08-06 西安电子科技大学 基于用户社交网络和产品相似度的推荐方法
CN113220866B (zh) * 2021-04-28 2023-01-06 西安电子科技大学 基于用户社交网络和产品相似度的推荐方法

Also Published As

Publication number Publication date
EP3709223A1 (en) 2020-09-16
KR20200109230A (ko) 2020-09-22
CN109902186B (zh) 2021-05-11
KR102342604B1 (ko) 2021-12-24
US20200293905A1 (en) 2020-09-17
US11620532B2 (en) 2023-04-04
JP2020149663A (ja) 2020-09-17
JP7009433B2 (ja) 2022-01-25

Similar Documents

Publication Publication Date Title
CN109902186A (zh) 用于生成神经网络的方法和装置
CN109858445A (zh) 用于生成模型的方法和装置
CN108446387A (zh) 用于更新人脸注册库的方法和装置
CN108764487A (zh) 用于生成模型的方法和装置、用于识别信息的方法和装置
CN109815365A (zh) 用于处理视频的方法和装置
CN109740018A (zh) 用于生成视频标签模型的方法和装置
CN108121800A (zh) 基于人工智能的信息生成方法和装置
CN109410253B (zh) 用于生成信息的方法、装置、电子设备和计算机可读介质
CN109919244A (zh) 用于生成场景识别模型的方法和装置
CN110378474A (zh) 对抗样本生成方法、装置、电子设备和计算机可读介质
CN109872276A (zh) 用于生成图像超分辨率模型的方法和装置
CN109976997A (zh) 测试方法和装置
CN109993150A (zh) 用于识别年龄的方法和装置
CN109360028A (zh) 用于推送信息的方法和装置
CN109947989A (zh) 用于处理视频的方法和装置
CN110021052A (zh) 用于生成眼底图像生成模型的方法和装置
CN109961141A (zh) 用于生成量化神经网络的方法和装置
CN109981787A (zh) 用于展示信息的方法和装置
CN110502665A (zh) 视频处理方法和装置
CN110009059A (zh) 用于生成模型的方法和装置
CN109800730A (zh) 用于生成头像生成模型的方法和装置
CN110059623A (zh) 用于生成信息的方法和装置
CN110084317A (zh) 用于识别图像的方法和装置
CN107590484A (zh) 用于呈现信息的方法和装置
CN109829164A (zh) 用于生成文本的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant