CN115997204A - 使用图形和结构化神经编码器生成文本的丰富描述符框架 - Google Patents

使用图形和结构化神经编码器生成文本的丰富描述符框架 Download PDF

Info

Publication number
CN115997204A
CN115997204A CN202180047569.1A CN202180047569A CN115997204A CN 115997204 A CN115997204 A CN 115997204A CN 202180047569 A CN202180047569 A CN 202180047569A CN 115997204 A CN115997204 A CN 115997204A
Authority
CN
China
Prior art keywords
directional
encoder
bgcnn
natural language
graphic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180047569.1A
Other languages
English (en)
Inventor
吴凌飞
王琛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of CN115997204A publication Critical patent/CN115997204A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G06F16/9024—Graphs; Linked lists
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/42—Data-driven translation
    • G06F40/47—Machine-assisted translation, e.g. using translation memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/55—Rule-based translation
    • G06F40/56—Natural language generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Document Processing Apparatus (AREA)
  • Devices For Executing Special Programs (AREA)

Abstract

使用双向图形卷积神经网络(“BGCNN”)将资源描述框架(RDF)数据转换成自然语言文本的技术。一些实施例通过学习图形增强结构神经编码器来执行RDF到文本的生成，图形增强结构神经编码器包括：(a)基于双向图形的元路径编码器；(b)双向图形卷积网络编码器；以及(c)用于组合编码器和解码器以将RDF三元组翻译成自然语言描述的独立注意机制。

Description

使用图形和结构化神经编码器生成文本的丰富描述符框架
背景技术
本发明总体上涉及使用机器逻辑(例如，软件)将丰富描述符框架(RDF)数据转换为文本数据的领域。
维基百科条目“卷积神经网络(convolutional neural network)”(截至2020年6月16日)部分陈述如下：“在深度学习中，卷积神经网络(CNN或ConvNet)是一类深度神经网络，最常用于分析视觉图像。基于它们的共享权重架构和平移不变性特征，它们也被称为移位不变或空间不变人工神经网络(SIANN)。它们在自然语言处理中有应用，并且CNN是多层感知器的正则化版本。
多层感知器通常指全连接网络，即一层中的每个神经元与下一层中的所有神经元相连。这些网络的“完全连通性”使它们容易过度拟合数据。典型的正则化方法包括向损失函数添加某种形式的权重幅度度量。CNN采取了不同的正则化方法：它们利用数据中的层次模式(hierarchical pattern)，并使用更小和更简单的模式组装更复杂的模式。因此，在连通性和复杂性的尺度上，CNN处于较低的极端。“卷积神经网络”这一名称表明该网络采用了称为卷积的数学运算。卷积是特殊的线性运算。卷积网络是简单的神经网络，其在它的至少一层中使用卷积代替一般的矩阵乘法。卷积神经网络包括输入层和输出层以及多个隐藏层。CNN的隐藏层通常包括一系列卷积层，这些卷积层用乘法或其他点积进行卷积。激活函数通常是RELU层，随后是附加的卷积，例如池化层、全连接层和归一化层，它们被称为隐藏层，因为它们的输入和输出被激活函数和最终卷积掩盖(mask)。虽然这些层通俗地称为卷积，但这只是约定俗成的。数学上，技术上是滑动点积或者互相关。这对矩阵中的指数(index)具有重要意义，因为它影响如何在特定指数点确定权重。神经网络中的卷积层应该具有以下属性：由宽度和高度(超参数)定义的卷积核。输入通道和输出通道的数量(超参数)。卷积滤波器(输入通道)的深度必须等于输入特征映射图(map)的通道数(深度)。权重向量和偏差被称为过滤器，并表示输入的特定特征(例如，特定形状)。CNN的显著特征是许多神经元可以共享同一过滤器。这减少了存储器占用(footprint)，因为在共享该滤波器的所有感受野(receptive field)上使用单个偏差和单个权重向量，而不是每个感受野具有其自己的偏差和向量权重。(脚注省略)
维基百科条目“资源描述框架(resource description framework)”(截至2020年6月16日)部分陈述如下：“资源描述框架(RDF)是万维网联盟(W3C)规范的家族，最初设计为元数据数据模型。它开始被用作通用方法，使用各种语法符号和数据序列化格式，对在网络资源中实现的信息进行概念描述或建模。它也用于知识管理应用。RDF数据模型类似于经典的概念建模方法(诸如实体关系或类图)。它基于这样的思想，即以主语-谓语-宾语的形式，即所谓的三元组来陈述资源(尤其是网络资源)。主语表示资源，谓语表示资源的特征或方面，并表达主语和宾语之间的关系。例如，在RDF中表示“The sky has the color blue”这一概念的一种方式是三元组：表示“the sky”的主语，表示“has the color”的谓语，表示“blue”的宾语。因此，RDF使用主语而不是宾语(或实体)，这与如下面向宾语设计(object-oriented design)中实体-属性-值模型的典型方法相反：实体(sky)、属性(color)和值(blue)。RDF是抽象模型，具有几种序列化格式(即文件格式)，因此资源或三元组的特定编码因格式而异。RDF语句的集合本质上代表了带标签的、有向的多图形。RDF以机器可以理解的正式方式来表达信息。RDF的目的是提供编码和解释机制，使得资源可以用特定软件能够理解的方式来描述；换句话说，这样软件就可以访问和使用它不能使用的信息”。(脚注省略)
维基百科条目“双向图形(bidirected graph)”(截至2020年6月16日)部分地陈述如下：“在图形论的数学领域中，双向图形是这样的图形，其中每条边在每一端被赋予独立的定向(或方向，或箭头)。因此，有三种双向边：箭头指向外，两端都指向顶点；两个箭头都指向内侧，远离顶点；以及其中一个箭头，远离其顶点指向相对端，而另一个箭头指向与第一个箭头相同的方向，远离相对端，指向其自己的顶点。这三种类型的边可以分别称为外倾(extraverted)、内倾(introverted)和有向(directed)。“有向”边与有向图形中的普通有向边相同；因此，有向图形是一种特殊的双向图形。有时希望边只有一端(半边)；这些只有一个箭头。没有端的边(松边(loose edge))没有箭头。既不是半边也不是松边的边可以称为普通边。反对称图形是双向图形的双覆盖图形。(脚注省略)
术语注释：如当前本领域中的惯例，术语“双向图形(bidirected graph)”和“双向图形(bidirectional graph)”表示相同的事物，并可互换使用。
发明内容
根据本发明的一个方面，有一种方法、计算机程序产品和/或系统，可执行以下操作(不一定按以下顺序)：(i)使用多个训练数据集训练双向图形卷积神经网络(BGCNN)；(ii)接收包括与多个资源描述框架(RDF)三元组相对应的计算机可读的资源描述框架(RDF)数据集；(iii)由机器逻辑创建包括双向图形的双向图形数据集，该双向图形包含多个RDF三元组的信息的全部；以及(iv)使用BGCNN将双向图形翻译成一段自然语言文本。
根据本发明的另一方面，提供了一种计算机实施的方法(CIM)，包括：使用多个训练数据集训练双向图形卷积神经网络(BGCNN)；接收包括与多个资源描述框架(RDF)三元组相对应的计算机可读的资源描述框架(RDF)数据集；由机器逻辑创建包括双向图形的双向图形数据集，该双向图形包含多个RDF三元组的信息的全部；以及使用BGCNN将双向图形翻译成一段自然语言文本。
优选地，本发明提供了一种计算机实施的方法，其中，训练包括以下至少一种：监督学习和/或无监督学习。
优选地，本发明提供了一种计算机实施的方法，其中，将双向图形翻译成一段自然语言文本包括以下子操作：通过BGCNN的元路径编码器模块对与双向图形相关联的元路径进行编码。
优选地，本发明提供了一种计算机实施的方法，其中，将双向图形翻译成一段自然语言文本包括以下子操作：通过BGCNN的卷积网络(CN)编码器部分对双向图形进行编码。
优选地，本发明提供了一种计算机实施的方法，其中，将双向图形翻译成一段自然语言文本包括以下子操作：由BGCNN的独立注意机制部分组合编码器和解码器，以将RDF数据集翻译成一段自然语言文本。
优选地，本发明提供了一种计算机实施的方法，其中BGCNN包括：基于双图形的元路径编码器；图形卷积网络编码器输入；以及双图形卷积网络编码器。
根据本发明的另一方面，提供了一种计算机程序产品(CPP)，包括：一组存储设备；以及共同存储在该一组存储设备中的计算机代码，该计算机代码包括使处理器组至少执行以下操作的数据和指令：使用多个训练数据集来训练双向图形卷积神经网络(BGCNN)，接收包括与多个资源描述框架(RDF)三元组相对应的计算机可读的资源描述框架(RDF)数据集，由机器逻辑创建包括双向图形的双向图形数据集，该双向图形包含多个RDF三元组的信息的全部，以及使用BGCNN将双向图形翻译成一段自然语言文本。
优选地，本发明提供了一种计算机程序产品，其中，训练包括以下至少一项：监督学习和/或无监督学习。
优选地，本发明提供了一种计算机程序产品，其中将双向图形翻译成一段自然语言文本包括以下子操作：通过BGCNN的元路径编码器模块对与双向图形相关联的元路径进行编码。
优选地，本发明提供了一种计算机程序产品，其中，将双向图形转换为一段自然语言文本包括以下子操作：由BGCNN的卷积网络(CN)编码器部分对双向图形进行编码。
优选地，本发明提供了一种计算机程序产品，其中，将双向图形翻译成一段自然语言文本包括以下子操作：由BGCNN的独立注意机制部分组合编码器和解码器，以将RDF数据集翻译成一段自然语言文本。
优选地，本发明提供了一种计算机程序产品，其中，BGCNN包括：基于双图形的元路径编码器；图形卷积网络编码器输入；以及双图形卷积网络编码器。
根据本发明的另一方面，提供了一种计算机系统(CS)，包括：处理器组；一组存储设备；以及共同存储在该一组存储设备中的计算机代码，该计算机代码包括使处理器组至少执行以下操作的数据和指令：使用多个训练数据集来训练双向图形卷积神经网络(BGCNN)，接收包括与多个资源描述框架(RDF)三元组的计算机可读的资源描述框架(RDF)数据集，由机器逻辑创建包括双向图形的双向图形数据集，该双向图形包含多个RDF三元组的信息的全部，以及使用BGCNN将双向图形翻译成一段自然语言文本。
优选地，本发明提供一种计算机系统，其中，训练包括以下至少一项：监督学习和/或无监督学习。
优选地，本发明提供了一种计算机系统，其中，将双向图形翻译成一段自然语言文本包括以下子操作：通过BGCNN的元路径编码器模块对与双向图形相关联的元路径进行编码。
优选地，本发明提供了一种计算机系统，其中，将双向图形翻译成一段自然语言文本包括以下子操作：由BGCNN的卷积网络(CN)编码器部分对双向图形进行编码。
优选地，本发明提供了一种计算机系统，其中，将双向图形翻译成一段自然语言文本包括以下子操作：由BGCNN的独立注意机制部分组合编码器和解码器，以将RDF数据集翻译成一段自然语言文本。
优选地，本发明提供了一种计算机系统，其中，BGCNN包括：基于双图形的元路径编码器；图形卷积网络编码器输入；以及双图形卷积网络编码器。
附图说明
图1是根据本发明的系统的第一实施例的框图；
图2为至少部分由第一实施例系统执行的第一实施例方法的流程图；
图3为第一实施例系统的机器逻辑(例如，软件)部分的框图；
图4为第一实施例系统生成的屏幕截图视图；
图5A为根据本发明的系统的第二实施例的框图；
图5B为第二实施例系统的一部分的框图；
图5C为第二实施例系统的另一部分的框图；
图5D为第二实施例系统的另一部分的框图；和
图6为第二实施例系统生成的双向图形图。
具体实施方式
本发明的一些实施例涉及使用双向图形卷积神经网络(“BGCNN”)将RDF数据转换为自然语言文本。一些实施例通过学习图形增强结构神经编码器来执行RDF到文本的生成，图形增强结构神经编码器包括：(a)基于双向图形的元路径编码器；(b)双向图形卷积网络编码器，以及(c)用于组合编码器和解码器以将RDF三元组翻译成自然语言描述的独立注意机制。
本具体实施方式部分分为以下子部分：(i)硬件和软件环境；(ii)示例实施例；(iii)进一步的评论和/或实施例；和(iv)定义。
I.硬件和软件环境
本发明可为任何可能的技术细节集成水平的系统、方法和/或计算机程序产品。计算机程序产品可以包括其上具有计算机可读程序指令的(一个或多个)计算机可读存储介质，用于使处理器执行本发明的各方面。计算机程序产品可以包括其上具有计算机可读程序指令的(一个或多个)计算机可读存储介质，用于使处理器执行本发明的各方面。
计算机可读存储介质可为有形设备，其可保留和存储指令，供指令执行设备使用。计算机可读存储介质可为，例如，但不限于，电子存储设备、磁性存储设备、光学存储设备、电磁存储设备、半导体存储设备，或前述的任何合适的组合。计算机可读存储介质的更具体的示例的非穷尽列表包括以下：便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式光盘只读存储器(CD-ROM)、数字通用盘(DVD)、记忆棒、软盘、机械编码设备，例如穿孔卡或其上记录有指令的凹槽中的凸起结构，以及以下的任何合适的组合如这里所使用的，计算机可读存储介质本身不应被解释为瞬时信号，例如无线电波或其他自由传播的电磁波、通过波导或其他传输介质传播的电磁波(例如，通过光纤电缆的光脉冲)、或通过导线传输的电信号。
“存储设备”在此定义为以计算机处理器可访问计算机代码的方式存储计算机代码的任何事物。存储设备通常包括存储介质，存储介质是存储计算机代码数据的材料。单个“存储设备”可具有：(i)间隔开或分布的多个离散部分(例如，一组六个固态存储设备，分别位于六个膝上型计算机中，其共同存储单个计算机程序)；和/或(ii)可以使用多个存储介质(例如，一组计算机代码，其部分存储在计算机的非易失性存储器中的磁畴(magneticdomain)中，部分存储在计算机的易失性存储器中的一组半导体开关中)。术语“存储介质”应该被解释为涵盖使用多种不同类型的存储介质的情况。
本文所述的计算机可读程序指令可通过网络，例如互联网、局域网、广域网和/或无线网络，从计算机可读存储介质下载至相应的计算/处理设备，或下载至外部计算机或外部存储设备。网络可以包括铜传输电缆、光传输光纤、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配器卡或网络接口从网络接收计算机可读程序指令，并转发计算机可读程序指令以存储在相应计算/处理设备内的计算机可读存储介质中。
用于执行本发明操作的计算机可读程序指令可为汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微码、固件指令、状态设置数据，或以一种或多种编程语言的任意组合编写的源代码或目标代码，包括面向对象的编程语言，如Smalltalk、C++等，以及常规程序编程语言，如“C”编程语言或类似编程语言。计算机可读程序指令可以完全在用户计算机上执行，部分在用户计算机上执行，作为独立软件包，部分在用户计算机上执行，部分在远程计算机上执行，或者完全在远程计算机或服务器上执行。在后一种情况下，远程计算机可以通过任何类型的网络连接到用户的计算机，包括局域网(LAN)或广域网(WAN)，或者可以连接到外部计算机(例如，通过使用互联网服务提供商的互联网)。在一些实施例中，包括例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)的电子电路可以通过利用计算机可读程序指令的状态信息来执行计算机可读程序指令，以个性化电子电路，从而执行本发明的方面。
本文参考根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图，描述了本发明的各方面。将会理解，流程图和/或框图的每个块以及流程图和/或框图中的块的组合可以由计算机可读程序指令来实现。
可将这些计算机可读程序指令提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，以生产机器，从而通过计算机或其他可编程数据处理装置的处理器执行的指令，可创建用于实施流程图和/或框图框中规定的功能/动作的部件(mean)。这些计算机可读程序指令也可以存储在计算机可读存储介质中，该计算机可读存储介质可以引导计算机、可编程数据处理装置和/或其他设备以特定方式运行，使得其中存储有指令的计算机可读存储介质包括一种制造品，该制造品包括实现流程图和/或框图的一个或多个框中指定的功能/动作的各方面的指令。
计算机可读程序指令也可加载到计算机、其他可编程数据处理装置或其他设备上，以使一系列操作步骤在计算机、其他可编程装置或其他设备上执行，从而产生计算机实施的过程，使得在计算机、其他可编程装置或其他设备上执行的指令实施流程图和/或框图的一个或多个框中规定的功能/动作。
图中的流程图和框图说明了根据本发明各种实施例的系统、方法和计算机程序产品的可能实施的架构、功能和操作。在这点上，流程图或框图中的每个块可以表示指令的模块、片段或部分，其包括用于实现指定逻辑功能的一个或多个可执行指令。在一些替代实施方式中，框中标注的功能可以不按照图中标注的顺序发生。例如，连续示出的两个框实际上可以基本上同时执行，或者这些框有时可以以相反的顺序执行，这取决于所涉及的功能。还将注意到，框图和/或流程图图示中的每个框以及框图和/或流程图图示中的框的组合可以由基于专用硬件的系统来实现，该系统执行指定的功能或动作或者执行专用硬件和计算机指令的组合。
如图1所示，联网计算机系统100是用于本发明各种实施例的硬件和软件环境的实施例。联网计算机系统100包括：服务器子系统102(有时在本文简称为子系统102)；客户端子系统104、106、108、110、112；和通信网络114。服务器子系统102包括：服务器计算机200；通信单元202；处理器组204；输入/输出(I/O)接口组206；存储器208；永久性存储装置210；显示器212；(一个或多个)外部设备214；随机存取存储器(RAM)230；高速缓存232；和程序300。
子系统102可为笔记本电脑、平板电脑、上网本电脑、个人电脑(PC)、台式电脑、个人数字助理(PDA)、智能手机或任何其他类型的计算机(见下文定义部分中“计算机”的定义)。程序300是用于创建、管理和控制某些软件功能的机器可读指令和/或数据的集合，这些软件功能将在以下具体实施例部分的示例实施例子部分中详细讨论。
子系统102能够经由通信网络114与其他计算机子系统通信。网络114可以是例如局域网(LAN)、诸如互联网的广域网(WAN)或两者的组合，并且可以包括有线、无线或光纤连接。通常，网络114可以是支持服务器和客户端子系统之间通信的连接和协议的任意组合。
子系统102显示为带有许多双箭头的框图。这些双箭头(没有单独的附图标记)表示通信结构，其提供子系统102的各种组件之间的通信。该通信结构可以用被设计用于在处理器(例如微处理器、通信和网络处理器等)、系统存储器、外围设备和计算机系统内的任何其他硬件组件之间传递数据和/或控制信息的任何架构来实现。例如，通信结构可以至少部分地用一条或多条总线来实现。
存储器208和永久性存储装置210为计算机可读存储介质。通常，存储器208可以包括任何合适的易失性或非易失性计算机可读存储介质。还应注意，现在和/或在不久的将来：(i)外部设备214可能能够为子系统102提供一些或全部存储器；和/或(ii)子系统102外部的设备能够为子系统102提供存储器。存储器208和永久性存储装置210：(i)以比传输中的信号更不瞬时的方式存储数据；以及(ii)将数据存储在有形介质上(例如磁畴或光域(optical domain))。在该实施例中，存储器208是易失性存储装置，而永久性存储装置210提供非易失性存储装置。永久性存储装置210使用的介质也可以是可移动的。例如，可移动硬盘驱动器可以用于永久性存储装置210。其他示例包括光盘和磁盘、拇指驱动器和智能卡，它们被插入到驱动器中以传输到也是永久性存储装置210的一部分的另一计算机可读存储介质上。
通信单元202提供与子系统102外部的其他数据处理系统或设备的通信。在这些示例中，通信单元202包括一个或多个网络接口卡。通信单元202可以通过使用物理和无线通信链路之一或两者来提供通信。本文讨论的任何软件模块可以通过通信单元(诸如通信单元202)下载到永久性存储设备(例如永久性存储装置210)。
I/O接口组206允许与其他设备输入和输出数据，其他设备可与服务器计算机200进行本地数据通信。例如，I/O接口组206提供到外部设备组214的连接。外部设备组214通常包括诸如键盘、小键盘、触摸屏和/或一些其他合适的输入设备的设备。外部设备组214还可以包括便携式计算机可读存储介质，诸如，例如拇指驱动器、便携式光盘或磁盘以及存储器卡。用于实践本发明实施例的软件和数据，例如程序300，可以存储在这种便携式计算机可读存储介质上。I/O接口组206还与显示器212进行数据通信连接。显示器212是提供向用户显示数据的机制的显示设备，并且可以是例如计算机监视器或智能电话显示屏。
在该实施例中，程序300存储在永久性存储装置210中，供处理器组204的一个或多个计算机处理器访问和/或执行，通常通过存储器208的一个或多个存储器。本领域技术人员将会理解，程序300可以在其运行时间和/或不运行时以更高度分布的方式存储。程序300可以包括机器可读和可执行的指令和/或实体数据(即，存储在数据库中的数据类型)。在该特定实施例中，永久性存储装置210包括磁硬盘驱动器。举一些可能的变型，永久性存储装置210可以包括固态硬盘驱动器、半导体存储设备、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、闪存或能够存储程序指令或数字信息的任何其他计算机可读存储介质。
本文所述程序基于其在本发明特定实施例中实施的应用进行标识。然而，应该理解的是，这里的任何特定程序术语仅仅是为了方便而使用的，因此本发明不应该局限于仅在由这种术语标识和/或暗示的任何特定应用中使用。
本发明各种实施例的描述仅用于说明目的，但并非旨在穷尽或限制所公开的实施例。在不脱离所描述的实施例的范围的情况下，许多修改和变化对于本领域普通技术人员来说是显而易见的。选择这里使用的术语是为了最好地解释实施例的原理、实际应用或对市场上发现的技术的技术改进，或者使本领域的其他普通技术人员能够理解这里公开的实施例。
II.示例实施例
如图1所示，网络计算机系统100是可执行本发明示例方法的环境。如图2所示，流程图250示出了根据本发明的示例方法。如图3所示，程序300执行或控制流程图250的至少一些方法操作的性能。现在将在以下段落中广泛参考图1、图2和图3的框来讨论该方法和相关软件。
处理从操作S255开始，其中接收RDF数据模块(“mod”)302接收计算机可读的RDF数据集，并包括指示一组RDF三元组(或“三元组”)的信息。如图4的屏幕截图400的区域402所示，在该示例中有如下三个三元组：(i)水包括(一个或多个)氧原子(water includes atom(s)of oxygen)；(ii)水是一种分子(water is a species of molecule)；和(iii)水包括(一个或多个)氢原子(water includes atom(s)of hydrogen)。流程图250的方法的目的是通过机器逻辑生成一段自然语言文本(natural language piece of text)，该文本准确地传达了这些三元组的所有信息。
处理进行至操作S260，其中创建双向图形模块304基于RDF数据集创建双向图形。这由图4的屏幕截图400的区域404示出。更具体地，区域404的单个双向图形是通过组合区域402的三个独立的三元图形来创建的。
处理进行至操作S265，其中训练模块308使用训练数据集(未单独显示)训练双向图形卷积神经网络(BGCNN)320。如图3所示，BGCNN 320包括元路径编码器322、卷积网络编码器324和独立注意机制326。在该具体实施方式部分的以下子部分中，将讨论BGCNN，其还包括：(i)双GMP(bi-GMP)(基于图形的元路径)编码器；(ii)GCN(图形卷积网络)编码器输入；和(iii)双GCN(bi-GCN)编码器。
处理进行至操作S270，其中翻译模块310使用双向图形CNN 320将双向图形(显示在屏幕截图400的区域404)翻译成一段自然语言文本(显示在屏幕截图400的区域406)。更具体地，在该示例中，翻译操作包括如下三(3)个子操作：(i)使用元路径编码器322来编码元路径(这将在以下具体实施方式的子部分中更详细地讨论)；(ii)使用卷积网络(CN)编码器324来编码双向图形(这将在以下具体实施方式的子部分中更详细地讨论)；以及(iii)使用独立注意机制326来组合编码器和解码器，以将RDF三元组翻译成自然语言描述(这将在以下具体实施方式的子部分中更详细地讨论)。
处理进行至操作S275，其中输出模块312输出在操作S265获得的自然语言文本。在该示例中，文本作为文本消息通过通信网络114发送到客户端子系统104(在该示例中，客户端子系统104是高级化学研究所的首席化学家的智能电话)。替代地或附加地，自然语言文本可以作为计算机可读数据被发送到另一个计算机设备用于存储和/或进一步处理。
III.进一步的评论和/或实施例
本发明的一些实施例认识到，自然语言生成、商业用途可应用于许多领域，诸如：机器翻译序列、抽象摘要序列、图像处理相关领域，诸如图像字幕、表格相关领域，诸如传记和体育报道生成的Wiki-infobox，以及图形相关领域，诸如基于知识的QA和实体摘要。
本发明的一些实施例认识到以下一个或多个事实、潜在问题和/或相对于现有技术的潜在改进领域：(i)一种用于将RDF数据转换为文本数据的当前常规解决方案被称为GTR-LSTM1(基于图形的三倍长短期记忆(Graph-based TRiple-Long Short TermMemory))；(ii)GTR-LSTM1通过保持图形结构来编码全局信息；(iii)GTR-LSTM1不能捕获实体和关系之间的丰富局部复杂结构信息；(iv)用于将RDF数据转换成文本数据的另一个当前传统的解决方案被称为修改图形卷积网络(DGCN)2；(v)改进的图形卷积网络(DGCN)2在捕获局部结构信息方面表现更好；(vi)当GCN层的数量大于或等于三(3)时，改进的图形卷积网络(DGCN)2容易过拟合；和/或(vii)改进的图形卷积网络(DGCN)2未能捕获RDF三元组之间的长程相关性(全局)信息。
本发明的一些实施例可包括以下操作、特征、特性和/或优点中的一个或多个：(i)使用图形增强结构神经编码器进行RDF到文本的生成；(ii)组合图形编码器加上基于图形的元路径编码器；(iii)图形结构；(iv)基于双向图形的元路径编码器；(v)双向图形卷积网络编码器；和/或(vi)组合编码器和解码器。
本发明的一些实施例可包括以下操作、特征、特性和/或优点中的一个或多个：(i)通过学习图形增强结构神经编码器进行RDF到文本的生成；(ii)包括由基于双向图形的元路径编码器执行的操作；(iii)包括由双向图形卷积网络编码器执行的操作；和/或(iv)将编码器和解码器与用于将RDF三元组翻译成分别对应的自然语言描述的独立注意机制相结合。
根据本发明的实施例，一种方法利用计算设备从资源描述框架数据中生成自然语言描述。该方法包括以下操作(不一定按以下顺序)：(i)由计算设备接收资源描述框架数据，该资源描述框架数据被表示为有向图形；(ii)由计算设备基于资源描述框架数据对双向图形进行编码；(iii)由计算设备训练双向图形卷积神经网络；以及(iv)由计算设备利用双向图形卷积神经网络将资源描述框架数据翻译成自然语言描述。
本发明的一些实施例可包括以下操作、特征、特性和/或优点中的一个或多个：(i)经由组合对于输入三元组的两个新的图形增强结构神经编码器(即，双向图形编码器和基于双向图形的元路径编码器)，由机器学习联合学习局部和全局结构信息；(ii)基于图形的元路径编码器捕获全局结构信息；(iii)从知识图形的子图形忠实地(faithfully)生成自然语言表达(含义)；(iv)经由组合两个新的图形增强结构神经编码器，通过联合学习局部和全局结构信息，使用更高级的技术；(v)在知识图形中直接执行RDF到文本的生成；和/或(vi)使用可用于任何系统的基于高级深度学习的方法。
出于本文档的目的，“RDF到文本生成”在本文定义为：通过在一组计算机上运行的机器逻辑，生成给定一组RDF三元组的描述性文本，其中：(i)输入为计算机代码，包括指示一组RDF三元组的信息；以及(ii)输出是指示一段描述性自然语言文本的计算机代码。
示例的三元组的输入集如下：
Figure BDA0004035071350000121
Figure BDA0004035071350000131
通过处理前段中所述的输入而产生的一段描述性自然语言文本的示例输出如下：“The school of business and social sciences at the Aarhus University inDenmark is affiliated with the European University Association.The EuropeanUniversity Association is headquartered in Brussels.Brussels is the capitalof Belgium.Denmark has a monarch；its religion is the church of Denmark；andits leader is Lars Lokke Rasmussen”。
现在将讨论RDF到文本生成的公式。一组RDF三元组在数学上表示如下：S＝{t_1，t_(2)，...t_n}其中t_i＝<s_i，r_i〖，O〗_i>。S表示为有向图形，其数学表达式如下：G＝<V,E>,真实目标文本数学表示如下：y＝{w_1，w_(2)，...w_T)。在执行RDF到文本生成任务时，给定一组RDF三元组S或其相应的图形G，运行在计算机上的机器逻辑生成描述性文本Y^。
现在将讨论RDF到文本生成中的挑战和RDF到文本生成的动机。在一些实施例中，通过使用具有以下特性的合理模型，更好地使用在一组RDF三元组S中形成的结构信息：(i)准确预测局部实体及其属性(在三元组/局部内)；以及(ii)完全覆盖全局输入信息(三元组/全局之间)。一些实施例组合图形增强结构神经编码器(具体地，图形编码器和基于图形的元路径编码器)来联合学习局部和全局结构信息。如图5A至图5D所示，图500(包括元路径输入块502、RDF三元组块504、GCN(图形卷积网络)编码器输入506、双GMP编码器512、双GCN编码器514和解码器530)表示组合的图形增强结构神经编码器模型的框架。
现在将根据本发明的实施例讨论图形构建过程。实体掩盖提高了模型的泛化能力。在示例中：(i)“Bakewell pudding”(FOOD-1)导致“ENTITY-1FOOD”：以及(ii)“Bakewelltart”(FOOD-2)导致“entity-2FOOD”。“关系(Relation)”被视为附加节点。接收到的RDF三元组被转换成图形数据结构。在这个示例中,(FOOD-1，区(region)，地点(PLACE))的双GCN输入导致区与FOOD-1相关联，并且区还与PLACE相关联。在该示例中，对双GMP输入执行拓扑排序和单源最短路径分析，以产生以下三个结果：(i)FOOD1→region→PLACE→leaderName→PERSON；(ii)FOOD-1→region→PLACE→county→COUNTY；和(iii)FOOD-1→dishVariation→FOOD-2→ingredient→INGREDIENT。由双GCN和双GMP编码器联合构建的图形在图6的图形600中示出。
在一些实施例中，基于双向图形的元路径编码器具有一个或多个以下特性：(i)输入图形G1变换为包括一组元路径的序列
Figure BDA0004035071350000141
Figure BDA0004035071350000142
(ii)根据数学表达式(1)(见下文)计算每个元路径中每个标记(token)的表示r_i；(iii)不同元路径之间的隐藏状态掩盖；(iv)r_(i-1)是元路径中的全零向量或先前时间步长隐藏状态；(v)f(·)和g(·)是单LSTM(长短期记忆)单位；(vi)引入复制机制；(vii)输出：一组表示R_1＝{r_1，r_2...)；和/或(viii)图形G1的图形嵌入由数学表达式(2)(见下文)给出。
数学表达式(1)和(2)(见上文)如下：
Figure BDA0004035071350000143
(表达式1)
Figure BDA0004035071350000144
(表达式2)
Figure BDA0004035071350000145
在一些实施例中，基于双向图形的卷积网络编码器具有一个或多个以下特性：(i)矢量表示层l处的
Figure BDA0004035071350000146
(见下面的数学表达式(3))；(ii)数学表达式(4)(见下文)表示具有由数学表达式(5)(见下文)给出的插入自循环的有向图形G2的源到目标和目标到源邻接矩阵；(iii)I是由数学表达式(6)给出的单位矩阵(identity matrix)；(iv)输出：一组实体和关系节点表示；(v)图形G2的图形嵌入由数学表达式(7)示出(见下文)；和/或
Figure BDA00040350713500001411
是单层感知器。
数学表达式(3)至(7)(见上文)如下：
Figure BDA0004035071350000147
Figure BDA0004035071350000148
(表达式3)
Figure BDA0004035071350000149
(表达式4)
Figure BDA00040350713500001410
(表达式5)R2＝H(L)
(表达式6)
Figure BDA0004035071350000151
(表达式7)
Figure BDA0004035071350000152
现在将讨论组合编码器和解码器：组合的图形嵌入由数学表达式(8)表示：
(表达式8)
Figure BDA0004035071350000153
在时间步长t对R_1和R_2分别关注，由以下数学表达式(9)和(10)给出：
(表达式9)
Figure BDA0004035071350000154
(表达式10)〖r_i∈R〗_1，〖h_j∈R〗_2，〖M＝|R〗_1|，〖V＝|R〗_2|。
双GMP级别上下文向量c_u和双GCN级别上下文向量c_v由下面的数学表达式(11)给出：
(表达式11)
Figure BDA0004035071350000155
最终的注意力隐藏状态由下面的数学表达式(12)给出：
(表达式12)
Figure BDA0004035071350000156
目标函数由下面的数学表达式(13)给出：
(表达式13)
Figure BDA0004035071350000157
IV.定义
本发明：不应被视为术语“本发明”所描述的主题被提交的权利要求或专利起诉后最终发布的权利要求所涵盖的绝对指示；虽然术语“本发明”用于帮助读者对本文公开的内容被认为可能是新的有一个总体感觉，但是如使用术语“本发明”所表明的，这种理解是试验性的和临时的，并且随着相关信息的发展和权利要求的可能修改，在专利申请过程中会有变化。
实施例：参见上述“本发明”的定义-类似的注意事项适用于术语“实施例”。
和/或：包括性或；例如，A、B“和/或”C意味着A或B或C中的至少一个是真实的和适用的。
包括/包含/含有：除非另有明确说明，否则表示“包括但不一定限于”。
模块/子模块：任何一组硬件、固件和/或软件，可操作地工作以实现某种功能，不考虑模块是否：(i)在单个本地邻近区域；(ii)分布在广阔的地区；(iii)在一段较大的软件代码内的单个邻近区域中；(iv)位于单个软件代码中；(v)位于单个存储设备、存储器或介质中；(vi)机械连接；(vii)电气连接；和/或(viii)以数据通信方式连接。
计算机：具有显著数据处理和/或机器可读指令读取能力的任何设备，包括但不限于：台式计算机、大型计算机、膝上型计算机、基于现场可编程门阵列(FPGA)的设备、智能手机、个人数字助理(PDA)、体装式或嵌入式计算机、嵌入式设备型计算机、基于专用集成电路(ASIC)的设备。

Claims (18)

1.一种计算机实现的方法(CIM)，包括：
使用多个训练数据集训练双向图形卷积神经网络(BGCNN)；
接收包括与多个资源描述框架(RDF)三元组相对应的计算机可读的资源描述框架(RDF)数据集；
由机器逻辑创建包括双向图形的双向图形数据集，所述双向图形包含所述多个RDF三元组的信息的全部；以及
使用BGCNN将所述双向图形翻译成一段自然语言文本。
2.根据权利要求1所述的CIM，其中，所述训练包括以下至少一项：监督学习和/或无监督学习。
3.根据权利要求1所述的CIM，其中，将所述双向图形翻译成一段自然语言文本包括以下子操作：
由BGCNN的元路径编码器模块对与所述双向图形相关联的元路径进行编码。
4.根据权利要求3所述的CIM，其中，将所述双向图形翻译成一段自然语言文本包括以下子操作：
由BGCNN的卷积网络(CN)编码器部分对所述双向图形进行编码。
5.根据权利要求4所述的CIM，其中，将所述双向图形翻译成一段自然语言文本包括以下子操作：
由BGCNN的独立注意机制部分组合编码器和解码器，以将所述RDF数据集翻译成所述一段自然语言文本。
6.根据权利要求1所述的CIM，其中，BGCNN包括：
基于双图形的元路径编码器；
图形卷积网络编码器输入；以及
双图形卷积网络编码器。
7.一种计算机程序产品(CPP)，包括：
一组存储设备；以及
共同存储在所述一组存储设备中的计算机代码，所述计算机代码包括使处理器组至少执行以下操作的数据和指令：
使用多个训练数据集来训练双向图形卷积神经网络(BGCNN)，
接收包括与多个资源描述框架(RDF)三元组相对应的计算机可读的资源描述框架(RDF)数据集，
由机器逻辑创建包括双向图形的双向图形数据集，所述双向图形包含所述多个RDF三元组的信息的全部，以及
使用BGCNN将所述双向图形翻译成一段自然语言文本。
8.根据权利要求7所述的CPP，其中，所述训练包括以下至少一项：监督学习和/或无监督学习。
9.根据权利要求7所述的CPP，其中，将所述双向图形翻译成一段自然语言文本包括以下子操作：
由BGCNN的元路径编码器模块对与所述双向图形相关联的元路径进行编码。
10.根据权利要求9所述的CPP，其中，将所述双向图形翻译成一段自然语言文本包括以下子操作：
由BGCNN的卷积网络(CN)编码器部分对所述双向图形进行编码。
11.根据权利要求10所述的CPP，其中，将所述双向图形翻译成一段自然语言文本包括以下子操作：
由BGCNN的独立注意机制部分组合编码器和解码器，以将所述RDF数据集翻译成所述一段自然语言文本。
12.根据权利要求7所述的CPP，其中，BGCNN包括：
基于双图形的元路径编码器；
图形卷积网络编码器输入；以及
双图形卷积网络编码器。
13.一种计算机系统(CS)，包括：
处理器组；
一组存储设备；以及
共同存储在所述一组存储设备中的计算机代码，所述计算机代码包括使所述处理器组至少执行以下操作的数据和指令：
使用多个训练数据集来训练双向图形卷积神经网络(BGCNN)，
接收包括与多个资源描述框架(RDF)三元组相对应的计算机可读的资源描述框架(RDF)数据集，
由机器逻辑创建包括双向图形的双向图形数据集，所述双向图形包含所述多个RDF三元组的信息的全部，以及
使用BGCNN将所述双向图形翻译成一段自然语言文本。
14.根据权利要求13所述的CS，其中，所述训练包括以下至少一项：监督学习和/或无监督学习。
15.根据权利要求13所述的CS，其中，将所述双向图形翻译成一段自然语言文本包括以下子操作：
由BGCNN的元路径编码器模块对与所述双向图形相关联的元路径进行编码。
16.根据权利要求15所述的CS，其中，将所述双向图形翻译成一段自然语言文本包括以下子操作：
由BGCNN的卷积网络(CN)编码器部分对所述双向图形进行编码。
17.根据权利要求16所述的CS，其中，将所述双向图形翻译成一段自然语言文本包括以下子操作：
由BGCNN的独立注意机制部分组合编码器和解码器，以将所述RDF数据集翻译成一段自然语言文本。
18.根据权利要求13所述的CS，其中，BGCNN包括：
基于双图形的元路径编码器；
图形卷积网络编码器输入；以及
双图形卷积网络编码器。
CN202180047569.1A 2020-07-02 2021-06-22 使用图形和结构化神经编码器生成文本的丰富描述符框架 Pending CN115997204A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/919,208 2020-07-02
US16/919,208 US11321541B2 (en) 2020-07-02 2020-07-02 Rich descriptor framework to text generation using graphs and structural neural encoders
PCT/IB2021/055497 WO2022003486A1 (en) 2020-07-02 2021-06-22 Rich descriptor framework to text generation using graphs and structural neural encoders

Publications (1)

Publication Number Publication Date
CN115997204A true CN115997204A (zh) 2023-04-21

Family

ID=79166331

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180047569.1A Pending CN115997204A (zh) 2020-07-02 2021-06-22 使用图形和结构化神经编码器生成文本的丰富描述符框架

Country Status (6)

Country Link
US (1) US11321541B2 (zh)
JP (1) JP2023531240A (zh)
CN (1) CN115997204A (zh)
DE (1) DE112021002868T5 (zh)
GB (1) GB2610790A (zh)
WO (1) WO2022003486A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11727210B2 (en) * 2020-08-14 2023-08-15 Salesforce.Com, Inc. Structured graph-to-text generation with two step fine-tuning
CN113449135B (zh) * 2021-08-31 2021-11-19 阿里巴巴达摩院(杭州)科技有限公司 图像生成系统与方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3333771A1 (en) 2016-12-09 2018-06-13 Fujitsu Limited Method, program, and apparatus for comparing data hypergraphs
US10950021B2 (en) * 2018-04-23 2021-03-16 Accenture Global Solutions Limited AI-driven design platform
US10628743B1 (en) 2019-01-24 2020-04-21 Andrew R. Kalukin Automated ontology system
CN110600121B (zh) 2019-08-15 2022-05-03 浙江工业大学 一种基于知识图谱病因初步诊断方法

Also Published As

Publication number Publication date
US20220004720A1 (en) 2022-01-06
US11321541B2 (en) 2022-05-03
GB2610790A (en) 2023-03-15
DE112021002868T5 (de) 2023-03-23
JP2023531240A (ja) 2023-07-21
WO2022003486A1 (en) 2022-01-06

Similar Documents

Publication Publication Date Title
Chen et al. Physics-informed learning of governing equations from scarce data
Zhu et al. Spatial interpolation using conditional generative adversarial neural networks
Kadeethum et al. A framework for data-driven solution and parameter estimation of PDEs using conditional generative adversarial networks
Floryan et al. Data-driven discovery of intrinsic dynamics
AU2019200270A1 (en) Concept mask: large-scale segmentation from semantic concepts
CN111324696B (zh) 实体抽取方法、实体抽取模型的训练方法、装置及设备
KR20150143473A (ko) 재계산 사용자 인터페이스 내의 신호 캡처 컨트롤
Liu et al. Few-shot image classification: Current status and research trends
KR20150143472A (ko) 컨트롤 이벤트의 생성 기법
Singh et al. Predicting COVID-19 statistics using machine learning regression model: Li-MuLi-Poly
CN115997204A (zh) 使用图形和结构化神经编码器生成文本的丰富描述符框架
Julian Designing machine learning systems with Python
Klemmer et al. Spate-gan: Improved generative modeling of dynamic spatio-temporal patterns with an autoregressive embedding loss
Mehbodniya et al. Multilayer reversible data hiding based on the difference expansion method using multilevel thresholding of host images based on the slime mould algorithm
Potnis et al. Semantics-driven remote sensing scene understanding framework for grounded spatio-contextual scene descriptions
Rieger et al. Structuring neural networks for more explainable predictions
Sun et al. A second-order network structure based on gradient-enhanced physics-informed neural networks for solving parabolic partial differential equations
US20210256374A1 (en) Method and apparatus with neural network and training
Jiang et al. HiTIM: Hierarchical Task Information Mining for Few-Shot Action Recognition
US20210224352A1 (en) Deep Multi-View Network Embedding on Incomplete Data
Alajaji et al. Domain adaptation methods for lab-to-field human context recognition
Julian Deep learning with pytorch quick start guide: learn to train and deploy neural network models in Python
Wang et al. Few-Shot aerial image classification with deep economic network and teacher knowledge
Zhao et al. Height estimation from single aerial imagery using contrastive learning based multi-scale refinement network
Seleznev et al. Boosting performance of influenza outbreak prediction framework

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination