CN111538870B - 文本的表达方法、装置、电子设备及可读存储介质 - Google Patents
文本的表达方法、装置、电子设备及可读存储介质 Download PDFInfo
- Publication number
- CN111538870B CN111538870B CN202010643107.3A CN202010643107A CN111538870B CN 111538870 B CN111538870 B CN 111538870B CN 202010643107 A CN202010643107 A CN 202010643107A CN 111538870 B CN111538870 B CN 111538870B
- Authority
- CN
- China
- Prior art keywords
- text
- graph structure
- expression
- expressed
- sample text
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000014509 gene expression Effects 0.000 title claims abstract description 310
- 238000000034 method Methods 0.000 title claims abstract description 39
- 230000006870 function Effects 0.000 claims description 28
- 230000015654 memory Effects 0.000 claims description 20
- 238000012549 training Methods 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 14
- 230000000873 masking effect Effects 0.000 claims description 9
- 238000013135 deep learning Methods 0.000 abstract description 3
- 238000003058 natural language processing Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 11
- 230000000875 corresponding effect Effects 0.000 description 8
- 230000002776 aggregation Effects 0.000 description 4
- 238000004220 aggregation Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000001965 increasing effect Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 235000002020 sage Nutrition 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/901—Indexing; Data structures therefor; Storage structures
- G06F16/9024—Graphs; Linked lists
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种文本的表达方法、装置、电子设备及可读存储介质，涉及深度学习技术领域和自然语言处理技术领域。具体实现方案为：根据待表达文本的文本结构信息，获得待表达文本的图结构；利用结点表达模型，获得待表达文本的图结构中各结点的向量表达；根据待表达文本的图结构中各结点的向量表达，利用图结构表达模型，获得待表达文本的图结构的向量表达，以作为待表达文本的向量表达。由于充分考虑了文本的非线性特征所进行的图结构表达，使得所获得的文本表达在语义上能够很好地体现文本的结构信息，同时保留了重要的语义信息，使得所获得的文本表达的表达能力更强，从而提高了文本表达的可靠性。
Description
技术领域
涉及计算机技术领域，具体涉及深度学习技术领域和自然语言处理技术领域，尤其涉及一种文本的表达方法、装置、电子设备及可读存储介质。
背景技术
随着基于深度学习的表达学习技术的发展，自然语言处理领域很多问题都归结于文本的表达学习，即如何通过表达学习的相关方法，将文本片段，例如词语、句子、文章等表达为一个连续的低维向量。通常，可以将文本切分为多个片段，对每个片段进行表达计算，进而再进一步融合各个片段的表达，作为文本的表达。
然而，由于只考虑文本的线性特征所进行的顺序表达，可能会使得所获得的文本表达在语义上存在缺失，从而导致了文本表达的可靠性的降低。
发明内容
本申请的多个方面提供一种文本的表达方法、装置、电子设备及可读存储介质，用以提高文本表达的可靠性。
根据第一方面，提供了一种文本的表达方法，包括：
根据待表达文本的文本结构信息，获得所述待表达文本的图结构；
利用结点表达模型，获得所述待表达文本的图结构中各结点的向量表达；
根据所述待表达文本的图结构中各结点的向量表达，利用图结构表达模型，获得所述待表达文本的图结构的向量表达，以作为所述待表达文本的向量表达。
根据第二方面，提供了一种文本的表达装置，包括：
图结构获得单元，用于根据待表达文本的文本结构信息，获得所述待表达文本的图结构；
结点表达单元，用于利用结点表达模型，获得所述待表达文本的图结构中各结点的向量表达；
图结构表达单元，根据所述待表达文本的图结构中各结点的向量表达，利用图结构表达模型，获得所述待表达文本的图结构的向量表达，以作为所述待表达文本的向量表达。
根据第三方面，提供一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的方面和任一可能的实现方式的方法。
根据第四方面，提供一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行如上所述的方面和任一可能的实现方式的方法。
由上述技术方案可知，本申请实施例通过根据待表达文本的文本结构信息，获得所述待表达文本的图结构，进而，利用结点表达模型，获得所述待表达文本的图结构中各结点的向量表达，使得能够根据所述待表达文本的图结构中各结点的向量表达，利用图结构表达模型，获得所述待表达文本的图结构的向量表达，以作为所述待表达文本的向量表达，通过利用文本的文本结构信息，将文本表示成文本的图结构，进而获得表达能力更强的文本表达，由于充分考虑了文本的非线性特征所进行的图结构表达，使得所获得的文本表达在语义上能够很好地体现文本的结构信息，同时保留了重要的语义信息，使得所获得的文本表达的表达能力更强，从而提高了文本表达的可靠性。
另外，采用本申请所提供的技术方案，能够有效地提高用户的体验。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。附图仅仅用于更好地理解本方案，不构成对本申请的限定。其中：
图1A是根据本申请第一实施例的示意图；
图1B为图1A所对应的实施例中待表达文本的图结构的示意图；
图2A是根据本申请第二实施例的示意图；
图2B为图2A所对应的实施例中样本文本的图结构的示意图；
图3是根据本申请第三实施例的示意图；
图4是根据本申请第四实施例的示意图；
图5是用来实现本申请实施例的文本的表达方法的电子设备的示意图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的全部其他实施例，都属于本申请保护的范围。
需要说明的是，本申请实施例中所涉及的终端设备可以包括但不限于手机、个人数字助理（Personal Digital Assistant，PDA）、无线手持设备、平板电脑（TabletComputer）等智能设备；显示设备可以包括但不限于个人电脑、电视等具有显示功能的设备。
另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
在文本的语义表达方法，尤其是长文本如文章等，往往具有短文本所不具备的特殊性质。例如，长文本的篇幅决定了一般情况下，会有多个段落分布在长文本中，在不同的段落里，会有一些概念前后呼应，例如，文章各部分的标题等。
如何有效地利用起来这些分布于文本不同位置的概念，甚至是在文本之外相关的知识，都为文本处理与表达带来了挑战。
本申请提出了一种文本的表达方法，通过利用文本的文本结构信息，将文本表示成文本的图结构，进而获得表达能力更强的文本表达，使得所获得的文本表达在语义上具有完整的表达能力，能够有效提高文本表达的可靠性。
本申请所提供的技术方案，可以适用于各种文本的表达，例如，句子、段落等短文本的表达，尤其适用于文章、小说等长文本的表达。
图1A是根据本申请第一实施例的示意图，如图1A所示。
101、根据待表达文本的文本结构信息，获得所述待表达文本的图结构。
102、利用结点表达模型，获得所述待表达文本的图结构中各结点的向量表达。
103、根据所述待表达文本的图结构中各结点的向量表达，利用图结构表达模型，获得所述待表达文本的图结构的向量表达，以作为所述待表达文本的向量表达。
需要说明的是，101~103的执行主体的部分或全部可以为位于本地终端的应用，或者还可以为设置在位于本地终端的应用中的插件或软件开发工具包（SoftwareDevelopment Kit，SDK）等功能单元，或者还可以为位于网络侧服务器中的处理引擎，或者还可以为位于网络侧的分布式系统，例如，网络侧的文本处理平台中的处理引擎或者分布式系统等，本实施例对此不进行特别限定。
可以理解的是，所述应用可以是安装在本地终端上的本地程序（nativeApp），或者还可以是本地终端上的浏览器的一个网页程序（webApp），本实施例对此不进行限定。
本申请中，所述待表达文本的文本结构信息可以包括但不限于所述待表达文本内的结构信息和所述待表达文本外的结构信息中的至少一项，本申请对此不进行特别限定。
其中，所述待表达文本内的结构信息，可以是文本之内的各级标题、摘要、正文等内部结构信息；所述待表达文本外的结构信息，可以是文本之外的注释、外链等外部结构信息。
至此，由于将文本的文本内的结构信息和文本外的结构信息作为文本的非线性特征进行考虑，那么，所构成的文本的图结构能够完整地再现文本在语义上的全部内容，使得将所获得的图结构表达作为文本表达在语义上能够很好地体现文本的结构信息，同时保留了重要的语义信息，使得所获得的文本表达的表达能力更强，从而提高了文本表达的可靠性。
可选地，在本实施例的一个可能的实现方式中，在101中，具体可以根据所述待表达文本的文本内容信息，将所述待表达文本中的特定内容，表示成所述待表达文本的图结构的各结点，例如，待表达文本中的文本标题、文本的摘要、一级标题、二级标题、正文等特定内容。进而，则可以根据所述待表达文本的文本结构信息，例如，各级标题、摘要、正文等，将所述待表达文本中的特定内容之间的结构关系，表示成所述待表达文本的图结构的各结点之间的边。由各结点和各结点之间的边组成了待表达文本的图结构，如图1B所示。
这样，按照文本的结构所蕴含的信息即结构信息，文本可以由文本线性结构被组织成图网状结构。不同的结点又可以根据文本的外链关系，构造新的邻居结点。
本实施例中，通过根据待表达文本的文本结构信息，获得所述待表达文本的图结构，进而，利用结点表达模型，获得所述待表达文本的图结构中各结点的向量表达，使得能够根据所述待表达文本的图结构中各结点的向量表达，利用图结构表达模型，获得所述待表达文本的图结构的向量表达，以作为所述待表达文本的向量表达，通过利用文本的文本结构信息，将文本表示成文本的图结构，进而获得表达能力更强的文本表达，由于充分考虑了文本的非线性特征所进行的图结构表达，使得所获得的文本表达在语义上能够很好地体现文本的结构信息，同时保留了重要的语义信息，使得所获得的文本表达的表达能力更强，从而提高了文本表达的可靠性。
另外，采用本申请所提供的技术方案，能够有效地提高用户的体验。
图2A是根据本申请第二实施例的示意图，与第一实施例的区别在于，关于第一实施例中所采用的结点表达模型和图结构表达模型，可以采用本实施例所提供的技术方案进行无监督的模型训练，如图2A所示。
201、根据各样本文本的文本内容信息，将所述各样本文本中的特定内容，表示成所述各样本文本的图结构的各结点。
202、根据所述各样本文本的文本结构信息，将所述各样本文本中的特定内容之间的结构关系，表示成所述各样本文本的图结构的各结点之间的边。
203、利用所述各样本文本的图结构，对所述结点表达模型和所述利用图结构表达模型进行训练，以构建所述结点表达模型和所述图结构表达模型。
在本实施例的201和202中，具体可以根据各样本文本的文本内容信息，分别将所述各样本文本中的特定内容，表示成所述各样本文本的图结构的各结点，例如，各样本文本中的文本标题、文本的摘要、一级标题、二级标题、正文等特定内容。进而，则可以根据所述各样本文本的文本结构信息，例如，各级标题、摘要、正文等，分别将所述各样本文本中的特定内容之间的结构关系，表示成所述各样本文本的图结构的各结点之间的边。由各结点和各结点之间的边组成了各样本文本的图结构。
可选地，在本实施例的一个可能的实现方式中，在203中，具体可以对第一样本文本的图结构中结点进行随机掩盖处理，以分别获得所述第一样本文本的第二图结构和所述第一样本文本的第三图结构。其中，随机掩盖处理的结点数量可以任意设置，例如，3个等。同时，还可以进一步随机获取第二样本文本的图结构，其中第二样本文本不同于第一样本文本。
如图2B所示，其中斜线表示的结点为随机掩盖处理的结点，即第一样本文本的第二图结构中的结点M1、结点M2和结点M3，第一样本文本的第三图结构中的结点M4、结点M5和结点M6。
在获得所述第一样本文本的第二图结构、所述第一样本文本的第三图结构以及第二样本文本的图结构之后，进而，则可以进一步利用所述结点表达模型，分别获得所述第一样本文本的第二图结构中各结点的向量表达、所述第一样本文本的第三图结构中各结点的向量表达和所述第二样本文本的图结构中各结点的向量表达。然后，则可以根据所述第一样本文本的第二图结构中各结点的向量表达、所述第一样本文本的第三图结构中各结点的向量表达和所述第二样本文本的图结构中各结点的向量表达，利用图结构表达模型，分别获得所述第一样本文本的第二图结构的向量表达、所述第一样本文本的第三图结构的向量表达和所述第二样本文本的图结构的向量表达。
其中，所述结点表达模型，可以采用现有的文本表达模型，例如，来自Transformer的双向编码器表示（Bidirectional Encoder Representation from Transformers，BERT）、知识增强语义表示（Enhanced Representation from kNowledge IntEgration，ERNIE）模型等，或者还可以采用新的文本表达模型，本实施例对此不进行特别限定。
所述图结构表达模型，可以采用现有的图结构表达模型，例如，图采样与聚合（Graph SAmple and aggreGatE，GraphSAGE）模型、ERNIE采样与聚合（ERNIE SAmpleaggreGatE，ERNIESAGE），或者还可以采用新的图结构表达模型，本实施例对此不进行特别限定。
在获得所述第一样本文本的第二图结构的向量表达、所述第一样本文本的第三图结构的向量表达和所述第二样本文本的图结构的向量表达之后，则可以根据所述第一样本文本的第二图结构的向量表达、所述第一样本文本的第三图结构的向量表达和所述第二样本文本的图结构的向量表达，对所述结点表达模型和所述图结构表达模型进行训练，以构建所述结点表达模型和所述图结构表达模型。
具体地，具体可以根据所述第一样本文本的第二图结构的向量表达和所述第一样本文本的第三图结构的向量表达，获得所述第一样本文本的第二图结构的向量表达与所述第一样本文本的第三图结构的向量表达之间的第一相似函数，以及根据所述第一样本文本的第二图结构的向量表达和所述第二样本文本的图结构的向量表达，获得所述第一样本文本的第二图结构的向量表达与所述第二样本文本的图结构的向量表达之间的第二相似函数。然后，则可以根据所述第一相似函数和所述第二相似函数的损失函数，对所述结点表达模型和所述图结构表达模型进行训练，以构建所述结点表达模型和所述图结构表达模型。
例如，假设第一样本文本的图结构G，在第一样本文本的图结构G中随机地选择一些结点，将这些结点进行掩盖处理，例如，将这些结点的内容替换成字符“MASK”，这样做的好处是增加了图结构中的噪声，增强图结构表达的鲁棒性。将掩盖处理执行两次，分别获得所述第一样本文本的第二图结构G1和所述第一样本文本的第三图结构G2。
此时，在所有的样本文本中，随机地抽取一份非当前的第一样本文本的第二样本文本，其对应的图结构为G3。这样，就得到了相关的两个图结构G1和G2，以及与前两者都无关的图结构G3。
通过利用结点表达模型，可以分别获得图结构G1、图结构G2、以及图结构G3中各结点的向量表达，然后，进一步再利用图结构表达模型，分别获得图结构G1、图结构G2、以及图结构G3的表达，即v1、v2、以及v3。
然后，可以将图结构G1、图结构G2、以及图结构G3的表达v1、v2、以及v3，将带入如下损失函数的公式
Loss = Max( g(v1, v3) - g(v1, v2) +Δ,0)；
其中，g为衡量两个图结构的向量表达是否相似的函数，例如，点积、cosine函数都可以达到相应的效果。
至此，根据所得到的Loss的数值，调整结点表达模型的各模型参数和所述图结构表达模型的各模型参数。
这样，通过不断的重复上述操作，就可以获得鲁棒的图表达，以作为文本的表达。
本实施例中，通过对样本文本的图结构中结点进行随机掩盖处理，能够有效增加样本文本的图结构中的噪声，使得所获得的样本文本的图结构的向量表达具有更强的鲁棒性，从而提高了模型训练的可靠性。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
图3是根据本申请第三实施例的示意图，如图3所示。本实施例的文本的表达装置300可以包括图结构获得单元301、结点表达单元302和图结构表达单元303。其中，图结构获得单元301，用于根据待表达文本的文本结构信息，获得所述待表达文本的图结构；结点表达单元302，用于利用结点表达模型，获得所述待表达文本的图结构中各结点的向量表达；图结构表达单元303，根据所述待表达文本的图结构中各结点的向量表达，利用图结构表达模型，获得所述待表达文本的图结构的向量表达，以作为所述待表达文本的向量表达。
需要说明的是，本实施例所提供的文本的表达装置的部分或全部可以为位于本地终端的应用，或者还可以为设置在位于本地终端的应用中的插件或软件开发工具包（Software Development Kit，SDK）等功能单元，或者还可以为位于网络侧服务器中的处理引擎，或者还可以为位于网络侧的分布式系统，例如，网络侧的文本处理平台中的处理引擎或者分布式系统等，本实施例对此不进行特别限定。
可以理解的是，所述应用可以是安装在本地终端上的本地程序（nativeApp），或者还可以是本地终端上的浏览器的一个网页程序（webApp），本实施例对此不进行限定。
本申请中，所述待表达文本的文本结构信息可以包括但不限于所述待表达文本内的结构信息和所述待表达文本外的结构信息中的至少一项，本申请对此不进行特别限定。
其中，所述待表达文本内的结构信息，可以是文本之内的各级标题、摘要、正文等内部结构信息；所述待表达文本外的结构信息，可以是文本之外的注释、外链等外部结构信息，例如，文本中的某个专有名词所对应的百度百科页面。
至此，由于将文本的文本内的结构信息和文本外的结构信息作为文本的非线性特征进行考虑，那么，所构成的文本的图结构能够完整地再现文本在语义上的全部内容，使得将所获得的图结构表达作为文本表达在语义上能够很好地体现文本的结构信息，同时保留了重要的语义信息，使得所获得的文本表达的表达能力更强，从而提高了文本表达的可靠性。
可选地，在本实施例的一个可能的实现方式中，所述图结构获得单元301，具体可以用于根据所述待表达文本的文本内容信息，将所述待表达文本中的特定内容，表示成所述待表达文本的图结构的各结点；以及根据所述待表达文本的文本结构信息，将所述待表达文本中的特定内容之间的结构关系，表示成所述待表达文本的图结构的各结点之间的边。
这样，按照文本的结构所蕴含的信息即结构信息，文本可以由文本线性结构被组织成图网状结构。不同的结点又可以根据文本的外链关系，构造新的邻居结点。
本实施例中，通过图结构获得单元根据待表达文本的文本结构信息，获得所述待表达文本的图结构，进而，由结点表达单元利用结点表达模型，获得所述待表达文本的图结构中各结点的向量表达，使得图结构表达单元能够根据所述待表达文本的图结构中各结点的向量表达，利用图结构表达模型，获得所述待表达文本的图结构的向量表达，以作为所述待表达文本的向量表达，通过利用文本的文本结构信息，将文本表示成文本的图结构，进而获得表达能力更强的文本表达，由于充分考虑了文本的非线性特征所进行的图结构表达，使得所获得的文本表达在语义上能够很好地体现文本的结构信息，同时保留了重要的语义信息，使得所获得的文本表达的表达能力更强，从而提高了文本表达的可靠性。
另外，采用本申请所提供的技术方案，能够有效地提高用户的体验。
图4是根据本申请第四实施例的示意图，如图3所示，与第三实施例相比，本实施例中的所述图结构获得单元301，还可以进一步用于根据各样本文本的文本内容信息，将所述各样本文本中的特定内容，表示成所述各样本文本的图结构的各结点；以及根据所述各样本文本的文本结构信息，将所述各样本文本中的特定内容之间的结构关系，表示成所述各样本文本的图结构的各结点之间的边；本实施例的文本的表达装置400还可以进一步包括模型训练单元401，可以用于利用所述各样本文本的图结构，对所述结点表达模型和所述利用图结构表达模型进行训练，以构建所述结点表达模型和所述图结构表达模型。
可选地，在本实施例的一个可能的实现方式中，所述模型训练单元401，具体可以用于对第一样本文本的图结构中结点进行随机掩盖处理，以分别获得所述第一样本文本的第二图结构和所述第一样本文本的第三图结构；随机获取第二样本文本的图结构；利用所述结点表达模型，分别获得所述第一样本文本的第二图结构中各结点的向量表达、所述第一样本文本的第三图结构中各结点的向量表达和所述第二样本文本的图结构中各结点的向量表达；根据所述第一样本文本的第二图结构中各结点的向量表达、所述第一样本文本的第三图结构中各结点的向量表达和所述第二样本文本的图结构中各结点的向量表达，利用图结构表达模型，分别获得所述第一样本文本的第二图结构的向量表达、所述第一样本文本的第三图结构的向量表达和所述第二样本文本的图结构的向量表达；以及根据所述第一样本文本的第二图结构的向量表达、所述第一样本文本的第三图结构的向量表达和所述第二样本文本的图结构的向量表达，对所述结点表达模型和所述图结构表达模型进行训练，以构建所述结点表达模型和所述图结构表达模型。
具体地，所述模型训练单元401，具体可以用于根据所述第一样本文本的第二图结构的向量表达和所述第一样本文本的第三图结构的向量表达，获得所述第一样本文本的第二图结构的向量表达与所述第一样本文本的第三图结构的向量表达之间的第一相似函数；根据所述第一样本文本的第二图结构的向量表达和所述第二样本文本的图结构的向量表达，获得所述第一样本文本的第二图结构的向量表达与所述第二样本文本的图结构的向量表达之间的第二相似函数；以及根据所述第一相似函数和所述第二相似函数的损失函数，对所述结点表达模型和所述图结构表达模型进行训练，以构建所述结点表达模型和所述图结构表达模型。
需要说明的是，图1A和图2A对应的实施例中的方法可以由本实施例提供的文本的表达装置实现。详细描述可以参见图1A和图2A对应的实施例中的相关内容，此处不再赘述。
本实施例中，通过模型训练单元对样本文本的图结构中结点进行随机掩盖处理，能够有效增加样本文本的图结构中的噪声，使得所获得的样本文本的图结构的向量表达具有更强的鲁棒性，从而提高了模型训练的可靠性。
根据本申请的实施例，本申请还提供了一种电子设备和一种存储有计算机指令的非瞬时计算机可读存储介质。
如图5所示，是用来实现本申请实施例的文本的表达方法的电子设备的示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图5所示，该电子设备包括：一个或多个处理器501、存储器502，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置（诸如，耦合至接口的显示设备）上显示GUI（图形用户界面）的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作（例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统）。图5中以一个处理器501为例。
存储器502即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的文本的表达方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的文本的表达方法。
存储器502作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及单元，如本申请实施例中的文本的表达方法对应的程序指令/单元（例如，附图3所示的图结构获得单元301、结点表达单元302和图结构表达单元303）。处理器501通过运行存储在存储器502中的非瞬时软件程序、指令以及单元，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的文本的表达方法。
存储器502可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据实现本申请实施例提供的文本的表达方法的电子设备的使用所创建的数据等。此外，存储器502可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器502可选包括相对于处理器501远程设置的存储器，这些远程存储器可以通过网络连接至实现本申请实施例提供的文本的表达方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
文本的表达方法的电子设备还可以包括：输入装置503和输出装置504。处理器501、存储器502、输入装置503和输出装置504可以通过总线或者其他方式连接，图5中以通过总线连接为例。
输入装置503可接收输入的数字或字符信息，以及产生与实现本申请实施例提供的文本的表达方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置504可以包括显示设备、辅助照明装置（例如，LED）和触觉反馈装置（例如，振动电机）等。该显示设备可以包括但不限于，LCD（液晶显示器）、LED（发光二极管）显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、ASIC（专用集成电路）、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序（也称作程序、软件、软件应用、或者代码）包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置（例如，磁盘、光盘、存储器、PLD（可编程逻辑器件）），包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置（例如，CRT（阴极射线管）或者LCD（液晶显示器）监视器）；以及键盘和指向装置（例如，鼠标或者轨迹球），用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈（例如，视觉反馈、听觉反馈、或者触觉反馈）；并且可以用任何形式（包括声输入、语音输入或者、触觉输入）来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统（例如，作为数据服务器）、或者包括中间件部件的计算系统（例如，应用服务器）、或者包括前端部件的计算系统（例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互）、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信（例如，通信网络）来将系统的部件相互连接。通信网络的示例包括：LAN（局域网）、WAN（广域网）、互联网和区块链网络。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请实施例的技术方案，通过利用文本的文本结构信息，将文本表示成文本的图结构，进而获得表达能力更强的文本表达，由于充分考虑了文本的非线性特征所进行的图结构表达，使得所获得的文本表达在语义上能够很好地体现文本的结构信息，同时保留了重要的语义信息，使得所获得的文本表达的表达能力更强，从而提高了文本表达的可靠性。
另外，采用本申请所提供的技术方案，能够有效地提高用户的体验。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。
Claims (10)
1.一种文本的表达方法，包括：
根据待表达文本的文本结构信息，获得所述待表达文本的图结构；
利用结点表达模型，获得所述待表达文本的图结构中各结点的向量表达；
根据所述待表达文本的图结构中各结点的向量表达，利用图结构表达模型，获得所述待表达文本的图结构的向量表达，以作为所述待表达文本的向量表达；其中，
所述利用结点表达模型，获得所述待表达文本的图结构中各结点的向量表达之前，还包括：
根据各样本文本的文本内容信息，将所述各样本文本中的特定内容，表示成所述各样本文本的图结构的各结点；
根据所述各样本文本的文本结构信息，将所述各样本文本中的特定内容之间的结构关系，表示成所述各样本文本的图结构的各结点之间的边；
对第一样本文本的图结构中结点进行随机掩盖处理，以分别获得所述第一样本文本的第二图结构和所述第一样本文本的第三图结构；
随机获取第二样本文本的图结构；
利用所述结点表达模型，分别获得所述第一样本文本的第二图结构中各结点的向量表达、所述第一样本文本的第三图结构中各结点的向量表达和所述第二样本文本的图结构中各结点的向量表达；
根据所述第一样本文本的第二图结构中各结点的向量表达、所述第一样本文本的第三图结构中各结点的向量表达和所述第二样本文本的图结构中各结点的向量表达，利用图结构表达模型，分别获得所述第一样本文本的第二图结构的向量表达、所述第一样本文本的第三图结构的向量表达和所述第二样本文本的图结构的向量表达；
根据所述第一样本文本的第二图结构的向量表达、所述第一样本文本的第三图结构的向量表达和所述第二样本文本的图结构的向量表达，对所述结点表达模型和所述图结构表达模型进行训练，以构建所述结点表达模型和所述图结构表达模型。
2.根据权利要求1所述的方法，其中，所述根据待表达文本的文本结构信息，获得所述待表达文本的图结构，包括：
根据所述待表达文本的文本内容信息，将所述待表达文本中的特定内容，表示成所述待表达文本的图结构的各结点；
根据所述待表达文本的文本结构信息，将所述待表达文本中的特定内容之间的结构关系，表示成所述待表达文本的图结构的各结点之间的边。
3.根据权利要求1所述的方法，其中，所述根据所述第一样本文本的第二图结构的向量表达、所述第一样本文本的第三图结构的向量表达和所述第二样本文本的图结构的向量表达，对所述结点表达模型和所述图结构表达模型进行训练，以构建所述结点表达模型和所述图结构表达模型，包括：
根据所述第一样本文本的第二图结构的向量表达和所述第一样本文本的第三图结构的向量表达，获得所述第一样本文本的第二图结构的向量表达与所述第一样本文本的第三图结构的向量表达之间的第一相似函数；
根据所述第一样本文本的第二图结构的向量表达和所述第二样本文本的图结构的向量表达，获得所述第一样本文本的第二图结构的向量表达与所述第二样本文本的图结构的向量表达之间的第二相似函数；
根据所述第一相似函数和所述第二相似函数的损失函数，对所述结点表达模型和所述图结构表达模型进行训练，以构建所述结点表达模型和所述图结构表达模型。
4.根据权利要求1-3中任一项所述的方法，其中，所述待表达文本的文本结构信息包括所述待表达文本内的结构信息和所述待表达文本外的结构信息中的至少一项。
5.一种文本的表达装置，包括：
图结构获得单元，用于根据待表达文本的文本结构信息，获得所述待表达文本的图结构；
结点表达单元，用于利用结点表达模型，获得所述待表达文本的图结构中各结点的向量表达；
图结构表达单元，根据所述待表达文本的图结构中各结点的向量表达，利用图结构表达模型，获得所述待表达文本的图结构的向量表达，以作为所述待表达文本的向量表达；其中，
所述图结构获得单元，还用于
根据各样本文本的文本内容信息，将所述各样本文本中的特定内容，表示成所述各样本文本的图结构的各结点；以及
根据所述各样本文本的文本结构信息，将所述各样本文本中的特定内容之间的结构关系，表示成所述各样本文本的图结构的各结点之间的边；
所述装置还包括模型训练单元，具体用于
对第一样本文本的图结构中结点进行随机掩盖处理，以分别获得所述第一样本文本的第二图结构和所述第一样本文本的第三图结构；
随机获取第二样本文本的图结构；
利用所述结点表达模型，分别获得所述第一样本文本的第二图结构中各结点的向量表达、所述第一样本文本的第三图结构中各结点的向量表达和所述第二样本文本的图结构中各结点的向量表达；
根据所述第一样本文本的第二图结构中各结点的向量表达、所述第一样本文本的第三图结构中各结点的向量表达和所述第二样本文本的图结构中各结点的向量表达，利用图结构表达模型，分别获得所述第一样本文本的第二图结构的向量表达、所述第一样本文本的第三图结构的向量表达和所述第二样本文本的图结构的向量表达；以及
根据所述第一样本文本的第二图结构的向量表达、所述第一样本文本的第三图结构的向量表达和所述第二样本文本的图结构的向量表达，对所述结点表达模型和所述图结构表达模型进行训练，以构建所述结点表达模型和所述图结构表达模型。
6.根据权利要求5所述的装置，其中，所述图结构获得单元，具体用于
根据所述待表达文本的文本内容信息，将所述待表达文本中的特定内容，表示成所述待表达文本的图结构的各结点；以及
根据所述待表达文本的文本结构信息，将所述待表达文本中的特定内容之间的结构关系，表示成所述待表达文本的图结构的各结点之间的边。
7.根据权利要求5所述的装置，其中，所述模型训练单元，具体用于根据所述第一样本文本的第二图结构的向量表达和所述第一样本文本的第三图结构的向量表达，获得所述第一样本文本的第二图结构的向量表达与所述第一样本文本的第三图结构的向量表达之间的第一相似函数；
根据所述第一样本文本的第二图结构的向量表达和所述第二样本文本的图结构的向量表达，获得所述第一样本文本的第二图结构的向量表达与所述第二样本文本的图结构的向量表达之间的第二相似函数；以及
根据所述第一相似函数和所述第二相似函数的损失函数，对所述结点表达模型和所述图结构表达模型进行训练，以构建所述结点表达模型和所述图结构表达模型。
8.根据权利要求5-7中任一项所述的装置，其中，所述待表达文本的文本结构信息包括所述待表达文本内的结构信息和所述待表达文本外的结构信息中的至少一项。
9.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-4中任一项所述的方法。
10.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行权利要求1-4中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010643107.3A CN111538870B (zh) | 2020-07-07 | 2020-07-07 | 文本的表达方法、装置、电子设备及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010643107.3A CN111538870B (zh) | 2020-07-07 | 2020-07-07 | 文本的表达方法、装置、电子设备及可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111538870A CN111538870A (zh) | 2020-08-14 |
| CN111538870B true CN111538870B (zh) | 2020-12-18 |
Family
ID=71979784
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010643107.3A Active CN111538870B (zh) | 2020-07-07 | 2020-07-07 | 文本的表达方法、装置、电子设备及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111538870B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160140220A1 (en) * | 2013-06-14 | 2016-05-19 | Proxem | Method for automatic thematic classification of a digital text file |
| CN107526785A (zh) * | 2017-07-31 | 2017-12-29 | 广州市香港科大霍英东研究院 | 文本分类方法及装置 |
| CN110032665A (zh) * | 2019-03-25 | 2019-07-19 | 阿里巴巴集团控股有限公司 | 确定关系网络图中图节点向量的方法及装置 |
| CN110502669A (zh) * | 2019-07-12 | 2019-11-26 | 中国人民解放军战略支援部队信息工程大学 | 基于n边dfs子图的轻量级无监督图表示学习方法及装置 |
| CN110688537A (zh) * | 2019-09-25 | 2020-01-14 | 中国科学技术大学 | 一种计算图节点低维表征及相关应用方法 |
| CN110929029A (zh) * | 2019-11-04 | 2020-03-27 | 中国科学院信息工程研究所 | 一种基于图卷积神经网络的文本分类方法及系统 |
| CN111177479A (zh) * | 2019-12-23 | 2020-05-19 | 北京百度网讯科技有限公司 | 获取关系网络图中节点的特征向量的方法以及装置 |
-
2020
- 2020-07-07 CN CN202010643107.3A patent/CN111538870B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160140220A1 (en) * | 2013-06-14 | 2016-05-19 | Proxem | Method for automatic thematic classification of a digital text file |
| CN107526785A (zh) * | 2017-07-31 | 2017-12-29 | 广州市香港科大霍英东研究院 | 文本分类方法及装置 |
| CN110032665A (zh) * | 2019-03-25 | 2019-07-19 | 阿里巴巴集团控股有限公司 | 确定关系网络图中图节点向量的方法及装置 |
| CN110502669A (zh) * | 2019-07-12 | 2019-11-26 | 中国人民解放军战略支援部队信息工程大学 | 基于n边dfs子图的轻量级无监督图表示学习方法及装置 |
| CN110688537A (zh) * | 2019-09-25 | 2020-01-14 | 中国科学技术大学 | 一种计算图节点低维表征及相关应用方法 |
| CN110929029A (zh) * | 2019-11-04 | 2020-03-27 | 中国科学院信息工程研究所 | 一种基于图卷积神经网络的文本分类方法及系统 |
| CN111177479A (zh) * | 2019-12-23 | 2020-05-19 | 北京百度网讯科技有限公司 | 获取关系网络图中节点的特征向量的方法以及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 面向文本分类的中文文本语义表示方法;宋胜利 等;《西安电子科技大学学报（自然科学版）》;20130430;第40卷(第2期);第89-97页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111538870A (zh) | 2020-08-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111079442B (zh) | 文档的向量化表示方法、装置和计算机设备 | |
| EP3923160A1 (en) | Method, apparatus, device and storage medium for training model | |
| CN111144115B (zh) | 预训练语言模型获取方法、装置、电子设备和存储介质 | |
| CN111859951B (zh) | 语言模型的训练方法、装置、电子设备及可读存储介质 | |
| JP2021190070A (ja) | 言語モデルのトレーニング方法、装置、電子機器、プログラム及び可読記憶媒体 | |
| US20220019736A1 (en) | Method and apparatus for training natural language processing model, device and storage medium | |
| US20210374343A1 (en) | Method and apparatus for obtaining word vectors based on language model, device and storage medium | |
| US11537792B2 (en) | Pre-training method for sentiment analysis model, and electronic device | |
| CN111737994A (zh) | 基于语言模型获取词向量的方法、装置、设备及存储介质 | |
| CN111859982A (zh) | 语言模型的训练方法、装置、电子设备及可读存储介质 | |
| CN111709252B (zh) | 基于预训练的语义模型的模型改进方法及装置 | |
| CN111144108A (zh) | 情感倾向性分析模型的建模方法、装置和电子设备 | |
| CN111950293B (zh) | 语义表示模型的生成方法、装置、电子设备及存储介质 | |
| CN111950291A (zh) | 语义表示模型的生成方法、装置、电子设备及存储介质 | |
| US11321370B2 (en) | Method for generating question answering robot and computer device | |
| US20210326538A1 (en) | Method, apparatus, electronic device for text translation and storage medium | |
| CN111177462B (zh) | 视频分发时效的确定方法和装置 | |
| JP7286737B2 (ja) | テキスト誤り訂正方法、装置、電子デバイス、記憶媒体及びプログラム | |
| CN111177339A (zh) | 对话生成方法、装置、电子设备及存储介质 | |
| CN111858880A (zh) | 获取查询结果的方法、装置、电子设备和可读存储介质 | |
| CN113312451B (zh) | 文本标签确定方法和装置 | |
| CN112328749B (zh) | 知识要素提取方法、装置、电子设备、介质和程序产品 | |
| CN112329429B (zh) | 文本相似度学习方法、装置、设备以及存储介质 | |
| CN111931524B (zh) | 用于输出信息的方法、装置、设备以及存储介质 | |
| CN112015866B (zh) | 用于生成同义文本的方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |