CN113779960A - 文本特征确定方法、装置、设备及介质 - Google Patents
文本特征确定方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN113779960A CN113779960A CN202111127877.3A CN202111127877A CN113779960A CN 113779960 A CN113779960 A CN 113779960A CN 202111127877 A CN202111127877 A CN 202111127877A CN 113779960 A CN113779960 A CN 113779960A
- Authority
- CN
- China
- Prior art keywords
- text
- connection
- feature
- external
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 81
- 230000004927 fusion Effects 0.000 claims abstract description 127
- 238000000605 extraction Methods 0.000 claims abstract description 71
- 238000012512 characterization method Methods 0.000 claims abstract description 33
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 abstract description 18
- 238000004458 analytical method Methods 0.000 abstract description 5
- 230000006872 improvement Effects 0.000 abstract description 3
- 238000012549 training Methods 0.000 description 52
- 230000006870 function Effects 0.000 description 20
- 208000004998 Abdominal Pain Diseases 0.000 description 18
- 238000010586 diagram Methods 0.000 description 17
- 239000011159 matrix material Substances 0.000 description 14
- 235000020965 cold beverage Nutrition 0.000 description 10
- 238000012545 processing Methods 0.000 description 10
- 208000004232 Enteritis Diseases 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 206010061218 Inflammation Diseases 0.000 description 5
- 230000004054 inflammatory process Effects 0.000 description 5
- 238000003058 natural language processing Methods 0.000 description 4
- 238000013145 classification model Methods 0.000 description 3
- 230000000644 propagated effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000008014 freezing Effects 0.000 description 2
- 238000007710 freezing Methods 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 208000002193 Pain Diseases 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 230000004308 accommodation Effects 0.000 description 1
- 239000003242 anti bacterial agent Substances 0.000 description 1
- 229940088710 antibiotic agent Drugs 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000003115 biocidal effect Effects 0.000 description 1
- 230000001364 causal effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000000968 intestinal effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Machine Translation (AREA)
Abstract
本发明实施例公开了一种文本特征确定方法、装置、设备及介质。该方法通过将预先训练出的文本特征提取模型，获取目标文本对应的文本特征，其中，该预先训练出的文本特征提取模型包括外部先验表征模块和特征融合模块，外部先验表征模块用于向特征融合模块提供外部先验信息，特征融合模块用于基于外部先验信息确定目标文本的文本特征，以在确定目标文本的文本特征的过程中集成额外的先验信息，使得所确定出的文本特征同时包含文本内部关联信息以及文本外部关联信息，提高文本的特征表征质量；并且，本发明实施例提供的文本特征确定方法可应用于各种文本分析预测模型，具有较大的适应性。提高表征质量可提升应用的各类分析预测模型的精度。
Description
技术领域
本发明实施例涉及自然语言处理技术领域，尤其涉及一种文本特征确定方法、装置、设备及介质。
背景技术
针对文本的自然语言智能应用多数都依赖于某种形式的文本符号特征。自然语言处理技术的快速发展正是近年来文本符号特征的表征能力的提升的结果，而这种提升主要依赖神经网络模型带来的特征自动提取方法的广泛使用。目前基于神经网络模型的文本特征方法一般以词或字为基本标识单元(token)进行特征提取，这种提取通过表征学习集成了一般自然语言的内在结构特征，并以此分析当前文本的各字符间的关联信息。
然而，现有的技术只支持分析当前文本的各字符间的关联信息，一般情况下只加入关联对象本身的信息，而忽视了外部的关联对象的信息，使得文本的表征质量较低。
发明内容
本发明实施例提供了一种文本特征确定方法、装置、设备及介质，以提高文本的特征表征质量。
第一方面，本发明实施例提供了一种文本特征确定方法，所述方法包括：
获取目标文本；
基于所述目标文本和预先训练出的文本特征提取模型，生成所述目标文本对应的文本特征；
其中，所述文本特征提取模型包括外部先验表征模块和特征融合模块，所述外部先验表征模块用于向所述特征融合模块提供外部先验信息，所述特征融合模块用于基于所述外部先验信息确定所述目标文本的文本特征。
第二方面，本发明实施例还提供了一种文本特征确定装置，所述装置包括：
文本获取模块，用于获取目标文本；
文本特征提取模块，用于基于所述目标文本和预先训练出的文本特征提取模型，生成所述目标文本对应的文本特征；
其中，所述文本特征提取模型包括外部先验表征模块和特征融合模块，所述外部先验表征模块用于向所述特征融合模块提供外部先验信息，所述特征融合模块用于基于所述外部先验信息确定所述目标文本的文本特征。
第三方面，本发明实施例还提供了一种电子设备，所述电子设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任意实施例提供的文本特征确定方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例提供的文本特征确定方法。
上述发明中的实施例具有如下优点或有益效果：
通过将预先训练出的文本特征提取模型，可以生成获取到的目标文本对应的文本特征，其中，该预先训练出的文本特征提取模型包括外部先验表征模块和特征融合模块，外部先验表征模块用于向特征融合模块提供外部先验信息，特征融合模块用于基于外部先验信息确定目标文本的文本特征，以在确定目标文本的文本特征的过程中集成额外的先验信息，使得所确定出的文本特征同时包含文本内部关联信息以及文本外部关联信息，提高文本的特征表征质量；并且，本发明实施例提供的文本特征确定方法可应用于各种文本分析预测模型，具有较大的适用性，提高表征质量可提升应用的各类文本分析预测模型的预测精度。
附图说明
为了更加清楚地说明本发明示例性实施例的技术方案，下面对描述实施例中所需要用到的附图做一简单介绍。显然，所介绍的附图只是本发明所要描述的一部分实施例的附图，而不是全部的附图，对于本领域普通技术人员，在不付出创造性劳动的前提下，还可以根据这些附图得到其他的附图。
图1A为本发明实施例一所提供的一种文本特征确定方法的流程示意图；
图1B为本发明实施例一所提供的一种各主干标识元之间的关联关系以及主干标识元与外部对象的关联关系的示意图；
图2A为本发明实施例二所提供的一种文本特征确定方法的流程示意图；
图2B为本发明实施例二所提供的一种内部节点直接连接的示意图；
图2C为本发明实施例二所提供的一种内外节点连接的示意图；
图2D为本发明实施例二所提供的一种内部节点层级化连接的示意图；
图2E为本发明实施例二所提供的一种在内部节点层级化连接中构建抽象实体的示意图；
图2F为本发明实施例二所提供的一种内部节点层级化连接的关联投影信息示意图；
图3为本发明实施例三所提供的一种文本特征确定方法的流程示意图；
图4为本发明实施例四所提供的一种外部先验表征模块的构建方法的流程示意图；
图5为本发明实施例五所提供的一种文本特征确定装置的结构示意图；
图6为本发明实施例六所提供的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
在对本发明各实施例进行介绍之前，先对本发明提供的文本特征确定方法的应用场景进行示例性说明。示例性的，该文本特征确定方法可以应用于文本分类的应用场景，例如，在文本分类模型的模型结构中引入该文本特征确定方法，使得可以根据提取到的文本特征进一步对文本进行分类，如，规范用语的文本以及不规范用语的文本的分类，或者，对文本的意图进行分类，又或者，对文本的情感进行分类，等。示例性的，该文本特征确定方法还可以应用于智能问答场景，例如，在问答预测模型的模型结果中引入该文本特征确定方法，使得可以根据提取到的文本特征进一步对文本进行回复预测，如，对用户在线上问诊所输入的文本进行回复预测，自动输出回复，或者，对用户在购物平台的聊天记录中输入的文本进行回复预测，等。示例性的，该文本特征确定方法还可以应用于文本标记场景，例如，根据提取到的文本特征进一步判断出文本中与预设词汇相关的词语，输出该词语在文本中的位置信息。
实施例一
图1A为本发明实施例一提供的一种文本特征确定方法的流程示意图，本实施例可适用于将目标文本输入至预先训练出的文本特征提取模型，得到文本特征提取模型输出的文本特征的情况，该方法可以由文本特征确定装置来执行，该装置可以由硬件和/或软件来实现，该方法具体包括如下步骤：
S110、获取目标文本。
其中，目标文本可以是段落级别长度的文本，也可以是句子级别长度的文本。具体的，目标文本可以是用户输入至文本特征提取模型的文本信息，或者，目标文本还可以是用户输入至其它自然语言处理模型的文本信息，如，文本分类模型、智能问答模型、文本标签生成模型、文本摘要生成模型、文本标记模型等。
在本实施例中，用户可以将目标文本输入至诸如文本分类模型、智能问答模型、文本标签生成模型等自然语言处理模型中，通过本实施例提供的文本特征确定方法，预先确定出目标文本对应的文本特征，进而基于所确定出的文本特征进一步确定目标文本的分类结果、回复预测结果或标签预测结果。
S120、基于所述目标文本和预先训练出的文本特征提取模型，生成所述目标文本对应的文本特征；其中，所述文本特征提取模型包括外部先验表征模块和特征融合模块，所述外部先验表征模块用于向所述特征融合模块提供外部先验信息，所述特征融合模块用于基于所述外部先验信息确定所述目标文本的文本特征。
在本实施例中，可以将目标文本输入至预先训练出的文本特征提取模型。具体的，预先训练出的文本特征提取模型包括外部先验表征模块和特征融合模块，外部先验表征模型可以向特征融合模块提供外部先验信息，以使特征融合模块基于外部先验信息确定所述目标文本的文本特征。其中，外部先验信息可以是根据外部的知识数据，如知识库和知识图谱，所确定的有向连接信息。外部先验信息具体可以是知识三元组中的有向连接、知识图谱的网络中的有向连接或词组间树状层级关系。外部先验信息包括关系信息以及外部实体，例如，外部先验信息可以是“炎症→包括→肠道炎”，“肠道炎→导致→腹痛”，其中，“包括”、“导致”为关系信息，“肠道炎”、“炎症”、“腹痛”为外部实体。
具体的，可以通过特征融合模块，根据外部先验表征模块提供的外部先验信息，确定出目标文本的各主干标识元之间的关联关系，以及主干标识元与外部对象的关联关系，将所确定的各关联关系与主干标识元进行融合，确定出目标文本的文本特征。其中，主干标识元可以是目标文本所包含的内部标识元。如，目标文本为“我昨天吃了过期冷饮”，则该目标文本所包含的主干标识元包括：我、昨天、吃了、过期、冷饮。
示例性的，如图1B所示，展示了一种各主干标识元之间的关联关系以及主干标识元与外部对象的关联关系的示意图。如图1B所示，目标文本为“我昨天吃了过期冷饮开始腹痛，需要服用抗生素吗？”。根据外部先验信息，可以确定出主干标识元“冷饮”与主干标识元“腹痛”之间的关联关系、主干标识元“腹痛”与外部实体“肠道炎”之间的关联关系、主干标识元“抗生素”与外部实体“炎症”之间的关联关系。
考虑到各主干标识元之间的关联关系以及主干标识元与外部对象的关联关系，均具备关系类型，如，包含关系、主宾关系、从属关系等；现有技术一般只加入关联对象本身的信息，而忽视了关系的类型本身是多样化的这一现实，使得文本的表征质量较低。因此，本实施例还可以结合关系类型进一步进行文本特征融合。在一种具体可选的实施方式中，所述基于所述目标文本和预先训练出的文本特征提取模型，生成所述目标文本对应的文本特征，包括：通过所述外部先验表征模块，向所述特征融合模块发送外部先验信息；通过所述特征融合模块，基于所述外部先验信息确定所述目标文本的主干标识元所包含的连接关系以及连接关系对应的连接类型，根据所述连接关系以及所述连接关系对应的连接类型确定所述主干标识元的关联投影信息，基于所述关联投影信息与所述主干标识元的融合结果确定所述目标文本的文本特征。
其中，目标文本的主干标识元所包含的连接关系包括与其它主干标识元之间的连接关系以及与外部实体之间的连接关系。连接关系对应的连接类型可以是连接关系的关系类型，如，包含关系、主宾关系、从属关系等。需要说明的是，主干标识元所包含的连接关系的数量可以是一个，也可以是多个。
具体的，可以针对主干标识元上所包含的各连接关系，计算各连接关系在该主干标识元上的投射信息，即关联投影信息。进一步的，将关联投影信息与主干标识元进行融合。示例性的，可以针对每一个主干标识元，将主干标识元的关联投影信息与主干标识元的特征向量进行融合计算，得到该主干标识元融合后的信息，进而将各个主干标识元融合后的信息作为目标文本的文本特征。
其中，文本的主干标识元之间因文本序列天然顺序形成的关系可以采用自然语言模型进行处理。在本发明框架中这个模型的类型选取不唯一，但需要满足加工后的主干标识元特征序列中各元素可以与原始标识元一一对应的要求。示例性的，主干标识元的特征向量的提取可以采用query-key-value形式的自注意力加权的信息处理方式，主干标识元特征序列的获取满足如下公式：
其中，VT为主干标识元特征序列，dk为归一化系数，dk代表K、Q矩阵的维度，用于减少其影响力；Q、K、V分别为输入的标识元序列和各自的参数矩阵进行矩阵运算的结果，如：
K＝XMK，Q＝XMQ，V＝XMV，
其中，X为输入的标识元序列，其维度为l×din，l代表目标文本的文本你序列长度，MK、MQ的矩阵维度为din×b，MV的矩阵维度为din×dout，din代表标识元的输入特征向量长度，dout是其经过特征处理后的输出特征向量的长度。根据如上方式得到的主干标识元特征序列VT，可以确定出各主干标识元的特征向量vT。
需要说明的是，以上所述是对目标文本进行一轮特征加工的过程，对应于文本特征提取模型中的一“层”。一般而言特征提取需要多次加工过程实现，每一次的参数都不同。加工次数没有硬性限制，但建议提取过程至少有3层以上，理想情况6-12层的加工。因此，本发明的文本特征提取模型可以采用10层结构的网络，每层输出的特征的维度dout可以采用不同的数量，标记为dout1～dout10。
在该可选的实施方式中，通过特征融合模块，基于外部先验信息确定目标文本的主干标识元所包含的连接关系以及连接关系对应的连接类型，根据连接关系以及连接关系对应的连接类型确定主干标识元的关联投影信息，进而基于关联投影信息与主干标识元的融合结果确定目标文本的文本特征，以在集成额外的先验信息的过程中，结合各连接关系的连接类型，从而进一步提高文本的特征表征质量。
需要说明的是，本实施例中的特征融合模块可以多次执行上述基于外部先验信息确定目标文本的主干标识元所包含的连接关系以及连接关系对应的连接类型，根据连接关系以及连接关系对应的连接类型确定主干标识元的关联投影信息，以及基于关联投影信息与主干标识元的融合结果确定目标文本的文本特征的操作。即，特征融合模块可以包括多个融合层，针对每一个融合层，均执行关联投影信息的确定，以及关联投影信息与主干标识元的融合，融合的结果可以更新目标文本的主干标识元序列特征，以使下一个融合层可以根据该主干标识元序列特征，重新确定主干标识元所包含的连接关系以及连接关系对应的连接类型、主干标识元的关联投影信息，以及关联投影信息与主干标识元的融合，直至到达最后一个融合层，将最后一个融合层输出的融合结果确定为目标文本的文本特征。示例性的，可以选择将文本特征提取模型的3、6、9层确定为融合层，在3、6、9层上结合外部先验信息，3、6、9融合层的输入维度分别为：dout3+dext、dout6+dext、dout9+dext，其中，dout3、dout6、dout9分别为3、6、9融合层的主干标识元特征序列的维度，dext为3、6、9融合层的关联投影信息的维度。
本实施例的技术方案，通过将预先训练出的文本特征提取模型，可以生成获取到的目标文本对应的文本特征，其中，该预先训练出的文本特征提取模型包括外部先验表征模块和特征融合模块，外部先验表征模块用于向特征融合模块提供外部先验信息，特征融合模块用于基于外部先验信息确定目标文本的文本特征，以在确定目标文本的文本特征的过程中集成额外的先验信息，使得所确定出的文本特征同时包含文本内部关联信息以及文本外部关联信息，提高文本的特征表征质量；并且，本实施例提供的文本特征确定方法可应用于各种预测模型，进一步提高了模型的预测精度。
实施例二
图2A为本发明实施例二提供的一种文本特征确定方法的流程示意图，本实施例在上述实施例的基础上，可选的，所述基于所述外部先验信息确定所述目标文本的主干标识元所包含的连接关系以及连接关系对应的连接类型，包括：确定所述外部先验关联信息包含的外部实体，其中，所述外部先验关联关系包括外部实体以及各外部实体之间的连接关系；将所述外部实体与所述目标文本的主干标识元进行实体对齐，基于实体对齐的结果确定目标文本的主干标识元所包含的连接关系以及连接关系对应的连接类型。其中与上述各实施例相同或相应的术语的解释在此不再赘述。参见图2A，本实施例提供的文本特征确定包括以下步骤：
S210、获取目标文本，通过所述外部先验表征模块，向所述特征融合模块发送外部先验信息。
S220、通过所述特征融合模块，确定所述外部先验信息包含的外部实体，其中，所述外部先验信息包括外部实体以及各外部实体之间的连接关系。
具体的，可以在特征融合模块中设置外部实体抽取子模型，基于外部实体抽取子模型，抽取外部先验信息包含的外部实体。
S230、将所述外部实体与所述目标文本的主干标识元进行实体对齐，基于实体对齐的结果确定目标文本的主干标识元所包含的连接关系以及连接关系对应的连接类型。
其中，目标文本的主干标识元可以理解为目标文本的主干实体。主干实体的获取方法可以是：通过预先构建的抽取模板对目标文本进行实体抽取，得到目标文本的主干实体。其中，抽取模板以知识图谱的实体及同义词为主，辅之以语言常见词典。可选的，通过预先构建的抽取模板对目标文本进行实体抽取，可以是：将目标文本与抽取模板进行字符匹配，得到目标文本的主干实体。又或者，还可以通过实体识别子模型，抽取目标文本的主干实体。
进一步的，在得到目标文本的主干标识元之后，可以通过一致性判断方法对各外部实体与目标文本的主干标识元进行实体对齐，即，在各个外部实体中选取可以与主干标识元定义为同一对象的外部实体。其中，一致性判断方法可以采用字符匹配规则，也可以使用一致性判别子模型。例如，目标文本的主干标识元为“肚子疼痛”，进行实体对齐的结果可以是外部实体“腹痛”。
在确定出实体对齐结果中与主干标识元定义为同一对象的外部实体后，可以将基于该外部实体与其它外部实体之间的连接关系，确定出主干标识元所包含的连接关系以及连接关系对应的连接类型。沿用图1B所示的示例，外部先验信息包括“肠道炎→导致→腹痛”，则主干标识元“腹痛”可以与外部实体“腹痛”对齐，进而确定出主干标识元“腹痛”与外部实体“肠道炎”之间的“导致”关系，以及该关系对应的连接类型可以为症状表征类型；外部先验信息包括“冷饮→引发→腹痛”，则主干标识元“腹痛”可以与外部实体“腹痛”对齐，进而确定出主干标识元“腹痛”与主干标识元“冷饮”之间的“引发”关系，以及该关系对应的连接类型可以为因果类型。
S240、根据所述连接关系以及所述连接关系对应的连接类型确定所述主干标识元的关联投影信息。
可选的，根据所述连接关系以及所述连接关系对应的连接类型确定所述主干标识元的关联投影信息，满足如下公式：
a＝f([xe；d]Wk)
其中，a为主干标识元的关联投影信息，d表示连接关系中除主干标识元之外的另一实体的源端属性，若另一实体为关系源端，则d＝1，若另一实体为关系目标端，则d＝-1；xe代表连接关系中除主干标识元之外的另一实体的特征向量；Wk为连接类型对应的参数矩阵，k表示连接类型，不同连接类型对应的Wk可以不同。Wk可由文本特征提取模型在训练的过程中确定。需要说明的是，一个连接关系中的两端的实体，共享相同的参数矩阵Wk，这样在保证区别两个连接关系的方向的同时，又可以让两端的实体具有共通性以表征同一个关系。
如，沿用上例中的主干标识元“腹痛”与主干标识元“冷饮”之间的“引发”关系，在计算该关系在主干标识元“腹痛”上的关联投影信息时，由于主干标识元“冷饮”为关系源端，因此，d取1。在计算该关系在主干标识元“冷饮”上的关联投影信息时，由于主干标识元“腹痛”为关系目标端，因此，d取-1。该连接关系的两端实体“腹痛”、“冷饮”共享相同的参数矩阵Wk。
在上述公式中，xe和d连接成数据矩阵。函数f([xe；d]Wk)对数据矩阵和参数矩阵相乘得到的向量进行处理，原理上，函数f的选择自由度很大，既可以是对向量的每个元素进行独立处理的标量函数，也可以选择对向量进行整体处理。无论哪一种，在模型框架下都可以发挥作用。示例性的，函数f可以采用对向量进行长度归一化处理的方案，即，
其中，分母是x的欧式模长度，经过f()，关联投影信息的长度变成了1。
在一种具体的实施方式中，所述连接关系的种类包括内部节点连接以及内外节点连接，所述内部节点连接包括内部节点直接连接，所述基于所述连接关系以及所述连接关系对应的连接类型确定所述主干标识元的关联投影信息，包括：确定所述连接关系中与所述主干标识元相对的另一实体的特征向量以及所述另一实体的源端属性；基于所述特征向量、所述源端属性以及所述连接关系对应的连接类型，计算所述连接关系在所述主干标识元上的关联投影信息。
其中，内部节点连接可以是目标文本的各主干标识元之间的连接，内外节点连接可以是目标文本的主干标识元与外部实体之间的连接。内部节点直接连接可以是各主干标识元之间连接深度为1的连接。需要说明的是，在本实施例中，内外节点连接的深度不大于1，即，不会有间接连接到主干标识元的其它外部实体，如图1B的示例中“肠道炎”、“炎症”的连接深度为1，即时在知识图谱或其他知识库中它们连接到了大量其它外部实体，但在本实施例中不会间接连接的外部实体纳入进来考虑。
示例性的，如图2B所示，展示了一种内部节点直接连接的示意图；图2C展示了一种内外节点连接的示意图。在图2B-2C中，方框代表组成目标文本的主干标识元(token)，圆角框代表外部实体。
在该实施方式中，针对内部节点直接连接以及内外节点连接，可以确定连接关系中与主干标识元相对的另一实体的特征向量以及该另一实体的源端属性，进而基于特征向量、源端属性以及连接关系对应的连接类型，计算连接关系在主干标识元上的关联投影信息。具体的计算方式可参见上述公式。通过该实施方式，实现了包含内部节点直接连接以及内外节点连接的主干标识元的关联投影信息的确定，并结合了各连接关系的连接类型，进一步的提高文本的特征表征质量。
在另一种实施方式中，所述内部节点连接还包括内部节点层级化连接，所述内部节点层级化连接包括顶层连接和底层连接，所述基于所述连接关系以及所述连接关系对应的连接类型确定所述主干标识元的关联投影信息，还包括：针对内部节点层级化连接，在所述顶层连接中的间接端点处构建抽象实体，其中，所述抽象实体与所述间接端点覆盖的底层连接中的主干标识元构成内外节点连接；基于所述顶层连接中与抽象实体相对的另一实体的特征向量、所述另一实体的源端属性以及所述顶层连接对应的连接类型，计算所述顶层连接在所述主干标识元上的关联投影信息；基于所述底层连接中与所述主干标识元相对的另一实体的特征向量、另一实体的源端属性以及所述底层连接对应的连接类型，计算所述底层连接在所述主干标识元上的关联投影信息。
其中，可以通过语言学CYK算法(Cocke-Younger-Kasami algorithm，约翰科克算法)分析出大量树状层级关系，并将分析得到的树状层级关系存放至外部先验信息。在该可选的实施方式中，内部节点层级化连接可以是各主干标识元之间的连接深度大于1的连接。示例性的，如图2D所示，展示了一种内部节点层级化连接的示意图，其中，关系层级1和关系层级2呈树状层级关系。其中，内部节点层级化连接包括顶层连接和底层连接，顶层连接可以是远离主干标识元的连接，底层连接可以是接近主干标识元的连接。如图2D所示，关系层级1为底层连接，关系层级2为顶层连接。
针对该类内部节点层级化连接，可以分别计算内部节点层级化连接的顶层连接在主干标识元上的关联投影信息，以及底层连接在主干标识元上的关联投影信息。具体的，针对顶层连接，可以先在顶层连接中的间接端点处构建抽象实体，其中，间接端点可以是顶层连接和底层连接的交接节点。该抽象实体可以实现顶层连接和底层连接之间的互相影响，传递顶层连接和底层连接之间的信息。示例性的，图2E提供了一种在内部节点层级化连接中构建抽象实体的示意图，E_R1、E_R3为抽象实体。抽象实体与其覆盖的底层连接中的两个主干标识元的交互可以看作两个独立的内外节点连接，如图2E中主干标识元2与E_R1，主干标识元3与E_R1。进一步的，可以参考上述计算包含内部节点直接连接以及内外节点连接的主干标识元的关联投影信息的描述，根据顶层连接中除抽象实体之外的另一实体的特征向量、另一实体的源端属性以及顶层连接对应的连接类型，计算顶层连接在所述主干标识元上的关联投影信息。针对底层连接，可以直接根据底层连接中除主干标识元之外的另一实体的特征向量、另一实体的源端属性以及底层连接对应的连接类型，计算底层连接在该主干标识元上的关联投影信息。
沿用图2E所示的内部节点层级化连接，对上述计算内部节点层级化连接的关联投影信息的过程进行示例性说明。如图2F所示，展示了一种内部节点层级化连接的关联投影信息示意图，在关系层级2的两端(间接端点)分别构建抽象实体：关系层级2的关系目标端构建R2t，关系层级2的关系源端构建R2h；R2t通过关系层级1覆盖了主干标识元2、主干标识元3；R2h通过关系层级3覆盖了主干标识元4、主干标识元5；外部实体通过单边关系1(E1)将关联投影信息投射到主干标识元2。以图2F的主干标识元2为例，在主干标识元2中，其所包含的关联投影信息应包括R1h(关系层级1)、R2t、以及E1。
在该可选的实施方式中，针对内部节点层级化连接，通过在顶层连接中的间接端点处构建抽象实体，以基于顶层连接中与抽象实体相对的另一实体的特征向量、另一实体的源端属性以及顶层连接对应的连接类型，计算顶层连接在主干标识元上的关联投影信息，并且，基于底层连接中与主干标识元相对的另一实体的特征向量、另一实体的源端属性以及底层连接对应的连接类型，计算底层连接在主干标识元上的关联投影信息，实现了包含内部节点层级化连接的主干标识元的关联投影信息的确定，并结合了各连接关系的连接类型，进一步的提高文本的特征表征质量。
需要说明的是，参考上述示例可知，主干标识元可能被具有不定数量的若干连接关系覆盖，如上例主干标识元2被R1h、R2t、E1三种连接覆盖，此时可以计算针对每一个连接关系均计算出一个关联投影信息，进而得到多个关联投影信息。因此，可以针对每一个主干标识元，将其包含的不定数量的关联投影信息融合，将融合后的关联投影信息作为该主干标识元的关联投影信息。示例性的，本实施例还提供一种特殊的关联投影信息融合机制，针对每一个主干标识元，其所包含的多个关联投影信息的融合步骤可参见如下公式：
其中，vE为主干标识元的关联投影信息融合结果，ai为第i个关联投影信息，x为标识元特征；Pk表示参数矩阵，k表示第i个关联投影信息对应的连接类型，其形状决定了输出的关联投影信息融合结果的维度，可标记为dext；n为主干标识元所包含的连接关系对应的关联投影信息的数量。上述公式表示针对每一个关联投影信息ai，将x、ai以及他们的点积连接成大的向量后，与参数矩阵Pk进行矩阵相乘后经过非线性函数f得到处理后的投射信息，最终的关联投影信息融合结果相当于所有处理后的投射信息的均值；这个过程本质上是1层全连接神经网络。示例性的，f采用斜率0.05的leaky-RELU形式：
S250、基于所述关联投影信息以及所述主干标识元的融合结果确定所述目标文本的文本特征。
本实施例的技术方案，通过确定外部先验信息包含的外部实体，进而将外部实体与目标文本的主干标识元进行实体对齐，并根据实体对齐的结果确定主干标识元所包含的连接关系以及连接关系对应的连接类型，实现了主干标识元所包含的文本内部关联信息以及文本外部关联信息的准确确定，提高了文本的特征表征质量。
实施例三
图3为本发明实施例三提供的一种文本特征确定方法的流程示意图，本实施例在上述实施例的基础上，可选的，所述方法还包括：通过所述特征融合模块中的全连接神经网络层，基于所述主干标识元的特征和所述关联投影信息确定所述主干标识元对应的融合调节系数；基于所述主干标识元的特征、所述关联投影信息以及所述融合调节系数，确定所述关联投影信息以及所述主干标识元的融合结果。参见图3，本实施例提供的文本特征确定包括以下步骤：
S310、获取目标文本，通过所述外部先验表征模块，向所述特征融合模块发送外部先验信息。
S320、通过所述特征融合模块，基于所述外部先验信息确定所述目标文本的主干标识元所包含的连接关系以及连接关系对应的连接类型，根据所述连接关系以及所述连接关系对应的连接类型确定所述主干标识元的关联投影信息。
S330、通过所述特征融合模块中的全连接神经网络层，基于所述主干标识元的特征和所述关联投影信息确定所述主干标识元对应的融合调节系数。
在本发明各实施例提供的文本特征确定方法中，可以直接将主干标识元的特征和关联投影信息进行融合，得到文本特征。然而，为了提高文本特征提取模型对各连接关系的筛选调节能力，以支持模型自动选择所需要的附加关联信息在不同标识元位置的比例，优化其对文本主干的影响程度和形式，在本实施例中，在将主干标识元的特征与关联投影信息的融合过程中，引入融合调节系数。
示例性的，基于所述主干标识元的特征和所述关联投影信息确定所述主干标识元对应的融合调节系数，可以满足如下公式：
q＝sigmoid([vE；vT；1]W)
其中，q表示融合调节系数，vT为主干标识元的特征，vE为该主干标识元对应的关联投影信息，W为参数矩阵。当然，若该主干标识元包括多个连接关系，则该vE为该主干标识元的多个连接关系的关联投影信息融合后的结果，即，先融合每个主干标识元上的多个关联投影信息，再进行关联投影信息与主干标识元的融合。上述公式表示融合调节系数通过一个输入为vE、vT，参数为W，非线性函数为sigmoid的全连接神经网络层的输出获得。vE、vT连接了额外的1的目的在于：在结果中加入一个偏置项参数。
S340、基于所述主干标识元的特征、所述关联投影信息以及所述融合调节系数，确定所述关联投影信息与所述主干标识元的融合结果。
其中，基于所述主干标识元的特征、所述关联投影信息以及所述融合调节系数，确定所述关联投影信息与所述主干标识元的融合结果，可以满足如下公式：
v＝vE+sigmoid([vE；vT；1]W)vT
其中，v为关联投影信息与主干标识元的融合结果，sigmoid([vE；vT；1]W)为融合调节系数，vT为主干标识元的特征，vE为该主干标识元对应的关联投影信息。
S350、基于所述关联投影信息与所述主干标识元的融合结果确定所述目标文本的文本特征。
具体的，针对目标文本中的每一个主干标识元，均能计算出其关联投影信息与该主干标识元的融合结果，进一步的，在确定出每一个主干标识元的关联投影信息与该主干标识元的融合结果后，可以基于各融合结果确定出目标文本的文本特征。
本实施例的技术方案，通过特征融合模块中的全连接神经网络层，确定主干标识元对应的融合调节系数，进而基于融合调节系数、主干标识元的特征、关联投影信息确定关联投影信息与主干标识元的融合结果，使得文本特征提取模型可以根据输入自动优化关联投影信息的比例，进而防止关联投影信息的影响干扰了主干自身的特征提取，提高了文本的特征表征质量。
实施例四
本实施例在上述实施例的基础上，可选的，所述文本特征提取模型还包括预测任务输出模块，所述预测任务输出模块包括动态加权求和层、底部全连接层以及顶部全连接层，其中，所述动态加权求和层用于根据所述目标文本的文本特征确定第一参考向量；所述底部全连接层根据所述第一参考向量确定第二参考向量；所述顶部全连接层用于根据所述第二参考向量确定目标文本对应的预测结果；其中，所述预测结果是目标文本的预测分类结果、预测标记结果、预测问答结果或预测文本提示结果。
具体的，动态加权求和层可以将文本特征提取模型的特征层的输出序列与输出单元进行自注意力计算，得到一个维度与输出序列中标识元的维度相同的第一参考向量。其中，特征层的输出序列可以是目标文本的文本特征，也可以是中间各融合层输出的关联投影信息与主干标识元的融合结果。示例性的，动态加权求和层输出第一参考向量的过程如下：
其中，X1为第一参考向量，c为输出单元，X为输出序列。需要说明的是，无论输出序列X的长度是多少，得到的X1是维度确定的向量。
进一步的，底部全连接层根据第一参考向量确定第二参考向量的过程可以如下：
X2＝relu(X1W1+B1)
其中，X2为第一参考向量。进一步的，顶部全连接层可以输出预测结果。可选的，预测结果可以根据实际业务对任务的需求进行设置，如，预测结果可以是目标文本的预测分类结果、预测标记结果、预测问答结果或预测文本提示结果。
示例性的，以文本特征提取模型的预训练过程为例，顶部全连接层可以输出三个预测任务的预测结果，如，(1)通过文字的一部分预测其下一个字或词是什么；(2)输入语料库中的两个短句，判断它们是否相邻；(3)输入语料库中的两个短句，判断它们是否位于同一份文件中，顶部全连接层用于根据所述第二参考向量确定目标文本对应的预测结果的过程可以如下：
Y1＝softmax(X2W21)+B21
Y2＝softmax(X2W22)+B22
Y3＝softmax(X2W23)+B23
即，在底部全连接层输出第二参考向量后，第二参考向量进入顶部全连接层，顶部全连接层包括三个输出端，每个输出端对应一个预训练需要完成的任务。每个输出端可以采用全连接层，输出的非线性函数不同，最终得到Y1、Y2、Y3三个结果。其中，Y1可以是长度为字典容量的向量，Y2、Y3是标量数字。
可选的，可以为顶部全连接层设置4个损失函数(loss)，任务(1)的损失函数可以是dice loss，任务(2)、任务)(3)的损失函数为二进制交叉熵，此外，还有一个用于模型参数正则化的L2-norm损失函数，总loss为四者的和。训练通过反向传播进行，优化算法为Adam算法，数据的batch size为32。
具体的，若要将文本特征提取模型应用于某种应用，可以将顶部全连接层替换为该应用任务所需的输出层，并在应用任务上进行调整训练即可。如，分类应用、标记应用、问答应用或文本提示应用。
本实施例的技术方案，通过动态加权求和层、底部全连接层以及顶部全连接层，可以将确定出目标文本的文本特征应用于各种文本应用中，仅需将顶部全连接层替换为文本应用任务所需的输出层即可，提高了本实施例提供的文本特征确定的适用性。
可选的，本实施例还提供一种文本特征确定方法，在上述实施例的基础上，可选的，所述方法还包括：构建外部先验表征模块，如图4所示，展示了一种外部先验表征模块的构建方法的流程示意图，所述外部先验表征模块的构建步骤如下：
S11、确定先验训练语料库，其中，所述先验训练语料库包括样本第一实体、样本边以及标签第二实体；
S12、构建外部先验表征子模型，将所述样本第一实体以及所述样本边输入至所述外部先验表征子模型，确定所述外部先验表征子模型预测的实体边矢量和；
S13、基于所述标签第二实体以及所述实体边矢量和计算损失函数，根据损失函数的计算结果调整所述外部先验表征子模型的网络参数，直至损失函数的计算结果满足迭代训练停止条件；
S14、根据调整后的外部先验表征子模型生成外部先验表征模块。
其中，先验训练语料库可以采用先验知识补充的知识图谱本身或外部的概念间的关联数据。样本第一实体以及标签第二实体通过样本边连接，样本第一实体与标签第二实体之间的关系由样本边体现；实体边矢量和为样本第一实体与样本边的矢量和。通过上述外部先验表征子模型的训练过程，可以使得外部先验信息中每个三元关系中的第一实体与边的特征的矢量和，尽可能接近第二实体的特征，以提高外部先验信息中各实体的特征的准确性，保证外部先验信息的准确性。可选的，上述训练可以采用随机梯度下降优化算法。
可选的，本实施例还提供一种文本特征确定方法，在上述实施例的基础上，所述方法还包括：构建特征融合模块，所述特征融合模块的构建步骤可以如下：S21、确定字典训练语料库以及自然语言训练语料库；S22、基于字典训练语料库，对构建的特征融合子模型进行字典预训练；S23、基于自然语言训练语料库，对特征融合子模型进行语言处理预训练；S24、基于特征融合子模型构建特征融合模块。其中，字典训练语料库可以是任意普通文本的集合，规模应在数十万字以上，自然语言训练语料库应包含大量的医学类文本，当然，若文本特征提取模型用于其它领域，如，商品信息问答系统，则应包含商品相关文件文本。自然语言训练语料库的规模应达到百万字以上。字典预训练可以通过n-gram方法在准备好的字典训练语料库上进行，n取值可以是5。语言处理预训练主要在自然语言训练语料库上进行，也可以结合字典训练语料库进行；训练可以采用非监督自学习，共有3个度量：1)通过文字的一部分预测其下一个字或词是什么；(2)输入语料库中的两个短句，判断它们是否相邻；(3)输入语料库中的两个短句，判断它们是否位于同一份文件中。为了实现这些预测任务，需要在文本特征提取模型上加上辅助预训练的输出层。输出层设计成同时完成3项任务，其架构包括1层动态加权求和层以及2层全连接网络，具体的，1层动态加权求和层以及2层全连接网络可参见前文论述。
本实施例还提供一种文本特征提取模型的训练方法，该方法以“轮(epoch)”为单位进行，一轮定义为将整个字典训练语料库以及自然语言训练语料库的数据执行一遍。整个训练过程为：(1)进行字典训练语料库的训练，学习过程持续2轮；(2)进行自然语言训练语料库的训练，共进行6轮，前3轮字典训练语料库的训练参数冻结，即反向传播的梯度数据不进入字典，后3轮，字典训练语料库与自然语言训练语料库共同训练；(3)进行外部先验表征子模型的训练，构建外部先验表征模块，得到外部实体的训练后的特征；(4)初始化参数，包括：关联投影信息vT的融合调节系数置为0，通过将参数矩阵W中与偏置项相关的参数初置一个较大的负数-5实现；其它参数同一采用[-0.01,0.01]范围内的均匀随机分布取值；(5)将前述步骤的各个部分结合，形成统一的文本特征提取模型，具体可以先冻结主干自然语言训练语料库的训练，进行3轮的外部先验表征子模型的训练，再解除自然语言训练语料库的训练的冻结，让在字典训练语料库上的训练、在自然语言训练语料库上的训练以及外部先验表征子模型的训练都参与学习，再进行5轮训练。
实施例五
图5为本发明实施例五提供的一种文本特征确定装置的结构示意图，本实施例可适用于将目标文本输入至预先训练出的文本特征提取模型，得到文本特征提取模型输出的文本特征的情况，该装置具体包括：文本获取模块510以及文本特征提取模块520。
文本获取模块510，用于获取目标文本；
文本特征提取模块520，用于基于所述目标文本和预先训练出的文本特征提取模型，生成所述目标文本对应的文本特征；
其中，所述文本特征提取模型包括外部先验表征模块和特征融合模块，所述外部先验表征模块用于向所述特征融合模块提供外部先验信息，所述特征融合模块用于基于所述外部先验信息确定所述目标文本的文本特征。
可选的，文本特征提取模块520具体用于：
通过所述外部先验表征模块，向所述特征融合模块发送外部先验信息；
通过所述特征融合模块，基于所述外部先验信息确定所述目标文本的主干标识元所包含的连接关系以及连接关系对应的连接类型，根据所述连接关系以及所述连接关系对应的连接类型确定所述主干标识元的关联投影信息，基于所述关联投影信息与所述主干标识元的融合结果确定所述目标文本的文本特征。
可选的，文本特征提取模块520包括连接关系确定单元，所述连接关系确定单元，用于确定所述外部先验信息包含的外部实体，其中，所述外部先验信息包括外部实体以及各外部实体之间的连接关系；将所述外部实体与所述目标文本的主干标识元进行实体对齐，基于实体对齐的结果确定目标文本的主干标识元所包含的连接关系以及连接关系对应的连接类型。
可选的，所述连接关系的种类包括内部节点连接以及内外节点连接，所述内部节点连接包括内部节点直接连接，文本特征提取模块520包括第一投影信息确定单元，所述投影信息确定单元，用于确定所述连接关系中与所述主干标识元相对的另一实体的特征向量以及所述另一实体的源端属性；基于所述特征向量、所述源端属性以及所述连接关系对应的连接类型，计算所述连接关系在所述主干标识元上的关联投影信息。
可选的，所述内部节点连接还包括内部节点层级化连接，所述内部节点层级化连接包括顶层连接和底层连接，文本特征提取模块520还包括第二投影信息确定单元，所述第二投影信息确定单元，用于针对内部节点层级化连接，在所述顶层连接中的间接端点处构建抽象实体，其中，所述抽象实体与所述间接端点覆盖的底层连接中的主干标识元构成内外节点连接；基于所述顶层连接中与抽象实体相对的另一实体的特征向量、所述另一实体的源端属性以及所述顶层连接对应的连接类型，计算所述顶层连接在所述主干标识元上的关联投影信息；基于所述底层连接中与所述主干标识元相对的另一实体的特征向量、另一实体的源端属性以及所述底层连接对应的连接类型，计算所述底层连接在所述主干标识元上的关联投影信息。
可选的，所述文本特征确定装置还包括融合模块，所述融合模块，用于通过所述特征融合模块中的全连接神经网络层，基于所述主干标识元的特征和所述关联投影信息确定所述主干标识元对应的融合调节系数；基于所述主干标识元的特征、所述关联投影信息以及所述融合调节系数，确定所述关联投影信息与所述主干标识元的融合结果。
可选的，所述文本特征提取模型还包括预测任务输出模块，所述预测任务输出模块包括动态加权求和层、底部全连接层以及顶部全连接层，其中，所述动态加权求和层用于根据所述目标文本的文本特征确定第一参考向量；所述底部全连接层根据所述第一参考向量确定第二参考向量；所述顶部全连接层用于根据所述第二参考向量确定目标文本对应的预测结果；其中，所述预测结果是目标文本的预测分类结果、预测标记结果、预测问答结果或预测文本提示结果。
在本实施例中，通过将预先训练出的文本特征提取模型，可以生成获取到的目标文本对应的文本特征，其中，该预先训练出的文本特征提取模型包括外部先验表征模块和特征融合模块，外部先验表征模块用于向特征融合模块提供外部先验信息，特征融合模块用于基于外部先验信息确定目标文本的文本特征，以在确定目标文本的文本特征的过程中集成额外的先验信息，使得所确定出的文本特征同时包含文本内部关联信息以及文本外部关联信息，提高文本的特征表征质量；并且，本发明实施例提供的文本特征确定方法可应用于各种预测模型，进一步提高了模型的预测精度。
本发明实施例所提供的文本特征确定装置可执行本发明任意实施例所提供的文本特征确定方法，具备执行方法相应的功能模块和有益效果。
值得注意的是，上述系统所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明实施例的保护范围。
实施例六
图6是本发明实施例六提供的一种电子设备的结构示意图。图6示出了适于用来实现本发明实施方式的示例性电子设备12的框图。图6显示的电子设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。设备12典型的是承担文本特征确定功能的电子设备。
如图6所示，电子设备12以通用计算设备的形式表现。电子设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，存储器28，连接不同组件(包括存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture，ISA)总线，微通道体系结构(Micro Channel Architecture，MCA)总线，增强型ISA总线、视频电子标准协会(Video Electronics Standards Association，VESA)局域总线以及外围组件互连(Peripheral Component Interconnect，PCI)总线。
电子设备12典型地包括多种计算机可读介质。这些介质可以是任何能够被电子设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储器28可以包括易失性存储器形式的计算机装置可读介质，例如随机存取存储器(Random Access Memory，RAM)30和/或高速缓存存储器32。电子设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机存储介质。仅作为举例，存储装置34可以用于读写不可移动的、非易失性磁介质(图6未显示，通常称为“硬盘驱动器”)。尽管图6中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如只读光盘(Compact Disc-Read Only Memory，CD-ROM)、数字视盘(Digital Video Disc-Read Only Memory，DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品40，该程序产品40具有一组程序模块42，这些程序模块被配置以执行本发明各实施例的功能。程序产品40，可以存储在例如存储器28中，这样的程序模块42包括但不限于一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
电子设备12也可以与一个或多个外部设备14(例如键盘、鼠标、摄像头等和显示器)通信，还可与一个或者多个使得用户能与该电子设备12交互的设备通信，和/或与使得该电子设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，电子设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(Local Area Network，LAN)，广域网WideArea Network，WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与电子设备12的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、磁盘阵列(Redundant Arrays of Independent Disks，RAID)装置、磁带驱动器以及数据备份存储装置等。
处理器16通过运行存储在存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明上述实施例所提供的文本特征确定方法，包括：
获取目标文本；
基于所述目标文本和预先训练出的文本特征提取模型，生成所述目标文本对应的文本特征；
其中，所述文本特征提取模型包括外部先验表征模块和特征融合模块，所述外部先验表征模块用于向所述特征融合模块提供外部先验信息，所述特征融合模块用于基于所述外部先验信息确定所述目标文本的文本特征。
当然，本领域技术人员可以理解，处理器还可以实现本发明任意实施例所提供的文本特征确定方法的技术方案。
实施例七
本发明实施例七还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所提供的文本特征确定方法步骤，该方法包括：
获取目标文本；
基于所述目标文本和预先训练出的文本特征提取模型，生成所述目标文本对应的文本特征；
其中，所述文本特征提取模型包括外部先验表征模块和特征融合模块，所述外部先验表征模块用于向所述特征融合模块提供外部先验信息，所述特征融合模块用于基于所述外部先验信息确定所述目标文本的文本特征。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明实施例操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言——诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (10)
1.一种文本特征确定方法，其特征在于，所述方法包括：
获取目标文本；
基于所述目标文本和预先训练出的文本特征提取模型，生成所述目标文本对应的文本特征；
其中，所述文本特征提取模型包括外部先验表征模块和特征融合模块，所述外部先验表征模块用于向所述特征融合模块提供外部先验信息，所述特征融合模块用于基于所述外部先验信息确定所述目标文本的文本特征。
2.根据权利要求1所述的文本特征确定方法，其特征在于，所述基于所述目标文本和预先训练出的文本特征提取模型，生成所述目标文本对应的文本特征，包括：
通过所述外部先验表征模块，向所述特征融合模块发送外部先验信息；
通过所述特征融合模块，基于所述外部先验信息确定所述目标文本的主干标识元所包含的连接关系以及连接关系对应的连接类型，根据所述连接关系以及所述连接关系对应的连接类型确定所述主干标识元的关联投影信息，基于所述关联投影信息与所述主干标识元的融合结果确定所述目标文本的文本特征。
3.根据权利要求2所述的文本特征确定方法，其特征在于，所述基于所述外部先验信息确定所述目标文本的主干标识元所包含的连接关系以及连接关系对应的连接类型，包括：
确定所述外部先验信息包含的外部实体，其中，所述外部先验信息包括外部实体以及各外部实体之间的连接关系；
将所述外部实体与所述目标文本的主干标识元进行实体对齐，基于实体对齐的结果确定目标文本的主干标识元所包含的连接关系以及连接关系对应的连接类型。
4.根据权利要求2所述的文本特征确定方法，其特征在于，所述连接关系的种类包括内部节点连接以及内外节点连接，所述内部节点连接包括内部节点直接连接，所述基于所述连接关系以及所述连接关系对应的连接类型确定所述主干标识元的关联投影信息，包括：
确定所述连接关系中与所述主干标识元相对的另一实体的特征向量以及所述另一实体的源端属性；
基于所述特征向量、所述源端属性以及所述连接关系对应的连接类型，计算所述连接关系在所述主干标识元上的关联投影信息。
5.根据权利要求4所述的文本特征确定方法，其特征在于，所述内部节点连接还包括内部节点层级化连接，所述内部节点层级化连接包括顶层连接和底层连接，所述基于所述连接关系以及所述连接关系对应的连接类型确定所述主干标识元的关联投影信息，还包括：
针对内部节点层级化连接，在所述顶层连接中的间接端点处构建抽象实体，其中，所述抽象实体与所述间接端点覆盖的底层连接中的主干标识元构成内外节点连接；
基于所述顶层连接中与抽象实体相对的另一实体的特征向量、所述另一实体的源端属性以及所述顶层连接对应的连接类型，计算所述顶层连接在所述主干标识元上的关联投影信息；
基于所述底层连接中与所述主干标识元相对的另一实体的特征向量、另一实体的源端属性以及所述底层连接对应的连接类型，计算所述底层连接在所述主干标识元上的关联投影信息。
6.根据权利要求2所述的文本特征确定方法，其特征在于，所述方法还包括：
通过所述特征融合模块中的全连接神经网络层，基于所述主干标识元的特征和所述关联投影信息确定所述主干标识元对应的融合调节系数；
基于所述主干标识元的特征、所述关联投影信息以及所述融合调节系数，确定所述关联投影信息与所述主干标识元的融合结果。
7.根据权利要求1所述的文本特征确定方法，其特征在于，所述文本特征提取模型还包括预测任务输出模块，所述预测任务输出模块包括动态加权求和层、底部全连接层以及顶部全连接层，其中，所述动态加权求和层用于根据所述目标文本的文本特征确定第一参考向量；所述底部全连接层根据所述第一参考向量确定第二参考向量；所述顶部全连接层用于根据所述第二参考向量确定目标文本对应的预测结果；
其中，所述预测结果是目标文本的预测分类结果、预测标记结果、预测问答结果或预测文本提示结果。
8.一种文本特征确定装置，其特征在于，所述装置包括：
文本获取模块，用于获取目标文本；
文本特征提取模块，用于基于所述目标文本和预先训练出的文本特征提取模型，生成所述目标文本对应的文本特征；
其中，所述文本特征提取模型包括外部先验表征模块和特征融合模块，所述外部先验表征模块用于向所述特征融合模块提供外部先验信息，所述特征融合模块用于基于所述外部先验信息确定所述目标文本的文本特征。
9.一种电子设备，其特征在于，所述电子设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的文本特征确定方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的文本特征确定方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111127877.3A CN113779960A (zh) | 2021-09-26 | 2021-09-26 | 文本特征确定方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111127877.3A CN113779960A (zh) | 2021-09-26 | 2021-09-26 | 文本特征确定方法、装置、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113779960A true CN113779960A (zh) | 2021-12-10 |
Family
ID=78853464
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111127877.3A Pending CN113779960A (zh) | 2021-09-26 | 2021-09-26 | 文本特征确定方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113779960A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114155417A (zh) * | 2021-12-13 | 2022-03-08 | 中国科学院空间应用工程与技术中心 | 图像目标的识别方法、装置、电子设备及计算机存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109933788A (zh) * | 2019-02-14 | 2019-06-25 | 北京百度网讯科技有限公司 | 类型确定方法、装置、设备和介质 |
| CN112650867A (zh) * | 2020-12-25 | 2021-04-13 | 北京中科闻歌科技股份有限公司 | 图片匹配方法、装置、电子设备以及存储介质 |
| CN113158685A (zh) * | 2021-04-23 | 2021-07-23 | 平安科技（深圳）有限公司 | 文本的语义预测方法、装置、计算机设备和存储介质 |
-
2021
- 2021-09-26 CN CN202111127877.3A patent/CN113779960A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109933788A (zh) * | 2019-02-14 | 2019-06-25 | 北京百度网讯科技有限公司 | 类型确定方法、装置、设备和介质 |
| CN112650867A (zh) * | 2020-12-25 | 2021-04-13 | 北京中科闻歌科技股份有限公司 | 图片匹配方法、装置、电子设备以及存储介质 |
| CN113158685A (zh) * | 2021-04-23 | 2021-07-23 | 平安科技（深圳）有限公司 | 文本的语义预测方法、装置、计算机设备和存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114155417A (zh) * | 2021-12-13 | 2022-03-08 | 中国科学院空间应用工程与技术中心 | 图像目标的识别方法、装置、电子设备及计算机存储介质 |
| CN114155417B (zh) * | 2021-12-13 | 2022-07-19 | 中国科学院空间应用工程与技术中心 | 图像目标的识别方法、装置、电子设备及计算机存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111078836B (zh) | 基于外部知识增强的机器阅读理解方法、系统、装置 | |
| CN110334354B (zh) | 一种中文关系抽取方法 | |
| US10504010B2 (en) | Systems and methods for fast novel visual concept learning from sentence descriptions of images | |
| WO2023024412A1 (zh) | 基于深度学习模型的视觉问答方法及装置、介质、设备 | |
| CN110704576B (zh) | 一种基于文本的实体关系抽取方法及装置 | |
| CN110750965B (zh) | 英文文本序列标注方法、系统及计算机设备 | |
| CN109214006B (zh) | 图像增强的层次化语义表示的自然语言推理方法 | |
| CN112115700A (zh) | 一种基于依存句法树和深度学习的方面级情感分析方法 | |
| KR102315830B1 (ko) | 반지도 학습 기반 단어 단위 감정 임베딩과 lstm 모델을 이용한 대화 내에서 발화의 감정 분류 방법 | |
| CN112434131B (zh) | 基于人工智能的文本错误检测方法、装置、计算机设备 | |
| CN110516070B (zh) | 一种基于文本纠错与神经网络的中文问句分类方法 | |
| CN113704460B (zh) | 一种文本分类方法、装置、电子设备和存储介质 | |
| CN111259647A (zh) | 基于人工智能的问答文本匹配方法、装置、介质及电子设备 | |
| CN110633467A (zh) | 一种基于改进特征融合的语义关系抽取方法 | |
| CN114548099A (zh) | 基于多任务框架的方面词和方面类别联合抽取和检测方法 | |
| CN112214595A (zh) | 类别确定方法、装置、设备及介质 | |
| CN115374771A (zh) | 文本标签确定方法及装置 | |
| CN110852071A (zh) | 知识点检测方法、装置、设备及可读存储介质 | |
| CN113779960A (zh) | 文本特征确定方法、装置、设备及介质 | |
| CN110674642A (zh) | 一种用于含噪稀疏文本的语义关系抽取方法 | |
| CN115525740A (zh) | 对话应答语句的生成方法、装置、电子设备及存储介质 | |
| CN111324695B (zh) | 一种多任务学习方法及装置 | |
| CN117349402A (zh) | 一种基于机器阅读理解的情绪原因对识别方法及系统 | |
| Ermatita et al. | Sentiment Analysis of COVID-19 using Multimodal Fusion Neural Networks. | |
| CN112861474B (zh) | 一种信息标注方法、装置、设备及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |