CN117312506A - 一种页面语义信息提取方法及系统 - Google Patents

一种页面语义信息提取方法及系统 Download PDF

Info

Publication number
CN117312506A
CN117312506A CN202311151483.0A CN202311151483A CN117312506A CN 117312506 A CN117312506 A CN 117312506A CN 202311151483 A CN202311151483 A CN 202311151483A CN 117312506 A CN117312506 A CN 117312506A
Authority
CN
China
Prior art keywords
word
attribute
action
matrix
vectors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311151483.0A
Other languages
English (en)
Other versions
CN117312506B (zh
Inventor
宋瑞银
朱鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Fengteng Network Technology Co ltd
Original Assignee
Guangzhou Fengteng Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Fengteng Network Technology Co ltd filed Critical Guangzhou Fengteng Network Technology Co ltd
Priority to CN202311151483.0A priority Critical patent/CN117312506B/zh
Publication of CN117312506A publication Critical patent/CN117312506A/zh
Application granted granted Critical
Publication of CN117312506B publication Critical patent/CN117312506B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/01—Customer relationship services
    • G06Q30/015—Providing customer assistance, e.g. assisting a customer within a business location or via helpdesk
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • Human Computer Interaction (AREA)
  • Economics (AREA)
  • Finance (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开了一种页面语义信息提取方法及系统，包括：提取用户在页面上的输入内容所对应的若干第一词向量，依次统计若干第一词向量的属性向量，并根据若干属性向量等价描述高维度的若干第一词向量的特征，得到第一属性矩阵；对所述第一属性矩阵按行进行推广，得到第一词属性推广矩阵，并将所述第一词属性推广矩阵按行与预设的属性权重矩阵进行融合，得到第一融合特征矩阵；根据训练好的第一动作网络模型预测第一融合特征矩阵连续型的动作概率，以使根据最高的动作概率显示对应的第一应答内容到所述页面上；采用本发明能够提高语义信息提取的精确度。

Description

一种页面语义信息提取方法及系统
技术领域
本发明涉及页面信息咨询领域，尤其涉及一种页面语义信息提取方法及系统。
背景技术
用户在互联网网站进行信息咨询的时候，现有技术通过抓取信息确定用户语义进行智能识别解决策略，可通过传统语言模型、序列或结构化语言模型和注意力语言模型对语义信息进行量化，但传统的表示模型的文本数据通常是无序的词集，易忽略上下文的关联、语法及提取的关键词之间的顺序，采用通过强化学习的值函数每次都选择最优值触发对应的控件进行跳转，以使获得与关键字相符的最优的页面跳转结果，但是这种方式也同样忽略了上下文的关联，导致抓取的动作会出现错误，语义信息提取准确率低，语义识别的结果出现很大的误差，并且当通过这种方式提取到关键字后进行智能识别解决策略时，用户对反馈的策略满意度低，导致体验度低。
发明内容
本发明的目的是针对上述现有技术的不足，提出种页面语义信息提取方法及系统，能够提高语义信息提取准确率。
第一方面，本发明提供了一种页面语义信息提取方法，包括：
提取用户在页面上的输入内容所对应的若干第一词向量，依次统计若干第一词向量的属性向量，并根据若干属性向量等价描述高维度的若干第一词向量的特征，得到第一属性矩阵；其中，所述属性向量包括：出现频率、词性、词长和词跨长度；
对所述第一属性矩阵按行进行推广，得到第一词属性推广矩阵，并将所述第一词属性推广矩阵按行与预设的属性权重矩阵进行融合，得到第一融合特征矩阵；其中，所述属性权重矩阵是根据对若干第一词向量对应的出现频率、词性、词长和词跨长度分别设置预设权重得到的；
根据训练好的第一动作网络模型预测第一融合特征矩阵连续型的动作概率，以使根据最高的动作概率显示对应的第一应答内容到所述页面上。
本发明采用对输入内容提取词向量，并根据词向量的出现频率、词性、词长和跨次长度为对应的词向量进行等价特征描述，能够降低根据词向量判断最优的动作概率的计算量，并且，通过属性向量中的跨次长度可以量化词向量与上下文的关联程度，从而能够提高语义信息提取的准确率；对属性矩阵进行推广，以便得到的融合特征矩阵能够符合训练好的第一动作网络模型的输入，此外，通过融合特征矩阵综合反映各属性的特性，更有利于根据提取到的语义信息获取对应的应答内容，进一步降低了计算量，从而加快了语音信息提取的效率和根据提取的融合特征矩阵进行快速应答的效率，进而提高了用户体验度。
进一步，所述对所述第一属性矩阵按行进行推广，得到第一词属性推广矩阵，包括：
将所述第一属性矩阵进行归一化后与预设向量做克罗内克积，得到所述第一词属性推广矩阵；其中，所述预设向量的维度是根据所述第一动作网络模型的动作空间维度得到的。
由于词向量的属性是影响提取语义信息的重要影响因子，本发明采用对属性矩阵做归一化处理后再与预设向量做克罗内克积，能够保证属性矩阵的元素为无量纲的、同数量级的数据，降低了数据本身之间的数值差异，摒除数值干扰，进而得到仅由词向量的属性影响的融合特征矩阵，从而能够提高语义信息提取的准确率。
进一步，所述预设向量的维度是根据所述第一动作网络模型的动作空间维度得到的，包括：
根据每个第一词向量对应的若干可执行的第一动作，得到若干第一词向量的第一动作总和，并将所述第一动作总和作为所述第一动作网络模型的空间维度；其中，所述第一动作包括：前进和后退；
根据所述空间维度设置预设向量，以使根据所述预设向量得到的所述第一词属性推广矩阵对应的每个属性向量均包含可执行的第一动作。
进一步，所述根据训练好的第一动作网络模型预测第一融合特征矩阵连续型的动作概率，以使根据最高的动作概率显示对应的第一应答内容到所述页面上，包括：
将所述第一融合特征矩阵看作所述第一动作网络模型的第一观测环境，并根据所述第一动作网络模型预测所述第一观测环境的动作概率，选取最高的动作概率对应的动作作为最优的第二动作，并将所述第二动作对应的第一应答内容显示到所述页面上。
进一步，得到所述第一动作网络模型，包括：
提取训练输入内容的对应的若干第二词向量，依次统计若干第二词向量的属性向量，得到第二属性矩阵；
对所述第二属性矩阵按行进行推广，得到第二词属性推广矩阵，并将所述第一词属性推广矩阵按行与预设的属性权重矩阵进行融合，得到第二融合特征矩阵；
根据初始的第二动作网络模型预测所述第二融合特征矩阵的训练动作概率，选取最高的训练动作概率对应的动作作为最优的第三动作，并计算所述第二词向量与所述第三动作对应的第二词向量的相似度；
根据所述相似度，获取即时奖励，根据所述即时奖励和所述第三动作，计算时间差分误差，根据所述时间差分误差对所述第二动作网络模型的策略进行更新，以使得到训练好的第一动作网络模型。
进一步，所述根据所述即时奖励和所述第三动作，计算时间差分误差，根据所述时间差分误差对所述第二动作网络模型的策略进行更新，包括：
观测执行所述第三动作后的第二观测环境，并根据初始的第一值网络模型对所述第二观测环境和所述第三动作进行评价，得到评价值；
根据所述评价值计算时间差分误差，并根据所述时间差分误差分别对所述第一值网络模型进行参数更新和对所述第二动作网络模型进行策略更新。
进一步，所述提取用户在页面上的输入内容所对应的若干第一词向量，依次统计若干第一词向量的属性向量，包括：
对初始的第一输入内容进行预处理，得到第二输入内容，根据初始的第一单词嵌入模型提取所述第二输入内容的若干第一词向量，并依次统计若干第一词向量的属性向量；其中，所述预处理包括：统一格式和单词分割。
进一步，所述根据初始的单词嵌入模型提取所述第二输入内容的若干第一词向量，包括：
从所述第二输入内容中提取若干训练单词为中心词，根据预设的窗口长度，依次从所述第二输入内容中提取中心词的上下文；
依次根据所述训练单词及对应的上下文，对所述单词嵌入模型进行训练，并根据梯度下降对所述单词嵌入模型进行参数更新，将得到的隐藏层的参数作为对应的若干第一词向量。
优选地，所述词性包括：名词、动词或者形容词；根据所述出现频率对所述词性进行量化，当对应的训练单词重复出现的出现频率越高时，以名词为主的第一输入内容的第一词性的量化值最大，以动词或者形容词为主的第二输入内容的第二词性的量化值次之，以非名词、非动词和非形容词为主的第三输入内容的第三词性的量化值最小。
优选地，所述词性可以量化为：
其中，pi为第i个训练单词的词性的量化值，randCN(1,a,b)为从正态分布上随机取一个范围在(a,b)之间的小数，a和b为预设超参数，ni为第i个训练单词的出现次数，为第i个训练单词的出现频率，τ为预设的正超参数。
第二方面，本发明还提供了一种页面语义信息提取系统，包括：
提取模块，用于提取用户在页面上的输入内容所对应的若干第一词向量，依次统计若干第一词向量的属性向量，并根据若干属性向量等价描述高维度的若干第一词向量的特征，得到第一属性矩阵；其中，所述属性向量包括：出现频率、词性、词长和词跨长度；
融合模块，用于对所述第一属性矩阵按行进行推广，得到第一词属性推广矩阵，并将所述第一词属性推广矩阵按行与预设的属性权重矩阵进行融合，得到第一融合特征矩阵；其中，所述属性权重矩阵是根据对若干第一词向量对应的出现频率、词性、词长和词跨长度分别设置预设权重得到的；
显示模块，用于根据训练好的第一动作网络模型预测第一融合特征矩阵连续型的动作概率，以使根据最高的动作概率显示对应的第一应答内容到所述页面上。
附图说明
图1是本发明提供的页面语义信息提取方法的流程示意图；
图2是本发明实施例提供的动作网络模型的训练流程示意图；
图3是本发明实施例提供的页面语义信息提取系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
值得说明的是，根据用户输入的咨询信息进行语义信息提取得到的语料库无法直接作为决策模型的输入，需要对语料库进行量化后，并根据得到的特征作为决策模型的输入，对特征进行智能识别解决策略，将对应的应答内容反馈给用户。传统的表示模型获取到的单词通常是无序的词集，虽然传统的表示模型简单，但是由于忽略了语法和词在上下文中的关联，其抓取到的语义信息的准确率低，导致抓取语义信息提取准确率低，并且当通过这种方式提取到特征后进行智能识别解决策略时，用户对反馈的策略满意度低，导致用户体验感差。
现有技术常采用对提取的语义信息进行聚类，并从聚类后的目标语句中筛选符合设定条件的结果，将结果从知识库中进行匹配，得出决策结果，这种方案通过对词库进行聚类的过程实际上也同样忽略了词库中单词在语法和上下文的关联关系，将单词从用户输入的信息咨询中抽离成单独的关键词，并且，将最优的聚类结果作为最优的决策结果展示给用户，忽略其他可探索的真实最优的决策结果，导致根据聚类之后进行智能识别解决策略的准确度不高，导致用户体验度低。
因此，亟需一种页面语义信息提取方法，能够在保证整体模型的复杂度低的同时，提高语义信息抓取的准确率，从而提高信息咨询的体验感。基于此，本发明的技术构思为：通过对用户的输入内容提取词向量，并统计词向量的属性，将所述属性等价替换所述词向量，以降低获取的特征的维度，从而减低计算复杂度，并且通过对属性矩阵进行推广，便于将得到的属性推广矩阵与属性权重矩阵融合，得到融合特征矩阵，将融合特征矩阵作为最终的特征，进一步降低了特征表示的复杂度，从而进一步降低了根据融合特征矩阵作为以动作网络模型为决策模型的输入，进行智能识别解决策略的复杂度。
参见图1，是本发明提供的页面语义信息提取方法的流程示意图，包括步骤S11～S13，具体为：
步骤S11、提取用户在页面上的输入内容所对应的若干第一词向量，依次统计若干第一词向量的属性向量，并根据若干属性向量等价描述高维度的若干第一词向量的特征，得到第一属性矩阵；其中，所述属性向量包括：出现频率、词性、词长和词跨长度。
具体地，提取用户在页面上的输入内容所对应的若干第一词向量，依次统计若干第一词向量的属性向量，包括：对初始的第一输入内容进行预处理，得到第二输入内容，根据初始的单词嵌入模型提取所述第二输入内容的若干第一词向量，并依次统计若干第一词向量的属性向量；其中，所述预处理包括：统一格式和单词分割。
其中，根据初始的单词嵌入模型提取所述第二输入内容的若干第一词向量，包括：从所述第二输入内容中提取若干训练单词为中心词，根据预设的窗口长度，依次从所述第二输入内容中提取中心词的上下文；依次根据所述中心词及对应的上下文，对所述单词嵌入模型进行训练，并根据梯度下降对所述单词嵌入模型进行参数更新，将得到的隐藏层的参数作为对应的若干第一词向量。
优选地，单词嵌入模型为基于层次化softmax的Skip-gram模型。
值得说明的是，在单词嵌入模型当中，将二叉树的叶子节点作为一个单词，其余节点作为输出为0或1的感知器。依次选取输入内容的若干训练单词为中心词，每个中心词都可以使用独特的编码进行表示，包括独热编码或者二进制编码，在此不做限定，并且，以中心词为中心，根据预设的窗口长度从训练中线前后选取上下文。
值得说明的是，将每个中心词都用两个维度相同的向量进行表示，依次选取若干中心词，以中心词为中心生成对应的上下文的条件概率通过对向量内积做softmax运算进行表示。
优选地，条件概率可以表示为：
其中，uo为上下文中单词的向量的转置，vc为中心词的向量，V为上下文中单词的集合，wc分别为中心词wo的上下文。
值得说明的是，依次以中心词为中心，以预设的窗口长度，预测中心词前后为窗口长度的上下文的目标概率可以表示为：
其中，t为中心词在输入内容中的位置，m为窗口长度。
值得说明的是，所述单词嵌入模型的目标函数就是最大化所述目标概率，由于直接求解困难，需要对目标概率进行改写，可由最大似然函数对目标概率进行表示，将最大化目标函数转换为最小化最大似然函数之后，对最大似然函数进行求解。
优选地，最大似然函数可以表示为：
优选地，将所述条件概率代入所述最大似然函数中，所述最大似然函数可以优化为：
值得说明的是，只需对优化后的最大似然函数通过梯度下降求最小值，根据优化后的最大似然函数对中心词求偏导，得到中心词的第一梯度，并根据所述第一梯度对单词嵌入模型进行迭代更新。
优选地，第一梯度可以表示为：
同样地，还需根据优化后的最大似然函数对上下文中的单词求偏导，得到上下文中的单词的第二梯度，并根据所述第二梯度对单词嵌入模型进行迭代更新。同样地，当窗口向前移动，即从所述输入内容中获取到下一个中心词后，进行同样的操作，直到输入内容中所有的中心词都被训练后，得到每个中心词对应的第一词向量，所述第一词向量包括作为中心的中心词的词向量和对应上下文的词向量。
值得注意的是，当用户的输入内容的训练单词个数为1000，若设置第一词向量为300维，那么至少包含一个300*1000的隐藏层和一个300*1000的输入层，单词嵌入模型训练的参数非常多，并且进行梯度下降对参数进行更新的速度非常慢，此外，还需大量的数据进行训练以防止过拟合，因此，在进行更新参数时，本发明采用负采样，每次仅控制一小部分的参数进行更新，以使降低梯度下降过程中的计算量。
值得说明的是，得到的第一词向量仅为对输入内容进行语义提取获得的向量，若需得到第一词向量的属性向量，还需通过结构化感知机依次提取每个第一次向量的词性，并对不同词性赋予不同的权重；其中，所述属性向量包括：出现频率、词性、词长和词跨长度。
值得注意的是，所述词性包括：名词、动词或者形容词；根据所述出现频率对所述词性进行量化，当对应的训练单词重复出现的出现频率越高时，即中心词重复出现的出现频率越高时，以名词为主的第一输入内容的第一词性的量化值最大，以动词或者形容词为主的第二输入内容的第二词性的量化值次之，以非名词、非动词和非形容词为主的第三输入内容的第三词性的量化值最小。
优选地，所述词性可以量化为：
其中，pi为第i个训练单词的词性的量化值，randCN(1,a,b)为从正态分布上随机取一个范围在(a,b)之间的小数，a和b为预设超参数，ni为第i个训练单词的出现次数，为第i个训练单词的出现频率，τ为预设的正超参数。
优选地，a的最小值为0.5，b的最大值为1。
值得说明的是，由于名词对语义分析的影响最大，需要对名词性的训练单词给予更高的量化值，但是直接定义名词的量化值，需要进行多次调参，得到的名词的量化值的超参数未必是在整体网络框架中最优的，且还要对动词或者形容词的量化值同时进行调参，以保证当对应的训练单词重复出现的出现频率越高时，以名词为主的第一输入内容的第一词性的量化值最大，以动词或者形容词为主的第二输入内容的第二词性的量化值次之，以非名词、非动词和非形容词为主的第三输入内容的第三词性的量化值最小，因此需要做大量调参工作；此外，直接使用定义好的量化词也会一定程度上降低值网络模型和动作网络模型的泛化能力。
基于此，本发明采用从正态分布上获取随机变量，并通过训练单词的出现频率影响训练单词的词性量化，若名词性的训练单词重复出现的出现频率越高，则表明用户输入的输入信息更倾向名词性的语句，而名词性的语句对语义提取的影响最大，因此需要设置较大的量化值，而动词和形容词的影响次之，便选择不大于名词的量化值作为动词或者形容词的最终的量化值，而非名词、非动词和非形容词的影响最小，因此通过最大值函数max(·)得到最小的量化值。
优选地，所述出现频率可以表示为：
优选地，所述词长可以表示为：
其中，length(·)为取训练单词长度的长度函数，max(·)为取最大值函数，N训练单词的总数，i为训练单词的下标且从1开始取值。
优选地，所述词跨长度可表示为：
其中，所述bi、ei、length(i)、ni分别表示第i个词向量在所述训练输入内容中的起始位置、末位置、词向量长度、出现次数。
值得说明的是，若所述输入内容包括5个训练词汇，即含5个中心词，则第一属性矩阵的维度为5*4，分别为5个训练词汇对应的出现频率、词性的量化值、词长和词跨长度。
步骤S12、对所述第一属性矩阵按行进行推广，得到第一词属性推广矩阵，并将所述第一词属性推广矩阵按行与预设的属性权重矩阵进行融合，得到第一融合特征矩阵；其中，所述属性权重矩阵是根据对若干第一词向量对应的出现频率、词性、词长和词跨长度分别设置预设权重得到的。
具体地，对所述第一属性矩阵按行进行推广，得到第一词属性推广矩阵，包括：将所述第一属性矩阵进行归一化后与预设向量做克罗内克积，得到所述第一词属性推广矩阵；其中，所述预设向量的维度是根据所述第一动作网络模型的动作空间维度得到的。
由于词向量的属性是影响提取语义信息的重要影响因子，本发明采用对属性矩阵做归一化处理后再与预设向量做克罗内克积，能够保证属性矩阵的元素为无量纲的、同数量级的数据，降低了数据本身之间的数值差异，摒除数值干扰，进而得到仅由词向量的属性影响的融合特征矩阵，从而能够提高语义信息提取的准确率。
优选地，采用对数标准化(Logarithmic normalized)对第一属性矩阵进行归一化。
优选地，所述第一属性推广矩阵可以表示为：
其中，Φ为所述第一属性矩阵，1M为维度为1*M的预设向量，为克罗内克积；M为第一动作网络模型的第一动作的长度。
优选地，M＝2。
值得说明的是，动作网络模型的动作包括两种：前进和后退。示例性地，当维度为5*4的第一属性矩阵进行推广后，得到5*(4×2)，即得到5*8维度的第一词属性推广矩阵，换句话说，从输入内容中进行语义信息提取后，获得5个有价值的关键词分别对应的属性向量，即每个关键词对应一个属性向量，每个属性向量均包括对应的出现频率、词性、词长和词跨长度，对属性矩阵进行推广后，动作网络模型可以根据每个属性向量执行前进和后退的动作，选择某个属性向量执行前进，则显示对应属性向量对应的应答内容给用户；若选择某个属性向量执行后退，则表明当前所选择的应答内容与用户期待的应答内容不一致，需要显示上一次选择的属性向量对应的应答内容，直到根据词属性矩阵得到用户期待的应答内容或者达到迭代阈值，则动作网络模型停止动作选择。其中，得到的第一词属性推广矩阵的奇数列均为第一个动作所对应的属性向量，第一词属性推广矩阵的偶数列均为第二个动作所对应的属性向量。
值得说明的是，将所述第一词属性推广矩阵按行与预设的属性权重矩阵进行融合，示例性地，若将5*8维度的第一词属性推广矩阵与维度为8*2的属性权重矩阵进行融合，得到维度为5*2的第一融合特征矩阵，第一列表示动作网络模型的第一个动作，即前进，第二列表示动作网络模型的第二个动作，即后退，因此，可以计算到动作网络模型的动作空间为10，且属性权重矩阵的维度也为三维矩阵。
换句话说，将维度为N*8的第一词属性推广矩阵与维度为8*2的属性权重矩阵进行融合，得到维度为N*2的第一融合特征矩阵；其中，N为正整数，表示中心词的个数。
优选地，可以根据将所述第一词属性推广矩阵与预设的属性权重矩阵做点积运算得到第一融合特征矩阵。
示例性地，属性权重矩阵可以表示为：
其中，α为预设的权重超参数，ws、wp、wl、sp分别为属性向量中出现频率、词性、词长和词跨长度的预设权重。
优选地，所述属性权重矩阵和为0。
优选地，α为-1。
其中，预设向量的维度是根据所述第一动作网络模型的动作空间维度得到的，包括：根据每个第一词向量对应的若干可执行的第一动作，得到若干第一词向量的第一动作总和，并将所述第一动作总和作为所述第一动作网络模型的空间维度；其中，所述第一动作包括：前进和后退；根据所述空间维度设置预设向量，以使根据所述预设向量得到的所述第一词属性推广矩阵对应的每个属性向量均包含可执行的第一动作。
值得注意的是，得到所述第一动作网络模型，包括步骤S21～S24，参见图2，是本发明实施例提供的动作网络模型的训练流程示意图，具体为：
步骤S21、提取训练输入内容的对应的若干第二词向量，依次统计若干第二词向量的属性向量，得到第二属性矩阵。
步骤S22、对所述第二属性矩阵按行进行推广，得到第二词属性推广矩阵，并将所述第一词属性推广矩阵按行与预设的属性权重矩阵进行融合，得到第二融合特征矩阵。
步骤S23、根据初始的第二动作网络模型预测所述第二融合特征矩阵的训练动作概率，选取最高的训练动作概率对应的动作作为最优的第三动作，并计算所述第二词向量与所述第三动作对应的第二词向量的相似度。
步骤S24、根据所述相似度，获取即时奖励，根据所述即时奖励和所述第三动作，计算时间差分误差，根据所述时间差分误差对所述第二动作网络模型的策略进行更新，以使得到训练好的第一动作网络模型。
具体地，根据所述即时奖励和所述第三动作，计算时间差分误差，根据所述时间差分误差对所述第二动作网络模型的策略进行更新，包括：观测执行所述第三动作后的第二观测环境，并根据初始的第一值网络模型对所述第二观测环境和所述第三动作进行评价，得到评价值；根据所述评价值计算时间差分误差，并根据所述时间差分误差分别对所述第一值网络模型进行参数更新和对所述第二动作网络模型进行策略更新。
值得说明的是，值网络模型用于评价当前选择的动作和根据当前选择的动作执行后的观测环境，输出评价值，并根据评价值和即使奖励对值网络模型和动作网络模型进行更新。值网络模型和动作网络模型可以采用在线训练方式或者离线训练方式，在此不做限定。
优选地，选择离线训练方式进行训练。
示例性地，值网络模型与动作网络模型的网络框架相同，包括两层隐藏层，分别为32和64个神经元，学习率分别为0.001和0.002。在训练时，值网络模型从回放经验池中随机抽样L条抽样样本进行训练；其中，每条抽样样本包括：即时奖励、选择的动作、当前的观测环境和执行所述选择的动作后的观测环境。根据值网络模型得到评价值，并根据评价值和对应的即时奖励计算时间差分误差，动作网络模型根据时间差分误差对策略进行更新，值网络模型根据时间差分误差对参数进行更新。
值得说明的是，为了加快值网络模型和动作网络模型的收敛速度，选择达到用户期待的应答内容所对应的时奖励、选择的动作、当前的观测环境和执行所述选择的动作后的观测环境存入回放经验池中。
优选地，值网络模型-动作网络模型为critic-actor(评论家-执行者)网络模型。
优选地，动作网络模型输出为连续型的动作概率。
步骤S13、根据训练好的第一动作网络模型预测第一融合特征矩阵连续型的动作概率，以使根据最高的动作概率显示对应的第一应答内容到所述页面上。
具体地，将所述第一融合特征矩阵看作所述第一动作网络模型的第一观测环境，并根据所述第一动作网络模型预测所述第一观测环境的动作概率，选取最高的动作概率对应的动作作为最优的第二动作，并将所述第二动作对应的第一应答内容显示到所述页面上。
参见图3，是本发明实施例提供的页面语义信息提取系统的结构示意图，包括：提取模块31、融合模块32和显示模块33。
值得说明的是，提取模块31主要用于提取输入内容的若干词向量，并统计词向量的属性向量，将得到的第一属性矩阵等价替换若干词向量后传输给融合模块32；融合模块32接收到第一属性矩阵后，获取所述第一属性矩阵对应的第一融合特征矩阵，并将第一融合特征矩阵传输给显示模块33；显示模块33接收到第一融合特征矩阵后，根据第一动作网络模型得到最高的动作概率对应的第一应答内容，并将第一应答内容进行显示。
提取模块31，用于提取用户在页面上的输入内容所对应的若干第一词向量，依次统计若干第一词向量的属性向量，并根据若干属性向量等价描述高维度的若干第一词向量的特征，得到第一属性矩阵；其中，所述属性向量包括：出现频率、词性、词长和词跨长度。
具体地，提取用户在页面上的输入内容所对应的若干第一词向量，依次统计若干第一词向量的属性向量，包括：对初始的第一输入内容进行预处理，得到第二输入内容，根据初始的单词嵌入模型提取所述第二输入内容的若干第一词向量，并依次统计若干第一词向量的属性向量；其中，所述预处理包括：统一格式和单词分割。
其中，根据初始的单词嵌入模型提取所述第二输入内容的若干第一词向量，包括：从所述第二输入内容中提取若干训练单词为中心词，根据预设的窗口长度，依次从所述第二输入内容中提取中心词的上下文；依次根据所述中心词及对应的上下文，对所述单词嵌入模型进行训练，并根据梯度下降对所述单词嵌入模型进行参数更新，将得到的隐藏层的参数作为对应的若干第一词向量。
值得注意的是，所述词性包括：名词、动词或者形容词；根据所述出现频率对所述词性进行量化，当对应的训练单词重复出现的出现频率越高时，以名词为主的第一输入内容的第一词性的量化值最大，以动词或者形容词为主的第二输入内容的第二词性的量化值次之，以非名词、非动词和非形容词为主的第三输入内容的第三词性的量化值最小。
优选地，所述词性可以量化为：
其中，pi为第i个训练单词的词性的量化值，randCN(1,a,b)为从正态分布上随机取一个范围在(a,b)之间的小数，a和b为预设超参数，ni为第i个训练单词的出现次数，为第i个训练单词的出现频率，τ为预设的正超参数。
融合模块32，用于对所述第一属性矩阵按行进行推广，得到第一词属性推广矩阵，并将所述第一词属性推广矩阵按行与预设的属性权重矩阵进行融合，得到第一融合特征矩阵；其中，所述属性权重矩阵是根据对若干第一词向量对应的出现频率、词性、词长和词跨长度分别设置预设权重得到的。
具体地，对所述第一属性矩阵按行进行推广，得到第一词属性推广矩阵，包括：将所述第一属性矩阵进行归一化后与预设向量做克罗内克积，得到所述第一词属性推广矩阵；其中，所述预设向量的维度是根据所述第一动作网络模型的动作空间维度得到的。
其中，预设向量的维度是根据所述第一动作网络模型的动作空间维度得到的，包括：根据每个第一词向量对应的若干可执行的第一动作，得到若干第一词向量的第一动作总和，并将所述第一动作总和作为所述第一动作网络模型的空间维度；其中，所述第一动作包括：前进和后退；根据所述空间维度设置预设向量，以使根据所述预设向量得到的所述第一词属性推广矩阵对应的每个属性向量均包含可执行的第一动作。
值得注意的是，得到所述第一动作网络模型，包括步骤S21～S24，参见图2，是本发明实施例提供的动作网络模型的训练流程示意图，具体为：
步骤S21、提取训练输入内容的对应的若干第二词向量，依次统计若干第二词向量的属性向量，得到第二属性矩阵。
步骤S22、对所述第二属性矩阵按行进行推广，得到第二词属性推广矩阵，并将所述第一词属性推广矩阵按行与预设的属性权重矩阵进行融合，得到第二融合特征矩阵。
步骤S23、根据初始的第二动作网络模型预测所述第二融合特征矩阵的训练动作概率，选取最高的训练动作概率对应的动作作为最优的第三动作，并计算所述第二词向量与所述第三动作对应的第二词向量的相似度。
步骤S24、根据所述相似度，获取即时奖励，根据所述即时奖励和所述第三动作，计算时间差分误差，根据所述时间差分误差对所述第二动作网络模型的策略进行更新，以使得到训练好的第一动作网络模型。
具体地，根据所述即时奖励和所述第三动作，计算时间差分误差，根据所述时间差分误差对所述第二动作网络模型的策略进行更新，包括：观测执行所述第三动作后的第二观测环境，并根据初始的第一值网络模型对所述第二观测环境和所述第三动作进行评价，得到评价值；根据所述评价值计算时间差分误差，并根据所述时间差分误差分别对所述第一值网络模型进行参数更新和对所述第二动作网络模型进行策略更新。
显示模块33，用于根据训练好的第一动作网络模型预测第一融合特征矩阵连续型的动作概率，以使根据最高的动作概率显示对应的第一应答内容到所述页面上。
具体地，将所述第一融合特征矩阵看作所述第一动作网络模型的第一观测环境，并根据所述第一动作网络模型预测所述第一观测环境的动作概率，选取最高的动作概率对应的动作作为最优的第二动作，并将所述第二动作对应的第一应答内容显示到所述页面上。
本发明采用对输入内容提取词向量，并根据词向量的出现频率、词性、词长和跨次长度为对应的词向量进行等价特征描述，能够降低根据词向量判断最优的动作概率的计算量，并且，通过属性向量中的跨次长度可以量化词向量与上下文的关联程度，从而能够提高语义信息提取的准确率，通过稿准确率的语义信息，可以提高对用户的满意度；对属性矩阵进行推广，以便得到的融合特征矩阵能够符合训练好的第一动作网络模型的输入，此外，通过融合特征矩阵综合反映各属性的特性，更有利于根据提取到的语义信息获取对应的应答内容，进一步降低了计算量，从而加快了语音信息提取的效率和根据提取的融合特征矩阵进行快速应答的效率，进而提高了用户体验度。
本领域内的技术人员应明白，本申请的实施例还可提供包括计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (10)

1.一种页面语义信息提取方法，其特征在于，包括：
提取用户在页面上的输入内容所对应的若干第一词向量，依次统计若干第一词向量的属性向量，并根据若干属性向量等价描述高维度的若干第一词向量的特征，得到第一属性矩阵；其中，所述属性向量包括：出现频率、词性、词长和词跨长度；
对所述第一属性矩阵按行进行推广，得到第一词属性推广矩阵，并将所述第一词属性推广矩阵按行与预设的属性权重矩阵进行融合，得到第一融合特征矩阵；其中，所述属性权重矩阵是根据对若干第一词向量对应的出现频率、词性、词长和词跨长度分别设置预设权重得到的；
根据训练好的第一动作网络模型预测第一融合特征矩阵连续型的动作概率，以使根据最高的动作概率显示对应的第一应答内容到所述页面上。
2.如权利要求1所述的页面语义信息提取方法，其特征在于，所述对所述第一属性矩阵按行进行推广，得到第一词属性推广矩阵，包括：
将所述第一属性矩阵进行归一化后与预设向量做克罗内克积，得到所述第一词属性推广矩阵；其中，所述预设向量的维度是根据所述第一动作网络模型的动作空间维度得到的。
3.如权利要求2所述的页面语义信息提取方法，其特征在于，所述预设向量的维度是根据所述第一动作网络模型的动作空间维度得到的，包括：
根据每个第一词向量对应的若干可执行的第一动作，得到若干第一词向量的第一动作总和，并将所述第一动作总和作为所述第一动作网络模型的空间维度；其中，所述第一动作包括：前进和后退；
根据所述空间维度设置预设向量，以使根据所述预设向量得到的所述第一词属性推广矩阵对应的每个属性向量均包含可执行的第一动作。
4.如权利要求1所述的页面语义信息提取方法，其特征在于，所述根据训练好的第一动作网络模型预测第一融合特征矩阵连续型的动作概率，以使根据最高的动作概率显示对应的第一应答内容到所述页面上，包括：
将所述第一融合特征矩阵看作所述第一动作网络模型的第一观测环境，并根据所述第一动作网络模型预测所述第一观测环境的动作概率，选取最高的动作概率对应的动作作为最优的第二动作，并将所述第二动作对应的第一应答内容显示到所述页面上。
5.如权利要求1所述的页面语义信息提取方法，其特征在于，得到所述第一动作网络模型，包括：
提取训练输入内容的对应的若干第二词向量，依次统计若干第二词向量的属性向量，得到第二属性矩阵；
对所述第二属性矩阵按行进行推广，得到第二词属性推广矩阵，并将所述第一词属性推广矩阵按行与预设的属性权重矩阵进行融合，得到第二融合特征矩阵；
根据初始的第二动作网络模型预测所述第二融合特征矩阵的训练动作概率，选取最高的训练动作概率对应的动作作为最优的第三动作，并计算所述第二词向量与所述第三动作对应的第二词向量的相似度；
根据所述相似度，获取即时奖励，根据所述即时奖励和所述第三动作，计算时间差分误差，根据所述时间差分误差对所述第二动作网络模型的策略进行更新，以使得到训练好的第一动作网络模型。
6.如权利要求5所述的页面语义信息提取方法，其特征在于，所述根据所述即时奖励和所述第三动作，计算时间差分误差，根据所述时间差分误差对所述第二动作网络模型的策略进行更新，包括：
观测执行所述第三动作后的第二观测环境，并根据初始的第一值网络模型对所述第二观测环境和所述第三动作进行评价，得到评价值；
根据所述评价值计算时间差分误差，并根据所述时间差分误差分别对所述第一值网络模型进行参数更新和对所述第二动作网络模型进行策略更新。
7.如权利要求1所述的页面语义信息提取方法，其特征在于，所述提取用户在页面上的输入内容所对应的若干第一词向量，依次统计若干第一词向量的属性向量，包括：
对初始的第一输入内容进行预处理，得到第二输入内容，根据初始的单词嵌入模型提取所述第二输入内容的若干第一词向量，并依次统计若干第一词向量的属性向量；其中，所述预处理包括：统一格式和单词分割。
8.如权利要求7所述的页面语义信息提取方法，其特征在于，所述根据初始的单词嵌入模型提取所述第二输入内容的若干第一词向量，包括：
从所述第二输入内容中提取若干训练单词为中心词，根据预设的窗口长度，依次从所述第二输入内容中提取中心词的上下文；
依次根据所述训练单词及对应的上下文，对所述单词嵌入模型进行训练，并根据梯度下降对所述单词嵌入模型进行参数更新，将得到的隐藏层的参数作为对应的若干第一词向量。
9.如权利要求1所述的页面语义信息提取方法，其特征在于，所述词性包括：名词、动词或者形容词；根据所述出现频率对所述词性进行量化，当对应的训练单词重复出现的出现频率越高时，以名词为主的第一输入内容的第一词性的量化值最大，以动词或者形容词为主的第二输入内容的第二词性的量化值次之，以非名词、非动词和非形容词为主的第三输入内容的第三词性的量化值最小。
优选地，所述词性可以量化为：
其中，pi为第i个训练单词的词性的量化值，randCN(1,a,b)为从正态分布上随机取一个范围在(a,b)之间的小数，a和b为预设超参数，ni为第i个训练单词的出现次数，为第i个训练单词的出现频率，τ为预设的正超参数。
10.一种页面语义信息提取系统，其特征在于，包括：
提取模块，用于提取用户在页面上的输入内容所对应的若干第一词向量，依次统计若干第一词向量的属性向量，并根据若干属性向量等价描述高维度的若干第一词向量的特征，得到第一属性矩阵；其中，所述属性向量包括：出现频率、词性、词长和词跨长度；
融合模块，用于对所述第一属性矩阵按行进行推广，得到第一词属性推广矩阵，并将所述第一词属性推广矩阵按行与预设的属性权重矩阵进行融合，得到第一融合特征矩阵；其中，所述属性权重矩阵是根据对若干第一词向量对应的出现频率、词性、词长和词跨长度分别设置预设权重得到的；
显示模块，用于根据训练好的第一动作网络模型预测第一融合特征矩阵连续型的动作概率，以使根据最高的动作概率显示对应的第一应答内容到所述页面上。
CN202311151483.0A 2023-09-07 2023-09-07 一种页面语义信息提取方法及系统 Active CN117312506B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311151483.0A CN117312506B (zh) 2023-09-07 2023-09-07 一种页面语义信息提取方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311151483.0A CN117312506B (zh) 2023-09-07 2023-09-07 一种页面语义信息提取方法及系统

Publications (2)

Publication Number Publication Date
CN117312506A true CN117312506A (zh) 2023-12-29
CN117312506B CN117312506B (zh) 2024-03-08

Family

ID=89285689

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311151483.0A Active CN117312506B (zh) 2023-09-07 2023-09-07 一种页面语义信息提取方法及系统

Country Status (1)

Country Link
CN (1) CN117312506B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109522411A (zh) * 2018-11-12 2019-03-26 南京德磐信息科技有限公司 一种基于神经网络的写作辅助方法
CN110851700A (zh) * 2019-09-25 2020-02-28 浙江工业大学 一种融合属性和语义的概率矩阵分解冷启动推荐方法
US20200074242A1 (en) * 2018-08-28 2020-03-05 Beijing Jingdong Shangke Information Technology Co., Ltd. System and method for monitoring online retail platform using artificial intelligence
US20210174024A1 (en) * 2018-12-07 2021-06-10 Tencent Technology (Shenzhen) Company Limited Method for training keyword extraction model, keyword extraction method, and computer device
CN114254645A (zh) * 2020-09-22 2022-03-29 北京百灵互联科技有限公司 一种人工智能辅助写作系统
US20220318515A1 (en) * 2019-07-03 2022-10-06 Ping An Technology (Shenzhen) Co., Ltd. Intelligent text cleaning method and apparatus, and computer-readable storage medium
CN116108128A (zh) * 2023-04-13 2023-05-12 华南师范大学 一种开放域问答系统及答案预测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200074242A1 (en) * 2018-08-28 2020-03-05 Beijing Jingdong Shangke Information Technology Co., Ltd. System and method for monitoring online retail platform using artificial intelligence
CN109522411A (zh) * 2018-11-12 2019-03-26 南京德磐信息科技有限公司 一种基于神经网络的写作辅助方法
US20210174024A1 (en) * 2018-12-07 2021-06-10 Tencent Technology (Shenzhen) Company Limited Method for training keyword extraction model, keyword extraction method, and computer device
US20220318515A1 (en) * 2019-07-03 2022-10-06 Ping An Technology (Shenzhen) Co., Ltd. Intelligent text cleaning method and apparatus, and computer-readable storage medium
CN110851700A (zh) * 2019-09-25 2020-02-28 浙江工业大学 一种融合属性和语义的概率矩阵分解冷启动推荐方法
CN114254645A (zh) * 2020-09-22 2022-03-29 北京百灵互联科技有限公司 一种人工智能辅助写作系统
CN116108128A (zh) * 2023-04-13 2023-05-12 华南师范大学 一种开放域问答系统及答案预测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张苗苗;张玉洁;刘明童;徐金安;陈钰枫;: "基于Gate机制与Bi-LSTM-CRF的汉语语义角色标注", 计算机与现代化, no. 04, 20 April 2018 (2018-04-20) *
魏勇;: "关联语义结合卷积神经网络的文本分类方法", 控制工程, no. 02, 20 February 2018 (2018-02-20) *

Also Published As

Publication number Publication date
CN117312506B (zh) 2024-03-08

Similar Documents

Publication Publication Date Title
CN109840287B (zh) 一种基于神经网络的跨模态信息检索方法和装置
US11842253B2 (en) Training encoder model and/or using trained encoder model to determine responsive action(s) for natural language input
US11113479B2 (en) Utilizing a gated self-attention memory network model for predicting a candidate answer match to a query
US20210019599A1 (en) Adaptive neural architecture search
CN108932342A (zh) 一种语义匹配的方法、模型的学习方法及服务器
CN112100354B (zh) 人机对话方法、装置、设备及存储介质
CN108170848B (zh) 一种面向中国移动智能客服的对话场景分类方法
CN112800170A (zh) 问题的匹配方法及装置、问题的回复方法及装置
US20210248473A1 (en) Attention neural networks with linear units
CN114467096A (zh) 增强基于注意力的神经网络以选择性地关注过去的输入
CN111046178A (zh) 一种文本序列生成方法及其系统
CN112084769A (zh) 依存句法模型优化方法、装置、设备及可读存储介质
US20230205994A1 (en) Performing machine learning tasks using instruction-tuned neural networks
CN117312506B (zh) 一种页面语义信息提取方法及系统
WO2023192674A1 (en) Attention neural networks with parallel attention and feed-forward layers
CN114677631B (zh) 一种基于多特征融合及多阶段训练的文化资源视频中文描述生成方法
US20230029590A1 (en) Evaluating output sequences using an auto-regressive language model neural network
US20230153522A1 (en) Image captioning
CN113468311B (zh) 一种基于知识图谱的复杂问句问答方法、装置及存储介质
Su et al. Automatic ontology population using deep learning for triple extraction
CN111460106A (zh) 一种信息交互方法、装置及设备
CN117591658B (zh) 一种智能问答方法、装置、设备及存储介质
De Angelis et al. Multi-Label Classification of Bills from the Italian Senate.
US20230401451A1 (en) Determining hyperparameters using sequence generation neural networks
Nabi et al. SONDHAN: A Comparative Study of Two Proficiency Language Bangla-English on Question-Answer Using Attention Mechanism

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant