CN112380872B - 一种目标实体的情感倾向确定方法及装置 - Google Patents

一种目标实体的情感倾向确定方法及装置 Download PDF

Info

Publication number
CN112380872B
CN112380872B CN202011354983.0A CN202011354983A CN112380872B CN 112380872 B CN112380872 B CN 112380872B CN 202011354983 A CN202011354983 A CN 202011354983A CN 112380872 B CN112380872 B CN 112380872B
Authority
CN
China
Prior art keywords
vector
layer
parameter vector
normalization
word
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011354983.0A
Other languages
English (en)
Other versions
CN112380872A (zh
Inventor
邹阳
欧阳凯
陈健
唐远洋
李思雯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Huize Times Technology Co ltd
Original Assignee
Shenzhen Huize Times Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Huize Times Technology Co ltd filed Critical Shenzhen Huize Times Technology Co ltd
Priority to CN202011354983.0A priority Critical patent/CN112380872B/zh
Publication of CN112380872A publication Critical patent/CN112380872A/zh
Application granted granted Critical
Publication of CN112380872B publication Critical patent/CN112380872B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/355—Class or cluster creation or modification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Information Transfer Between Computers (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明公开了一种目标实体的情感倾向确定方法及装置，可以获得目标实体对应的目标文本的编码向量；至少根据编码向量，对BERT模型的网络结构归一化层的层归一化公式中的缩放参数向量和平移参数向量进行调整；使用调整后的层归一化公式对目标文本进行层归一化处理，获得目标文本中每个字的情感偏好字向量；根据目标文本中每个字的情感偏好字向量，确定目标实体的情感倾向。本发明通过目标实体对应的目标文本的编码向量对BERT模型的层归一化公式中的缩放参数向量和平移参数向量进行调整，使得在对目标文本进行层归一化处理的过程中融入目标实体的实体信息，实现了对目标文本进行深层次的细粒度情感分析，提升了对目标实体的情感倾向判断的准确性。

Description

一种目标实体的情感倾向确定方法及装置
技术领域
本发明涉及计算机技术领域，特别是涉及一种目标实体的情感倾向确定方法及装置。
背景技术
随着自然语言处理技术人工智能技术的不断发展，语音、文本、图像、视频等多媒体信息得到有效利用，为用户提供了舒适的感官体验。在这些多媒体信息中，文本信息尤为重要。无论是语音转换为文字，还是图像或视频的文本描述，对文本数据的处理能够提供更高层次的认知智能。对文本中目标实体的情感倾向分析就是对文本数据进行智能理解的一个重要方向，能够帮助产品提供方挖掘客户对产品的观点倾向以及口碑分析等。
然而，在利用现有的情感倾向分析模型对文本进行情感倾向分析中，由于该模型的网络参数完全由模型梯度下降获得，不依赖于任何外部输入，导致无法实现对文本进行更深层次的细粒度情感分析，进而导致对文本的情感倾向分析的结果不准确。
发明内容
鉴于上述问题，本发明提供一种克服上述问题或者至少部分地解决上述问题的一种目标实体的情感倾向确定方法及装置，技术方案如下：
一种目标实体的情感倾向确定方法，包括：
获得目标实体对应的目标文本的编码向量；
至少根据所述编码向量，对BERT模型的网络结构归一化层的层归一化公式中的缩放参数向量和平移参数向量进行调整；
使用调整后的所述层归一化公式对所述目标文本进行层归一化处理，获得所述目标文本中每个字的情感偏好字向量；
根据所述目标文本中每个字的情感偏好字向量，确定所述目标实体的情感倾向。
可选的，所述至少根据所述编码向量，对BERT模型的网络结构归一化层的层归一化公式中的缩放参数向量和平移参数向量进行调整，包括：
将所述编码向量与BERT模型的网络结构归一化层的层归一化公式中调整前的初始缩放参数向量相加，获得调整后的第一缩放参数向量，将所述层归一化公式中的所述初始缩放参数向量替换为所述第一缩放参数向量；
将所述编码向量与所述BERT模型的网络结构归一化层的层归一化公式中调整前的初始平移参数向量相加，获得调整后的第一平移参数向量，将所述层归一化公式中的所述初始平移参数向量替换为所述第一平移参数向量。
可选的，所述至少根据所述编码向量，对BERT模型的网络结构归一化层的层归一化公式中的缩放参数向量和平移参数向量进行调整，包括：
根据所述编码向量和第一预设随机初始化条件矩阵，对BERT模型的网络结构归一化层的层归一化公式中的缩放参数向量和平移参数向量进行调整。
可选的，所述根据所述编码向量和第一预设随机初始化条件矩阵，对BERT模型的网络结构归一化层的层归一化公式中的缩放参数向量和平移参数向量进行调整，包括：
将所述编码向量与第一预设随机初始化条件矩阵相乘，获得第一融合向量；
将所述第一融合向量与BERT模型的网络结构归一化层的层归一化公式中调整前的初始缩放参数向量相加，获得调整后的第二缩放参数向量，将所述层归一化公式中的所述初始缩放参数向量替换为所述第二缩放参数向量；
将所述第一融合向量与所述BERT模型的网络结构归一化层的层归一化公式中调整前的初始平移参数向量相加，获得调整后的第二平移参数向量，将所述层归一化公式中的所述初始平移参数向量替换为所述第二平移参数向量。
可选的，所述至少根据所述编码向量，对BERT模型的网络结构归一化层的层归一化公式中的缩放参数向量和平移参数向量进行调整，包括：
根据所述编码向量和第二预设随机初始化条件矩阵，对BERT模型的网络结构归一化层的层归一化公式中的缩放参数向量进行调整；
根据所述编码向量和第三预设随机初始化条件矩阵，对所述BERT模型的网络结构归一化层的层归一化公式中的平移参数向量进行调整。
可选的，所述根据所述编码向量和第二预设随机初始化条件矩阵，对BERT模型的网络结构归一化层的层归一化公式中的缩放参数向量进行调整，包括：
将所述编码向量与第二预设随机初始化条件矩阵相乘，获得第二融合向量；
将所述第二融合向量与BERT模型的网络结构归一化层的层归一化公式中调整前的初始缩放参数向量相乘，获得调整后的第三缩放参数向量，将所述层归一化公式中的所述初始缩放参数向量替换为所述第三缩放参数向量。
可选的，所述根据所述编码向量和第三预设随机初始化条件矩阵，对所述BERT模型的网络结构归一化层的层归一化公式中的平移参数向量进行调整，包括：
将所述编码向量与第三预设随机初始化条件矩阵相乘，获得第三融合向量；
将所述第三融合向量与BERT模型的网络结构归一化层的层归一化公式中调整前的初始平移参数向量相乘，获得调整后的第三平移参数向量，将所述层归一化公式中的所述初始平移参数向量替换为所述第三平移参数向量。
可选的，所述获得目标实体对应的目标文本的编码向量，包括：
获得所述目标实体对应的目标文本中每个字的隐藏层字向量；
对所述目标文本中每个字的隐藏层字向量进行平均处理，获得编码向量。
可选的，所述根据所述目标文本中每个字的情感偏好字向量，确定所述目标实体的情感倾向，包括：
根据所述目标文本中每个字的情感偏好字向量，获得所述目标文本的分类向量；
将所述分类向量输入至情感倾向分类器中，确定所述目标实体的情感倾向。
一种目标实体的情感倾向确定装置，包括：编码向量获得单元、参数向量调整单元、情感偏好字向量获得单元以及情感倾向确定单元，
所述编码向量获得单元，用于获得目标实体对应的目标文本的编码向量；
所述参数向量调整单元，用于至少根据所述编码向量，对BERT模型的网络结构归一化层的层归一化公式中的缩放参数向量和平移参数向量进行调整；
所述情感偏好字向量获得单元，用于使用调整后的所述层归一化公式对所述目标文本进行层归一化处理，获得所述目标文本中每个字的情感偏好字向量；
所述情感倾向确定单元，用于根据所述目标文本中每个字的情感偏好字向量，确定所述目标实体的情感倾向。
借由上述技术方案，本发明提供的一种目标实体的情感倾向确定方法及装置，可以获得目标实体对应的目标文本的编码向量；至少根据编码向量，对BERT模型的网络结构归一化层的层归一化公式中的缩放参数向量和平移参数向量进行调整；使用调整后的层归一化公式对目标文本进行层归一化处理，获得目标文本中每个字的情感偏好字向量；根据目标文本中每个字的情感偏好字向量，确定目标实体的情感倾向。本发明通过目标实体对应的目标文本的编码向量对BERT模型的层归一化公式中的缩放参数向量和平移参数向量进行调整，使得在对目标文本进行层归一化处理的过程中融入目标实体的实体信息，实现了对目标文本进行深层次的细粒度情感分析，提升了对目标实体的情感倾向判断的准确性。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本发明实施例提供的一种目标实体的情感倾向确定方法的流程示意图；
图2示出了本发明实施例提供的另一种目标实体的情感倾向确定方法的流程示意图；
图3示出了本发明实施例提供的另一种目标实体的情感倾向确定方法的流程示意图；
图4示出了本发明实施例提供的另一种目标实体的情感倾向确定方法的流程示意图；
图5示出了本发明实施例提供的另一种目标实体的情感倾向确定方法的流程示意图；
图6示出了本发明实施例提供的另一种目标实体的情感倾向确定方法的流程示意图；
图7示出了本发明实施例提供的另一种目标实体的情感倾向确定方法的流程示意图；
图8示出了本发明实施例提供的另一种目标实体的情感倾向确定方法的流程示意图；
图9示出了本发明实施例提供的一种目标实体的情感倾向确定装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明实施例提供的一种目标实体的情感倾向确定方法，包括：
S100、获得目标实体对应的目标文本的编码向量。
其中，目标实体可以是专业人员在实际应用场景下设置的具有特定含义的概念。例如：在保险行业，目标实体可以包括保额、保费、保障期限以及豁免信息等。在建筑行业，目标实体可以包括钢筋、水管以及水泥等。在汽车领域，目标实体可以是新能源、燃油、座位数、油耗以及售后等。目标文本为目标实体对应的文字名称。
可选的，本发明实施例可以将多个角色的聊天记录文本按照角色拆分为多条对话文本句子，并对各对话文本句子使用标签进行标记，其中该标签可以包括对话文本句子在该聊天记录文本中的出现序号、对话文本句子对应的角色标识以及句子内容。进一步地，本发明实施例可以按照预先构建的过滤关键词和/或过滤条件对该多条对话文本句子中的无意义文本进行过滤，提高在多条文本句子中识别出目标实体的效率。
本发明实施例可以使用BERT(Bidirectional Encoder Representations fromTransformers)预训练模型分别对单条文本句子进行编码，获得该单条文本句子的隐藏层文本向量：
其中，F为该单条文本句子的隐藏层文本向量，S为该单条文本句子，为维度符号，L为该单条文本句子的字符长度，768为隐藏层维度。
本发明实施例可以继续通过BERT预训练模型从该隐藏层文本向量中识别出目标实体。可以理解的是，本发明实施例可以使用现有的BERT预训练模型在隐藏层文本向量中识别出目标实体，因此在此不作进一步地说明和限定。
可选的，步骤S100可以包括：
S110、获得目标实体对应的目标文本中每个字的隐藏层字向量。
其中，隐藏层字向量还可以称为隐层字向量以及隐字向量。可以理解的是，由于本发明实施例可以在隐藏层文本向量中识别出的目标实体，因此可以在该隐藏层文本向量中确定与目标实体对应的目标文本对应的目标隐藏层文本向量，进而可以确定出目标文本中每个字在该隐藏层文本向量中对应的隐藏层字向量。
S120、对目标文本中每个字的隐藏层字向量进行平均处理，获得编码向量。
具体的，本发明实施例可以对目标文本中每个字的隐藏层字向量按照行向量求平均，将目标文本中每个字的隐藏层字向量按照行向量求平均后的各平均结果依次组合，获得编码向量。
S200、至少根据编码向量，对BERT模型的网络结构归一化层的层归一化公式中的缩放参数向量和平移参数向量进行调整。
其中，BERT模型的网络结构可以与上述BERT预训练模型的网络结构相同。进一步地，BERT模型所使用的编码层可以与上述BERT预训练模型的编码层相同。在BERT模型的网络结构中，除输入层和输出层以外的其他各层可以叫做隐藏层。隐藏层不直接接受外界的信息，也不直接向外界发送信息。编码层和归一化层属于隐藏层。本发明实施例在归一化层对目标文本进行层归一化处理。为了实现对目标文本进行深层次的细粒度情感分析，需要在对目标文本进行层归一化处理的过程中融入作为目标实体的实体信息的编码向量，因此需要对层归一化公式中的缩放参数向量和平移参数向量进行调整。
其中，层归一化公式为：
其中，l为BERT模型的网络结构归一化层的编号，为编号为l的归一化层的层归一化公式的输出向量，al为编号为l的归一化层的层归一化公式的输入向量，γl为编号为l的归一化层的缩放参数向量，βl为编号为l的归一化层的平移参数向量，ε为正数，通常取ε＝0.00000001，μl为编号为l的归一化层中输入向量的均值，σl为编号为l的归一化层中输入向量的标准差，其中，
其中，H为编号为l的归一化层的输入向量中包括的隐藏层字向量的数量，i为隐藏层字向量的编号，为在编号为l的归一化层中的输入向量中编号为i的隐藏层字向量。
现有技术的层归一化公式中缩放参数向量和平移参数向量完全由模型梯度下降获得，缩放参数向量和平移参数向量不依赖于任何外部输入，因此现有技术的层归一化公式的输出向量无法用于细粒度情感分析。本发明实施例通过外部的目标文本的编码向量对层归一化公式中的缩放参数向量和平移参数向量进行调整，使得调整后的层归一化公式中融入了外部的实体信息，使得输出向量与目标文本对应的目标实体联系更加紧密，由此使得后续对目标文本的情感倾向判定更加准确。
可选的，基于图1所示的方法，如图2所示，本发明实施例提供的另一种目标实体的情感倾向确定方法，步骤S200可以包括：
S210、将编码向量与BERT模型的网络结构归一化层的层归一化公式中调整前的初始缩放参数向量相加，获得调整后的第一缩放参数向量，将所述层归一化公式中的初始缩放参数向量替换为第一缩放参数向量。
为了便于理解，此处通过举例进行说明：将初始缩放参数向量设为γ，编码向量设为fm，第一缩放参数向量设为γ(fm)1，则γ(fm)1＝fm+γ。
S220、将编码向量与BERT模型的网络结构归一化层的层归一化公式中调整前的初始平移参数向量相加，获得调整后的第一平移参数向量，将所述层归一化公式中的初始平移参数向量替换为第一平移参数向量。
为了便于理解，此处通过举例进行说明：将初始平移参数向量设为β，编码向量设为fm，第一平移参数向量设为β(fm)1，则β(fm)1＝fm+β。
本发明实施例通过编码向量分别与初始缩放参数向量和初始平移参数向量进行向量相加的方式进行实体信息融合，将融合后的第一缩放参数向量和第一平移参数向量对层归一化公式进行调整，进而实现对目标文本进行深层次的细粒度情感分析。同时，使用第一缩放参数向量和第一平移参数向量调整后的层归一化公式相比调整前的层归一化公式未增加额外的计算量。
可选的，基于图1所示的方法，如图3所示，本发明实施例提供的另一种目标实体的情感倾向确定方法，步骤S200可以包括：
S230、根据编码向量和第一预设随机初始化条件矩阵，对BERT模型的网络结构归一化层的层归一化公式中的缩放参数向量和平移参数向量进行调整。
可选的，基于图3所示的方法，如图4所示，本发明实施例提供的另一种目标实体的情感倾向确定方法，步骤S230可以包括：
S231、将编码向量与第一预设随机初始化条件矩阵相乘，获得第一融合向量。
为了便于理解，此处通过举例进行说明：将编码向量设为fm，第一预设随机初始化条件矩阵设为M1，其中第一融合向量设为cond，则cond＝M1·fm。
可以理解的是，本发明实施例也可以将编码向量与第一预设随机初始化条件矩阵相加，获得第一融合向量。
S232、将第一融合向量与BERT模型的网络结构归一化层的层归一化公式中调整前的初始缩放参数向量相加，获得调整后的第二缩放参数向量，将所述层归一化公式中的初始缩放参数向量替换为第二缩放参数向量。
为了便于理解，此处通过举例进行说明：将初始缩放参数向量设为γ，编码向量设为fm，第一预设随机初始化条件矩阵设为M1，其中第一融合向量设为cond＝M1·fm，第二缩放参数向量设为γ(fm)2，则γ(fm)2＝cond+γ。
可以理解的是，本发明实施例也可以将第一融合向量与BERT模型的网络结构归一化层的层归一化公式中调整前的初始缩放参数向量相乘，获得调整后的第二缩放参数向量。
S233、将第一融合向量与BERT模型的网络结构归一化层的层归一化公式中调整前的初始平移参数向量相加，获得调整后的第二平移参数向量，将所述层归一化公式中的初始平移参数向量替换为第二平移参数向量。
为了便于理解，此处通过举例进行说明：将初始平移参数向量设为β，编码向量设为fm，第一预设随机初始化条件矩阵设为M1，其中第一融合向量设为cond＝M1·fm，第二平移参数向量为β(fm)2，则β(fm)2＝cond+β。
可以理解的是，本发明实施例也可以将第一融合向量与BERT模型的网络结构归一化层的层归一化公式中调整前的初始平移参数向量相乘，获得调整后的第二平移参数向量。
本发明实施例通过引入的第一预设随机初始化条件矩阵与编码向量融合获得第一融合向量，并根据第一融合向量对层归一化公式中的初始缩放参数向量和初始平移参数向量进行调整，可以使得获得的第二缩放参数向量和第二平移参数向量更加接近或达到全局最优的参数向量，进而使得调整后的层归一化公式更有可能输出全局最优输出向量，进而可以提高对目标文本进行深层次的细粒度情感分析的准确率。
可选的，基于图1所示的方法，如图5所示，本发明实施例提供的另一种目标实体的情感倾向确定方法，步骤S200可以包括：
S240、根据编码向量和第二预设随机初始化条件矩阵，对BERT模型的网络结构归一化层的层归一化公式中的缩放参数向量进行调整。
可选的，基于图5所示的方法，如图6所示，本发明实施例提供的另一种目标实体的情感倾向确定方法步骤S240可以包括：
S241、将编码向量与第二预设随机初始化条件矩阵相乘，获得第二融合向量。
为了便于理解，此处通过举例进行说明：将编码向量设为fm，第二预设随机初始化条件矩阵设为M2，其中第二融合向量设为condγ，则condγ＝M2·fm。
可以理解的是，本发明实施例也可以将编码向量与第二预设随机初始化条件矩阵相加，获得第二融合向量。
S242、将第二融合向量与BERT模型的网络结构归一化层的层归一化公式中调整前的初始缩放参数向量相乘，获得调整后的第三缩放参数向量，将所述层归一化公式中的初始缩放参数向量替换为第三缩放参数向量。
为了便于理解，此处通过举例进行说明：将初始缩放参数向量设为γ，编码向量设为fm，第二预设随机初始化条件矩阵设为M2，其中第二融合向量设为condγ＝M2·fm，第三缩放参数向量设为γ(fm)3，则γ(fm)3＝condγ×γ。
可以理解的是，本发明实施例也可以将第二融合向量与BERT模型的网络结构归一化层的层归一化公式中调整前的初始缩放参数向量相加，获得调整后的第三缩放参数向量。
本发明实施例通过引入的第二预设随机初始化条件矩阵与编码向量融合获得第二融合向量，并根据第二融合向量对层归一化公式中的初始缩放参数向量进行调整，可以使得获得的第三缩放参数向量更加接近或达到全局最优的缩放参数向量，进而使得调整后的层归一化公式更有可能输出全局最优输出向量，进而可以提高对目标文本进行深层次的细粒度情感分析的准确率。
S250、根据编码向量和第三预设随机初始化条件矩阵，对BERT模型的网络结构归一化层的层归一化公式中的平移参数向量进行调整。
可选的，基于图5所示的方法，如图7所示，本发明实施例提供的另一种目标实体的情感倾向确定方法，步骤S250可以包括：
S251、将编码向量与第三预设随机初始化条件矩阵相乘，获得第三融合向量。
为了便于理解，此处通过举例进行说明：将编码向量设为fm，第二预设随机初始化条件矩阵设为M3，其中第二融合向量设为condβ，则condβ＝M3·fm。
可以理解的是，本发明实施例也可以将编码向量与第三预设随机初始化条件矩阵相加，获得第三融合向量。
S252、将第三融合向量与BERT模型的网络结构归一化层的层归一化公式中调整前的初始平移参数向量相乘，获得调整后的第三平移参数向量，将所述层归一化公式中的初始平移参数向量替换为第三平移参数向量。
为了便于理解，此处通过举例进行说明：将初始平移参数向量设为β，编码向量设为fm，第三预设随机初始化条件矩阵设为M3，其中第二融合向量设为condβ＝M3·fm，第三平移参数向量设为β(fm)3，则β(fm)3＝condβ×β。
可以理解的是，本发明实施例也可以将第三融合向量与BERT模型的网络结构归一化层的层归一化公式中调整前的初始平移参数向量相加，获得调整后的第三平移参数向量。
本发明实施例通过引入的第三预设随机初始化条件矩阵与编码向量融合获得第三融合向量，并根据第三融合向量对层归一化公式中的初始平移参数向量进行调整，可以使得获得的第三平移参数向量更加接近或达到全局最优的平移参数向量，进而使得调整后的层归一化公式更有可能输出全局最优输出向量，进而可以提高对目标文本进行深层次的细粒度情感分析的准确率。
可选的，第二随机初始化条件矩阵与第三随机初始化条件矩阵可以不同。
S300、使用调整后的所述层归一化公式对目标文本进行层归一化处理，获得目标文本中每个字的情感偏好字向量。
其中，情感偏好字向量为层归一化公式对目标文本进行层归一化处理后的输出向量。
S400、根据目标文本中每个字的情感偏好字向量，确定目标实体的情感倾向。
可选的，基于图1所示的方法，如图8所示，本发明实施例提供的另一种目标实体的情感倾向确定方法，步骤S400可以包括：
S410、根据目标文本中每个字的情感偏好字向量，获得目标文本的分类向量。
具体的，本发明实施例可以对目标文本中每个字的情感偏好字向量进行平均处理，获得目标文本的分类向量。本发明实施例可以对目标文本中每个字的情感偏好字向量平均处理后的各平均结果依次组合，获得分类向量。
S420、将分类向量输入至情感倾向分类器中，确定目标实体的情感倾向。
可选的，情感倾向分类器为采取全连接层为三分类的分类器。其中，该分类器位于隐藏层中的分类层。该三分类包括正向、负向以及中性。本发明实施例可以采用现有的情感倾向分类器，本发明在此不作进一步地限定。
本发明提供的一种目标实体的情感倾向确定方法，可以获得目标实体对应的目标文本的编码向量；至少根据编码向量，对BERT模型的网络结构归一化层的层归一化公式中的缩放参数向量和平移参数向量进行调整；使用调整后的层归一化公式对目标文本进行层归一化处理，获得目标文本中每个字的情感偏好字向量；根据目标文本中每个字的情感偏好字向量，确定目标实体的情感倾向。本发明通过目标实体对应的目标文本的编码向量对BERT模型的层归一化公式中的缩放参数向量和平移参数向量进行调整，使得在对目标文本进行层归一化处理的过程中融入目标实体的实体信息，实现了对目标文本进行深层次的细粒度情感分析，提升了对目标实体的情感倾向判断的准确性。
与上述方法实施例相对应，本发明实施例还提供一种目标实体的情感倾向确定装置，其结构如图9所示，可以包括：编码向量获得单元100、参数向量调整单元200、情感偏好字向量获得单元300以及情感倾向确定单元400。
编码向量获得单元100，用于获得目标实体对应的目标文本的编码向量。
其中，目标实体可以是专业人员在实际应用场景下设置的具有特定含义的概念。目标文本为目标实体对应的文字名称。
可选的，编码向量获得单元100包括：隐藏层字向量获得子单元和编码向量获得子单元。
隐藏层字向量获得子单元，用于获得目标实体对应的目标文本中每个字的隐藏层字向量。
其中，隐藏层字向量还可以称为隐层字向量以及隐字向量。可以理解的是，由于本发明实施例可以在隐藏层文本向量中识别出的目标实体，因此可以在该隐藏层文本向量中确定与目标实体对应的目标文本对应的目标隐藏层文本向量，进而可以确定出目标文本中每个字在该隐藏层文本向量中对应的隐藏层字向量。
编码向量获得子单元，用于对目标文本中每个字的隐藏层字向量进行平均处理，获得编码向量。
具体的，编码向量获得子单元可以对目标文本中每个字的隐藏层字向量按照行向量求平均，将目标文本中每个字的隐藏层字向量按照行向量求平均后的各平均结果依次组合，获得编码向量。
参数向量调整单元200，用于至少根据编码向量，对BERT模型的网络结构归一化层的层归一化公式中的缩放参数向量和平移参数向量进行调整。
其中，层归一化公式为：
其中，l为BERT模型的网络结构归一化层的编号，为编号为l的归一化层的层归一化公式的输出向量，al为编号为l的归一化层的层归一化公式的输入向量，γl为编号为l的归一化层的缩放参数向量，βl为编号为l的归一化层的平移参数向量，ε为正数，通常取ε＝0.00000001，μl为编号为l的归一化层中输入向量的均值，σl为编号为l的归一化层中输入向量的标准差，其中，
其中，H为编号为l的归一化层的输入向量中包括的隐藏层字向量的数量，i为隐藏层字向量的编号，为在编号为l的归一化层中的输入向量中编号为i的隐藏层字向量。
现有技术的层归一化公式中缩放参数向量和平移参数向量完全由模型梯度下降获得，缩放参数向量和平移参数向量不依赖于任何外部输入，因此现有技术的层归一化公式的输出向量无法用于细粒度情感分析。本发明实施例通过外部的目标文本的编码向量对层归一化公式中的缩放参数向量和平移参数向量进行调整，使得调整后的层归一化公式中融入了外部的实体信息，使得输出向量与目标文本对应的目标实体联系更加紧密，由此使得后续对目标文本的情感倾向判定更加准确。
可选的，参数向量调整单元200可以包括第一缩放参数向量替换子单元和第一平移参数向量替换子单元。
第一缩放参数向量替换子单元，用于将编码向量与BERT模型的网络结构归一化层的层归一化公式中调整前的初始缩放参数向量相加，获得调整后的第一缩放参数向量，将所述层归一化公式中的初始缩放参数向量替换为第一缩放参数向量。
第一平移参数向量替换子单元，用于将编码向量与BERT模型的网络结构归一化层的层归一化公式中调整前的初始平移参数向量相加，获得调整后的第一平移参数向量，将所述层归一化公式中的初始平移参数向量替换为第一平移参数向量。
可选的，参数向量调整单元200可以具体用于根据编码向量和第一预设随机初始化条件矩阵，对BERT模型的网络结构归一化层的层归一化公式中的缩放参数向量和平移参数向量进行调整。
可选的，参数向量调整单元200可以包括第一融合向量获得子单元、第二缩放参数向量替换子单元以及第二平移参数向量替换子单元，
第一融合向量获得子单元，用于将编码向量与第一预设随机初始化条件矩阵相乘，获得第一融合向量。
可以理解的是，第一融合向量获得子单元也可以用于将编码向量与第一预设随机初始化条件矩阵相加，获得第一融合向量。
第二缩放参数向量替换子单元，用于将第一融合向量与BERT模型的网络结构归一化层的层归一化公式中调整前的初始缩放参数向量相加，获得调整后的第二缩放参数向量，将所述层归一化公式中的初始缩放参数向量替换为第二缩放参数向量。
可以理解的是，第二缩放参数向量替换子单元也可以用于将第一融合向量与BERT模型的网络结构归一化层的层归一化公式中调整前的初始缩放参数向量相乘，获得调整后的第二缩放参数向量。
第二平移参数向量替换子单元，用于将第一融合向量与BERT模型的网络结构归一化层的层归一化公式中调整前的初始平移参数向量相加，获得调整后的第二平移参数向量，将所述层归一化公式中的初始平移参数向量替换为第二平移参数向量。
可以理解的是，第二平移参数向量替换子单元也可以用于将第一融合向量与BERT模型的网络结构归一化层的层归一化公式中调整前的初始平移参数向量相乘，获得调整后的第二平移参数向量。
可选的，参数向量调整单元200可以包括缩放参数向量调整子单元和平移参数向量调整子单元。
缩放参数向量调整子单元，用于根据编码向量和第二预设随机初始化条件矩阵，对BERT模型的网络结构归一化层的层归一化公式中的缩放参数向量进行调整。
可选的，缩放参数向量调整子单元包括第二融合向量获得子单元和第三缩放参数向量替换子单元。
第二融合向量获得子单元，用于将编码向量与第二预设随机初始化条件矩阵相乘，获得第二融合向量。
可以理解的是，第二融合向量获得子单元也可以用于将编码向量与第二预设随机初始化条件矩阵相加，获得第二融合向量。
第三缩放参数向量替换子单元，用于将第二融合向量与BERT模型的网络结构归一化层的层归一化公式中调整前的初始缩放参数向量相乘，获得调整后的第三缩放参数向量，将所述层归一化公式中的初始缩放参数向量替换为第三缩放参数向量。
可以理解的是，第三缩放参数向量替换子单元也可以用于将第二融合向量与BERT模型的网络结构归一化层的层归一化公式中调整前的初始缩放参数向量相加，获得调整后的第三缩放参数向量。
平移参数向量调整子单元，用于根据编码向量和第三预设随机初始化条件矩阵，对BERT模型的网络结构归一化层的层归一化公式中的平移参数向量进行调整。
可选的，平移参数向量调整子单元包括第三融合向量获得子单元和第三平移参数向量替换子单元。
第三融合向量获得子单元，用于将编码向量与第三预设随机初始化条件矩阵相乘，获得第三融合向量。
可以理解的是，第三融合向量获得子单元也可以用于将编码向量与第三预设随机初始化条件矩阵相加，获得第三融合向量。
第三平移参数向量替换子单元，用于将第三融合向量与BERT模型的网络结构归一化层的层归一化公式中调整前的初始平移参数向量相乘，获得调整后的第三平移参数向量，将所述层归一化公式中的初始平移参数向量替换为第三平移参数向量。
可以理解的是，第三平移参数向量替换子单元也可以用于将第三融合向量与BERT模型的网络结构归一化层的层归一化公式中调整前的初始平移参数向量相加，获得调整后的第三平移参数向量。
可选的，第二随机初始化条件矩阵与第三随机初始化条件矩阵可以不同。
情感偏好字向量获得单元300，用于使用调整后的所述层归一化公式对目标文本进行层归一化处理，获得目标文本中每个字的情感偏好字向量。
其中，情感偏好字向量为层归一化公式对目标文本进行层归一化处理后的输出向量。
情感倾向确定单元400，用于根据目标文本中每个字的情感偏好字向量，确定目标实体的情感倾向。
可选的，情感倾向确定单元400包括分类向量获得子单元和情感倾向确定子单元。
分类向量获得子单元，用于根据目标文本中每个字的情感偏好字向量，获得目标文本的分类向量。
分类向量获得子单元可以具体用于对目标文本中每个字的情感偏好字向量进行平均处理，获得目标文本的分类向量。本发明实施例可以对目标文本中每个字的情感偏好字向量平均处理后的各平均结果依次组合，获得分类向量。
情感倾向确定子单元，用于将分类向量输入至情感倾向分类器中，确定目标实体的情感倾向。
可选的，情感倾向分类器为采取全连接层为三分类的分类器。其中，该分类器位于隐藏层中的分类层。该三分类包括正向、负向以及中性。
本发明提供的一种目标实体的情感倾向确定装置，可以获得目标实体对应的目标文本的编码向量；至少根据编码向量，对BERT模型的网络结构归一化层的层归一化公式中的缩放参数向量和平移参数向量进行调整；使用调整后的层归一化公式对目标文本进行层归一化处理，获得目标文本中每个字的情感偏好字向量；根据目标文本中每个字的情感偏好字向量，确定目标实体的情感倾向。本发明通过目标实体对应的目标文本的编码向量对BERT模型的层归一化公式中的缩放参数向量和平移参数向量进行调整，使得在对目标文本进行层归一化处理的过程中融入目标实体的实体信息，实现了对目标文本进行深层次的细粒度情感分析，提升了对目标实体的情感倾向判断的准确性。
所述目标实体的情感倾向确定装置包括处理器和存储器，上述编码向量获得单元100、参数向量调整单元200、情感偏好字向量获得单元300以及情感倾向确定单元400等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来通过目标实体对应的目标文本的编码向量对BERT模型的层归一化公式中的缩放参数向量和平移参数向量进行调整，使得在对目标文本进行层归一化处理的过程中融入目标实体的实体信息，实现了对目标文本进行深层次的细粒度情感分析，提升了对目标实体的情感倾向判断的准确性。
本发明实施例提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现所述目标实体的情感倾向确定方法。
本发明实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行所述目标实体的情感倾向确定方法。
本发明实施例提供了一种电子设备，电子设备包括至少一个处理器、以及与处理器连接的至少一个存储器、总线；其中，处理器、存储器通过总线完成相互间的通信；处理器用于调用存储器中的程序指令，以执行上述的目标实体的情感倾向确定方法。本文中的电子设备可以是服务器、PC、PAD、手机等。
本申请还提供了一种计算机程序产品，当在电子设备上执行时，适于执行初始化有所述目标实体的情感倾向确定方法步骤的程序。
本申请是参照根据本申请实施例的方法、装置、电子设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程设备的处理器以产生一个机器，使得通过计算机或其他可编程设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
在一个典型的配置中，电子设备包括一个或多个处理器(CPU)、存储器和总线。电子设备还可以包括输入/输出接口、网络接口等。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (9)

1.一种目标实体的情感倾向确定方法，其特征在于，包括：
获得目标实体对应的目标文本的编码向量；
至少根据所述编码向量，对BERT模型的网络结构归一化层的层归一化公式中的缩放参数向量和平移参数向量进行调整；
使用调整后的所述层归一化公式对所述目标文本进行层归一化处理，获得所述目标文本中每个字的情感偏好字向量；
根据所述目标文本中每个字的情感偏好字向量，确定所述目标实体的情感倾向；
其中，所述至少根据所述编码向量，对BERT模型的网络结构归一化层的层归一化公式中的缩放参数向量和平移参数向量进行调整，包括：
将所述编码向量与BERT模型的网络结构归一化层的层归一化公式中调整前的初始缩放参数向量相加，获得调整后的第一缩放参数向量，将所述层归一化公式中的所述初始缩放参数向量替换为所述第一缩放参数向量；
将所述编码向量与所述BERT模型的网络结构归一化层的层归一化公式中调整前的初始平移参数向量相加，获得调整后的第一平移参数向量，将所述层归一化公式中的所述初始平移参数向量替换为所述第一平移参数向量。
2.根据权利要求1所述的方法，其特征在于，所述至少根据所述编码向量，对BERT模型的网络结构归一化层的层归一化公式中的缩放参数向量和平移参数向量进行调整，还包括：
根据所述编码向量和第一预设随机初始化条件矩阵，对BERT模型的网络结构归一化层的层归一化公式中的缩放参数向量和平移参数向量进行调整。
3.根据权利要求2所述的方法，其特征在于，所述根据所述编码向量和第一预设随机初始化条件矩阵，对BERT模型的网络结构归一化层的层归一化公式中的缩放参数向量和平移参数向量进行调整，包括：
将所述编码向量与第一预设随机初始化条件矩阵相乘，获得第一融合向量；
将所述第一融合向量与BERT模型的网络结构归一化层的层归一化公式中调整前的初始缩放参数向量相加，获得调整后的第二缩放参数向量，将所述层归一化公式中的所述初始缩放参数向量替换为所述第二缩放参数向量；
将所述第一融合向量与所述BERT模型的网络结构归一化层的层归一化公式中调整前的初始平移参数向量相加，获得调整后的第二平移参数向量，将所述层归一化公式中的所述初始平移参数向量替换为所述第二平移参数向量。
4.根据权利要求1所述的方法，其特征在于，所述至少根据所述编码向量，对BERT模型的网络结构归一化层的层归一化公式中的缩放参数向量和平移参数向量进行调整，还包括：
根据所述编码向量和第二预设随机初始化条件矩阵，对BERT模型的网络结构归一化层的层归一化公式中的缩放参数向量进行调整；
根据所述编码向量和第三预设随机初始化条件矩阵，对所述BERT模型的网络结构归一化层的层归一化公式中的平移参数向量进行调整。
5.根据权利要求4所述的方法，其特征在于，所述根据所述编码向量和第二预设随机初始化条件矩阵，对BERT模型的网络结构归一化层的层归一化公式中的缩放参数向量进行调整，包括：
将所述编码向量与第二预设随机初始化条件矩阵相乘，获得第二融合向量；
将所述第二融合向量与BERT模型的网络结构归一化层的层归一化公式中调整前的初始缩放参数向量相乘，获得调整后的第三缩放参数向量，将所述层归一化公式中的所述初始缩放参数向量替换为所述第三缩放参数向量。
6.根据权利要求4所述的方法，其特征在于，所述根据所述编码向量和第三预设随机初始化条件矩阵，对所述BERT模型的网络结构归一化层的层归一化公式中的平移参数向量进行调整，包括：
将所述编码向量与第三预设随机初始化条件矩阵相乘，获得第三融合向量；
将所述第三融合向量与BERT模型的网络结构归一化层的层归一化公式中调整前的初始平移参数向量相乘，获得调整后的第三平移参数向量，将所述层归一化公式中的所述初始平移参数向量替换为所述第三平移参数向量。
7.根据权利要求1所述的方法，其特征在于，所述获得目标实体对应的目标文本的编码向量，包括：
获得所述目标实体对应的目标文本中每个字的隐藏层字向量；
对所述目标文本中每个字的隐藏层字向量进行平均处理，获得编码向量。
8.根据权利要求1所述的方法，其特征在于，所述根据所述目标文本中每个字的情感偏好字向量，确定所述目标实体的情感倾向，包括：
根据所述目标文本中每个字的情感偏好字向量，获得所述目标文本的分类向量；
将所述分类向量输入至情感倾向分类器中，确定所述目标实体的情感倾向。
9.一种目标实体的情感倾向确定装置，其特征在于，包括：编码向量获得单元、参数向量调整单元、情感偏好字向量获得单元以及情感倾向确定单元，
所述编码向量获得单元，用于获得目标实体对应的目标文本的编码向量；
所述参数向量调整单元，用于至少根据所述编码向量，对BERT模型的网络结构归一化层的层归一化公式中的缩放参数向量和平移参数向量进行调整；
所述情感偏好字向量获得单元，用于使用调整后的所述层归一化公式对所述目标文本进行层归一化处理，获得所述目标文本中每个字的情感偏好字向量；
所述情感倾向确定单元，用于根据所述目标文本中每个字的情感偏好字向量，确定所述目标实体的情感倾向；
所述参数向量调整单元，具体用于将所述编码向量与BERT模型的网络结构归一化层的层归一化公式中调整前的初始缩放参数向量相加，获得调整后的第一缩放参数向量，将所述层归一化公式中的所述初始缩放参数向量替换为所述第一缩放参数向量；将所述编码向量与所述BERT模型的网络结构归一化层的层归一化公式中调整前的初始平移参数向量相加，获得调整后的第一平移参数向量，将所述层归一化公式中的所述初始平移参数向量替换为所述第一平移参数向量。
CN202011354983.0A 2020-11-27 2020-11-27 一种目标实体的情感倾向确定方法及装置 Active CN112380872B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011354983.0A CN112380872B (zh) 2020-11-27 2020-11-27 一种目标实体的情感倾向确定方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011354983.0A CN112380872B (zh) 2020-11-27 2020-11-27 一种目标实体的情感倾向确定方法及装置

Publications (2)

Publication Number Publication Date
CN112380872A CN112380872A (zh) 2021-02-19
CN112380872B true CN112380872B (zh) 2023-11-24

Family

ID=74587961

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011354983.0A Active CN112380872B (zh) 2020-11-27 2020-11-27 一种目标实体的情感倾向确定方法及装置

Country Status (1)

Country Link
CN (1) CN112380872B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113257281B (zh) * 2021-07-02 2021-09-21 四川省人工智能研究院(宜宾) 一种对多模态情绪识别进行层次不确定性量化估计的方法

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017083746A1 (en) * 2015-11-12 2017-05-18 Google Inc. Training neural networks using normalized target outputs
CN110222349A (zh) * 2019-06-13 2019-09-10 成都信息工程大学 一种深度动态上下文词语表示的模型及方法、计算机
CN110232954A (zh) * 2019-05-10 2019-09-13 江苏理工学院 基于迁移学习的分子对接方法和系统
CN110298005A (zh) * 2019-06-26 2019-10-01 上海观安信息技术股份有限公司 一种对url进行归一化的方法
CN110334354A (zh) * 2019-07-11 2019-10-15 清华大学深圳研究生院 一种中文关系抽取方法
CN110781814A (zh) * 2019-10-24 2020-02-11 中国民用航空总局第二研究所 一种基于高斯混合神经网络模型的信号分类方法、设备及介质
CN111488952A (zh) * 2020-06-28 2020-08-04 浙江大学 一种适用于轮毂自动化识别的深度残差模型构建方法
CN111522581A (zh) * 2020-04-22 2020-08-11 山东师范大学 一种增强型代码注释自动生成方法及系统
CN111552810A (zh) * 2020-04-24 2020-08-18 深圳数联天下智能科技有限公司 实体抽取与分类方法、装置、计算机设备和存储介质
CN111695671A (zh) * 2019-03-12 2020-09-22 北京地平线机器人技术研发有限公司 训练神经网络的方法及装置、电子设备
CN111737999A (zh) * 2020-06-24 2020-10-02 深圳前海微众银行股份有限公司 一种序列标注方法、装置、设备及可读存储介质
CN111898591A (zh) * 2020-08-28 2020-11-06 电子科技大学 一种基于剪枝残差网络的调制信号识别方法
CN111931914A (zh) * 2020-08-10 2020-11-13 北京计算机技术及应用研究所 一种基于模型微调的卷积神经网络通道剪枝方法
CN111950258A (zh) * 2020-08-10 2020-11-17 深圳市慧择时代科技有限公司 一种情感分类方法及装置
CN111950432A (zh) * 2020-08-07 2020-11-17 武汉理工大学 一种基于区域风格一致性的妆容风格迁移方法及系统

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017083746A1 (en) * 2015-11-12 2017-05-18 Google Inc. Training neural networks using normalized target outputs
CN111695671A (zh) * 2019-03-12 2020-09-22 北京地平线机器人技术研发有限公司 训练神经网络的方法及装置、电子设备
CN110232954A (zh) * 2019-05-10 2019-09-13 江苏理工学院 基于迁移学习的分子对接方法和系统
CN110222349A (zh) * 2019-06-13 2019-09-10 成都信息工程大学 一种深度动态上下文词语表示的模型及方法、计算机
CN110298005A (zh) * 2019-06-26 2019-10-01 上海观安信息技术股份有限公司 一种对url进行归一化的方法
CN110334354A (zh) * 2019-07-11 2019-10-15 清华大学深圳研究生院 一种中文关系抽取方法
CN110781814A (zh) * 2019-10-24 2020-02-11 中国民用航空总局第二研究所 一种基于高斯混合神经网络模型的信号分类方法、设备及介质
CN111522581A (zh) * 2020-04-22 2020-08-11 山东师范大学 一种增强型代码注释自动生成方法及系统
CN111552810A (zh) * 2020-04-24 2020-08-18 深圳数联天下智能科技有限公司 实体抽取与分类方法、装置、计算机设备和存储介质
CN111737999A (zh) * 2020-06-24 2020-10-02 深圳前海微众银行股份有限公司 一种序列标注方法、装置、设备及可读存储介质
CN111488952A (zh) * 2020-06-28 2020-08-04 浙江大学 一种适用于轮毂自动化识别的深度残差模型构建方法
CN111950432A (zh) * 2020-08-07 2020-11-17 武汉理工大学 一种基于区域风格一致性的妆容风格迁移方法及系统
CN111931914A (zh) * 2020-08-10 2020-11-13 北京计算机技术及应用研究所 一种基于模型微调的卷积神经网络通道剪枝方法
CN111950258A (zh) * 2020-08-10 2020-11-17 深圳市慧择时代科技有限公司 一种情感分类方法及装置
CN111898591A (zh) * 2020-08-28 2020-11-06 电子科技大学 一种基于剪枝残差网络的调制信号识别方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift;Sergey Ioffe 等;《Proceedings of the 32nd International Conference on Machine Learning》;第37卷;448-456 *
Layer normalization;Jimmy Lei Ba 等;《https://arxiv.org/abs/1607.06450》;1-14 *
Parameter-Efficient Tuning on Layer Normalization for Pre-trained Language Models;Wang Qi 等;《https://arxiv.org/abs/2211.08682》;1-12 *
Understanding and Improving Layer Normalization;Jingjing Xu 等;《33rd Conference on Neural Information Processing Systems (NeurIPS 2019)》;1-11 *
基于BERT嵌入的中文命名实体识别方法;杨飘 等;《计算机工程》;第46卷(第04期);40-46 *

Also Published As

Publication number Publication date
CN112380872A (zh) 2021-02-19

Similar Documents

Publication Publication Date Title
CN110276066B (zh) 实体关联关系的分析方法及相关装置
CN107862087B (zh) 基于大数据和深度学习的情感分析方法、装置和存储介质
CN111161740A (zh) 意图识别模型训练方法、意图识别方法以及相关装置
Shi et al. Sentiment analysis of Chinese microblogging based on sentiment ontology: a case study of ‘7.23 Wenzhou Train Collision’
CN107291840B (zh) 一种用户属性预测模型构建方法和装置
CN109726394A (zh) 基于融合btm模型的短文本主题聚类方法
CN111538818B (zh) 数据查询方法、装置、电子设备及存储介质
CN112966526A (zh) 一种基于情感词向量的汽车在线评论情感分析方法
CN116304745B (zh) 基于深层次语义信息的文本话题匹配方法及系统
CN114817538B (zh) 文本分类模型的训练方法、文本分类方法及相关设备
CN113609158A (zh) 一种sql语句的生成方法、装置、设备及介质
CN112380872B (zh) 一种目标实体的情感倾向确定方法及装置
CN115017916A (zh) 方面级情感分析方法、装置、电子设备及存储介质
CN114004231A (zh) 一种中文专词抽取方法、系统、电子设备及存储介质
CN112667803A (zh) 一种文本情感分类方法及装置
Wang et al. Data augmentation for internet of things dialog system
CN117131272A (zh) 人工智能内容生成方法、模型及系统
CN115688002A (zh) 分类方法及装置、训练分类模型的方法及装置、分类模型
CN115796141A (zh) 文本数据增强方法和装置、电子设备、存储介质
CN115186085A (zh) 回复内容处理方法以及媒体内容互动内容的交互方法
CN106547736A (zh) 基于人工智能的文本信息术语重要度生成方法以及装置
CN114141235A (zh) 语音语料库生成方法、装置、计算机设备和存储介质
CN114091452A (zh) 一种基于适配器的迁移学习方法、装置、设备及存储介质
CN116028627B (zh) 新闻分类方法及装置、电子设备、计算机可读存储介质
CN114385892B (zh) 一种文章等级识别方法、装置、服务器及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant