CN113255334A - 一种计算字向量方法、系统、电子设备及存储介质 - Google Patents

一种计算字向量方法、系统、电子设备及存储介质 Download PDF

Info

Publication number
CN113255334A
CN113255334A CN202110552782.XA CN202110552782A CN113255334A CN 113255334 A CN113255334 A CN 113255334A CN 202110552782 A CN202110552782 A CN 202110552782A CN 113255334 A CN113255334 A CN 113255334A
Authority
CN
China
Prior art keywords
word
words
dictionary
calculating
frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202110552782.XA
Other languages
English (en)
Inventor
梁吉光
徐凯波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Minglue Zhaohui Technology Co Ltd
Original Assignee
Beijing Minglue Zhaohui Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Minglue Zhaohui Technology Co Ltd filed Critical Beijing Minglue Zhaohui Technology Co Ltd
Priority to CN202110552782.XA priority Critical patent/CN113255334A/zh
Publication of CN113255334A publication Critical patent/CN113255334A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/237—Lexical tools
    • G06F40/242—Dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Machine Translation (AREA)

Abstract

本申请公开了一种计算字向量方法、系统、电子设备及存储介质，计算字向量方法包括：字典组建步骤：从预训练词向量模型中抽取词语，将所述词语切分成字，并对所述字进行处理后，使用处理后的字组成字典；构词贡献计算步骤：统计所述字的字频以及共现频率，并根据所述字频以及所述共现频率计算字信息增益后，通过所述字信息增益计算字构词贡献；字向量计算步骤：根据所述字构词贡献，加权计算获取字向量。本发明提供了一种不需要大规模训练数据集，基于信息增益由基于预训练词向量模型计算字向量的方法。

Description

一种计算字向量方法、系统、电子设备及存储介质
技术领域
本申请涉及深度学习技术领域，尤其涉及一种计算字向量方法、系统、电子设备及存储介质。
背景技术
随着机器学习技术尤其是深度学习计算在自然语言处理领域的不断交汇融合，越来越多的人工智能技术被应用在了自然语言处理领域。在2012年后，word2vec、GPT、Bert为代表的语言表示模型已经在学术界、工业界取得瞩目的成功。但是现有技术中的方法模型，都是基于超大规模的数据集、超多的参数、超长的时间的基础上才能训练出不错的模型。GPT、Bert等为代表的方法，动辄需要上亿字的语料，然而这些方法都在小样本集上很难取得不错的效果，这是因为在小样本数据集上容易过拟合，泛化能力会很差。而以word2vec中CBOW和skip-gram为代表的方法，虽然可以根据字与字在文本上下文中的共现关系学习字向量，但并未考虑词与字之间的顺序以及字与字之间潜在的构词语义信息，训练过程中丢失了过多的语义信息，从而导致效果不及其它模型，尤其是在小样本数据集上的效果不佳。
发明内容
本申请实施例提供了一种计算字向量方法、系统、电子设备及存储介质，以至少通过本发明解决了计算字向量需要耗费大量的资源去训练无法基于现有资源直接计算以及无法基于字向量直接将文本进行向量化，需要分词，从而导致分词错误带来级联误差等问题。
本发明提供了计算字向量方法，包括：
字典组建步骤：从预训练词向量模型中抽取词语，将所述词语切分成字，并对所述字进行处理后，使用处理后的字组成字典；
构词贡献计算步骤：统计所述字的字频以及共现频率，并根据所述字频以及所述共现频率计算字信息增益后，通过所述字信息增益计算字构词贡献；
字向量计算步骤：根据所述字构词贡献，加权计算获取字向量。
上述的计算字向量方法中，所述字典组建步骤包括：
词典生成步骤：读取所述预训练词向量模型后，从所述预训练词向量模型中抽取所有的所述词语，并使用所述词语组成词典；
字典构建步骤：将所述词典中的所述词语切分为单独的所述字，对切分出的所述字进行存储以及去重处理后，使用处理后的所述字组成所述字典。
上述的计算字向量方法中，所述构词贡献计算步骤包括：
字词共现关系统计步骤：根据所述字与所述词语的构词关系，组建字词映射表；
字频与共现频率统计步骤：统计所述字在所述词语中出现的所述字频以及所述字构成的词语在所述词典中的词语中出现的所述共现频率；
字信息增益计算步骤：使用所述字频以及所述共现频率计算所述字信息增益；
字构词贡献统计步骤：对所述字信息增益进行归一化计算，获取所述字构词贡献。
上述的计算字向量方法中，所述字向量计算步骤包括，根据所述字词映射表以及所述字构词贡献，加权计算获取所述字向量。
本发明还提供计算字向量系统，其中，适用于上述所述的计算字向量方法，所述计算字向量系统包括：
字典组建单元：从预训练词向量模型中抽取词语，将所述词语切分成字，并对所述字进行处理后，使用处理后的字组成字典；
构词贡献计算单元：统计所述字的字频以及共现频率，并根据所述字频以及所述共现频率计算字信息增益后，通过所述字信息增益计算字构词贡献；
字向量计算单元：根据所述字构词贡献，加权计算获取字向量。
上述的计算字向量系统中，所述字典组建单元包括：
词典生成模块：读取所述预训练词向量模型后，从所述预训练词向量模型中抽取所有的所述词语，并使用所述词语组成词典；
字典构建模块：将所述词典中的所述词语切分为单独的所述字，对切分出的所述字进行存储以及去重处理后，使用处理后的所述字组成所述字典。
上述的计算字向量系统中，所述构词贡献计算单元包括：
字词共现关系统计模块：根据所述字与所述词语的构词关系，组建字词映射表；
字频与共现频率统计模块：统计所述字在所述词语中出现的所述字频以及所述字构成的词语在所述词典中的词语中出现的所述共现频率；
字信息增益计算模块：使用所述字频以及所述共现频率计算所述字信息增益；
字构词贡献统计模块：对所述字信息增益进行归一化计算，获取所述字构词贡献。
上述的计算字向量系统中，根据所述字词映射表以及所述字构词贡献，所述字向量计算单元加权计算获取所述字向量。
本发明还提供一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述任一项所述的计算字向量方法。
本发明还提供一种电子设备可读存储介质，所述电子设备可读存储介质上存储有计算机程序指令，所述计算机程序指令被所述处理器执行时实现上述任一项所述的计算字向量方法。
相比于相关技术，本发明基于现有资源直接计算得到，不需要再耗费大量的资源去训练。同时，在应用于文本分析时，可基于字向量直接将文本进行向量化，不需要分词，从而避免了分词错误带来的级联误差，并且提高了自然语言处理能力。
本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的计算字向量方法流程图；
图2是根据本申请实施例的计算字向量方法框架图；
图3是根据本申请实施例的计算字向量的装置框架图；
图4为本发明的计算字向量系统的结构示意图；
图5是根据本申请实施例的电子设备的框架图。
其中，附图标记为：
字典组建单元：51；
构词贡献计算单元：52；
字向量计算单元：53；
词典生成模块511；
字典构建模块：512；
字词共现关系统计模块：521；
字频与共现频率统计模块：522
字信息增益计算模块：523；
字构词贡献统计模块：524；
总线:80；
处理器：81；
存储器：82；
通信接口：83。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
本发明提供一种不需要大规模训练数据集，基于信息增益由基于预训练词向量模型计算字向量的计算字向量方法、系统、电子设备及存储介质。
下面结合具体实施例对本发明进行说明。
实施例一
本实施例提供了计算字向量方法。请参照图1至图2，图1是根据本申请实施例的计算字向量方法流程图；图2是根据本申请实施例的计算字向量方法框架图，如图所示，计算字向量方法包括如下步骤：
字典组建步骤S1：从预训练词向量模型中抽取词语，将所述词语切分成字，并对所述字进行处理后，使用处理后的字组成字典；
构词贡献计算步骤S2：统计所述字的字频以及共现频率，并根据所述字频以及所述共现频率计算字信息增益后，通过所述字信息增益计算字构词贡献；
字向量计算步骤S3：根据所述字构词贡献，加权计算获取字向量。
实施例中，所述字典组建步骤S1包括：
词典生成步骤S11：读取所述预训练词向量模型后，从所述预训练词向量模型中抽取所有的所述词语，并使用所述词语组成词典；
字典构建步骤S12：将所述词典中的所述词语切分为单独的所述字，对切分出的所述字进行存储以及去重处理后，使用处理后的所述字组成所述字典。
具体实施中，将预训练词向量模型中所有的词语提取出来，组成词语集合，即词典WD＝{w1,w2,...,wN}，其中wi表示词典中的第i个词语，N为预训练词向量中词语的个数，len(wi)表示词语的wi长度，即wi包含的字数，len(WD)表示词典WD中词语的总长度，即WD包含的所有词语的长度之和。进一步地，为方便描述，以从预训练词向量模型中提取出词典WD＝{明天，明白，天气，白天，天空}为例进行基于信息增益加权计算字向量的方法的示范性描述。其中，w1＝明天，w2＝明白，w3＝天气，w4＝白天，w5＝天空。进一步地，len(WD)＝10。获取给定预训练词向量模型中的词向量，构成UN*K的矩阵，其中，N即为词典中词语的个数，K表示每个词语由K维向量进行表示，Ui表示wi的词向量。进一步地，为方便描述，以构建出词向量矩阵U5*4为例进行词向量矩阵构建的示范性描述。其中，U1为词语“明天”的词向量，U2为词语“明白”的词向量，U3为词语“天气”的词向量，U4为词语“白天”的词向量，U5为词语“天空”的词向量。将词典WD＝{w1,w2,...,wN}中的词语中所有字提取出来，组成字集合，即字典CD＝{c1,c2,...,cm}，其中ci表示字典中的第i个字。进一步地，由字典WD，可得字典CD＝{明，天，白，气，空}。即：c1＝明，c2＝天，c3＝白，c4＝气，c5＝空。
实施例中，所述构词贡献计算步骤S2包括：
字词共现关系统计步骤S21：根据所述字与所述词语的构词关系，组建字词映射表；
字频与共现频率统计步骤S22：统计所述字在所述词语中出现的所述字频以及所述字构成的词语在所述词典中的词语中出现的所述共现频率；
字信息增益计算步骤S23：使用所述字频以及所述共现频率计算所述字信息增益；
字构词贡献统计步骤S24：对所述字信息增益进行归一化计算，获取所述字构词贡献。
具体实施中，将参与词典{w1,w2,...,wN}中的词语中所有的词的构词过程保留下来，组成字与词语集合的列表，即字-词映射表CW＝{<cx,{wa,...wb},>,<cy,{wc,...,wd}>,<cz,{we,..,wf}>,...}。其中，cx、cy、cz取自字典，wa、wb、wc、wd、we、wf取自词典，g(cx)表示取字cx所参与构词的词语集合{wa,...wb}。进一步地，根据词典WD和字典CD，可得：
g(c1)＝{明天，明白}＝{w1，w2}
g(c2)＝{明天，天气}＝{w1，w3}
g(c3)＝{明白，白天}＝{w2，w4}
g(c4)＝{天气}＝{w3}
g(c5)＝{天空}＝{w5}
进一步地，统计字典中的字在词典中出现的次数。num(cx)记作字cx在WD＝{w1,w2,...,wN}中出现的次数。进一步地，根据词典WD和字典CD，可得：
num(c1)＝num(明)＝2
num(c2)＝num(天)＝2
num(c3)＝num(白)＝2
num(c4)＝num(气)＝1
num(c5)＝num(空)＝1
进一步地，统计字典中的字与字之间在词典中共现的次数。num(cx，cy)记作字cx和字cy在WD＝{w1，w2，...，wN}中共现的次数。进一步地，根据词典WD和字典CD，可得：
num(c1，c2)＝num(c2，c1)＝num(明，天)＝num(天，明)＝1
num(c1，c3)＝num(c3，c1)＝num(明，白)＝num(白，明)＝1
num(c2，c3)＝num(c3，c2)＝num(白，天)＝num(天，白)＝1
num(c2，c4)＝num(c4，c2)＝num(天，气)＝num(气，白)＝1
num(c4，c5)＝num(c5，c4)＝num(天，空)＝num(空，白)＝1
进一步地，根据词典WD和字典CD，可得：
f(c1)＝{天，白}＝{c2，c3}
f(c2)＝{天，气}＝{c2，c4}
f(c3)＝{天}＝{c2}
f(c4)＝{天}＝{c2}
f(c5)＝{天}＝{c2}
进一步地，计算每个字的信息增益，为方便描述，以计算字“明”的信息增益为例进行示范性描述。“明”的信息增益计算公式如下：
IG(明)＝H(f(明))-H(f(明)|明)
＝H(天，白)-H(天，白|明)
＝-P(天)lgP(天)-P(白)lg(白)
+P(明)(P(天|明)lgP(天|明)+P(白|明)lgP(白|明))
+P(气)P(天|气)lgP(天|气)+P(空)P(天|空)lgP(天|空)
其中，
P(明)＝num(明)/len(WD)＝2/10＝0.20
P(天|明)＝num(明，天)/num(明)＝1/2＝0.50
......
进一步地，对词典WD＝{w1，w2，...，wN}中的每个词切分出的字的信息增益做归一化，使得构成一个词语的所有字的信息增益和为1。归一化后的信息增益即为每个字对词的贡献，每个字分得的向量与归一化后的信息增益正比例相关。进一步地，字“明”与其所参与构词的词“明天”的贡献权重计算公式如下：
Figure BDA0003076074920000091
实施例中，所述字向量计算步骤S3包括，根据所述字词映射表以及所述字构词贡献，加权计算获取所述字向量。
具体实施中，结合字-词映射表CW＝{<cx，{wa，...wb}，>，<cy，{wc，...，wd}>，<cz，{we，..，wf}>，...}和每个词语中每个字的归一化后的信息增益加权计算字的向量。进一步地，字“明”的字向量可由其所参与构词的词语“明天”和“明白”的词向量计算而得，其计算公式如下：
Figure BDA0003076074920000092
实施例二
请参照图3至图4，图3是根据本申请实施例的计算字向量的装置框架图；图4为本发明的计算字向量系统的结构示意图。如图3至图4所示，发明的计算字向量系统，适用于上述的计算字向量方法，计算字向量系统包括：
字典组建单元51：从预训练词向量模型中抽取词语，将所述词语切分成字，并对所述字进行处理后，使用处理后的字组成字典；
构词贡献计算单元52：统计所述字的字频以及共现频率，并根据所述字频以及所述共现频率计算字信息增益后，通过所述字信息增益计算字构词贡献；
字向量计算单元53：根据所述字构词贡献，加权计算获取字向量。
在实施例中，所述字典组建单元51包括：
词典生成模块511：读取所述预训练词向量模型后，从所述预训练词向量模型中抽取所有的所述词语，并使用所述词语组成词典；
字典构建模块512：将所述词典中的所述词语切分为单独的所述字，对切分出的所述字进行存储以及去重处理后，使用处理后的所述字组成所述字典。
在实施例中，所述构词贡献计算单元52包括：
字词共现关系统计模块521：根据所述字与所述词语的构词关系，组建字词映射表；
字频与共现频率统计模块522：统计所述字在所述词语中出现的所述字频以及所述字构成的词语在所述词典中的词语中出现的所述共现频率；
字信息增益计算模块523：使用所述字频以及所述共现频率计算所述字信息增益；
字构词贡献统计模块524：对所述字信息增益进行归一化计算，获取所述字构词贡献。
在实施例中，根据所述字词映射表以及所述字构词贡献，所述字向量计算单元53加权计算获取所述字向量。
实施例三
结合图5所示，本实施例揭示了一种电子设备的一种具体实施方式。电子设备可以包括处理器81以及存储有计算机程序指令的存储器82。
具体地，上述处理器81可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。
其中，存储器82可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器82可包括硬盘驱动器(Hard Disk Drive，简称为HDD)、软盘驱动器、固态驱动器(SolidState Drive，简称为SSD)、闪存、光盘、磁光盘、磁带或通用串行总线(Universal SerialBus，简称为USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器82可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器82可在计算字向量装置的内部或外部。在特定实施例中，存储器82是非易失性(Non-Volatile)存储器。在特定实施例中，存储器82包括只读存储器(Read-Only Memory，简称为ROM)和随机存取存储器(Random Access Memory，简称为RAM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(Programmable Read-Only Memory，简称为PROM)、可擦除PROM(ErasableProgrammable Read-Only Memory，简称为FPROM)、电可擦除PROM(Electrically ErasableProgrammable Read-Only Memory，简称为EFPROM)、电可改写ROM(ElectricallyAlterable Read-Only Memory，简称为EAROM)或闪存(FLASH)或者两个或更多个以上这些的组合。在合适的情况下，该RAM可以是静态随机存取存储器(Static Random-AccessMemory，简称为SRAM)或动态随机存取存储器(Dynamic Random Access Memory，简称为DRAM)，其中，DRAM可以是快速页模式动态随机存取存储器(Fast Page Mode DynamicRandom Access Memory，简称为FPMDRAM)、扩展数据输出动态随机存取存储器(ExtendedDate Out Dynamic Random Access Memory，简称为EDODRAM)、同步动态随机存取内存(Synchronous Dynamic Random-Access Memory，简称SDRAM)等。
存储器82可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器81所执行的可能的计算机程序指令。
处理器81通过读取并执行存储器82中存储的计算机程序指令，以实现上述实施例中的任意计算字向量方法。
在其中一些实施例中，电子设备还可包括通信接口83和总线80。其中，如图5所示，处理器81、存储器82、通信接口83通过总线80连接并完成相互间的通信。
通信接口83用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。通信端口83还可以实现与其他部件例如：外接设备、图像/计算字向量设备、数据库、外部存储以及图像/计算字向量工作站等之间进行数据通信。
总线80包括硬件、软件或两者，将电子设备的部件彼此耦接在一起。总线80包括但不限于以下至少之一：数据总线(Data Bus)、地址总线(Address Bus)、控制总线(ControlBus)、扩展总线(Expansion Bus)、局部总线(Local Bus)。举例来说而非限制，总线80可包括图形加速接口(Accelerated Graphics Port，简称为AGP)或其他图形总线、增强工业标准架构(Extended Industry Standard Architecture，简称为EISA)总线、前端总线(FrontSide Bus，简称为FSB)、超传输(Hyper Transport，简称为HT)互连、工业标准架构(Industry Standard Architecture，简称为ISA)总线、无线带宽(InfiniBand)互连、低引脚数(Low Pin Count，简称为LPC)总线、存储器总线、微信道架构(Micro ChannelArchitecture，简称为MCA)总线、外围组件互连(Peripheral Component Interconnect，简称为PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(Serial AdvancedTechnology Attachment，简称为SATA)总线、视频电子标准协会局部(Video ElectronicsStandards Association Local Bus，简称为VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线80可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。
电子设备可连接计算字向量系统，从而实现结合图1至图2描述的方法。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
综上所述，本发明提供一种不需要大规模训练数据集，基于信息增益由基于预训练词向量模型计算字向量的计算字向量方法、系统、电子设备及存储介质。本发明基于现有资源直接计算得到，不需要再耗费大量的资源去训练。同时，在应用于文本分析时，可基于字向量直接将文本进行向量化，不需要分词，从而避免了分词错误带来的级联误差，并且提高了自然语言处理能力。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求的保护范围为准。

Claims (10)

1.一种计算字向量方法，其特征在于，包括：
字典组建步骤：从预训练词向量模型中抽取词语，将所述词语切分成字，并对所述字进行处理后，使用处理后的字组成字典；
构词贡献计算步骤：统计所述字的字频以及共现频率，并根据所述字频以及所述共现频率计算字信息增益后，通过所述字信息增益计算字构词贡献；
字向量计算步骤：根据所述字构词贡献，加权计算获取字向量。
2.根据权利要求1所述的计算字向量方法，其特征在于，所述字典组建步骤包括：
词典生成步骤：读取所述预训练词向量模型后，从所述预训练词向量模型中抽取所有的所述词语，并使用所述词语组成词典；
字典构建步骤：将所述词典中的所述词语切分为单独的所述字，对切分出的所述字进行存储以及去重处理后，使用处理后的所述字组成所述字典。
3.根据权利要求2所述的计算字向量方法，其特征在于，所述构词贡献计算步骤包括：
字词共现关系统计步骤：根据所述字与所述词语的构词关系，组建字词映射表；
字频与共现频率统计步骤：统计所述字在所述词语中出现的所述字频以及所述字构成的词语在所述词典中的词语中出现的所述共现频率；
字信息增益计算步骤：使用所述字频以及所述共现频率计算所述字信息增益；
字构词贡献统计步骤：对所述字信息增益进行归一化计算，获取所述字构词贡献。
4.根据权利要求3所述的计算字向量方法，其特征在于，所述字向量计算步骤包括，根据所述字词映射表以及所述字构词贡献，加权计算获取所述字向量。
5.一种计算字向量系统，其特征在于，适用于上述权利要求1至4中任一项所述的计算字向量方法，所述计算字向量系统包括：
字典组建单元：从预训练词向量模型中抽取词语，将所述词语切分成字，并对所述字进行处理后，使用处理后的字组成字典；
构词贡献计算单元：统计所述字的字频以及共现频率，并根据所述字频以及所述共现频率计算字信息增益后，通过所述字信息增益计算字构词贡献；
字向量计算单元：根据所述字构词贡献，加权计算获取字向量。
6.根据权利要求5所述的计算字向量系统，其特征在于，所述字典组建单元包括：
词典生成模块：读取所述预训练词向量模型后，从所述预训练词向量模型中抽取所有的所述词语，并使用所述词语组成词典；
字典构建模块：将所述词典中的所述词语切分为单独的所述字，对切分出的所述字进行存储以及去重处理后，使用处理后的所述字组成所述字典。
7.根据权利要求6所述的计算字向量系统，其特征在于，所述构词贡献计算单元包括：
字词共现关系统计模块：根据所述字与所述词语的构词关系，组建字词映射表；
字频与共现频率统计模块：统计所述字在所述词语中出现的所述字频以及所述字构成的词语在所述词典中的词语中出现的所述共现频率；
字信息增益计算模块：使用所述字频以及所述共现频率计算所述字信息增益；
字构词贡献统计模块：对所述字信息增益进行归一化计算，获取所述字构词贡献。
8.根据权利要求7所述的计算字向量系统，其特征在于，根据所述字词映射表以及所述字构词贡献，所述字向量计算单元加权计算获取所述字向量。
9.一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4中任一项所述的计算字向量方法。
10.一种电子设备可读存储介质，所述电子设备可读存储介质上存储有计算机程序指令，所述计算机程序指令被所述处理器执行时实现如权利要求1至4中任一项所述的计算字向量方法。
CN202110552782.XA 2021-05-20 2021-05-20 一种计算字向量方法、系统、电子设备及存储介质 Withdrawn CN113255334A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110552782.XA CN113255334A (zh) 2021-05-20 2021-05-20 一种计算字向量方法、系统、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110552782.XA CN113255334A (zh) 2021-05-20 2021-05-20 一种计算字向量方法、系统、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN113255334A true CN113255334A (zh) 2021-08-13

Family

ID=77183091

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110552782.XA Withdrawn CN113255334A (zh) 2021-05-20 2021-05-20 一种计算字向量方法、系统、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113255334A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113709125A (zh) * 2021-08-18 2021-11-26 北京明略昭辉科技有限公司 一种异常流量的确定方法、装置、存储介质及电子设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113709125A (zh) * 2021-08-18 2021-11-26 北京明略昭辉科技有限公司 一种异常流量的确定方法、装置、存储介质及电子设备

Similar Documents

Publication Publication Date Title
US11544474B2 (en) Generation of text from structured data
WO2020224219A1 (zh) 中文分词方法、装置、电子设备及可读存储介质
WO2022062404A1 (zh) 文本分类模型的训练方法、装置、设备及存储介质
CN109815336B (zh) 一种文本聚合方法及系统
CN110334209B (zh) 文本分类方法、装置、介质及电子设备
CN111599340A (zh) 一种多音字读音预测方法、装置及计算机可读存储介质
CN114818891B (zh) 小样本多标签文本分类模型训练方法及文本分类方法
CN110210028A (zh) 针对语音转译文本的领域特征词提取方法、装置、设备及介质
CN112347758B (zh) 文本摘要的生成方法、装置、终端设备及存储介质
CN112232070A (zh) 自然语言处理模型构建方法、系统、电子设备及存储介质
CN111241813A (zh) 语料扩展方法、装置、设备及介质
CN114579746A (zh) 一种优化的高精度文本分类方法及装置
CN116956835A (zh) 一种基于预训练语言模型的文书生成方法
CN112613293B (zh) 摘要生成方法、装置、电子设备及存储介质
CN113255334A (zh) 一种计算字向量方法、系统、电子设备及存储介质
CN111091001B (zh) 一种词语的词向量的生成方法、装置及设备
CN113011532A (zh) 分类模型训练方法、装置、计算设备及存储介质
CN116561320A (zh) 一种汽车评论的分类方法、装置、设备及介质
CN112257726B (zh) 目标检测训练方法、系统、电子设备及计算机可读存储介质
CN113255326A (zh) 未登录词词向量计算方法、系统、电子设备及存储介质
CN110442714B (zh) Poi名称规范性评估方法、装置、设备和存储介质
CN113722471A (zh) 一种文本摘要生成方法、系统、电子设备及介质
CN113742525A (zh) 自监督视频哈希学习方法、系统、电子设备及存储介质
CN113255335A (zh) 一种字向量的获取方法、系统、电子设备及存储介质
CN113449490B (zh) 一种文档信息汇总方法、系统、电子设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20210813

WW01 Invention patent application withdrawn after publication