CN112686026B - 基于信息熵的关键词提取方法、装置、设备及介质 - Google Patents

Abstract

本发明涉及人工智能领域，提供一种基于信息熵的关键词提取方法、装置、设备及介质，能够对接收到的标签文本进行预处理，在规范了文本的同时减少了字符的冗余度，提高数据处理的速度及效果，并采用逆信息熵向量，一方面能够在数据质量较高的情况下复制TF‑IDF的效果，另一方面能够有效处理掺杂噪音的数据，并挖掘出具有类别区分能力的关键词，有效修正了传统TF‑IDF的类别区分能力失效问题，进而避免误判，且具有较高的可解释性，根据词权重矩阵提取目标关键词，实现自动且准确地关键词提取。此外，本发明还涉及区块链技术，目标关键词可存储于区块链节点中。

Description

基于信息熵的关键词提取方法、装置、设备及介质

技术领域

本发明涉及人工智能技术领域，尤其涉及一种基于信息熵的关键词提取方法、装置、设备及介质。

背景技术

在人工智能领域，关键词提取起着重要的作用，例如，企业员工培训流程中，已经有越来越多的环节逐渐从线下转移到线上。以寿险代理人职业培训为例，想要培训做到切实有效，使代理人有机会将所学运用到实际的寿险销售、客户维系等场景中，培训生产部门一定要在人群差异化和培训精细化方面进行深入探究。传统的方法主要围绕在和业务部门开展定时的沟通，及时收集不同代理人的诉求和兴趣点。这种人工采集归纳的方式在人力方面开销较大，更重要的是人工提炼流程难以保证时效性。而随着线上培训平台使用人数的扩增，培训平台本身已经成为宝贵的数据资源入口。代理人在平台上的搜索留言等数据都可以拿来服务于培训选题的提取。围绕各类平台用户当下的搜索关键词展开的课程主题恰恰可以满足当下用户的兴趣点和需求点。

但是，传统的关键词提取技术由于只考虑出现某词的文档个数，在文本语言环境类似的场景下，非常容易失效，难以起到发掘差异化关键词的作用，即便一个类别人群特有的热词只在其他类别人群中各出现一次，也会因为该词在每个文档中都出现过而把该词当作“常用词”对待，进而降低了该词在所属类别词汇中的权重，导致识别错误。

发明内容

鉴于以上内容，有必要提供一种基于信息熵的关键词提取方法、装置、设备及介质，一方面能够在数据质量较高的情况下复制TF-IDF的效果，另一方面能够有效处理掺杂噪音的数据，并挖掘出具有类别区分能力的关键词，有效修正了传统TF-IDF的类别区分能力失效问题，进而避免误判，且具有较高的可解释性，实现自动且准确地关键词提取。

一种基于信息熵的关键词提取方法，所述基于信息熵的关键词提取方法包括：

对接收的标签文本进行预处理，得到待处理文本；

根据所述待处理文本构建至少一个词语序列；

根据所述至少一个词语序列计算词频矩阵；

对所述词频矩阵进行行归一化处理，得到第一矩阵，并对所述词频矩阵进行列归一化处理，得到第二矩阵；

根据所述第二矩阵计算概率矩阵；

根据所述概率矩阵构建信息熵向量，并计算所述信息熵向量的逆信息熵向量；

计算所述第一矩阵及所述逆信息熵向量的乘积，得到词权重矩阵；

根据所述词权重矩阵提取目标关键词。

根据本发明优选实施例，所述对接收的标签文本进行预处理，得到待处理文本包括：

识别所述标签文本中的英文字母，并对所述英文字母进行规范化处理，得到第一文本；

识别并删除所述第一文本中的指定类型的字符，得到第二文本；

采用结巴分词算法切分所述第二文本，并在切分后得到的分词间插入空格，得到第三文本；

调用预先配置的词典对所述第三文本进行词语转化，得到第四文本；

对所述第四文本进行去重处理，得到所述待处理文本。

根据本发明优选实施例，所述对所述词频矩阵进行行归一化处理，得到第一矩阵包括：

计算所述词频矩阵中每行的模；

对于所述词频矩阵中的每个元素，从每行的模中提取出与每个元素对应的模；

计算每个元素与对应的模的商作为每个元素进行行归一化处理后得到的元素；

将所述词频矩阵中的每个元素替换为进行行归一化处理后得到的元素，得到所述第一矩阵。

根据本发明优选实施例，所述对所述词频矩阵进行列归一化处理，得到第二矩阵包括：

获取所述词频矩阵的行数；

计算所述词频矩阵中的每个元素与所述词频矩阵的行数的商作为每个元素对应的第一数值；

对所述第一数值进行求和运算，得到第一和值；

计算每个元素与所述第一和值的商作为每个元素进行列归一化处理后得到的元素；

将所述词频矩阵中的每个元素替换为进行列归一化处理后得到的元素，得到所述第二矩阵。

根据本发明优选实施例，所述概率矩阵中的每个元素为：

其中，

表示所述概率矩阵中第i行、第j列的元素；

表示所述词频矩阵的行数；

表示所述第二矩阵中第i行、第j列的元素；i、j、m为正整数。

根据本发明优选实施例，所述根据所述概率矩阵构建信息熵向量，并计算所述信息熵向量的逆信息熵向量包括：

计算所述概率矩阵中每个元素的对数值；

计算每个元素的对数值与对应元素的乘积作为第二数值；

对所述第二数值进行求和运算，得到第二和值；

根据所述第二和值的负数构建所述信息熵向量；

根据所述信息熵向量的倒数构建所述逆信息熵向量。

根据本发明优选实施例，所述计算所述第一矩阵及所述逆信息熵向量的乘积，得到词权重矩阵包括：

计算所述第一矩阵中的每个元素与所述逆信息熵向量中每个元素的乘积，得到所述词权重矩阵的每个元素；

根据所述词权重矩阵的每个元素构建所述词权重矩阵。

一种基于信息熵的关键词提取装置，所述基于信息熵的关键词提取装置包括：

预处理单元，用于对接收的标签文本进行预处理，得到待处理文本；

构建单元，用于根据所述待处理文本构建至少一个词语序列；

计算单元，用于根据所述至少一个词语序列计算词频矩阵；

归一化单元，用于对所述词频矩阵进行行归一化处理，得到第一矩阵，并对所述词频矩阵进行列归一化处理，得到第二矩阵；

所述计算单元，还用于根据所述第二矩阵计算概率矩阵；

所述计算单元，还用于根据所述概率矩阵构建信息熵向量，并计算所述信息熵向量的逆信息熵向量；

所述计算单元，还用于计算所述第一矩阵及所述逆信息熵向量的乘积，得到词权重矩阵；

提取单元，用于根据所述词权重矩阵提取目标关键词。

一种电子设备，所述电子设备包括：

存储器，存储至少一个指令；及

处理器，执行所述存储器中存储的指令以实现所述基于信息熵的关键词提取方法。

一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个指令，所述至少一个指令被电子设备中的处理器执行以实现所述基于信息熵的关键词提取方法。

由以上技术方案可以看出，本发明能够对接收的标签文本进行预处理，得到待处理文本，对接收到的标签文本进行预处理，在规范了文本的同时减少了字符的冗余度，提高数据处理的速度及效果，根据所述待处理文本构建至少一个词语序列，根据所述至少一个词语序列计算词频矩阵，对所述词频矩阵进行行归一化处理，得到第一矩阵，并对所述词频矩阵进行列归一化处理，得到第二矩阵，以消除奇异样本数据导致的不良影响，根据所述第二矩阵计算概率矩阵，根据所述概率矩阵构建信息熵向量，并计算所述信息熵向量的逆信息熵向量，计算所述第一矩阵及所述逆信息熵向量的乘积，得到词权重矩阵，采用逆信息熵向量，一方面能够在数据质量较高的情况下复制TF-IDF的效果，另一方面能够有效处理掺杂噪音的数据，并挖掘出具有类别区分能力的关键词，有效修正了传统TF-IDF的类别区分能力失效问题，进而避免误判，且具有较高的可解释性，根据所述词权重矩阵提取目标关键词，实现自动且准确地关键词提取。

附图说明

图1是本发明基于信息熵的关键词提取方法的较佳实施例的流程图。

图2是本发明基于信息熵的关键词提取装置的较佳实施例的功能模块图。

图3是本发明实现基于信息熵的关键词提取方法的较佳实施例的电子设备的结构示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。

如图1所示，是本发明基于信息熵的关键词提取方法的较佳实施例的流程图。根据不同的需求，该流程图中步骤的顺序可以改变，某些步骤可以省略。

所述基于信息熵的关键词提取方法应用于一个或者多个电子设备中，所述电子设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable Gate Array，FPGA)、数字处理器(DigitalSignal Processor，DSP)、嵌入式设备等。

所述电子设备可以是任何一种可与用户进行人机交互的电子产品，例如，个人计算机、平板电脑、智能手机、个人数字助理（Personal Digital Assistant，PDA）、游戏机、交互式网络电视（Internet Protocol Television，IPTV）、智能式穿戴式设备等。

所述电子设备还可以包括网络设备和/或用户设备。其中，所述网络设备包括，但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(CloudComputing)的由大量主机或网络服务器构成的云。

所述电子设备所处的网络包括但不限于互联网、广域网、城域网、局域网、虚拟专用网络（Virtual Private Network，VPN）等。

S10，对接收的标签文本进行预处理，得到待处理文本。

在本实施例中，所述标签文本可以为用户在任意培训平台上的留言或者对培训课程的评论数据。

所述标签文本是指带有人群类别标签的文本，例如：对于销售领域，销售代理人标签可以包括优才、普才、绩优、非绩优、主管。

在本发明的至少一个实施例中，所述对接收的标签文本进行预处理，得到待处理文本包括：

识别所述标签文本中的英文字母，并对所述英文字母进行规范化处理，得到第一文本；

识别并删除所述第一文本中的指定类型的字符，得到第二文本；

采用结巴分词算法切分所述第二文本，并在切分后得到的分词间插入空格，得到第三文本；

调用预先配置的词典对所述第三文本进行词语转化，得到第四文本；

对所述第四文本进行去重处理，得到所述待处理文本。

在本实施例中，所述对所述英文字母进行规范化处理包括：

将所述英文字母统一为大写字母或者小写字母。

可以理解的是，大多数时候，无论字母是大写还是小写，所表达的含义都是一样的，因此，本实施例首先对英文字母进行规范化处理，避免对字母含义的误识别。

在本实施例中，所述指定类型的字符可以包括，但不限于以下一种或者多种字符的组合：

标点符号、预先配置的特殊字符（如：※等）、预先定义的停用词（如：对于金融领域内的培训，“银行”一词由于本身代表着金融领域，没必要重复提取，因此，可以将“银行”定义为所述停用词）、单个字符（如：本身不具备意义的“的”）。

其中，所述预先配置的词典中可以存储常见错词、同音易错词以及近似词汇，用于解决笔误等造成的错误。

通过上述实施方式，首先对接收到的标签文本进行预处理，在规范了文本的同时减少了字符的冗余度，提高数据处理的速度及效果。

S11，根据所述待处理文本构建至少一个词语序列。

例如：将每个类别对应的文本整合成一个文档，具体地，将类别标签相同的所有文本以空格相连，当有优才、普才、绩优、非绩优、主管五种类别的代理人时，可以得到5个词语序列，每个词语序列包含1类代理人的全部有效的文本，如代理人的搜索内容。

S12，根据所述至少一个词语序列计算词频矩阵。

在本实施例中，所述词频矩阵为TF（Term Frequency）矩阵。

其中，TF=某词出现次数/总词数。

例如：假设全部有效词语个数为n，类别为m，则TF矩阵的大小为m行*n列。其中，矩阵中的每个元素

代表第j个词在第i类人群的文本中出现的次数。

S13，对所述词频矩阵进行行归一化处理，得到第一矩阵，并对所述词频矩阵进行列归一化处理，得到第二矩阵。

需要说明的是，为了消除奇异样本数据导致的不良影响，本实施例进一步对所述词频矩阵的行和列分别进行归一化处理。

在本实施例中，所述对所述词频矩阵进行行归一化处理，得到第一矩阵包括：

计算所述词频矩阵中每行的模；

对于所述词频矩阵中的每个元素，从每行的模中提取出与每个元素对应的模；

计算每个元素与对应的模的商作为每个元素进行行归一化处理后得到的元素；

将所述词频矩阵中的每个元素替换为进行行归一化处理后得到的元素，得到所述第一矩阵。

在对所述词频矩阵进行行归一化处理后，得到的所述第一矩阵中的每个元素为：

其中，

表示所述第一矩阵中第i行、第j列的元素，

表示所述词频矩阵中第i行、第j列的元素，

表示所述词频矩阵中第i行的行向量，n表示所述词频矩阵的列数，i、j、n为正整数。

通过上述实施方式，能够对所述词频矩阵进行行归一化处理。

进一步地，所述对所述词频矩阵进行列归一化处理，得到第二矩阵包括：

获取所述词频矩阵的行数；

计算所述词频矩阵中的每个元素与所述词频矩阵的行数的商作为每个元素对应的第一数值；

对所述第一数值进行求和运算，得到第一和值；

计算每个元素与所述第一和值的商作为每个元素进行列归一化处理后得到的元素；

将所述词频矩阵中的每个元素替换为进行列归一化处理后得到的元素，得到所述第二矩阵。

在对所述词频矩阵进行列归一化处理后，得到的所述第二矩阵中的每个元素为：

其中，

表示所述第二矩阵中第i行、第j列的元素，

表示所述词频矩阵中第j列的列向量，

表示所述词频矩阵的行数，m为正整数。

通过上述实施方式，能够对所述词频矩阵进行列归一化处理。

S14，根据所述第二矩阵计算概率矩阵。

在本发明的至少一个实施例中，所述概率矩阵中的每个元素为：

其中，

表示所述概率矩阵中第i行、第j列的元素。

需要说明的是，分子中添加1/m项，是为了避免后续对数计算中出现

的情况；分母中添加1，是为了确保每一列（即每个词）的概率之和为1。

S15，根据所述概率矩阵构建信息熵向量，并计算所述信息熵向量的逆信息熵向量。

在本发明的至少一个实施例中，所述根据所述概率矩阵构建信息熵向量，并计算所述信息熵向量的逆信息熵向量包括：

计算所述概率矩阵中每个元素的对数值；

计算每个元素的对数值与对应元素的乘积作为第二数值；

对所述第二数值进行求和运算，得到第二和值；

根据所述第二和值的负数构建所述信息熵向量；

根据所述信息熵向量的倒数构建所述逆信息熵向量。

所述信息熵向量中的每个元素为：

其中，

表示所述信息熵向量中的第j个元素；

所述信息熵向量的逆信息熵向量中的每个元素为：

其中，

表示所述逆信息熵向量中的第j个元素。

需要说明的是，由于信息熵是用来衡量事件发生的不确定性的指标，词语在不同类别人群中出现的概率越平均，不确定性也就越高，对其取倒数后数值就越小。

具体而言，当一个词只在个别类中大量出现，而在其他类中出现次数非常少时，则说明这个词的不确定性小，也就是信息熵小，对其取倒数后数值则较大。

S16，计算所述第一矩阵及所述逆信息熵向量的乘积，得到词权重矩阵。

在本发明的至少一个实施例中，所述计算所述第一矩阵及所述逆信息熵向量的乘积，得到词权重矩阵包括：

计算所述第一矩阵中的每个元素与所述逆信息熵向量中每个元素的乘积，得到所述词权重矩阵的每个元素；

根据所述词权重矩阵的每个元素构建所述词权重矩阵。

所述词权重矩阵的每个元素为：

其中，

表示所述词权重矩阵中第i行、第j列的元素。

在本实施例中，所述词权重矩阵中的每个元素即为对应的词的词权重。

需要说明的是，在关键词提炼技术领域，通常采用TF-IDF（term frequency–inverse document frequency）进行关键词提取。其中，IDF=lg（总文章数/出现某个词的文章数）。

TF-IDF被用来评估一个词对一个文档的重要程度，其随着一个词在文档中出现的次数（TF）上升而上升，同时随着其在文档库中出现频率（IDF）的上升而下降。可以看出，IDF的作用在于弱化常用词的权重，并提升仅在少量文本中出现，能够突显文本类别差异化的词汇的热度。

但是，在如寿险代理人培训的实际场景中，为了实现归纳五类代理人（绩优、非绩优、主管等）的差异化培训诉求的目的，需要将每类代理人的搜索文本预先整合成长文本，也就是获取5个文档组成文本库，进而找出具有文档类别（人群）区分能力的差异化热词。而由于IDF只考虑出现某词的文档个数，即便1个主管类人群特有的热词只在其他类人群中各出现一次，采用TF-IDF方法也会因为这个词在每个文档中都出现过而把这个词当作“常用词”对待，并给予一个小的IDF值，进而降低了其在主管类词汇中的权重。尤其在本文提到的文档数（人群数）少，且文本语言环境类似的场景下，IDF非常容易失效，难以起到发掘差异化关键词的作用。

因此，为了解决上述问题，不同于传统的TF-IDF方法，本实施例采用逆信息熵向量InEnt向量取代了传统TF-IDF中的IDF向量，来对归一化后的得到的第一矩阵进行词权重的调整，当一个词只在个别类中大量出现，而在其他类中出现次数非常少时，不会弱化其权重，避免误判，且具有较高的可解释性。

即：由于IDF方法只考虑出现词语的文档数量，不具备任何噪音纠错能力，对所有词语没有做权重区分。而基于信息熵的InEnt方法依然可以根据词语在各类人群中的分布稳定性找出常用词，并给予其一个比较低的权重。由于IDF的失效，TF-IDF方法在增加噪音的数据中无法发挥作用，而本实施例中采用InEnt代替IDF，一方面能够在数据质量较高的情况下复制TF-IDF的效果，另一方面能够有效处理掺杂噪音的数据，并挖掘出具有类别区分能力的关键词，有效修正了传统TF-IDF的类别区分能力失效问题。

S17，根据所述词权重矩阵提取目标关键词。

在本发明的至少一个实施例中，所述根据所述词权重矩阵提取目标关键词包括：

将所述词权重矩阵中的每个元素按照词权重由高到低的顺序进行排序，并获取排在前预设位的元素对应的词作为所述目标关键词；或者

从所述词权重矩阵中获取大于或者等于配置阈值的元素，并将获取的元素对应的词作为所述目标关键词。

其中，所述预设位及所述配置阈值可以进行自定义配置，本发明不限制。

需要说明的是，为了进一步保证数据的安全性，可以将目标关键词部署于区块链，以避免数据被恶意篡改。

由以上技术方案可以看出，本发明能够对接收的标签文本进行预处理，得到待处理文本，对接收到的标签文本进行预处理，在规范了文本的同时减少了字符的冗余度，提高数据处理的速度及效果，根据所述待处理文本构建至少一个词语序列，根据所述至少一个词语序列计算词频矩阵，对所述词频矩阵进行行归一化处理，得到第一矩阵，并对所述词频矩阵进行列归一化处理，得到第二矩阵，以消除奇异样本数据导致的不良影响，根据所述第二矩阵计算概率矩阵，根据所述概率矩阵构建信息熵向量，并计算所述信息熵向量的逆信息熵向量，计算所述第一矩阵及所述逆信息熵向量的乘积，得到词权重矩阵，采用逆信息熵向量，一方面能够在数据质量较高的情况下复制TF-IDF的效果，另一方面能够有效处理掺杂噪音的数据，并挖掘出具有类别区分能力的关键词，有效修正了传统TF-IDF的类别区分能力失效问题，进而避免误判，且具有较高的可解释性，根据所述词权重矩阵提取目标关键词，实现自动且准确地关键词提取。

如图2所示，是本发明基于信息熵的关键词提取装置的较佳实施例的功能模块图。所述基于信息熵的关键词提取装置11包括预处理单元110、构建单元111、计算单元112、归一化单元113、提取单元114。本发明所称的模块/单元是指一种能够被处理器13所执行，并且能够完成固定功能的一系列计算机程序段，其存储在存储器12中。在本实施例中，关于各模块/单元的功能将在后续的实施例中详述。

预处理单元110对接收的标签文本进行预处理，得到待处理文本。

在本实施例中，所述标签文本可以为用户在任意培训平台上的留言或者对培训课程的评论数据。

所述标签文本是指带有人群类别标签的文本，例如：对于销售领域，销售代理人标签可以包括优才、普才、绩优、非绩优、主管。

在本发明的至少一个实施例中，所述预处理单元110对接收的标签文本进行预处理，得到待处理文本包括：

识别所述标签文本中的英文字母，并对所述英文字母进行规范化处理，得到第一文本；

识别并删除所述第一文本中的指定类型的字符，得到第二文本；

采用结巴分词算法切分所述第二文本，并在切分后得到的分词间插入空格，得到第三文本；

调用预先配置的词典对所述第三文本进行词语转化，得到第四文本；

对所述第四文本进行去重处理，得到所述待处理文本。

在本实施例中，所述对所述英文字母进行规范化处理包括：

将所述英文字母统一为大写字母或者小写字母。

可以理解的是，大多数时候，无论字母是大写还是小写，所表达的含义都是一样的，因此，本实施例首先对英文字母进行规范化处理，避免对字母含义的误识别。

在本实施例中，所述指定类型的字符可以包括，但不限于以下一种或者多种字符的组合：

标点符号、预先配置的特殊字符（如：※等）、预先定义的停用词（如：对于金融领域内的培训，“银行”一词由于本身代表着金融领域，没必要重复提取，因此，可以将“银行”定义为所述停用词）、单个字符（如：本身不具备意义的“的”）。

其中，所述预先配置的词典中可以存储常见错词、同音易错词以及近似词汇，用于解决笔误等造成的错误。

通过上述实施方式，首先对接收到的标签文本进行预处理，在规范了文本的同时减少了字符的冗余度，提高数据处理的速度及效果。

构建单元111根据所述待处理文本构建至少一个词语序列。

例如：将每个类别对应的文本整合成一个文档，具体地，将类别标签相同的所有文本以空格相连，当有优才、普才、绩优、非绩优、主管五种类别的代理人时，可以得到5个词语序列，每个词语序列包含1类代理人的全部有效的文本，如代理人的搜索内容。

计算单元112根据所述至少一个词语序列计算词频矩阵。

在本实施例中，所述词频矩阵为TF（Term Frequency）矩阵。

其中，TF=某词出现次数/总词数。

例如：假设全部有效词语个数为n，类别为m，则TF矩阵的大小为m行*n列。其中，矩阵中的每个元素

代表第j个词在第i类人群的文本中出现的次数。

归一化单元113对所述词频矩阵进行行归一化处理，得到第一矩阵，并对所述词频矩阵进行列归一化处理，得到第二矩阵。

需要说明的是，为了消除奇异样本数据导致的不良影响，本实施例进一步对所述词频矩阵的行和列分别进行归一化处理。

在本实施例中，所述对所述词频矩阵进行行归一化处理，得到第一矩阵包括：

计算所述词频矩阵中每行的模；

对于所述词频矩阵中的每个元素，从每行的模中提取出与每个元素对应的模；

计算每个元素与对应的模的商作为每个元素进行行归一化处理后得到的元素；

将所述词频矩阵中的每个元素替换为进行行归一化处理后得到的元素，得到所述第一矩阵。

在对所述词频矩阵进行行归一化处理后，得到的所述第一矩阵中的每个元素为：

其中，

表示所述第一矩阵中第i行、第j列的元素，

表示所述词频矩阵中第i行、第j列的元素，

表示所述词频矩阵中第i行的行向量，n表示所述词频矩阵的列数，i、j、n为正整数。

通过上述实施方式，能够对所述词频矩阵进行行归一化处理。

进一步地，所述对所述词频矩阵进行列归一化处理，得到第二矩阵包括：

获取所述词频矩阵的行数；

计算所述词频矩阵中的每个元素与所述词频矩阵的行数的商作为每个元素对应的第一数值；

对所述第一数值进行求和运算，得到第一和值；

计算每个元素与所述第一和值的商作为每个元素进行列归一化处理后得到的元素；

将所述词频矩阵中的每个元素替换为进行列归一化处理后得到的元素，得到所述第二矩阵。

在对所述词频矩阵进行列归一化处理后，得到的所述第二矩阵中的每个元素为：

其中，

表示所述第二矩阵中第i行、第j列的元素，

表示所述词频矩阵中第j列的列向量，

表示所述词频矩阵的行数，m为正整数。

通过上述实施方式，能够对所述词频矩阵进行列归一化处理。

所述计算单元112根据所述第二矩阵计算概率矩阵。

在本发明的至少一个实施例中，所述概率矩阵中的每个元素为：

其中，

表示所述概率矩阵中第i行、第j列的元素。

需要说明的是，分子中添加1/m项，是为了避免后续对数计算中出现

的情况；分母中添加1，是为了确保每一列（即每个词）的概率之和为1。

所述计算单元112根据所述概率矩阵构建信息熵向量，并计算所述信息熵向量的逆信息熵向量。

在本发明的至少一个实施例中，所述根据所述概率矩阵构建信息熵向量，并计算所述信息熵向量的逆信息熵向量包括：

计算所述概率矩阵中每个元素的对数值；

计算每个元素的对数值与对应元素的乘积作为第二数值；

对所述第二数值进行求和运算，得到第二和值；

根据所述第二和值的负数构建所述信息熵向量；

根据所述信息熵向量的倒数构建所述逆信息熵向量。

所述信息熵向量中的每个元素为：

其中，

表示所述信息熵向量中的第j个元素；

所述信息熵向量的逆信息熵向量中的每个元素为：

其中，

表示所述逆信息熵向量中的第j个元素。

需要说明的是，由于信息熵是用来衡量事件发生的不确定性的指标，词语在不同类别人群中出现的概率越平均，不确定性也就越高，对其取倒数后数值就越小。

具体而言，当一个词只在个别类中大量出现，而在其他类中出现次数非常少时，则说明这个词的不确定性小，也就是信息熵小，对其取倒数后数值则较大。

所述计算单元112计算所述第一矩阵及所述逆信息熵向量的乘积，得到词权重矩阵。

在本发明的至少一个实施例中，所述计算所述第一矩阵及所述逆信息熵向量的乘积，得到词权重矩阵包括：

计算所述第一矩阵中的每个元素与所述逆信息熵向量中每个元素的乘积，得到所述词权重矩阵的每个元素；

根据所述词权重矩阵的每个元素构建所述词权重矩阵。

所述词权重矩阵的每个元素为：

其中，

表示所述词权重矩阵中第i行、第j列的元素。

在本实施例中，所述词权重矩阵中的每个元素即为对应的词的词权重。

需要说明的是，在关键词提炼技术领域，通常采用TF-IDF（term frequency–inverse document frequency）进行关键词提取。其中，IDF=lg（总文章数/出现某个词的文章数）。

TF-IDF被用来评估一个词对一个文档的重要程度，其随着一个词在文档中出现的次数（TF）上升而上升，同时随着其在文档库中出现频率（IDF）的上升而下降。可以看出，IDF的作用在于弱化常用词的权重，并提升仅在少量文本中出现，能够突显文本类别差异化的词汇的热度。

但是，在如寿险代理人培训的实际场景中，为了实现归纳五类代理人（绩优、非绩优、主管等）的差异化培训诉求的目的，需要将每类代理人的搜索文本预先整合成长文本，也就是获取5个文档组成文本库，进而找出具有文档类别（人群）区分能力的差异化热词。而由于IDF只考虑出现某词的文档个数，即便1个主管类人群特有的热词只在其他类人群中各出现一次，采用TF-IDF方法也会因为这个词在每个文档中都出现过而把这个词当作“常用词”对待，并给予一个小的IDF值，进而降低了其在主管类词汇中的权重。尤其在本文提到的文档数（人群数）少，且文本语言环境类似的场景下，IDF非常容易失效，难以起到发掘差异化关键词的作用。

因此，为了解决上述问题，不同于传统的TF-IDF方法，本实施例采用逆信息熵向量InEnt向量取代了传统TF-IDF中的IDF向量，来对归一化后的得到的第一矩阵进行词权重的调整，当一个词只在个别类中大量出现，而在其他类中出现次数非常少时，不会弱化其权重，避免误判，且具有较高的可解释性。

即：由于IDF方法只考虑出现词语的文档数量，不具备任何噪音纠错能力，对所有词语没有做权重区分。而基于信息熵的InEnt方法依然可以根据词语在各类人群中的分布稳定性找出常用词，并给予其一个比较低的权重。由于IDF的失效，TF-IDF方法在增加噪音的数据中无法发挥作用，而本实施例中采用InEnt代替IDF，一方面能够在数据质量较高的情况下复制TF-IDF的效果，另一方面能够有效处理掺杂噪音的数据，并挖掘出具有类别区分能力的关键词，有效修正了传统TF-IDF的类别区分能力失效问题。

提取单元114根据所述词权重矩阵提取目标关键词。

在本发明的至少一个实施例中，所述提取单元114根据所述词权重矩阵提取目标关键词包括：

将所述词权重矩阵中的每个元素按照词权重由高到低的顺序进行排序，并获取排在前预设位的元素对应的词作为所述目标关键词；或者

从所述词权重矩阵中获取大于或者等于配置阈值的元素，并将获取的元素对应的词作为所述目标关键词。

其中，所述预设位及所述配置阈值可以进行自定义配置，本发明不限制。

需要说明的是，为了进一步保证数据的安全性，可以将目标关键词部署于区块链，以避免数据被恶意篡改。

由以上技术方案可以看出，本发明能够对接收的标签文本进行预处理，得到待处理文本，对接收到的标签文本进行预处理，在规范了文本的同时减少了字符的冗余度，提高数据处理的速度及效果，根据所述待处理文本构建至少一个词语序列，根据所述至少一个词语序列计算词频矩阵，对所述词频矩阵进行行归一化处理，得到第一矩阵，并对所述词频矩阵进行列归一化处理，得到第二矩阵，以消除奇异样本数据导致的不良影响，根据所述第二矩阵计算概率矩阵，根据所述概率矩阵构建信息熵向量，并计算所述信息熵向量的逆信息熵向量，计算所述第一矩阵及所述逆信息熵向量的乘积，得到词权重矩阵，采用逆信息熵向量，一方面能够在数据质量较高的情况下复制TF-IDF的效果，另一方面能够有效处理掺杂噪音的数据，并挖掘出具有类别区分能力的关键词，有效修正了传统TF-IDF的类别区分能力失效问题，进而避免误判，且具有较高的可解释性，根据所述词权重矩阵提取目标关键词，实现自动且准确地关键词提取。

如图3所示，是本发明实现基于信息熵的关键词提取方法的较佳实施例的电子设备的结构示意图。

所述电子设备1可以包括存储器12、处理器13和总线，还可以包括存储在所述存储器12中并可在所述处理器13上运行的计算机程序，例如基于信息熵的关键词提取程序。

本领域技术人员可以理解，所述示意图仅仅是电子设备1的示例，并不构成对电子设备1的限定，所述电子设备1既可以是总线型结构，也可以是星形结构，所述电子设备1还可以包括比图示更多或更少的其他硬件或者软件，或者不同的部件布置，例如所述电子设备1还可以包括输入输出设备、网络接入设备等。

需要说明的是，所述电子设备1仅为举例，其他现有的或今后可能出现的电子产品如可适应于本发明，也应包含在本发明的保护范围以内，并以引用方式包含于此。

其中，存储器12至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器（例如：SD或DX存储器等）、磁性存储器、磁盘、光盘等。存储器12在一些实施例中可以是电子设备1的内部存储单元，例如该电子设备1的移动硬盘。存储器12在另一些实施例中也可以是电子设备1的外部存储设备，例如电子设备1上配备的插接式移动硬盘、智能存储卡（Smart Media Card, SMC）、安全数字（Secure Digital, SD）卡、闪存卡（Flash Card）等。进一步地，存储器12还可以既包括电子设备1的内部存储单元也包括外部存储设备。存储器12不仅可以用于存储安装于电子设备1的应用软件及各类数据，例如基于信息熵的关键词提取程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。

处理器13在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器（Central Processing unit，CPU）、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。处理器13是所述电子设备1的控制核心（Control Unit），利用各种接口和线路连接整个电子设备1的各个部件，通过运行或执行存储在所述存储器12内的程序或者模块（例如执行基于信息熵的关键词提取程序等），以及调用存储在所述存储器12内的数据，以执行电子设备1的各种功能和处理数据。

所述处理器13执行所述电子设备1的操作系统以及安装的各类应用程序。所述处理器13执行所述应用程序以实现上述各个基于信息熵的关键词提取方法实施例中的步骤，例如图1所示的步骤。

示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器12中，并由所述处理器13执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述电子设备1中的执行过程。例如，所述计算机程序可以被分割成预处理单元110、构建单元111、计算单元112、归一化单元113、提取单元114。

上述以软件功能模块的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机、计算机设备，或者网络设备等）或处理器（processor）执行本发明各个实施例所述基于信息熵的关键词提取方法的部分。

所述电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指示相关的硬件设备来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。

其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-Only Memory）、随机存取存储器等。

进一步地，计算机可读存储介质可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据区块链节点的使用所创建的数据等。

本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性（防伪）和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。

总线可以是外设部件互连标准（peripheral component interconnect，简称PCI）总线或扩展工业标准结构（extended industry standard architecture，简称EISA）总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，在图3中仅用一根直线表示，但并不表示仅有一根总线或一种类型的总线。所述总线被设置为实现所述存储器12以及至少一个处理器13等之间的连接通信。

尽管未示出，所述电子设备1还可以包括给各个部件供电的电源（比如电池），优选地，电源可以通过电源管理装置与所述至少一个处理器13逻辑相连，从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备1还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。

进一步地，所述电子设备1还可以包括网络接口，可选地，所述网络接口可以包括有线接口和/或无线接口（如WI-FI接口、蓝牙接口等），通常用于在该电子设备1与其他电子设备之间建立通信连接。

可选地，该电子设备1还可以包括用户接口，用户接口可以是显示器（Display）、输入单元（比如键盘（Keyboard）），可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED（Organic Light-Emitting Diode，有机发光二极管）触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备1中处理的信息以及用于显示可视化的用户界面。

应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。

图3仅示出了具有组件12-13的电子设备1，本领域技术人员可以理解的是，图3示出的结构并不构成对所述电子设备1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。

结合图1，所述电子设备1中的所述存储器12存储多个指令以实现一种基于信息熵的关键词提取方法，所述处理器13可执行所述多个指令从而实现：

对接收的标签文本进行预处理，得到待处理文本；

根据所述待处理文本构建至少一个词语序列；

根据所述至少一个词语序列计算词频矩阵；

对所述词频矩阵进行行归一化处理，得到第一矩阵，并对所述词频矩阵进行列归一化处理，得到第二矩阵；

根据所述第二矩阵计算概率矩阵；

根据所述概率矩阵构建信息熵向量，并计算所述信息熵向量的逆信息熵向量；

计算所述第一矩阵及所述逆信息熵向量的乘积，得到词权重矩阵；

根据所述词权重矩阵提取目标关键词。

具体地，所述处理器13对上述指令的具体实现方法可参考图1对应实施例中相关步骤的描述，在此不赘述。

在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。

因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。

此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。本发明中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一、第二等词语用来表示名称，而并不表示任何特定的顺序。

最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (9)

1.一种基于信息熵的关键词提取方法，其特征在于，所述基于信息熵的关键词提取方法包括：

对接收的标签文本进行预处理，得到待处理文本；

根据所述待处理文本构建至少一个词语序列；

根据所述至少一个词语序列计算词频矩阵；

对所述词频矩阵进行行归一化处理，得到第一矩阵，并对所述词频矩阵进行列归一化处理，得到第二矩阵；

根据所述第二矩阵计算概率矩阵，所述概率矩阵中的每个元素为：

其中，p[i,j]表示所述概率矩阵中第i行、第j列的元素；m表示所述词频矩阵的行数；y[i,j]表示所述第二矩阵中第i行、第j列的元素；i、j、m为正整数；

根据所述概率矩阵构建信息熵向量，并计算所述信息熵向量的逆信息熵向量；

计算所述第一矩阵及所述逆信息熵向量的乘积，得到词权重矩阵；

根据所述词权重矩阵提取目标关键词。

2.如权利要求1所述的基于信息熵的关键词提取方法，其特征在于，所述对接收的标签文本进行预处理，得到待处理文本包括：

识别所述标签文本中的英文字母，并对所述英文字母进行规范化处理，得到第一文本；

识别并删除所述第一文本中的指定类型的字符，得到第二文本；

采用结巴分词算法切分所述第二文本，并在切分后得到的分词间插入空格，得到第三文本；

调用预先配置的词典对所述第三文本进行词语转化，得到第四文本；

对所述第四文本进行去重处理，得到所述待处理文本。

3.如权利要求1所述的基于信息熵的关键词提取方法，其特征在于，所述对所述词频矩阵进行行归一化处理，得到第一矩阵包括：

计算所述词频矩阵中每行的模；

对于所述词频矩阵中的每个元素，从每行的模中提取出与每个元素对应的模；

计算每个元素与对应的模的商作为每个元素进行行归一化处理后得到的元素；

将所述词频矩阵中的每个元素替换为进行行归一化处理后得到的元素，得到所述第一矩阵。

4.如权利要求1所述的基于信息熵的关键词提取方法，其特征在于，所述对所述词频矩阵进行列归一化处理，得到第二矩阵包括：

获取所述词频矩阵的行数；

计算所述词频矩阵中的每个元素与所述词频矩阵的行数的商作为每个元素对应的第一数值；

对所述第一数值进行求和运算，得到第一和值；

计算每个元素与所述第一和值的商作为每个元素进行列归一化处理后得到的元素；

将所述词频矩阵中的每个元素替换为进行列归一化处理后得到的元素，得到所述第二矩阵。

5.如权利要求1所述的基于信息熵的关键词提取方法，其特征在于，所述根据所述概率矩阵构建信息熵向量，并计算所述信息熵向量的逆信息熵向量包括：

计算所述概率矩阵中每个元素的对数值；

计算每个元素的对数值与对应元素的乘积作为第二数值；

对所述第二数值进行求和运算，得到第二和值；

根据所述第二和值的负数构建所述信息熵向量；

根据所述信息熵向量的倒数构建所述逆信息熵向量。

6.如权利要求1所述的基于信息熵的关键词提取方法，其特征在于，所述计算所述第一矩阵及所述逆信息熵向量的乘积，得到词权重矩阵包括：

计算所述第一矩阵中的每个元素与所述逆信息熵向量中每个元素的乘积，得到所述词权重矩阵的每个元素；

根据所述词权重矩阵的每个元素构建所述词权重矩阵。

7.一种基于信息熵的关键词提取装置，其特征在于，所述基于信息熵的关键词提取装置包括：

预处理单元，用于对接收的标签文本进行预处理，得到待处理文本；

构建单元，用于根据所述待处理文本构建至少一个词语序列；

计算单元，用于根据所述至少一个词语序列计算词频矩阵；

归一化单元，用于对所述词频矩阵进行行归一化处理，得到第一矩阵，并对所述词频矩阵进行列归一化处理，得到第二矩阵；

所述计算单元，还用于根据所述第二矩阵计算概率矩阵，所述概率矩阵中的每个元素为：

其中，p[i,j]表示所述概率矩阵中第i行、第j列的元素；m表示所述词频矩阵的行数；y[i,j]表示所述第二矩阵中第i行、第j列的元素；i、j、m为正整数；

所述计算单元，还用于根据所述概率矩阵构建信息熵向量，并计算所述信息熵向量的逆信息熵向量；

所述计算单元，还用于计算所述第一矩阵及所述逆信息熵向量的乘积，得到词权重矩阵；

提取单元，用于根据所述词权重矩阵提取目标关键词。

8.一种电子设备，其特征在于，所述电子设备包括：

存储器，存储至少一个指令；及

处理器，执行所述存储器中存储的指令以实现如权利要求1至6中任意一项所述的基于信息熵的关键词提取方法。

9.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质中存储有至少一个指令，所述至少一个指令被电子设备中的处理器执行以实现如权利要求1至6中任意一项所述的基于信息熵的关键词提取方法。

Images