CN110765300A - 一种基于emoji的语义解析方法 - Google Patents

Abstract

本发明公开了一种基于emoji的语义解析方法，所述方法包括步骤1：建立emoji表情符号文本数据采集与存储平台，采集含有emoji的文本内容进行分词处理，将emoji表情符号作为单个词组处理；步骤2：将采集到的文本数据划分为训练集和测试集；步骤3：建立算法模型，对步骤2所划分好的数据进行训练得出语义解析模型，将语义解析模型应用于新采集的文本中即可得出文本内的emoji表情符号的予以解析结果。很好的解决了现有技术中Unicode码表识别智能区分出emoji表情符号不能识别出具体含义，emoji表情符号与释义对照表不能准确构成一个可以理解的词组的问题。

Description

一种基于emoji的语义解析方法

技术领域

本发明涉及emoji解析、语义分析领域，具体的说，是一种基于emoji的语义解析方法。

背景技术

emoji，即绘文字，是日本在无线通信中所使用的视觉情感符号，绘指图画，文字指的则是字符，可用来代表多种表情，如笑脸表示笑、蛋糕表示食物等，后来逐渐流行与网络与手机用户群体。Unicode是国际组织制定的可以容纳世界上所有文字和符号的字符编码方案，emoji在Unicode编码中范围为E63E到E757，有固定的特征值表征emoji字符。

随着网络的逐渐普及，越来越多的网络用户在论坛或通讯软件中适用emoji表情符号，更有用户使用纯emoji表情符号编写文本内容，如果信息接收者对于emoji表情符号不熟悉，则不能获取到正确的信息，或只能猜测出部分信息。

现今emoji表情符号在网络论坛及通讯软件上的运用越来越广泛，对于信息接收者而言，如果对emoji表情符号不是特别熟悉，则不能对接收到的文本信息进行正确的释义，或者只能依靠个人对emoji表情符号的理解猜测出具体含义；特别是由多个emoji表情符号组成的内容，由于发送者可能会用到谐音或者联想等方式组合emoji表情符号，翻查码表或是emoji释义对照表往往不能得到准确的释义。

为了使用户能够更准确的理解当前语境中emoji表情符号表达的含义，我们使用该方法将文本中的emoji表情符号翻译成可理解的文本内容。

现有emoji识别方法主要有两类：

Unicode码表识别，好处是可以识别文本中的emoji表情符号以及对应的Unicode码，缺陷就是只能区分出emoji表情符号，不能识别出具体含义。

emoji表情符号与释义对照表，好处是可以比对单个emoji表情符号的含义，缺陷就是对多个emoji表情符号组成的词组，释义对照表比对出的结果，不能准确构成一个可以理解的词组。

发明内容

本发明的目的在于提供一种基于emoji的语义解析方法，用于解决现有技术中Unicode码表识别智能区分出emoji表情符号不能识别出具体含义，emoji表情符号与释义对照表不能准确构成一个可以理解的词组的问题。

本发明通过下述技术方案解决上述问题：

一种基于emoji的语义解析方法，所述方法包括如下步骤：

步骤1：建立emoji表情符号文本数据采集与存储平台，采集含有emoji的文本内容进行分词处理，将emoji表情符号作为单个词组处理；

步骤2：将采集到的文本数据划分为训练集和测试集；

步骤3：建立算法模型，对步骤2所划分好的数据进行训练得出语义解析模型，将语义解析模型应用于新采集的文本中即可得出文本内的emoji表情符号的予以解析结果。

优选地，所述步骤1通过爬虫技术爬取各互联网论坛的发言贴文本数据，从而建立emoji表情符号文本数据采集与存储平台。

优选地，所述测试集为释义好的包含emoji表情符号的文本片段，训练集为待释义的emoji表情符号文本片段，测试集为采集数据量随机抽取的20％。

优选地，所述步骤3对样本的训练包括如下步骤：

步骤3.1：将训练集中的emoji表情符号提取出来，并标记其在原文本所在位置，emoji表情符号在Unicode编码汇中有特定编码范围与格式，通过构造正则表达式可以筛选出文本中出现的emoji表情符号；

步骤3.2：利用相关系数公式计算出步骤1所得分词结果的前后词组间相关系数，相关系数越大，说明词组组合出现的频次越多；

步骤3.3：用含emoji表情符号的结果，比对不含emoji表情符号文本的结果中使用相同前后词组的文本，找出该emoji表情符号可能的释义结果A；用该结果集与该emoji表情符号释义对照表里结果集B比对，通过词频[w1]、词性[w2]、读音[w3]、词义[w4]等维度训练BP神经网络，找出A、B两个结果集中元素最匹配的结果作为该emoji表情符号在此段文本片段内的释义词组，得到最佳权重组合[w1,w2,w3,w4]；

步骤4：将训练集的模型结果应用到测试集中，比对模型产出结果与测试集人工给出结果，调整权重组合[w1,w2,w3,w4]得到最终的训练模型。

优选地，所述步骤3.1中，通过正则表达式对emoji表情符号进行提取。

本发明与现有技术相比，具有以下优点及有益效果：

本发明利用了大量用户使用emoji的历史数据和文本数据，给出emoji表情符号在文本中最可能的释义结果，降低信息接收者对emoji表情符号的理解难度。另外，由于emoji是一种全球流行的且有专门机构管理的标准化的符号语言，利用本发明，不同国家和地区的用户可以更轻松方便的使用emoji表情符号。很好的解决了现有技术中Unicode码表识别智能区分出emoji表情符号不能识别出具体含义，emoji表情符号与释义对照表不能准确构成一个可以理解的词组的问题。

附图说明

图1为本发明的基于emoji的语义解析方法流程示意图。

具体实施方式

下面结合实施例对本发明作进一步地详细说明，但本发明的实施方式不限于此。

实施例1：

结合附图1所示，一种基于emoji的语义解析方法，所述方法包括如下步骤：

步骤1：通过爬虫技术爬取各互联网论坛的发言贴文本数据，建立emoji表情符号文本数据采集与存储平台，采集含有emoji的文本内容进行分词处理，将emoji表情符号作为单个词组处理；

步骤2：将采集到的文本数据划分为训练集和测试集，测试集为释义好的包含emoji表情符号的文本片段，训练集为待释义的emoji表情符号文本片段，测试集为采集数据量随机抽取的20％；

步骤3：建立算法模型，对步骤2所划分好的数据进行训练得出语义解析模型，将语义解析模型应用于新采集的文本中即可得出文本内的emoji表情符号的予以解析结果，包括如下步骤：

步骤3.1：将训练集中的emoji表情符号通过正则表达式提取出来，并标记其在原文本所在位置，emoji表情符号在Unicode编码汇中有特定编码范围与格式，通过构造正则表达式可以筛选出文本中出现的emoji表情符号；

步骤3.2：利用相关系数公式计算出步骤1所得分词结果的前后词组间相关系数，相关系数越大，说明词组组合出现的频次越多；

步骤3.3：用含emoji表情符号的结果，比对不含emoji表情符号文本的结果中使用相同前后词组的文本，找出该emoji表情符号可能的释义结果A；用该结果集与该emoji表情符号释义对照表里结果集B比对，通过词频[w1]、词性[w2]、读音[w3]、词义[w4]等维度训练BP神经网络，找出A、B两个结果集中元素最匹配的结果作为该emoji表情符号在此段文本片段内的释义词组，得到最佳权重组合[w1,w2,w3,w4]；

步骤4：将训练集的模型结果应用到测试集中，比对模型产出结果与测试集人工给出结果，调整权重组合[w1,w2,w3,w4]得到最终的训练模型。

实施上述方法，其过程如下：

第1步：首先从网络论坛、微博上爬取包含emoji表情符号的文本，并进行以下预处理：

1.1、根据Unicode编码格式，设计检测emoji表情符号的正则表达式，并使用该表达式检测爬取文本内的emoji表情符号，标记emoji表情符号在文本内的位置信息；

1.2、对文本内容切词，根据语法规则排列，用特殊符号替换emoji表情符号；

第2步：准备训练集和测试集，训练集为包含待释义的emoji表情符号的文本，测试集为人工释义后的含emoji表情符号文本；

第3步：搭建emoji表情符号释义算法模型：

3.1.建立emoji表情符合对应的可选词汇集合，包含emoji原始释义词汇、联想词汇、谐音词汇等；

3.2.将以上词汇集合，分别代入文本中，依据语法特征，计算出每种释义词汇组合的特征值，用于训练学习模型；

3.3利用训练得到的模型，对测试集进行测试，得到测试集里emoji表情符号最佳释义词组，与测试集中人为设定的释义词组比对，计算准确率，准确率达不到设定标准的，调整模型参数后，用训练集继续训练，直至准确率达到设定标准，得到最终的语义解析模型；

第4步：持续爬取新的包含emoji表情符号的文本数据，重复以上三步，得到emoji表情符号新的使用方法和对应的释义词组。

尽管这里参照本发明的解释性实施例对本发明进行了描述，上述实施例仅为本发明较佳的实施方式，本发明的实施方式并不受上述实施例的限制，应该理解，本领域技术人员可以设计出很多其他的修改和实施方式，这些修改和实施方式将落在本申请公开的原则范围和精神之内。

Claims (5)

1.一种基于emoji的语义解析方法，其特征在于，所述方法包括如下步骤：

步骤1：建立emoji表情符号文本数据采集与存储平台，采集含有emoji的文本内容进行分词处理，将emoji表情符号作为单个词组处理；

步骤2：将采集到的文本数据划分为训练集和测试集；

步骤3：建立算法模型，对步骤2所划分好的数据进行训练得出语义解析模型，将语义解析模型应用于新采集的文本中即可得出文本内的emoji表情符号的予以解析结果。

2.根据权利要求1所述基于emoji的语义解析方法，其特征在于，所述步骤1通过爬虫技术爬取各互联网论坛的发言贴文本数据，从而建立emoji表情符号文本数据采集与存储平台。

3.根据权利要求1所述基于emoji的语义解析方法，其特征在于，所述测试集为释义好的包含emoji表情符号的文本片段，训练集为待释义的emoji表情符号文本片段，测试集为采集数据量随机抽取的20％。

4.根据权利要求1所述基于emoji的语义解析方法，其特征在于，所述步骤3对样本的训练包括如下步骤：

步骤3.1：将训练集中的emoji表情符号提取出来，并标记其在原文本所在位置，emoji表情符号在Unicode编码汇中有特定编码范围与格式，通过构造正则表达式可以筛选出文本中出现的emoji表情符号；

步骤3.2：利用相关系数公式计算出步骤1所得分词结果的前后词组间相关系数，相关系数越大，说明词组组合出现的频次越多；

步骤3.3：用含emoji表情符号的结果，比对不含emoji表情符号文本的结果中使用相同前后词组的文本，找出该emoji表情符号可能的释义结果A；用该结果集与该emoji表情符号释义对照表里结果集B比对，通过词频[w1]、词性[w2]、读音[w3]、词义[w4]等维度训练BP神经网络，找出A、B两个结果集中元素最匹配的结果作为该emoji表情符号在此段文本片段内的释义词组，得到最佳权重组合[w1,w2,w3,w4]；

步骤4：将训练集的模型结果应用到测试集中，比对模型产出结果与测试集人工给出结果，调整权重组合[w1,w2,w3,w4]得到最终的训练模型。

5.根据权利要求1所述基于emoji的语义解析方法，其特征在于，所述步骤3.1中，通过正则表达式对emoji表情符号进行提取。