CN104951430B - 产品特征标签的提取方法及装置 - Google Patents
产品特征标签的提取方法及装置 Download PDFInfo
- Publication number
- CN104951430B CN104951430B CN201410119711.0A CN201410119711A CN104951430B CN 104951430 B CN104951430 B CN 104951430B CN 201410119711 A CN201410119711 A CN 201410119711A CN 104951430 B CN104951430 B CN 104951430B
- Authority
- CN
- China
- Prior art keywords
- word
- text
- matrix
- phrase
- frequency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种产品特征标签的提取方法及装置，包括有以下步骤：S1、抓取产品类型的所有评论并预设主题；S2、将同一主题的评论内容合并为一文本；S3、抽取出现次数最多的若干词语，以构成一常用词集合；S4、生成TF‑IDF矩阵；S5、从TF‑IDF矩阵的每一行抽取值最大的若干元素对应的词语；S6、将从TF‑IDF矩阵中抽取所得的全部词语集合在一起形成关键词集合；S7、从单独产品的全部评论中抽取包含有关键词集合中的词语的单独产品的特征标签。通过预设主题后再抽取词语组成常用词集合，进而通过TF‑IDF矩阵整理出关键词集合，优选出评论中的短语作为特征标签，降低了噪声干扰，使得产品的特征标签更为准确。
Description
技术领域
本发明涉及一种产品特征标签的提取方法及装置。
背景技术
目前，一般通过人工对用户发出的评论进行搜索后，整理并提取中间的某些短语作为产品的特征标签，这样的做法耗时较长，由于人工筛选通常带有较强的主观性，使得特征标签往往难以以最客观的形式来描述产品的特性。
有的方案采用直接使用文本挖掘技术提取标签，即通过词频等指标筛选出文本中的短语或词语作为产品的特征标签。但这样的方式往往噪声很高，使得特征标签的短语并非最优。
发明内容
本发明要解决的技术问题是为了克服现有技术的产品的特征标签噪声较大、主观性较强的缺陷，提供一种噪声更小、更客观的产品特征标签的提取方法及装置。
本发明是通过下述技术方案来解决上述技术问题：
一种产品特征标签的提取方法，其特点在于，其包括有以下步骤：
S1、抓取一产品类型的所有评论，所述评论预设有若干个主题；
S2、将同一主题的全部所述评论的内容合并为一文本；
S3、从每一所述文本抽取出现次数最多的若干词语，以构成一常用词集合。
此处，分别从不同主题所对应的文本中抽取出现次数最多的若干词语后构成常用词集合，相对于直接将所有评论合并后抽取出现次数最多的词语所形成的词语的集合，上述常用词集合噪音(也就是说起干扰作用的词)更少。
S4、生成一TF-IDF矩阵，所述TF-IDF矩阵的行对应每一所述文本，列对应全部所述
文本中的每一词语，所述TF-IDF矩阵中的每一元素的取值根据以下公式计算：
其中，e为TF-IDF矩阵中的元素的取值，n为该元素对应的所述词语在对应的所述文本中的出现次数，k为该元素对应的所述文本中的总词语数，a为所述TF-IDF矩阵的行数，b为所述TF-IDF矩阵中该元素对应的词语数不为0的行数。
TF-IDF矩阵的行数可以理解为文本的总数，即预设的主题数目。而TF-IDF矩阵中该元素对应的词语数不为0的行数可以理解为包含有元素对应的词语的文本的数量。
此处，TF-IDF矩阵中的元素的取值(即TF-IDF值)等于标准化词频乘以逆文档频率，标准化词频的定义为某个词在文章中出现的次数除以该文章的总词数，而逆文档频率则为log(文章总数/包含该词的文章数)。
通过计算得出的元素取值所对应的词语在文本通常为一句话所修饰和描述的对象(例如，学术论文的关键词等)。
S5、从所述TF-IDF矩阵的每一行中抽取值最大的若干元素对应的所述词语；
S6、将从所述TF-IDF矩阵中抽取所得的全部所述词语集合在一起形成一关键词集合。
此处，S5和S6与S3中一样，由于区分了主题(每个主题对应的文本均对应TF-IDF中的一行)，因此噪声也相应的减小了。
S7、从一单独产品的全部评论中抽取包含有所述关键词集合中的词语的一短语作为所述单独产品的特征标签，所述短语为文本中由分隔符分隔形成的文字段。
较佳的，所述S7分为以下步骤：
S701、将所述产品类型中的每一产品的所有评论分别合并成一第二文本；
S702、生成一第二词频矩阵，所述第二词频矩阵的行对应每一所述第二文本，列对应全部所述常用词集合中的词语，元素的取值为每一列所对应的词语在每一行所对应的所述第二文本中的出现次数；
S703、生成一第二TF-IDF矩阵，所述第二TF-IDF矩阵的行对应每一所述第二文本，列对应全部所述第二文本中的每一词语，所述第二TF-IDF矩阵中的每一元素的取值根据以下公式计算：
其中，e2为第二TF-IDF矩阵中的元素的取值，n2为该元素对应的所述词语在对应的所述第二文本中的出现次数，k2为该元素对应的所述第二文本中的总词语数，a2为所述第二TF-IDF矩阵的行数，b2为所述第二TF-IDF矩阵中该元素对应的词语数不为0的行数。
也就是说，第二词频矩阵和第二TF-IDF矩阵的行和列与前面第一TF-IDF矩阵是不同的，因为第二文本对应的是不同产品的评论，而S2中的文本对应的是不同主题的评论。
S704、从所述单独产品所对应的所述第二词频矩阵和所述第二TF-IDF矩阵的行中，分别抽取对应的元素取值最大且属于所述关键词集合的若干个词语，并将抽取的所有词语合并形成一产品关键词集合。
此处，这样的方案是为了进一步减少噪声。
S705、将所述单独产品所对应的所述第二文本按照分隔符拆分成若干个短语。
此处，分隔符是指的逗号句号等可以分断语义的标点符号。
S706、从所述产品关键词集合中选取一个词语作为关键词，从所述若干个短语中筛选出包含有所述关键词的短语，从筛选出的所述短语中选出一与其余短语共有词语最多的短语作为所述关键词对应的特征标签。
也就是说，经过前面的步骤，关键词集合中的词语已经具有较强代表性。而含有关键词集合中词语的短语逐个对比，所得出的共有词语最多的短语往往为短语中能较好描述单独产品特征的短语。
S707、重复S706得出所有关键词所对应的特征标签；
S708、将所述特征标签存储至数据库。
较佳的，所述S706为：
从所述产品关键词集合中选取一个词语作为关键词，从所述若干个短语中筛选出包含有所述关键词的短语，将筛选出的所述短语组成一短语词频矩阵，所述短语词频矩阵的行对应每一所述短语，且列对应全部所述短语中的每一词语，元素的取值为全部所述短语中的每一词语的出现次数，根据所述短语词频矩阵的每一行的元素值的平方和，得出一与其余短语的余弦相似性之和最小的短语作为所述关键词对应的特征标签。
此处，利用短语与短语之间的余弦相似性，更为精确的选择出了更具代表性的短语。余弦相似性是一种统计方法，以下结合S706中的方法，举例说明余弦相似性的计算方法：
从产品关键词集合中选取“风格”一词作为关键词，从由第二文本按分隔符拆分成若干个短语中筛选出三个包含有“风格”一词的短语(x、y、z)，列出短语词频矩阵对应的列表如下：
表1短语词频矩阵对应的列表
根据短语x和短语y在每一行的元素值的平方和得：
sin(x,y)＝0.8164966
distance(x,y)＝1-sin(x,y)＝0.1835034
其中，distance(x,y)为短语x与短语y的余弦相似性。
依次类推得出短语x、y、z之间的余弦相似性如下表：
表2短语x、y、z之间的余弦相似性
| x | y | z | |
| x | 0 | 0.183503 | 0.666667 |
| y | 0.183503 | 0 | 0.591752 |
| z | 0.666667 | 0.591752 | 0 |
最终得出余弦相似性之和最小的为y短语，再将y短语作为该单独产品的特征标签。以上仅为举例，在数据量更为庞大的情况下采用矩阵的方式进行余弦相似性的计算，可以使得计算过程更为直观和方便。
较佳的，所述S3为：从每一所述文本抽取出现次数最多的若干词语并舍去停止词后，构成一常用词集合。
本发明还提供一种产品特征标签的提取装置，其特点在于，其包括有：一评论抓取模块、一评论合并模块、一常用词集合生成模块、一TF-IDF矩阵生成模块、一TF-IDF矩阵元素抽取模块、一关键词集合生成模块和一特征标签生成模块；
所述评论抓取模块用于抓取一产品类型的所有评论，所述评论预设有若干个主题；
所述评论合并模块用于将同一主题的全部所述评论的内容合并为一文本；
所述常用词集合生成模块用于从每一所述文本抽取出现次数最多的若干词语，以构成一常用词集合；
所述TF-IDF矩阵生成模块用于生成一TF-IDF矩阵，所述TF-IDF矩阵的行对应每一所述文本，列对应全部所述文本中的每一词语，所述TF-IDF矩阵中的每一元素的取值根据以下公式计算：
其中，e为TF-IDF矩阵中的元素的取值，n为该元素对应的所述词语在对应的所述文本中的出现次数，k为该元素对应的所述文本中的总词语数，a为所述TF-IDF矩阵的行数，b为所述TF-IDF矩阵中该元素对应的词语数不为0的行数；
所述TF-IDF矩阵元素抽取模块用于从所述TF-IDF矩阵的每一行中抽取值最大的若干元素对应的所述词语；
所述关键词集合生成模块用于将从所述TF-IDF矩阵中抽取所得的全部所述词语集合在一起形成一关键词集合；
所述特征标签生成模块用于从一单独产品的全部评论中抽取包含有所述关键词集合中的词语的一短语作为所述单独产品的特征标签，所述短语为文本中由分隔符分隔形成的文字段。
较佳的，所述特征标签生成模块包括有：一第二文本生成模块、一第二词频矩阵生成模块、一第二TF-IDF矩阵生成模块、一产品关键词集合生成模块、一第二文本拆分模块、一特征标签筛选模块和一数据库；
所述第二文本生成模块用于将所述产品类型中的每一产品的所有评论分别合并成一第二文本；
所述第二词频矩阵生成模块用于生成一第二词频矩阵，所述第二词频矩阵的行对应每一所述第二文本，列对应全部所述常用词集合中的词语，元素的取值为每一列所对应的词语在每一行所对应的所述第二文本中的出现次数；
所述第二TF-IDF矩阵生成模块用于生成一第二TF-IDF矩阵，所述第二TF-IDF矩阵的行对应每一所述第二文本，列对应全部所述第二文本中的每一词语，所述第二TF-IDF矩阵中的每一元素的取值根据以下公式计算：
其中，e2为第二TF-IDF矩阵中的元素的取值，n2为该元素对应的所述词语在对应的所述第二文本中的出现次数，k2为该元素对应的所述第二文本中的总词语数，a2为所述第二TF-IDF矩阵的行数，b2为所述第二TF-IDF矩阵中该元素对应的词语数不为0的行数；
所述产品关键词集合生成模块用于从所述单独产品所对应的所述第二词频矩阵和所述第二TF-IDF矩阵的行中，分别抽取对应的元素取值最大且属于所述关键词集合的若干个词语，并将抽取的所有词语合并形成一产品关键词集合；
所述第二文本拆分模块用于将所述单独产品所对应的所述第二文本按照分隔符拆分成若干个短语；
所述特征标签筛选模块用于从所述产品关键词集合中选取一个词语作为关键词，从所述若干个短语中筛选出包含有所述关键词的短语，从筛选出的所述短语中选出一与其余短语共有词语最多的短语作为所述关键词对应的特征标签，进而重复筛选得出所有关键词所对应的特征标签；
所述数据库用于存储所述特征标签。
较佳的，所述特征标签筛选模块用于从所述产品关键词集合中选取一个词语作为关键词，从所述若干个短语中筛选出包含有所述关键词的短语，将筛选出的所述短语组成一短语词频矩阵，所述短语词频矩阵的行对应每一所述短语，且列对应全部所述短语中的每一词语，元素的取值为全部所述短语中的每一词语的出现次数，根据所述短语词频矩阵的每一行的元素值的平方和，得出一与其余短语的余弦相似性之和最小的短语作为所述关键词对应的特征标签，进而重复筛选得出所有关键词所对应的特征标签。
较佳的，所述常用词集合生成模块用于从每一所述文本抽取出现次数最多的若干词语并舍去停止词后，构成一常用词集合。
本发明积极进步效果在于：通过预设若干个主题后再抽取词语组成常用词集合，进而通过TF-IDF矩阵整理出关键词集合，优选出评论中的短语作为特征标签，降低了噪声干扰，使得筛选得出的产品的特征标签更为准确。
附图说明
图1为本发明一较佳实施例的产品特征标签的提取方法的流程图。
图2为本发明一较佳实施例的产品特征标签的提取装置的示意图。
具体实施方式
下面举个较佳实施例，并结合附图来更清楚完整地说明本发明。
图1为本实施例的产品特征标签的提取方法的流程图，如图1所示，本实施例涉及的产品特征标签的提取方法包括有以下步骤：
步骤1、抓取一产品类型的所有评论，评论预设有若干个主题；
主题可以在收集评论的时候就先行确定，例如引导客户在主题一(物流评价)和主题二(与描述相符的程度)下分别评论。也可以通过其他的搜索手段确定。
步骤2、将同一主题的全部评论的内容合并为一文本；
步骤3、从每一所述文本抽取出现次数最多的若干词语(本实施例中抽取出现次数最多的前50％的词语)并舍去停止词后，构成一常用词集合；
此处，分别从不同主题所对应的文本中抽取出现次数最多的若干词语后构成常用词集合，相对于直接将所有评论合并后抽取出现次数最多的词语所形成的词语的集合，上述常用词集合噪音(也就是说起干扰作用的词)更少。
步骤4、生成一TF-IDF矩阵，TF-IDF矩阵的行对应每一文本，列对应全部文本中的
每一词语，TF-IDF矩阵中的每一元素的取值根据以下公式计算：
其中，e为TF-IDF矩阵中的元素的取值，n为该元素对应的词语在对应的文本中的出现次数，k为该元素对应的文本中的总词语数，a为TF-IDF矩阵的行数，b为TF-IDF矩阵中该元素对应的词语数不为0的行数；
此处，TF-IDF矩阵中的元素的取值(即TF-IDF值)等于标准化词频乘以逆文档频率，标准化词频的定义为某个词在文章中出现的次数除以该文章的总词数，而逆文档频率则为log(文章总数/包含该词的文章数)，将上述规整套用到本发明的技术方案中可以得出上述公式。
通过计算得出的元素取值所对应的词语在文本通常为一句话所修饰和描述的对象(例如，学术论文的关键词等)。
步骤5、从TF-IDF矩阵的每一行中抽取值最大的若干元素对应的词语(本实施例中抽取值最大的前30％的词语)；
步骤6、将从TF-IDF矩阵中抽取所得的全部词语集合在一起形成一关键词集合；
此处，步骤5和步骤6与步骤3中一样，由于区分了主题(每个主题对应的文本均对应TF-IDF中的一行)，因此噪声也相应的减小了。
步骤701、将产品类型中的每一产品的所有评论分别合并成一第二文本；
步骤702、生成一第二词频矩阵，第二词频矩阵的行对应每一第二文本，列对应全部常用词集合中的词语，元素的取值为每一列所对应的词语在每一行所对应的第二文本中的出现次数；
步骤703、生成一第二TF-IDF矩阵，第二TF-IDF矩阵的行对应每一第二文本，列对应全部第二文本中的每一词语，第二TF-IDF矩阵中的每一元素的取值根据以下公式计算：
其中，e2为第二TF-IDF矩阵中的元素的取值，n2为该元素对应的词语在对应的第二文本中的出现次数，k2为该元素对应的第二文本中的总词语数，a2为第二TF-IDF矩阵的行数，b2为第二TF-IDF矩阵中该元素对应的词语数不为0的行数；
也就是说，第二词频矩阵和第二TF-IDF矩阵的行和列与前面第一TF-IDF矩阵是不同的，因为第二文本对应的是不同产品的评论，而步骤2中的文本对应的是不同主题的评论。
步骤704、从单独产品所对应的第二词频矩阵和第二TF-IDF矩阵的行中，分别抽取对应的元素取值最大且属于关键词集合的若干个词语，并将抽取的所有词语合并形成一产品关键词集合，例如，从第二词频矩阵的一行(单独产品对应的一行，下同)中抽取元素取值最大的5个元素，再从第二TF-IDF矩阵的一行中抽取元素取值最大的5个元素，将二者对应的词语合并后，这一行对应的产品关键词集合中有5～10个词语(因为可能存在重复)。
此处，这样的方案是为了进一步减少噪声。
步骤705、将单独产品所对应的第二文本按照分隔符拆分成若干个短语；
此处，分隔符是指的逗号句号等可以分断语义的标点符号。
步骤706、从产品关键词集合中选取一个词语作为关键词，从若干个短语中筛选出包含有关键词的短语，将筛选出的短语组成一短语词频矩阵，短语词频矩阵的行对应每一短语，且列对应全部短语中的每一词语，元素的取值为全部短语中的每一词语的出现次数，根据短语词频矩阵的每一行的元素值的平方和，得出一与其余短语的余弦相似性之和最小的短语作为关键词对应的特征标签。
此处，利用短语与短语之间的余弦相似性，更为精确的选择出了更具代表性的短语。
步骤707、重复步骤706得出所有关键词所对应的特征标签；
步骤708、将特征标签存储至数据库。
图2为和本实施例的产品特征标签的提取方法相对应的提取装置的示意图，如图2所示，该提取装置包括有一评论抓取模块101、评论合并模块102、常用词集合生成模块103、TF-IDF矩阵生成模块104、TF-IDF矩阵元素抽取模块105、关键词集合生成模块106、第二文本生成模块107、第二词频矩阵生成模块108、第二TF-IDF矩阵生成模块109、产品关键词集合生成模块110、第二文本拆分模块111、特征标签筛选模块112和数据库113。
评论抓取模块101用于抓取一产品类型的所有评论，评论预设有若干个主题。
评论合并模块102用于将同一主题的全部评论的内容合并为一文本。
常用词集合生成模块103用于从每一文本抽取出现次数最多的若干词语并舍去停止词后，构成一常用词集合。
TF-IDF矩阵生成模块104用于生成一TF-IDF矩阵，TF-IDF矩阵的行对应每一文本，列对应全部文本中的每一词语，TF-IDF矩阵中的每一元素的取值根据以下公式计算：
其中，e为TF-IDF矩阵中的元素的取值，n为该元素对应的词语在对应的文本中的出现次数，k为该元素对应的文本中的总词语数，a为TF-IDF矩阵的行数，b为TF-IDF矩阵中该元素对应的词语数不为0的行数。
TF-IDF矩阵元素抽取模块105用于从TF-IDF矩阵的每一行中抽取值最大的若干元素对应的词语。
关键词集合生成模块106用于将从TF-IDF矩阵中抽取所得的全部词语集合在一起形成一关键词集合。
第二文本生成模块107用于将产品类型中的每一产品的所有评论分别合并成一第二文本。
第二词频矩阵生成模块108用于生成一第二词频矩阵，第二词频矩阵的行对应每一第二文本，列对应全部常用词集合中的词语，元素的取值为每一列所对应的词语在每一行所对应的第二文本中的出现次数。
第二TF-IDF矩阵生成模块109用于生成一第二TF-IDF矩阵，第二TF-IDF矩阵的行对应每一第二文本，列对应全部第二文本中的每一词语，第二TF-IDF矩阵中的每一元素的取值根据以下公式计算：
其中，e2为第二TF-IDF矩阵中的元素的取值，n2为该元素对应的词语在对应的第二文本中的出现次数，k2为该元素对应的第二文本中的总词语数，a2为第二TF-IDF矩阵的行数，b2为第二TF-IDF矩阵中该元素对应的词语数不为0的行数。
产品关键词集合生成模块110用于从单独产品所对应的第二词频矩阵和第二TF-IDF矩阵的行中，分别抽取对应的元素取值最大且属于关键词集合的若干个词语，并将抽取的所有词语合并形成一产品关键词集合。
第二文本拆分模块111用于将单独产品所对应的第二文本按照分隔符拆分成若干个短语。
特征标签筛选模块112用于从产品关键词集合中选取一个词语作为关键词，从若干个短语中筛选出包含有关键词的短语，将筛选出的短语组成一短语词频矩阵，短语词频矩阵的行对应每一短语，且列对应全部短语中的每一词语，元素的取值为全部短语中的每一词语的出现次数，根据短语词频矩阵的每一行的元素值的平方和，得出一与其余短语的余弦相似性之和最小的短语作为关键词对应的特征标签，进而重复筛选得出所有关键词所对应的特征标签。
数据库113用于存储特征标签。
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。
Claims (6)
1.一种产品特征标签的提取方法，其特征在于，其包括有以下步骤；
S1、抓取一产品类型的所有评论，所述评论预设有若干个主题；
S2、将同一主题的全部所述评论的内容合并为一文本；
S3、从每一所述文本抽取出现次数最多的若干词语，以构成一常用词集合；
S4、生成一TF-IDF矩阵，所述TF-IDF矩阵的行对应每一所述文本，列对应全部所述文本中的每一词语，所述TF-IDF矩阵中的每一元素的取值根据以下公式计算：
其中，e为TF-IDF矩阵中的元素的取值，n为该元素对应的所述词语在对应的所述文本中的出现次数，k为该元素对应的所述文本中的总词语数，a为所述TF-IDF矩阵的行数，b为所述TF-IDF矩阵中该元素对应的词语数不为0的行数；
S5、从所述TF-IDF矩阵的每一行中抽取值最大的若干元素对应的所述词语；
S6、将从所述TF-IDF矩阵中抽取所得的全部所述词语集合在一起形成一关键词集合；
S7、从一单独产品的全部评论中抽取包含有所述关键词集合中的词语的一短语作为所述单独产品的特征标签，所述短语为文本中由分隔符分隔形成的文字段；
所述S7包括以下步骤：
S701、将所述产品类型中的每一产品的所有评论分别合并成一第二文本；
S702、生成一第二词频矩阵，所述第二词频矩阵的行对应每一所述第二文本，列对应全部所述常用词集合中的词语，元素的取值为每一列所对应的词语在每一行所对应的所述第二文本中的出现次数；
S703、生成一第二TF-IDF矩阵，所述第二TF-IDF矩阵的行对应每一所述第二文本，列对应全部所述第二文本中的每一词语，所述第二TF-IDF矩阵中的每一元素的取值根据以下公式计算：
其中，e2为第二TF-IDF矩阵中的元素的取值，n2为该元素对应的所述词语在对应的所述第二文本中的出现次数，k2为该元素对应的所述第二文本中的总词语数，a2为所述第二TF-IDF矩阵的行数，b2为所述第二TF-IDF矩阵中该元素对应的词语数不为0的行数；
S704、从所述单独产品所对应的所述第二词频矩阵和所述第二TF-IDF矩阵的行中，分别抽取对应的元素取值最大且属于所述关键词集合的若干个词语，并将抽取的所有词语合并形成一产品关键词集合；
S705、将所述单独产品所对应的所述第二文本按照分隔符拆分成若干个所述短语；
S706、从所述产品关键词集合中选取一个词语作为关键词，从所述若干个短语中筛选出包含有所述关键词的短语，从筛选出的所述短语中选出一与其余短语共有词语最多的短语作为所述关键词对应的特征标签；
S707、重复S706得出所有关键词所对应的特征标签；
S708、将所述特征标签存储至数据库。
2.如权利要求1所述的产品特征标签的提取方法，其特征在于，所述S706为：
从所述产品关键词集合中选取一个词语作为关键词，从所述若干个短语中筛选出包含有所述关键词的短语，将筛选出的所述短语组成一短语词频矩阵，所述短语词频矩阵的行对应每一所述短语，且列对应全部所述短语中的每一词语，元素的取值为全部所述短语中的每一词语的出现次数，根据所述短语词频矩阵的每一行的元素值的平方和，得出一与其余短语的余弦相似性之和最小的短语作为所述关键词对应的特征标签。
3.如权利要求1或2所述的产品特征标签的提取方法，其特征在于，所述S3为：从每一所述文本抽取出现次数最多的若干词语并舍去停止词后，构成一常用词集合。
4.一种产品特征标签的提取装置，其特征在于，其包括有：一评论抓取模块、一评论合并模块、一常用词集合生成模块、一TF-IDF矩阵生成模块、一TF-IDF矩阵元素抽取模块、一关键词集合生成模块和一特征标签生成模块；
所述评论抓取模块用于抓取一产品类型的所有评论，所述评论预设有若干个主题；
所述评论合并模块用于将同一主题的全部所述评论的内容合并为一文本；
所述常用词集合生成模块用于从每一所述文本抽取出现次数最多的若干词语，以构成一常用词集合；
所述TF-IDF矩阵生成模块用于生成一TF-IDF矩阵，所述TF-IDF矩阵的行对应每一所述文本，列对应全部所述文本中的每一词语，所述TF-IDF矩阵中的每一元素的取值根据以下公式计算：
其中，e为TF-IDF矩阵中的元素的取值，n为该元素对应的所述词语在对应的所述文本中的出现次数，k为该元素对应的所述文本中的总词语数，a为所述TF-IDF矩阵的行数，b为所述TF-IDF矩阵中该元素对应的词语数不为0的行数；
所述TF-IDF矩阵元素抽取模块用于从所述TF-IDF矩阵的每一行中抽取值最大的若干元素对应的所述词语；
所述关键词集合生成模块用于将从所述TF-IDF矩阵中抽取所得的全部所述词语集合在一起形成一关键词集合；
所述特征标签生成模块用于从一单独产品的全部评论中抽取包含有所述关键词集合中的词语的一短语作为所述单独产品的特征标签，所述短语为文本中由分隔符分隔形成的文字段；
所述特征标签生成模块包括有：一第二文本生成模块、一第二词频矩阵生成模块、一第二TF-IDF矩阵生成模块、一产品关键词集合生成模块、一第二文本拆分模块、一特征标签筛选模块和一数据库；
所述第二文本生成模块用于将所述产品类型中的每一产品的所有评论分别合并成一第二文本；
所述第二词频矩阵生成模块用于生成一第二词频矩阵，所述第二词频矩阵的行对应每一所述第二文本，列对应全部所述常用词集合中的词语，元素的取值为每一列所对应的词语在每一行所对应的所述第二文本中的出现次数；
所述第二TF-IDF矩阵生成模块用于生成一第二TF-IDF矩阵，所述第二TF-IDF矩阵的行对应每一所述第二文本，列对应全部所述第二文本中的每一词语，所述第二TF-IDF矩阵中的每一元素的取值根据以下公式计算：
其中，e2为第二TF-IDF矩阵中的元素的取值，n2为该元素对应的所述词语在对应的所述第二文本中的出现次数，k2为该元素对应的所述第二文本中的总词语数，a2为所述第二TF-IDF矩阵的行数，b2为所述第二TF-IDF矩阵中该元素对应的词语数不为0的行数；
所述产品关键词集合生成模块用于从所述单独产品所对应的所述第二词频矩阵和所述第二TF-IDF矩阵的行中，分别抽取对应的元素取值最大且属于所述关键词集合的若干个词语，并将抽取的所有词语合并形成一产品关键词集合；
所述第二文本拆分模块用于将所述单独产品所对应的所述第二文本按照分隔符拆分成若干个所述短语；
所述特征标签筛选模块用于从所述产品关键词集合中选取一个词语作为关键词，从所述若干个短语中筛选出包含有所述关键词的短语，从筛选出的所述短语中选出一与其余短语共有词语最多的短语作为所述关键词对应的特征标签，进而重复筛选得出所有关键词所对应的特征标签；
所述数据库用于存储所述特征标签。
5.如权利要求4所述的产品特征标签的提取装置，其特征在于，所述特征标签筛选模块用于从所述产品关键词集合中选取一个词语作为关键词，从所述若干个短语中筛选出包含有所述关键词的短语，将筛选出的所述短语组成一短语词频矩阵，所述短语词频矩阵的行对应每一所述短语，且列对应全部所述短语中的每一词语，元素的取值为全部所述短语中的每一词语的出现次数，根据所述短语词频矩阵的每一行的元素值的平方和，得出一与其余短语的余弦相似性之和最小的短语作为所述关键词对应的特征标签，进而重复筛选得出所有关键词所对应的特征标签。
6.如权利要求4或5所述的产品特征标签的提取装置，其特征在于，所述常用词集合生成模块用于从每一所述文本抽取出现次数最多的若干词语并舍去停止词后，构成一常用词集合。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410119711.0A CN104951430B (zh) | 2014-03-27 | 2014-03-27 | 产品特征标签的提取方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410119711.0A CN104951430B (zh) | 2014-03-27 | 2014-03-27 | 产品特征标签的提取方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104951430A CN104951430A (zh) | 2015-09-30 |
| CN104951430B true CN104951430B (zh) | 2019-03-12 |
Family
ID=54166093
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410119711.0A Active CN104951430B (zh) | 2014-03-27 | 2014-03-27 | 产品特征标签的提取方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104951430B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105975453A (zh) * | 2015-12-01 | 2016-09-28 | 乐视网信息技术（北京）股份有限公司 | 评论标签提取方法和装置 |
| CN105608166A (zh) * | 2015-12-18 | 2016-05-25 | Tcl集团股份有限公司 | 一种标签提取方法及装置 |
| CN107045693A (zh) * | 2017-05-05 | 2017-08-15 | 北京媒立方传媒科技有限公司 | 媒体特征确定、媒体推荐方法及装置 |
| CN107301199B (zh) * | 2017-05-17 | 2021-02-12 | 北京融数云途科技有限公司 | 一种数据标签生成方法和装置 |
| CN110264318A (zh) * | 2019-06-26 | 2019-09-20 | 拉扎斯网络科技（上海）有限公司 | 数据处理方法、装置、电子设备及存储介质 |
| CN112579869B (zh) * | 2019-09-29 | 2022-02-01 | 北京星选科技有限公司 | 对象提取方法、装置、电子设备及存储介质 |
| CN113282763B (zh) * | 2021-06-28 | 2023-03-10 | 深圳平安智汇企业信息管理有限公司 | 文本关键信息提取、装置、设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101067808A (zh) * | 2007-05-24 | 2007-11-07 | 上海大学 | 文本关键词的提取方法 |
| JP2007334754A (ja) * | 2006-06-16 | 2007-12-27 | Mitsubishi Electric Corp | 図面データ管理システム |
| CN101620596A (zh) * | 2008-06-30 | 2010-01-06 | 东北大学 | 一种面向查询的多文档自动摘要方法 |
| CN103049575A (zh) * | 2013-01-05 | 2013-04-17 | 华中科技大学 | 一种主题自适应的学术会议搜索系统 |
| CN103678335A (zh) * | 2012-09-05 | 2014-03-26 | 阿里巴巴集团控股有限公司 | 商品标识标签的方法、装置及商品导航的方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090063481A1 (en) * | 2007-08-31 | 2009-03-05 | Faus Norman L | Systems and methods for developing features for a product |
-
2014
- 2014-03-27 CN CN201410119711.0A patent/CN104951430B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007334754A (ja) * | 2006-06-16 | 2007-12-27 | Mitsubishi Electric Corp | 図面データ管理システム |
| CN101067808A (zh) * | 2007-05-24 | 2007-11-07 | 上海大学 | 文本关键词的提取方法 |
| CN101620596A (zh) * | 2008-06-30 | 2010-01-06 | 东北大学 | 一种面向查询的多文档自动摘要方法 |
| CN103678335A (zh) * | 2012-09-05 | 2014-03-26 | 阿里巴巴集团控股有限公司 | 商品标识标签的方法、装置及商品导航的方法 |
| CN103049575A (zh) * | 2013-01-05 | 2013-04-17 | 华中科技大学 | 一种主题自适应的学术会议搜索系统 |
Non-Patent Citations (2)
| Title |
|---|
| TopCat:Data Mining for Topic Identification in a Text Corpus;Chris Clifton 等;《IEEE TRANSACTIONS ON KNOWLEDGE AND DATA ENGINEERING》;20040831;第16卷(第8期);第949-964页 |
| 多文档关键词抽取技术的研究;杨洁;《中国优秀硕士学位论文全文数据库_信息科技辑》;20091015(第10期);第2.2.2节,第3.3节 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104951430A (zh) | 2015-09-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104951430B (zh) | 产品特征标签的提取方法及装置 | |
| Kadhim et al. | Text document preprocessing and dimension reduction techniques for text document clustering | |
| CN103064970B (zh) | 优化译员的检索方法 | |
| CN108052593A (zh) | 一种基于主题词向量和网络结构的主题关键词提取方法 | |
| Liu et al. | Matching long text documents via graph convolutional networks | |
| CN106202372A (zh) | 一种网络文本信息情感分类的方法 | |
| CN104268160A (zh) | 一种基于领域词典和语义角色的评价对象抽取方法 | |
| CN106250513A (zh) | 一种基于事件建模的事件个性化分类方法及系统 | |
| CN104239436A (zh) | 一种基于文本分类和聚类分析的网络热点事件发现方法 | |
| CN104408093A (zh) | 一种新闻事件要素抽取方法与装置 | |
| CN103870575B (zh) | 一种提取领域关键词的方法及装置 | |
| CN106096609B (zh) | 一种基于ocr的商品查询关键字自动生成方法 | |
| Jain et al. | Machine Learning based Fake News Detection using linguistic features and word vector features | |
| CN104317784A (zh) | 一种跨平台用户识别方法和系统 | |
| CN106104524B (zh) | 复杂谓语模板收集装置以及记录介质 | |
| CN106104519A (zh) | 短语对收集装置以及用于其的计算机程序 | |
| CN105389354A (zh) | 面向社交媒体文本的无监督的事件抽取和分类方法 | |
| CN103176981A (zh) | 一种事件信息挖掘并预警的方法 | |
| CN104298714B (zh) | 一种基于异常处理的海量文本自动标注方法 | |
| CN103942191A (zh) | 一种基于内容的恐怖文本识别方法 | |
| CN101702167A (zh) | 一种基于互联网的模板抽取属性和评论词的方法 | |
| CN103092966A (zh) | 一种挖掘词汇的方法及装置 | |
| CN102880631A (zh) | 一种基于双层分类模型的中文作者识别方法及其装置 | |
| CN106528527A (zh) | 未登录词的识别方法及识别系统 | |
| Eke et al. | The significance of global vectors representation in sarcasm analysis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C41 | Transfer of patent application or patent right or utility model | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20160206 Address after: 200335 Shanghai city Changning District Admiralty Road No. 968 Building No. 16 10 floor Applicant after: SHANGHAI XIECHENG BUSINESS CO., LTD. Address before: 200335 Shanghai City, Changning District Fuquan Road No. 99, Ctrip network technology building Applicant before: Ctrip computer technology (Shanghai) Co., Ltd. |
|
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |