CN107729453B - 一种提取中心产品词的方法和装置 - Google Patents

一种提取中心产品词的方法和装置 Download PDF

Info

Publication number
CN107729453B
CN107729453B CN201710930319.8A CN201710930319A CN107729453B CN 107729453 B CN107729453 B CN 107729453B CN 201710930319 A CN201710930319 A CN 201710930319A CN 107729453 B CN107729453 B CN 107729453B
Authority
CN
China
Prior art keywords
word
sample
title
product
words
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710930319.8A
Other languages
English (en)
Other versions
CN107729453A (zh
Inventor
谷满昌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN201710930319.8A priority Critical patent/CN107729453B/zh
Publication of CN107729453A publication Critical patent/CN107729453A/zh
Application granted granted Critical
Publication of CN107729453B publication Critical patent/CN107729453B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种提取中心产品词的方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：对待提取中心产品词的目标标题提取特征；将所述特征以预设的特征组合输入预设模型，以获取与所述特征组合对应的状态函数和与所述状态函数相关的权重；根据所述状态函数和与所述状态函数相关的权重利用预设算法进行运算，并根据所述运算的结果提取所述目标标题的中心产品词。该实施方式能够实现中心产品词的自动提取，通过标准化且客观的方式准确地提取亿万级商品的中心产品词，节约提取中心产品词的人力及时间成本，提升中心产品词的准确率、全面性和识别召回率。

Description

一种提取中心产品词的方法和装置
技术领域
本发明涉及计算机技术领域，尤其涉及一种提取中心产品词的方法和装置。
背景技术
随着电子商务的飞速发展，网上购物为人们的生活和工作提供了极大的便利。用户在进行商品搜索查询时，搜索引擎往往根据输入的搜索关键词向用户提供与搜索关键词最相关的商品。商品标题的成分分析是解决搜索相关性的核心问题，在个性化、推荐等多个领域有着广泛的应用。与一般的文档不同，电子商务领域内的商品标题通常是若干词的堆砌，这对于准确的识别商品成分而言无疑加大了技术难点。
商品标题成分分析中重要一个环节就是中心产品词识别，代表标题所涉及的具体的产品。例如：东菱Donlim多功能厨师机配件DL-C08果汁杯中的中心产品词是果汁杯，而厨师机不是中心产品词。如果可以把中心产品词从商品标题中准确地提取出来，再与用户输入的关键字进行相似度计算，可以有效地解决搜索相关性问题。所以需要一种能从商品标题中提取出产品词的方法。
现有的识别标题中的中心产品词的方法大多数都是基于规则根据产品词字典对标题信息进行识别，而商品标题通常只含有十几到几十个词，且标题的变化更是多种多样，另外不同的语境下中心产品词会有不同的含义，例如：苹果-手机，当它们同时出现时，苹果是品牌词，手机为中心产品词，现有的方法会导致识别出错误的中心产品词以及识别的中心产品词不全。
在实现本发明过程中，发明人发现现有技术中至少存在如下问题：
现有技术存在商品标题中心产品词识别的准确率不高的问题。
发明内容
有鉴于此，本发明实施例提供一种提取中心产品词的方法和装置，能够实现中心产品词的自动提取，通过标准化且客观的方式准确地提取亿万级商品的中心产品词，节约提取中心产品词的人力及时间成本，提升中心产品词的准确率、全面性和识别召回率。
为实现上述目的，根据本发明实施例的一个方面，提供了一种提取中心产品词的方法。
一种提取中心产品词的方法，包括：对待提取中心产品词的目标标题提取特征；将所述特征以预设的特征组合输入预设模型，以获取与所述特征组合对应的状态函数和与所述状态函数相关的权重；根据所述状态函数和与所述状态函数相关的权重利用预设算法进行运算，并根据所述运算的结果提取所述目标标题的中心产品词。
可选地，所述预设模型为条件随机场模型，对待提取中心产品词的目标标题提取特征的步骤之前，包括：根据用户的历史搜索数据采集训练样本；对所述训练样本标注所述特征，以得到训练数据；使用所述训练数据对所述条件随机场模型进行训练，以得到与所述特征的多种组合对应的状态函数和与所述状态函数相关的权重。
可选地，所述历史搜索数据包括样本标题和对应的搜索词，根据用户的历史搜索数据采集训练样本的步骤，包括：分别对所述样本标题和对应的搜索词进行分词，以得到样本标题分词和每条样本标题的搜索词分词；根据每条样本标题的搜索词分词中的产品词确定所述每条样本标题的样本中心产品词；根据所述样本标题分词和所述样本中心产品词得到所述训练样本。
可选地，根据每条样本标题的搜索词分词中的产品词确定所述每条样本标题的样本中心产品词的步骤，包括：将每条样本标题对应的每条搜索词中位于第N/2至第N个搜索词分词之间的产品词作为相应的样本标题的候选样本中心产品词，并将位于所述候选样本中心产品词之前的产品词作为修饰产品词，其中，N为该条搜索词的搜索词分词个数；将每条样本标题中以候选样本中心产品词出现的次数大于以所述修饰产品词出现的次数的候选样本中心产品词作为相应的样本标题的样本中心产品词。
可选地，对待提取中心产品词的目标标题提取特征的步骤，包括：对待提取中心产品词的目标标题进行分词；提取所述目标标题的每个分词的如下的其中一个或多个特征：词性特征、属性特征、图像特征、上下文词性特征、上下文属性特征、上下文图像特征、词间转移特征。
可选地，根据所述状态函数和与所述状态函数相关的权重利用预设算法进行运算，并根据所述运算的结果提取所述目标标题的中心产品词的步骤，包括：根据所述状态函数和与所述状态函数相关的权重，利用维特比算法计算所述目标标题的每个分词分别为中心产品词和非中心产品词的分数；根据所述分数确定所述目标标题中的待定中心产品词，并将所述分数大于预设阈值的所述待定中心产品词提取为所述目标标题中的中心产品词。
可选地，将所述分数大于预设阈值的所述待定中心产品词提取为所述目标标题中的中心产品词的步骤，包括：将所述分数大于预设阈值的所述待定中心产品词和所述分数大于预设阈值的所述待定中心产品词的同义词提取为所述目标标题中的中心产品词。
根据本发明实施例的另一方面，提供了一种提取中心产品词的装置。
一种提取中心产品词的装置，包括：特征提取模块，用于对待提取中心产品词的目标标题提取特征；特征输入模块，用于将所述特征以预设的特征组合输入预设模型，以获取与所述特征组合对应的状态函数和与所述状态函数相关的权重；运算和提取模块，用于根据所述状态函数和与所述状态函数相关的权重利用预设算法进行运算，并根据所述运算的结果提取所述目标标题的中心产品词。
可选地，所述预设模型为条件随机场模型，所述装置还包括模型训练模块，用于：根据用户的历史搜索数据采集训练样本；对所述训练样本标注所述特征，以得到训练数据；使用所述训练数据对所述条件随机场模型进行训练，以得到与所述特征的多种组合对应的状态函数和与所述状态函数相关的权重。
可选地，所述历史搜索数据包括样本标题和对应的搜索词，所述模型训练模块包括样本采集模块，用于：分别对所述样本标题和对应的搜索词进行分词，以得到样本标题分词和每条样本标题的搜索词分词；根据每条样本标题的搜索词分词中的产品词确定所述每条样本标题的样本中心产品词；根据所述样本标题分词和所述样本中心产品词得到所述训练样本。
可选地，所述模型训练模块还包括样本中心产品词确定模块，用于：将每条样本标题对应的每条搜索词中位于第N/2至第N个搜索词分词之间的产品词作为相应的样本标题的候选样本中心产品词，并将位于所述候选样本中心产品词之前的产品词作为修饰产品词，其中，N为该条搜索词的搜索词分词个数；将每条样本标题中以候选样本中心产品词出现的次数大于以所述修饰产品词出现的次数的候选样本中心产品词作为相应的样本标题的样本中心产品词。
可选地，所述特征提取模块还用于：对待提取中心产品词的目标标题进行分词；提取所述目标标题的每个分词的如下的其中一个或多个特征：词性特征、属性特征、图像特征、上下文词性特征、上下文属性特征、上下文图像特征、词间转移特征。
可选地，所述运算和提取模块还用于：根据所述状态函数和与所述状态函数相关的权重，利用维特比算法计算所述目标标题的每个分词分别为中心产品词和非中心产品词的分数；根据所述分数确定所述目标标题中的待定中心产品词，并将所述分数大于预设阈值的所述待定中心产品词提取为所述目标标题中的中心产品词。
可选地，所述运算和提取模块包括中心产品词提取模块，用于：将所述分数大于预设阈值的所述待定中心产品词和所述分数大于预设阈值的所述待定中心产品词的同义词提取为所述目标标题中的中心产品词。
根据本发明实施例的又一方面，提供了一种服务器。
一种服务器，包括：一个或多个处理器；存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现提取中心产品词的方法。
根据本发明实施例的又一方面，提供了一种计算机可读介质。
一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现提取中心产品词的方法。
上述发明中的一个实施例具有如下优点或有益效果：对待提取中心产品词的目标标题提取特征，将该特征以预设的特征组合输入预设模型，以获取与特征组合对应的状态函数和与状态函数相关的权重，根据该状态函数和与状态函数相关的权重利用预设算法进行运算，并根据运算的结果提取所述目标标题的中心产品词。使得能够通过标准化且客观的方式准确地提取亿万级商品的中心产品词，节约提取中心产品词的人力及时间成本，提升中心产品词的准确率、全面性和识别召回率。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
图1是根据本发明实施例的提取中心产品词的方法的主要步骤示意图；
图2是根据本发明实施例的提取中心产品词的一个优选流程示意图；
图3是根据本发明实施例的利用维特比算法计算一个示例性目标标题的每个分词分别为中心产品词和非中心产品词的分数的示意图；
图4是根据本发明实施例的提取中心产品词的装置的主要模块示意图；
图5是本发明实施例可以应用于其中的示例性系统架构图；
图6是适于用来实现本发明实施例的服务器的计算机系统的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
图1是根据本发明实施例的提取中心产品词的方法的主要步骤示意图。
如图1所示，本发明实施例的提取中心产品词的方法主要包括如下的步骤S101至步骤S103。
步骤S101：对待提取中心产品词的目标标题提取特征。
中心产品词代表目标标题所涉及的具体的产品。例如，假设目标标题为：“东菱多功能厨师机配件DL-C08果汁杯”，该目标标题所涉及的具体产品为“果汁杯”，则该目标标题的中心产品词是“果汁杯”，而厨师机不是该目标标题的中心产品词。
对待提取中心产品词的目标标题提取特征的步骤，具体可包括：对待提取中心产品词的目标标题进行分词，以得到目标标题的多个分词，并提取目标标题的每个分词的如下的其中一个或多个特征：词性特征、属性特征、图像特征、上下文词性特征、上下文属性特征、上下文图像特征、词间转移特征。
对待提取中心产品词的目标标题提取特征之前，还可以根据用户的历史搜索数据采集训练样本，并对训练样本标注特征，以得到训练数据，并使用训练数据对条件随机场模型进行训练，以得到与特征的多种组合对应的状态函数和与状态函数相关的权重。
历史搜索数据可包括样本标题和对应的搜索词。
根据用户的历史搜索数据采集训练样本的步骤，具体可包括：分别对所述样本标题和对应的搜索词进行分词，以得到样本标题分词和每条样本标题的搜索词分词；根据每条样本标题的搜索词分词中的产品词确定每条样本标题的样本中心产品词；根据样本标题分词和样本中心产品词得到训练样本。
根据每条样本标题的搜索词分词中的产品词确定每条样本标题的样本中心产品词的步骤，具体可包括：将每条样本标题对应的每条搜索词中位于第N/2至第N个搜索词分词之间的产品词作为相应的样本标题的候选样本中心产品词，并将位于候选样本中心产品词之前的产品词作为修饰产品词(即每条样本标题对应的每条搜索词中位于第1至第N/2个搜索词分词之间的产品词作为相应的样本标题的修饰产品词)，其中，N为该条搜索词的搜索词分词个数；将每条样本标题中以候选样本中心产品词出现的次数大于以修饰产品词出现的次数的候选样本中心产品词作为相应的样本标题的样本中心产品词。
步骤S102：将特征以预设的特征组合输入预设模型，以获取与特征组合对应的状态函数和与状态函数相关的权重。
该预设模型可为使用训练数据训练后的条件随机场模型。
步骤S103：根据状态函数和与状态函数相关的权重利用预设算法进行运算，并根据运算的结果提取目标标题的中心产品词。
根据状态函数和与状态函数相关的权重利用预设算法进行运算，并根据运算的结果提取目标标题的中心产品词的步骤，具体可包括：根据状态函数和与状态函数相关的权重，利用维特比算法计算目标标题的每个分词分别为中心产品词和非中心产品词的分数；根据该分数确定目标标题中的待定中心产品词，并将分数大于预设阈值的待定中心产品词提取为目标标题中的中心产品词。
将分数大于预设阈值的待定中心产品词提取为目标标题中的中心产品词的步骤，具体可以包括：将分数大于预设阈值的待定中心产品词和分数大于预设阈值的待定中心产品词的同义词提取为目标标题中的中心产品词。
下面以电商领域提取商品标题的中心产品词为例，介绍本发明的提取中心产品词的流程。
图2是根据本发明实施例的提取中心产品词的一个优选流程示意图。
本发明实施例的提取中心产品词的一个优选流程包括如下的步骤S201至步骤S210。
步骤S201：根据用户的历史搜索数据采集训练样本。
历史搜索数据可从用户搜索反馈的日志中获得，具体可包括预设时间段范围内用户搜索并点击的商品标题(作为样本标题)和搜索这些商品标题所使用的搜索词，以及这些商品标题(即样本标题)的点击次数。可获取过去6个月的历史搜索数据，其中包括样本标题、样本标题的点击次数、样本标题对应的搜索词，并且，只选取其中样本标题的点击次数大于20且搜索词长度大于等于2的历史搜索数据来采集训练样本。样本标题例如：“红双喜乒乓球拍清洁套装乒乓套胶胶皮98ml清洁剂清洗剂海绵擦”。对应的搜索词及点击次数为：乒乓球拍清洁剂：120；乒乓球拍海绵擦：97；乒乓球拍清洗剂：65。
分别对上述选取的历史搜索数据中的样本标题和对应的搜索词通过分词算法进行分词，以得到样本标题分词和每条样本标题的搜索词分词。其中，分词算法包括但不限于正向最大匹配法(即由左到右的方向分词)、逆向最大匹配法(即由右到左的方向分词)、最少切分法(即使每一句中切出的词数最小)。例如，对如下的搜索词：“乒乓球拍清洁剂”、“乒乓球拍海绵擦”、“乒乓球拍清洗剂”，分词后得到的搜索词分词分别为：乒乓球拍/清洁剂/，乒乓球拍/海绵擦/，乒乓球拍/清洗剂/。
从后向前扫描搜索词的分词结果，将每条搜索词中位于第N/2至第N个搜索词分词之间的产品词作为相应的样本标题的候选样本中心产品词，并将位于候选样本中心产品词之前的产品词作为修饰产品词，其中，N为该条搜索词的搜索词分词个数。以对某一样本标题对应的搜索词的分词结果为“乒乓球拍/清洁剂/，乒乓球拍/海绵擦/，乒乓球拍/清洗剂/”为例，乒乓球拍就是修饰产品词，而清洁剂、海绵擦、清洗剂等都作为该样本标题的候选中心产品词。需要说明的是，为了保证采集的训练样本准确，在确定候选样本中心产品词时，需要避免选取前缀“赠”、“送”等词的产品词作为候选样本中心产品词。
将每条样本标题中以候选样本中心产品词出现的次数大于以所述修饰产品词出现的次数的候选样本中心产品词作为相应的样本标题的样本中心产品词。由于用户的搜索习惯不同会导致同样的搜索意图具有多种多样的表示形式，例如，某条商品标题对应的商品为电动车配套的雨衣/雨披，其搜索词：点击次数对应为：电动车雨衣：86；雨披电动车：30。此例中电动车作为修饰产品词出现的次数为86次，而作为候选样本中心产品词出现的次数是30次，电动车作为候选样本中心产品词出现的次数小于作为修饰产品词出现的次数，因此电动车不是该商品标题(样本标题)的样本中心产品词。并且通常情况下用户的搜索习惯符合正向逻辑，即搜索为电动车配套的雨衣时搜索词中的词序为“电动车雨衣”而不是“雨衣电动车”，即电动车在电动车配套的雨衣对应的商品标题中更多的是以修饰产品词出现，因此通过上述方法“电动车”不会被选为该商品标题的样本中心产品词，使用本发明实施例的方法确定的样本标题的样本中心产品词准确性较高。
此外，为了提高中心产品词的识别召回率，还可利用同义词字典作为商品标题中的候选样本中心产品词的补充，例如电视-电视机，U盘-优盘，假设电视机、优盘为候选样本中心产品词，可以将电视、U盘也选为候选样本中心产品词，并且当该候选样本中心产品词为样本中心产品词时，相应的同义词也作为样本中心产品词。
通过对历史搜索数据的上述处理得到包括样本标题分词和样本中心产品词的训练样本，每个样本中心产品词被添加标记Tag＝Pro，非样本中心产品词被添加标记Tag＝NPro，其中，Pro表示中心产品词，NPro表示非中心产品词。表1示出了确定样本标题的样本中心产品词一个应用例。
表1
Figure BDA0001428580490000111
本发明基于海量的商品标题并结合用户的搜索习惯自动挖掘商品的中心产品词，利用用户搜索反馈的信息自动的构造训练样本，这可以有效地解决监督机器学习领域中缺乏标注训练样本的难题。
步骤S202：对训练样本标注特征，以得到训练数据。
首先是去掉样本标题分词中的空格，并把“附件”、“赠送”后的产品词的词性设为其他，表示该词不可能是正确的产品词。如果某样本标题分词是数字但不是品牌词，则将该词本身标为DIGIT，表示数字。依据训练样本标注所需的数据，其中一维特征为词(term)，另一维特征为词性。其中，词特征即词本身，即训练样本每个样本标题分词在训练数据表格中都是以词特征的形式存在，而对每个样本标题分词需要标注该样本标题分词的词性特征，词性特征可包括产品词(P)、品牌词(B)、修饰词(Q)、其他(O)。对词性标注主要基于将样本标题分词与词典匹配的结果。本发明实施例采用的词典如表2所示。
表2
词性 示例
产品词P 中式灯，电视，冰箱，洗面奶…
品牌词B 长虹，茵曼，浪莎，海尔…
修饰词Q 心形，女秋款，美肤，韩国版型…
其他O 不在以上三种词典中的词
例如，一条完整的训练数据格式如表3所示。
表3
Term 词性 Tag
zippo B NPro
打火机 P Pro
经典 Q NPro
铬 O NPro
沙 O NPro
仿旧 O NPro
碎花 O NPro
DIGIT O NPro
各个样本标题分词之间具有预设的相互关系(例如上下文关系)，在标注词特征和词性特征的过程中即完成了样本标题分词之间的上下文词性特征、词间转移特征的标注。词特征和词性特征例如：<当前词，词性>；上下文词性特征例如：<当前词，前N个词的词性>、<当前词，后N个词的词性>、<当前词，前N1个词的词性，后N2个词的词性>等；词间转移特征例如：<当前词为NPro，前一个词为NPro>、<当前词为Pro，前一个词为NPro>、<当前词为NPro，前一个词为Pro>、<当前词为Pro，前一个词为Pro>等。
步骤S203：使用训练数据对条件随机场模型进行训练，以得到与特征的多种组合对应的状态函数和与状态函数相关的权重。
条件随机场(Conditional Random Field，CRF)是给定一组输入随机变量条件下，另一组输出随机变量的条件概率分布模型。本发明实施例的条件随机场可以通过开源的CRF++库，flexCRF库，pocketCRF库等实现。使用训练数据根据训练样本的词性和词与词之间的相互关系等特征修改条件随机场中的特征模板，完成对条件随机场模型的训练过程，从而得到训练后的条件随机场模型。训练后的条件随机场模型中包括训练数据中所有词(term)(即样本标题分词)各自在样本标题中存在的所有关系的概率值，即<当前词，词性>、<当前词，前N个词的词性>、<当前词，后N个词的词性>、<当前词，前N1个词的词性，后N2个词的词性>、<当前词为NPro，前一个词为NPro>、<当前词为Pro，前一个词为NPro>、<当前词为NPro，前一个词为Pro>、<当前词为Pro，前一个词为Pro>等特征存在的概率值，其中，N、N1、N2为自然数。每个特征存在的概率值对应一个状态函数和与该状态函数相关的权重，通过该特征的状态函数与相关的权重可以计算该特征的概率值。
此外还可以针对样本标题的其他特征进行补充，例如属性特征、图像特征、上下文属性特征、上下文图像特征等。其中，属性特征可以是商品的颜色、尺码、价格等特征，例如：<当前词，颜色>、<当前词，尺码>、<当前词，价格>等，图像特征可以是商品的图像特征，例如<当前词，图像>，上下文属性特征例如<当前词，前N个词的颜色>、<当前词，前N个词的尺码>、<当前词，前N个词的价格>等，上下文图像特征例如<当前词，前一个词的图像>等，其中N为自然数，前N个词的颜色、前N个词的尺码、前N个词的价格分别表示前N个词对应的商品的颜色、尺码、价格，当不存在这些特征时，相应的特征为空。
上述各特征中每个特征对应一个状态函数与相关的权重，且特征之间可以任何特征组合的形式存在，根据各特征组合对应的状态函数和相关的权值可以得到该特征组合存在的概率值。
本发明实施例从多个维度对训练样本标注特征，各特征可以任意的组合形式存在，提高了中心产品词的识别召回率(识别召回率即中心产品词被识别出的比率，例如，识别召回率可以通过如下方法计算：识别召回率＝识别出的预设数量个商品标题中的中心产品词数量与人工标注的该预设数量个商品标题中的中心产品词数量的比值)。并且，通过本发明实施例的条件随机场模型在中心产品词提取过程中进行模型训练，使得最后提取到的中心产品词更符合商品标题所表示的真实产品。
步骤S204：对待提取中心产品词的目标标题提取特征。
可通过正向最大匹配法、逆向最大匹配法、最少切分法等分词算法对待提取中心产品词的目标标题进行分词，以得到多个分词，然后提取目标标题的每个分词的上述词性特征、属性特征、图像特征、上下文词性特征、上下文属性特征、上下文图像特征、词间转移特征中的一个或多个特征。
步骤S205：将提取的特征以预设的特征组合输入训练好的条件随机场模型，以获取与特征组合对应的状态函数和与状态函数相关的权重。
特征组合的具体形式例如<当前词，词性>、<当前词，图像>、<当前词，词性，图像>、<当前词，前一个词的词性，前一个词的图像>，<当前词，前一个词的图像>等。如前所述，训练好的条件随机场模型中每个特征对应一个状态函数与相关的权重，从而特征组合对应相应的多个状态函数和与各状态函数相关的权重。
步骤S206：根据获取的状态函数和与状态函数相关的权重，利用维特比算法计算目标标题的每个分词分别为中心产品词和非中心产品词的分数。
本发明利用维特比算法对条件随机场模型进行解码(decode)，即计算待提取中心产品词的目标标题的标记(Tag)序列的概率值。维特比算法是一种简单的动态规划思路，其求解时刻T的最大概率，递推地计算T时刻前面的概率即子问题，所得出的结果为最优路径。利用维特比算法计算目标标题的每个分词分别为中心产品词和非中心产品词的分数，计算得出的分数即反映了上述最优路径，具体确定最优路径的过程下文还将详细介绍。维特比算法通过如下公式计算目标标题的每个分词在该目标标题中的分数Score(即该分词为中心产品词或非中心产品词的条件概率)：
Figure BDA0001428580490000151
其中，t和s表示特征对应的状态函数，具体地，ti表示第i个词间转移特征的状态函数，λi表示与ti相关的权重，n表示词间转移特征的数量，sj表示第j个特征对应的状态函数(某一特征对应的状态函数也可简称为该特征的状态函数)，第j个特征可以是词性特征、属性特征、图像特征、上下文词性特征、上下文属性特征、上下文图像特征中的其中一个特征，μj表示与sj相关的权重，m表示由词性特征、属性特征、图像特征、上下文词性特征、上下文属性特征、上下文图像特征等构成的特征组合中的特征数量。
对于状态函数为s的上述特征(即词性特征、属性特征、图像特征、上下文词性特征、上下文属性特征、上下文图像特征等)，当计算目标标题的某一分词为中心产品词的分数时，如果训练好的条件随机场模型中存在某一状态函数为s的特征，且该分词在训练样本中被添加的标记Tag为Pro(中心产品词)，则该特征对应的状态函数(即该特征的状态函数)s为1，否则为0。例如某一分词在训练好的条件随机场模型中被标注的词性为P(产品词)，那么当对目标标题的该分词提取词性特征时，可以查找到在该条件随机场模型该分词以P(产品词)的状态存在，并且该分词被添加标记Tag为Pro，则该分词的词性特征对应的状态函数s＝1，如果查找到在该条件随机场模型该分词以P(产品词)的状态存在，且该分词被添加标记Tag为NPro(非中心产品词)，则该分词的词性特征对应的状态函数s＝0。同理，当计算目标标题的某一分词为非中心产品词的分数时，如果训练好的条件随机场模型中存在某一状态函数为s的特征，且该分词在训练样本中被添加的标记Tag为NPro(非中心产品词)，则该特征的状态函数s为1，否则为0。
对于状态函数为t的特征(即词间转移特征)，当计算目标标题的某一分词为中心产品词或非中心产品词的分数时，如果该分词由标记为Pro或NPro的分词转移而来，则t＝1，否则t＝0。例如，一目标标题“红双喜乒乓球拍清洁海绵擦”，则对于分词“乒乓球拍”分别存在由分词“红双喜”为Pro或NPro的两种状态转移而来，因此，分词“乒乓球拍”的词间转移特征的状态函数为t＝1。对于分词“红双喜”，该分词前面没有分词为Pro或NPro的两种状态，因此没有标记为Pro或NPro的分词转移到该分词“红双喜”，“红双喜”的词间转移特征的状态函数为t＝0。
图3是根据本发明实施例的利用维特比算法计算一个示例性目标标题的每个分词分别为中心产品词和非中心产品词的分数的示意图。以提取的该目标标题“红双喜乒乓球拍清洁海绵擦”的特征为词性特征、上下文词性特征、词间转移特征为例，以计算分词“红双喜”分别为中心产品词和非中心产品词的分数为例，介绍本发明实施例的该分数的计算过程。图3中，s表示词性特征或上下文词性特征对应的状态函数，t表示词间转移特征对应的状态函数，下文为了表述方便，根据特征的数量相应地为s和t添加下标，例如，“红双喜”为该目标标题的第一个分词，则“红双喜”的词性特征对应的状态函数为s1，“红双喜”的上下文词性特征对应的状态函数s2，“红双喜”的词间转移特征对应的状态函数为t1和t2，t1和t2分别对应前面标记为Pro和NPro的分词转移到该分词“红双喜”时的状态函数。
计算红双喜为中心产品词(Pro)的分数，记作分数1：假设该分词在训练样本存在并被标注特征，那么训练好的条件随机场模型中存在该特征，且该分词的词性为品牌词(B)，被标记为Tag＝NPro，则词性特征的状态函数s1＝0，对应权值为μ1。在训练样本中存在该分词后面相邻词为乒乓球拍的情况，则上下文词性特征的状态函数s2＝1，对应权值为μ2。该分词在该目标标题中前面没有标记为Pro或NPro的分词转移到该分词，因此词间转移特征的状态函数t1＝t2＝0。则根据上述计算分数的公式，分数1为：exp(μ2)。
计算红双喜为非中心产品词(NPro)的分数，记作分数2：训练好的条件随机场模型中存在该特征，且该分词被标记为Tag＝NPro，则词性特征的状态函数s1＝1，对应权值为μ1，在训练样本中存在该分词后面相邻词为乒乓球拍的情况，则上下文词性特征的状态函数s2＝1，对应权值为μ2。该分词在该目标标题中前面没有分词转移到该分词，因此词间转移特征的状态函数t1＝0。则根据上述计算分数的公式，分数2为：exp(μ1+μ2)。
同理，可以计算图3所示的该目标标题中的乒乓球拍、清洁、海绵擦等分词分别为中心产品词和非中心产品词的分数。其中，对于乒乓球拍、清洁、海绵擦等分词由于存在词间状态转移，即每个分词由一个被标记为Pro或NPro的分词转移而来，即对应<当前词为NPro，前一个词为NPro>、<当前词为Pro，前一个词为NPro>、<当前词为NPro，前一个词为Pro>、<当前词为Pro，前一个词为Pro>等词间转移特征，因此词间转移特征的状态函数值为1，每个词间转移特征的状态函数对应各自的权值。
步骤S207：根据每个分词分别为中心产品词和非中心产品词的分数确定目标标题中的待定中心产品词。
具体地，可以比较每个分词分别为中心产品词和非中心产品词的分数，如果一分词为中心产品词的分数大于该分词为非中心产品词的分数，则确定该分词为待定中心产品词，否则该分词不是待定中心产品词。
以图3所示的示例性目标标题为例，红双喜为中心产品词的分数，分数1＝exp(μ2)，红双喜为非中心产品词的分数，分数2为：exp(μ1+μ2)，分数2>分数1，则该分词不是待定中心产品词。
根据每个分词是否为待定中心产品词即可确定上述的最优路径，最优路径由各分词连接而成，例如，图3所示的示例性目标标题中，假设确定“乒乓球拍”、“海绵擦”为待定中心产品词，而“红双喜”、“清洁”不是待定中心产品词，则虚线箭头所指示的路径即最优路径。
步骤S208：分别判断每个待定中心产品词的最高分数是否大于预设阈值，若是，执行步骤S209，若否，执行步骤S210。
每个待定中心产品词的最高分数即该待定中心产品词(分词)为中心产品词的分数。预设阈值可根据需要自行设置(例如预设阈值设置为0.63)并且在实际应用中可以调整具体值。
步骤S209：判定该待定中心产品词为目标标题的中心产品词，并提取该中心产品词。
以图3所述的示例性目标标题为例，最优路径中待定中心产品词为“乒乓球拍”和“海绵擦”，如果“海绵擦”的最高分数(即“海绵擦”为中心产品词(Pro)的分数)大于预设阈值，而“乒乓球拍”的最高分数(即“乒乓球拍”为中心产品词(Pro)的分数)小于预设阈值，则判定“海绵擦”为该目标标题的中心产品词。
为了进一步提高中心产品词的识别召回率，还可以利用置信度较高的同义词字典补充部分未被条件随机场模型预测出来的中心产品词，同义词字典中是一些相互能被替换的词语，例如：刻刀-雕刻刀、勺子-汤勺、奶条-奶酪条、排骨-肋排等。
步骤S210：判定该待定中心产品词为目标标题的非中心产品词。
中心产品词提取作为电子商务领域的基础工具，在商品搜索相关性、个性化、推荐领域都有极其广阔的应用前景。对于搜索相关性而言，用户在搜索框中输入“热水器”时，需要从亿万级的商品库中找出与搜索关键字最匹配的产品，从而可以更精准的召回与用户真实搜索意图的商品，提升用户体验。另一方面，在个性化、推荐领域，精准地理解每个商品标题对应的具体产品，可实现向用户推荐最符合其喜好的相关的产品。本发明实施例通过机器学习算法提取商品标题对应的中心产品词，实现中心产品词的自动提取，通过标准化且客观的方式准确地提取亿万级商品的中心产品词，极大地节约了提取中心产品词的人力及时间成本。
图4是根据本发明实施例的提取中心产品词的装置的主要模块示意图。
如图4所示，本发明实施例的提取中心产品词的装置400主要包括：特征提取模块401、特征输入模块402、运算和提取模块403。
特征提取模块401，用于对待提取中心产品词的目标标题提取特征。
具体地，特征提取模块401用于对待提取中心产品词的目标标题进行分词，并提取目标标题的每个分词的如下的其中一个或多个特征：词性特征、属性特征、图像特征、上下文词性特征、上下文属性特征、上下文图像特征、词间转移特征。
特征输入模块402，用于将特征以预设的特征组合输入预设模型，以获取与特征组合对应的状态函数和与状态函数相关的权重。
预设模型可为条件随机场模型。
运算和提取模块403，用于根据状态函数和与状态函数相关的权重利用预设算法进行运算，并根据运算的结果提取目标标题的中心产品词。
具体地，运算和提取模块403用于根据状态函数和与状态函数相关的权重，利用维特比算法计算目标标题的每个分词分别为中心产品词和非中心产品词的分数；根据分数确定目标标题中的待定中心产品词，并将分数大于预设阈值的待定中心产品词提取为目标标题中的中心产品词。
运算和提取模块403可包括中心产品词提取模块，用于：将分数大于预设阈值的待定中心产品词和分数大于预设阈值的待定中心产品词的同义词提取为目标标题中的中心产品词。
提取中心产品词的装置400还可包括模型训练模块，用于：根据用户的历史搜索数据采集训练样本；对训练样本标注所述特征，以得到训练数据；使用训练数据对条件随机场模型进行训练，以得到与特征的多种组合对应的状态函数和与状态函数相关的权重。
历史搜索数据可包括样本标题和对应的搜索词。模型训练模块可包括样本采集模块，用于：分别对样本标题和对应的搜索词进行分词，以得到样本标题分词和每条样本标题的搜索词分词；根据每条样本标题的搜索词分词中的产品词确定每条样本标题的样本中心产品词；根据样本标题分词和样本中心产品词得到训练样本。
模型训练模块还可包括样本中心产品词确定模块，用于：将每条样本标题对应的每条搜索词中位于第N/2至第N个搜索词分词之间的产品词作为相应的样本标题的候选样本中心产品词，并将位于候选样本中心产品词之前的产品词作为修饰产品词，其中，N为该条搜索词的搜索词分词个数；将每条样本标题中以候选样本中心产品词出现的次数大于以修饰产品词出现的次数的候选样本中心产品词作为相应的样本标题的样本中心产品词。
图5示出了可以应用本发明实施例的提取中心产品词的方法或提取中心产品词的装置的示例性系统架构500。
如图5所示，系统架构500可以包括终端设备501、502、503，网络504和服务器505。网络504用以在终端设备501、502、503和服务器505之间提供通信链路的介质。网络504可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备501、502、503通过网络504与服务器505交互，以接收或发送消息等。终端设备501、502、503上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端设备501、502、503可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器505可以是提供各种服务的服务器，例如对用户利用终端设备501、502、503所浏览的购物类网站提供支持的后台管理服务器。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理，并将处理结果(产品信息查询/搜索结果)反馈给终端设备。
需要说明的是，本发明实施例所提供的提取中心产品词的方法一般由服务器505执行，相应地，提取中心产品词的装置一般设置于服务器505中。
应该理解，图5中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
下面参考图6，其示出了适于用来实现本申请实施例的服务器的计算机系统600的结构示意图。图6示出的服务器仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图6所示，计算机系统600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有系统600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。
特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时，执行本申请的系统中限定的上述功能。
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括特征提取模块401、特征输入模块402、运算和提取模块403。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，特征提取模块401还可以被描述为“用于对待提取中心产品词的目标标题提取特征的模块”。
作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：对待提取中心产品词的目标标题提取特征；将所述特征以预设的特征组合输入预设模型，以获取与所述特征组合对应的状态函数和与所述状态函数相关的权重；根据所述状态函数和与所述状态函数相关的权重利用预设算法进行运算，并根据所述运算的结果提取所述目标标题的中心产品词。
根据本发明实施例的技术方案，对待提取中心产品词的目标标题提取特征，将该特征以预设的特征组合输入预设模型，以获取与特征组合对应的状态函数和与状态函数相关的权重，根据状态函数和与状态函数相关的权重利用预设算法进行运算，并根据运算的结果提取所述目标标题的中心产品词。使得能够通过标准化且客观的方式准确地提取亿万级商品的中心产品词，节约提取中心产品词的人力及时间成本，提升中心产品词的准确率、全面性和识别召回率。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (14)

1.一种提取中心产品词的方法，其特征在于，包括：
对待提取中心产品词的目标标题提取特征；
将所述特征以预设的特征组合输入预设模型，以获取与所述特征组合对应的状态函数和与所述状态函数相关的权重；其中，所述预设模型为条件随机场模型，所述特征组合中每个特征对应一个状态函数和相关的权重，所述特征对应的状态函数和相关的权重与该特征存在的概率值相对应，通过使用训练数据对所述条件随机场模型进行训练得到所述状态函数和相关的权重，所述状态函数的取值为0或1；根据所述状态函数和与所述状态函数相关的权重利用预设算法进行运算，并根据所述运算的结果提取所述目标标题的中心产品词。
2.根据权利要求1所述的方法，其特征在于，根据用户的历史搜索数据采集训练样本，并对所述训练样本标注所述特征，以得到所述训练数据，所述历史搜索数据包括样本标题和对应的搜索词，
根据用户的历史搜索数据采集训练样本的步骤，包括：
分别对所述样本标题和对应的搜索词进行分词，以得到样本标题分词和每条样本标题的搜索词分词；
根据每条样本标题的搜索词分词中的产品词确定所述每条样本标题的样本中心产品词；
根据所述样本标题分词和所述样本中心产品词得到所述训练样本。
3.根据权利要求2所述的方法，其特征在于，根据每条样本标题的搜索词分词中的产品词确定所述每条样本标题的样本中心产品词的步骤，包括：
将每条样本标题对应的每条搜索词中位于第N/2至第N个搜索词分词之间的产品词作为相应的样本标题的候选样本中心产品词，并将位于所述候选样本中心产品词之前的产品词作为修饰产品词，其中，N为该条搜索词的搜索词分词个数；
将每条样本标题中以候选样本中心产品词出现的次数大于以所述修饰产品词出现的次数的候选样本中心产品词作为相应的样本标题的样本中心产品词。
4.根据权利要求1所述的方法，对待提取中心产品词的目标标题提取特征的步骤，包括：
对待提取中心产品词的目标标题进行分词；
提取所述目标标题的每个分词的如下的其中一个或多个特征：词性特征、属性特征、图像特征、上下文词性特征、上下文属性特征、上下文图像特征、词间转移特征。
5.根据权利要求1所述的方法，其特征在于，根据所述状态函数和与所述状态函数相关的权重利用预设算法进行运算，并根据所述运算的结果提取所述目标标题的中心产品词的步骤，包括：
根据所述状态函数和与所述状态函数相关的权重，利用维特比算法计算所述目标标题的每个分词分别为中心产品词和非中心产品词的分数；
根据所述分数确定所述目标标题中的待定中心产品词，并将所述分数大于预设阈值的所述待定中心产品词提取为所述目标标题中的中心产品词。
6.根据权利要求5所述的方法，其特征在于，将所述分数大于预设阈值的所述待定中心产品词提取为所述目标标题中的中心产品词的步骤，包括：
将所述分数大于预设阈值的所述待定中心产品词和所述分数大于预设阈值的所述待定中心产品词的同义词提取为所述目标标题中的中心产品词。
7.一种提取中心产品词的装置，其特征在于，包括：
特征提取模块，用于对待提取中心产品词的目标标题提取特征；
特征输入模块，用于将所述特征以预设的特征组合输入预设模型，以获取与所述特征组合对应的状态函数和与所述状态函数相关的权重；其中，所述预设模型为条件随机场模型，所述特征组合中每个特征对应一个状态函数和相关的权重，所述特征对应的状态函数和相关的权重与该特征存在的概率值相对应，通过使用训练数据对所述条件随机场模型进行训练得到所述状态函数和相关的权重，所述状态函数的取值为0或1；
运算和提取模块，用于根据所述状态函数和与所述状态函数相关的权重利用预设算法进行运算，并根据所述运算的结果提取所述目标标题的中心产品词。
8.根据权利要求7所述的装置，其特征在于，根据用户的历史搜索数据采集训练样本，并对所述训练样本标注所述特征，以得到所述训练数据，所述历史搜索数据包括样本标题和对应的搜索词，
所述模型训练模块包括样本采集模块，用于：
分别对所述样本标题和对应的搜索词进行分词，以得到样本标题分词和每条样本标题的搜索词分词；
根据每条样本标题的搜索词分词中的产品词确定所述每条样本标题的样本中心产品词；
根据所述样本标题分词和所述样本中心产品词得到所述训练样本。
9.根据权利要求8所述的装置，其特征在于，所述模型训练模块还包括样本中心产品词确定模块，用于：
将每条样本标题对应的每条搜索词中位于第N/2至第N个搜索词分词之间的产品词作为相应的样本标题的候选样本中心产品词，并将位于所述候选样本中心产品词之前的产品词作为修饰产品词，其中，N为该条搜索词的搜索词分词个数；
将每条样本标题中以候选样本中心产品词出现的次数大于以所述修饰产品词出现的次数的候选样本中心产品词作为相应的样本标题的样本中心产品词。
10.根据权利要求7所述的装置，其特征在于，所述特征提取模块还用于：
对待提取中心产品词的目标标题进行分词；
提取所述目标标题的每个分词的如下的其中一个或多个特征：词性特征、属性特征、图像特征、上下文词性特征、上下文属性特征、上下文图像特征、词间转移特征。
11.根据权利要求7所述的装置，其特征在于，所述运算和提取模块还用于：
根据所述状态函数和与所述状态函数相关的权重，利用维特比算法计算所述目标标题的每个分词分别为中心产品词和非中心产品词的分数；
根据所述分数确定所述目标标题中的待定中心产品词，并将所述分数大于预设阈值的所述待定中心产品词提取为所述目标标题中的中心产品词。
12.根据权利要求11所述的装置，其特征在于，所述运算和提取模块包括中心产品词提取模块，用于：
将所述分数大于预设阈值的所述待定中心产品词和所述分数大于预设阈值的所述待定中心产品词的同义词提取为所述目标标题中的中心产品词。
13.一种服务器，其特征在于，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1-6中任一所述的方法。
14.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-6中任一所述的方法。
CN201710930319.8A 2017-10-09 2017-10-09 一种提取中心产品词的方法和装置 Active CN107729453B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710930319.8A CN107729453B (zh) 2017-10-09 2017-10-09 一种提取中心产品词的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710930319.8A CN107729453B (zh) 2017-10-09 2017-10-09 一种提取中心产品词的方法和装置

Publications (2)

Publication Number Publication Date
CN107729453A CN107729453A (zh) 2018-02-23
CN107729453B true CN107729453B (zh) 2020-11-24

Family

ID=61209931

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710930319.8A Active CN107729453B (zh) 2017-10-09 2017-10-09 一种提取中心产品词的方法和装置

Country Status (1)

Country Link
CN (1) CN107729453B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108764489B (zh) * 2018-06-05 2021-02-02 北京百度网讯科技有限公司 基于虚拟样本的模型训练方法及设备
CN110795613B (zh) * 2018-07-17 2023-04-28 阿里巴巴集团控股有限公司 商品搜索方法、装置、系统及电子设备
CN111444335B (zh) * 2019-01-17 2023-04-07 阿里巴巴集团控股有限公司 中心词的提取方法及装置
CN111488497B (zh) * 2019-01-25 2023-05-12 北京沃东天骏信息技术有限公司 字符串集合的相似度确定方法、装置、终端及可读介质
CN111782760A (zh) * 2019-05-09 2020-10-16 北京沃东天骏信息技术有限公司 核心产品词的识别方法、装置及设备
CN114358821B (zh) * 2021-12-27 2023-06-30 创优数字科技(广东)有限公司 商品细类特征提取方法、装置、计算机设备和存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104809128A (zh) * 2014-01-26 2015-07-29 中国科学院声学研究所 一种获取语句情感倾向性的方法及系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004112000A1 (en) * 2003-06-19 2004-12-23 Kwangwoon Foundation Device and method for sentence understanding
JP4654776B2 (ja) * 2005-06-03 2011-03-23 富士ゼロックス株式会社 質問応答システム、およびデータ検索方法、並びにコンピュータ・プログラム
CN103729365A (zh) * 2012-10-12 2014-04-16 阿里巴巴集团控股有限公司 一种搜索方法和系统
CN103870447A (zh) * 2014-03-11 2014-06-18 北京优捷信达信息科技有限公司 一种基于隐含狄利克雷模型的关键词抽取方法
CN105528441A (zh) * 2015-12-22 2016-04-27 北京奇虎科技有限公司 基于自动标注的中心词提取方法和装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104809128A (zh) * 2014-01-26 2015-07-29 中国科学院声学研究所 一种获取语句情感倾向性的方法及系统

Also Published As

Publication number Publication date
CN107729453A (zh) 2018-02-23

Similar Documents

Publication Publication Date Title
CN107729453B (zh) 一种提取中心产品词的方法和装置
CN106649818B (zh) 应用搜索意图的识别方法、装置、应用搜索方法和服务器
CN106709040B (zh) 一种应用搜索方法和服务器
CN109190049B (zh) 关键词推荐方法、系统、电子设备和计算机可读介质
CN107193962B (zh) 一种互联网推广信息的智能配图方法及装置
CN106682169B (zh) 一种应用标签挖掘方法、装置和应用搜索方法、服务器
CN109918662B (zh) 一种电子资源的标签确定方法、装置和可读介质
CN107679217B (zh) 基于数据挖掘的关联内容提取方法和装置
CN109992766B (zh) 提取目标词的方法和装置
CN105740268A (zh) 一种信息推送方法和装置
CN112541125B (zh) 序列标注模型训练方法、装置及电子设备
CN113239275B (zh) 信息推送方法、装置、电子设备和存储介质
CN111260428A (zh) 一种商品推荐方法和装置
CN113282754A (zh) 针对新闻事件的舆情检测方法、装置、设备和存储介质
CN111598596A (zh) 数据处理方法、装置、电子设备及存储介质
CN114021577A (zh) 内容标签的生成方法、装置、电子设备及存储介质
CN111625619B (zh) 查询省略方法、装置、计算机可读介质及电子设备
CN114548109B (zh) 命名实体识别模型训练方法及命名实体识别方法
CN111523315B (zh) 数据处理方法、文本识别方法、装置及计算机设备
CN107169837B (zh) 用于辅助搜索的方法、装置、电子设备及计算机可读介质
CN115547514A (zh) 一种致病基因排序方法、装置、电子设备和介质
CN112528644B (zh) 实体挂载的方法、装置、设备以及存储介质
CN115017385A (zh) 一种物品搜索方法、装置、设备和存储介质
CN111797622B (zh) 用于生成属性信息的方法和装置
CN110674388A (zh) 推送项目的配图方法、装置、存储介质和终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant