CN105653701B - 模型生成方法及装置、词语赋权方法及装置 - Google Patents

模型生成方法及装置、词语赋权方法及装置 Download PDF

Info

Publication number
CN105653701B
CN105653701B CN201511025975.0A CN201511025975A CN105653701B CN 105653701 B CN105653701 B CN 105653701B CN 201511025975 A CN201511025975 A CN 201511025975A CN 105653701 B CN105653701 B CN 105653701B
Authority
CN
China
Prior art keywords
text
word
pictures
score value
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201511025975.0A
Other languages
English (en)
Other versions
CN105653701A (zh
Inventor
邹红建
方高林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201511025975.0A priority Critical patent/CN105653701B/zh
Priority to JP2016572673A priority patent/JP6428795B2/ja
Priority to US15/319,555 priority patent/US10565253B2/en
Priority to PCT/CN2016/084312 priority patent/WO2017113592A1/zh
Publication of CN105653701A publication Critical patent/CN105653701A/zh
Application granted granted Critical
Publication of CN105653701B publication Critical patent/CN105653701B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/31—Indexing; Data structures therefor; Storage structures
    • G06F16/313—Selection or weighting of terms for indexing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例提供了一种模型生成方法及装置、词语赋值方法及装置。一方面，本发明实施例通过获取与指定图片相同的其它图片，将所述指定图片和所述其他图片作为样本图片；从而，根据所述样本图片的文本，获得文本聚簇；进而，根据所述文本聚簇获得文本特征，并根据所述样本图片获得视觉特征；以及，根据所述文本特征和所述视觉特征进行机器学习，生成第一回归模型和第一排序模型，第一回归模型和第一排序模型用于实现对图片中文本的词语赋权。因此，本发明实施例提供的技术方案能够提高图片的文本中各词语赋权结果的准确性，从而提高了图片搜索结果的准确性。

Description

模型生成方法及装置、词语赋权方法及装置
【技术领域】
本发明涉及互联网应用技术领域，尤其涉及一种模型生成方法及装置、词语赋权方法及装置。
【背景技术】
图片搜索过程包括：用户输入查询词，然后图片搜索引擎从图片集合中查找与查询词相匹配的图片搜索结果，并将图片搜索结果排序后提供给用户。图片搜索引擎是用于查找互联网图片的信息检索工具。目前，进行图片搜索时，图片搜索引擎需要计算查询词与候选图片的相关性，计算相关性主要依据查询词中各词语的权重以及各候选图片的文本中各词语的权重。其中，候选图片的文本中各词语的权重利用词语赋权技术获取。可见，词语赋权的效果会直接影响相关性计算，进而影响图片搜索结果的准确性。
现有技术中，由于图片的文本普遍比较短少，现有技术中在进行图片的词语赋权时一般根据图片的短文本，对文本中各词语进行赋权，因此导致了词语赋权结果的准确性比较低，最终导致图片搜索结果的准确性比较低。
【发明内容】
有鉴于此，本发明实施例提供了一种模型生成方法及装置、词语赋值方法及装置，可以提高图片的文本中各词语赋权结果的准确性，从而提高了图片搜索结果的准确性。
本发明实施例的一方面，提供一种模型生成方法，包括：
获取与指定图片相同的其它图片，将所述指定图片和所述其他图片作为样本图片；
根据所述样本图片的文本，获得文本聚簇；
根据所述文本聚簇获得文本特征，并根据所述样本图片获得视觉特征；
根据所述文本特征和所述视觉特征进行机器学习，生成第一回归模型和第一排序模型。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述获取与指定图片相同的其它图片，包括：
获取所述指定图片以及各候选图片的签名；
根据所述指定图片以及各候选图片的签名，获取所述指定图片与每个候选图片的相似度；
提取相似度大于或者等于预设的相似阈值的候选图片，以作为与所述指定图片相同的其它图片。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，根据所述文本聚簇获得文本特征，并根据所述样本图片获得视觉特征之前，所述方法还包括：
根据各样本图片所在站点或者页面的权威数据、各样本图片所在页面的时间信息、各样本图片所在站点的点击数据、以及各样本图片的文本的词语向量与所述文本聚簇的词语向量之间的距离中至少一个，对所述文本聚簇中的各文本进行筛选，以获得筛选后的文本聚簇。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述文本特征包括以下特征中至少一个：
所述文本聚簇中各文本的分布特征；
所述文本聚簇中各文本的点击特征；
所述文本聚簇中各文本中词语的语义特征；
所述文本聚簇中各文本的主题词；以及，
所述文本聚簇中各文本中词语的先验属性。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述方法还包括：
利用所述第一回归模型获得各样本图片的文本中各词语的回归分值；
利用所述第一排序模块获得各样本图片的文本中各词语的排序结果；
获得与各样本图片的文本中各词语相匹配的图片搜索结果中各图片的相关特征；
根据所述回归分值、所述排序结果和所述相关特征，进行机器学习，生成第二回归模型和第二排序模型。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述相关特征包括以下特征中至少一个：
与各样本图片的文本中各词语相匹配的图片搜索结果中各图片的用户行为特征、各图片的质量特征、以及各图片所在站点或者页面的权威数据。
本发明实施例的一方面，提供一种词语赋权方法，包括：
根据指定图片的文本，利用第一回归模型获得所述文本中各词语的第一回归分值；所述第一回归模型为利用上述模型生成方法生成的；
根据所述指定图片的文本，利用第一排序模型获得所述文本中各词语的第一排序结果；所述第一排序模型为利用上述模型生成方法生成的；
根据所述第一回归分值和所述第一排序结果，获得所述指定图片的文本中各词语的赋权分值。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，根据所述第一回归分值和所述第一排序结果，获得所述指定图片的文本中各词语的赋权分值，包括：
根据所述第一回归分值和所述第一排序结果，并利用赋权函数，计算所述指定图片的文本中各词语的赋权分值。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，根据所述第一回归分值和所述第一排序结果，获得所述指定图片的文本中各词语的赋权分值，包括：
根据所述第一回归分值和所述第一排序结果，利用第二回归模型，获得所述指定图片的文本中各词语的第二回归分值；所述第二回归模型为利用上述模型生成方法生成的；
根据所述第一回归分值和所述第一排序结果，利用第二排序模型，获得所述指定图片的文本中各词语的第二排序结果；所述第二排序模型为利用上述模型生成方法生成的；
根据所述第二回归分值和所述第二排序结果，并利用赋权函数，计算所述指定图片的文本中各词语的赋权分值。
本发明实施例的一方面，提供一种模型生成装置，包括：
图片获取单元，用于获取与指定图片相同的其它图片，将所述指定图片和所述其他图片作为样本图片；
文本聚簇单元，用于根据所述样本图片的文本，获得文本聚簇；
第一特征获取单元，用于根据所述文本聚簇获得文本特征，并根据所述样本图片获得视觉特征；
第一生成单元，用于根据所述文本特征和所述视觉特征进行机器学习，生成第一回归模型和第一排序模型。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述图片获取单元，具体用于：
获取所述指定图片以及各候选图片的签名；
根据所述指定图片以及各候选图片的签名，获取所述指定图片与每个候选图片的相似度；
提取相似度大于或者等于预设的相似阈值的候选图片，以作为与所述指定图片相同的其它图片。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述装置还包括：
文本处理单元，用于根据各样本图片所在站点或者页面的权威数据、各样本图片所在页面的时间信息、各样本图片所在站点的点击数据、以及各样本图片的文本的词语向量与所述文本聚簇的词语向量之间的距离中至少一个，对所述文本聚簇中的各文本进行筛选，以获得筛选后的文本聚簇。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述文本特征包括以下特征中至少一个：
所述文本聚簇中各文本的分布特征；
所述文本聚簇中各文本的点击特征；
所述文本聚簇中各文本中词语的语义特征；
所述文本聚簇中各文本的主题词；以及，
所述文本聚簇中各文本中词语的先验属性。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述装置还包括：
分值获取单元，用于利用所述第一回归模型获得各样本图片的文本中各词语的回归分值；
排序获取单元，用于利用所述第一排序模块获得各样本图片的文本中各词语的排序结果；
第二特征获取单元，用于获得与各样本图片的文本中各词语相匹配的图片搜索结果中各图片的相关特征；
第二生成单元，用于根据所述回归分值、所述排序结果和所述相关特征，进行机器学习，生成第二回归模型和第二排序模型。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述相关特征包括以下特征中至少一个：
与各样本图片的文本中各词语相匹配的图片搜索结果中各图片的用户行为特征、各图片的质量特征、以及各图片所在站点或者页面的权威数据。
本发明实施例的一方面，提供一种词语赋权装置，包括：
分值获取单元，用于根据指定图片的文本，利用第一回归模型获得所述文本中各词语的第一回归分值；所述第一回归模型为利用上述模型生成装置生成的；
排序获取单元，用于根据所述指定图片的文本，利用第一排序模型获得所述文本中各词语的第一排序结果；所述第一排序模型为利用上述模型生成装置生成的；
词语赋权单元，用于根据所述第一回归分值和所述第一排序结果，获得所述指定图片的文本中各词语的赋权分值。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述词语赋权单元，具体用于：
根据所述第一回归分值和所述第一排序结果，并利用赋权函数，计算所述指定图片的文本中各词语的赋权分值。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述词语赋权单元进一步包括：
分值获取模块，用于根据所述第一回归分值和所述第一排序结果，利用第二回归模型，获得所述指定图片的文本中各词语的第二回归分值；所述第二回归模型为利用上述模型生成装置生成的；
排序获取模块，用于根据所述第一回归分值和所述第一排序结果，利用第二排序模型，获得所述指定图片的文本中各词语的第二排序结果；所述第二排序模型为利用上述模型生成装置生成的；
词语赋权模块，用于根据所述第二回归分值和所述第二排序结果，并利用赋权函数，计算所述指定图片的文本中各词语的赋权分值。
由以上技术方案可以看出，本发明实施例具有以下有益效果：
本发明实施例提供的技术方案中，通过对图片的文本进行聚簇来获取多个文本，进而基于图片的文本聚簇提取多种特征，进而对多种特征进行机器学习，以生成所需要的模型，该模型可以用于对图片的文本中各词语进行赋权。解决了现有技术中由于图片的文本比较短少带来的词语赋权结果的准确性比较低的问题，因此本发明实施例能够提高图片的文本中各词语赋权结果的准确性，从而提高了图片搜索结果的准确性。
【附图说明】
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1是本发明实施例所提供的模型生成方法的实施例一的流程示意图；
图2是本发明实施例所提供的生成局部模型和全局模型的示例图；
图3是本发明实施例所提供的图片的文本聚簇的示例图；
图4是本发明实施例所提供的模型生成方法的实施例二的流程示意图；
图5是本发明实施例所提供利用点击特征生成模型的示例图；
图6是本发明实施例所提供的词语赋权方法的流程示意图；
图7是本发明实施例所提供的模型生成装置的实施例一的功能方块图；
图8是本发明实施例所提供的模型生成装置的实施例二的功能方块图；
图9是本发明实施例所提供的模型生成装置的实施例三的功能方块图；
图10是本发明实施例所提供的词语赋权装置的实施例一的功能方块图；
图11是为本发明实施例所提供的词语赋权装置的实施例二的功能方块图。
【具体实施方式】
为了更好的理解本发明的技术方案，下面结合附图对本发明实施例进行详细描述。
应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
应当理解，尽管在本发明实施例中可能采用术语第一、第二等来描述回归模型，但这些回归模型不应限于这些术语。这些术语仅用来将回归模型彼此区分开。例如，在不脱离本发明实施例范围的情况下，第一回归模型也可以被称为第二回归模型，类似地，第二回归模型也可以被称为第一回归模型。
取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
实施例一
本发明实施例给出一种模型生成方法，请参考图1，其为本发明实施例所提供的模型生成方法的实施例一的流程示意图，如图所示，该方法包括以下步骤：
S101，获取与指定图片相同的其它图片，将所述指定图片和所述其他图片作为样本图片。
具体的，图片搜索与网页搜索的显著区别是，图片的相关文本普遍比较短，因此，面对词语赋权任务时会遇到短文本理解的难题，解决该难题的方法之一是赋权任务需要增加预处理步骤，对图片的文本进行聚簇，以获得丰富且准确的文本。即对同一图片的文本进行聚合，利用聚合结果对图片的文本进行相互验证，从而筛选出可信和足量的文本，以提高基于图片的文本的统计特征的有效性。
请参考图2，其为本发明实施例所提供的生成局部模型和全局模型的示例图，如图所示，本发明实施例中，为了实现图片的文本聚簇，需要先根据指定图片，获取与指定图片相同的其它图片，然后将指定图片以及与指定图片相同的其它图片，作为本发明实施例中的样本图片。其中，指定图片的数目可以是一个以上，与每个指定图片相同的其他图片的数目也可以是一个以上。
举例说明，获取与指定图片相同的其它图片的方法可以包括但不限于：
首先，利用指定图片的全部内容或者抽取指定图片的主要特征，获取所述指定图片的签名，并利用相同的方法获得图片集合中各候选图片的签名。然后，根据所述指定图片的前面以及各候选图片的签名，获取所述指定图片与每个候选图片的相似度。将各相似度与预设的相似阈值进行比较，进而提取相似度大于或者等于预设的相似阈值的候选图像，将相似度大于或者等于预设的相似阈值的候选图像作为与所述指定图片相同的其它图片，也就是，认为与指定图片的签名的相似度大于或者等于相似阈值的其它图片与指定照片属于同一图片。这样，就获得了与指定图片相同的其他图片。
S102，根据所述样本图片的文本，获得文本聚簇。
具体的，如图2所示，对于获得的与指定图片相同的其它图片，可以将指定图片的文本以及其它图片的文本进行聚合，获得文本聚簇。
可以理解的是，指定图片的文本或者其它图片的文本可以包括但不限于：图片所在页面的标题、鼠标悬停在图片上时显示的文本、图片的标题和图片所在页面中的文本中至少一种。
可以理解的是，由于文本聚簇中各文本的来源不同，文本质量也不同，有些页面，如来源于博客、论坛的页面，存在文本与配置的图片相关性比较低的情况，所以文本聚簇如果不进行筛选，将会存在噪声，如果直接使用获得的文本聚簇会影响生成模型的准确性。
请参考图3，其为本发明实施例所提供的图片的文本聚簇的示例图，如图3所示，本发明实施例中，对文本聚簇进行筛选的方法可以包括但不限于：根据各样本图片所在站点或者页面的权威数据、各样本图片所在页面的时间信息、各样本图片所在站点的点击数据、以及各样本图片的文本的词语向量与所述文本聚簇的词语向量之间的距离中至少一个，对所述文本聚簇中的各文本进行筛选，以获得筛选后的文本聚簇。可以认为，经过筛选得到的文本聚簇中各文本属于比较优质的文本。
例如，计算各样本图片所在站点或者页面的权威数据，将各权威数据与预设的权威阈值进行比较，在文本聚簇中删除权威数据小于权威阈值的样本图片的文本。
又例如，由于博客、论坛等页面往往引用其他时间更早的页面中的图片，因此，可以根据各样本图片所在页面的时间信息，在文本聚簇中删除来源于时间较近的页面中样本图片的文本，在文本聚簇中保留来源于时间比较早的页面中样本图片的文本。
又例如，计算各样本图片所在站点的点击次数，将各点击次数与预设的次数阈值进行比较，在文本聚簇中删除点击次数小于次数阈值的样本图片的文本。
又例如，分别计算各样本图片的文本的词语向量与所述文本聚簇的词语向量之间的距离，然后将计算出的各距离与预设的距离阈值进行比较，在文本聚簇中删除距离大于或者等于距离阈值的样本图片的文本。
S103，根据所述文本聚簇获得文本特征，并根据所述样本图片获得视觉特征。
具体的，可以根据经过筛选后得到的文本聚簇，获得文本特征，并根据样本图片获得视觉特征。
本发明实施例中，如图2和图3所示，所述文本特征可以包括以下特征中至少一个：
所述文本聚簇中各文本的分布特征；
所述文本聚簇中各文本的点击特征；
所述文本聚簇中各文本中词语的语义特征；
所述文本聚簇中各文本的主题词；以及，
所述文本聚簇中各文本中词语的先验属性。
例如，文本的分布特征可以包括但不限于：文本中各词语在文本聚簇中各文本中出现的文本域、文本中各词语在文本聚簇中的出现次数、文本中各词语在文本聚簇中的各文本中的出现次数、文本中各词语在文本聚簇中各文本中出现时的偏移量以及文本中各词语在不同等级的站点或者页面上的分布特征。其中，文本中各词语在不同等级的站点或者页面上的分布特征可以包括但不限于以下特征中至少一个：文本中各词语在每个等级的页面或者站点中的出现次数、出现频率、出现次数与出现次数最大值的比值、出现次数与出现次数均值的比值等。
如果查询词query为q，用户在与该查询词相匹配的搜索结果中点击了图片p，则称q为p的文本的点击query文本，如果用户同时还点击了图片r，则称r的文本为p的文本的扩展点击文本。例如，所述文本的点击特征可以包括但不限于：文本中各词语在点击query文本以及扩展点击文本上的出现次数、出现频率、出现次数与出现次数最大值的比值、出现次数与出现次数均值的比值等。
例如，文本中词语的语义特征可以包括但不限于文本中各词语在文本聚簇中的语义类别，如植物、动物或者明星等。
例如，可以对文本进行切词，以获得文本中的各词语，然后获得各词语中置信度大于或者等于置信阈值的若干词语，以作为该文本的主题词。
例如，文本中词语的先验属性可以包括但不限于：词语的反文档频率(InverseDocument Frequency，IDF)数据、语义类别、共现词、同义词、近义词和相关词等。在一个具体的实现过程中，可以从语料库和/或用户行为日志上挖掘出词语的先验属性。
本发明实施例中，所述视觉特征指的是样本图片在视觉上的特征，例如，对于一张刘某某的演唱会图片，其视觉特征包括“刘某某”、“演唱会”和“明星”。可以通过对样本图片的内容和用户点击日志进行机器学习，来获得样本图片的视觉特征。
S104，根据所述文本特征和所述视觉特征进行机器学习，生成第一回归模型和第一排序模型。
具体的，如图2所示，在获得文本特征和视觉特征之后，可以根据文本特征和视觉特征进行机器学习，生成局部模型，该局部模型包括第一回归模型和第一排序模型。
可以理解的是，第一回归模型用于获得图片的文本中各词语的回归分值，第一排序模型用于获得图片的文本中各词语的排序分值，该排序分值用于确定该图片的文本中各词语之间的排序。例如，词语A、词语B和词语C的排序分值分别为0.3、-1和1.2，则各词语之间的排序为“词语C>词语A>词语B”。
例如，可以利用梯度提升决策树(Gradient Boosting Decision Tree，GBDT)算法，对文本特征和视觉特征进行机器学习，以生成第一回归模型。
又例如，可以利用梯度提升排序(Gradient Boosting Rank，GBRank)算法，对文本特征和视觉特征进行机器学习，以生成第一排序模型。
实施例二
请参考图4，其为本发明实施例所提供的模型生成方法的实施例二的流程示意图，如图所示，该方法基于实施例一中模型生成方法，该模型生成方法在S104之后还可以包括以下步骤：
S105，利用所述第一回归模型获得各样本图片的文本中各词语的回归分值。
S106，利用所述第一排序模块获得各样本图片的文本中各词语的排序结果。
S107，获得与各样本图片的文本中各词语相匹配的图片搜索结果中各图片的相关特征。
S108，根据所述回归分值、所述排序结果和所述相关特征，进行机器学习，生成第二回归模型和第二排序模型。
可以理解的是，实施例一中生成的第一回归模型和第一排序模型只能获得词语在图片的一个文本中的回归分值以及词语在图片的一个文本中各词语的排序位置，如果想要获得词语在不同图片中的回归分值以及不同图片中同一词语的排序位置，则需要基于局部模型进一步生成全局模型，该全局模型包括第二回归模型和第二排序模型。
在一个具体的实现过程中，如图2所示，可以先将各样本图片的文本输入第一回归模型，第一回归模型输出该文本中各词语的回归分值。同理，将各样本图片的文本输入第一排序模型，第一排序模型可以输出该文本中各词语的排序结果。
本实施例中，还需要以各样本图片的文本中各词语作为查询词query进行图片搜索，以获得与各样本图片的文本中各词语相匹配的图片搜索结果。然后获得该图片搜索结果中各图片的相关特征。
本实施例中，图片的相关特征包括以下特征中至少一个：与各样本图片的文本中各词语相匹配的图片搜索结果中各图片的用户行为特征、各图片的质量特征、以及各图片所在站点或者页面的权威数据。
例如，图片的用户行为特征可以包括但不限于：与包含文本中词语且重要度大于指定阈值的查询词相匹配的图片搜索结果中，图片的点击数据。如点击数据可以包括：图片的点击次数、点击频率、点击次数与点击次数最大值的比值、点击次数与点击次数均值的比值等。
例如，图片的质量特征可以包括但不限于：图片的尺寸、图片的清晰度、表示图片是否精美的数据(如true和false)、图片的链接是否为死链接、图片的链接是否为外部站点的连接等。
例如，图片所在站点或页面的权威数据可以包括但不限于：图片所在站点或页面的权威性的绝对值、该绝对值与绝对值最大值的比值等。
在一个具体的实现过程中，如图2所示，在获得与各样本图片的文本中各词语相匹配的图片搜索结果中各图片的相关特征之后，可以根据各词语的回归分值、各词语的排序结果以及与各样本图片的文本中各词语相匹配的图片搜索结果中各图片的相关特征，进行机器学习，生成全局模型，该全局模型包括第二回归模型和第二排序模型。
可以理解的是，第二回归模型用于获得同一词语对应不同图片的文本时的各回归分值，第二排序模型用于获得同一词语对应不同图片的文本时的排序分值，该排序分值用于该词语对应不同图片的文本时的排序。例如，文本A中的词语s、文本B中的词语s和文本C中的词语s的排序分值分别为0.3、-1和1.2，则排序为“文本C中的词语s>文本A中的词语s>文本B中的词语s”。
例如，可以利用GBDT算法，对各词语的回归分值、各词语的排序结果以及与各样本图片的文本中各词语相匹配的图片搜索结果中各图片的相关特征，进行机器学习，以生成第二回归模型。
又例如，可以利用GBRank算法，对各词语的回归分值、各词语的排序结果以及与各样本图片的文本中各词语相匹配的图片搜索结果中各图片的相关特征，进行机器学习，以生成第二排序模型。
实施例三
请参考图5，其为本发明实施例所提供利用点击特征生成模型的示例图，如图所示，该利用点击特征生成模型可以包括以下过程：
首先，从用户点击日志中筛选出包含是单个词语的查询词query的用户点击日志。
其次，根据筛选出的用户点击日志，筛选出点击倒置的查询词与对应的搜索结果，以作为候选数据。同时根据搜索结果的点击信息将搜索结果划分为不同等级。利用筛选出的点击倒置的查询词与对应的搜索结果、划分为不同等级的搜索结果，得到数据集合data_a。
然后，根据搜索系统排序和重排序时用到的特征，筛选出候选数据中只有局部特征差异较大的数据，以作为生成局部模型中第一排序模型时所使用的训练数据，筛选出的数据的质量好坏将与局部模型使用的特征密切相关。同时，不同等级的搜索结果可以作为用于生成局部模型中的第一回归模型的训练数据；这两种训练数据可以记作局部训练数据(train_local)。
接着，利用train_local进行机器学习，以生成局部模型，包括第一回归模型和第一排序模型。
然后，利用局部模型获得data_a对应的回归分值和排序结果，回归分值和排序结果添加到数据集合data_a，获得数据集合data_b。根据回归分值和排序结果，并利用赋权函数，获得局部模型得分。
接着，筛选出数据集合data_a中候选数据中只有局部特征差异较小的数据，将只有局部特征差异较小的数据、回归分值和排序结果，作为全局模型中第二回归模型和第二排序模型的训练数据，即全局训练数据train_global。
然后，利用train_global进行机器学习，以生成全局模型，包括第二回归模型和第二排序模型。
最后，可以利用学习得到的局部模型和全局模型对测试集中的测试图片的文本进行赋权并评估测试效果。
实施例四
请参考图6，其为本发明实施例所提供的词语赋权方法的流程示意图，如图所示，可以包括以下步骤：
S601，根据指定图片的文本，利用第一回归模型获得所述文本中各词语的第一回归分值；所述第一回归模型为利用实施例一所述的模型生成方法生成的。
具体的，将指定图片的文本、指定图片的文本特征和指定图片的视觉特征输入实施例一中生成的第一回归模型，第一回归模型根据输入的信息，获得该指定图片的文本中各词语的第一回归分值。
S602，根据所述指定图片的文本，利用第一排序模型获得所述文本中各词语的第一排序结果；所述第一排序模型为利用实施例一所述的模型生成方法生成的。
具体的，将指定图片的文本、指定图片的文本特征和指定图片的视觉特征输入实施例一中生成的第一排序模型，第一排序模型根据输入的信息，获得该指定图片的文本中各词语的第一排序结果。
S603，根据所述第一回归分值和所述第一排序结果，获得所述指定图片的文本中各词语的赋权分值。
具体的，利用所述第一回归分值和所述第一排序结果，获得所述指定图片的文本中各词语的赋权分值的方法可以包括但不限于以下两种：
第一种：根据所述第一回归分值和所述第一排序结果，并利用赋权函数，计算所述指定图片的文本中各词语的赋权分值。这里，可以利用赋权函数将第一回归分值和第一排序结果的拟合结果映射到指定区间内，如指定区间为0～100。
第二种：若上述模型生成方法中还生成了第二回归模型和第二排序模型，则可以根据所述第一回归分值和所述第一排序结果，利用第二回归模型，获得所述指定图片的文本中各词语的第二回归分值；并根据所述第一回归分值和所述第一排序结果，利用第二排序模型，获得所述指定图片的文本中各词语的第二排序结果；最后，根据所述第二回归分值和所述第二排序结果，并利用赋权函数，计算所述指定图片的文本中各词语的赋权分值。
需要说明的是，本发明上述实施例所提供的技术方案不只应用于图片的文本上，还可以应用于互联网上其他网络资源的文本上，如普通页面的文本、多媒体资源的文本等，本发明仅以图片的文本为例进行举例说明。
本发明实施例进一步给出实现上述方法实施例中各步骤及方法的装置实施例。
请参考图7，其为本发明实施例所提供的模型生成装置的实施例一的功能方块图。如图所示，该装置包括：
图片获取单元71，用于获取与指定图片相同的其它图片，将所述指定图片和所述其他图片作为样本图片；
文本聚簇单元72，用于根据所述样本图片的文本，获得文本聚簇；
第一特征获取单元73，用于根据所述文本聚簇获得文本特征，并根据所述样本图片获得视觉特征；
第一生成单元74，用于根据所述文本特征和所述视觉特征进行机器学习，生成第一回归模型和第一排序模型。
在一个具体的实现过程中，所述图片获取单元71，具体用于：
获取所述指定图片以及各候选图片的签名；
根据所述指定图片以及各候选图片的签名，获取所述指定图片与每个候选图片的相似度；
提取相似度大于或者等于预设的相似阈值的候选图片，以作为与所述指定图片相同的其它图片。
请参考图8，其为本发明实施例所提供的模型生成装置的实施例二的功能方块图。如图所示，该装置还包括：
文本处理单元75，用于根据各样本图片所在站点或者页面的权威数据、各样本图片所在页面的时间信息、各样本图片所在站点的点击数据、以及各样本图片的文本的词语向量与所述文本聚簇的词语向量之间的距离中至少一个，对所述文本聚簇中的各文本进行筛选，以获得筛选后的文本聚簇。
在一个具体的实现过程中，所述文本特征包括以下特征中至少一个：
所述文本聚簇中各文本的分布特征；
所述文本聚簇中各文本的点击特征；
所述文本聚簇中各文本中词语的语义特征；
所述文本聚簇中各文本的主题词；以及，
所述文本聚簇中各文本中词语的先验属性。
请参考图9，其为本发明实施例所提供的模型生成装置的实施例三的功能方块图。如图所示，该装置还包括：
分值获取单元76，用于利用所述第一回归模型获得各样本图片的文本中各词语的回归分值；
排序获取单元77，用于利用所述第一排序模块获得各样本图片的文本中各词语的排序结果；
第二特征获取单元78，用于获得与各样本图片的文本中各词语相匹配的图片搜索结果中各图片的相关特征；
第二生成单元79，用于根据所述回归分值、所述排序结果和所述相关特征，进行机器学习，生成第二回归模型和第二排序模型。
在一个具体的实现过程中，所述相关特征包括以下特征中至少一个：
与各样本图片的文本中各词语相匹配的图片搜索结果中各图片的用户行为特征、各图片的质量特征、以及各图片所在站点或者页面的权威数据。
请参考图10，其为本发明实施例所提供的词语赋权装置的实施例一的功能方块图。如图所示，该装置包括：
分值获取单元80，用于根据指定图片的文本，利用第一回归模型获得所述文本中各词语的第一回归分值；所述第一回归模型为利用图7和图8所示的模型生成装置生成的；
排序获取单元81，用于根据所述指定图片的文本，利用第一排序模型获得所述文本中各词语的第一排序结果；所述第一排序模型为利用图7和图8所示的模型生成装置生成的；
词语赋权单元82，用于根据所述第一回归分值和所述第一排序结果，获得所述指定图片的文本中各词语的赋权分值。
在一个具体的实现过程中，所述词语赋权单元，具体用于：
根据所述第一回归分值和所述第一排序结果，并利用赋权函数，计算所述指定图片的文本中各词语的赋权分值。
请参考图11，其为本发明实施例所提供的词语赋权装置的实施例二的功能方块图。如图所示，所述词语赋权单元82进一步包括：
分值获取模块821，用于根据所述第一回归分值和所述第一排序结果，利用第二回归模型，获得所述指定图片的文本中各词语的第二回归分值；所述第二回归模型为利用图9所示的模型生成装置生成的；
排序获取模块822，用于根据所述第一回归分值和所述第一排序结果，利用第二排序模型，获得所述指定图片的文本中各词语的第二排序结果；所述第二排序模型为利用图9所示的模型生成装置生成的；
词语赋权模块823，用于根据所述第二回归分值和所述第二排序结果，并利用赋权函数，计算所述指定图片的文本中各词语的赋权分值。
本发明实施例的技术方案具有以下有益效果：
本发明实施例通过获取与指定图片相同的其它图片，将所述指定图片和所述其他图片作为样本图片；从而，根据所述样本图片的文本，获得文本聚簇；进而，根据所述文本聚簇获得文本特征，并根据所述样本图片获得视觉特征；以及，根据所述文本特征和所述视觉特征进行机器学习，生成第一回归模型和第一排序模型，第一回归模型和第一排序模型用于实现对图片中文本的词语赋权。
本发明实施例提供的技术方案中，通过对图片的文本进行聚簇来获取多个文本，进而基于图片的文本聚簇提取多种特征，进而对多种特征进行机器学习，以生成所需要的模型，该模型可以用于对图片的文本中各词语进行赋权。解决了现有技术中由于图片的文本比较短少带来的词语赋权结果的准确性比较低的问题，因此本发明实施例能够提高图片的文本中各词语赋权结果的准确性，从而提高了图片搜索结果的准确性。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以是个人计算机，服务器，或者网络装置等)或处理器(Processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (16)

1.一种模型生成方法，其特征在于，所述方法包括：
获取与指定图片相同的其它图片，将所述指定图片和所述其它图片作为样本图片；
根据所述样本图片的文本，获得文本聚簇；
根据所述文本聚簇获得文本特征，并根据所述样本图片获得视觉特征；
根据所述文本特征和所述视觉特征进行机器学习，生成第一回归模型和第一排序模型；
利用所述第一回归模型获得各样本图片的文本中各词语的回归分值；
利用所述第一排序模型获得各样本图片的文本中各词语的排序结果；
获得与各样本图片的文本中各词语相匹配的图片搜索结果中各图片的相关特征；
根据所述回归分值、所述排序结果和所述相关特征，进行机器学习，生成第二回归模型和第二排序模型。
2.根据权利要求1所述的方法，其特征在于，所述获取与指定图片相同的其它图片，包括：
获取所述指定图片以及各候选图片的签名；
根据所述指定图片以及各候选图片的签名，获取所述指定图片与每个候选图片的相似度；
提取相似度大于或者等于预设的相似阈值的候选图片，以作为与所述指定图片相同的其它图片。
3.根据权利要求1所述的方法，其特征在于，根据所述文本聚簇获得文本特征，并根据所述样本图片获得视觉特征之前，所述方法还包括：
根据各样本图片所在站点或者页面的权威数据、各样本图片所在页面的时间信息、各样本图片所在站点的点击数据、以及各样本图片的文本的词语向量与所述文本聚簇的词语向量之间的距离中至少一个，对所述文本聚簇中的各文本进行筛选，以获得筛选后的文本聚簇。
4.根据权利要求1所述的方法，其特征在于，所述文本特征包括以下特征中至少一个：
所述文本聚簇中各文本的分布特征；
所述文本聚簇中各文本的点击特征；
所述文本聚簇中各文本中词语的语义特征；
所述文本聚簇中各文本的主题词；以及，
所述文本聚簇中各文本中词语的先验属性。
5.根据权利要求1所述的方法，其特征在于，所述相关特征包括以下特征中至少一个：
与各样本图片的文本中各词语相匹配的图片搜索结果中各图片的用户行为特征、各图片的质量特征、以及各图片所在站点或者页面的权威数据。
6.一种词语赋权方法，其特征在于，所述方法包括：
根据指定图片的文本，利用第一回归模型获得所述文本中各词语的第一回归分值；所述第一回归模型为利用权利要求1至4中任一项所述的模型生成方法生成的；
根据所述指定图片的文本，利用第一排序模型获得所述文本中各词语的第一排序结果；所述第一排序模型为利用权利要求1至4中任一项所述的模型生成方法生成的；
根据所述第一回归分值和所述第一排序结果，获得所述指定图片的文本中各词语的赋权分值，
其中根据所述第一回归分值和所述第一排序结果，获得所述指定图片的文本中各词语的赋权分值，具体包括：
根据所述第一回归分值和所述第一排序结果，利用第二回归模型，获得所述指定图片的文本中各词语的第二回归分值；所述第二回归模型为利用权利要求1或5所述的模型生成方法生成的；
根据所述第一回归分值和所述第一排序结果，利用第二排序模型，获得所述指定图片的文本中各词语的第二排序结果；所述第二排序模型为利用权利要求1或5所述的模型生成方法生成的；
根据所述第二回归分值和所述第二排序结果，获得所述指定图片的文本中各词语的赋权分值。
7.根据权利要求6所述的方法，其特征在于，根据所述第一回归分值和所述第一排序结果，获得所述指定图片的文本中各词语的赋权分值，包括：
根据所述第一回归分值和所述第一排序结果，并利用赋权函数，计算所述指定图片的文本中各词语的赋权分值。
8.根据权利要求6所述的方法，其特征在于，根据所述第二回归分值和所述第二排序结果，获得所述指定图片的文本中各词语的赋权分值，包括：
根据所述第二回归分值和所述第二排序结果，并利用赋权函数，计算所述指定图片的文本中各词语的赋权分值。
9.一种模型生成装置，其特征在于，所述装置包括：
图片获取单元，用于获取与指定图片相同的其它图片，将所述指定图片和所述其它图片作为样本图片；
文本聚簇单元，用于根据所述样本图片的文本，获得文本聚簇；
第一特征获取单元，用于根据所述文本聚簇获得文本特征，并根据所述样本图片获得视觉特征；
第一生成单元，用于根据所述文本特征和所述视觉特征进行机器学习，生成第一回归模型和第一排序模型；
分值获取单元，用于利用所述第一回归模型获得各样本图片的文本中各词语的回归分值；
排序获取单元，用于利用所述第一排序模型获得各样本图片的文本中各词语的排序结果；
第二特征获取单元，用于获得与各样本图片的文本中各词语相匹配的图片搜索结果中各图片的相关特征；
第二生成单元，用于根据所述回归分值、所述排序结果和所述相关特征，进行机器学习，生成第二回归模型和第二排序模型。
10.根据权利要求9所述的装置，其特征在于，所述图片获取单元，具体用于：
获取所述指定图片以及各候选图片的签名；
根据所述指定图片以及各候选图片的签名，获取所述指定图片与每个候选图片的相似度；
提取相似度大于或者等于预设的相似阈值的候选图片，以作为与所述指定图片相同的其它图片。
11.根据权利要求9所述的装置，其特征在于，所述装置还包括：
文本处理单元，用于根据各样本图片所在站点或者页面的权威数据、各样本图片所在页面的时间信息、各样本图片所在站点的点击数据、以及各样本图片的文本的词语向量与所述文本聚簇的词语向量之间的距离中至少一个，对所述文本聚簇中的各文本进行筛选，以获得筛选后的文本聚簇。
12.根据权利要求9所述的装置，其特征在于，所述文本特征包括以下特征中至少一个：
所述文本聚簇中各文本的分布特征；
所述文本聚簇中各文本的点击特征；
所述文本聚簇中各文本中词语的语义特征；
所述文本聚簇中各文本的主题词；以及，
所述文本聚簇中各文本中词语的先验属性。
13.根据权利要求9所述的装置，其特征在于，所述相关特征包括以下特征中至少一个：
与各样本图片的文本中各词语相匹配的图片搜索结果中各图片的用户行为特征、各图片的质量特征、以及各图片所在站点或者页面的权威数据。
14.一种词语赋权装置，其特征在于，所述装置包括：
分值获取单元，用于根据指定图片的文本，利用第一回归模型获得所述文本中各词语的第一回归分值；所述第一回归模型为利用权利要求9至12中任一项所述的模型生成装置生成的；
排序获取单元，用于根据所述指定图片的文本，利用第一排序模型获得所述文本中各词语的第一排序结果；所述第一排序模型为利用权利要求9至12中任一项所述的模型生成装置生成的；
词语赋权单元，用于根据所述第一回归分值和所述第一排序结果，获得所述指定图片的文本中各词语的赋权分值，
所述词语赋权单元进一步包括：
分值获取模块，用于根据所述第一回归分值和所述第一排序结果，利用第二回归模型，获得所述指定图片的文本中各词语的第二回归分值；所述第二回归模型为利用权利要求9或13所述的模型生成装置生成的；
排序获取模块，用于根据所述第一回归分值和所述第一排序结果，利用第二排序模型，获得所述指定图片的文本中各词语的第二排序结果；所述第二排序模型为利用权利要求9或13所述的模型生成装置生成的；
词语赋权模块，用于根据所述第二回归分值和所述第二排序结果，获得所述指定图片的文本中各词语的赋权分值。
15.根据权利要求14所述的装置，其特征在于，所述词语赋权单元，具体用于：
根据所述第一回归分值和所述第一排序结果，并利用赋权函数，计算所述指定图片的文本中各词语的赋权分值。
16.根据权利要求14所述的装置，其特征在于，所述词语赋权模块，用于根据所述第二回归分值和所述第二排序结果，并利用赋权函数，计算所述指定图片的文本中各词语的赋权分值。
CN201511025975.0A 2015-12-31 2015-12-31 模型生成方法及装置、词语赋权方法及装置 Active CN105653701B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201511025975.0A CN105653701B (zh) 2015-12-31 2015-12-31 模型生成方法及装置、词语赋权方法及装置
JP2016572673A JP6428795B2 (ja) 2015-12-31 2016-06-01 モデル生成方法、単語重み付け方法、モデル生成装置、単語重み付け装置、デバイス、コンピュータプログラム及びコンピュータ記憶媒体
US15/319,555 US10565253B2 (en) 2015-12-31 2016-06-01 Model generation method, word weighting method, device, apparatus, and computer storage medium
PCT/CN2016/084312 WO2017113592A1 (zh) 2015-12-31 2016-06-01 模型生成方法、词语赋权方法、装置、设备及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201511025975.0A CN105653701B (zh) 2015-12-31 2015-12-31 模型生成方法及装置、词语赋权方法及装置

Publications (2)

Publication Number Publication Date
CN105653701A CN105653701A (zh) 2016-06-08
CN105653701B true CN105653701B (zh) 2019-01-15

Family

ID=56490920

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201511025975.0A Active CN105653701B (zh) 2015-12-31 2015-12-31 模型生成方法及装置、词语赋权方法及装置

Country Status (4)

Country Link
US (1) US10565253B2 (zh)
JP (1) JP6428795B2 (zh)
CN (1) CN105653701B (zh)
WO (1) WO2017113592A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106919951B (zh) * 2017-01-24 2020-04-21 杭州电子科技大学 一种基于点击与视觉融合的弱监督双线性深度学习方法
CN107992508B (zh) * 2017-10-09 2021-11-30 北京知道未来信息技术有限公司 一种基于机器学习的中文邮件签名提取方法及系统
CN110598200B (zh) * 2018-06-13 2023-05-23 北京百度网讯科技有限公司 语义识别方法及装置
CN109032375B (zh) * 2018-06-29 2022-07-19 北京百度网讯科技有限公司 候选文本排序方法、装置、设备及存储介质
CN110569429B (zh) * 2019-08-08 2023-11-24 创新先进技术有限公司 一种内容选择模型的生成方法、装置和设备
JP7321977B2 (ja) * 2020-06-10 2023-08-07 ヤフー株式会社 情報処理装置、情報処理方法および情報処理プログラム
CN112735413B (zh) * 2020-12-25 2024-05-31 浙江大华技术股份有限公司 一种基于摄像装置的指令分析方法、电子设备和存储介质
CN113283115B (zh) * 2021-06-11 2023-08-08 北京有竹居网络技术有限公司 图像模型生成方法、装置和电子设备
CN113254513B (zh) * 2021-07-05 2021-09-28 北京达佳互联信息技术有限公司 排序模型生成方法、排序方法、装置、电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102902821A (zh) * 2012-11-01 2013-01-30 北京邮电大学 基于网络热点话题的图像高级语义标注、检索方法及装置
CN103577537A (zh) * 2013-09-24 2014-02-12 上海交通大学 面向图像分享网站图片的多重配对相似度确定方法
CN103810274A (zh) * 2014-02-12 2014-05-21 北京联合大学 基于WordNet语义相似度的多特征图像标签排序方法
CN104077419A (zh) * 2014-07-18 2014-10-01 合肥工业大学 结合语义与视觉信息的长查询图像检索重排序算法
CN104376105A (zh) * 2014-11-26 2015-02-25 北京航空航天大学 一种社会媒体中图像低层视觉特征与文本描述信息的特征融合系统及方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000048041A (ja) 1998-07-29 2000-02-18 Matsushita Electric Ind Co Ltd データ検索システム及びこれに用いる装置
JP3529036B2 (ja) 1999-06-11 2004-05-24 株式会社日立製作所 文書付き画像の分類方法
US7716225B1 (en) * 2004-06-17 2010-05-11 Google Inc. Ranking documents based on user behavior and/or feature data
US7617176B2 (en) 2004-07-13 2009-11-10 Microsoft Corporation Query-based snippet clustering for search result grouping
US7461073B2 (en) 2006-02-14 2008-12-02 Microsoft Corporation Co-clustering objects of heterogeneous types
US8078617B1 (en) * 2009-01-20 2011-12-13 Google Inc. Model based ad targeting
CN101582080B (zh) 2009-06-22 2011-05-04 浙江大学 一种基于图像和文本相关性挖掘的Web图像聚类方法
US20110125743A1 (en) * 2009-11-23 2011-05-26 Nokia Corporation Method and apparatus for providing a contextual model based upon user context data
JP2011221794A (ja) 2010-04-09 2011-11-04 Kddi Corp 画像選定装置
CN102411563B (zh) 2010-09-26 2015-06-17 阿里巴巴集团控股有限公司 一种识别目标词的方法、装置及系统
EP2635965A4 (en) 2010-11-05 2016-08-10 Rakuten Inc SYSTEMS AND METHODS RELATING TO KEYWORD EXTRACTION
US9864817B2 (en) * 2012-01-28 2018-01-09 Microsoft Technology Licensing, Llc Determination of relationships between collections of disparate media types
US8880438B1 (en) * 2012-02-15 2014-11-04 Google Inc. Determining content relevance
US9082047B2 (en) * 2013-08-20 2015-07-14 Xerox Corporation Learning beautiful and ugly visual attributes
CN103942279B (zh) 2014-04-01 2018-07-10 百度(中国)有限公司 搜索结果的展现方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102902821A (zh) * 2012-11-01 2013-01-30 北京邮电大学 基于网络热点话题的图像高级语义标注、检索方法及装置
CN103577537A (zh) * 2013-09-24 2014-02-12 上海交通大学 面向图像分享网站图片的多重配对相似度确定方法
CN103810274A (zh) * 2014-02-12 2014-05-21 北京联合大学 基于WordNet语义相似度的多特征图像标签排序方法
CN104077419A (zh) * 2014-07-18 2014-10-01 合肥工业大学 结合语义与视觉信息的长查询图像检索重排序算法
CN104376105A (zh) * 2014-11-26 2015-02-25 北京航空航天大学 一种社会媒体中图像低层视觉特征与文本描述信息的特征融合系统及方法

Also Published As

Publication number Publication date
CN105653701A (zh) 2016-06-08
JP6428795B2 (ja) 2018-11-28
WO2017113592A1 (zh) 2017-07-06
US10565253B2 (en) 2020-02-18
US20180210897A1 (en) 2018-07-26
JP2018509664A (ja) 2018-04-05

Similar Documents

Publication Publication Date Title
CN105653701B (zh) 模型生成方法及装置、词语赋权方法及装置
CN108304444B (zh) 信息查询方法及装置
CN102043833B (zh) 一种基于查询词进行搜索的方法和搜索装置
CN107862022B (zh) 文化资源推荐系统
CN104361037B (zh) 微博分类方法及装置
CN104199833B (zh) 一种网络搜索词的聚类方法和聚类装置
CN106776567B (zh) 一种互联网大数据分析提取方法及系统
WO2021019831A1 (ja) 管理システム及び管理方法
CN105095440A (zh) 一种搜索推荐方法及装置
CN110309446A (zh) 文本内容快速去重方法、装置、计算机设备及存储介质
CN106021418B (zh) 新闻事件的聚类方法及装置
CN105653562A (zh) 一种文本内容与查询请求之间相关性的计算方法及装置
CN103544307B (zh) 一种不依赖文档库的多搜索引擎自动化对比评测方法
EP2862104A1 (en) Search method and apparatus
KR101651780B1 (ko) 빅 데이터 처리 기술을 이용한 연관 단어 추출 방법 및 그 시스템
CN110968789B (zh) 电子书推送方法、电子设备及计算机存储介质
CN110472043A (zh) 一种针对评论文本的聚类方法及装置
Wu et al. Extracting topics based on Word2Vec and improved Jaccard similarity coefficient
KR101638535B1 (ko) 사용자 검색어 연관 이슈패턴 검출 방법, 이를 수행하는 이슈패턴 검출 서버 및 이를 저장하는 기록매체
CN111444438B (zh) 召回策略的准召率的确定方法、装置、设备及存储介质
CN112528294A (zh) 漏洞匹配方法、装置、计算机设备和可读存储介质
CN102982125A (zh) 一种用于确定同义文本的方法和装置
CN103744970B (zh) 一种确定图片的主题词的方法及装置
CN103455619A (zh) 一种基于Lucene分片结构的打分处理方法及系统
CN106919593B (zh) 一种搜索的方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant