CN107679183A - 分类器用训练数据获取方法和装置、服务器及存储介质 - Google Patents

分类器用训练数据获取方法和装置、服务器及存储介质 Download PDF

Info

Publication number
CN107679183A
CN107679183A CN201710912302.XA CN201710912302A CN107679183A CN 107679183 A CN107679183 A CN 107679183A CN 201710912302 A CN201710912302 A CN 201710912302A CN 107679183 A CN107679183 A CN 107679183A
Authority
CN
China
Prior art keywords
picture
classification
retrieval
intended
click
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710912302.XA
Other languages
English (en)
Other versions
CN107679183B (zh
Inventor
李肃
付立波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu Online Network Technology Beijing Co Ltd
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201710912302.XA priority Critical patent/CN107679183B/zh
Publication of CN107679183A publication Critical patent/CN107679183A/zh
Priority to US16/050,288 priority patent/US10936906B2/en
Application granted granted Critical
Publication of CN107679183B publication Critical patent/CN107679183B/zh
Priority to US17/164,112 priority patent/US11238310B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Library & Information Science (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提出了分类器用训练数据获取方法和装置、服务器及存储介质。该分类器用训练数据获取方法包括以下步骤：图片检索意图获得步骤，根据用户输入获得图片检索意图；图片提供步骤，根据所述图片检索意图向用户提供展示图片；类别对应步骤，根据用户对所述图片的选择，确定所述图片检索意图与对应的图片实体分类类别对。根据本发明的实施方式，可以获得更多的高质量训练数据，有助于分类器性能的提高。

Description

分类器用训练数据获取方法和装置、服务器及存储介质
技术领域
本发明涉及分类器，尤其涉及在线检索系统的查询意图分类器的训练数据获取方法和装置、服务器及存储介质。
背景技术
商业搜索引擎(如百度、google、好搜等产品)的在线检索系统的查询意图分类器(query分类器)是进行流量分析、细化排序的关键模块。一般查询意图分类都通过人工标注训练数据训练分类器得到。当前的图片检索结果排序主要是通过图片周边文本与查询的文本相关性、以及点击累计数据等为主要特征进行排序，少有考虑图片内容和查询本身的直接相关性。人工标注成本高，而且长尾场景覆盖不足，而且无法有效地广泛地与图像内容做匹配。
发明内容
本发明鉴于现有技术的上述问题提出，用于克服或缓解现有技术存在的一个或更多个问题，至少提供一种有益的选择。
为了实现以上的目的，根据本发明的一个方面，提供了一种分类器用训练数据获取方法，包括以下步骤：图片检索意图获得步骤，根据用户输入获得图片检索意图；图片提供步骤，根据所述图片检索意图向用户提供展示图片；类别对应步骤，根据用户对所述图片的选择，确定所述图片检索意图与对应的图片实体分类类别对。
根据一种实施方式，所述方法还包括汇聚步骤，对所述类别对应步骤多次运行所获得的所述图片检索意图与对应的图片实体分类类别对进行汇聚，获得所述图片检索意图与对应的图片实体分类类别对组。
根据一种实施方式，所述方法还包括以下两个步骤之一或两者：点击过滤步骤，去掉所述用户对图片的不可信点击；所述类别对应步骤根据去掉不可信点击后的对图片的选择，确定所述图片检索意图对应的图片实体分类类别；评估步骤，对所获得的所述图片检索意图与对应的图片实体分类类别对组或所述图片检索意图与对应的图片实体分类类别对进行评估。
根据一种实施方式，所述图片检索意图与对应的图片实体分类类别对组包含与所述图片检索意图对应的各图片实体分类类别的占比。
根据一种实施方式，所述点击过滤步骤采用以下采用点击率分析法、视觉实体分类法、聚类分析法三种方法之一或其组合来进行，所述点击过滤步骤采用点击率分析法、视觉实体分类法、聚类分析法三种方法之一或其组合来进行，所述点击率分析法根据点击总数和/或点击比例来区分可信点击和不可信点击；所述聚类分析法对所点击的图片进行聚类，将针对图片数、或图片数与最多聚类的图片数的差和/或比值未满足预定条件的聚类图片的点击列为不可信点击；所述视觉实体分类法根据所点击的图片的视觉实体分类，将针对数目、或数目与最多视觉实体分类的图片数的差和/或比例未满足预定条件的图片的点击列为不可信点击。
根据本发明的另一方面，提供了一种分类器用训练数据获取装置，包括：图片检索意图获取单元，根据用户输入获得图片检索意图；图片提供单元，根据所述图片检索意图向用户提供展示图片；类别对应单元，根据用户对所述图片的选择，确定所述图片检索意图与对应的图片实体分类类别对。
根据一种实施方式，所述方法还包括汇聚单元，对所述类别对应单元所获得的多个所述图片检索意图与对应的图片实体分类类别对进行汇聚，获得所述图片检索意图与对应的图片实体分类类别对组。
根据一种实施方式，所述装置还包括以下两个单元之一或两者：点击过滤单元，去掉所述用户对图片的不可信点击；所述类别对应单元根据去掉不可信点击后的对图片的选择，确定所述图片检索意图对应的图片实体分类类别；评估单元，对所获得的所述图片检索意图与对应的图片实体分类类别对组或所述图片检索意图与对应的图片实体分类类别对进行评估。
根据一种实施方式，所述点击过滤单元采用以下采用点击率分析法、视觉实体分类法、聚类分析法三种方法之一或其组合来进行，所述点击过滤步骤采用点击率分析法、视觉实体分类法、聚类分析法三种方法之一或其组合来进行，所述点击率分析法根据点击总数和/或点击比例来区分可信点击和不可信点击；所述聚类分析法对所点击的图片进行聚类，将针对图片数、或图片数与最多聚类的图片数的差和/或比值未满足预定条件的聚类图片的点击列为不可信点击；所述视觉实体分类法根据所点击的图片的视觉实体分类，将针对数目、或数目与最多视觉实体分类的图片数的差和/或比例未满足预定条件的图片的点击列为不可信点击。
根据本发明的又一方面，提供了一种图片检索服务器，所述图片检索服务器包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现所要求权利的方法。
根据本发明的在一方面提供了一种计算机可读存储介质，其存储有计算机程序，该程序被处理器执行时实现所要求权利的任一方法。
根据本发明的实施方式，可以获得更多的高质量训练数据，有助于分类器性能的提高。
附图说明
在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本发明公开的一些实施方式，而不应将其视为是对本发明范围的限制。
图1是示出了依据本发明的一种实施方式的分类器用训练数据获取方法的示意性流程图。
图2示出了依据本发明的一种实施方式的分类器用训练数据获取装置的示意性方框图。
图3示出了依据本发明的另一种实施方式的分类器用训练数据获取装置的示意性方框图。
图4示出了依据本发明的另一种实施方式的图片检索服务器的示意性方框图。
具体实施方式
在下文中，仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样，在不脱离本发明的精神或范围的情况下，可通过各种不同方式修改所描述的实施例。因此，附图和描述被认为本质上是示例性的而非限制性的。
图1是示出了依据本发明的一种实施方式的分类器用训练数据获取方法的示意性流程图。如图1所示，依据本发明的一种实施方式，首先在步骤S101，获得检索意图表达，这可以从用户所使用的计算机接收用户的输入而获得，用户对检索意图的表达通常是文本。例如可以是在搜索框中输入的文字、表情。用户也可能通过对网页中的文字、表情或图像的双击等操作，也可能是语音的输入等来进行检索表达。在步骤S101，根据用户的输入获得检索意图表达。在步骤S101中，可能会包括对检索意图表达的一些处理，例如去掉空格，进行图像、音频到文本的转换等。
然后在步骤S102，根据所获得的检索意图表达向用户提供展示图片。在检索系统中匹配文本对应的图片提供展示给用户。展示图片例如可通过发送给接收用户输入的计算机而进行提供。
接着，在步骤S103，进行点击过滤。过滤掉不可信的点击。根据一种实施方式，这种不可信的点击的过滤采用点击率分析法，点击率分析法即根据点击总数、点击比例来区分可信点击和误点击作弊等不可信点击。可以参见以下的文献：
Learning Query and Document Relevance from a Web-scale Click Graph
S Jiang,Y Hu,C Kang,T Daly Jr,D Yin…-Proceedings of the 39th…,2016-dl.acm.org
根据另一种实施方式，首先是将用户针对该检索意图表达而点击的图像进行聚类，根据聚类的结果，将数量少于阈值的点击列为不可信点击。或者将与数量组大的聚类的差值/比值大于阈值的点击列为不可信点击。例如：如果输入的检索意图表达是“猫女图片”，客户共点击了10张图片，其中九张是与蝙蝠侠电影中的猫女侠形象类似的图片，一张是一张猫的图片，那么聚类之后，第一聚类有9张图片，第二聚类有一张图片。第二聚类的数量是第一聚类的九分之一，超过阈值(例如15％)，因而将第二聚类的点击列为不可信点击。这种方法可以称为聚类分析法。根据又一种实施方式，所显示的图片的属性中设置有视觉实体分类类别。例如猫、狗、人物、树木、花草、太阳、月亮。也可以有更进一步的分类，例如人物下面可能有男性、女性、小孩、老人、少女、学生等按照不同分类获得的子类别。根据这些类别对所点击的图像进行分类，例如上例中，所点击的10张图片中，9张是属于人物的，一张属于动物或猫狗，因而根据各类别的差异，例如将与最多数量类别的数量差或数量比例大于阈值的列为无效点击，从而将对猫的点击列为无效点击。这类方法可以称为视觉实体分类法。聚类分析法和视觉实体分类法可以采用其他的预定条件来判断是否是不可信点击，将对满足预定条件的图片的点击列为可信点击，将对不满足预定条件的图片的点击列为不可信点击。应该注意，在一些实施方式中，可以省略该点击过滤步骤。
接着在步骤S104，获得检索意图表达与图片视觉实体类别的对应关系对。在去除无效点击后，检索意图表达会与用户基于该检索意图表达所点击的图片的类别对应起来，该类别例如可能是聚类获得的，或者是之前对每个图片标注的(已经事先写入图片的属性)。例如在上面的例子中，可以获得<猫女图片，猫女侠类>的对应关系对。这些图片的类别，称为视觉实体类别。视觉实体类别可以采用已有的图像识别模型来计算获得(例如可以参见A.Berg,J.Deng,and L.Fei-Fei.Large scale visual recognition challenge2010.IMAGENET.ORG.2010.)。可以预先获得各图片的视觉实体类别写入其属性。
单张图片可以具有在视觉实体类别分类体系(假设1000类)上的分布，例如一张图片指向1000类上其中的[雷、雨]，另一张1000类指向【话剧】，每个图片都是一个分布，在1000类的某几类上可能性更高。
然后，在步骤S105，对从步骤104所获得大量的检索意图表达与图片类别的对应关系对进行汇聚，得到汇聚后的检索意图表达与图片视觉实体类别的对应关系对组。因为步骤101到步骤104是大量进行的，不同的用户可能会选择不同的图片，因而汇聚后，相同的检索意图表达会与不同的图片类别对应。例如“雷雨图片”的检索意图表达，第一个用户选择的图片可能均是对应于自然的雷雨，而第二个用户选择图片可能都是和话剧的雷雨相关。这样通过大数据的汇聚可以得到汇聚后的检索意图表达与图片视觉实体类别的对应关系对组。例如，<雷雨图片，自然雷雨类75％，话剧雷雨类25％>。这里的75％、25％是与图片检索意图对应的各图片实体分类类别的可能性占比。例如总计收集了100例的与图片检索意图<雷雨图片>对应的类别，其中自然雷雨类为75例，话剧雷雨为25例，则汇聚后可以得到以上的结果。如前所述，单张图片会有在图片视觉实体分类上的分布，进行汇聚以后，也会得到一个分布，在某几类上比较强。这些数值都是示例性的，不是对本发明保护范围的限制。
可以直接使用在步骤S104获得的检索意图表达与图片视觉实体类别的对应关系对作为训练数据，因而在一些实施方式中，可以省略这个步骤S105。但是采用步骤S105会使训练样本更好。
最后，在步骤S106对所获得的对应关系对组进行评估。在省略步骤S105的实施方式中，对所获得的对应关系对进行评估。例如可以抽取训练数据来检查是否准确，例如用户图片检索意图文本是否有对应分类需求，评估得到准确率。如果准确率低于阈值，则舍弃该对应对组。可以再次进行分类。评估结果令人满意的对应关系对(组)作为分类器的训练数据。
这些训练数据，可以用于现有技术的各种分类器。由于采用本发明实施例的方法可以得到更多的训练数据，而且作为训练数据的检索意图表达与图片视觉实体类别的对应关系对组实际上体现了图片内容和检索意图本身的直接相关性，因而可以直接计算文本图片检索意图和图片的视觉实体需求匹配相关性，这样的直接相关性应用于图片检索排序中，带来显著的相关性提升，能明显补充已有主要基于文本的图片排序系统。
下面结合附图对本发明的各实施方式的分类器用训练数据获取装置进行说明。前文对方法的说明可以用来理解本发明的各实施方式的分类器用训练数据获取装置。
图2示出了依据本发明的一种实施方式的分类器用训练数据获取装置的示意性方框图。如图2所示，依据本发明的一种实施方式，分类器用训练数据获取装置包括检索意图表达获取单元201、图片提供单元202以及类别对应单元203。
检索意图表达获取单元201获得检索意图表达，这可以从用户所使用的计算机等用户设备接收用户的输入而获得。用户对检索意图的表达通常是文本。例如可以是在搜索框中输入的文字、表情。用户也可能通过对网页中的文字、表情或图像的双击等操作，也可能是语音的输入等来进行检索表达。检索意图表达获取单元201根据用户的输入获得检索意图表达。检索意图表达获取单元201可能会对检索意图表达的一些处理，例如去掉空格，进行图像、音频到文本的转换等。
图片提供单元202根据检索意图表达获取单元201所获得的图片检索意图向用户提供展示图片；在检索系统中匹配文本对应的图片，提供展示给用户。展示图片例如可通过发送给接收用户输入的计算机而进行提供。
类别对应单元203根据用户对所述图片的选择，确定所述图片检索意图与对应的图片实体分类类别对。
图3示出了依据本发明的另一种实施方式的分类器用训练数据获取装置的示意性方框图。
如图3所示，与对图2所示的实施方式的分类器用训练数据获取装置相比，图3所示的实施方式的分类器用训练数据获取装置增加了点击过滤单元204、汇聚单元205以及评估单元206。检索意图表达获取单元201、图片提供单元202以及类别对应单元203可参见结合图2进行的描述。
点击过滤单元204过滤掉不可信的点击。这种不可信的点击的过滤采用点击率分析法、视觉实体分类法或聚类分析法。可以把这些方法综合运用。
汇聚单元205对类别对应单元多次获得的图片检索意图与对应的图片实体分类类别对进行汇聚，获得所述图片检索意图与对应的图片实体分类类别对组。
评估单元206对所获得的所述图片检索意图与对应的图片实体分类类别对组进行评估。
具体的实施方式不一定要求同时具备点击过滤单元204、汇聚单元205以及评估单元206三者，可以只具有其中之一或其中两者。在不采用汇聚单元的情况下，评估单元206对所获得的所述图片检索意图与对应的图片实体分类类别对进行评估。
尽管依据本发明的实施方式所获得的这些训练数据可以用于现有技术的各种分类器，但是优选地，分类器采用可以深度卷积神经网络训练分类模型将图片检索意图分类到n维视觉实体需求类别上。
卷积网络在本质上是一种输入到输出的映射，它能够学习大量的输入与输出之间的映射关系，而不需要任何输入和输出之间的精确的数学表达式，只要用已知的模式对卷积网络加以训练，网络就具有输入输出对之间的映射能力。卷积网络执行的是有导师训练，所以其样本集是由形如：(输入向量，理想输出向量)的向量对构成的。所有这些向量对，都应该是来源于网络即将模拟的系统的实际“运行”结果。它们可以是从实际运行系统中采集来的。在开始训练前，所有的权都应该用一些不同的小随机数进行初始化。“小随机数”用来保证网络不会因权值过大而进入饱和状态，从而导致训练失败；“不同”用来保证网络可以正常地学习。关于深度卷积神经网络训练分类模型的进一步说明可以参见：《卷积神经网络在图像识别上的应用研究》，2012，硕论，浙江大学；《卷积神经网络的研究与应用》，2013，硕论，南京林业大学；《卷积神经网络及其应用》，2014，硕论，大连理工大学；《基于卷积神经网络的深度学习算法与应用研究》，2014，硕论，浙江工商大学等。
在图片检索系统中，可以首先进行特征设计与网络结构调制，然后训练分类器，如果分类器效果令人满意则可以结束对分类器的训练，如果分类器效果不满意，则可重复特征设计与网络结构调制以及训练分类器等步骤，直到令人满意。
本发明实施方式所提供的技术方案框架可以迁移应用于所有垂类和通用的搜索引擎系统。
本发明实施例还提供了一种图片检索服务器，如图4所示，图片检索服务器包括：存储器21和处理器22，存储器21内存储有可在处理器22上运行的计算机程序。处理器22执行所述计算机程序时实现上述实施例中的分类器用训练数据获取方法。存储器21和处理器22的数量可以为一个或多个。
该设备还包括：
通信接口23，用于存储器21和处理器22之间的通信。
存储器21可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。
如果存储器21、处理器22和通信接口23独立实现，则存储器21、处理器22和通信接口23可以通过总线相互连接并完成相互间的通信。所述总线可以是工业标准体系结构(ISA，Industry Standard Architecture)总线、外部设备互连(PCI，PeripheralComponent)总线或扩展工业标准体系结构(EISA，Extended Industry StandardComponent)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果存储器21、处理器22及通信接口23集成在一块芯片上，则存储器21、处理器22及通信接口23可以通过内部接口完成相互间的通信。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读存储介质中。所述存储介质可以是只读存储器，磁盘或光盘等。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到其各种变化或替换，这些都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种分类器用训练数据获取方法，包括以下步骤：
图片检索意图获得步骤，根据用户输入获得图片检索意图；
图片提供步骤，根据所述图片检索意图向用户提供展示图片；
类别对应步骤，根据用户对所述图片的选择，确定所述图片检索意图与对应的图片实体分类类别对。
2.根据权利要求1所述的分类器用训练数据获取方法，其特征在于，所述方法还包括汇聚步骤，对所述类别对应步骤多次运行所获得的所述图片检索意图与对应的图片实体分类类别对进行汇聚，获得所述图片检索意图与对应的图片实体分类类别对组。
3.根据权利要求1或2所述的分类器用训练数据获取方法，其特征在于，所述方法还包括以下两个步骤之一或两者：
点击过滤步骤，去掉所述用户对图片的不可信点击；所述类别对应步骤根据去掉不可信点击后的对图片的选择，确定所述图片检索意图对应的图片实体分类类别；
评估步骤，对所获得的所述图片检索意图与对应的图片实体分类类别对组或所述图片检索意图与对应的图片实体分类类别对进行评估。
4.根据权利要求2所述的分类器用训练数据获取方法，其特征在于，所述图片检索意图与对应的图片实体分类类别对组包含与所述图片检索意图对应的各图片实体分类类别的可能性占比。
5.根据权利要求3所述的分类器用训练数据获取方法，其特征在于，所述点击过滤步骤采用点击率分析法、视觉实体分类法、聚类分析法三种方法之一或其组合来进行，
所述点击率分析法根据点击总数和/或点击比例来区分可信点击和不可信点击；
所述聚类分析法对所点击的图片进行聚类，将针对图片数、或图片数与最多聚类的图片数的差和/或比值未满足预定条件的聚类图片的点击列为不可信点击；
所述视觉实体分类法根据所点击的图片的视觉实体分类，将针对数目、或数目与最多视觉实体分类的图片数的差和/或比例未满足预定条件的图片的点击列为不可信点击。
6.一种分类器用训练数据获取装置，包括：
图片检索意图获取单元，根据用户输入获得图片检索意图；
图片提供单元，根据所述图片检索意图向用户提供展示图片；
类别对应单元，根据用户对所述图片的选择，确定所述图片检索意图与对应的图片实体分类类别对。
7.根据权利要求6所述的分类器用训练数据获取装置，其特征在于，所述方法还包括汇聚单元，对所述类别对应单元所获得的多个所述图片检索意图与对应的图片实体分类类别对进行汇聚，获得所述图片检索意图与对应的图片实体分类类别对组。
8.根据权利要求6或7所述的分类器用训练数据获取装置，其特征在于，所述装置还包括以下两个单元之一或两者：
点击过滤单元，去掉所述用户对图片的不可信点击；所述类别对应单元根据去掉不可信点击后的对图片的选择，确定所述图片检索意图对应的图片实体分类类别；
评估单元，对所获得的所述图片检索意图与对应的图片实体分类类别对组或所述图片检索意图与对应的图片实体分类类别对进行评估。
9.一种图片检索服务器，其特征在于，所述图片检索服务器包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1-5中任一所述的方法。
10.一种计算机可读存储介质，其存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一所述的方法。
CN201710912302.XA 2017-09-29 2017-09-29 分类器用训练数据获取方法和装置、服务器及存储介质 Active CN107679183B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201710912302.XA CN107679183B (zh) 2017-09-29 2017-09-29 分类器用训练数据获取方法和装置、服务器及存储介质
US16/050,288 US10936906B2 (en) 2017-09-29 2018-07-31 Training data acquisition method and device, server and storage medium
US17/164,112 US11238310B2 (en) 2017-09-29 2021-02-01 Training data acquisition method and device, server and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710912302.XA CN107679183B (zh) 2017-09-29 2017-09-29 分类器用训练数据获取方法和装置、服务器及存储介质

Publications (2)

Publication Number Publication Date
CN107679183A true CN107679183A (zh) 2018-02-09
CN107679183B CN107679183B (zh) 2020-11-06

Family

ID=61138634

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710912302.XA Active CN107679183B (zh) 2017-09-29 2017-09-29 分类器用训练数据获取方法和装置、服务器及存储介质

Country Status (2)

Country Link
US (2) US10936906B2 (zh)
CN (1) CN107679183B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109033169A (zh) * 2018-06-21 2018-12-18 东南大学 基于多级权重转换和卷积神经网络的移动流量分类方法
CN109241135A (zh) * 2018-08-23 2019-01-18 吾达软件（武汉）股份有限公司 一种智能抽取数据的挖掘系统
CN110147851A (zh) * 2019-05-29 2019-08-20 北京达佳互联信息技术有限公司 图像筛选方法、装置、计算机设备及存储介质
CN110166560A (zh) * 2019-05-24 2019-08-23 北京百度网讯科技有限公司 一种服务配置方法、装置、设备及存储介质
CN110175256A (zh) * 2019-05-30 2019-08-27 上海联影医疗科技有限公司 一种图像数据检索方法、装置、设备和存储介质
CN110704711A (zh) * 2019-09-11 2020-01-17 中国海洋大学 面向终生学习的物体自动识别系统
CN111259697A (zh) * 2018-11-30 2020-06-09 百度在线网络技术（北京）有限公司 用于发送信息的方法和装置

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021029922A (ja) * 2019-08-29 2021-03-01 日本光電工業株式会社 被検者判別装置、被検者判別方法、コンピュータプログラム、および非一時的コンピュータ可読媒体
US11645515B2 (en) * 2019-09-16 2023-05-09 International Business Machines Corporation Automatically determining poisonous attacks on neural networks
US11487963B2 (en) 2019-09-16 2022-11-01 International Business Machines Corporation Automatically determining whether an activation cluster contains poisonous data
US11538236B2 (en) 2019-09-16 2022-12-27 International Business Machines Corporation Detecting backdoor attacks using exclusionary reclassification
CN111400534B (zh) * 2020-03-05 2023-09-19 杭州海康威视系统技术有限公司 图像数据的封面确定方法、装置及计算机存储介质
CN111626874B (zh) * 2020-05-25 2023-04-25 泰康保险集团股份有限公司 理赔数据处理方法、装置、设备及存储介质
CN112131743B (zh) * 2020-09-23 2024-03-29 中广核工程有限公司 核电厂设备的立体培训方法和系统
CN112348110B (zh) * 2020-11-18 2022-10-04 北京市商汤科技开发有限公司 模型训练及图像处理方法、装置、电子设备和存储介质
CN117809192B (zh) * 2024-03-01 2024-04-26 南京信息工程大学 一种基于denclue聚类算法的雷暴识别方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101116072A (zh) * 2005-02-03 2008-01-30 英国电讯有限公司 用于分类呈现搜索结果的方法和系统
CN103279504A (zh) * 2013-05-10 2013-09-04 百度在线网络技术（北京）有限公司 一种基于歧义消解的搜索方法及装置
CN103412881A (zh) * 2013-07-17 2013-11-27 北京奇虎科技有限公司 提供搜索结果的方法及系统
CN103810241A (zh) * 2013-11-22 2014-05-21 北京奇虎科技有限公司 一种低频点击的过滤方法和装置
CN105612514A (zh) * 2013-08-05 2016-05-25 脸谱公司 通过将语境线索与图像关联进行图像分类的系统和方法
CN106021364A (zh) * 2016-05-10 2016-10-12 百度在线网络技术（北京）有限公司 图片搜索相关性预测模型的建立、图片搜索方法和装置
CN106339756A (zh) * 2016-08-25 2017-01-18 北京百度网讯科技有限公司 训练数据的生成方法、搜索方法以及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8923655B1 (en) * 2011-10-14 2014-12-30 Google Inc. Using senses of a query to rank images associated with the query
US8995716B1 (en) * 2012-07-12 2015-03-31 Google Inc. Image search results by seasonal time period
CN104572651B (zh) * 2013-10-11 2017-09-29 华为技术有限公司 图片排序方法及装置
US9697437B2 (en) * 2015-05-18 2017-07-04 Facebook, Inc. Logo detection
CN106021362B (zh) * 2016-05-10 2018-04-13 百度在线网络技术（北京）有限公司 查询式的图片特征表示的生成、图片搜索方法和装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101116072A (zh) * 2005-02-03 2008-01-30 英国电讯有限公司 用于分类呈现搜索结果的方法和系统
CN103279504A (zh) * 2013-05-10 2013-09-04 百度在线网络技术（北京）有限公司 一种基于歧义消解的搜索方法及装置
CN103412881A (zh) * 2013-07-17 2013-11-27 北京奇虎科技有限公司 提供搜索结果的方法及系统
CN105612514A (zh) * 2013-08-05 2016-05-25 脸谱公司 通过将语境线索与图像关联进行图像分类的系统和方法
CN103810241A (zh) * 2013-11-22 2014-05-21 北京奇虎科技有限公司 一种低频点击的过滤方法和装置
CN106021364A (zh) * 2016-05-10 2016-10-12 百度在线网络技术（北京）有限公司 图片搜索相关性预测模型的建立、图片搜索方法和装置
CN106339756A (zh) * 2016-08-25 2017-01-18 北京百度网讯科技有限公司 训练数据的生成方法、搜索方法以及装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109033169A (zh) * 2018-06-21 2018-12-18 东南大学 基于多级权重转换和卷积神经网络的移动流量分类方法
CN109033169B (zh) * 2018-06-21 2021-08-10 东南大学 基于多级权重转换和卷积神经网络的移动流量分类方法
CN109241135A (zh) * 2018-08-23 2019-01-18 吾达软件（武汉）股份有限公司 一种智能抽取数据的挖掘系统
CN111259697A (zh) * 2018-11-30 2020-06-09 百度在线网络技术（北京）有限公司 用于发送信息的方法和装置
CN110166560A (zh) * 2019-05-24 2019-08-23 北京百度网讯科技有限公司 一种服务配置方法、装置、设备及存储介质
CN110166560B (zh) * 2019-05-24 2021-08-20 北京百度网讯科技有限公司 一种服务配置方法、装置、设备及存储介质
CN110147851A (zh) * 2019-05-29 2019-08-20 北京达佳互联信息技术有限公司 图像筛选方法、装置、计算机设备及存储介质
CN110147851B (zh) * 2019-05-29 2022-04-01 北京达佳互联信息技术有限公司 图像筛选方法、装置、计算机设备及存储介质
CN110175256A (zh) * 2019-05-30 2019-08-27 上海联影医疗科技有限公司 一种图像数据检索方法、装置、设备和存储介质
CN110175256B (zh) * 2019-05-30 2024-06-07 上海联影医疗科技股份有限公司 一种图像数据检索方法、装置、设备和存储介质
CN110704711A (zh) * 2019-09-11 2020-01-17 中国海洋大学 面向终生学习的物体自动识别系统

Also Published As

Publication number Publication date
CN107679183B (zh) 2020-11-06
US20210182611A1 (en) 2021-06-17
US20190102655A1 (en) 2019-04-04
US10936906B2 (en) 2021-03-02
US11238310B2 (en) 2022-02-01

Similar Documents

Publication Publication Date Title
CN107679183A (zh) 分类器用训练数据获取方法和装置、服务器及存储介质
CN106021364A (zh) 图片搜索相关性预测模型的建立、图片搜索方法和装置
TW201939400A (zh) 目標用戶群體的確定方法和裝置
CN111242948B (zh) 图像处理、模型训练方法、装置、设备和存储介质
CN104978396A (zh) 一种基于知识库的问答题目生成方法和装置
CN114387499A (zh) 一种海岛滨海湿地水鸟识别方法、分布查询系统及介质
CN110264407B (zh) 图像超分辨模型训练及重建方法、装置、设备及存储介质
CN112487199A (zh) 一种基于用户购买行为的用户特征预测方法
CN106157114A (zh) 基于用户用餐行为建模的首页推荐算法
CN113449204B (zh) 基于局部聚合图注意力网络的社会事件分类方法、装置
CN112528058B (zh) 基于图像属性主动学习的细粒度图像分类方法
CN107766316B (zh) 评价数据的分析方法、装置及系统
CN110147851B (zh) 图像筛选方法、装置、计算机设备及存储介质
CN116644879A (zh) 一种海洋牧场生态承载力评估与管理系统
Saraswat et al. Plant Disease Identification Using Plant Images
Wong et al. Development of species recognition models using Google teachable machine on shorebirds and waterbirds
Plum et al. replicAnt: a pipeline for generating annotated images of animals in complex environments using Unreal Engine
CN108629381A (zh) 基于大数据的人群筛选方法及终端设备
Yi et al. AC-UNet: an improved UNet-based method for stem and leaf segmentation in Betula luminifera
CN113610080B (zh) 基于跨模态感知的敏感图像识别方法、装置、设备及介质
CN117011577A (zh) 图像分类方法、装置、计算机设备和存储介质
Xue et al. Artificial Intelligence in New Zealand: applications and innovation
Setiono et al. Automatic knowledge extraction from survey data: Learning M-of-N constructs using a hybrid approach
Yang et al. Skeleton ground truth extraction: methodology, annotation tool and benchmarks
Sharma et al. Cotton Crop Disease Detection System Using Deep Learning Approach

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant