CN106021364B - 图片搜索相关性预测模型的建立、图片搜索方法和装置 - Google Patents

图片搜索相关性预测模型的建立、图片搜索方法和装置 Download PDF

Info

Publication number
CN106021364B
CN106021364B CN201610306220.6A CN201610306220A CN106021364B CN 106021364 B CN106021364 B CN 106021364B CN 201610306220 A CN201610306220 A CN 201610306220A CN 106021364 B CN106021364 B CN 106021364B
Authority
CN
China
Prior art keywords
picture
sample
training
network
query formulation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610306220.6A
Other languages
English (en)
Other versions
CN106021364A (zh
Inventor
付立波
罗恒
方高林
徐伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201610306220.6A priority Critical patent/CN106021364B/zh
Priority to US15/281,198 priority patent/US10354170B2/en
Publication of CN106021364A publication Critical patent/CN106021364A/zh
Application granted granted Critical
Publication of CN106021364B publication Critical patent/CN106021364B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/56—Information retrieval; Database structures therefor; File system structures therefor of still image data having vectorial format
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Library & Information Science (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例公开了一种图片搜索相关性预测模型的建立、图片搜索方法和装置。图片搜索相关性预测模型的建立方法包括：使用训练样本对预先构建的原始深层神经网络进行训练；训练样本包括：查询式以及图片数据，原始深层神经网络包括：表示向量生成网络以及相关计算网络；将训练完成的原始深层神经网络作为图片搜索相关性预测模型。本发明的技术方案优化了现有的图片搜索技术，在查询式与图片文本的语义匹配、查询式与图片内容的语义匹配、点击泛化等几个方面的能力比现有技术及各种融合和变种的能力更强，并可以大大提高图片搜索结果与用户输入的查询式之间的相关度。

Description

图片搜索相关性预测模型的建立、图片搜索方法和装置
技术领域
本发明实施例涉及信息处理技术，尤其涉及一种图片搜索相关性预测模型的建立、图片搜索方法和装置。
背景技术
图片搜索是指用户输入自然语言查询，例如，通过搜索引擎提供的文本输入框输入的查询式(也称为Query)，从图片集合中查找并按照相关性等指标，返回排过序的图片结果给用户的信息检索过程。相关性是搜索引擎最主要的性能指标之一，它度量了返回结果与用户查询需求的相关程度。对于图片搜索引擎，返回的图片是无结构的像素格式，而用户输入的Query是文本格式，这是两种完全不同的信息格式，两者无法直接进行运算。
目前主要通过下述三种方式描述图片搜索的相关性特征：1、文本匹配特征，通过图片周边文本与Query比较计算得到；2、分类匹配特征，对图片内容分类得到分类标签，再与Query比较计算得到；3、点击率特征，通过统计大量用户查询后的点击行为等得到特定图片与该Query的相关性度量。
上述三种描述图片搜索相关性特性的方法均具有一定的局限性：
特征文本匹配特征：图片的周边文本可能存在与图片内容的不一致性，很多情况下不能完整准确的描述图片的内容，因而会影响文本匹配特征的精准性；
分类匹配特征：受限于类别体系的完整性和分类模型的准确性。一般的，类别体系越精细，分类难度越大，分类模型的准确性越差，且分类结果与Query文本的语义偏差越大，匹配越困难。但如果类别体系太粗略，与Query的匹配精度又不够。因此，该特征一般只起辅助作用；
点击率特征：主要基于用户行为统计，一方面存在偏倚和噪声，另一方面有稀疏性，只有在高频Query下展现靠前且展现次数充足的图片，能够统计到较充分的点击，其它情况，统计不到点击，或者点击非常稀疏，缺少统计意义。
发明内容
有鉴于此，本发明实施例提供一种图片搜索相关性预测模型的建立、图片搜索方法和装置，以优选现有的图片搜索技术，提高图片搜索结果与用户输入的查询式之间的相关度。
在第一方面，本发明实施例提供了一种图片搜索相关性预测模型的建立方法，包括：
使用训练样本对预先构建的原始深层神经网络进行训练；
其中，所述训练样本包括：查询式以及图片数据，所述原始深层神经网络包括：表示向量生成网络以及相关计算网络，所述表示向量生成网络用于将所述训练样本中不同类型的数据转换为表示向量并输入至所述相关计算网络，所述相关计算网络用于将输入的至少两个表示向量转换为一个相关性度量值；
将训练完成的所述原始深层神经网络作为所述图片搜索相关性预测模型。
在第二方面，本发明实施例还提供了一种图片搜索方法，包括：
获取用户输入的图片查询式；
将所述图片查询式以及待排序图片分别输入至通过本发明实施例所述的图片搜索相关性预测模型的建立方法建立的图片搜索相关性预测模型中，分别计算各所述待排序图片与所述图片查询式之间的相关性度量值；
根据计算得到的所述相关性度量值对各所述待排序图片进行排序，并将与排序结果对应的图片搜索结果提供给所述用户。
在第三方面，本发明实施例提供了一种图片搜索相关性预测模型的建立装置，包括：
训练模块，用于使用训练样本对预先构建的原始深层神经网络进行训练；
其中，所述训练样本包括：查询式以及图片数据，所述原始深层神经网络包括：表示向量生成网络以及相关计算网络，所述表示向量生成网络用于将所述训练样本中不同类型的数据转换为表示向量并输入至所述相关计算网络，所述相关计算网络用于将输入的至少两个表示向量转换为一个相关性度量值；
模型生成模块，用于将训练完成的所述原始深层神经网络作为所述图片搜索相关性预测模型。
在第四方面，本发明实施例还提供了一种图片搜索装置，包括：
图片查询式获取模块，用于获取用户输入的图片查询式；
相关性度量值计算模块，用于将所述图片查询式以及待排序图片分别输入至通过本发明实施例所述的图片搜索相关性预测模型的建立装置建立的图片搜索相关性预测模型中，分别计算各所述待排序图片与所述图片查询式之间的相关性度量值；
图片搜索结果提供模块，用于根据计算得到的所述相关性度量值对各所述待排序图片进行排序，并将与排序结果对应的图片搜索结果提供给所述用户。
本发明实施例首先构建了一个原始深层神经网络，该原始深层神经网络的输入为查询式以及图片数据，输出为该查询式以及图片数据之间的相关性度量值，选取合适的训练样本对该原始深层神经网络进行训练，最终可以将该原始深层神经网络训练为图片搜索相关性预测模型；当图片搜索引擎接收到用户输入的图片查询式后，通过将该图片查询式与各待排序的图片输入至所述图片搜索相关性预测模型，可以得到各待排序图片与所述图片查询式之间的相关性度量值，进而基于所述相关性度量值，将各待排序图片进行排序并将排序结果返回给所述用户，优化了现有的图片搜索技术，在查询式与图片文本的语义匹配、查询式与图片内容的语义匹配、点击泛化等几个方面的能力比现有技术及各种融合和变种的能力更强，并可以大大提高图片搜索结果与用户输入的查询式之间的相关度。
附图说明
图1是本发明第一实施例的一种图片搜索相关性预测模型的建立方法的流程图；
图2是本发明第一实施例所适用的一种深层神经网络的结构示意图；
图3是本发明第一实施例所适用的另一种深层神经网络的结构示意图；
图4是本发明第二实施例的一种图片搜索相关性预测模型的建立方法的流程图；
图5是本发明第二实施例所适用的一种训练网络模型的结构示意图；
图6是本发明第三实施例的一种图片搜索相关性预测模型的建立方法的流程图；
图7是本发明第三实施例的一种生成正负样本对的方法的流程图；
图8是本发明第四实施例的一种图片搜索方法的流程图；
图9是本发明第五实施例的一种图片搜索相关性预测模型的建立装置的结构图；
图10是本发明第六实施例的一种图片搜索装置的结构图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明具体实施例作进一步的详细描述。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。
另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
为了清楚、明白的描述本发明各实施例的内容，首先重点描述一下本发明的发明构思。
如前所述，背景技术中介绍的三种描述图片搜索的相关性特征的方式，并未直接基于图片内容计算图片与查询式之间的相关性，而是通过图片的周边文本、图片的分类以及图片的点击率等与图片内容间接关联的特征计算图片与查询式之间的相关性。相区别的，在本申请中，发明人创造性的提出：通过建立图片内容与查询式之间的相关性计算模型，该计算模型的输入为图片内容与查询式，输出为一个相关性度量值，进而可以准确的实现针对用户输入的查询式进行图片搜索的目的。
即：是使用深层神经网络对图片的内容(优选也可以包括图片的周边文本等)以及用户的查询式文本进行深度变换，在变换中建立图片(文本+内容)与查询式的关系，即输入的一端可以为图片的周边文本、图片内容(也可以包括图片的其它特征或信息，如图片的点击查询式、描述图片质量的各种特征等)，输入的另一端为查询式文本，也可以包括查询式的其它加工后的特征。经过深层神经网络后的最终输出为图片与查询式的相关性度量值，可以作为图片与查询式相关性的一维特征。
第一实施例
图1为本发明第一实施例提供的一种图片搜索相关性预测模型的建立方法的流程图，本实施例的方法可以由图片搜索相关性预测模型的建立装置来执行，该装置可通过硬件和/或软件的方式实现，并一般可集成于用于建立图片搜索相关性预测模型的服务器中。本实施例的方法具体包括：
110、使用训练样本对预先构建的原始深层神经网络进行训练。
在本实施例中，所述训练样本包括：查询式以及图片数据。
如前所述，为了实现深层神经网络的最终输出为图片与查询式的相关性度量值，需要同时使用图片数据以及查询式作为训练样本训练所述原始深层神经网络。
其中，所述图片数据包括有图片内容数据，典型的，所述图片内容数据可包括：图片的像素或图片经过设定处理后的内容特征(例如，内容特征向量等)。
优选的，为了进一步提高最终提高相关性度量值的准确性，所述图片数据中还可以包括：图片关联文本数据，和/或图片关联特征数据。
其中，所述图片关联文本数据具体是指：与图片对应存储的，用于简单描述图片内容的文本信息，例如，一幅图片在存储时，同时存储该图片的标题“生日贺卡”。
其中，所述图片关联特征数据可以包括：与所述图片对应的点击查询式，和/或所述图片的质量特征参数。
在本实施例中，当搜索用户输入一个目标查询式，并在该目标查询式返回的图片搜索结果中点击选中了一张目标图片时，该目标查询式即为该目标图片的点击查询式；所述质量特征参数可以包括：图片压缩率、图片格式、图片分辨率等用于描述图片质量的参数，本实施例对此并不进行限制。
在本实施例中，所述原始深层神经网络包括：表示向量生成网络以及相关计算网络，所述表示向量生成网络用于将所述训练样本中不同类型的数据转换为表示向量并输入至所述相关计算网络，所述相关计算网络用于将输入的至少两个表示向量转换为一个相关性度量值；
在本实施例的一个优选的实施方式中，所述相关计算网络可以包括：隐藏层集以及与所述隐藏层集的输出端相连的输出层；
其中，所述隐藏层集包括一个或者多个首尾相连的隐藏层，所述向量生成网络的表示向量输出端与所述隐藏层集的输入端相连，所述输出层输出所述相关性度量值。
图2是本发明第一实施例所适用的一种深层神经网络的结构示意图。如图2所示，输入深层神经网络的训练样本包括：查询式以及图片数据，图片数据具体包括有：图片周边文本数据、图片内容数据以及图片关联特征数据。
所述表示向量生成网络中包括有四个表示向量生成单元，分别用于将输入的查询式、图片周边文本数据、图片内容数据以及图片关联特征数据转换为相对应的表示向量，以进行后续的模型训练工作。
其中，所述表示向量生成单元，根据任务目标的不同可以有很多种实现方式。这里简要描述一下：
1、图片内容数据(典型的，图片像素内容)的表示向量生成
图片像素内容的表示向量生成目前使用较广泛的是CNN(Convolutional NeuralNetwork，卷积神经网络)分类网络，该网络的输入为尺寸归一化的图片像素矩阵，输出为图片的分类表示向量，分类表示向量一般是图片在一个类别体系(对于图片，类别体系一般有千级到万级的类别标签)上的类别概率分布向量P。其中，P＝(p1，p2，…，pN)；pi(i＝1，2，…，N)是CNN网络给出的图片属于第i个类别的概率，N为类别体系的大小(类别个数)。
优选的，可以对分类表示向量作权值截断(例如，将概率低于一定阈值的pi置0，或者只保留前M个pi，其中，M为小于等于N的整数)、权值归一化以及二值化(即变成0和1组成的向量)等处理后，将所述表示向量直接输入到相关计算网络，也可以先将表示向量通过一个全连接隐藏层(关于隐藏层的相关概念在后文进行描述)后再输入到相关计算网络中，其中，该全连接隐藏层的输出可以理解为类似于文本的Embedding表示(关于Embedding表示的相定义将在后文进行描述)。
2、图片周边文本数据以及查询式的表示向量生成
由于图片周边文本数据以及查询式均为文本，因此上述两者的表示向量生成方式相一致，均为文本的表示向量生成。
文本先经过分词，然后每个分词根据预设词典映射为一个one-hot(独热)表征向量。例如：(…，0，…，1，…，0，…)，该向量长度为词典的大小，有一个元素为1，其余元素全部为0，元素1所在的位置序号对应于该词在词典中的序号。接下来的处理可以有几种选择，例如BoW-DNN(Bag of Words-Deep Neural Networks，词袋形式深层神经网络)网络、CNN网络或者RNN(Recurrent Neural Network，循环神经网络)网络等，本实施例对此并不进行限制。
其中，BoW-DNN网络对文本中所有分词的one-hot表征向量叠加后输入到一个全连接隐藏层，对于每个分词，它在one-hot表征向量中的位置到隐藏层的各个神经单元的连接边上的权值拼接起来构成的一个向量(其维数与隐藏层的神经单元个数相同)，也被称作该词的词向量。隐藏层的输出向量实际上就是文本中各个词的词向量的和通过隐藏层神经单元的响应值，也被称作该文本的Embedding表示。因为这里对文本中的词简单叠加，不考虑词序，所以称之为Bag of Words。
CNN网络加入了对词序的考虑，将文本中各个词的词向量按顺序拼接，然后经过一维卷积运算，再经过下采样(也称作池化，或者说pooling)，变成定长向量。该向量也可以视作该文本的Embedding表示，但是加入了局部词序的作用。这种CNN网络也是图片像素的CNN网络应用于一维文本的推广。
RNN网络也会考虑词序，方式是将每个词的词向量按词序输入到全连接隐藏层，且当前的词经过隐藏层后的输出，作为反馈，和下一个词一起再次输入到隐藏层。其输出也是一个定长向量，同样可以看作是文本的Embedding表示。
词向量和上述三种网络可以分别单独训练，也可以使用其它任务中已经训练好的词向量或者网络，也可以在本任务中和后面的相关性计算网络一起训练。在和相关性计算网络一起训练时，词向量和这三种网络可以随机初始化，也可以用其它任务中已经训练好的结果初始化，然后在本任务的训练中继续更新。
3、图片关联特征数据的表示向量生成
图片其它特征数据的表示生成网络视这些特征的物理意义而定。如果是类似图像、文本这样的有序格式，也可以使用CNN或RNN网络，如果是无序的集合特征(例如概率分布向量、一些独立的统计值等)，使用BoW-DNN网络即可。
与文本的表示向量生成相类似，图片像素内容的表示向量生成、图片关联特征数据的表示向量生成可以单独训练，也可以在本任务中和后面的网络一起训练。一起训练时，参数可以随机初始化，也可以用其它任务中已经训练好的参数来初始化。
如图2所示，所述相关计算网络具体包括两个首尾相连的隐藏层，以及一个输出层。
在本实施例中，所述隐藏层是指全连接隐藏层，其中，所述全连接具体是指前一层的每个输出连接到后一层的每个输入，每个隐藏层有若干个神经单元，输出层只有一个神经单元。查询式和图片数据的所有表示向量输入到第一个全连接隐藏层，依次通过各隐藏层和输出层的神经单元的线性求和非线性响应，最后输出一个数值，即为查询式与图片的相关性度量值。
在本实施例的另一个优选的实施方式中，所述相关计算网络具体可以包括：第一隐藏层集、与所述第一隐藏层集的输出端相连的第一标准向量表示单元、第二隐藏层集、与所述第二隐藏层集的输出端相连的第二标准向量表示单元、以及与所述第一标准向量表示单元和所述第二标准向量表示单元的输出端分别相连的向量距离计算单元；
其中，所述隐藏层集包括一个或者多个首尾相连的隐藏层，所述表示向量生成网络中与所述查询式对应的表示向量输出端与所述第一隐藏层集的输入端相连，所述表示向量生成网络中与所述图片数据对应的表示向量输出端与第二隐藏层集的输入端相连，所述向量距离计算单元输出所述相关性度量值。
图3是本发明第一实施例所适用的另一种深层神经网络的结构示意图。如图3所示，与查询式对应的表示向量生成单元与第一隐藏层相连，与图片周边文本数据、图片内容数据以及图片关联特征数据分别对应的表示向量生成单元与第二隐藏层相连，第一隐藏层与第二隐藏层分别与第一标准向量表示单元与第二标准向量表示单元相连。
其中，第一标准向量表示单元与第二标准向量表示单元分别用于将第一隐藏层以及第二隐藏层输出的向量转换为两个新的表示向量，这两个新的表示向量不仅格式统一，而且在同一个表示空间中，进而可以输入至向量距离计算单元计算相关性度量值。
典型的，所述向量距离计算单元可以计算第一标准向量表示单元与第二标准向量表示单元所输出的两个向量之间的余弦距离，以确定上述两个向量之间的相关性度量值，还可以计算上述两个向量之间的欧氏距离等其他用于衡量两个向量之间相似程度的向量距离，本实施例对此并不进行限制。
在本实施例的一个优选的实施方式中，所述隐藏层包括至少两个神经单元，所述输出层包括一个神经单元；
其中，所述表示向量生成网络所生成的向量维数、所述相关计算网络中包括的隐藏层的数量、隐藏层中包括的神经单元数量、神经单元的响应函数类型以及神经单元输出的正则化方法可以根据任务进行预先设置。
本实施例中构造的表示向量生成网络以及相关计算网络，网络中主要有以下变量或参数：
1)输入特征(查询式以及图片数据)的维数。例如，对于文本，特征维数指文本词典的大小，通常在十万或百万级，首先对中文进行切词，不在词典中的词会被去掉，或者用一个特殊符号(放入字典中)代替。对于图片像素内容，指图像的通道数、归一化之后的尺寸；
2)表示向量的维数，和表示向量的生成网络结构(本部分内容已经在前文中进行了介绍)；
3)隐藏层的个数和各隐藏层的神经单元个数；
4)神经单元的响应函数类型；
5)神经单元的输出的正则化方法，避免输出值向上下溢出；
6)神经单元的输入边上的权值以及初始化方法。
其中，1)、3)-5)中的变量和参数均可以根据任务进行预先设置的，6)中的权值通常以某种方式初始化(例如，随机初始化等)，然后经过大量的训练样本训练、更新，直到收敛到一定程度为止。
120、将训练完成的所述原始深层神经网络作为所述图片搜索相关性预测模型。
如前所述，在确定了原始深层神经网络的网络结构之后，通过使用大量的训练样本对该原始深层神经网络进行训练，即可得到所述图片搜索相关性预测模型。
其中，所述图片搜索相关性预测模型的输入为用户输入的查询式以及目标图片的图片数据(例如，包括：图片周边文本数据、图片内容数据以及图片关联特征数据)，输出为查询式与该目标图片之间的一个相关性度量值。
本发明实施例首先构建了一个原始深层神经网络，该原始深层神经网络的输入为查询式以及图片数据，输出为该查询式以及图片数据之间的相关性度量值，选取合适的训练样本对该原始深层神经网络进行训练，最终可以将该原始深层神经网络训练为图片搜索相关性预测模型；当图片搜索引擎接收到用户输入的图片查询式后，通过将该图片查询式与各待排序的图片输入至所述图片搜索相关性预测模型，可以得到各待排序图片与所述图片查询式之间的相关性度量值，进而基于所述相关性度量值，将各待排序图片进行排序并将排序结果返回给所述用户，优化了现有的图片搜索技术，在查询式与图片文本的语义匹配、查询式与图片内容的语义匹配、点击泛化等几个方面的能力比现有技术及各种融合和变种的能力更强，并可以大大提高图片搜索结果与用户输入的查询式之间的相关度。
第二实施例
图4是本发明第二实施例的一种图片搜索相关性预测模型的建立方法的流程图。本实施例以上述实施例为基础进行优化，在本实施例中，将使用训练样本对预先构建的原始深层神经网络进行训练具体优化为：选取设定数量的训练样本；依次获取一个训练样本输入至所述原始深层神经网络中，并根据所述原始深层神经网络基于所述训练样本的输出结果，对所述原始深层神经网络中的加权参数进行调整；返回执行获取一个训练样本输入至所述原始深层神经网络的操作，直至达到预先设定的训练结束条件。
相应的，本实施例的方法具体包括：
410、选取设定数量的训练样本。
考虑到直接标注大量的训练样本(查询式与图片的相关性值)耗时巨大，且标准难以统一。在本实施例中，使用查询式和查询式下的正负样本图片对(也可简称为pair对)作为训练样本，即一条训练样本由一个查询式和两个图片构成的pair对组成，该pair对中一个图片比另一个图片相对于该Query的相关性更好，这两个图片分别称之为正样本和负样本。
相应的，可以将所述训练样本具体优化为：由训练查询式，以及与所述训练查询式分别对应的正样本图片以及负样本图片构成的正负训练对。在一个具体例子中，训练查询式为“生日贺卡”，与该训练查询式对应的正样本图片为图片1，与该训练查询式对应的负样本图片为图片2，可以据此构造一个形式为：<(生日贺卡，图片1)，(生日贺卡，图片2)>的训练样本。
其中，可以由人工根据不同图片与一个查询式之间的相关程度来确定与训练查询式对应的正样本图片以及负样本图片，但是由于在训练原始深层神经网络时所需的训练样本数目较大，需要投入较大的人力成本，另外，由于不同的人的相关程度的评价标准也不同，在本实施例的一个优选的实施方式中，可以根据用户的图片点击日志，自动确定与一个查询式对应的正样本图片以及负样本图片，例如，当用户输入一个查询式进行图片搜索后，将用户基于搜索结果点击的图片作为与该查询式对应的正样本图片，将用户未点击的图片作为与该查询式对应的负样本图片。
420、依次获取一个训练样本输入至所述原始深层神经网络中，并根据所述原始深层神经网络基于所述训练样本的输出结果，对所述原始深层神经网络中的加权参数进行调整。
在本实施例中，由于通过所述正负训练对完成对所述原始深层神经网络的训练，为了提高训练效率，优选可以构造两个完全相同的原始深层神经网络分别用于接收由训练查询式、正样本图片构成的正训练对，以及由训练查询式、负样本图片构成的负训练对，进而实现快速、实时的模型训练。其中，在图5中示出了一种训练网络模型的结构示意图。
如图5所示，420优选可以包括下述操作：
将所述训练查询式以及与所述正样本图片对应的图片数据输入至与所述原始深层神经网络结构相同的第一网络中，并获取所述第一网络输出的第一预测值；
将所述训练查询式以及与所述负样本图片对应的图片数据输入至与所述第一网络结构相同的第二网络中，并获取第二网络输出的第二预测值；
根据所述第一预测值、所述第二预测值以及所述正样本图片与所述负样本图片之间的相关性偏序，计算损失函数；
采取设定权值更新算法，沿着最小化损失函数的方向，反向逐层更新所述第一网络以及所述第二网络中各层的加权参数。
在一个具体例子中，查询式和正样本图片输入一个与所述原始深层神经网络结构一致的第一网络，得到相关性预测值1，该查询式和负样本图片输入与上述第一网络相同的第二网络(包括权值)，得到相关性预测值2。根据预测值1与预测值2的差值符号是否与正样本图片与负样本图片之间的相关性偏序一致，计入损失函数(也称为rank cost)。
接下来，与一般的深层神经网络的训练方法相同，按照最小化损失函数的方向反向逐层更新各层的权值，该类方法统称为BP(Back Propagation，反向传播)算法，具体的权值更新算法有各种梯度下降法，例如LBFGS(拟牛顿算法)，或者SGD(随机梯度下降)等，其中SGD收敛速度更快，使用较多。
与一般的深层神经网络训练的区别是：本实施例的技术方案有两个相同的网络，参数是共享的，权值的更新始终同步。
230、判断是否达到预先设定的训练结束条件：若是：执行440；否则，返回执行420。
在本实施例中，可以根据实际需求设定训练结束条件，例如，训练的回合数(例如，1000次，或者2000次等)或者神经网络对训练样本的总误差值等，本实施例对此并不进行限制。
440、将训练完成的所述原始深层神经网络作为所述图片搜索相关性预测模型。
本发明的技术方案根据与同一训练查询式对应的正负样本图片构造正负训练对作为训练样本，并基于正负训练对构造与预设的原始神经网络模型相同的两个网络以同步的基于所述正负训练对进行模型的权值训练，可以避免人工标注大量的训练样本耗时巨大，且标准难以统一的问题，并可以快速、高效的完成对该原始神经网络模型的训练。
第三实施例
图6是本发明第三实施例的一种图片搜索相关性预测模型的建立方法的流程图。本实施例以上述实施例为基础进行优化，在本实施例中，将选取设定数量的训练样本具体优化为：根据搜索用户的图片点击日志，汇总与同一查询式样本对应的图片点击信息，其中，所述查询式样本包括：单一查询式或者满足设定相似度阈值条件的至少两个查询式；根据汇总的所述图片点击信息，生成与所述查询式样本对应的正图片样本集以及负图片样本集；选取设定数量的查询式样本作为所述训练查询式，并根据与各所述训练查询式分别对应的正图片样本集以及负图片样本集，生成与各所述训练查询式分别对应的正负训练对作为所述训练样本。
相应的，本实施例的方法具体包括：
610、根据搜索用户的图片点击日志，汇总与同一查询式样本对应的图片点击信息。
一般来说，预设原始神经网络的权值参数规模较为庞大，如果将表示向量生成网络中的文本相关的参数(例如文本词典的Embedding参数)一起放入训练更新中，参数规模将达到百万级。对于这样规模的参数，所需的训练数据，主要从用户的图片点击日志中生成。
用户在一次查询过程中可能会点击多张图片，被点击过的图片与用户看到但没有点击的图片相比，与用户输入的查询式的相关性可能是更好的。汇总大量用户的重复查询，可以得到统计上更为可信的正负样本图片：点击率高的图片(正样本图片)相对于点击率低的图片(负样本图片)，有大量点击的图片(正样本图片)相对于无点击的图片(负样本图片)。
其中，所述查询式样本可以仅包括单一查询式；进一步的，针对那些点击较少或者无点击的冷门查询式，可以根据语义相似性使得上述冷门查询式与其他查询式共享点击图片，相应的，所述查询式样本还可以包括满足设定相似度阈值条件的至少两个查询式。
在一个具体的例子中，可以直接选取“生日贺卡”作为查询式样本，还可以通过语义相似度聚类的方式，将“生日贺卡”、“寿诞贺卡”以及“生辰贺卡”作为查询式样本。
620、根据汇总的所述图片点击信息，生成与所述查询式样本对应的正图片样本集以及负图片样本集。
在本实施例的一个优选的实施方式中，所述图片点击信息可以仅包括：与所述查询式样本对应的点击图片；
相应的，根据汇总的所述图片点击信息，生成与所述查询式样本对应的正图片样本集以及负图片样本集具体可以包括：
在所述点击图片中，将点击次数超过设定第一阈值的图片归集为所述正图片样本集中，将点击次数小于设定第二阈值的图片归集为所述负图片样本集中。
其中，第一阈值与第二阈值可以根据实际情况进行预设，两者可以相同也可以不同，本实施例对此并不进行限制。
在本实施例的另一个优选的实施方式中，所述图片点击信息可以同时包括：与所述查询式样本对应的点击图片以及与所述查询式样本对应的图片搜索结果；
相应的，根据汇总的所述图片点击信息，生成与所述查询式样本对应的正图片样本集以及负图片样本集具体可以包括：
在与所述图片搜索结果对应的各图片中，将被点击过的图片归集为所述正图片样本集中，将未被点击的图片归集为所述负图片样本集中。
630、选取设定数量的查询式样本作为所述训练查询式，并根据与各所述训练查询式分别对应的正图片样本集以及负图片样本集，生成与各所述训练查询式分别对应的正负训练对作为所述训练样本。
如图7所示，在本实施例的一个优选的实施方式中，630具体可以包括下述操作：
6301、依次获取一个训练查询式作为当前操作查询式，并获取与所述当前操作查询式对应的目标正样本图片集以及目标负样本图片集。
在一个具体的例子中，获取的训练查询式为“生日贺卡”，与该“生日贺卡”对应的目标正样本图片集包括：“图片1～图片20”，与该“生日贺卡”对应的目标负样本图片集包括：“图片21～图片80”。
6302、根据设定的样本图片选取规则，在所述目标正样本图片集中选取第一数量的目标正样本图片，在所述目标负样本图片集中选取第二数量的目标负样本图片。
其中，所述设定的样本图片选取规则可以包括：按照点击次数选取或者按照图片热度选取或者随机选取等，本实施例对此并不进行限制。同时，第一数量可以和第二数量相同，也可以不同，两者可以根据实际需要进行自定义选取。
进一步的，为了加强训练样本的多样性，还可以从其它查询式的展现图片中随机挑选一些作为负样本，称之为随机负样本，可以理解的是，该随机负样本与当前操作查询式很差，因此可以认为其可信度很高。
也即：在区别于所述当前操作查询式的非关联查询式对应的正图片样本集中获取至少一个图片作为与所述当前操作查询式对应的目标负样本图片。
例如，与查询式“老虎”对应的正样本图片集中包括有“图片81～图片100”，上述“图片81～图片100”尽可以作为“生日贺卡”的目标负样本图片。
续前例，可以选取与训练查询式“生日贺卡”对应的目标正样本图片：“图片1～图片3”，与训练查询式“生日贺卡”对应的目标负样本图片：“图片21～图片22，图片81”。
6303、根据设定的正负图片组合规则，分别从所述第一数量的目标正样本图片以及所述第二数量的目标负样本图片中选取样本图片，生成与所述当前操作查询式对应的第三数量的正负训练对作为所述训练样本。
在本实施例的一个优选的实施方式中，所述设定的正负图片组合规则具体可以包括：将目标正样本图片中的任一正样本图片与目标负样本图片中的任一负样本图片组合生成正负训练对的方式，最终确定所述训练样本；
例如：<(生日贺卡，图片1)，(生日贺卡，图片21)>、<(生日贺卡，图片2)，(生日贺卡，图片22)>、<(生日贺卡，图片3)，(生日贺卡，图片81)>。
在本实施例的另一个优选的实施方式中，所述设定的正负图片组合规则具体还可以包括：将目标正样本图片中的任一正样本图片分别与目标负样本图片中的各个负样本图片组合生成正负训练对的方式，最终确定所述训练样本。
例如，<(生日贺卡，图片1)，(生日贺卡，图片21)>、<(生日贺卡，图片1)，(生日贺卡，图片22)>、<(生日贺卡，图片1)，(生日贺卡，图片81)>、<(生日贺卡，图片2)，(生日贺卡，图片21)>、<(生日贺卡，图片2)，(生日贺卡，图片22)>、<(生日贺卡，图片2)，(生日贺卡，图片81)>、<(生日贺卡，图片3)，(生日贺卡，图片21)>、<(生日贺卡，图片3)，(生日贺卡，图片22)>、<(生日贺卡，图片3)，(生日贺卡，图片81)>。
当然，本领域技术人员可以理解的是，还可以采取其他的正负图片组合规则以最终生成所述训练样本，本实施例对此并不进行限制。
6304、判断是否完成对全部训练查询式的处理：若是，结束流程；否则，返回执行6301。
640、依次获取一个训练样本输入至所述原始深层神经网络中，并根据所述原始深层神经网络基于所述训练样本的输出结果，对所述原始深层神经网络中的加权参数进行调整。
650、判断是否达到预先设定的训练结束条件：若是：执行660；否则，返回执行640。
660、将训练完成的所述原始深层神经网络作为所述图片搜索相关性预测模型。
本实施例的技术方案，通过从用户的图片点击日志中最终或者训练样本，可以得到统计上更为可信的正负样本图片，基于该正负样本图片可以使得最终训练的图片搜索相关性预测模型更加接近理想的或者说所需的相关性预测模型，进而使得基于该图片搜索相关性预测模型的图片搜索结果更近贴近用户的实际需求，以提高用户的搜索体验。
在上述各实施例的基础上，在根据搜索用户的图片点击日志，汇总与同一查询式样本对应的图片点击信息之前，还可以包括：滤除所述图片点击日志中包括的噪声日志。
这样设置的原因是：用户的图片点击日志里可能会存在大量噪声，例如有些不适宜的图片或者与相关图片反差过大的恶意图片等，反而会吸引用户点击，甚至出现在任何查询下都会引起点击。有些相关结果很多的查询式，用户在浏览到靠前的相关图片后，需求已经满足，后面的相关图片被点击的概率将会大幅下降。这两种行为都会造成点击/无点击、点击多少与相关性的失真，因此为了进一步提高所选取的正负样本图片的准确性，需要滤除所述图片点击日志中包括的噪声日志。
识别和去除噪声日志是保证训练出的模型的准确性的必要操作。这里简单介绍两种方法：
1)点击查询式聚类法。汇总一张图片(包括重复图片、相似图片)被点击的所有查询式(以下称为点击查询式)并聚类，可以得到该图片所满足的主要需求类别，小众的类别可以认为是噪声从而去掉。与主要需求类别的距离都较远的点击查询式，可以作为为噪声点击。
2)图片聚类法。汇总一个查询式(包括语义相同、相似的查询式)下的所有点击图片，对这些图片的分类结果或者分类表示进行聚类，可以得到满足该查询式需求的主要图片类别，小众的类别可以认为是噪声从而去掉。
在上述各实施例的基础上，在选取正负样本图片时，可以先对一个查询式下的正(负)样本按照可信度进行排序。正样本的可信度可以通过用户行为证据来推断，例如，一般来说，点击率越高、点击次数越多、被点击时的展现位置分布越靠后的正样本，其可信度更高。负样本也有类似的排序方法。对于展现无点击的负样本，如果缺少用户行为上的证据，也可以由相关性来推断可信度，例如，展现次数越少(相同时间窗内)、展现位置的分布越靠后的负样本的相关性更差，其可信度更高。随机负样本的可信度可以认为最高。
同时，在选取正负样本图片时，可以从排序后的正(负)样本中有序选取或随机选取，以在噪声和模型区分性上平衡。此外，还可以根据任务目标对查询式进行选取，调整不同类型查询式的比例，例如：高频(低频)查询式的比例、资源数多(少)的查询式的比例等。
另外，需要再次强调的是，本发明实施例与现有技术的区别主要在于：
1)现有的文本匹配特征基本都是文本字面上的匹配(包括同义扩展匹配)，而本发明中查询式文本与图片文本是在深层变换后的表示空间中匹配，具有更泛化的意义，一定程度上能实现字面不同但语义相关的匹配；
2)现有的分类匹配特征在图片分类的类别体系过小时，其分类结果的语义不精细，类别体系过大时，分类的准确率又较低，且与查询式的文本(或者类别标签)的匹配难度急剧增大(即所谓的图片与文本的语义鸿沟)。而在本发明实施例中，查询式文本与图片像素内容是在深层变换后的表示空间中匹配，不受查询式或者图片的类别体系的限制。
3)现有的点击率特征只适用于查询式之下统计到有效点击的图片，而本发明实施例中的网络参数基于所有查询式下的图片点击行为训练得到，它将用户点击行为所包含的图片对查询式的相关性度量即推广到任意的无点击图片或稀疏点击图片，又推广到当前查询式的任意相关查询式上，能实现任意查询式与图片之间的相关性计算。
综上，本发明在查询式与图片文本的语义匹配、查询式与图片内容的语义匹配以及点击泛化等几个方面的能力比现有技术及各种融合和变种的能力更强，对所期望解决的问题解决得更彻底。
第四实施例
图8为本发明第四实施例提供的一种图片搜索方法的流程图，本实施例的方法可以由图片搜索装置来执行，该装置可通过硬件和/或软件的方式实现，并一般可集成于图片搜索引擎所在的服务器中。本实施例的方法具体包括：
810、获取用户输入的图片查询式。
在本实施例中，所述图片查询式具体是指用户通过图片搜索引擎输入的，文本形式的查询式，例如：“生日贺卡”。
820、将所述图片查询式以及待排序图片分别输入至通过本发明第一实施例至第三实施例中的方法建立的图片搜索相关性预测模型中，分别计算各所述待排序图片与所述图片查询式之间的相关性度量值。
在本实施例中，所述待排序图片具体是指图片搜索引擎召回的，与所述图片查询式对应的图片搜索结果。
830、根据计算得到的所述相关性度量值对各所述待排序图片进行排序，并将与排序结果对应的图片搜索结果提供给所述用户。
本实施例的技术方案通过将图片查询式与各待排序的图片输入至预先训练的图片搜索相关性预测模型，可以得到各待排序图片与所述图片查询式之间的相关性度量值，进而基于所述相关性度量值，将各待排序图片进行排序并将排序结果返回给所述用户，优化了现有的图片搜索技术，在查询式与图片文本的语义匹配、查询式与图片内容的语义匹配、点击泛化等几个方面的能力比现有技术及各种融合和变种的能力更强，并可以大大提高图片搜索结果与用户输入的查询式之间的相关度。
另外需要说明的是，发明人通过实验发现：本发明实施例的技术方案显著提升了图片搜索的相关性。评估表明，增加该相关性特征后，图片搜索在随机查询式上的检索结果满意度提升10％以上，即检索结果可感知变好的查询式数量与检索结果可感知变差的查询式数量之差，占随机抽样查询式的比例在10％以上，效果非常显著。
第五实施例
图9是本发明第五实施例的一种图片搜索相关性预测模型的建立装置的结构图。如图9所示，所述装置包括：
训练模块91，用于使用训练样本对预先构建的原始深层神经网络进行训练。
其中，所述训练样本包括：查询式以及图片数据，所述原始深层神经网络包括：表示向量生成网络以及相关计算网络，所述表示向量生成网络用于将所述训练样本中不同类型的数据转换为表示向量并输入至所述相关计算网络，所述相关计算网络用于将输入的至少两个表示向量转换为一个相关性度量值；
模型生成模块92，用于将训练完成的所述原始深层神经网络作为所述图片搜索相关性预测模型。
本发明实施例构建了一个原始深层神经网络，该原始深层神经网络的输入为查询式以及图片数据，输出为该查询式以及图片数据之间的相关性度量值，选取合适的训练样本对该原始深层神经网络进行训练，最终可以将该原始深层神经网络训练为图片搜索相关性预测模型；当图片搜索引擎接收到用户输入的图片查询式后，通过将该图片查询式与各待排序的图片输入至所述图片搜索相关性预测模型，可以得到各待排序图片与所述图片查询式之间的相关性度量值，进而基于所述相关性度量值，将各待排序图片进行排序并将排序结果返回给所述用户，优化了现有的图片搜索技术，在查询式与图片文本的语义匹配、查询式与图片内容的语义匹配、点击泛化等几个方面的能力比现有技术及各种融合和变种的能力更强，并可以大大提高图片搜索结果与用户输入的查询式之间的相关度。
在上述各实施例的基础上，所述图片数据可以包括：图片关联文本数据、图片内容数据以及图片关联特征数据；
其中，所述图片关联特征数据包括：与所述图片对应的点击查询式，和/或所述图片的质量特征参数。
在上述各实施例的基础上，所述相关计算网络可以包括：隐藏层集以及与所述隐藏层集的输出端相连的输出层；
其中，所述隐藏层集包括一个或者多个首尾相连的隐藏层，所述向量生成网络的表示向量输出端与所述隐藏层集的输入端相连，所述输出层输出所述相关性度量值。
在上述各实施例的基础上，所述相关计算网络具体可以包括：第一隐藏层集、与所述第一隐藏层集的输出端相连的第一标准向量表示单元、第二隐藏层集、与所述第二隐藏层集的输出端相连的第二标准向量表示单元、以及与所述第一标准向量表示单元和所述第二标准向量表示单元的输出端分别相连的向量距离计算单元；
其中，所述隐藏层集包括一个或者多个首尾相连的隐藏层，所述表示向量生成网络中与所述查询式对应的表示向量输出端与所述第一隐藏层集的输入端相连，所述表示向量生成网络中与所述图片数据对应的表示向量输出端与第二隐藏层集的输入端相连，所述向量距离计算单元输出所述相关性度量值。
在上述各实施例的基础上，所述隐藏层可以包括至少两个神经单元，所述输出层可以包括一个神经单元；
其中，所述表示向量生成网络所生成的向量维数、所述相关计算网络中包括的隐藏层的数量、隐藏层中包括的神经单元数量、神经单元的响应函数类型以及神经单元输出的正则化方法根据任务进行预先设置。
在上述各实施例的基础上，所述训练模块可以包括：
训练样本选取单元，用于选取设定数量的训练样本；
加权参数调整单元，用于依次获取一个训练样本输入至所述原始深层神经网络中，并根据所述原始深层神经网络基于所述训练样本的输出结果，对所述原始深层神经网络中的加权参数进行调整；
循环执行单元，用于返回执行获取一个训练样本输入至所述原始深层神经网络的操作，直至达到预先设定的训练结束条件。
在上述各实施例的基础上，所述训练样本具体可以包括：由训练查询式，以及与所述训练查询式分别对应的正样本图片以及负样本图片构成的正负训练对；
所述加权参数调整单元具体可以用于：
将所述训练查询式以及与所述正样本图片对应的图片数据输入至与所述原始深层神经网络结构相同的第一网络中，并获取所述第一网络输出的第一预测值；
将所述训练查询式以及与所述负样本图片对应的图片数据输入至与所述第一网络结构相同的第二网络中，并获取第二网络输出的第二预测值；
根据所述第一预测值、所述第二预测值以及所述正样本图片与所述负样本图片之间的相关性偏序，计算损失函数；
采取设定权值更新算法，沿着最小化损失函数的方向，反向逐层更新所述第一网络以及所述第二网络中各层的加权参数。
在上述各实施例的基础上，所述训练样本选取单元具体可以包括：
图片点击信息汇总子单元，用于根据搜索用户的图片点击日志，汇总与同一查询式样本对应的图片点击信息，其中，所述查询式样本包括：单一查询式或者满足设定相似度阈值条件的至少两个查询式；
正负图片样本集生成子单元，用于根据汇总的所述图片点击信息，生成与所述查询式样本对应的正图片样本集以及负图片样本集；
训练样本生成子单元，用于选取设定数量的查询式样本作为所述训练查询式，并根据与各所述训练查询式分别对应的正图片样本集以及负图片样本集，生成与各所述训练查询式分别对应的正负训练对作为所述训练样本。
在上述各实施例的基础上，所述图片点击信息可以包括：与所述查询式样本对应的点击图片；
正负图片样本集生成子单元具体可以用于：
在所述点击图片中，将点击次数超过设定第一阈值的图片归集为所述正图片样本集中，将点击次数小于设定第二阈值的图片归集为所述负图片样本集中。
在上述各实施例的基础上，所述图片点击信息可以包括：与所述查询式样本对应的点击图片以及与所述查询式样本对应的图片搜索结果；
正负图片样本集生成子单元具体可以用于：
在与所述图片搜索结果对应的各图片中，将被点击过的图片归集为所述正图片样本集中，将未被点击的图片归集为所述负图片样本集中。
在上述各实施例的基础上，训练样本生成子单元具体可以用于：
依次获取一个训练查询式作为当前操作查询式，并获取与所述当前操作查询式对应的目标正样本图片集以及目标负样本图片集；
根据设定的样本图片选取规则，在所述目标正样本图片集中选取第一数量的目标正样本图片，在所述目标负样本图片集中选取第二数量的目标负样本图片；
根据设定的正负图片组合规则，分别从所述第一数量的目标正样本图片以及所述第二数量的目标负样本图片中选取样本图片，生成与所述当前操作查询式对应的第三数量的正负训练对作为所述训练样本；
返回执行获取一个训练查询式作为当前操作查询式的操作，直至完成对全部训练查询式的处理。
在上述各实施例的基础上，所述训练样本生成子单元具体还可以用于：
在区别于所述当前操作查询式的非关联查询式对应的正图片样本集中获取至少一个图片作为与所述当前操作查询式对应的目标负样本图片。
在上述各实施例的基础上，所述训练样本选取单元还可以包括：
噪声日志滤除子单元，用于在根据搜索用户的图片点击日志，汇总与同一查询式样本对应的图片点击信息之前，滤除所述图片点击日志中包括的噪声日志。
本发明实施例所提供的图片搜索相关性预测模型的建立装置可用于执行本发明第一实施例至第三实施例提供的图片搜索相关性预测模型的建立方法，具备相应的功能模块，实现相同的有益效果。
第六实施例
图10是本发明第六实施例的一种图片搜索装置的结构图。如图10所示，所述装置包括：
图片查询式获取模块101，用于获取用户输入的图片查询式。
相关性度量值计算模块102，用于将所述图片查询式以及待排序图片分别输入至通过第五实施例所述的装置建立的图片搜索相关性预测模型中，分别计算各所述待排序图片与所述图片查询式之间的相关性度量值。
图片搜索结果提供模块103，用于根据计算得到的所述相关性度量值对各所述待排序图片进行排序，并将与排序结果对应的图片搜索结果提供给所述用户。
本实施例的技术方案通过将图片查询式与各待排序的图片输入至预先训练的图片搜索相关性预测模型，可以得到各待排序图片与所述图片查询式之间的相关性度量值，进而基于所述相关性度量值，将各待排序图片进行排序并将排序结果返回给所述用户，优化了现有的图片搜索技术，在查询式与图片文本的语义匹配、查询式与图片内容的语义匹配、点击泛化等几个方面的能力比现有技术及各种融合和变种的能力更强，并可以大大提高图片搜索结果与用户输入的查询式之间的相关度。
本发明实施例所提供的图片搜索装置可用于执行本发明任意实施例提供的图片搜索方法，具备相应的功能模块，实现相同的有益效果。
显然，本领域技术人员应该明白，上述的本发明的各模块或各步骤可以通过如上所述的服务器来实施。可选地，本发明实施例可以用计算机装置可执行的程序来实现，从而可以将它们存储在存储装置中由处理器来执行，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等；或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件的结合。
以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (20)

1.一种图片搜索相关性预测模型的建立方法，其特征在于，包括：
使用训练样本对预先构建的原始深层神经网络进行训练；
其中，所述训练样本包括：查询式以及图片数据，所述原始深层神经网络包括：表示向量生成网络以及相关计算网络，所述表示向量生成网络用于将所述训练样本中不同类型的数据转换为表示向量并输入至所述相关计算网络，所述相关计算网络用于将输入的至少两个表示向量转换为一个相关性度量值；
将训练完成的所述原始深层神经网络作为所述图片搜索相关性预测模型；
其中，所述训练样本具体包括：由训练查询式，以及与所述训练查询式分别对应的正样本图片以及负样本图片构成的正负训练对；
所述使用训练样本对预先构建的原始深层神经网络进行训练具体包括：
构造两个相同的原始深层神经网络分别用于接收由训练查询式、正样本图片构成的正训练对，以及由训练查询式、负样本图片构成的负训练对，实现模型训练。
2.根据权利要求1所述的方法，其特征在于，所述图片数据包括：图片关联文本数据、图片内容数据以及图片关联特征数据；
其中，所述图片关联特征数据包括：与所述图片对应的点击查询式，和/或所述图片的质量特征参数。
3.根据权利要求1所述的方法，其特征在于，所述相关计算网络包括：隐藏层集以及与所述隐藏层集的输出端相连的输出层；
其中，所述隐藏层集包括一个或者多个首尾相连的隐藏层，所述向量生成网络的表示向量输出端与所述隐藏层集的输入端相连，所述输出层输出所述相关性度量值。
4.根据权利要求1所述的方法，其特征在于，所述相关计算网络包括：第一隐藏层集、与所述第一隐藏层集的输出端相连的第一标准向量表示单元、第二隐藏层集、与所述第二隐藏层集的输出端相连的第二标准向量表示单元、以及与所述第一标准向量表示单元和所述第二标准向量表示单元的输出端分别相连的向量距离计算单元；
其中，所述隐藏层集包括一个或者多个首尾相连的隐藏层，所述表示向量生成网络中与所述查询式对应的表示向量输出端与所述第一隐藏层集的输入端相连，所述表示向量生成网络中与所述图片数据对应的表示向量输出端与第二隐藏层集的输入端相连，所述向量距离计算单元输出所述相关性度量值。
5.根据权利要求3或4所述的方法，其特征在于，所述隐藏层包括至少两个神经单元，所述输出层包括一个神经单元；
其中，所述表示向量生成网络所生成的向量维数、所述相关计算网络中包括的隐藏层的数量、隐藏层中包括的神经单元数量、神经单元的响应函数类型以及神经单元输出的正则化方法根据任务进行预先设置。
6.根据权利要求1所述的方法，其特征在于，使用训练样本对预先构建的原始深层神经网络进行训练包括：
选取设定数量的训练样本；
依次获取一个训练样本输入至所述原始深层神经网络中，并根据所述原始深层神经网络基于所述训练样本的输出结果，对所述原始深层神经网络中的加权参数进行调整；
返回执行获取一个训练样本输入至所述原始深层神经网络的操作，直至达到预先设定的训练结束条件。
7.根据权利要求6所述的方法，其特征在于，依次获取一个训练样本输入至所述原始深层神经网络中，并根据所述原始深层神经网络基于所述训练样本的输出结果，对所述原始深层神经网络中的加权参数进行调整具体包括：
将所述训练查询式以及与所述正样本图片对应的图片数据输入至与所述原始深层神经网络结构相同的第一网络中，并获取所述第一网络输出的第一预测值；
将所述训练查询式以及与所述负样本图片对应的图片数据输入至与所述第一网络结构相同的第二网络中，并获取第二网络输出的第二预测值；
根据所述第一预测值、所述第二预测值以及所述正样本图片与所述负样本图片之间的相关性偏序，计算损失函数；
采取设定权值更新算法，沿着最小化损失函数的方向，反向逐层更新所述第一网络以及所述第二网络中各层的加权参数。
8.根据权利要求7所述的方法，其特征在于，选取设定数量的训练样本包括：
根据搜索用户的图片点击日志，汇总与同一查询式样本对应的图片点击信息，其中，所述查询式样本包括：单一查询式或者满足设定相似度阈值条件的至少两个查询式；
根据汇总的所述图片点击信息，生成与所述查询式样本对应的正图片样本集以及负图片样本集；
选取设定数量的查询式样本作为所述训练查询式，并根据与各所述训练查询式分别对应的正图片样本集以及负图片样本集，生成与各所述训练查询式分别对应的正负训练对作为所述训练样本。
9.根据权利要求8所述的方法，其特征在于，所述图片点击信息包括：与所述查询式样本对应的点击图片；
根据汇总的所述图片点击信息，生成与所述查询式样本对应的正图片样本集以及负图片样本集具体包括：
在所述点击图片中，将点击次数超过设定第一阈值的图片归集为所述正图片样本集中，将点击次数小于设定第二阈值的图片归集为所述负图片样本集中。
10.根据权利要求8所述的方法，其特征在于，所述图片点击信息包括：与所述查询式样本对应的点击图片以及与所述查询式样本对应的图片搜索结果；
根据汇总的所述图片点击信息，生成与所述查询式样本对应的正图片样本集以及负图片样本集具体包括：
在与所述图片搜索结果对应的各图片中，将被点击过的图片归集为所述正图片样本集中，将未被点击的图片归集为所述负图片样本集中。
11.根据权利要求8所述的方法，其特征在于，根据与各所述训练查询式分别对应的正图片样本集以及负图片样本集，生成与各所述训练查询式分别对应的正负训练对作为所述训练样本具体包括：
依次获取一个训练查询式作为当前操作查询式，并获取与所述当前操作查询式对应的目标正样本图片集以及目标负样本图片集；
根据设定的样本图片选取规则，在所述目标正样本图片集中选取第一数量的目标正样本图片，在所述目标负样本图片集中选取第二数量的目标负样本图片；
根据设定的正负图片组合规则，分别从所述第一数量的目标正样本图片以及所述第二数量的目标负样本图片中选取样本图片，生成与所述当前操作查询式对应的第三数量的正负训练对作为所述训练样本；
返回执行获取一个训练查询式作为当前操作查询式的操作，直至完成对全部训练查询式的处理。
12.根据权利要求11所述的方法，其特征在于，根据设定的样本图片选取规则，在所述目标正样本图片集中选取第一数量的目标正样本图片，在所述目标负样本图片集中选取第二数量的目标负样本图片还包括：
在区别于所述当前操作查询式的非关联查询式对应的正图片样本集中获取至少一个图片作为与所述当前操作查询式对应的目标负样本图片。
13.根据权利要求8所述的方法，其特征在于，在根据搜索用户的图片点击日志，汇总与同一查询式样本对应的图片点击信息之前，还包括：
滤除所述图片点击日志中包括的噪声日志。
14.一种图片搜索方法，其特征在于，包括：
获取用户输入的图片查询式；
将所述图片查询式以及待排序图片分别输入至通过权利要求1-13任一项所述的方法建立的图片搜索相关性预测模型中，分别计算各所述待排序图片与所述图片查询式之间的相关性度量值；
根据计算得到的所述相关性度量值对各所述待排序图片进行排序，并将与排序结果对应的图片搜索结果提供给所述用户。
15.一种图片搜索相关性预测模型的建立装置，其特征在于，包括：
训练模块，用于使用训练样本对预先构建的原始深层神经网络进行训练；
其中，所述训练样本包括：查询式以及图片数据，所述原始深层神经网络包括：表示向量生成网络以及相关计算网络，所述表示向量生成网络用于将所述训练样本中不同类型的数据转换为表示向量并输入至所述相关计算网络，所述相关计算网络用于将输入的至少两个表示向量转换为一个相关性度量值；
模型生成模块，用于将训练完成的所述原始深层神经网络作为所述图片搜索相关性预测模型；
所述训练样本具体包括：由训练查询式，以及与所述训练查询式分别对应的正样本图片以及负样本图片构成的正负训练对；
所述训练模块，具体用于：构造两个相同的原始深层神经网络分别用于接收由训练查询式、正样本图片构成的正训练对，以及由训练查询式、负样本图片构成的负训练对，实现模型训练。
16.根据权利要求15所述的装置，其特征在于，所述图片数据包括：图片关联文本数据、图片内容数据以及图片关联特征数据；
其中，所述图片关联特征数据包括：与所述图片对应的点击查询式，和/或所述图片的质量特征参数。
17.根据权利要求15所述的装置，其特征在于，所述训练模块包括：
训练样本选取单元，用于选取设定数量的训练样本；
加权参数调整单元，用于依次获取一个训练样本输入至所述原始深层神经网络中，并根据所述原始深层神经网络基于所述训练样本的输出结果，对所述原始深层神经网络中的加权参数进行调整；
循环执行单元，用于返回执行获取一个训练样本输入至所述原始深层神经网络的操作，直至达到预先设定的训练结束条件。
18.根据权利要求17所述的装置，其特征在于，所述加权参数调整单元具体用于：
将所述训练查询式以及与所述正样本图片对应的图片数据输入至与所述原始深层神经网络结构相同的第一网络中，并获取所述第一网络输出的第一预测值；
将所述训练查询式以及与所述负样本图片对应的图片数据输入至与所述第一网络结构相同的第二网络中，并获取第二网络输出的第二预测值；
根据所述第一预测值、所述第二预测值以及所述正样本图片与所述负样本图片之间的相关性偏序，计算损失函数；
采取设定权值更新算法，沿着最小化损失函数的方向，反向逐层更新所述第一网络以及所述第二网络中各层的加权参数。
19.根据权利要求18所述的装置，其特征在于，所述训练样本选取单元具体包括：
图片点击信息汇总子单元，用于根据搜索用户的图片点击日志，汇总与同一查询式样本对应的图片点击信息，其中，所述查询式样本包括：单一查询式或者满足设定相似度阈值条件的至少两个查询式；
正负图片样本集生成子单元，用于根据汇总的所述图片点击信息，生成与所述查询式样本对应的正图片样本集以及负图片样本集；
训练样本生成子单元，用于选取设定数量的查询式样本作为所述训练查询式，并根据与各所述训练查询式分别对应的正图片样本集以及负图片样本集，生成与各所述训练查询式分别对应的正负训练对作为所述训练样本。
20.一种图片搜索装置，其特征在于，包括：
图片查询式获取模块，用于获取用户输入的图片查询式；
相关性度量值计算模块，用于将所述图片查询式以及待排序图片分别输入至通过权利要求15-19任一项所述的装置建立的图片搜索相关性预测模型中，分别计算各所述待排序图片与所述图片查询式之间的相关性度量值；
图片搜索结果提供模块，用于根据计算得到的所述相关性度量值对各所述待排序图片进行排序，并将与排序结果对应的图片搜索结果提供给所述用户。
CN201610306220.6A 2016-05-10 2016-05-10 图片搜索相关性预测模型的建立、图片搜索方法和装置 Active CN106021364B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201610306220.6A CN106021364B (zh) 2016-05-10 2016-05-10 图片搜索相关性预测模型的建立、图片搜索方法和装置
US15/281,198 US10354170B2 (en) 2016-05-10 2016-09-30 Method and apparatus of establishing image search relevance prediction model, and image search method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610306220.6A CN106021364B (zh) 2016-05-10 2016-05-10 图片搜索相关性预测模型的建立、图片搜索方法和装置

Publications (2)

Publication Number Publication Date
CN106021364A CN106021364A (zh) 2016-10-12
CN106021364B true CN106021364B (zh) 2017-12-12

Family

ID=57100212

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610306220.6A Active CN106021364B (zh) 2016-05-10 2016-05-10 图片搜索相关性预测模型的建立、图片搜索方法和装置

Country Status (2)

Country Link
US (1) US10354170B2 (zh)
CN (1) CN106021364B (zh)

Families Citing this family (102)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106383912B (zh) * 2016-10-14 2019-09-03 北京字节跳动网络技术有限公司 一种图片检索方法和装置
CN107527091B (zh) * 2016-10-14 2021-05-25 腾讯科技（北京）有限公司 数据处理方法和装置
US11182840B2 (en) * 2016-11-18 2021-11-23 Walmart Apollo, Llc Systems and methods for mapping a predicted entity to a product based on an online query
CN107067020B (zh) 2016-12-30 2019-11-15 腾讯科技（上海）有限公司 图片识别方法及装置
US10275820B2 (en) 2017-01-31 2019-04-30 Walmart Apollo, Llc Systems and methods for utilizing a convolutional neural network architecture for visual product recommendations
US11188824B2 (en) * 2017-02-17 2021-11-30 Google Llc Cooperatively training and/or using separate input and subsequent content neural networks for information retrieval
CN106920147B (zh) * 2017-02-28 2020-12-29 华中科技大学 一种基于词向量数据驱动的商品智能推荐方法
CN107122393B (zh) * 2017-03-09 2019-12-10 北京小度互娱科技有限公司 电子相册生成方法以及装置
CN106951484B (zh) * 2017-03-10 2020-10-30 百度在线网络技术（北京）有限公司 图片检索方法及装置、计算机设备及计算机可读介质
CN107016439A (zh) * 2017-05-09 2017-08-04 重庆大学 基于cr2神经网络的图像‑文本双编码机理实现模型
CN107193962B (zh) * 2017-05-24 2021-06-11 百度在线网络技术（北京）有限公司 一种互联网推广信息的智能配图方法及装置
CN107239532B (zh) * 2017-05-31 2020-07-31 北京京东尚科信息技术有限公司 数据挖掘方法及装置
CN110019770A (zh) * 2017-07-24 2019-07-16 华为技术有限公司 训练分类模型的方法与装置
CN107437111B (zh) * 2017-07-31 2020-07-14 杭州朗和科技有限公司 基于神经网络的数据处理方法、介质、装置和计算设备
US11321320B2 (en) * 2017-08-14 2022-05-03 Sisense Ltd. System and method for approximating query results using neural networks
US11216437B2 (en) 2017-08-14 2022-01-04 Sisense Ltd. System and method for representing query elements in an artificial neural network
CN108304435B (zh) * 2017-09-08 2020-08-25 腾讯科技（深圳）有限公司 信息推荐方法、装置、计算机设备及存储介质
CN107679183B (zh) 2017-09-29 2020-11-06 百度在线网络技术（北京）有限公司 分类器用训练数据获取方法和装置、服务器及存储介质
CN110019903A (zh) * 2017-10-10 2019-07-16 阿里巴巴集团控股有限公司 图像处理引擎组件的生成方法、搜索方法及终端、系统
CN110069650B (zh) * 2017-10-10 2024-02-09 阿里巴巴集团控股有限公司 一种搜索方法和处理设备
CN110019867A (zh) * 2017-10-10 2019-07-16 阿里巴巴集团控股有限公司 图像搜索方法、系统和索引构建方法和介质
CN107748779A (zh) * 2017-10-20 2018-03-02 百度在线网络技术（北京）有限公司 信息生成方法和装置
CN110019889A (zh) * 2017-12-01 2019-07-16 北京搜狗科技发展有限公司 训练特征提取模型及计算图片与查询词相关性系数的方法和相关装置
CN108228720B (zh) * 2017-12-07 2019-11-08 北京字节跳动网络技术有限公司 识别目标文字内容和原图相关性的方法、系统、装置、终端、及存储介质
CN107908783B (zh) * 2017-12-07 2021-06-11 百度在线网络技术（北京）有限公司 检索文本相关性的评估方法、装置、服务器和存储介质
CN108121969B (zh) * 2017-12-22 2021-12-28 百度在线网络技术（北京）有限公司 用于处理图像的方法和装置
CN108121814B (zh) * 2017-12-28 2022-04-22 北京百度网讯科技有限公司 搜索结果排序模型生成方法和装置
US10740394B2 (en) * 2018-01-18 2020-08-11 Oath Inc. Machine-in-the-loop, image-to-video computer vision bootstrapping
CN108399211B (zh) * 2018-02-02 2020-11-24 清华大学 基于二值特征的大规模图像检索算法
CN108230121B (zh) * 2018-02-09 2022-06-10 艾凯克斯（嘉兴）信息科技有限公司 一种基于循环神经网络的产品设计方法
CN108376132B (zh) * 2018-03-16 2020-08-28 中国科学技术大学 相似试题的判定方法及系统
CN110322011B (zh) * 2018-03-28 2021-08-06 普天信息技术有限公司 面向推理模型的对象关系构造方法及装置
CN110377175B (zh) * 2018-04-13 2023-02-03 矽统科技股份有限公司 触控面板上敲击事件的识别方法及系统，及终端触控产品
SG11202010813TA (en) * 2018-05-02 2020-11-27 Agency Science Tech & Res A system and method for image retrieval
CN108985382B (zh) * 2018-05-25 2022-07-15 清华大学 基于关键数据通路表示的对抗样本检测方法
CN110705975B (zh) * 2018-07-10 2021-06-18 马上消费金融股份有限公司 一种扣款指令发起方法及装置
CN109034248B (zh) * 2018-07-27 2022-04-05 电子科技大学 一种基于深度学习的含噪声标签图像的分类方法
CN110858220A (zh) * 2018-08-10 2020-03-03 阿里巴巴集团控股有限公司 确定图像特征的方法、装置、存储介质及处理器
CN109325584B (zh) * 2018-08-10 2021-06-25 深圳前海微众银行股份有限公司 基于神经网络的联邦建模方法、设备及可读存储介质
CN109214006B (zh) * 2018-09-18 2020-10-27 中国科学技术大学 图像增强的层次化语义表示的自然语言推理方法
CN111008294B (zh) * 2018-10-08 2023-06-20 阿里巴巴集团控股有限公司 交通图像处理、图像检索方法及装置
CN109543066B (zh) * 2018-10-31 2021-04-23 北京达佳互联信息技术有限公司 视频推荐方法、装置和计算机可读存储介质
CN109543179A (zh) * 2018-11-05 2019-03-29 北京康夫子科技有限公司 口语化症状归一化的方法及系统
CN109670532B (zh) * 2018-11-23 2022-12-09 腾讯医疗健康(深圳)有限公司 生物体器官组织图像的异常识别方法、装置及系统
CN111275060B (zh) * 2018-12-04 2023-12-08 北京嘀嘀无限科技发展有限公司 识别模型更新处理方法、装置、电子设备及存储介质
CN109583439A (zh) * 2018-12-04 2019-04-05 龙马智芯（珠海横琴）科技有限公司 文字校正的方法及装置、存储介质、处理器
CN109657710B (zh) * 2018-12-06 2022-01-21 北京达佳互联信息技术有限公司 数据筛选方法、装置、服务器及存储介质
CN109657792A (zh) * 2018-12-19 2019-04-19 北京世纪好未来教育科技有限公司 构建神经网络的方法、装置和计算机可读介质
CN111401509B (zh) * 2019-01-02 2023-03-28 中国移动通信有限公司研究院 一种终端类型的识别方法和装置
CN109840588B (zh) * 2019-01-04 2023-09-08 平安科技（深圳）有限公司 神经网络模型训练方法、装置、计算机设备及存储介质
CN111428125B (zh) * 2019-01-10 2023-05-30 北京三快在线科技有限公司 排序方法、装置、电子设备及可读存储介质
CN113688933A (zh) * 2019-01-18 2021-11-23 北京市商汤科技开发有限公司 分类网络的训练方法及分类方法和装置、电子设备
US10810468B2 (en) * 2019-01-30 2020-10-20 Mitsubishi Electric Research Laboratories, Inc. System for training descriptor with active sample selection
CN110033023B (zh) * 2019-03-11 2021-06-15 北京光年无限科技有限公司 一种基于绘本识别的图像数据处理方法及系统
RU2743932C2 (ru) 2019-04-15 2021-03-01 Общество С Ограниченной Ответственностью «Яндекс» Способ и сервер для повторного обучения алгоритма машинного обучения
CN110046226B (zh) * 2019-04-17 2021-09-24 桂林电子科技大学 一种基于分布词向量cnn-rnn网络的图像描述方法
CN110232131B (zh) * 2019-04-26 2021-04-27 特赞（上海）信息科技有限公司 基于创意标签的创意素材搜索方法及装置
CN111931799B (zh) * 2019-05-13 2023-06-20 百度在线网络技术（北京）有限公司 图像识别方法及装置
CN110232403B (zh) * 2019-05-15 2024-02-27 腾讯科技（深圳）有限公司 一种标签预测方法、装置、电子设备及介质
US11144784B2 (en) * 2019-05-30 2021-10-12 Adobe Inc. Text-to-visual machine learning embedding techniques
US11605019B2 (en) 2019-05-30 2023-03-14 Adobe Inc. Visually guided machine-learning language model
US11604822B2 (en) 2019-05-30 2023-03-14 Adobe Inc. Multi-modal differential search with real-time focus adaptation
CN110457523B (zh) * 2019-08-12 2022-03-08 腾讯科技（深圳）有限公司 封面图片的选取方法、模型的训练方法、装置及介质
CN110489582B (zh) * 2019-08-19 2023-11-07 腾讯科技（深圳）有限公司 个性化展示图像的生成方法及装置、电子设备
CN112529986B (zh) * 2019-09-19 2023-09-22 百度在线网络技术（北京）有限公司 图文相关性的计算模型建立方法、计算方法及装置
CN110704637B (zh) * 2019-09-29 2023-05-12 出门问问信息科技有限公司 一种多模态知识库的构建方法、装置及计算机可读介质
CN112668365A (zh) * 2019-10-15 2021-04-16 顺丰科技有限公司 一种物料入库识别方法、装置、设备及存储介质
CN112800737A (zh) * 2019-10-29 2021-05-14 京东数字科技控股有限公司 自然语言文本生成方法和装置以及对话系统
CN110866134B (zh) * 2019-11-08 2022-08-05 吉林大学 一种面向图像检索的分布一致性保持度量学习方法
CN110837869A (zh) * 2019-11-11 2020-02-25 深圳市商汤科技有限公司 图像分类模型训练方法、图像处理方法及装置
US11228683B2 (en) * 2019-12-06 2022-01-18 At&T Intellectual Property I, L.P. Supporting conversations between customers and customer service agents
CN111124902A (zh) * 2019-12-12 2020-05-08 腾讯科技（深圳）有限公司 对象操作方法和装置、计算机可读的存储介质及电子装置
CN110942108B (zh) * 2019-12-13 2023-04-25 深圳大学 人脸图像聚类方法、装置及计算机可读存储介质
US11741620B1 (en) * 2020-01-24 2023-08-29 Apple Inc. Plane detection using depth sensor and semantic information
CN113255711A (zh) * 2020-02-13 2021-08-13 阿里巴巴集团控股有限公司 对抗检测方法、装置及设备
CN111460909A (zh) * 2020-03-09 2020-07-28 兰剑智能科技股份有限公司 基于视觉的货位管理方法和装置
CN113535829B (zh) * 2020-04-17 2022-04-29 阿里巴巴集团控股有限公司 排序模型的训练方法、装置、电子设备及存储介质
CN111522985B (zh) * 2020-04-21 2023-04-07 易拍全球(北京)科贸有限公司 基于深浅层特征提取与融合的古董艺术品图像检索方法
CN111524570B (zh) * 2020-05-06 2024-01-16 万达信息股份有限公司 一种基于机器学习的超声随访患者筛选方法
CN113626588A (zh) * 2020-05-09 2021-11-09 北京金山数字娱乐科技有限公司 卷积神经网络训练的方法和装置、文章分类的方法和装置
CN113743430A (zh) * 2020-05-29 2021-12-03 北京沃东天骏信息技术有限公司 标签匹配度检测模型的建立方法及装置、存储介质及设备
CN111667057B (zh) * 2020-06-05 2023-10-20 北京百度网讯科技有限公司 用于搜索模型结构的方法和装置
CN111695680B (zh) * 2020-06-15 2023-11-10 北京百度网讯科技有限公司 成绩预测方法、成绩预测模型训练方法、装置及电子设备
CN111784757B (zh) * 2020-06-30 2024-01-23 北京百度网讯科技有限公司 深度估计模型的训练方法、深度估计方法、装置及设备
CN111950596A (zh) * 2020-07-15 2020-11-17 华为技术有限公司 一种用于神经网络的训练方法以及相关设备
EP3961434A1 (en) * 2020-08-27 2022-03-02 Samsung Electronics Co., Ltd. Method and apparatus for concept matching
CN112101380B (zh) * 2020-08-28 2022-09-02 合肥工业大学 基于图文匹配的产品点击率预测方法和系统、存储介质
CN112149748A (zh) * 2020-09-28 2020-12-29 商汤集团有限公司 图像分类方法及装置、电子设备和存储介质
CN112434721B (zh) * 2020-10-23 2023-09-01 特斯联科技集团有限公司 一种基于小样本学习的图像分类方法、系统、存储介质及终端
CN112560928B (zh) * 2020-12-08 2021-10-26 北京百度网讯科技有限公司 负样本挖掘方法、装置、电子设备及存储介质
CN112949750B (zh) * 2021-03-25 2022-09-23 清华大学深圳国际研究生院 一种图像分类方法及计算机可读存储介质
CN113110045B (zh) * 2021-03-31 2022-10-25 同济大学 一种基于计算图的模型预测控制实时优化并行计算方法
CN113326864B (zh) * 2021-04-06 2023-11-24 上海海洋大学 一种图像检索模型训练方法、装置及存储介质
CN113139381B (zh) * 2021-04-29 2023-11-28 平安国际智慧城市科技股份有限公司 不均衡样本分类方法、装置、电子设备及存储介质
CN113283115B (zh) * 2021-06-11 2023-08-08 北京有竹居网络技术有限公司 图像模型生成方法、装置和电子设备
CN113240056B (zh) * 2021-07-12 2022-05-17 北京百度网讯科技有限公司 多模态数据联合学习模型训练方法及装置
CN113918753A (zh) * 2021-07-23 2022-01-11 腾讯科技（深圳）有限公司 基于人工智能的图像检索方法及相关设备
CN114139041B (zh) * 2022-01-28 2022-05-13 浙江口碑网络技术有限公司 类目相关性预测网络训练及类目相关性预测方法及装置
CN114372205B (zh) * 2022-03-22 2022-06-10 腾讯科技（深圳）有限公司 特征量化模型的训练方法、装置以及设备
US11782877B1 (en) 2022-05-17 2023-10-10 Bank Of America Corporation Search technique for noisy logs and resulting user interfaces displaying log entries in ranked order of importance
CN114708449B (zh) * 2022-06-02 2022-08-23 腾讯科技（深圳）有限公司 相似视频的确定方法、实例表征模型的训练方法及设备
CN116502286B (zh) * 2023-05-24 2023-11-17 中国标准化研究院 一种基于边缘计算的标准信息的服务方法及其系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006039686A2 (en) * 2004-10-01 2006-04-13 University Of Southern California User preference techniques for support vector machines in content based image retrieval
CN103593474B (zh) * 2013-11-28 2017-03-01 中国科学院自动化研究所 基于深度学习的图像检索排序方法
CN105468596B (zh) * 2014-08-12 2019-06-18 腾讯科技（深圳）有限公司 图片检索方法和装置
CN104317834B (zh) * 2014-10-10 2017-09-29 浙江大学 一种基于深度神经网络的跨媒体排序方法
US10095950B2 (en) * 2015-06-03 2018-10-09 Hyperverge Inc. Systems and methods for image processing
US10586168B2 (en) * 2015-10-08 2020-03-10 Facebook, Inc. Deep translations
CN105447190B (zh) * 2015-12-18 2019-03-15 小米科技有限责任公司 基于卷积神经网络的图片检索方法、装置和服务器

Also Published As

Publication number Publication date
CN106021364A (zh) 2016-10-12
US10354170B2 (en) 2019-07-16
US20170330054A1 (en) 2017-11-16

Similar Documents

Publication Publication Date Title
CN106021364B (zh) 图片搜索相关性预测模型的建立、图片搜索方法和装置
CN110674407B (zh) 基于图卷积神经网络的混合推荐方法
CN103559504B (zh) 图像目标类别识别方法及装置
Balakrishnan et al. Collaborative ranking
CN107220277A (zh) 基于手绘草图的图像检索算法
CN103810299B (zh) 基于多特征融合的图像检索方法
CN108073568A (zh) 关键词提取方法和装置
CN109948029A (zh) 基于神经网络自适应的深度哈希图像搜索方法
CN103942571B (zh) 一种基于遗传规划算法的图形图像分类方法
WO2015165372A1 (en) Method and apparatus for classifying object based on social networking service, and storage medium
CN108804677A (zh) 结合多层级注意力机制的深度学习问题分类方法及系统
CN109582782A (zh) 一种基于用弱监督深度学习的文本聚类方法
CN107451278A (zh) 基于多隐层极限学习机的中文文本分类方法
CN110046250A (zh) 三嵌入卷积神经网络模型及其文本多分类方法
CN109977250A (zh) 融合语义信息和多级相似性的深度哈希图像检索方法
CN110516098A (zh) 基于卷积神经网络及二进制编码特征的图像标注方法
CN104679868B (zh) 一种基于数据间关联关系的遗漏数据填补方法
CN108875034A (zh) 一种基于层次化长短期记忆网络的中文文本分类方法
CN111047406B (zh) 一种电信套餐推荐方法、装置、存储介质和设备
CN116109195A (zh) 一种基于图卷积神经网络的绩效评估方法及系统
CN117436679B (zh) 一种元宇宙资源匹配方法及其系统
CN112612948B (zh) 一种基于深度强化学习的推荐系统构建方法
CN116541607B (zh) 基于商品检索数据分析的智能推荐方法
Ching et al. Learning image aesthetics by learning inpainting
CN117435982A (zh) 一种多维度快速识别网络水军的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant