CN106951433B - 一种检索方法及装置 - Google Patents

Abstract

本发明提供一种检索方法及装置，其中检索方法包括：获取用户的人脸图像序列以及用户输入的检索内容；将所述获取的人脸图像序列以及检索内容输入检索模型，得到检索结果；其中，所述检索模型是采用如下方式预先训练得到的：获取用户历史日志作为训练数据，所述训练数据包括：检索内容、人脸图像序列、检索结果以及用户对检索结果的行为；利用所述训练数据训练神经网络模型，得到检索模型。本发明利用人脸图像序列作为辅助信息进行检索，避免用户检索时个性化特征的损失，提高用户的检索效率以及检索准确率。

Description

一种检索方法及装置

【技术领域】

本发明涉及搜索技术领域，尤其涉及一种检索方法及装置。

【背景技术】

在传统信息检索中，用户在基于个性化特征检索时，往往需要将个性化特征划分为具体的类别，例如年龄、性别、种族等，这些数据来自于用户自行录入或者由海量用户的检索数据分析得到。例如在如下场景，用户在购物平台进行某个物品的检索时，在需要输入购买物品名称的同时，往往还需要输入其他信息以对检索物品进行更精准的定位，例如输入年龄、性别等个性化特征，这就会造成用户进行检索时输入的不便，而由此得到的检索结果也无法完全满足用户的检索意图，用户还需要进行选择或者重新检索，从而降低了用户的检索效率以及检索的准确率。

【发明内容】

有鉴由此，本发明提供了一种检索方法和装置，将人脸图像作为辅助检索信息，用于避免用户检索时个性化特征的损失，提高用户的检索效率以及检索准确率。

本发明为解决技术问题而采用的技术方案是提供一种检索方法，所述方法包括：获取用户的人脸图像序列以及用户输入的检索内容；将所述获取的人脸图像序列以及检索内容输入检索模型，得到检索结果；其中，所述检索模型是采用如下方式预先训练得到的：获取用户历史日志作为训练数据，所述训练数据包括：检索内容、人脸图像序列、检索结果以及用户对检索结果的行为；利用所述训练数据训练神经网络模型，得到检索模型。

根据本发明一优选实施例，所述训练数据包括的人脸图像序列为：t1时刻至t2时刻的人脸图像序列，t1时刻为用户输入检索内容的时刻，t2时刻为从t1时刻开始用户产生下一次行为的时刻。

根据本发明一优选实施例，所述用户产生下一次行为包括：用户选择检索结果；或者，用户输入新的检索内容。

根据本发明一优选实施例，所述用户输入的检索内容包括检索关键词，或者进一步包括检索分类和检索位置中的至少一种。

根据本发明一优选实施例，所述获取用户历史日志作为训练数据包括：将检索内容、人脸图像序列以及对应的被选择检索结果作为正样本数据；将检索内容、人脸图像序列以及对应的未被选择检索结果作为负样本数据。

根据本发明一优选实施例，所述检索模型包括检索引擎和神经网络模型；将所述获取的人脸图像序列以及检索内容输入检索模型，得到检索结果包括：通过所述检索引擎得到所述检索内容的候选检索结果；将所述获取的人脸图像序列和所述候选检索结果输入所述神经网络模型，得到所述神经网络模型输出的检索结果。

本发明为解决技术问题提供一种检索装置，所述装置包括：获取单元，用于获取用户的人脸图像序列以及用户输入的检索内容；检索单元，用于将所述获取的人脸图像序列以及检索内容输入检索模型，得到检索结果；训练单元，用于采用如下方式预先训练得到所述检索模型：获取用户历史日志作为训练数据，所述训练数据包括：检索内容、人脸图像序列、检索结果以及用户对检索结果的行为；利用所述训练数据训练神经网络模型，得到检索模型。

根据本发明一优选实施例，所述训练单元获取所述训练数据包括的人脸图像序列时执行：获取t1时刻至t2时刻的人脸图像序列，t1时刻为用户输入检索内容的时刻，t2时刻为从t1时刻开始用户产生下一次行为的时刻。

根据本发明一优选实施例，所述用户产生下一次行为包括：用户选择检索结果；或者，用户输入新的检索内容。

根据本发明一优选实施例，所述获取单元获取用户输入的检索内容时执行：获取用户输入的检索关键词，或者进一步包括检索分类和检索位置中的至少一种。

根据本发明一优选实施例，所述训练单元获取所述用户历史日志作为训练数据时，具体执行：将检索内容、人脸图像序列以及对应的被选择检索结果作为正样本数据；将检索内容、人脸图像序列以及对应的未被选择检索结果作为负样本数据。

根据本发明一优选实施例，所述检索模型包括检索引擎和神经网络模型；检索单元用于将所述获取的人脸图像序列以及检索内容输入检索模型，得到检索结果时，具体执行：通过所述检索引擎得到所述检索内容的候选检索结果；将所述获取的人脸图像序列和所述候选检索结果输入所述神经网络模型，得到所述神经网络模型输出的检索结果。

由以上技术方案可以看出，本发明通过将获取的人脸图像作为辅助检索信息，得到人脸图像中所包含的用户全部个性化特征，将人脸图像序列与检索内容一起输入检索模型，得到检索结果，从而避免用户检索时个性化特征的损失，提高用户的检索效率以及检索准确率。

【附图说明】

图1为本发明一实施例提供的方法流程图。

图2为本发明实施例提供的检索模型训练的示意图。

图3为本发明实施例提供的装置结构图。

图4为本发明实施例提供的设备结构图。

【具体实施方式】

为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。

在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。

应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。

人脸图像作为信息量最大的用户个性化特征来源，其可以涵盖年龄、性别、种族、情绪、态度等多个维度的信息，但是目前却没有充分利用人脸图像所包含的个性化特征进行检索。因此提供一种检索方法，不再将用户的个性化特征转化为年龄、性别、种族、情绪等多个类别，而是将人脸图像作为辅助检索信息，利用人脸图像中所包含的全部个性化特征进行检索，避免用户进行检索时个性化特征的损失，提高用户的检索效率以及检索准确率。

图1为本发明一实施例提供的方法流程图，如图1所示，该方法可以主要包括以下步骤：

在101中，获取用户的人脸图像序列以及用户输入的检索内容。

在本步骤中，人脸图像序列由图像采集设备进行采集，可以为多张人脸图像，也可以为单张人脸图像，本发明对此不进行限定。

通过输入设备获取用户输入的检索内容，该检索内容可以为检索关键词，或者进一步包括检索分类以及检索位置中的至少一种。

在102中，将所述获取的人脸图像序列以及检索内容输入检索模型，得到检索结果。

在本步骤中，检索模型包括检索引擎和神经网络模型。将所述获取的人脸图像序列以及检索内容输入检索模型，得到检索结果具体包括：根据所输入的检索内容，由检索引擎得到候选检索结果，然后将所述获取的人脸图像序列以及候选检索结果输入检索模型中的神经网络模型，由神经网络模型输出检索结果。

其中检索模型中的神经网络模型，为预先由训练数据训练得到的，其中所使用的神经网络模型可以采用但不限于诸如深度神经网络模型DNN。

训练深度神经网络模型的数据来源于用户的历史日志，该用户历史日志中包含有用户输入的检索内容、人脸图像序列、检索结果以及用户对检索结果的行为。而其中训练数据所包括的人脸图像序列为：由图像采集设备所采集到的t1时刻至t2时刻的人脸图像序列，其中t1时刻为用户输入检索内容的时刻，t2时刻为从t1时刻开始用户产生下一次行为的时刻。

而用户产生的下一次行为可以包括：用户对检索结果的选择行为，或者用户输入新的检索内容的行为。

用户对检索结果的选择行为可以为用户对检索结果进行点击的行为，或者用户对检索结果的关注行为，还可以为用户对检索结果进行手势选择或者语音选择的行为。而用户输入新的检索内容的行为体现用户对当前所生成的检索结果不进行选择，用户重新输入检索内容进行检索，说明当前的检索结果并未满足用户的需求。因此，用户由检索结果而产生的下一次行为可以看做是用户对检索结果中其感兴趣内容进行选择的过程，其实质上反映的是用户对检索内容所得到检索结果的满意程度。例如用户对检索结果产生的点击行为，只有检索结果符合用户所输入检索内容的意图，用户才会对检索结果进行点击，同理，用户对检索结果的关注行为可以通过用户对检索结果的关注时间或者关注表情得知，当检索结果符合用户的检索意图或者用户对检索结果感兴趣时，用户的关注时间较长或者用户的关注表情较喜悦。或者用户在使用VR装置进行检索时，可以通过手势控制或者语音控制的方式，对由所输入的检索内容得到的检索结果进行选择，这也属于用户对检索结果产生的下一次行为。

因此，将所获取的用户历史日志作为训练数据可以具体包括：将检索内容、人脸图像序列以及对应的被选择检索结果作为正样本数据；将检索内容、人脸图像序列以及对应的未被选择检索结果作为负样本数据。其中正样本数据中对应的被选择结果即为用户通过对检索结果的选择行为所选择的检索结果，即满足用户所输入检索内容的检索结果；而负样本数据中对应的未被选择结果即为检索结果中未被用户选择的检索结果，或者用户输入新的检索内容时由所输入的检索内容产生的检索结果，即不满足用户所输入检索内容的检索结果。

通过使用上述训练数据对深度神经网络模型进行训练，使得深度神经网络模型能够对正样本数据和负样本数据进行学习，实现依据人脸图像序列得到检索结果中用户满意的检索结果，从而使得所得到的检索结果尽可能满足用户的检索意图。

需要说明的是，神经网络模型实际上是基于人脸图像序列中像素点的亮度值分布进行分析和学习的，首先，人脸图像序列中像素点的亮度值分布决定了用户身份，即用户是谁，该部分类似于人脸识别技术，一张人脸决定了一个人是谁。另外，对于具有不同性别、年龄、种族、表情等个性化特征的人脸而言，其对应的人脸图像中像素点的亮度值分布是不同的。例如，女性的头发长、面容更加细腻白皙，年长者头发花白程度较高、皱纹较多，亚洲人肤色发黄、欧洲人肤色发白，人在喜悦、激动、兴奋和满足时常常伴有嘴角上扬、瞳孔放大等表情，等等，这些都会产生亮度值分布的差异。神经网络模型通过对不同人脸图像序列中像素点的亮度值分布对应的检索结果进行学习，一方面可以学习到用户是谁，该用户历史检索行为中可以分析出该用户的检索偏好；另一方面可以学习到当前检索者所隐含的性别、年轻、种族、表情等综合特征，从而在这种综合特征下什么样的检索结果更能够满足该检索者的需求。

检索模型训练过程的示意图如图2所示，其中，检索内容n、人脸图像序列n、对应所选择的检索结果n分别代表第n次训练模型所使用的训练数据，图中的模型指代检索模型。从图2检索模型的训练过程中可以看出，检索模型是一个逐步迭代和更新的过程。在每次利用已经训练得到的检索模型得到检索结果后，将本次获取的人脸图像序列、检索内容以及用户对检索结果的行为作为新添加的训练样本，使得训练样本得到更新。更新后的训练样本再用于训练并更新检索模型，更新后的检索模型再用于进行检索得到检索结果，……。至此周而复始逐渐迭代更新，使得检索模型逐渐趋于更加准确。也就是说，利用线下训练得到的检索模型实现线上的检索结果输出，再利用线上的检索过程，收集新的训练数据，用于检索模型的线下训练过程。

在步骤102中，将所述获取的人脸图像序列以及检索内容输入检索模型，得到检索结果，该检索结果可以看作是由检索内容所得到的并包含有用户的个性化特征的检索结果。

上面已经提及，神经网络模型能够通过输入的人脸图像中像素点的亮度值分布，获取到检索者的诸如性别、年龄、种族、表情等个性化特征，然后从人脸图像序列中所包含的个性化特征中选取所要使用的个性化特征的权重值，基于此对检索结果进行打分。一方面基于对检索结果的打分值，选择出满足用户检索意图的检索结果；另一方面基于对检索结果的打分值，对选择出的检索结果进行排序。

用户通常在进行检索时，为了使所输入的检索内容更加有效，往往需要添加其他信息从而使该检索内容所得到的检索结果更加准确。例如用户在进行购物时，除了要输入所购买物品的名称外，还需要输入或者选择一定的个性化信息，例如年龄、性别、种类等。而在输入所购买的物品名称后再输入或者选择用户的个性化信息，虽然能够在一定程度上提高检索的准确性，但会大大降低用户进行检索的效率。并且在选择单个个性化信息或者多个个性化信息时，往往会造成用户个性化信息的缺失，而利用人脸图像序列作为辅助检索信息时，可以利用人脸图像序列中所包含的全部个性化特征，不需要再另行输入，从而大大提升用户的检索效率以及检索的准确率。

举例来说，用户要购买“防风外套”，在购物平台的检索区域输入该购买物品的名称后，由该检索内容可以得到多个种类“防风外套”的检索结果。假如用户所需要购买的是“xx牌男士加厚防风外套”，在得到检索结果后还需要进一步根据自身的需要对检索结果进行限定，如添加“男士”、“加厚”、“xx牌”等多种个性化特征，这就给用户的检索过程带来了不便，从而降低了用户进行检索的效率。但是利用本发明所提供的技术方案，在输入物品名称的同时输入人脸图像序列作为辅助检索信息，利用人脸图像序列中所包含的丰富个性化特征对所要购买物品进行选择，能够大大提升用户的检索效率以及准确率。

人脸图像序列中所包含的个性化特征有很多种，例如年龄、性别、种族、情绪、态度等多个维度，而在将人脸图像序列作为辅助检索信息进行检索时，检索模型会自动根据检索内容设定所使用人脸图像中个性化特征的权重值。所使用人脸图像序列中个性化特征的权重值可以理解为从候选检索结果中选择能够得到最符合用户检索意图的检索结果时所要使用的用户个性化特征的权重值，权重值由检索模型从训练数据中训练学习得到。例如，在购买衣服时，检索模型会自动设定使用人脸图像中年龄、性别、态度等个性化特征的权重值较大，其他信息的权重值小，而最后的检索结果会优先展示符合人脸图像序列年龄、性别、态度的检索结果。再举例来说，在搜索轿车时，检索模型设定使用人脸图像序列中态度、情绪等个性化特征的权重值较大，其他信息的权重值较小，则在最后的检索结果中会优先展示用户最喜爱或者是关注时间较长的轿车进行展示。

举例来说，假如一名青年男子购买服装时，所输入物品的名称是“毛呢大衣”，在输入该物品名称的同时输入用户的人脸图像序列，在输出结果中会自动产生“青年男士毛呢大衣”的检索结果，不需要该用户再输入或者选择年龄、性别等个性化特征。也可以为所输出的检索结果中包含有该用户的检索偏好信息，例如所输出的检索结果为“青年男士驼色毛呢大衣”的检索结果，即将符合用户喜好的检索结果展现在前面。

由于检索内容可以分为多个种类，因此当用户所输入的检索内容不同时，根据人脸图像序列所得到检索结果也不相同，但不同的检索结果最终都能反映用户人脸图像序列中所包含的个性化特征。举例来说，在用户进行地图检索时，当用户输入某个地点的位置后，地图通常会根据所输入的地点位置，生成在该位置周边的影院、饭店或者旅游景点等推荐内容，然后用户可以对所生成的上述推荐内容，根据自身需要进行选择。当用户输入地点位置的同时输入人脸图像序列，通过该用户的人脸图像序列便可以得知该用户对于不同推荐内容的检索喜好，例如爱吃哪一种类的饭菜、爱去何种旅游景点或者经常观影的影院等，便能够根据用户所输入的检索位置，结合用户的人脸图像序列，将符合用户喜好的内容优先推荐给用户。

利用本发明提供的技术方案，将人脸图像作为辅助检索信息，利用人脸图像中所包含的全部个性化特征进行检索，避免因输入或者选择个性化特征而造成用户的个性化特征缺失，从而提高用户检索的效率以及检索的准确率。

下面对本发明实施例提供的装置结构图进行详述。如图3中所示，所述装置主要包括：获取单元31、检索单元32以及训练单元33。

获取单元31，用于获取用户的人脸图像序列以及用户输入的检索内容。

获取单元31通过图像采集设备采集人脸图像序列，所采集的人脸图像序列可以为多张人脸图像，也可以为单张人脸图像，本发明对此不进行限定。通过输入设备获取用户输入的检索内容，该检索内容可以为检索关键词，或者进一步包括检索分类以及检索位置中的至少一种。

检索单元32，用于将所述获取的人脸图像序列以及检索内容输入检索模型，得到检索结果。

检索单元32中的检索模型包括检索引擎和神经网络模型。检索单元32在将所述获取的人脸图像序列以及检索内容输入检索模型，得到检索结果时具体执行：根据所输入的检索内容，由检索引擎得到候选检索结果，然后将所述获取的人脸图像序列以及候选检索结果输入检索模型中的神经网络模型，由神经网络模型输出检索结果。

检索单元32所使用的检索模型由训练单元33预先训练得到，通过所获取的训练数据对神经网络模型进行训练，从而得到检索模型。其中所使用的神经网络模型可以采用但不限于诸如深度神经网络模型DNN。

训练单元33在训练深度神经网络模型时所使用的训练数据来源于用户的历史日志，该用户历史日志中包含有用户输入的检索内容、人脸图像序列、检索结果以及用户对检索结果的行为。而其中训练数据所包括的人脸图像序列为：由图像采集设备所采集到的t1时刻至t2时刻的人脸图像序列，其中t1时刻为用户输入检索内容的时刻，t2时刻为从t1时刻开始用户产生下一次行为的时刻。

而用户产生的下一次行为可以包括：用户对检索结果的选择行为，或者用户输入新的检索内容的行为。

用户对检索结果的选择行为可以为用户对检索结果进行点击的行为，或者用户对检索结果的关注行为，还可以为用户对检索结果进行手势选择或者语音选择的行为。而用户输入新的检索内容的行为体现用户对当前所生成的检索结果不进行选择，用户重新输入检索内容进行检索，说明当前的检索结果并未满足用户的需求。因此，用户由检索结果而产生的下一次行为可以看做是用户对检索结果中其感兴趣内容进行选择的过程，其实质上反映的是用户对检索内容所得到检索结果的满意程度。例如用户对检索结果产生的点击行为，只有检索结果符合用户所输入检索内容的意图，用户才会对检索结果进行点击，同理，用户对检索结果的关注行为可以通过用户对检索结果的关注时间或者关注表情得知，当检索结果符合用户的检索意图或者用户对检索结果感兴趣时，用户的关注时间较长或者用户的关注表情较喜悦。或者用户在使用VR装置进行检索时，可以通过手势控制或者语音控制的方式，对由所输入的检索内容得到的检索结果进行选择，这也属于用户对检索结果产生的下一次行为。

因此，将所获取的用户历史日志作为训练数据可以具体包括：将检索内容、人脸图像序列以及对应的被选择检索结果作为正样本数据；将检索内容、人脸图像序列以及对应的未被选择检索结果作为负样本数据。其中正样本数据中对应的被选择结果即为用户通过对检索结果的选择行为所选择的检索结果，即满足用户所输入检索内容的检索结果；而负样本数据中对应的未被选择结果即为检索结果中未被用户选择的检索结果，或者用户输入新的检索内容时由所输入的检索内容产生的检索结果，即不满足用户所输入检索内容的检索结果。

通过使用上述训练数据对深度神经网络模型进行训练，使得深度神经网络模型能够对正样本数据和负样本数据进行学习，实现依据人脸图像序列得到检索结果中用户满意的检索结果，从而使得所得到的检索结果尽可能满足用户的检索意图。

需要说明的是，神经网络模型实际上是基于人脸图像序列中像素点的亮度值分布进行分析和学习的，首先，人脸图像序列中像素点的亮度值分布决定了用户身份，即用户是谁，该部分类似于人脸识别技术，一张人脸决定了一个人是谁。另外，对于具有不同性别、年龄、种族、表情等个性化特征的人脸而言，其对应的人脸图像中像素点的亮度值分布是不同的。例如，女性的头发长、面容更加细腻白皙，年长者头发花白程度较高、皱纹较多，亚洲人肤色发黄、欧洲人肤色发白，人在喜悦、激动、兴奋和满足时常常伴有嘴角上扬、瞳孔放大等表情，等等，这些都会产生亮度值分布的差异。神经网络模型通过对不同人脸图像序列中像素点的亮度值分布对应的检索结果进行学习，一方面可以学习到用户是谁，该用户历史检索行为中可以分析出该用户的检索偏好；另一方面可以学习到当前检索者所隐含的性别、年轻、种族、表情等综合特征，从而在这种综合特征下什么样的检索结果更能够满足该检索者的需求。

检索模型训练过程的示意图如图2所示，其中，检索内容n、人脸图像序列n、对应所选择的检索结果n分别代表第n次训练模型所使用的训练数据，图中的模型指代检索模型。从图2检索模型的训练过程中可以看出，检索模型是一个逐步迭代和更新的过程。在每次利用已经训练得到的检索模型得到检索结果后，将本次获取的人脸图像序列、检索内容以及用户对检索结果的行为作为新添加的训练样本，使得训练样本得到更新。更新后的训练样本再用于训练并更新检索模型，更新后的检索模型再用于进行检索得到检索结果，……。至此周而复始逐渐迭代更新，使得检索模型逐渐趋于更加准确。也就是说，利用线下训练得到的检索模型实现线上的检索结果输出，再利用线上的检索过程，收集新的训练数据，用于检索模型的线下训练过程。

检索单元32将所述获取的人脸图像序列以及检索内容输入检索模型，得到检索结果，该检索结果可以看作是由检索内容所得到的并包含有用户的个性化特征的检索结果。

上面已经提及，神经网络模型能够通过输入的人脸图像中像素点的亮度值分布，获取到检索者的诸如性别、年龄、种族、表情等个性化特征，然后从人脸图像序列中所包含的个性化特征中选取所要使用的个性化特征的权重值，基于此对检索结果进行打分。一方面基于对检索结果的打分值，选择出满足用户检索意图的检索结果；另一方面基于对检索结果的打分值，对选择出的检索结果进行排序。

由于人脸图像序列中所包含的个性化特征有很多种，例如年龄、性别、种族、情绪、态度等多个维度，而在将人脸图像序列作为辅助检索信息进行检索时，检索模型会自动根据检索内容设定所使用人脸图像中个性化特征的权重值。所使用人脸图像序列中个性化特征的权重值可以理解为从候选检索结果中选择能够得到最符合用户检索意图的检索结果时所要使用的用户个性化特征的权重值，权重值由检索模型从训练数据中训练学习得到。例如，在购买衣服时，检索模型会自动设定使用人脸图像中年龄、性别、态度等个性化特征的权重值较大，其他信息的权重值小，而最后的检索结果会优先展示符合人脸图像序列年龄、性别、态度的检索结果。再举例来说，在搜索轿车时，检索模型设定使用人脸图像序列中态度、情绪等个性化特征的权重值较大，其他信息的权重值较小，则在最后的检索结果中会优先展示用户最喜爱或者是关注时间较长的轿车进行展示。

获取单元31获取用户所输入的检索内容可以分为多个种类，因此当用户所输入的检索内容不同时，检索单元32根据人脸图像序列所得到检索结果也是不相同的，但不同的检索结果最终都能反映用户人脸图像序列中所包含的个性化特征。

举例来说，在用户进行地图检索时，当用户输入某个地点的位置后，地图通常会根据所输入的地点位置，生成在该位置周边的影院、饭店或者旅游景点等推荐内容，然后用户可以对所生成的上述推荐内容，根据自身需要进行选择。当用户输入地点位置的同时输入人脸图像序列，通过该用户的人脸图像序列便可以得知该用户对于不同推荐内容的检索喜好，例如爱吃哪一种类的饭菜、爱去何种旅游景点或者经常观影的影院等，便能够根据用户所输入的检索位置，结合用户的人脸图像序列，将符合用户喜好的内容优先推荐给用户。

本发明实施例提供的上述方法和装置可以以设置并运行于设备中的计算机程序体现。该设备可以包括一个或多个处理器，还包括存储器和一个或多个程序，如图4中所示。其中该一个或多个程序存储于存储器中，被上述一个或多个处理器执行以实现本发明上述实施例中所示的方法流程和/或装置操作。例如，被上述一个或多个处理器执行的方法流程，可以包括：

获取用户的人脸图像序列以及用户输入的检索内容；

将所述获取的人脸图像序列以及检索内容输入检索模型，得到检索结果；

其中，所述检索模型是采用如下方式预先训练得到的：

获取用户历史日志作为训练数据，所述训练数据包括：检索内容、人脸图像序列、检索结果以及用户对检索结果的行为；

利用所述训练数据训练神经网络模型，得到检索模型。

利用本发明提供的技术方案，将人脸图像作为辅助检索信息，利用人脸图像中所包含的全部个性化特征进行检索，避免因输入或者选择个性化特征而造成用户的个性化特征缺失，从而提高用户检索的效率以及检索的准确率。

在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (10)

1.一种检索方法，其特征在于，所述方法包括：

获取用户的人脸图像序列以及用户输入的检索内容；

将所述检索内容输入检索模型中的检索引擎，获取候选检索结果，将所述获取的人脸图像序列和所述候选检索结果输入检索模型中的神经网络模型，得到所述神经网络模型输出的检索结果；

其中，所述检索模型是采用如下方式预先训练得到的：

获取用户历史日志作为训练数据，所述训练数据包括：检索内容、人脸图像序列、检索结果以及用户对检索结果的行为；

利用所述训练数据训练神经网络模型，得到检索模型。

2.根据权利要求1所述的方法，其特征在于，所述训练数据包括的人脸图像序列为：t1时刻至t2时刻的人脸图像序列，t1时刻为用户输入检索内容的时刻，t2时刻为从t1时刻开始用户产生下一次行为的时刻。

3.根据权利要求2所述的方法，其特征在于，所述用户产生下一次行为包括：

用户选择检索结果；或者，

用户输入新的检索内容。

4.根据权利要求1所述的方法，其特征在于，所述用户输入的检索内容包括检索关键词，或者进一步包括检索分类和检索位置中的至少一种。

5.根据权利要求1所述的方法，其特征在于，所述获取用户历史日志作为训练数据包括：

将检索内容、人脸图像序列以及对应的被选择检索结果作为正样本数据；

将检索内容、人脸图像序列以及对应的未被选择检索结果作为负样本数据。

6.一种检索装置，其特征在于，所述装置包括：

获取单元，用于获取用户的人脸图像序列以及用户输入的检索内容；

检索单元，用于将所述检索内容输入检索模型中的检索引擎，获取候选检索结果，将所述获取的人脸图像序列和所述候选检索结果输入检索模型中的神经网络模型，得到所述神经网络模型输出的检索结果；

训练单元，用于采用如下方式预先训练得到所述检索模型：

获取用户历史日志作为训练数据，所述训练数据包括：检索内容、人脸图像序列、检索结果以及用户对检索结果的行为；

利用所述训练数据训练神经网络模型，得到检索模型。

7.根据权利要求6所述的装置，其特征在于，训练单元获取所述训练数据包括的人脸图像序列时执行：获取t1时刻至t2时刻的人脸图像序列，t1时刻为用户输入检索内容的时刻，t2时刻为从t1时刻开始用户产生下一次行为的时刻。

8.根据权利要求7所述的装置，其特征在于，所述用户产生下一次行为包括：

用户选择检索结果；或者，

用户输入新的检索内容。

9.根据权利要求6所述的装置，其特征在于，获取单元获取所述用户输入的检索内容时执行：获取用户输入的检索关键词，或者进一步包括检索分类和检索位置中的至少一种。

10.根据权利要求6所述的装置，其特征在于，训练单元获取所述用户历史日志作为训练数据时，具体执行：

将检索内容、人脸图像序列以及对应的被选择检索结果作为正样本数据；将检索内容、人脸图像序列以及对应的未被选择检索结果作为负样本数据。

Images