CN112434173B - 搜索内容输出方法、装置、计算机设备及可读存储介质 - Google Patents

Abstract

本申请公开了一种搜索内容输出方法、装置、计算机设备及可读存储介质，涉及互联网技术领域，将名称和图片这样多模的特征同时进行训练，计算内容与对象的相关性评分，输出结果，将文字和图片的特征考虑到相关性计算中，用不同类型的素材，保证搜索全面。所述方法包括：根据多个历史样本对象的对象名称以及对象图片，确定多个预测样本对象以及多个预测样本对象的相关性标签；获取多个样本输入内容，将多个样本输入内容与多个预测样本对象关联；接收用户输入的待搜索内容，在多个预测样本对象中提取目标预测样本对象；基于目标预测样本对象的相关性标签，计算待搜索内容与目标预测样本对象的相关性评分；在目标预测对象中确定结果内容，将结果输出。

Description

搜索内容输出方法、装置、计算机设备及可读存储介质

技术领域

本申请涉及互联网技术领域，特别是涉及一种搜索内容输出方法、装置、计算机设备及可读存储介质。

背景技术

近年来，随着互联网技术的快速发展，各种互联网应用广泛深入各类领域，大数据呈现爆炸式增长，海量的数据和信息分散于网络空间，当用户需要获取信息和数据时，可以通过搜索平台进行信息搜索，从而使搜索平台可以输出相关的搜索内容，满足用户的多样化需求。

相关技术中，搜索平台中会预置大量用于搜索的素材，用这些素材训练文本语义模型。当接收到用户请求进行内容搜索时，将用户想要搜索的内容输入到该文本语义模型中进行文本相关性的特征提取，从而根据文本相关性确定相关的素材，将这些相关素材作为搜索内容输出给用户，以供用户参考。

在实现本申请的过程中，申请人发现相关技术至少存在以下问题：

搜索平台中预置的用于搜索的素材是多种多样的，有诸如名称、类目、地址、评论等文本形式的素材，也有诸如环境图、物品图、地址图等图片形式的素材，还有视频相册、达人视频、实景视频等视频形式的素材，但是在进行内容搜索时，由于搜索能力有限，通常只能训练用于确定文本相关性的文本语义模型，不仅搜索方法的局限性较高，而且浪费了大量其他形式的搜索素材，导致搜索的成功率和准确率较低。

发明内容

有鉴于此，本申请提供了一种搜索内容输出方法、装置、计算机设备及可读存储介质，主要目的在于解决目前搜索方法的局限性较高，浪费了大量其他形式的搜索素材，导致搜索的成功率和准确率较低的问题。

依据本申请第一方面，提供了一种搜索内容输出方法，该方法包括：

根据多个历史样本对象的对象名称以及对象图片，确定多个预测样本对象以及所述多个预测样本对象的相关性标签，所述历史样本对象是基于用户的历史点击行为获取的，所述多个预测样本对象的预测文本特征与所述对象名称的相似度以及预测图片特征与所述对象图片的相似度符合相似度条件；

获取多个样本输入内容，将所述多个样本输入内容与所述多个预测样本对象关联；

接收所述用户输入的待搜索内容，在所述多个预测样本对象中提取至少一个目标预测样本对象，所述至少一个目标预测样本对象关联的样本输入内容与所述待搜索内容一致；

基于所述至少一个目标预测样本对象的相关性标签，计算所述待搜索内容与所述至少一个目标预测样本对象的至少一个相关性评分，所述相关性评分通过计算所述目标预测样本对象与所述待搜索内容相关的至少一个目标相关性标签中取值为1的目标相关性标签的第二标签总数与所述至少一个目标相关性标签的第一标签总数的比值得出；

在所述至少一个目标预测对象中确定结果内容，将所述结果内容输出，所述结果内容包括相关性评分大于评分阈值的目标预测对象。

在另一个实施例中，所述根据多个历史样本对象的对象名称以及对象图片，确定多个预测样本对象以及所述多个预测样本对象的相关性标签之前，所述方法还包括：

在历史操作日志中采集所述历史点击行为，确定所述历史点击行为指示的历史搜索内容以及基于所述历史搜索内容输出的所述多个历史样本对象；

对于所述多个历史样本对象中每个历史样本对象，查询所述历史样本对象在基于所述历史搜索内容输出后是否被触发；

若查询确定所述历史样本对象被触发，则为所述历史样本对象设置用于指示所述历史样本对象被触发的触发标签；

若查询确定所述历史样本对象未被触发，则为所述历史样本对象设置用于指示所述历史样本对象未被触发的触发标签。

在另一个实施例中，所述根据多个历史样本对象的对象名称以及对象图片，确定多个预测样本对象以及所述多个预测样本对象的相关性标签，包括：

对于所述多个历史样本对象中每个历史样本对象，获取所述历史样本对象的对象名称以及对象图片；

基于所述对象名称确定所述预测文本特征，基于所述对象图片确定所述预测图片特征，将所述预测文本特征和所述预测图片特征作为所述预测样本对象；

按照所述历史样本对象对应的触发标签，为所述预测样本对象设置所述相关性标签，所述触发标签指示了所述历史样本对象在所述历史点击行为中是否被触发；

分别为所述多个历史样本对象确定预测样本对象并按照触发标签为所述预测样本对象设置所述相关性标签，得到所述多个预测样本对象以及所述多个预测样本对象中每个预测样本对象的相关性标签。

在另一个实施例中，所述基于所述对象名称确定所述预测文本特征，包括：

按照语义对所述对象名称进行字符分割，得到至少两个字符组；

在所述对象名称中将所述至少两个字符组中的任一字符组隐藏，基于隐藏后的所述对象名称，确定候选文本特征以及所述候选文本特征的文本特征概率；

在所述对象名称中依次隐藏所述至少两个字符组中的每个字符组并确定候选文本特征以及文本特征概率，直至遍历所述至少两个字符组，得到多个候选文本特征和所述多个候选文本特征的多个文本特征概率；

在所述多个文本特征概率中确定目标文本特征概率，将所述目标文本特征概率对应的候选文本特征作为所述预测文本特征，所述目标文本特征概率大于所述多个文本特征概率中除所述目标文本特征概率外的其他文本特征概率。

在另一个实施例中，所述基于隐藏后的所述对象名称，确定候选文本特征以及所述候选文本特征的文本特征概率，包括：

在当前收录的全部对象中确定多个目标对象，所述多个目标对象中每个目标对象的目标对象名称中均包括隐藏后的所述对象名称；

对于所述多个目标对象中每个目标对象，确定所述目标对象的目标对象名称与隐藏后的所述对象名称相比超出的字符，将所述超出的字符作为所述待定文本特征；

统计所述待定文本特征在所述多个目标对象的目标对象名称中的出现次数，并统计所述多个目标对象的对象总数；

将所述出现次数与所述对象总数的比值作为所述待定文本特征的第一特征概率；

分别为所述多个目标对象中每个目标对象确定待定文本特征以及第一特征概率，得到多个待定文本特征以及多个第一特征概率；

按照所述多个第一特征概率从大到小的顺序对所述多个待定文本特征进行排序，将排在首位的待定文本特征作为所述候选文本特征，并将所述排在首位的待定文本特征的第一特征概率作为所述文本特征概率。

在另一个实施例中，所述基于所述对象图片确定所述预测图片特征，包括：

将所述对象图片分割为预设数目的图片区域；

基于特征提取网络ResNet提取所述预设数目的图片区域的图片特征，得到所述预设数目的对象图片特征；

在所述对象图片中将所述预设数目的对象图片特征中的任一对象图片特征隐藏，基于隐藏后的所述对象图片，确定候选图片特征以及所述候选图片特征的图片特征概率；

在所述对象图片中依次隐藏所述预设数目的对象图片特征中每个对象图片特征并确定候选图片特征以及图片特征概率，直至遍历所述预设数目的对象图片特征，得到多个候选图片特征和所述多个候选图片特征的多个图片特征概率；

在所述多个图片特征概率中确定目标图片特征概率，将所述目标图片特征概率对应的候选图片特征作为预测图片特征，所述目标图片特征概率大于所述多个图片特征概率中除所述目标图片特征概率外的其他图片特征概率。

在另一个实施例中，所述基于隐藏后的所述对象图片，确定候选图片特征以及所述候选图片特征的图片特征概率，包括：

获取当前收录的全部对象的收录对象图片，将所述全部对象的收录对象图片分割为所述预设数目的已收录对象图片区域，得到多个已收录对象图片区域；

确定隐藏后的所述对象图片中被隐藏的对象图片特征所处的被隐藏图片位置，在所述多个已收录对象图片区域中提取所处位置与所述被隐藏图片位置一致的多个待定图片区域；

基于所述ResNet提取所述多个待定图片区域的图片特征，得到多个待定图片特征；

对于所述多个待定图片特征中每个待定图片特征，读取所述待定图片特征的第一图片通道取值；

读取所述隐藏后的所述对象图片的对象图片特征的第二图片通道取值；

计算所述第一图片通道取值与所述第二图片通道取值的相似度，将所述相似度作为所述待定图片特征的第二特征概率；

分别为所述多个待定图片特征中每个待定图片特征计算第二特征概率，得到多个第二特征概率；

按照所述多个第二特征概率从大到小的顺序对所述多个待定图片特征进行排序，将排在首位的待定图片特征作为候选图片特征，并将所述排在首位的待定图片特征的第二特征概率作为所述图片特征概率。

在另一个实施例中，所述按照所述历史样本对象对应的触发标签，为所述预测样本对象设置所述相关性标签，包括：

当所述历史样本对象对应的触发标签指示被触发时，为所述预测样本对象设置取值为1的所述相关性标签；

当所述历史样本对象对应的触发标签指示未被触发时，为所述预测样本对象设置取值为0的所述相关性标签。

在另一个实施例中，所述获取多个样本输入内容，将所述多个样本输入内容与所述多个预测样本对象关联，包括：

获取所述多个样本输入内容，确定所述多个样本输入内容中每个样本输入内容对应的对象特征；

对于所述多个样本输入内容中每个样本输入内容，基于所述样本输入内容对应的目标对象特征，对所述多个预测样本对象进行训练，获取训练后输出的目标预测样本对象，所述目标预测样本对象中存在与所述目标对象特征匹配的预测文本特征或预测图片特征；

将所述样本输入内容与所述目标预测样本对象关联；

分别为所述多个样本输入内容中每个样本输入内容确定目标预测样本对象进行关联，将所述多个样本输入内容与所述多个预测样本对象关联。

在另一个实施例中，所述基于所述至少一个目标预测样本对象的相关性标签，计算所述待搜索内容与所述至少一个目标预测样本对象的至少一个相关性评分，包括：

对于所述至少一个目标预测样本对象中的每个目标预测样本对象，获取所述目标预测样本对象的多个候选相关性标签；

在所述多个候选相关性标签中确定与所述待搜索内容相关的至少一个目标相关性标签，统计所述至少一个目标相关性标签的第一标签总数；

读取所述至少一个目标相关性标签的取值，统计取值为1的目标相关性标签的第二标签总数；

计算所述第二标签总数与所述第一标签总数的比值作为所述目标预测样本对象的相关性评分；

分别为所述至少一个目标预测样本对象中每个目标预测样本对象计算相关性评分，得到所述至少一个相关性评分。

依据本申请第二方面，提供了一种搜索内容输出装置，该装置包括：

确定模块，用于根据多个历史样本对象的对象名称以及对象图片，确定多个预测样本对象以及所述多个预测样本对象的相关性标签，所述历史样本对象是基于用户的历史点击行为获取的，所述多个预测样本对象的预测文本特征与所述对象名称的相似度以及预测图片特征与所述对象图片的相似度符合相似度条件；

关联模块，用于获取多个样本输入内容，将所述多个样本输入内容与所述多个预测样本对象关联；

提取模块，用于接收所述用户输入的待搜索内容，在所述多个预测样本对象中提取至少一个目标预测样本对象，所述至少一个目标预测样本对象关联的样本输入内容与所述待搜索内容一致；

计算模块，用于基于所述至少一个目标预测样本对象的相关性标签，计算所述待搜索内容与所述至少一个目标预测样本对象的至少一个相关性评分，所述相关性评分通过计算所述目标预测样本对象与所述待搜索内容相关的至少一个目标相关性标签中取值为1的目标相关性标签的第二标签总数与所述至少一个目标相关性标签的第一标签总数的比值得出；

输出模块，用于在所述至少一个目标预测对象中确定结果内容，将所述结果内容输出，所述结果内容包括相关性评分大于评分阈值的目标预测对象。

在另一个实施例中，所述装置还包括：

采集模块，用于在历史操作日志中采集所述历史点击行为，确定所述历史点击行为指示的历史搜索内容以及基于所述历史搜索内容输出的所述多个历史样本对象；

查询模块，用于对于所述多个历史样本对象中每个历史样本对象，查询所述历史样本对象在基于所述历史搜索内容输出后是否被触发；

设置模块，用于若查询确定所述历史样本对象被触发，则为所述历史样本对象设置用于指示所述历史样本对象被触发的触发标签；

所述设置模块，还用于若查询确定所述历史样本对象未被触发，则为所述历史样本对象设置用于指示所述历史样本对象未被触发的触发标签。

在另一个实施例中，所述确定模块，用于对于所述多个历史样本对象中每个历史样本对象，获取所述历史样本对象的对象名称以及对象图片；基于所述对象名称确定所述预测文本特征，基于所述对象图片确定所述预测图片特征，将所述预测文本特征和所述预测图片特征作为所述预测样本对象；按照所述历史样本对象对应的触发标签，为所述预测样本对象设置所述相关性标签，所述触发标签指示了所述历史样本对象在所述历史点击行为中是否被触发；分别为所述多个历史样本对象确定预测样本对象并按照触发标签为所述预测样本对象设置所述相关性标签，得到所述多个预测样本对象以及所述多个预测样本对象中每个预测样本对象的相关性标签。

在另一个实施例中，所述确定模块，用于按照语义对所述对象名称进行字符分割，得到至少两个字符组；在所述对象名称中将所述至少两个字符组中的任一字符组隐藏，基于隐藏后的所述对象名称，确定候选文本特征以及所述候选文本特征的文本特征概率；在所述对象名称中依次隐藏所述至少两个字符组中的每个字符组并确定候选文本特征以及文本特征概率，直至遍历所述至少两个字符组，得到多个候选文本特征和所述多个候选文本特征的多个文本特征概率；在所述多个文本特征概率中确定目标文本特征概率，将所述目标文本特征概率对应的候选文本特征作为所述预测文本特征，所述目标文本特征概率大于所述多个文本特征概率中除所述目标文本特征概率外的其他文本特征概率。

在另一个实施例中，所述确定模块，用于在当前收录的全部对象中确定多个目标对象，所述多个目标对象中每个目标对象的目标对象名称中均包括隐藏后的所述对象名称；对于所述多个目标对象中每个目标对象，确定所述目标对象的目标对象名称与隐藏后的所述对象名称相比超出的字符，将所述超出的字符作为所述待定文本特征；统计所述待定文本特征在所述多个目标对象的目标对象名称中的出现次数，并统计所述多个目标对象的对象总数；将所述出现次数与所述对象总数的比值作为所述待定文本特征的第一特征概率；分别为所述多个目标对象中每个目标对象确定待定文本特征以及第一特征概率，得到多个待定文本特征以及多个第一特征概率；按照所述多个第一特征概率从大到小的顺序对所述多个待定文本特征进行排序，将排在首位的待定文本特征作为所述候选文本特征，并将所述排在首位的待定文本特征的第一特征概率作为所述文本特征概率。

在另一个实施例中，所述确定模块，用于将所述对象图片分割为预设数目的图片区域；基于特征提取网络ResNet提取所述预设数目的图片区域的图片特征，得到所述预设数目的对象图片特征；在所述对象图片中将所述预设数目的对象图片特征中的任一对象图片特征隐藏，基于隐藏后的所述对象图片，确定候选图片特征以及所述候选图片特征的图片特征概率；在所述对象图片中依次隐藏所述预设数目的对象图片特征中每个对象图片特征并确定候选图片特征以及图片特征概率，直至遍历所述预设数目的对象图片特征，得到多个候选图片特征和所述多个候选图片特征的多个图片特征概率；在所述多个图片特征概率中确定目标图片特征概率，将所述目标图片特征概率对应的候选图片特征作为预测图片特征，所述目标图片特征概率大于所述多个图片特征概率中除所述目标图片特征概率外的其他图片特征概率。

在另一个实施例中，所述确定模块，用于获取当前收录的全部对象的收录对象图片，将所述全部对象的收录对象图片分割为所述预设数目的已收录对象图片区域，得到多个已收录对象图片区域；确定隐藏后的所述对象图片中被隐藏的对象图片特征所处的被隐藏图片位置，在所述多个已收录对象图片区域中提取所处位置与所述被隐藏图片位置一致的多个待定图片区域；基于所述ResNet提取所述多个待定图片区域的图片特征，得到多个待定图片特征；对于所述多个待定图片特征中每个待定图片特征，读取所述待定图片特征的第一图片通道取值；读取所述隐藏后的所述对象图片的对象图片特征的第二图片通道取值；计算所述第一图片通道取值与所述第二图片通道取值的相似度，将所述相似度作为所述待定图片特征的第二特征概率；分别为所述多个待定图片特征中每个待定图片特征计算第二特征概率，得到多个第二特征概率；按照所述多个第二特征概率从大到小的顺序对所述多个待定图片特征进行排序，将排在首位的待定图片特征作为候选图片特征，并将所述排在首位的待定图片特征的第二特征概率作为所述图片特征概率。

在另一个实施例中，所述确定模块，用于当所述历史样本对象对应的触发标签指示被触发时，为所述预测样本对象设置取值为1的所述相关性标签；当所述历史样本对象对应的触发标签指示未被触发时，为所述预测样本对象设置取值为0的所述相关性标签。

在另一个实施例中，所述关联模块，用于获取所述多个样本输入内容，确定所述多个样本输入内容中每个样本输入内容对应的对象特征；对于所述多个样本输入内容中每个样本输入内容，基于所述样本输入内容对应的目标对象特征，对所述多个预测样本对象进行训练，获取训练后输出的目标预测样本对象，所述目标预测样本对象中存在与所述目标对象特征匹配的预测文本特征或预测图片特征；将所述样本输入内容与所述目标预测样本对象关联；分别为所述多个样本输入内容中每个样本输入内容确定目标预测样本对象进行关联，将所述多个样本输入内容与所述多个预测样本对象关联。

在另一个实施例中，所述计算模块，用于对于所述至少一个目标预测样本对象中的每个目标预测样本对象，获取所述目标预测样本对象的多个候选相关性标签；在所述多个候选相关性标签中确定与所述待搜索内容相关的至少一个目标相关性标签，统计所述至少一个目标相关性标签的第一标签总数；读取所述至少一个目标相关性标签的取值，统计取值为1的目标相关性标签的第二标签总数；计算所述第二标签总数与所述第一标签总数的比值作为所述目标预测样本对象的相关性评分；分别为所述至少一个目标预测样本对象中每个目标预测样本对象计算相关性评分，得到所述至少一个相关性评分。

依据本申请第三方面，提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述方法的步骤。

依据本申请第四方面，提供了一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的方法的步骤。

借由上述技术方案，本申请提供的一种搜索内容输出方法、装置、计算机设备及可读存储介质，本申请将历史样本对象的对象名称以及对象图片这样多模的特征同时进行训练和学习，确定预测文本特征与对象名称的相似度以及预测图片特征与对象图片的相似度符合相似度条件的多个预测样本对象和预测样本对象的相关性标签，并根据获取到的多个样本输入内容对多个预测样本对象进行再次的训练，将多个样本输入内容与多个预测样本对象关联，从而接收用户输入的待搜索内容，在多个预测样本对象中提取关联的样本输入内容与待搜索内容一致的至少一个目标预测样本对象，基于至少一个目标预测样本对象的相关性标签，计算待搜索内容与至少一个目标预测样本对象的至少一个相关性评分，在至少一个目标预测对象中确定相关性评分达到了评分阈值的目标预测对象作为结果内容输出，将对象的文字形式以及图片形式的特征均考虑到相关性的计算过程中，实现各种不同类型搜索素材的完全利用，最大程度上保证为用户提供的搜索服务是最全面最完整的。

上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了本申请实施例提供的一种搜索内容输出方法流程示意图；

图2A示出了本申请实施例提供的一种搜索内容输出方法流程示意图；

图2B示出了本申请实施例提供的一种搜索内容输出方法的特征训练示意图；

图2C示出了本申请实施例提供的一种搜索内容输出方法的特征训练示意图；

图3A示出了本申请实施例提供的一种搜索内容输出装置的结构示意图；

图3B示出了本申请实施例提供的一种搜索内容输出装置的结构示意图；

图4示出了本申请实施例提供的一种计算机设备的装置结构示意图。

具体实施方式

下面将参照附图更详细地描述本申请的示例性实施例。虽然附图中显示了本申请的示例性实施例，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。

本申请实施例提供了一种搜索内容输出方法，如图1所示，该方法包括：

101、根据多个历史样本对象的对象名称以及对象图片，确定多个预测样本对象以及多个预测样本对象的相关性标签，历史样本对象是基于用户的历史点击行为获取的，多个预测样本对象的预测文本特征与对象名称的相似度以及预测图片特征与对象图片的相似度符合相似度条件。

102、获取多个样本输入内容，将多个样本输入内容与多个预测样本对象关联。

103、接收用户输入的待搜索内容，在多个预测样本对象中提取至少一个目标预测样本对象，至少一个目标预测样本对象关联的样本输入内容与待搜索内容一致。

104、基于至少一个目标预测样本对象的相关性标签，计算待搜索内容与至少一个目标预测样本对象的至少一个相关性评分。

105、在至少一个目标预测对象中确定结果内容，将结果内容输出，结果内容包括相关性评分大于评分阈值的目标预测对象。

本申请实施例提供的方法，将历史样本对象的对象名称以及对象图片这样多模的特征同时进行训练和学习，确定预测文本特征与对象名称的相似度以及预测图片特征与对象图片的相似度符合相似度条件的多个预测样本对象和预测样本对象的相关性标签，并根据获取到的多个样本输入内容对多个预测样本对象进行再次的训练，将多个样本输入内容与多个预测样本对象关联，从而接收用户输入的待搜索内容，在多个预测样本对象中提取关联的样本输入内容与待搜索内容一致的至少一个目标预测样本对象，基于至少一个目标预测样本对象的相关性标签，计算待搜索内容与至少一个目标预测样本对象的至少一个相关性评分，在至少一个目标预测对象中确定相关性评分达到了评分阈值的目标预测对象作为结果内容输出，将对象的文字形式以及图片形式的特征均考虑到相关性的计算过程中，实现各种不同类型搜索素材的完全利用，最大程度上保证为用户提供的搜索服务是最全面最完整的。

本申请实施例提供了一种搜索内容输出方法，如图2A所示，该方法包括：

201、采集多个历史样本对象，为多个历史样本对象设置触发标签。

申请人认识到，搜索平台可以为用户提供信息查找的最大入口，是连接用户和信息的重要纽带，搜索平台作为最常用的搜索工具已经成为人们生活中必不可少的一部分。一般来说，搜索平台会提供多种多样的搜索方式，有普通的文本搜索，有直接说话查询的语音搜索，还有拍照或者上传图片进行的图片搜索，这在客观上便形成了搜索平台与用户之间多模的交互方式。另外，有些搜索平台是具有场景化搜索特点的，比如一些本地生活类的搜索平台，检索目标通常是各个行业内的店铺，因此，这些本地生活类的搜索平台提供的用于执行搜索的素材是多种多样的，有文本素材（例如店铺名、类目、地址、商品、评价等），有图片素材（例如门头图、环境图、菜品图等），也有视频素材（例如视频相册、店铺探店、达人推荐视频等），这些材料都是异质的，但是目前进行的常用搜索中大多只使用了文本素材，没有利用到其他的搜索链路，大量的图片、视频等素材也没有在搜索的链路中直接使用，这不仅浪费了素材，也限制了搜索的召回能力，因此，本发明提出了一种搜索内容输出方法，将历史样本对象的对象名称以及对象图片这样多模的特征同时进行训练和学习，确定预测文本特征与对象名称的相似度以及预测图片特征与对象图片的相似度符合相似度条件的多个预测样本对象和预测样本对象的相关性标签，并根据获取到的多个样本输入内容对多个预测样本对象进行再次的训练，将多个样本输入内容与多个预测样本对象关联，从而接收用户输入的待搜索内容，在多个预测样本对象中提取关联的样本输入内容与待搜索内容一致的至少一个目标预测样本对象，基于至少一个目标预测样本对象的相关性标签，计算待搜索内容与至少一个目标预测样本对象的至少一个相关性评分，在至少一个目标预测对象中确定相关性评分达到了评分阈值的目标预测对象作为结果内容输出，将对象的文字形式以及图片形式的特征均考虑到相关性的计算过程中，实现各种不同类型搜索素材的完全利用，最大程度上保证为用户提供的搜索服务是最全面最完整的。在本申请中，以上述提及的本地生活类的搜索平台为例进行说明，而在实际应用的过程中，本申请的方法还可以应用于其他各种场景下的搜索平台。

为了实现本申请中的搜索内容输出方法，首先需要准备用于进行特征训练的样本，基于这些样本提供后续进行内容搜索的素材。其中，考虑到用户的行为实际上与用户的兴趣爱好是相关的，基于用户行为获取到的样本与用户的实际爱好很贴近，因此，可以根据用户的历史点击行为采集多个历史样本对象。进一步地，这些历史样本对象中是存在正负样本的区别的，比如在历史的过程中用户搜索内容甲，为用户输出了结果内容A和B，但是用户只触发了内容A，没有触发内容B，则内容A便是正样本，内容B便是负样本，样本的正负与样本是否和搜索内容相关具有直接的联系，因此，采集多个历史样本对象后，为多个历史样本对象设置触发标签，用触发标签来指示历史样本对象在历史点击行为中是否被触发，从而将历史样本对象是否被触发这一情况考虑到后续的相关性计算的过程中。

具体采集多个历史样本对象，为多个历史样本对象设置触发标签的过程如下：首先，在历史操作日志中采集历史点击行为，确定历史点击行为指示的历史搜索内容以及基于历史搜索内容输出的多个历史样本对象。例如，假设历史点击行为指示用户搜索的历史搜索内容为甲，输出的内容为对象A和对象B，则确定的历史搜索内容为甲，多个历史样本对象为A和B。随后，对于多个历史样本对象中每个历史样本对象，查询历史样本对象在基于历史搜索内容输出后是否被触发，也即查询每个历史样本对象是否被用户点击过。若查询确定历史样本对象被触发，则为历史样本对象设置用于指示历史样本对象被触发的触发标签，该历史样本对象也即正样本。若查询确定历史样本对象未被触发，则为历史样本对象设置用于指示历史样本对象未被触发的触发标签，该历史样本对象也即负样本。需要说明的是，实际上可以用数字1来指示历史样本对象被触发，用数字0来指示历史样本对象未被触发，也即为被触发的历史样本对象设置取值为1的触发标签，为未被触发的历史样本对象设置取值为0的触发标签，本申请对如何指示历史样本对象是否被触发不进行具体限定。

202、根据多个历史样本对象的对象名称以及对象图片，确定多个预测样本对象以及多个预测样本对象的相关性标签。

在本申请实施例中，当确定了多个历史样本对象后，开始基于多个历史样本对象的对象名称以及对象图片进行训练，根据多个历史样本对象的对象名称以及对象图片，确定多个预测样本对象以及多个预测样本对象的相关性标签，使得多个预测样本对象的预测文本特征与对象名称的相似度以及预测图片特征与对象图片的相似度符合相似度条件，不仅根据历史样本对象的对象名称和对象图片确定了相似的预测样本对象，而且还能够在后续利用这些预测样本对象的相关性标签确定预测样本对象与一些搜索内容的相关性。

对于多个历史样本对象中每个历史样本对象，可以通过下述步骤一至步骤三中的过程确定预测样本对象并为预测样本对象设置的相关性标签：

步骤一、获取历史样本对象的对象名称以及对象图片。

其中，由于很多用户在搜索平台中想要搜索的是商品，搜索自己喜欢的咖啡、奶茶等等，这些商品不仅有商品的名称，而且也有商品的图片，图片也是需要考虑在搜索的过程中的，因此，需要获取历史样本对象的对象名称以及对象图片，在后续基于对象名称和对象图片确定一些预测样本对象。

步骤二、基于对象名称确定预测文本特征。

其中，基于对象名称实现的是对文本的预测，具体需要基于对象名称确定预测文本特征，进而在后续利用预测文本特征形成预测样本对象。在进行预测文本特征的确定时，首先，按照语义对对象名称进行字符分割，得到至少两个字符组。例如，假设对象名称为“抹茶冰淇淋”，则分割得到的字符组可以是“抹茶”和“冰淇淋”。

随后，在对象名称中将至少两个字符组中的任一字符组隐藏，基于隐藏后的对象名称，确定候选文本特征以及候选文本特征的文本特征概率。也就是说，随机隐藏对象名称中的一个字符组，例如对象名称为“抹茶冰淇淋”，隐藏后的对象名称可为“抹茶”，用隐藏后的对象名称进行预测，获取预测到的文本特征作为候选文本特征并确定该候选文本特征出现的概率作为文本特征概率，具体确定候选文本特征以及候选文本特征的文本特征概率的过程如下：

在当前收录的全部对象中确定多个目标对象，多个目标对象中每个目标对象的目标对象名称中均包括隐藏后的对象名称。例如，假设隐藏后的对象名称为“抹茶”，则多个目标对象可以是抹茶咖啡、抹茶蛋糕、抹茶泡芙。随后，对于多个目标对象中每个目标对象，确定目标对象的目标对象名称与隐藏后的对象名称相比超出的字符，将超出的字符作为待定文本特征。继续以上述例子为例，目标对象“抹茶蛋糕”与隐藏后的对象名称“抹茶”相比超出的字符即为“蛋糕”，将“蛋糕”作为待定文本特征。接下来，统计待定文本特征在多个目标对象的目标对象名称中的出现次数，并统计多个目标对象的对象总数。继续以上述例子为例，可以确定有多少个目标对象的目标对象名称中出现了“蛋糕”，出现的次数也即待定文本特征在多个目标对象的目标对象名称中的出现次数。最后，将出现次数与对象总数的比值作为待定文本特征的第一特征概率，该第一特征概率实际上也就指示了“抹茶”与“蛋糕”之间相关的程度，通过这种预测方式可以增强词语与词语之间的语义关系，明确词语之间的相关性。

通过重复执行上述确定待定文本特征以及对应的第一特征概率的过程，便可以分别为多个目标对象中每个目标对象确定待定文本特征以及第一特征概率，得到多个待定文本特征以及多个第一特征概率。而由于第一特征概率越大表示文本与文本之间的相关性越强，在搜索的过程中越具有参考价值，因此，按照多个第一特征概率从大到小的顺序对多个待定文本特征进行排序，将排在首位的待定文本特征作为候选文本特征，并将排在首位的待定文本特征的第一特征概率作为文本特征概率。也即选取第一特征概率最大的待定文本特征作为候选文本特征，完成本次字符组隐藏后进行的预测。

接下来，在对象名称中依次隐藏至少两个字符组中的每个字符组并确定候选文本特征以及文本特征概率，直至遍历至少两个字符组，得到多个候选文本特征和多个候选文本特征的多个文本特征概率。也就是说，再在对象名称中隐藏其他的某一个字符组，进行上述的预测过程，再得到对应的候选文本特征以及文本特征概率，直至每一个字符组都被隐藏过，这样，便得到了多个候选文本特征和多个候选文本特征的多个文本特征概率。继续以上述对象名称为“抹茶冰淇淋”为例进行说明，上述过程隐藏后的对象名称为“抹茶”，则本次隐藏后的对象名称可为“冰淇淋”。当获取到多个候选文本特征和多个文本特征概率后，在多个文本特征概率中确定目标文本特征概率，将目标文本特征概率对应的候选文本特征作为预测文本特征，该目标文本特征概率大于多个文本特征概率中除目标文本特征概率外的其他文本特征概率，也即目标文本特征概率是多个文本特征概率中最大的一个，也是与对象名称的相关程度较高的一个文本特征。

需要说明的是，实际应用的过程中，为了缩短隐藏字符组进行预测的过程，也可以随机隐藏对象名称中的任一字符组确定文本特征，将确定的文本特征直接作为候选文本特征，而不再进行其他字符组的隐藏操作。本申请对确定隐藏对象名称中字符组的方式不进行具体限定。

步骤三、基于对象图片确定预测图片特征。

其中，基于对象图片实现的是对图片的预测，具体需要基于对象图片确定预测图片特征，进而在后续利用预测图片特征形成预测样本对象。在进行预测图片特征的确定时，首先，将对象图片分割为预设数目的图片区域，具体预设数目可为4，采用十字线将对象图片等分位4个图片区域。而为了实现对图片与图片之间关联性的确定，可基于ResNet（特征提取网络）提取预设数目的图片区域的图片特征，得到预设数目的对象图片特征，该对象图片特征也即每个图片区域的图片表达，实际上是向量形式，便于确定图片与图片之间的关联程度。需要说明的是，确定对象图片特征的过程可以在获取到对象图片时便执行，将确定对象图片特征的操作作为一种对样本数据进行预处理的过程，从而事先将训练过程中需要用到的文字或图片特征提前准备好，缩短对特征进行训练的耗时。

随后，在对象图片中将预设数目的对象图片特征中的任一对象图片特征隐藏，基于隐藏后的对象图片，确定候选图片特征以及候选图片特征的图片特征概率。也就是说，随机隐藏预设数目的对象图片特征中的一个对象图片特征，例如假设对象图片被分为左上、右上、右下、左下4个图片区域，则可将右下图片区域的对象图片特征隐藏，剩下的也即是左上、右上、左下3个图片区域，用这3个图片区域进行预测，获取预测到的图片特征作为候选图片特征并确定该候选图片特征出现的概率作为图片特征概率，具体确定候选图片特征以及候选图片特征的图片特征概率的过程如下：

获取当前收录的全部对象的收录对象图片，将全部对象的收录对象图片分割为预设数目的已收录对象图片区域，得到多个已收录对象图片区域，也就是说将每个收录对象图片都分割为左上、右上、右下、左下4个图片区域，得到多个已收录对象图片区域。随后，确定隐藏后的对象图片中被隐藏的对象图片特征所处的被隐藏图片位置，在多个已收录对象图片区域中提取所处位置与被隐藏图片位置一致的多个待定图片区域。假设对象图片的右下的图片区域被隐藏，则在多个已收录对象图片区域中提取同样处于右下位置的已收录对象图片区域作为多个待定图片区域。之后，由于之前的对象图片特征是基于ResNet提取的，为了便于计算，同样基于ResNet提取多个待定图片区域的图片特征，得到多个待定图片特征。接下来，对于多个待定图片特征中每个待定图片特征，读取待定图片特征的第一图片通道取值，该第一图片通道取值也即该待定图片特征的RGB（Red Green Blue，红绿蓝）通道取值，RGB通道取值表示了该待定图片特征所描绘的内容，同样，为了便于计算，也读取隐藏后的对象图片的对象图片特征的第二图片通道取值，该第二图片通道取值也即隐藏后的对象图片的对象图片特征的RGB通道取值。最后，计算第一图片通道取值与第二图片通道取值的相似度，将相似度作为待定图片特征的第二特征概率。具体地可将第一图片通道取值和第二图片通道取值分别化为两个三维坐标，计算两个三维坐标之间的距离作为相似度，进而确定第二特征概率，或者也可以采用HSV（Hue，Saturation，Value，一种颜色空间）这一规则来计算第一图片通道取值和第二图片通道取值的相似度，本申请对此不进行具体限定。该第二特征概率实际上指示了各个图片区域之间的内容关系，在文本特征学习的基础上，强化了对特征的学习。

通过重复执行上述计算第二特征概率的过程，便分别为多个待定图片特征中每个待定图片特征计算第二特征概率，得到多个第二特征概率。而由于相似度越高的两个图片区域的图片风格更加相近，很有可能是用户感兴趣的风格，在搜索的过程中越具有参考价值，因此，按照多个第二特征概率从大到小的顺序对多个待定图片特征进行排序，将排在首位的待定图片特征作为候选图片特征，并将排在首位的待定图片特征的第二特征概率作为图片特征概率。也即选取第二特征概率最大的待定图片特征作为候选图片特征，完成本次图片区域隐藏后进行的预测。

接下来，在对象图片中依次隐藏预设数目的对象图片特征中每个对象图片特征并确定候选图片特征以及图片特征概率，直至遍历预设数目的对象图片特征，得到多个候选图片特征和多个候选图片特征的多个图片特征概率。也就是说，再在对象图片中隐藏其他图片区域对象图片特征，进行上述的预测过程，再得到对应的候选图片特征以及图片特征概率，直至每一个图片区域的对象图片特征都被隐藏过，这样，便得到了多个候选图片特征和多个候选图片特征的多个图片特征概率。继续以上述将右下图片区域的对象图片特征隐藏为例进行说明，则在下一次的预测过程中，可以隐藏右上图片区域的对象图片特征。当获取到多个候选图片特征以及多个图片特征概率后，在多个图片特征概率中确定目标图片特征概率，将目标图片特征概率对应的候选图片特征作为预测图片特征，该目标图片特征概率大于多个图片特征概率中除目标图片特征概率外的其他图片特征概率，也即目标图片特征概率是多个图片特征概率中最大的一个，也是与对象图片的相关程度较高的一个图片特征。

步骤四、将预测文本特征和预测图片特征作为预测样本对象，按照历史样本对象对应的触发标签，为预测样本对象设置相关性标签。

确定了预测文本特征和预测图片特征后，由于预设文本特征实际上指示了对象的名称，而预测图片特征实际上指示了对象的图片，因此，可将预测文本特征和预测图片特征进行组合作为预测样本对象。

另外，每个历史样本对象都对应有触发标签，用户触发的过程实际上是存在人为主观的判断的，曾经被用户触发过的历史样本对象与用户的历史搜索内容在用户的主观意识上是相关的，进而根据该历史样本对象确定的预测样本对象也可以被认作是相关的，反之则是不相关的。所以，为了将用户在日常过程中的人为主观判断加以利用，在本申请实施例中，按照历史样本对象对应的触发标签，为预测样本对象设置相关性标签，从而体现预测样本对象与历史样本对象之间的相关程度。

具体地，当历史样本对象对应的触发标签指示被触发时，为预测样本对象设置取值为1的相关性标签。当历史样本对象对应的触发标签指示未被触发时，为预测样本对象设置取值为0的相关性标签，后续利用取值不同的相关性标签实现对预测样本对象的相关性计算。

需要说明的是，上述步骤一至步骤四中的过程实际上是一种对模型进行训练的过程，将历史样本对象的对象名称和对象图片输入到模型中进行训练，使文字形式的特征和图片形式的特征能够在同一个空间内进行训练，进而得到用于确定特征之间相关性的模型。具体参见图2B，Title（标题）用于指示对象名称，E1用于指示基于对象名称获取到的文字形式的特征，Image（图片）用于指示对象图片，I1用于指示基于对象图片获取到的图片形式的特征，将多个Title和多个Image分别输入到同一个训练空间中进行训练。分别为文字形式特征的预测和图片形式特征的预测设置任务并执行，SEP（用于分开两个句子的标识）标识用于区分任务，CLS（用于指示句子首位的标识）标识用于指示任务的开始，进而在执行任务后，输出预测的相关特征T1、T2等等。进一步地，考虑到上述是通过相似度计算确定的预测文本特征和预测图片特征，很有可能会发生预测文本特征和预测图片特征并不匹配的情况，例如预测文本特征指示的是商品A，而预测图片特征指示的是商品B，因此，可以设置一些用于校验的校验对象，将校验对象的校验图片或者校验名称输入到该相关性的模型中，获取输出的内容以及对应的相关性标签，判断输出的特征是否与输入的特征匹配，并在确定不匹配时，通过人工手动对相关性标签进行更改校验，将相关性的模型设计为二分类任务的模型，并一定基础上提升了该相关性的模型的准确性。

上述步骤一至步骤四中的内容也即确定与历史样本对象相关的预测样本对象并为预测样本对象设置的相关性标签的过程，重复执行上述步骤一至步骤四中的过程，分别为多个历史样本对象确定预测样本对象并按照触发标签为预测样本对象设置相关性标签，得到多个预测样本对象以及多个预测样本对象中每个预测样本对象的相关性标签，进而在后续按照相关性标签进行预测样本对象与搜索内容之间相关性的计算。

203、获取多个样本输入内容，将多个样本输入内容与多个预测样本对象关联。

在本申请实施例中，上述过程中确定的多个预测样本对象由于是基于特征之间的相关性确定的，将文本特征和图片特征之间的相关性采用标签的形式表现出来。但是在实际应用的过程中，通常用户是会输入一个搜索内容，进而才会为用户展示相关的商品的，因此，需要进一步确定对象与输入的搜索内容之间的相关性，将输入内容和样本对象关联起来。所以，在本申请实施例中，获取多个样本输入内容，将多个样本输入内容与多个预测样本对象关联，实现对多个预测样本对象的继续训练。其中，后续的任务涉及到相关性的计算任务，需要采用高质量的样本进行训练，保证指示内容与对象之间相关程度的相关性标签的准确性，因此，该样本输入内容实际上源于人工标注，量级通常为40万，具体可以是搜索平台中已经收录的对象的对象信息由人工标注后产生的，或者也可以包括与搜索平台之间具有交互关系的第三方平台中收录对象的对象信息，以便提升后续计算任务的准确性，本申请对样本输入内容的来源以及数量不进行具体限定。而这些人工标注的样本输入内容已经将输入内容、对象名称以及对象图片进行关联，且是准确的关联，所以，可以采用获取多个样本输入内容对多个预测样本对象进行训练，将多个样本输入内容与多个预测样本对象关联，保证为每个预测样本对象关联较为准确的输入内容。具体的训练过程参见图2C，Query（查询）用于指示样本输入内容，与图2B相比增加了样本输入内容，在第一个CLS之后的E1等也即是基于样本输入内容确定的文字形式的特征，将样本输入内容的特征与文字以及图片形式的特征在同一个空间中训练，从而将样本输入内容与特征相关联，进而在后续可以直接基于训练得到的模型进行相关性评分的输出。

具体地，在将多个样本输入内容与多个预测样本对象关联时，首先，获取多个样本输入内容，确定多个样本输入内容中每个样本输入内容对应的对象特征。随后，对于多个样本输入内容中每个样本输入内容，基于样本输入内容对应的目标对象特征，对多个预测样本对象进行训练，获取训练后输出的目标预测样本对象，目标预测样本对象中存在与目标对象特征匹配的预测文本特征或预测图片特征，将样本输入内容与目标预测样本对象关联。后续分别为多个样本输入内容中每个样本输入内容确定目标预测样本对象进行关联，将多个样本输入内容与多个预测样本对象关联。也即根据每个样本输入内容已经关联的准确的对象特征对多个预测样本对象进行训练，在多个预测样本对象中确定与已经关联的准确的对象特征匹配的预测样本对象，从而将样本输入内容和相应的预测样本对象进行关联。

这样，通过上述步骤201至步骤203中的过程，便完成了搜索的输入内容、对象以及特征之间相关程度的确定，后续在接收到用户输入的待搜索内容时，可直接根据待搜索内容确定相关的对象展示给用户参考。

204、接收用户输入的待搜索内容，在多个预测样本对象中提取至少一个目标预测样本对象。

在本申请实施例中，由于在步骤203中已经将样本输入内容和预测样本对象相关联，因此，在接收到用户输入的待搜索内容后，可以直接在多个预测样本对象中提取至少一个目标预测样本对象，提取的至少一个目标预测样本对象关联的样本输入内容与待搜索内容一致，这些目标预测样本对象也即初步确定的与待搜索内容相关的对象。

205、基于至少一个目标预测样本对象的相关性标签，计算待搜索内容与至少一个目标预测样本对象的至少一个相关性评分。

在本申请实施例中，由于之前为每个预测样本对象都设置了相关性标签，即使根据待搜索内容确定了至少一个目标预测样本对象，但是每个目标预测样本对象与待搜索内容之间的相关程度都是不同的，因此，本申请实施例中，基于至少一个目标预测样本对象的相关性标签，计算待搜索内容与至少一个目标预测样本对象的至少一个相关性评分，该相关性评分指示了目标预测样本对象与待搜索内容之间相关的程度，从而在后续可以按照相关性评分有选择的向用户输出结果内容。

具体地，在计算相关性评分时，以至少一个目标预测样本对象中的某一个目标预测样本对象为例进行说明：对于至少一个目标预测样本对象中的每个目标预测样本对象，获取目标预测样本对象的多个候选相关性标签。能够获取到多个候选相关性标签的原因在于目标预测样本对象在历史的训练过程中可能会被多个不同的历史样本对象预测到，可能会打上不同的相关性标签，因此，可能会获取到目标预测样本对象的多个候选相关性标签。随后，在多个候选相关性标签中确定与待搜索内容相关的至少一个目标相关性标签，统计至少一个目标相关性标签的第一标签总数。也即在获取到的候选相关性标签中确定与当前的待搜索内容相关的目标相关性标签，这些目标相关性标签在对待搜索内容的研究中是具有研究意义的相关性标签。接下来。读取至少一个目标相关性标签的取值，统计取值为1的目标相关性标签的第二标签总数，并计算第二标签总数与第一标签总数的比值作为目标预测样本对象的相关性评分。也即考虑到取值为1的目标相关性标签指示了目标预测样本对象与待搜索内容是相关的，取值为1的目标相关性标签越多表示目标预测样本对象与待搜索内容的相关程度越强，因此，将取值为1的目标相关性标签在全部目标相关性标签中的占比情况作为对目标预测样本对象的相关性评分可以指示该目标预测样本对象与待搜索内容之间的相关程度。

通过重复执行上述计算相关性评分的过程，分别为至少一个目标预测样本对象中每个目标预测样本对象计算相关性评分，便得到至少一个相关性评分。需要说明的是，可直接将待搜索内容输入至图2C所示的模型中，使得与该待搜索内容相关的对象可以直接输出，同时还输出了每个对象的相关性评分。

206、在至少一个目标预测对象中确定结果内容，将结果内容输出。

在本申请实施例中，考虑到用户进行搜索时向用户大量的输入搜索到的对象可能会给用户造成困扰，因此，需要选择性的向用户输出结果内容。而由于相关性评分越高表示该目标预测对象与待搜索内容之间的相关程度越强，因此，本申请实施例中设置有评分阈值，在至少一个目标预测对象中确定结果内容，使结果内容中包括相关性评分大于评分阈值的目标预测对象，并将结果内容输出。其中，该评分阈值可以设置为0.5，也即相关性评分大于0.5的目标预测对象可以作为结果内容，而相关性评分小于等于0.5的目标预测对象直接忽略，在保证输出的结果内容与待搜索内容强相关的同时，还能显示输出的结果内容包括的数据量。

本申请实施例提供的方法，将历史样本对象的对象名称以及对象图片这样多模的特征同时进行训练和学习，确定预测文本特征与对象名称的相似度以及预测图片特征与对象图片的相似度符合相似度条件的多个预测样本对象和预测样本对象的相关性标签，并根据获取到的多个样本输入内容对多个预测样本对象进行再次的训练，将多个样本输入内容与多个预测样本对象关联，从而接收用户输入的待搜索内容，在多个预测样本对象中提取关联的样本输入内容与待搜索内容一致的至少一个目标预测样本对象，基于至少一个目标预测样本对象的相关性标签，计算待搜索内容与至少一个目标预测样本对象的至少一个相关性评分，在至少一个目标预测对象中确定相关性评分达到了评分阈值的目标预测对象作为结果内容输出，将对象的文字形式以及图片形式的特征均考虑到相关性的计算过程中，实现各种不同类型搜索素材的完全利用，最大程度上保证为用户提供的搜索服务是最全面最完整的。

进一步地，作为图1所述方法的具体实现，本申请实施例提供了一种搜索内容输出装置，如图3A所示，所述装置包括：确定模块301，关联模块302，提取模块303，计算模块304和输出模块305。

该确定模块301，用于根据多个历史样本对象的对象名称以及对象图片，确定多个预测样本对象以及所述多个预测样本对象的相关性标签，所述历史样本对象是基于用户的历史点击行为获取的，所述多个预测样本对象的预测文本特征与所述对象名称的相似度以及预测图片特征与所述对象图片的相似度符合相似度条件；

该关联模块302，用于获取多个样本输入内容，将所述多个样本输入内容与所述多个预测样本对象关联；

该提取模块303，用于接收所述用户输入的待搜索内容，在所述多个预测样本对象中提取至少一个目标预测样本对象，所述至少一个目标预测样本对象关联的样本输入内容与所述待搜索内容一致；

该计算模块304，用于基于所述至少一个目标预测样本对象的相关性标签，计算所述待搜索内容与所述至少一个目标预测样本对象的至少一个相关性评分；

该输出模块305，用于在所述至少一个目标预测对象中确定结果内容，将所述结果内容输出，所述结果内容包括相关性评分大于评分阈值的目标预测对象。

在具体的应用场景中，如图3B所示，该装置还包括：采集模块306，查询模块307和设置模块308。

该采集模块306，用于在历史操作日志中采集所述历史点击行为，确定所述历史点击行为指示的历史搜索内容以及基于所述历史搜索内容输出的所述多个历史样本对象；

该查询模块307，用于对于所述多个历史样本对象中每个历史样本对象，查询所述历史样本对象在基于所述历史搜索内容输出后是否被触发；

该设置模块308，用于若查询确定所述历史样本对象被触发，则为所述历史样本对象设置用于指示所述历史样本对象被触发的触发标签；

该设置模块308，还用于若查询确定所述历史样本对象未被触发，则为所述历史样本对象设置用于指示所述历史样本对象未被触发的触发标签。

在具体的应用场景中，该确定模块301，用于对于所述多个历史样本对象中每个历史样本对象，获取所述历史样本对象的对象名称以及对象图片；基于所述对象名称确定所述预测文本特征，基于所述对象图片确定所述预测图片特征，将所述预测文本特征和所述预测图片特征作为所述预测样本对象；按照所述历史样本对象对应的触发标签，为所述预测样本对象设置所述相关性标签，所述触发标签指示了所述历史样本对象在所述历史点击行为中是否被触发；分别为所述多个历史样本对象确定预测样本对象并按照触发标签为所述预测样本对象设置所述相关性标签，得到所述多个预测样本对象以及所述多个预测样本对象中每个预测样本对象的相关性标签。

在具体的应用场景中，该确定模块301，用于按照语义对所述对象名称进行字符分割，得到至少两个字符组；在所述对象名称中将所述至少两个字符组中的任一字符组隐藏，基于隐藏后的所述对象名称，确定候选文本特征以及所述候选文本特征的文本特征概率；在所述对象名称中依次隐藏所述至少两个字符组中的每个字符组并确定候选文本特征以及文本特征概率，直至遍历所述至少两个字符组，得到多个候选文本特征和所述多个候选文本特征的多个文本特征概率；在所述多个文本特征概率中确定目标文本特征概率，将所述目标文本特征概率对应的候选文本特征作为所述预测文本特征，所述目标文本特征概率大于所述多个文本特征概率中除所述目标文本特征概率外的其他文本特征概率。

在具体的应用场景中，该确定模块301，用于在当前收录的全部对象中确定多个目标对象，所述多个目标对象中每个目标对象的目标对象名称中均包括隐藏后的所述对象名称；对于所述多个目标对象中每个目标对象，确定所述目标对象的目标对象名称与隐藏后的所述对象名称相比超出的字符，将所述超出的字符作为所述待定文本特征；统计所述待定文本特征在所述多个目标对象的目标对象名称中的出现次数，并统计所述多个目标对象的对象总数；将所述出现次数与所述对象总数的比值作为所述待定文本特征的第一特征概率；分别为所述多个目标对象中每个目标对象确定待定文本特征以及第一特征概率，得到多个待定文本特征以及多个第一特征概率；按照所述多个第一特征概率从大到小的顺序对所述多个待定文本特征进行排序，将排在首位的待定文本特征作为所述候选文本特征，并将所述排在首位的待定文本特征的第一特征概率作为所述文本特征概率。

在具体的应用场景中，该确定模块301，用于将所述对象图片分割为预设数目的图片区域；基于特征提取网络ResNet提取所述预设数目的图片区域的图片特征，得到所述预设数目的对象图片特征；在所述对象图片中将所述预设数目的对象图片特征中的任一对象图片特征隐藏，基于隐藏后的所述对象图片，确定候选图片特征以及所述候选图片特征的图片特征概率；在所述对象图片中依次隐藏所述预设数目的对象图片特征中每个对象图片特征并确定候选图片特征以及图片特征概率，直至遍历所述预设数目的对象图片特征，得到多个候选图片特征和所述多个候选图片特征的多个图片特征概率；在所述多个图片特征概率中确定目标图片特征概率，将所述目标图片特征概率对应的候选图片特征作为预测图片特征，所述目标图片特征概率大于所述多个图片特征概率中除所述目标图片特征概率外的其他图片特征概率。

在具体的应用场景中，该确定模块301，用于获取当前收录的全部对象的收录对象图片，将所述全部对象的收录对象图片分割为所述预设数目的已收录对象图片区域，得到多个已收录对象图片区域；确定隐藏后的所述对象图片中被隐藏的对象图片特征所处的被隐藏图片位置，在所述多个已收录对象图片区域中提取所处位置与所述被隐藏图片位置一致的多个待定图片区域；基于所述ResNet提取所述多个待定图片区域的图片特征，得到多个待定图片特征；对于所述多个待定图片特征中每个待定图片特征，读取所述待定图片特征的第一图片通道取值；读取所述隐藏后的所述对象图片的对象图片特征的第二图片通道取值；计算所述第一图片通道取值与所述第二图片通道取值的相似度，将所述相似度作为所述待定图片特征的第二特征概率；分别为所述多个待定图片特征中每个待定图片特征计算第二特征概率，得到多个第二特征概率；按照所述多个第二特征概率从大到小的顺序对所述多个待定图片特征进行排序，将排在首位的待定图片特征作为候选图片特征，并将所述排在首位的待定图片特征的第二特征概率作为所述图片特征概率。

在具体的应用场景中，该确定模块301，用于当所述历史样本对象对应的触发标签指示被触发时，为所述预测样本对象设置取值为1的所述相关性标签；当所述历史样本对象对应的触发标签指示未被触发时，为所述预测样本对象设置取值为0的所述相关性标签。

在具体的应用场景中，该关联模块302，用于获取所述多个样本输入内容，确定所述多个样本输入内容中每个样本输入内容对应的对象特征；对于所述多个样本输入内容中每个样本输入内容，基于所述样本输入内容对应的目标对象特征，对所述多个预测样本对象进行训练，获取训练后输出的目标预测样本对象，所述目标预测样本对象中存在与所述目标对象特征匹配的预测文本特征或预测图片特征；将所述样本输入内容与所述目标预测样本对象关联；分别为所述多个样本输入内容中每个样本输入内容确定目标预测样本对象进行关联，将所述多个样本输入内容与所述多个预测样本对象关联。

在具体的应用场景中，该计算模块304，用于对于所述至少一个目标预测样本对象中的每个目标预测样本对象，获取所述目标预测样本对象的多个候选相关性标签；在所述多个候选相关性标签中确定与所述待搜索内容相关的至少一个目标相关性标签，统计所述至少一个目标相关性标签的第一标签总数；读取所述至少一个目标相关性标签的取值，统计取值为1的目标相关性标签的第二标签总数；计算所述第二标签总数与所述第一标签总数的比值作为所述目标预测样本对象的相关性评分；分别为所述至少一个目标预测样本对象中每个目标预测样本对象计算相关性评分，得到所述至少一个相关性评分。

本申请实施例提供的装置，将历史样本对象的对象名称以及对象图片这样多模的特征同时进行训练和学习，确定预测文本特征与对象名称的相似度以及预测图片特征与对象图片的相似度符合相似度条件的多个预测样本对象和预测样本对象的相关性标签，并根据获取到的多个样本输入内容对多个预测样本对象进行再次的训练，将多个样本输入内容与多个预测样本对象关联，从而接收用户输入的待搜索内容，在多个预测样本对象中提取关联的样本输入内容与待搜索内容一致的至少一个目标预测样本对象，基于至少一个目标预测样本对象的相关性标签，计算待搜索内容与至少一个目标预测样本对象的至少一个相关性评分，在至少一个目标预测对象中确定相关性评分达到了评分阈值的目标预测对象作为结果内容输出，将对象的文字形式以及图片形式的特征均考虑到相关性的计算过程中，实现各种不同类型搜索素材的完全利用，最大程度上保证为用户提供的搜索服务是最全面最完整的。

需要说明的是，本申请实施例提供的一种搜索内容输出装置所涉及各功能单元的其他相应描述，可以参考图1和图2A中的对应描述，在此不再赘述。

在示例性实施例中，参见图4，还提供了一种设备，该设备包括通信总线、处理器、存储器和通信接口，还可以包括、输入输出接口和显示设备，其中，各个功能单元之间可以通过总线完成相互间的通信。该存储器存储有计算机程序，处理器，用于执行存储器上所存放的程序，执行上述实施例中的搜索内容输出方法。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的搜索内容输出方法的步骤。通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本申请可以通过硬件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质（可以是CD-ROM，U盘，移动硬盘等）中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施场景所述的方法。本领域技术人员可以理解附图只是一个优选实施场景的示意图，附图中的模块或流程并不一定是实施本申请所必须的。本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进行分布于实施场景的装置中，也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块，也可以进一步拆分成多个子模块。上述本申请序号仅仅为了描述，不代表实施场景的优劣。以上公开的仅为本申请的几个具体实施场景，但是，本申请并非局限于此，任何本领域的技术人员能思之的变化都应落入本申请的保护范围。

Claims (10)

1.一种搜索内容输出方法，其特征在于，包括：

根据多个历史样本对象的对象名称以及对象图片，确定多个预测样本对象以及所述多个预测样本对象的相关性标签，所述历史样本对象是基于用户的历史点击行为获取的，所述多个预测样本对象的预测文本特征与所述对象名称的相似度以及预测图片特征与所述对象图片的相似度符合相似度条件；

获取多个样本输入内容，将所述多个样本输入内容与所述多个预测样本对象关联；

接收所述用户输入的待搜索内容，在所述多个预测样本对象中提取至少一个目标预测样本对象，所述至少一个目标预测样本对象关联的样本输入内容与所述待搜索内容一致；

基于所述至少一个目标预测样本对象的相关性标签，计算所述待搜索内容与所述至少一个目标预测样本对象的至少一个相关性评分，所述相关性评分通过计算所述目标预测样本对象与所述待搜索内容相关的至少一个目标相关性标签中取值为1的目标相关性标签的第二标签总数与所述至少一个目标相关性标签的第一标签总数的比值得出；

在所述至少一个目标预测对象中确定结果内容，将所述结果内容输出，所述结果内容包括相关性评分大于评分阈值的目标预测对象。

2.根据权利要求1所述的方法，其特征在于，所述根据多个历史样本对象的对象名称以及对象图片，确定多个预测样本对象以及所述多个预测样本对象的相关性标签之前，所述方法还包括：

在历史操作日志中采集所述历史点击行为，确定所述历史点击行为指示的历史搜索内容以及基于所述历史搜索内容输出的所述多个历史样本对象；

对于所述多个历史样本对象中每个历史样本对象，查询所述历史样本对象在基于所述历史搜索内容输出后是否被触发；

若查询确定所述历史样本对象被触发，则为所述历史样本对象设置用于指示所述历史样本对象被触发的触发标签；

若查询确定所述历史样本对象未被触发，则为所述历史样本对象设置用于指示所述历史样本对象未被触发的触发标签。

3.根据权利要求1所述的方法，其特征在于，所述根据多个历史样本对象的对象名称以及对象图片，确定多个预测样本对象以及所述多个预测样本对象的相关性标签，包括：

对于所述多个历史样本对象中每个历史样本对象，获取所述历史样本对象的对象名称以及对象图片；

基于所述对象名称确定所述预测文本特征，基于所述对象图片确定所述预测图片特征，将所述预测文本特征和所述预测图片特征作为所述预测样本对象；

按照所述历史样本对象对应的触发标签，为所述预测样本对象设置所述相关性标签，所述触发标签指示了所述历史样本对象在所述历史点击行为中是否被触发；

分别为所述多个历史样本对象确定预测样本对象并按照触发标签为所述预测样本对象设置所述相关性标签，得到所述多个预测样本对象以及所述多个预测样本对象中每个预测样本对象的相关性标签。

4.根据权利要求3所述的方法，其特征在于，所述基于所述对象名称确定所述预测文本特征，包括：

按照语义对所述对象名称进行字符分割，得到至少两个字符组；

在所述对象名称中将所述至少两个字符组中的任一字符组隐藏，基于隐藏后的所述对象名称，确定候选文本特征以及所述候选文本特征的文本特征概率；

在所述对象名称中依次隐藏所述至少两个字符组中的每个字符组并确定候选文本特征以及文本特征概率，直至遍历所述至少两个字符组，得到多个候选文本特征和所述多个候选文本特征的多个文本特征概率；

在所述多个文本特征概率中确定目标文本特征概率，将所述目标文本特征概率对应的候选文本特征作为所述预测文本特征，所述目标文本特征概率大于所述多个文本特征概率中除所述目标文本特征概率外的其他文本特征概率。

5.根据权利要求3所述的方法，其特征在于，所述基于所述对象图片确定所述预测图片特征，包括：

将所述对象图片分割为预设数目的图片区域；

基于特征提取网络ResNet提取所述预设数目的图片区域的图片特征，得到所述预设数目的对象图片特征；

在所述对象图片中将所述预设数目的对象图片特征中的任一对象图片特征隐藏，基于隐藏后的所述对象图片，确定候选图片特征以及所述候选图片特征的图片特征概率；

在所述对象图片中依次隐藏所述预设数目的对象图片特征中每个对象图片特征并确定候选图片特征以及图片特征概率，直至遍历所述预设数目的对象图片特征，得到多个候选图片特征和所述多个候选图片特征的多个图片特征概率；

在所述多个图片特征概率中确定目标图片特征概率，将所述目标图片特征概率对应的候选图片特征作为预测图片特征，所述目标图片特征概率大于所述多个图片特征概率中除所述目标图片特征概率外的其他图片特征概率。

6.根据权利要求1所述的方法，其特征在于，所述获取多个样本输入内容，将所述多个样本输入内容与所述多个预测样本对象关联，包括：

获取所述多个样本输入内容，确定所述多个样本输入内容中每个样本输入内容对应的对象特征；

对于所述多个样本输入内容中每个样本输入内容，基于所述样本输入内容对应的目标对象特征，对所述多个预测样本对象进行训练，获取训练后输出的目标预测样本对象，所述目标预测样本对象中存在与所述目标对象特征匹配的预测文本特征或预测图片特征；

将所述样本输入内容与所述目标预测样本对象关联；

分别为所述多个样本输入内容中每个样本输入内容确定目标预测样本对象进行关联，将所述多个样本输入内容与所述多个预测样本对象关联。

7.根据权利要求1所述的方法，其特征在于，所述基于所述至少一个目标预测样本对象的相关性标签，计算所述待搜索内容与所述至少一个目标预测样本对象的至少一个相关性评分，包括：

对于所述至少一个目标预测样本对象中的每个目标预测样本对象，获取所述目标预测样本对象的多个候选相关性标签；

在所述多个候选相关性标签中确定与所述待搜索内容相关的至少一个目标相关性标签，统计所述至少一个目标相关性标签的第一标签总数；

读取所述至少一个目标相关性标签的取值，统计取值为1的目标相关性标签的第二标签总数；

计算所述第二标签总数与所述第一标签总数的比值作为所述目标预测样本对象的相关性评分；

分别为所述至少一个目标预测样本对象中每个目标预测样本对象计算相关性评分，得到所述至少一个相关性评分。

8.一种搜索内容输出装置，其特征在于，包括：

确定模块，用于根据多个历史样本对象的对象名称以及对象图片，确定多个预测样本对象以及所述多个预测样本对象的相关性标签，所述历史样本对象是基于用户的历史点击行为获取的，所述多个预测样本对象的预测文本特征与所述对象名称的相似度以及预测图片特征与所述对象图片的相似度符合相似度条件；

关联模块，用于获取多个样本输入内容，将所述多个样本输入内容与所述多个预测样本对象关联；

提取模块，用于接收所述用户输入的待搜索内容，在所述多个预测样本对象中提取至少一个目标预测样本对象，所述至少一个目标预测样本对象关联的样本输入内容与所述待搜索内容一致；

计算模块，用于基于所述至少一个目标预测样本对象的相关性标签，计算所述待搜索内容与所述至少一个目标预测样本对象的至少一个相关性评分，所述相关性评分通过计算所述目标预测样本对象与所述待搜索内容相关的至少一个目标相关性标签中取值为1的目标相关性标签的第二标签总数与所述至少一个目标相关性标签的第一标签总数的比值得出；

输出模块，用于在所述至少一个目标预测对象中确定结果内容，将所述结果内容输出，所述结果内容包括相关性评分大于评分阈值的目标预测对象。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。

10.一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

Images