CN112115293A - 内容推荐方法及内容推荐装置 - Google Patents

Abstract

提供一种内容推荐方法及内容推荐装置。所述内容推荐方法包括：检测到用户对图片执行预定操作；提取所述图片的内容信息；基于所述图片的内容信息，结合对用户意图的判断，确定与所述图片的内容信息相应的推荐内容；呈现所述推荐内容。根据所述内容推荐方法及装置，能够根据图片的内容信息以及用户的意图向用户推荐与图片相应的推荐内容，提升了用户体验。此外，可基于人工智能模型来执行上述确定与所述图片的内容信息相应的推荐内容的处理。

Description

内容推荐方法及内容推荐装置

技术领域

本发明总体说来涉及电子技术应用领域，更具体地讲，涉及一种内容推荐方法及内容推荐装置。

背景技术

目前，关于图片内容的推荐方法，主要是针对购物等单一的应用场景。用户选择图片的特定区域，向用户推荐与该特定区域相关的购物应用以及其对应的购物链接等，并不能识别用户的真实意图。但通常用户希望得到的不仅仅是购物方面的推荐内容，他们在选择图片的特定区域时，可能想得到更多/更符合用户习惯的推荐内容，让他们有更多/更好的选择。

现有的关于图片内容的推荐方法仅根据用户选择的图片中的特定区域向用户推荐购物信息，并未很好地考虑图片的上下文信息和用户的意图且推荐的内容不准确、不全面，不能满足用户的需求。

发明内容

本发明的示例性实施例在于提供一种内容推荐方法及内容推荐装置，其能够根据图片的内容信息、图片的上下文信息和用户意图向用户推荐与图片的内容信息相应的推荐内容，减少了用户搜索的时间，为用户的生活提供了便利。

根据本发明的示例性实施例，提供一种内容推荐方法及内容推荐装置。所述方法包括：检测到用户对图片执行预定操作；提取所述图片的内容信息；基于所述图片的内容信息，结合对用户意图的判断，确定与所述图片的内容信息相应的推荐内容；呈现所述推荐内容。

可选地，所述内容推荐方法基于所述图片的上下文信息和/或用户画像数据判断用户意图。

可选地，所述图片的内容信息包括与所述图片的至少一部分相关的信息。

可选地，所述图片的上下文信息包括所述图片所在页面中位于所述图片前后的页面内容信息，和/或在先预定时间内的用户操作信息。

可选地，基于所述图片的内容信息，结合对用户意图的判断，确定与所述图片的内容信息相应的推荐内容包括：根据预先确定的规则向用户推荐与所述图片的内容信息相应的推荐内容或者使用机器学习模型向用户推荐与所述图片的内容信息相应的推荐内容。

可选地，根据预先确定的规则向用户推荐与所述图片的内容信息相应的推荐内容包括：基于所述图片的内容信息确定与所述图片的内容信息相应的服务；基于用户意图确定所述服务的优先级并向用户推荐具有高于阈值的优先级的至少一个服务，作为与所述图片的内容信息相应的推荐内容，其中，基于用户意图确定所述服务的优先级包括：根据所述图片的上下文信息和/或用户画像数据确定所述服务的优先级。

可选地，使用机器学习模型向用户推荐与所述图片的内容信息相应的推荐内容包括：使用机器学习模型针对所述图片的内容信息、结合所述图片的上下文信息和/或用户画像数据执行预测来向用户推荐与所述图片的内容信息相应的推荐内容，其中，所述机器学习模型被预先训练为基于图片的内容信息、结合图片的上下文信息和/或用户画像数据提供关于与图片的内容信息相应的预测结果。

可选地，所述方法还包括：通过反馈界面接收用户对所述推荐内容的反馈，并将用户反馈的结果作为训练样本数据之一；对机器学习模型进行更新训练；使用更新后的机器学习模型向用户推荐与所述图片的内容信息相应的推荐内容。

可选地，所述用户画像数据基于以下信息获得：用户频繁使用的至少一个应用的类型，及在其上进行的操作记录。

根据本发明的示例性实施例，提供一种内容推荐装置，包括：检测模块，检测到用户对图片执行预定操作；内容提取模块，提取所述图片的内容信息；推荐内容确定模块，基于所述图片的内容信息，结合对用户意图的判断，确定与所述图片的内容信息相应的推荐内容；显示模块，呈现所述推荐内容。

可选地，推荐内容确定模块被配置为基于所述图片的上下文信息和/或用户画像数据判断用户意图。

可选地，所述图片的内容信息包括与所述图片的至少一部分相关的信息。

可选地，所述图片的上下文信息包括所述图片所在页面中位于所述图片前后的页面内容信息，和/或在先预定时间内的用户操作信息。

可选地，推荐内容确定模块被配置为：根据预先确定的规则向用户推荐与所述图片的内容信息相应的推荐内容或者使用机器学习模型向用户推荐与所述图片的内容信息相应的推荐内容。

可选地，推荐内容确定模块还被配置为：基于所述图片的内容信息确定与所述图片的内容信息相应的服务；基于用户意图确定所述服务的优先级并向用户推荐具有高于阈值的优先级的至少一个服务，作为与所述图片的内容信息相应的推荐内容，其中，基于用户意图确定所述服务的优先级包括：根据所述图片的上下文信息和/或用户画像数据确定所述服务的优先级。

可选地，推荐内容确定模块还被配置为：使用机器学习模型针对所述图片的内容信息、结合所述图片的上下文信息和/或用户画像数据执行预测来向用户推荐与所述图片的内容信息相应的推荐内容，其中，所述机器学习模型被预先训练为基于图片的内容信息、结合图片的上下文信息和/或用户画像数据提供关于与图片的内容信息相应的预测结果。

可选地，所述装置还包括：反馈模块，通过反馈界面接收用户对所述推荐内容的反馈，并将用户反馈的结果作为训练样本数据之一；推荐内容确定模块对机器学习模型进行更新训练，并且使用更新后的机器学习模型向用户推荐与所述图片的内容信息相应的推荐内容。

可选地，所述用户画像数据基于以下信息获得：用户频繁使用的至少一个应用的类型，及在其上进行的操作记录。

根据本发明的另一示例性实施例，提供一种存储指令的计算机可读存储介质，其中，当所述指令被至少一个计算装置运行时，促使所述至少一个计算装置执行如上所述的内容推荐方法。

根据本发明的另一示例性实施例，提供一种计算装置，包括：处理器；存储器，存储有计算机程序，当所述计算机程序被处理器执行时，实现如上所述的内容推荐方法。

在根据本发明的示例性实施例的内容推荐方法及内容推荐装置中，可基于图片内容、上下文信息和用户画像数据来向用户推荐与图片的内容信息相应的推荐内容，当用户点击不同的区域时，根据不同的物体类别，推荐不同的应用程序，以适应各种应用场景。

附加的方面将在下面的描述中部分地阐述，并且部分地，将通过描述而清楚，或者可通过本发明的实施例的实践来获知。

附图说明

根据以下结合附图进行的详细描述，本发明的特定实施例的以上和其它方面、特征和优点将更加明显，其中：

图1示出根据本发明的示例性实施例的内容推荐方法的流程图；

图2示出根据本发明的示例性实施例的图像语义分割的结果的示意图；

图3示出根据本发明的示例性实施例的根据用户平日的使用习惯向用户推荐内容的示例的示图；

图4示出根据本发明的示例性实施例的反馈界面的示例的示图；

图5示出根据本发明的示例性实施例的内容推荐方法的示例的示图；

图6示出根据本发明的示例性实施例的内容推荐装置的框图。

具体实施方式

在下文中，将参照附图详细描述本发明。在描述本发明时，当确定现有技术或配置的详细描述可能不必要地模糊本发明的主旨时，省略该详细描述。此外，下面的实施例能够以各种不同的形式被修改，并且本发明的技术构思的范围不限于下面的实施例。提供这样的实施例以完成本发明并且将本发明的技术构思完整地传达给本领域技术人员。

本文使用的包括描述性术语或技术术语的所有术语应被解释为具有本领域普通技术人员所理解的含义。然而，根据本领域普通技术人员的意图、先例或新技术的出现，这些术语可以具有不同的含义。此外，一些术语可以由申请人选择，并且在这种情况下，选择的术语的含义将在实施例的详细说明中被详细描述。因此，本文使用的术语必须基于术语的含义连同整个说明书中的描述被定义。

此外，当部件“包括”或“包含”元件时，除非存在与其相反的特定描述，否则该部件还可以包括其他元件，而不排除其他元件。在下面的描述中，诸如“单元”和“模块”的术语指示用于处理至少一个功能或操作的单元，其中，单元和模块可被实施为硬件或软件或者通过将硬件和软件进行组合而被实施。

现在将参照附图更全面地描述实施例。然而，实施例可以以许多不同的形式被实施，并且不应被解释为限于本文阐述的实施例。相反，提供这些实施例使得本发明将是彻底和完整的，并且将向本领域普通技术人员充分地传达实施例的构思。在下面的描述中，不详细描述公知的功能或结构，因为它们将以不必要的细节来模糊实施例，并且在整个说明书中，附图中相同的参考标号表示相同或相似的元件。如本文使用的，术语“和/或”包括相关联的列出项中的一个或更多个的任意组合和所有组合。诸如“……中的至少一个”的表述在元件列表之后时修饰整个元件列表，而不修饰列表的单个元件。

图1示出根据本发明的示例性实施例的推荐内容的方法的流程图。所述方法可通过计算机程序来实现。例如，所述方法可通过安装在电子装置中的应用来执行。作为示例，所述电子装置可以是移动通信终端(例如，智能手机)、多媒体播放装置、智能可穿戴设备(例如，智能手表)等能够向用户推荐内容的电子装置。

参照图1，在步骤S101，检测到用户对图片执行预定操作。具体地，记录用户的操作信息，例如，监测用户手机各个时刻的状态和应用使用情况，当用户长按特定图片，把用户前一分钟的操作当作上下文信息记录下来，记录图片的长按区域的位置。这里的图片可以是图片库中的图片、网页中的图片、应用界面中的图片等，例如，用户可对聊天界面中的图片执行预定操作。所述预定操作可以是触摸、点击、双击、按压等操作。用户对图片执行预定操作可以是针对图片的一部分区域的预定操作，例如，用户可双击图片中的对象“汽车”。根据本发明的实施例，可通过传感器模块(诸如，例如，触摸传感器、压力传感器等)检测用户对图片或图片的特定区域的预定操作。

在步骤S102，提取图片的内容信息。根据本发明的示例性实施例，图片的内容信息可包括图片的主题、图片中的对象、图片的位置等，但不限于此。例如，图片中的汽车的型号属于图片的内容信息。根据本发明的示例性实施例，图片的内容信息包括与图片的至少一部分相关的信息，具体地，当用户选择包括在图片中的特定区域时，特定区域中的内容信息即为图片的内容信息。例如，当用户选择图片中的对象“狗”时，关于对象“狗”的信息(例如，狗的外貌、颜色、品种等)即为图片的内容信息。图片的内容信息也可以是整个图片的内容信息，例如，当图片是风景图片时，该风景图片作为一个整体表示的整体景观即为图片的内容信息。

图像语义分割是一种精细的图像处理任务，主要是把图片里面的每一个像素都进行分类。目前比较常用的分割模型包括：全卷积网络(Fully Convolutional Network(FCN))、金字塔场景分析网络(Pyramid Scene Parsing Network(PSPNet))以及掩码区域卷积网络(Mask Region-Convolutional Neural Network(Mask R-CNN))。

作为示例，可通过图像语义分割技术将图片分为不同的区域，不同区域相应于不同类别，而各个类别分别与相应的应用相应。图2示出根据本发明的示例性实施例的图像语义分割的结果的示意图。

参照图2，不同颜色表示分割的不同区域。可根据图像语义分割的结果和用户长按区域的位置，确定与对应区域相应的类别。参照下面的表1，例如，天空相应于天气软件，高山、大海、海滩相应于旅游软件、地图软件，建筑物、寺庙、旅游景区相应于搜索百科软件、旅游软件、地图软件、交通软件，动物、植物相应于搜索百科软件、动漫图标软件，公交车、地铁相应于交通软件、地图软件，汽车相应于购车软件、汽车服务软件、二手车交易软件，企业商标相应于企业软件、天眼查询软件、找工作软件，人相应于美颜软件、特效软件、猜年龄软件、换脸软件、动漫图标软件、搜索百科软件。应用的类别包括但不限于如下类别：天气类、旅游类、地图类、交通类、新闻类、百科类、动漫图标类、汽车服务类、美颜类、特效类等。作为示例，点击图片的天空部分，推荐设备上的天气软件，用户点击该软件得到当前和未来几天的天气情况。作为另一示例，点击图片的海滩部分，推荐手机的旅游软件、地图软件，通常有多个选择提供给用户，具体如下：根据用户当前手机的GPS信息，提供离用户最近的海滩地点；根据海滩的外形，搜索相同或相似的地点，提供给用户；提供本市/省内著名的海滩地点；提供国内外著名的海滩地点。上面的选择都包括路线、交通工具以及景点的详细推介等。作为另一示例，点击图片的动物部分，推荐设备上的搜索百科软件、动漫图标软件，用户可获得关于该动物详细的百科知识，此外，还可通过动漫图标软件制作“Q版”动物的图标。作为另一示例，点击图片的汽车部分，推荐手机的购车软件、汽车服务软件、二手车交易软件，用户可能需要购买汽车，获取更多汽车的信息。也可能需要一些汽车相关的服务，或者进行二手车的交易操作。然而，基于图像语义分割技术确定图片的内容信息仅作为示例被呈现，并不用于限制本发明。

表1

物品类别	推荐的应用类别
		天空	天气软件
高山	旅游软件、地图软件
		建筑物	搜索百科软件、旅游软件、地图软件、交通软件
动物	搜索百科软件、动漫图标软件
		汽车	购车软件、汽车服务软件、二手车交易软件
…	…
		人	美颜软件、特效软件、猜年龄软件、换脸软件、动漫图标软件、搜索百科软件

在步骤S103，基于图片的内容信息，结合对用户意图的判断，确定与图片的内容信息相应的推荐内容。

根据本发明的示例性实施例，可基于图片的上下文信息和/或用户画像数据判断用户意图。图片的上下文信息包括图片所在页面中位于图片前后的页面内容信息，和/或在先预定时间内的用户操作信息。具体地，图片的上下文信息可以是在用户选择的图片之前或之后执行的应用、聊天的内容、浏览的网页等。

根据本发明的示例性实施例，图片的页面内容信息指在该图片所在页面中位于该图片之前或之后的页面内容。在先预定时间内的用户操作信息指：在检测到用户对图片执行预定操作时，所述预定操作之前进行的操作，其中，该操作将被作为上下文信息存储起来。

用户画像数据可基于以下信息获得：用户频繁使用的至少一个应用的类型，及在其上进行的操作记录。可根据用户的使用习惯，对用户进行画像，并打上对应的标签，例如，分析用户A的手机使用习惯，发现用户A平常并不使用旅游相关软件，因此，用户A的画像为宅女(或宅男)。具体地，用户画像数据可包括用户通常使用的应用，并且用户画像数据还可包括其它与用户相关联的记录，例如，用户画像数据可以是用户预先设置的用户的喜好数据。

可通过分析用户偏好确定用户意图。首先，分析当前图片的上下文信息，用户在点击图片之前，使用了什么应用，做了什么事情，这些都是可以用来分析用户的真实意图。例如，用户跟朋友在微信聊天，聊的内容跟旅游相关，这个时候打开朋友提供的风景图片，并点击相应的景点区域。这个上下文信息代表用户可能很想了解这个景点的详细信息。又或者用户在聊天时表达出很想去旅游的愿望，希望得到同类型景点的推荐和旅游路线等。然后，统计和记录用户的手机使用习惯：过去一周/一个月频繁使用的应用的类型(新闻类、购物类、旅游类、休闲类、汽车类等)，各类应用的具体使用情况(例如，新闻类应用，用户更加关注什么类型的新闻；购物类应用，用户浏览、点击查看、搜索查询、收藏、交易过什么商品；汽车类应用，用户最近浏览过什么品牌和款式的汽车)，根据以上用户日常手机的使用习惯，对用户进行画像，并打上对应的标签。

图3示出根据本发明的示例性实施例的根据用户平日的使用习惯向用户推荐内容的示例的示图。

参照图3，当用户长按图片中的“山脉”时，根据图片的内容可判断出用户想了解旅游相关方面的信息，基于用户的平日使用习惯(即，对用户的画像)确定用户偏好的旅游软件是“马蜂窝”，因此向用户推荐“马蜂窝”。当用户长按图片中的“狗狗”时，根据图片的内容可判断出用户想对图片中的对象进行编辑，基于用户平日使用图片编辑软件的习惯发现用户常用“魔漫相机”，因此向用户推荐“魔漫相机”。当用户长按图片中的“汽车”时，基于图片的内容以及用户最近都在查看购买汽车相应的信息，且用户常用“买车宝典”软件，因此向用户推荐“买车宝典”。

此外，还可直接基于图片的内容信息确定与图片的内容信息相应的推荐内容，例如，当图片为海滩时，可直接向用户推荐著名的海滩地点。还可基于其它信息确定与图片的内容信息相应的推荐内容，例如，当图片为海滩时，还可基于用户当前的位置信息(例如，通过GPS定位)向用户推荐最近的海滩地点。

根据本发明的示例性实施例，基于图片的内容信息，结合对用户意图的判断，确定与图片的内容信息相应的推荐内容包括：根据预先确定的规则向用户推荐与图片的内容信息相应的推荐内容或者使用机器学习模型向用户推荐与图片的内容信息相应的推荐内容。具体地，可根据预先确定的规则或使用机器学习模型中的任意一个或使用预先确定的规则或机器学习模型两者向用户推荐与图片的内容信息相应的推荐内容。

根据本发明的实施例的根据预先确定的规则向用户推荐与图片的内容信息相应的推荐内容包括：基于图片的内容信息确定与图片的内容信息相应的服务；基于用户意图确定服务的优先级并向用户推荐具有高于阈值的优先级的至少一个服务，作为与图片的内容信息相应的推荐内容，其中，基于用户意图确定服务的优先级包括：根据图片的上下文信息和/或用户画像数据确定服务的优先级。

根据本发明的实施例，基于图片的内容信息确定与图片的内容信息相应的服务通常会确定出与图片的内容信息相应的多种服务。例如，如果检测到用户对图片中的汽车执行操作，则基于图片中的汽车通常会确定出“购车软件”、“汽车服务软件”、“二手车交易软件”等服务。然而，当基于图片的内容信息确定出多种服务时，可基于用户意图确定服务的优先级并向用户推荐具有高于阈值的优先级的至少一个服务，作为与图片的内容信息相应的推荐内容。也就是说，可基于所述多种服务的优先级向用户推荐所述多种服务中的至少一种服务。例如，当基于用户意图确定出“购车软件”和“二手车交易软件”的优先级高于阈值时，可将“购车软件”和“二手车交易软件”及其相应的内容推荐给用户。

根据本发明的实施例，基于用户意图确定服务的优先级可包括基于图片的上下文信息和用户画像数据中的至少一个确定所述多种服务的优先级。例如，可基于图片的上下文信息和用户画像数据两者确定所述多种服务的优先级，具体地，可首先基于图片的上下文信息确定所述多种服务的优先级，将所述多种服务中与图片的上下文信息相关性较高的服务的优先级设置为高优先级，将所述多种服务中与图片中的上下文信息相关性较低的服务的优先级设置为低优先级，然后基于用户画像数据进一步确定具有高优先级的服务中与用户画像数据相关性高的服务的优先级。可对基于图片的上下文信息和用户画像数据最终确定的服务的优先级进行排序，按优先级从高到低的顺序向用户推荐一个或更多个服务。可选地，可根据基于图片的上下文信息确定的所述多种服务的优先级直接按照优先级从高到低的顺序向用户推荐一个或更多个服务，即，通过分析上下文信息，得到用户的意图，根据用户意图，过滤掉不相关的类别，保留最相关的类别。最后对该应用执行符合用户意图的操作。可选地，如果没有上下文信息，就直接使用画像数据来确定所述多种服务的优先级，即，根据用户的标签和各类应用的使用情况，结合图片的内容，找到符合用户习惯和意愿的应用和相关操作。

根据本发明的示例性实施例的使用机器学习模型向用户推荐与图片的内容信息相应的推荐内容包括：使用机器学习模型针对图片的内容信息、结合图片的上下文信息和/或用户画像数据执行预测来向用户推荐与图片的内容信息相应的推荐内容，其中，机器学习模型被预先训练为基于图片的内容信息、结合图片的上下文信息和/或用户画像数据提供关于与图片的内容信息相应的预测结果。

具体地，将图片的内容信息、图片的上下文信息和/或用户画像数据作为机器学习模型的输入数据，通过机器学习模型执行预测，输出向用户推荐的与图片的内容信息相应的推荐内容。通过本发明的示例性实施例的机器学习模型确定与图片的内容信息相应的推荐内容，可更方便地为用户提供更精确的服务。

根据本发明的实施例，通过将大量的图片的内容信息、图片的上下文信息、和/或用户习惯数据作为特征数据，将这些特征数据进一步处理并分成训练数据和测试数据，对训练数据训练获得机器学习模型，基于测试数据对训练好的机器学习模型进行模型评估，来获得本发明的机器训练模型。

这里，“对……训练获得”是指通过训练算法训练具有多个训练数据的基本人工智能模型，从而获得预定义的操作规则或人工智能模型，所述操作规则或人工智能模型被配置为执行所需的特征(或目的)。

根据本发明是示例性实施例，与人工智能模型相关联的功能可通过非易失性存储器、易失性存储器和处理器来执行。处理器可包括一个或多个处理器。此时，一个或多个处理器可以是通用处理器(例如中央处理器(CPU)、应用处理器(AP)等)、仅用于图形的处理器(例如图形处理器(GPU)、视觉处理器(VPU)和/或AI专用处理器(例如神经处理单元(NPU))。

一个或多个处理器根据存储在非易失性存储器和易失性存储器中的预定义操作规则或人工智能模型来控制输入数据的处理。预定义的操作规则或人工智能模型可通过训练或学习提供。这里，通过学习提供意味着，通过将学习算法应用于多个学习数据，形成具有期望特性的预定义操作规则或AI模型。学习可在根据实施例的执行AI的设备本身中执行，和/或可通过单独的服务器/设备/系统来实现。

作为示例，人工智能模型可由多个神经网络层组成。每一层具有多个权重值，并且通过前一层的计算和多个权重值的操作来执行层操作。神经网络的例子包括但不限于卷积神经网络(CNN)、深度神经网络(DNN)、递归神经网络(RNN)、受限玻尔兹曼机(RBM)、深度置信网络(DBN)、双向递归深度神经网络(BRDNN)、生成式对抗网络(GAN)和深度Q网络。

学习算法是使用多个学习数据来训练预定目标设备(例如，机器人)以使得、允许或控制目标设备做出确定或预测的方法。学习算法的例子包括但不限于有监督学习、无监督学习、半监督学习或强化学习。

根据本发明的示例性实施例的推荐内容的方法还包括：通过反馈界面接收用户对推荐内容的反馈，并将用户反馈的结果作为训练样本数据之一；对机器学习模型进行更新训练；使用更新后的机器学习模型向用户推荐与图片的内容信息相应的推荐内容。

具体地，可通过反馈界面接收用户对根据预先确定的规则或使用机器学习模型向用户推荐的与图片的内容信息相应的推荐内容的反馈，例如，可向用户提供根据预先确定的规则向用户推荐的推荐内容的反馈界面，并将用户对该推荐内容的反馈信息作为机器学习模型的训练样本数据，对机器学习模型进行更新。根据实施例，用户的反馈可以是关于对向用户推荐的内容是否满意的响应。

图4示出根据本发明的示例性实施例的反馈界面的示例的示图。

参照图4，基于根据预先确定的规则向用户推荐购车软件，显示反馈界面“对于推荐的购车软件和服务是否满意”，接收用户对该购车软件的反馈。进一步地，用户的反馈可以是用户对推荐的软件和服务不满意，他可能希望推荐其他的软件和服务。例如，另外一个更好的购车软件，或者电动车推介的服务。参照图4，反馈界面还可以是询问用户“希望推荐的软件”和“希望提供的服务”。根据实施例，用户的反馈结果一方面会作为规则信息保留下来，另一方面会作为标签数据，与上下文、用户习惯和图片的内容信息等特征数据一同上传到服务器端，服务器会收集大量的用户数据，并用来训练和验证模型，通过结合人工智能模型的预测结果和规则，给用户推荐更精确的应用和服务内容。

在步骤S104，呈现推荐内容。呈现的推荐内容包括推荐的应用以及该应用中与图片的内容信息相关联的页面内容、操作信息等。例如，向用户推荐一到三个可能符合用户需求的应用及其使用方式。页面内容可以是与图片的内容信息相同或相似的对象的详细信息(例如，图片的内容为汽车，推荐的应用的页面内容是同款汽车或同一价位的其它品牌汽车)、或与图片的内容相关联的衍生信息(例如，图片的内容为天空，推荐的应用的页面内容是天气信息)，操作信息可以是对图片的内容进行编辑、优化等(例如，图片的内容为人，推荐的应用可显示对人进行美颜的操作界面)的操作界面。具体地，将基于图片的内容信息、结合对用户意图的判断而确定的与图片的内容信息相应的推荐内容呈现给用户。例如，当检测到用户对图片中的汽车执行预定操作时，将基于关于该汽车的信息和用户意图判断而确定出的二手车交易软件呈现给用户，并在该二手车交易软件中呈现与该汽车的型号、颜色、价位、性能相同或类似的多种汽车以及所述多种汽车的详细信息。

图5示出根据本发明的示例性实施例的内容推荐方法的示例的示图。下面的内容推荐方法的示例实现了基于图片的内容信息，结合上下文信息以及用户意图向用户推荐内容。

参照图5，在聊天界面中，用户A与用户B聊了一些与汽车相关的内容，基于图5中用户A和B的聊天内容可确定出如下的上下文信息：用户A有购车意向、用户A对汽车的心理价位为20万到30万、用户B介绍了某品牌的车和型号、用户A对用户B介绍的汽车较感兴趣。此时，用户A打开用户B提供的图，点击图片的汽车。根据图像语义分割，确定点击的区域是汽车类，默认关联“购车软件”、“汽车服务软件”、“二手车交易软件”3个类别，基于该图片的上下文信息，把“汽车服务软件”、“二手车交易软件”两个类别过滤掉(或者赋予比较低的权重)，只保留“购车软件”(或者赋予比较高的权重)。根据本发明的内容推荐方法分析用户A的手机使用习惯和用户画像，发现用户A平常并不使用汽车相关的软件，是“汽车小白”。基于分析的结果给用户A推荐一款热门的购车软件，并提供如下的服务：提供用户B介绍的某品牌和型号的车；由于用户A是“汽车小白”，可能想了解更多其他品牌汽车的信息，可提供其他品牌20万～30万价位的热门汽车。

图6是示出根据本发明的示例性实施例的内容推荐装置600的框图。

根据本发明的示例性实施例的内容推荐装置600包括：检测模块601、内容提取模块602、推荐内容确定模块603和显示模块604。

作为示例，检测模块601检测用户对图片执行的预定操作；内容提取模块602提取图片的内容信息；推荐内容确定模块603基于图片的内容信息，结合对用户意图的判断，确定与图片的内容信息相应的推荐内容；以及显示模块604呈现推荐内容。

根据本发明的示例性实施例，所述预定操作可以是触摸、点击、双击、按压等操作，但不限于此。可通过传感器模块检测所述预定操作。

此外，图片的内容信息包括与图片的至少一部分相关的信息。也就是说，可提取图片的一部分的内容信息或提取全部图片的内容信息。

根据本发明的示例性实施例，推荐内容确定模块603被配置为基于图片的上下文信息和/或用户画像数据判断用户意图，其中，图片的上下文信息包括图片所在页面中位于图片前后的页面内容信息，和/或在先预定时间内的用户操作信息。例如，图片的上下文信息可以是聊天页面中在图片之前或之后的聊天内容。根据实施例，用户画像数据基于以下信息获得：用户频繁使用的至少一个应用的类型，及在其上进行的操作记录。

根据本发明的示例性实施例的推荐内容确定模块603被配置为：根据预先确定的规则向用户推荐与图片的内容信息相应的推荐内容或者使用机器学习模型向用户推荐与图片的内容信息相应的推荐内容。可选地，推荐内容确定模块603可使用预先确定的规则和使用机器学习模型两者向用户推荐与图片的内容信息相应的推荐内容。

推荐内容确定模块603还被配置为：基于图片的内容信息确定与图片的内容信息相应的服务；基于用户意图确定服务的优先级并向用户推荐具有高于阈值的优先级的至少一个服务，作为与图片的内容信息相应的推荐内容，其中，基于用户意图确定服务的优先级包括：根据图片的上下文信息和/或用户画像数据确定服务的优先级。根据本发明的示例性实施例的推荐内容确定模块603可首先基于图片的内容信息确定多种服务，然后基于用户意图确定所述多种服务中具有高于所述阈值的优先级的一个或更多个服务。

推荐内容确定模块603还被配置为：使用机器学习模型针对图片的内容信息、结合图片的上下文信息和/或用户画像数据执行预测来向用户推荐与图片的内容信息相应的推荐内容，其中，机器学习模型被预先训练为基于图片的内容信息、结合图片的上下文信息和/或用户画像数据提供关于与图片的内容信息相应的预测结果。

根据本发明的示例性实施例的内容推荐装置600还包括：反馈模块(未示出)，通过反馈界面接收用户对推荐内容的反馈，并将用户反馈的结果作为训练样本数据之一；推荐内容确定模块603对机器学习模型进行更新训练，并且使用更新后的机器学习模型向用户推荐与图片的内容信息相应的推荐内容。反馈模块可通过反馈界面接收对根据预先确定的规则和使用机器学习模型中的任意一个向用户推荐的推荐内容的反馈。

作为示例，显示模块604呈现的推荐内容包括由推荐内容确定模块603确定的应用以及该应用的页面内容或操作信息等。

应理解，根据本发明示例性实施例的内容推荐装置中的各个单元可被实现硬件组件和/或软件组件。本领域技术人员可根据限定的各个单元所执行的处理，使用例如现场可编程门阵列(FPGA)或专用集成电路(ASIC)来实现各个单元。

此外，根据本发明的另一示例性实施例，提供一种存储指令的计算机可读存储介质，其中，当所述指令被至少一个计算装置运行时，促使所述至少一个计算装置执行如上所述的内容推荐方法。

根据本发明的另一示例性实施例，提供一种计算装置，其中，所述计算装置包括处理器存储有计算机程序的存储器，当所述计算机程序被处理器执行时，所述计算装置实现如上所述的内容推荐方法。

根据本发明的示例性实施例的内容推荐方法，可实现基于图片的内容信息，结合对用户意图的判断，确定与图片的内容信息相应的推荐内容，从而获得更多/更符合用户习惯的推荐内容，让他们有更多/更好的选择。

根据本发明的示例性实施例的内容推荐方法，可实现基于图片的上下文信息和/或用户画像数据判断用户的意图，从而基于用户的意图更全面地为用户推荐内容。

根据本发明的示例性实施例的内容推荐方法，可实现针对整个图片或图片的一部分为用户推荐内容，从而实现有针对性的推荐效果，提升用户的使用体验。

根据本发明的示例性实施例的内容推荐方法，基于图片所在页面中位于图片前后的页面内容信息和/或在先预定时间内的用户操作信息向用户推荐内容，可更好地按照用户的意图为用户推荐内容，为用户提供便利。

根据本发明的示例性实施例的内容推荐方法，基于图片的内容信息，并且通过对基于用户意图确定的多个应用按优先级别进行排序，可达到精准的推荐效果。

根据本发明的示例性实施例的内容推荐方法，可实现使用机器学习模型向用户推荐与图片的内容信息相应的推荐内容，推荐的内容更符合用户的意愿，提升用户体验。

根据本发明的示例性实施例的内容推荐方法，通过反馈界面接收用户对推荐的内容的反馈，有利于更准确地为用户推荐内容，改善推荐的鲁棒性。

可将在此阐述的各种实施例实现为包括存储在存储介质中的可由机器(例如，移动装置或电子设备)读取的一个或更多个指令的软件。例如，在处理器的控制下，所述机器的处理器可在使用或无需使用一个或更多个其它部件的情况下调用存储在存储介质中的所述一个或更多个指令中的至少一个指令并运行所述至少一个指令。这使得所述机器能够操作用于根据所调用的至少一个指令执行至少一个功能。所述一个或更多个指令可包括由编译器产生的代码或能够由解释器运行的代码。可以以非暂时性存储介质的形式来提供机器可读存储介质。其中，术语“非暂时性”仅意味着所述存储介质是有形装置，并且不包括信号(例如，电磁波)，但是该术语并不在数据被半永久性地存储在存储介质中与数据被临时存储在存储介质中之间进行区分。

尽管已示出和描述了本发明的一些示例性实施例，但本领域技术人员应理解，在不脱离由权利要求及其等同物限定的本发明的范围和精神的情况下，可对其进行形式和细节上的各种改变。

Claims (20)

1.一种内容推荐方法，包括：

检测到用户对图片执行预定操作；

提取所述图片的内容信息；

基于所述图片的内容信息，结合对用户意图的判断，确定与所述图片的内容信息相应的推荐内容；

呈现所述推荐内容。

2.如权利要求1所述的内容推荐方法，其中，

基于所述图片的上下文信息和/或用户画像数据判断用户意图。

3.如权利要求1所述的内容推荐方法，其中，所述图片的内容信息包括与所述图片的至少一部分相关的信息。

4.如权利要求2所述的内容推荐方法，其中，所述图片的上下文信息包括所述图片所在页面中位于所述图片前后的页面内容信息，和/或在先预定时间内的用户操作信息。

5.如权利要求2所述的内容推荐方法，基于所述图片的内容信息，结合对用户意图的判断，确定与所述图片的内容信息相应的推荐内容包括：根据预先确定的规则向用户推荐与所述图片的内容信息相应的推荐内容或者使用机器学习模型向用户推荐与所述图片的内容信息相应的推荐内容。

6.如权利要求5所述的内容推荐方法，其中，根据预先确定的规则向用户推荐与所述图片的内容信息相应的推荐内容包括：

基于所述图片的内容信息确定与所述图片的内容信息相应的服务；

基于用户意图确定所述服务的优先级并向用户推荐具有高于阈值的优先级的至少一个服务，作为与所述图片的内容信息相应的推荐内容，

其中，基于用户意图确定所述服务的优先级包括：根据所述图片的上下文信息和/或用户画像数据确定所述服务的优先级。

7.如权利要求5所述的内容推荐方法，其中，使用机器学习模型向用户推荐与所述图片的内容信息相应的推荐内容包括：使用机器学习模型针对所述图片的内容信息、结合所述图片的上下文信息和/或用户画像数据执行预测来向用户推荐与所述图片的内容信息相应的推荐内容，其中，所述机器学习模型被预先训练为基于图片的内容信息、结合图片的上下文信息和/或用户画像数据提供关于与图片的内容信息相应的预测结果。

8.如权利要求1所述的内容推荐方法，其中，所述方法还包括：

通过反馈界面接收用户对所述推荐内容的反馈，并将用户反馈的结果作为训练样本数据之一；

对机器学习模型进行更新训练；

使用更新后的机器学习模型向用户推荐与所述图片的内容信息相应的推荐内容。

9.如权利要求2所述的内容推荐方法，其中，所述用户画像数据基于以下信息获得：

用户频繁使用的至少一个应用的类型，及在其上进行的操作记录。

10.一种内容推荐装置，包括：

检测模块，检测用户对图片执行的预定操作；

内容提取模块，提取所述图片的内容信息；

推荐内容确定模块，基于所述图片的内容信息，结合对用户意图的判断，确定与所述图片的内容信息相应的推荐内容；

显示模块，呈现所述推荐内容。

11.如权利要求10所述的内容推荐装置，其中，

推荐内容确定模块被配置为基于所述图片的上下文信息和/或用户画像数据判断用户意图。

12.如权利要求10所述的内容推荐装置，其中，所述图片的内容信息包括与所述图片的至少一部分相关的信息。

13.如权利要求11所述的内容推荐装置，其中，所述图片的上下文信息包括所述图片所在页面中位于所述图片前后的页面内容信息，和/或在先预定时间内的用户操作信息。

14.如权利要求11所述的内容推荐装置，其中，推荐内容确定模块被配置为：根据预先确定的规则向用户推荐与所述图片的内容信息相应的推荐内容或者使用机器学习模型向用户推荐与所述图片的内容信息相应的推荐内容。

15.如权利要求14所述的内容推荐装置，其中，推荐内容确定模块还被配置为：

基于所述图片的内容信息确定与所述图片的内容信息相应的服务；

基于用户意图确定所述服务的优先级并向用户推荐具有高于阈值的优先级的至少一个服务，作为与所述图片的内容信息相应的推荐内容，

其中，基于用户意图确定所述服务的优先级包括：根据所述图片的上下文信息和/或用户画像数据确定所述服务的优先级。

16.如权利要求14所述的内容推荐装置，其中，推荐内容确定模块还被配置为：使用机器学习模型针对所述图片的内容信息、结合所述图片的上下文信息和/或用户画像数据执行预测来向用户推荐与所述图片的内容信息相应的推荐内容，其中，所述机器学习模型被预先训练为基于图片的内容信息、结合图片的上下文信息和/或用户画像数据提供关于与图片的内容信息相应的预测结果。

17.如权利要求10所述的内容推荐装置，其中，所述内容推荐装置还包括：

反馈模块，通过反馈界面接收用户对所述推荐内容的反馈，并将用户反馈的结果作为训练样本数据之一；

推荐内容确定模块对机器学习模型进行更新训练，并且

使用更新后的机器学习模型向用户推荐与所述图片的内容信息相应的推荐内容。

18.如权利要求11所述的内容推荐装置，其中，所述用户画像数据基于以下信息获得：

用户频繁使用的至少一个应用的类型，及在其上进行的操作记录。

19.一种存储指令的计算机可读存储介质，其中，当所述指令被至少一个计算装置运行时，促使所述至少一个计算装置执行如权利要求1至9中的任意一项所述的方法。

20.一种计算装置，包括：

处理器；

存储器，存储有计算机程序，当所述计算机程序被处理器执行时，实现权利要求1至9中任意一项所述的方法。

Images