CN111399731B - 图片的操作意图处理方法、推荐方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明提供了一种图片的操作意图处理方法、装置、电子设备及存储介质；方法包括：对被操作的多个图片进行识别，以确定每个图片中的候选元素以及对应的属性；根据每个图片中的候选元素的属性，从多个图片中筛选出满足显著性得分条件的多个候选元素以作为显著元素；基于多个显著元素，对多个图片中被目标用户操作的图片进行遍历处理，以确定包括任意一个显著元素的目标图片；根据每个目标图片中的显著元素的显著性得分，确定目标用户对显著元素的操作偏好得分，并将目标图片中满足操作偏好得分条件的显著元素作为目标用户的操作意图。通过本发明能够在被操作的图片中准确识别出用户操作意图在图片中所对应的元素。

Description

图片的操作意图处理方法、推荐方法、装置、电子设备及存储 介质

技术领域

本发明涉及人工智能技术，尤其涉及一种图片的操作意图处理方法、推荐方法、装置、电子设备及存储介质。

背景技术

人工智能(Artificial Intelligence，AI)是计算机科学的一个综合技术，通过研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科，涉及领域广泛，例如自然语言处理技术以及机器学习/深度学习等几大方向，随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。

在基于人工智能的图像处理技术中，确定用户的操作意图是一个重要的研究方向，能够确定用户对图片中元素的偏好、即用户对图片的操作意图(例如点击意图，可以通过点击操作查看图片中的元素)。

然而，传统技术所确定出的用户的操作意图容易受到高频标签(元素)影响，准确度低。

发明内容

本发明实施例提供一种图片的操作意图处理方法、推荐方法、装置、电子设备及存储介质，能够结合元素显著性，减小高频标签的影响，准确地确定用户的操作意图。

本发明实施例的技术方案是这样实现的：

本发明实施例提供一种图片的操作意图处理方法，包括：

对被操作的多个图片进行识别，以确定每个所述图片中的候选元素以及对应的属性；

根据每个所述图片中的候选元素的属性，从所述多个图片中筛选出满足显著性得分条件的多个候选元素以作为显著元素；

基于多个所述显著元素，对所述多个图片中被目标用户操作的图片进行遍历处理，以确定包括任意一个所述显著元素的目标图片；

根据每个所述目标图片中的显著元素的显著性得分，确定所述目标用户对所述显著元素的操作偏好得分，并

将所述目标图片中满足操作偏好得分条件的显著元素，作为所述目标用户的操作意图。

本发明实施例提供一种图片的操作意图处理方法，包括：

接收用于在客户端中展示的推荐图片，所述图片中包括符合目标用户的操作意图的元素；

当所述客户端中呈现用于推荐信息的展示位时，在所述客户端的所述展示位中呈现所述推荐图片；

其中，所述推荐图片为根据符合所述目标用户的操作意图中的元素，对多个候选推荐图片进行匹配确定的。

本发明实施例提供一种图片的操作意图处理装置，包括：

识别模块，用于对被操作的多个图片进行识别，以确定每个所述图片中的候选元素以及对应的属性；

第一处理模块，用于根据每个所述图片中的候选元素的属性，从所述多个图片中筛选出满足显著性得分条件的多个候选元素以作为显著元素；

确定模块，用于基于多个所述显著元素，对所述多个图片中被目标用户操作的图片进行遍历处理，以确定包括任意一个所述显著元素的目标图片；

第二处理模块，用于根据每个所述目标图片中的显著元素的显著性得分，确定所述目标用户对所述显著元素的操作偏好得分，并将所述目标图片中满足操作偏好得分条件的显著元素，作为所述目标用户的操作意图。

上述技术方案中，所述第一处理模块还用于根据每个所述图片中的候选元素的属性，确定每个所述图片中的候选元素的显著性得分；

根据每个所述图片中的候选元素的显著性得分，筛选出满足显著性得分条件的多个候选元素以作为显著元素。

上述技术方案中，所述候选元素的属性包括所述候选元素在所述图片中的数量、尺寸、中心位置标识、以及所述候选元素相对于所述图片的颜色差异；

所述第一处理模块还用于对于每个所述图片中的候选元素中的任一候选元素，执行以下处理：

确定所述候选元素在所述图像中的数量与所述图片中候选元素的总数量之间的第一相对关系，以及确定所述候选元素在所述图片中的尺寸与所述图片的尺寸之间的第二相对关系；

根据所述候选元素的所述第一相对关系、所述第二相对关系、所述候选元素在所述图片的中心位置标识、以及所述候选元素相对于所述图片的颜色差异，确定所述候选元素的显著性得分。

上述技术方案中，所述第一处理模块还用于确定所述数量对应的第一权重、所述尺寸对应的第二权重、所述颜色差异对应的第三权重、以及所述中心位置标识对应的第四权重；

根据所述第一权重、所述第二权重、所述第三权重、所述第四权重、所述第一相对关系、所述第二相对关系、所述候选元素在所述图片的中心位置标识、以及所述候选元素相对于所述图片的颜色差异，确定所述候选元素的显著性得分为：

其中，所述α表示所述第一权重，所述β表示所述第二权重，所述γ表示所述第三权重，所述δ表示所述第四权重，所述

表示所述第一相对关系，所述

表示所述第二相对关系，所述colorGap_i表示所述候选元素相对于所述图片的颜色差异，所述isCenter_i表示所述候选元素在所述图片的中心位置标识，且α+β+γ+δ＝1。

上述技术方案中，所述第一处理模块还用于对于所述多个图片中的任一图片，执行以下处理：

将所述图片中的候选元素进行聚合，并

对聚合后剩余的候选元素的显著性得分进行降序排序，将降序排序中前N个候选元素确定为满足显著性得分条件的显著元素，其中，所述N为自然数；

所述第二处理模块还用于对于所述N个显著元素中的任一显著元素执行以下处理：将所述显著元素在每个所述目标图片中的显著性得分进行累加处理，以确定所述目标用户对所述显著元素的操作偏好得分；

对所述目标用户对每个所述显著元素的操作偏好得分进行降序排序，对于降序排序中前K个显著元素中的任一显著元素执行以下处理：

当所述多个图片中的任一图片包括所述显著元素时，将所述显著元素确定为所述目标用户针对所述任一图片的操作意图；其中，K为自然数。

上述技术方案中，所述第一处理模块还用于对于所述多个图片中的任一图片，执行以下处理：

对所述图片中的候选元素的显著性得分进行降序排序，将降序排序中前N个候选元素确定为所述图片中的显著元素，其中，所述N为自然数；

所述第二处理模块还用于对于N个所述显著元素中的任一显著元素执行以下处理：

将所述显著元素在每个所述目标图片中的显著性得分进行累加处理，以确定所述目标用户对所述显著元素的操作偏好得分；

对于所述多个图片中的任一图片执行以下处理：将所述图片中的显著元素的操作偏好得分进行降序排序，将降序排序中前K个显著元素确定为所述目标用户对所述图片的操作意图；

其中，K为自然数，且K小于N。

上述技术方案中，所述候选元素的类型包括以下至少之一：物体；文本；

所述识别模块还用于将所述被操作的多个图片进行边框回归处理，以确定所述多个图片中包括候选元素的多个边框，并

对每个所述边框进行图像识别，以确定所述多个图片中的物体的类别，并对每个所述边框进行文本识别，以确定所述多个图片中的文本。

上述技术方案中，所述候选元素的属性包括所述候选元素在所述图片的中心位置标识；

所述识别模块还用于对于每个所述图片中的任一候选元素，执行以下处理：

确定所述候选元素在所述图片中对应的各个像素点的坐标；

当以所述多个坐标为边界所界定的区域包括所述图片的中心位置时，确定所述候选元素覆盖所述图片的中心点，并

将所述候选元素在所述图片的中心位置标识设置为1。

上述技术方案中，所述候选元素的属性包括所述候选元素在所述图片中的尺寸；

所述识别模块还用于对于每个所述图片中的任一候选元素，执行以下处理：

根据所述候选元素在所述图片中的边缘坐标，确定所述候选元素在所述图片的外接矩形；

将所述外接矩形的尺寸确定为所述候选元素在所述图片中的尺寸。

上述技术方案中，所述候选元素的属性包括所述候选元素相对于所述图片的颜色差异；

所述识别模块还用于对于每个所述图片中的任一候选元素，执行以下处理：

确定所述候选元素的平均颜色，以及确定所述图片背景的平均颜色；

将所述候选元素的平均颜色、与所述图片背景的平均颜色的差值确定为所述候选元素相对于所述图片的颜色差异。

上述技术方案中，所述装置还包括：

发送模块，用于将所述目标用户的操作意图发送至区块链网络中，以使

所述区块链网络中部署的智能合约根据所述目标用户的操作意图，对多个候选推荐图片进行匹配处理，从所述多个候选推荐图片中确定出推荐图片。

本发明实施例提供一种用于图片推荐装置，所述装置包括：

接收模块，用于接收用于在客户端中展示的推荐图片，所述图片中包括符合目标用户的操作意图的元素；

呈现模块，用于当所述客户端中呈现用于推荐信息的展示位时，在所述客户端的所述展示位中呈现所述推荐图片；

其中，所述推荐图片为根据符合所述目标用户的操作意图中的元素，对多个候选推荐图片进行匹配确定的。

本发明实施例提供一种用于图片的操作意图处理的电子设备，所述电子设备包括：

存储器，用于存储可执行指令；

处理器，用于执行所述存储器中存储的可执行指令时，实现本发明实施例提供的图片的操作意图处理方法。

本发明实施例提供一种用于图片推荐的电子设备，所述电子设备包括：

存储器，用于存储可执行指令；

处理器，用于执行所述存储器中存储的可执行指令时，实现本发明实施例提供的图片推荐方法。

本发明实施例提供一种计算机可读存储介质，存储有可执行指令，用于引起处理器执行时，实现本发明实施例提供的图片的操作意图处理方法。

本发明实施例提供一种计算机可读存储介质，存储有可执行指令，用于引起处理器执行时，实现本发明实施例提供的图片推荐方法。

本发明实施例具有以下有益效果：

通过图片中候选元素的属性，确定出图片中的满足显著性得分条件的多个候选元素以作为显著元素，并基于目标用户操作的多个图片以及显著元素的显著性得分，确定目标用户的操作意图，从而结合元素显著性以及用户历史操作图片，确定用户的操作意图，减小高频标签的影响，且无需引入TF-IDF所带来的计算量，降低计算复杂度，提高目标用户的操作意图的准确性。

附图说明

图1是本发明实施例提供的图片的操作意图处理系统10的应用场景示意图；

图2是本发明实施例提供的图片的操作意图处理方法的一个可选的应用模式示意图；

图3是本发明实施例提供的用于图片的操作意图处理的电子设备500的结构示意图；

图4是本发明实施例提供的图片的操作意图处理方法的流程示意图；

图5是本发明实施例提供的用于图像推荐的电子设备600的结构示意图；

图6是本发明实施例提供的图像推荐方法的流程示意图；

图7为本发明提供的图片的操作意图处理方法的一个可选的流程示意图；

图8是本发明实施例提供的社交小程序的界面示意图；

图9是本发明实施例提供的社交公众号的界面示意图；

图10是本发明实施例提供的社交朋友圈的界面示意图；

图11A-11B是本发明实施例提供的手表广告示意图；

图12是本发明实施例提供的图片的操作意图处理方法的流程示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，所描述的实施例不应视为对本发明的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

在以下的描述中，所涉及的术语“第一\第二”仅仅是是区别类似的元素，不代表针对元素的特定排序，可以理解地，“第一\第二”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本发明实施例能够以除了在这里图示或描述的以外的顺序实施。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本发明实施例的目的，不是旨在限制本发明。

对本发明实施例进行进一步详细说明之前，对本发明实施例中涉及的名词和术语进行说明，本发明实施例中涉及的名词和术语适用于如下的解释。

1)卷积神经网络(CNN，Convolutional Neural Networks)：一类包含卷积计算且具有深度结构的前馈神经网络(FNN，Feedforward Neural Networks)，是深度学习(deeplearning)的代表算法之一。卷积神经网络具有表征学习(representation learning)能力，能够按其阶层结构对输入图像进行平移不变分类(shift-invariantclassification)。

2)词频-逆文本频率指数(TF-IDF，Term Frequency-Inverse DocumentFrequency)：一种用于信息检索与数据挖掘的常用加权技术，TF-IDF实际上是TF*IDF。本发明实施例中，TF是指元素t在该图片中出现的频率，IDF的主要思想是：如果包含元素t的图片越少，IDF越大，则说明元素t具有很好的类别区分能力。如果一个元素在部分图片中频繁出现(该元素为高频标签)，则说明该元素能够很好代表这部分图片的特征，这样的元素应该给赋予较高的权重，并选作该部分图片的特征元素以区别与其它的图片。

3)端到端计算：不经过复杂的中间建模过程，从输入端到输出端得到一个预测的结果，对该预测的结果与标记的真实数据进行计算，得到误差结果。

4)区块链(Blockchain)：由区块(Block)形成的加密的、链式的交易的存储结构。

5)区块链网络(Blockchain Network)：通过共识的方式将新区块纳入区块链的一系列的节点的集合。

本发明实施例提供一种图片的操作意图处理方法、装置、电子设备和存储介质，能够结合元素显著性，确定用户的操作意图，减小高频标签的影响。下面说明本发明实施例提供的用于图片的操作意图处理的电子设备的示例性应用，本发明实施例提供的用于图片的操作意图处理的电子设备可以是服务器，例如部署在云端的服务器，根据其他设备或者用户提供的被操作的多个图片以及目标用户操作的多个图片，对该被操作的多个图片以及目标用户操作的多个图片进行一系列处理，确定目标用户的操作意图；也可是笔记本电脑，平板电脑，台式计算机，移动设备(例如，移动电话，个人数字助理)等各种类型的用户终端，例如手持终端，根据用户在手持终端上输入的被操作的多个图片以及目标用户操作的图片，获得目标用户的操作意图，并显示在手持终端的显示界面上。

作为示例，参见图1，图1是本发明实施例提供的图片的操作意图处理系统10的应用场景示意图，终端200通过网络300连接服务器100，网络300可以是广域网或者局域网，又或者是二者的组合。

终端200可以被用来获取被操作的多个图片以及目标用户操作的图片，例如，当用户通过输入界面输入被操作的多个图片以及目标用户操作的图片，输入完成后，终端自动获取被操作的多个图片以及目标用户操作的图片。

在一些实施例中，终端200本地执行本发明实施例提供的图片的操作意图处理方法来完成根据用户输入的被操作的多个图片以及目标用户操作的图片，得到目标用户的操作意图，例如，在终端200上安装操作意图预测助手，用户在操作意图预测助手中，输入被操作的多个图片以及目标用户操作的图片，终端200根据输入的被操作的多个图片以及目标用户操作的图片，对该被操作的多个图片进行识别筛选等处理，得到显著元素，并基于显著元素以及目标用户操作的图片，得到目标用户的操作意图，并将目标用户的操作意图显示在终端200的显示界面210上。

在一些实施例中，终端200也可以通过网络300向服务器100发送用户在终端200上输入的被操作的多个图片以及目标用户操作的图片，并调用服务器100提供的图片的操作意图处理功能，服务器100通过本发明实施例提供的图片的操作意图处理方法获得目标用户的操作意图，例如，在终端200上安装操作意图预测助手，用户在操作意图预测助手中，输入被操作的多个图片以及目标用户操作的图片，终端200通过网络300向服务器100发送被操作的多个图片以及目标用户操作的图片，服务器100接收到该被操作的多个图片以及目标用户操作的图片，对该被操作的多个图片进行识别筛选等处理，得到显著元素，并基于显著元素以及目标用户操作的图片，得到目标用户的操作意图，并将目标用户的操作意图返回至操作意图预测助手，将目标用户的操作意图显示在终端200的显示界面210上，或者，服务器100直接给出目标用户的操作意图。

参见图2，图2是本发明实施例提供的图片的操作意图处理方法的一个可选的应用模式示意图，包括区块链网络400(示例性示出了共识节点410-1至共识节点410-3)、认证中心500、客户端节点600和客户端节点700，下面分别进行说明。

区块链网络400的类型是灵活多样的，例如可以为公有链、私有链或联盟链中的任意一种。以公有链为例，任何业务主体的电子设备例如终端200和服务器100，都可以在不需要授权的情况下接入区块链网络400；以联盟链为例，业务主体在获得授权后其下辖的电子设备(例如终端200/服务器100)可以接入区块链网络400，此时，成为区块链网络400中的客户端节点。

在一些实施例中，客户端节点可以只作为区块链网络400的观察者，即提供支持业务主体发起交易(例如，用于上链存储数据或查询链上数据)功能，对于区块链网络400的共识节点410(例如，共识节点410-1至共识节点410-3)的功能，例如排序功能、共识服务和账本功能等，客户端节点可以缺省或者有选择性(例如，取决于业务主体的具体业务需求)地实施。从而，可以将业务主体的数据和业务处理逻辑最大程度迁移到区块链网络400中，通过区块链网络400实现数据和业务处理过程的可信和可追溯。

区块链网络400中的共识节点接收来自不同的客户端节点提交的交易，执行交易以更新账本或者查询账本，执行交易的各种中间结果或最终结果可以返回业务主体的客户端节点中显示。

例如，客户端节点600可以订阅区块链网络400中感兴趣的事件，例如区块链网络400中特定的组织/通道中发生的交易，由共识节点410推送相应的交易通知到客户端节点600，从而触发客户端节点600中相应的业务逻辑。

下面以客户端接点600/700接入区块链网络以实现图片的操作意图处理的管理为例，说明区块链网络的示例性应用。

参见图2，管理环节可以涉及的多个客户端节点，如客户端节点600可以为服务器100对应的节点，客户端节点600从认证中心500进行登记注册获得各自的数字证书，数字证书中包括客户端节点600的公钥、以及认证中心500对客户端节点600的公钥和身份信息签署的数字签名，用来与客户端节点600针对交易的数字签名一起附加到交易中，并被发送到区块链网络，以供区块链网络从交易中取出数字证书和签名，验证消息的可靠性(即是否未经篡改)和发送消息的客户端节点600的身份信息，区块链网络会根据身份进行验证，例如是否具有发起交易的权限。业务主体下辖的电子设备(例如终端设备或者服务器)运行的客户端都可以向区块链网络400请求接入而成为客户端节点。

客户端节点600用于将目标用户的操作意图发送至区块链网络400中。客户端节点600根据目标用户的操作意图生成对应更新操作的交易，在交易中指定了实现更新操作需要调用的智能合约、以及向智能合约传递的参数，交易还携带了客户端节点600的数字证书、签署的数字签名(例如，使用客户端节点600的数字证书中的私钥，对交易的摘要进行加密得到)，并将交易广播到区块链网络400中的共识节点410。

区块链网络400中的共识节点410中接收到交易时，对交易携带的数字证书和数字签名进行验证，验证成功后，根据交易中携带的身份，确认客户端节点600是否是具有交易权限，数字签名和权限验证中的任何一个验证判断都将导致交易失败。验证成功后签署节点自己的数字签名(例如，共识节点410-1的私钥对交易的摘要进行加密得到)，将根据目标用户的操作意图，从多个候选推荐图片中确定出推荐图片，并将推荐图片记录到区块链网络400的账本中。

客户端节点700(终端200对应的节点)用于将目标用户信息发送至区块链网络400中。客户端节点700根据目标用户信息生成对应的查询交易，在查询交易中指定需要调用的智能合约、以及向智能合约传递的参数，交易还携带了客户端节点700的数字证书、签署的数字签名(例如，使用客户端节点700的数字证书中的私钥，对交易的摘要进行加密得到)，并将交易广播到区块链网络400中的共识节点410。

区块链网络400中的共识节点410中接收到交易时，对交易携带的数字证书和数字签名进行验证，验证成功后，根据交易中携带的身份，确认客户端节点700是否是具有交易权限，数字签名和权限验证中的任何一个验证判断都将导致交易失败。验证成功后签署节点自己的数字签名(例如，共识节点410-1的私钥对交易的摘要进行加密得到)，根据目标用户信息，确定目标用户的操作意图，并根据目标用户的操作意图，从多个候选推荐图片中确定出推荐图片，从账本中查询推荐图片对应的键值对，并返回交易结果。

下面说明本发明实施例提供的用于图片的操作意图处理的电子设备的结构，用于图片的操作意图处理的电子设备可以是各种终端，例如手机、电脑等，也可以是如图1示出的服务器100。

参见图3，图3是本发明实施例提供的用于图片的操作意图处理的电子设备500的结构示意图，图3所示的用于图片的操作意图处理的电子设备500包括：至少一个处理器510、存储器550、至少一个网络接口520和用户接口530。用于图片的操作意图处理的电子设备500中的各个组件通过总线系统540耦合在一起。可理解，总线系统540用于实现这些组件之间的连接通信。总线系统540除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图3中将各种总线都标为总线系统540。

处理器510可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。

用户接口530包括使得能够呈现媒体内容的一个或多个输出装置531，包括一个或多个扬声器和/或一个或多个视觉显示屏。用户接口530还包括一个或多个输入装置532，包括有助于用户输入的用户接口部件，比如键盘、鼠标、麦克风、触屏显示屏、摄像头、其他输入按钮和控件。

存储器550包括易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，Read Onl y Memory)，易失性存储器可以是随机存取存储器(RAM，Random Access M emory)。本发明实施例描述的存储器550旨在包括任意适合类型的存储器。存储器550可选地包括在物理位置上远离处理器510的一个或多个存储设备。

在一些实施例中，存储器550能够存储数据以支持各种操作，这些数据的示例包括程序、模块和数据结构或者其子集或超集，下面示例性说明。

操作系统551，包括用于处理各种基本系统服务和执行硬件相关任务的系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务；

网络通信模块552，用于经由一个或多个(有线或无线)网络接口520到达其他计算设备，示例性的网络接口520包括：蓝牙、无线相容性认证(WiFi)、和通用串行总线(USB，Universal Serial Bus)等；

显示模块553，用于经由一个或多个与用户接口530相关联的输出装置531(例如，显示屏、扬声器等)使得能够呈现信息(例如，用于操作外围设备和显示内容和信息的用户接口)；

输入处理模块554，用于对一个或多个来自一个或多个输入装置532之一的一个或多个用户输入或互动进行检测以及翻译所检测的输入或互动。

在一些实施例中，本发明实施例提供的图片的操作意图处理装置可以采用软硬件结合的方式实现，作为示例，本发明实施例提供的图片的操作意图处理装置可以是采用硬件译码处理器形式的处理器，其被编程以执行本发明实施例提供的图片的操作意图处理方法，例如，硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(ASIC，Application Specific Integrated Circui t)、DSP、可编程逻辑器件(PLD，ProgrammableLogic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable Logic Device)、现场可编程门阵列(FPGA，Field-Programmable Gate Array)或其他电子元件。

在另一些实施例中，本发明实施例提供的图片的操作意图处理装置可以采用软件方式实现，图3示出了存储在存储器550中的图片的操作意图处理装置555，其可以是程序和插件等形式的软件，并包括一系列的模块，包括识别模块5551、第一处理模块5552、确定模块5553、第二处理模块5554、以及发送模块5555；其中，识别模块5551、第一处理模块5552、确定模块5553、第二处理模块5554、以及发送模块5555用于实现本发明实施例提供的图片的操作意图处理方法。

根据上文可以理解，本发明实施例提供的图片的操作意图处理方法可以由各种类型的用于图片的操作意图处理的电子设备实施，例如智能终端和服务器等。

下面结合本发明实施例提供的服务器的示例性应用和实施，说明本发明实施例提供的图片的操作意图处理方法。参见图4，图4是本发明实施例提供的图片的操作意图处理方法的流程示意图，结合图4示出的步骤进行说明。

在步骤101中，对被操作的多个图片进行识别，以确定每个图片中的候选元素以及对应的属性。

例如，用户可以在终端的输入界面上输入被操作的多个图片，当输入完成后，终端可以将被操作的多个图片转发至服务器，服务器接收到被操作的多个图片后，可以对被操作的多个图片进行识别，以确定每个图片中的候选元素以及对应的属性，以便后续根据候选元素的属性确定候选元素的显著性。其中，被操作的多个图片可以是被不同用户(包括目标用户)操作过的图片，该操作可以是点击、活动等操作，该被操作的多个图片还可以是被目标用户操作过的图片。

在一些实施例中，候选元素的类型包括以下至少之一：物体、文本；对被操作的多个图片进行识别，以确定每个图片中的候选元素，包括：将被操作的多个图片进行边框回归处理，以确定多个图片中包括候选元素的多个边框，并对每个边框进行图像识别，以确定多个图片中的物体的类别，并对每个边框进行文本识别，以确定多个图片中的文本。

作为示例，有的图片中可能存在物体，有的图片中可能存在文本，例如，某广告图片中包括想要推广的服饰、即物体，还包括该服饰的品牌、即文本，则图片中的文本以及物体都可作为候选元素。为了识别出被操作的多个图片中每个图片中的候选元素，可以对每个图片分别进行图像识别以及文本识别，从而识别出每个图片中的物体和文本。

示例性地，对于图像识别，可以通过图像识别模型，先确定多个图片中包括物体的多个边框，即确定出多个图片中存在物体的部分，再对每个边框进行图像识别，以确定每个边框中物体的类别，从而确定出多个图片中的物体。对于文本识别，可以通过文本识别模型，先确定多个图片中包括文本的多个边框，即确定出多个图片中存在文本的部分，再对每个边框进行文本识别，以确定每个边框中文本的主题，从而确定出多个图片中的文本。为了确定图片中文本的主题，可以先对多个边框进行文本提取，以确定对应多个边框的文本信息，然后，对多个边框中的每个边框的文本信息中的每个词语进行分类处理，得到每个词语的主题概率分布，并对于各主题中的任一主题，执行以下处理：基于每个词语的主题概率分布，对主题的概率进行累加处理，得到边框的主题概率，将边框的各主题概率中的最大主题概率对应的主题确定为边框的文本，例如某边框中的文本信息为“巨暖绒毛皮鞋”，对“巨暖绒毛皮鞋”中的每个词语进行分类，确定“巨暖”、“绒毛”、“皮鞋”的主题概率分布，其中，“巨暖”的主题概率分布为[暖和：0.9；温度：0.1]，“绒毛”的主题概率分布为[暖和：0.8；柔软：0.2]，“皮鞋”的主题概率分布为[暖和：0.2；舒适：0.5；防水：0.3]，则将主题的概率累加后，“暖和”的概率最大、即为0.9+0.8+0.2＝1.9，则“巨暖绒毛皮鞋”的文本主题为“暖和”。

在一些实施例中，候选元素的属性包括候选元素在图片的中心位置标识；对被操作的多个图片进行识别，以确定每个图片中的候选元素的属性，包括：对于每个图片中的任一候选元素，执行以下处理：确定候选元素在图片中对应的各个像素点的坐标；当以多个坐标为边界所界定的区域包括图片的中心位置时，确定候选元素覆盖图片的中心点，并将候选元素在图片的中心位置标识设置为1。

示例性地，在服务器确定出多个图片中每个图片中的候选元素后，对于每个图片中候选元素，需要确定候选元素在图片中对应的各个像素点的坐标，并确定多个坐标的边缘坐标，从而确定边缘坐标所界定的该候选元素在图片中的区域，当该区域包括该图片的中心位置时，则确定候选元素覆盖图片的中心点，并将候选元素在图片的中心位置标识设置为1；当该区域不包括该图片的中心位置时，则确定候选元素未覆盖图片的中心点，并将候选元素在图片的中心位置标识设置为0。当候选元素在图片的中心位置标识设置为1时，说明该候选元素在图片的中心位置，该候选元素在图片中比较显著。

在一些实施例中，候选元素的属性包括候选元素在图片中的尺寸；对被操作的多个图片进行识别，以确定每个图片中的候选元素的属性，包括：对于每个图片中的任一候选元素，执行以下处理：根据候选元素在图片中的边缘坐标，确定候选元素在图片的外接矩形；将外接矩形的尺寸确定为候选元素在图片中的尺寸。

示例性地，在服务器确定出多个图片中每个图片中的候选元素后，对于每个图片中候选元素，需要确定候选元素在图片中对应的各个像素点的坐标，并确定多个坐标的边缘坐标，从而确定候选元素在图片的外接矩形，当该区域包括该图片的中心位置时，则将外接矩形的尺寸确定为候选元素在图片中的尺寸。候选元素在图片中的尺寸越大，则说明该候选元素在图片中比较显著。

在一些实施例中，候选元素的属性包括候选元素相对于图片的颜色差异；对被操作的多个图片进行识别，以确定每个图片中的候选元素的属性，包括：对于每个图片中的任一候选元素，执行以下处理：确定候选元素的平均颜色，以及确定图片背景的平均颜色；将候选元素的平均颜色、与图片背景的平均颜色的差值确定为候选元素相对于图片的颜色差异。

示例性地，在服务器确定出多个图片中每个图片中的候选元素后，对于每个图片中候选元素，需要确定候选元素在图片中每个像素，并取每个像素的平均值作为候选元素的平均颜色，并确定该图片中背景的平均颜色，将候选元素的平均颜色、与图片背景的平均颜色的差值确定为候选元素相对于图片的颜色差异。候选元素相对于图片的颜色差异越大，则说明该候选元素与背景的区别越大，该候选元素在图片中比较显著。

在步骤102中，根据每个图片中的候选元素的属性，从多个图片中筛选出满足显著性得分条件的多个候选元素以作为显著元素。

由于每个图片中的候选元素比较多，需要从被操作的多个图片中筛选出满足显著性得分条件的候选元素作为显著元素，以便后续根据显著性比较高的显著元素确定用户的操作意图。

图4示出步骤102可以通过步骤1021-1022实现。在步骤1021中，根据每个图片中的候选元素的属性，确定每个图片中的候选元素的显著性得分；在步骤1022中，根据每个图片中的候选元素的显著性得分，筛选出满足显著性得分条件的多个候选元素以作为显著元素。

示例性地，当服务器获得被操作的多个图片中每个图片中的候选元素后，可以先根据每个图片中的候选元素的属性，计算出每个图片中的候选元素的显著性得分，然后对每个图片中的候选元素的显著性得分进行排序，筛选出满足显著性得分条件的多个候选元素以作为显著元素，或者将每个图片中的候选元素的显著性得分与显著性得分阈值进行比较，筛选出满足显著性得分条件的多个候选元素以作为显著元素。

在一些实施例中，候选元素的属性包括候选元素在图片中的数量、尺寸、中心位置标识、以及候选元素相对于图片的颜色差异；根据每个图片中的候选元素的属性，确定每个图片中的候选元素的显著性得分，包括：对于每个图片中的候选元素中的任一候选元素，执行以下处理：确定候选元素在图像中的数量与图片中候选元素的总数量之间的第一相对关系，以及确定候选元素在图片中的尺寸与图片的尺寸之间的第二相对关系；根据候选元素的第一相对关系、第二相对关系、候选元素在图片的中心位置标识、以及候选元素相对于图片的颜色差异，确定候选元素的显著性得分。

示例性地，在服务器确定了候选元素在图片中的数量、尺寸、中心位置标识、以及候选元素相对于图片的颜色差异后，可以每个图片中的每个候选元素在图像中的数量与图片中候选元素的总数量之间的第一相对关系，以及确定候选元素在图片中的尺寸与图片的尺寸之间的第二相对关系，可以对候选元素的第一相对关系、第二相对关系、候选元素在图片的中心位置标识、以及候选元素相对于图片的颜色差异进行公式变形(例如，直接相加)，从而确定候选元素的显著性得分，以便后续根据候选元素的显著性得分确定显著元素。

在一些实施例中，根据候选元素的第一相对关系、第二相对关系、候选元素在图片的中心位置标识、以及候选元素相对于图片的颜色差异，确定候选元素的显著性得分，包括：确定数量对应的第一权重、尺寸对应的第二权重、颜色差异对应的第三权重、以及中心位置标识对应的第四权重；根据第一权重、第二权重、第三权重、第四权重、第一相对关系、第二相对关系、候选元素在图片的中心位置标识、以及候选元素相对于图片的颜色差异，确定候选元素的显著性得分为：

其中，α表示第一权重，β表示第二权重，γ表示第三权重，δ表示第四权重，

表示第一相对关系，

表示第二相对关系，colorGap_i表示候选元素相对于图片的颜色差异，isCenter_i表示候选元素在图片的中心位置标识，且α+β+γ+δ＝1。

承接上述示例，服务器可以预先确定数量对应的第一权重、尺寸对应的第二权重、颜色差异对应的第三权重、以及中心位置标识对应的第四权重，从而根据

确定候选元素的显著性得分。当然，该公式可以进行一定的数学变形，只要能确定候选元素的显著性即可。

在步骤103中，基于多个显著元素，对多个图片中被目标用户操作的图片进行遍历处理，以确定包括任意一个显著元素的目标图片。

例如，用户可以在终端的输入界面上输入目标用户操作的多个图片，当输入完成后，终端可以将目标用户操作的多个图片转发至服务器。当服务器确定显著元素后，可以基于多个显著元素对，对多个图片中被目标用户操作的图片进行遍历处理，以确定包括任意一个显著元素的目标图片、即目标图片中至少存在一个确定出的显著元素，以便后续根据目标图片以及显著元素，确定目标用户的操作意图。

在步骤104中，根据每个目标图片中的显著元素的显著性得分，确定目标用户对显著元素的操作偏好得分，并将目标图片中满足操作偏好得分条件的显著元素，作为目标用户的操作意图。

示例性地，在服务器从目标用户操作的多个图片中确定出多个目标图片后，需要确定出每个目标图片中至少一个显著元素的显著性得分，从而根据每个目标图片中显著元素的显著性得分，确定目标用户对显著元素的操作偏好得分，并将满足操作偏好得分条件的显著元素作为目标用户的操作意图，可以对显著元素的操作偏好得分进行排序，筛选出满足操作偏好得分条件的显著元素作为目标用户的操作意图，或者将显著元素的操作偏好得分与操作偏好得分阈值进行比较，筛选出满足操作偏好得分条件的显著元素作为目标用户的操作意图。

在一些实施例中，根据每个图片中的候选元素的显著性得分，筛选出满足显著性得分条件的多个候选元素以作为显著元素，包括：对于多个图片中的任一图片，执行以下处理：将图片中的候选元素进行聚合，并对聚合后剩余的候选元素的显著性得分进行降序排序，将降序排序中前N个候选元素确定为满足显著性得分条件的显著元素，其中，N为自然数；根据每个目标图片中的显著元素的显著性得分，确定目标用户对显著元素的操作偏好得分，并将目标图片中满足操作偏好得分条件的显著元素作为目标用户的操作意图，包括：对于N个显著元素中的任一显著元素执行以下处理：将显著元素在每个目标图片中的显著性得分进行累加处理，以确定目标用户对显著元素的操作偏好得分；对目标用户对每个显著元素的操作偏好得分进行降序排序，对于降序排序中前K个显著元素中的任一显著元素执行以下处理：当多个图片中的任一图片包括显著元素时，将显著元素确定为目标用户针对任一图片的操作意图；其中，K为自然数。

具体地，在服务器确定出候选元素的显著性得分后，由于该图片中可能存在重复的候选元素，因此可以对图片中的候选元素进行去重，即可以对于多个图片中的任一图片中的候选元素进行聚合去重，即将任一图片中的相同候选元素进行聚合，以达到去重的目的，例如，将多个相同的候选元素聚合为一个候选元素，并将多个相同的候选元素的显著性得分累加为一个候选元素的显著性得分，将聚合去重后的剩余候选元素的显著性得分进行降序排序，并将降序排序中前N个候选元素确定为满足显著性得分条件的显著元素，或者，将多个图片中的待处理元素进行去重，并将去重后剩余的待处理元素确定为满足显著性得分条件的显著元素。在服务器确定出显著元素以及目标图片后，对于N个显著元素中的任一显著元素执行以下处理：将显著元素在每个目标图片中的显著性得分进行累加处理，当该显著元素出现在当前遍历到的目标图片时，则加上该显著元素在该目标图片中的显著性得分；当该显著元素没有出现在当前遍历到的目标图片时，该显著元素在该目标图片中的显著性得分为0，将该显著元素累加处理后的得分确定为目标用户对该显著元素的操作偏好得分，并对目标用户对每个显著元素的操作偏好得分进行降序排序，对于降序排序中前K个显著元素的任一显著元素执行以下处理：当多个图片中的任一图片包括显著元素时，将显著元素确定为目标用户针对任一图片的操作意图，或者直接将降序排序中前K个显著元素确定为目标用户的操作意图(即目标用户对元素的偏好)。

示例性地，被操作的多个图片为图片1(包括候选元素1：显著性得分0.5；候选元素2：显著性得分0.2，候选元素3：显著性得分0.4)、图片2(包括候选元素1：显著性得分0.6；候选元素4：显著性得分0.3，候选元素5：显著性得分0.5)、图片3(包括候选元素1：显著性得分0.7；候选元素2：显著性得分0.4，候选元素5：显著性得分0.6)，将N设置为2，则确定出的显著元素为候选元素1、候选元素3、候选元素5，其中，图片1和图片2为目标图片，则确定显著元素的操作偏好得分(候选元素1的操作偏好得分为0.5+0.6＝1.1，候选元素3的操作偏好得分为0.4，候选元素5的操作偏好得分为0.5)，将K设置为2，则直接将候选元素1和候选元素5确定为目标用户的操作意图，或者将图片1中的候选元素1确定为目标用户针对图片1的操作意图、将图片2中的候选元素1和候选元素5确定为目标用户针对图片2的操作意图、将图片3中的候选元素1和候选元素5确定为目标用户针对图片3的操作意图。

在一些实施例中，根据每个图片中的候选元素的显著性得分，筛选出满足显著性得分条件的多个候选元素以作为显著元素，包括：对于多个图片中的任一图片，执行以下处理：对图片中的候选元素的显著性得分进行降序排序，将降序排序中前N个候选元素确定为图片中的显著元素，其中，N为自然数；根据每个目标图片中的显著元素的显著性得分，确定目标用户对显著元素的操作偏好得分，并将目标图片中满足操作偏好得分条件的显著元素作为目标用户的操作意图，包括：对于N个显著元素中的任一显著元素执行以下处理：将显著元素在每个目标图片中的显著性得分进行累加处理，以确定目标用户对显著元素的操作偏好得分；对于多个图片中的任一图片执行以下处理：将图片中的显著元素的操作偏好得分进行降序排序，将降序排序中前K个显著元素确定为目标用户对图片的操作意图；其中，K为自然数，且K小于N。

具体地，在服务器确定出候选元素的显著性得分后，可以对于多个图片中的任一图片中的候选元素的显著性得分进行降序排序，并将降序排序中前N个候选元素确定为图片中的待处理元素。在服务器确定出显著元素以及目标图片后，对于N个显著元素中的任一显著元素执行以下处理：将显著元素在每个目标图片中的显著性得分进行累加处理，当该显著元素出现在当前遍历到的目标图片时，则加上该显著元素在该目标图片中的显著性得分；当该显著元素没有出现在当前遍历到的目标图片时，该显著元素在该目标图片中的显著性得分为0，将该显著元素累加处理后的得分确定为目标用户对该显著元素的操作偏好得分。对于多个图片中的任一图片执行以下处理：对目标用户对图片中显著元素的操作偏好得分进行降序排序，将降序排序中前K个显著元素确定为目标用户对图片的操作意图；或者多个图片中的任一图片执行以下处理：对目标用户对图片中显著元素的操作偏好得分进行降序排序，将每个图片降序排序中前K个显著元素集合起来，将集合后的元素确定为目标用户的操作意图(即目标用户对元素的偏好)。

示例性地，被操作的多个图片为图片1(包括候选元素1：显著性得分0.5；候选元素2：显著性得分0.2，候选元素3：显著性得分0.4)、图片2(包括候选元素1：显著性得分0.6；候选元素4：显著性得分0.3，候选元素5：显著性得分0.5)、图片3(包括候选元素1：显著性得分0.7；候选元素2：显著性得分0.4，候选元素5：显著性得分0.6)，将N设置为2，则确定出的显著元素为图片1中的候选元素1和候选元素3、图片2中的包括候选元素1：显著性得分0.6和候选元素5、图片3中的候选元素1和候选元素5。其中，图片1和图片2为目标图片，则确定显著元素的操作偏好得分(候选元素1的操作偏好得分为0.5+0.6＝1.1，候选元素3的操作偏好得分为0.4，候选元素5的操作偏好得分为0.5)，将K设置为2，则直接将候选元素1、候选元素3和候选元素5确定为目标用户的操作意图，或者将图片1中的候选元素1和候选元素3确定为目标用户针对图片1的操作意图、将图片2中的候选元素1和候选元素5确定为目标用户针对图片2的操作意图、将图片3中的候选元素1和候选元素5确定为目标用户针对图片3的操作意图。

在一些实施例中，在确定目标用户的操作意图后，将目标用户的操作意图发送至区块链网络中，以使区块链网络中部署的智能合约根据目标用户的操作意图，对多个候选推荐图片进行匹配处理，从多个候选推荐图片中确定出推荐图片。

示例性地，在服务器确定目标用户的操作意图后，根据目标用户的操作意图生成对应更新操作的交易，在交易中指定了实现更新操作需要调用的智能合约、以及向智能合约传递的参数，服务器将目标用户的操作意图发送至区块链网络中，区块链网络接收到目标用户的操作意图后，调用智能合约，对交易携带的数字证书和数字签名进行验证，验证成功后，根据目标用户的操作意图，从多个候选推荐图片中确定出推荐图片，并将推荐图片记录到区块链网络的账本中，以便后续终端在区块链网络的账本中查询推荐图片。

至此已经结合本发明实施例提供的服务器的示例性应用和实施，说明本发明实施例提供的图片的操作意图处理方法，下面继续说明本发明实施例提供的图片的操作意图处理装置555中各个模块配合实现图片的操作意图处理的方案。

识别模块5551，用于对被操作的多个图片进行识别，以确定每个所述图片中的候选元素以及对应的属性；第一处理模块5552，用于根据每个所述图片中的候选元素的属性，从所述多个图片中筛选出满足显著性得分条件的多个候选元素以作为显著元素；确定模块5553，用于基于多个所述显著元素，对所述多个图片中被目标用户操作的图片进行遍历处理，以确定包括任意一个所述显著元素的目标图片；第二处理模块5554，用于根据每个所述目标图片中的显著元素的显著性得分，确定所述目标用户对所述显著元素的操作偏好得分，并将所述目标图片中满足操作偏好得分条件的显著元素，作为所述目标用户的操作意图。

上述技术方案中，所述第一处理模块5552还用于根据每个所述图片中的候选元素的属性，确定每个所述图片中的候选元素的显著性得分；根据每个所述图片中的候选元素的显著性得分，筛选出满足显著性得分条件的多个候选元素以作为显著元素。

上述技术方案中，所述候选元素的属性包括所述候选元素在所述图片中的数量、尺寸、中心位置标识、以及所述候选元素相对于所述图片的颜色差异；所述第一处理模块5552还用于对于每个所述图片中的候选元素中的任一候选元素，执行以下处理：确定所述候选元素在所述图像中的数量与所述图片中候选元素的总数量之间的第一相对关系，以及确定所述候选元素在所述图片中的尺寸与所述图片的尺寸之间的第二相对关系；根据所述候选元素的所述第一相对关系、所述第二相对关系、所述候选元素在所述图片的中心位置标识、以及所述候选元素相对于所述图片的颜色差异，确定所述候选元素的显著性得分。

上述技术方案中，所述第一处理模块5552还用于确定所述数量对应的第一权重、所述尺寸对应的第二权重、所述颜色差异对应的第三权重、以及所述中心位置标识对应的第四权重；根据所述第一权重、所述第二权重、所述第三权重、所述第四权重、所述第一相对关系、所述第二相对关系、所述候选元素在所述图片的中心位置标识、以及所述候选元素相对于所述图片的颜色差异，确定所述候选元素的显著性得分为：

其中，所述α表示所述第一权重，所述β表示所述第二权重，所述γ表示所述第三权重，所述δ表示所述第四权重，所述

表示所述第一相对关系，所述

表示所述第二相对关系，所述colorGap_i表示所述候选元素相对于所述图片的颜色差异，所述isCenter_i表示所述候选元素在所述图片的中心位置标识，且α+β+γ+δ＝1。

上述技术方案中，所述第一处理模块5552还用于对于所述多个图片中的任一图片，执行以下处理：将所述图片中的候选元素进行聚合，并对聚合后剩余的候选元素的显著性得分进行降序排序，将降序排序中前N个候选元素确定为满足显著性得分条件的显著元素，其中，所述N为自然数；所述第二处理模块5554还用于对于所述N个显著元素中的任一显著元素执行以下处理：将所述显著元素在每个所述目标图片中的显著性得分进行累加处理，以确定所述目标用户对所述显著元素的操作偏好得分；对所述目标用户对每个所述显著元素的操作偏好得分进行降序排序，对于降序排序中前K个显著元素中的任一显著元素执行以下处理：当所述多个图片中的任一图片包括所述显著元素时，将所述显著元素确定为所述目标用户针对所述任一图片的操作意图；其中，K为自然数。

上述技术方案中，所述第一处理模块5552还用于对于所述多个图片中的任一图片，执行以下处理：对所述图片中的候选元素的显著性得分进行降序排序，将降序排序中前N个候选元素确定为所述图片中的显著元素，其中，所述N为自然数；所述第二处理模块5554还用于对于N个所述显著元素中的任一显著元素执行以下处理：将所述显著元素在每个所述目标图片中的显著性得分进行累加处理，以确定所述目标用户对所述显著元素的操作偏好得分；对于所述多个图片中的任一图片执行以下处理：将所述图片中的显著元素的操作偏好得分进行降序排序，将降序排序中前K个显著元素确定为所述目标用户对所述图片的操作意图；其中，K为自然数，且K小于N。

上述技术方案中，所述候选元素的类型包括以下至少之一：物体；文本；所述识别模块5551还用于将所述被操作的多个图片进行边框回归处理，以确定所述多个图片中包括候选元素的多个边框，并对每个所述边框进行图像识别，以确定所述多个图片中的物体的类别，并对每个所述边框进行文本识别，以确定所述多个图片中的文本。

上述技术方案中，所述候选元素的属性包括所述候选元素在所述图片的中心位置标识；所述识别模块5551还用于对于每个所述图片中的任一候选元素，执行以下处理：确定所述候选元素在所述图片中对应的各个像素点的坐标；当以所述多个坐标为边界所界定的区域包括所述图片的中心位置时，确定所述候选元素覆盖所述图片的中心点，并将所述候选元素在所述图片的中心位置标识设置为1。

上述技术方案中，所述候选元素的属性包括所述候选元素在所述图片中的尺寸；所述识别模块5551还用于对于每个所述图片中的任一候选元素，执行以下处理：根据所述候选元素在所述图片中的边缘坐标，确定所述候选元素在所述图片的外接矩形；将所述外接矩形的尺寸确定为所述候选元素在所述图片中的尺寸。

上述技术方案中，所述候选元素的属性包括所述候选元素相对于所述图片的颜色差异；所述识别模块还用于对于每个所述图片中的任一候选元素，执行以下处理：确定所述候选元素的平均颜色，以及确定所述图片背景的平均颜色；将所述候选元素的平均颜色、与所述图片背景的平均颜色的差值确定为所述候选元素相对于所述图片的颜色差异。

上述技术方案中，所述图片的操作意图处理装置555还包括：发送模块5555，用于将所述目标用户的操作意图发送至区块链网络中，以使所述区块链网络中部署的智能合约根据所述目标用户的操作意图，对多个候选推荐图片进行匹配处理，从所述多个候选推荐图片中确定出推荐图片。

下面结合本发明实施例提供的终端的示例性应用和实施，说明本发明实施例提供的图像推荐方法。参见图5，图5是本发明实施例提供的用于图像推荐的电子设备600的结构示意图，图5所示的用于图像推荐的电子设备600包括：至少一个处理器610、存储器650、至少一个网络接口620和用户接口630。其中，处理器610、存储器650、至少一个网络接口620和用户接口630的功能分别与处理器510、存储器550、至少一个网络接口520和用户接口530的功能类似，即输出装置631、输入装置632的功能与输出装置531、输入装置532的功能类似，操作系统651、网络通信模块652、显示模块653、输入处理模块654的功能分别与操作系统551、网络通信模块552、显示模块553、输入处理模块554的功能类似，不做赘述。

在另一些实施例中，本发明实施例提供的图像推荐装置可以采用软件方式实现，图5示出了存储在存储器650中的图像推荐装置655，其可以是程序和插件等形式的软件，并包括一系列的模块，包括接收模块6551、以及呈现模块6552；其中，接收模块6551、以及呈现模块6552用于实现本发明实施例提供的图像推荐方法。

下面结合本发明实施例提供的终端的示例性应用和实施，说明本发明实施例提供的图像推荐方法。参见图6，图6是本发明实施例提供的图像推荐方法的流程示意图，结合图6示出的步骤进行说明。

在步骤201中，接收用于在客户端中展示的推荐图片。

其中，图片中包括符合目标用户的操作意图的元素。目标用户在登录客户端后，客户端将目标用户的信息发送至服务器，例如目标用户的账户(ID，Ide ntity Document)，服务器接收到目标用户的ID后，将根据目标用户的ID，得到目标用户的目标用户的操作意图，并根据目标用户的操作意图中的元素，对多个候选推荐图片进行匹配，从多个候选推荐图片中确定出推荐图片，服务器将推荐图片发送至客户端，客户端接收该推荐图片。

示例性地，当目标用户的操作意图为多个元素时、即目标用户对元素的偏好，服务器确定出目标用户的操作意图中的元素，并根据目标用户的操作意图中的元素，对多个候选推荐图片进行匹配，确定出候选推荐图片中对应目标用户的操作意图的显著性得分累加和，则将累加和最高的候选推荐图片确定为推荐图片，例如元素1、元素2为目标用户的操作意图，候选推荐图片为图片1、图片2、图片3，其中，图片1(包括元素1：显著性得分0.5；元素2：显著性得分0.2，元素3：显著性得分0.4)、图片2(包括元素1：显著性得分0.6；元素4：显著性得分0.3，元素5：显著性得分0.5)、图片3(包括元素1：显著性得分0.7；元素2：显著性得分0.4，元素5：显著性得分0.6)，确定图片1(累加和为0.5+0.2＝0.7)、图片2(累加和为0.6)、图片3(累加和0.7+0.4＝1.1)，图片3的累加和最高，则将图片3确定为推荐图片。或者，直接根据目标用户的操作意图中的元素，对多个候选推荐图片进行匹配，候选推荐图片中匹配到目标用户的操作意图中的元素最多的候选推荐图片确定为推荐图片。

示例性地，当目标用户的操作意图为目标用户对图片中元素的偏好时，服务器确定出目标用户的操作意图中的元素，并根据目标用户的操作意图中的元素，对多个候选推荐图片进行匹配，确定出候选推荐图片中对应目标用户的操作意图的元素的相似度，则将相似度最高的候选推荐图片确定为推荐图片，例如图片4中元素1为目标用户的操作意图，候选推荐图片为图片1、图片2、图片3，其中，图片1与图片4中元素1的相似度为0.9、图片2与图片4中元素1的相似度为0.4、图片3与图片4中元素1的相似度为0.3，则将图片1确定为推荐图片。

在一些实施例中，在接收用于在客户端中展示的推荐图片之前，将登录客户端的目标用户的信息发送至区块链网络中，以使区块链网络中部署的智能合约根据目标用户的信息，确定目标用户的点击意图，并根据目标用户的点击意图，对多个候选推荐图片进行匹配处理，从多个候选推荐图片中确定出对应用户的推荐图片，当区块链网络中的共识节点对推荐图片的共识验证通过时，客户端接收通过共识验证的推荐图片。

在步骤202中，当客户端中呈现用于推荐信息的展示位时，在客户端的展示位中呈现推荐图片。

其中，推荐图片为根据符合目标用户的操作意图中的元素，对多个候选推荐图片进行匹配确定的。在客户端接收到推荐图片后，当客户端呈现用于推荐信息的展示位时，在客户端的展示位中呈现该推荐图片。例如，当目标用户登录某阅读应用后，在滑动的过程中，该阅读应用呈现广告展示位，则在该广告展示位呈现推荐图片(推荐广告)。

至此已经说明本发明实施例提供的图片推荐方法，下面继续说明本发明实施例提供的图片推荐装置655中各个模块配合实现图片推荐的方案。

接收模块6551，用于接收用于在客户端中展示的推荐图片，所述图片中包括符合目标用户的操作意图的元素；呈现模块6552，用于当所述客户端中呈现用于推荐信息的展示位时，在所述客户端的所述展示位中呈现所述推荐图片；其中，所述推荐图片为根据符合所述目标用户的操作意图中的元素，对多个候选推荐图片进行匹配确定的。

在一些实施例中，所述图片推荐装置655还包括：发送模块6553，用于将登录所述客户端的目标用户的信息发送至区块链网络中，以使所述区块链网络中部署的智能合约根据所述目标用户的信息，确定所述目标用户的点击意图，并根据所述目标用户的点击意图，对多个候选推荐图片进行匹配处理，从所述多个候选推荐图片中确定出所述推荐图片；所述接收模块6551还用于当所述区块链网络中的共识节点对所述推荐图片的共识验证通过时，接收通过共识验证的所述推荐图片。

接下来结合终端(包括客户端)以及服务器继续对本发明实施例提供的图片的操作意图处理方法进行介绍，图7为本发明提供的图片的操作意图处理方法的一个可选的流程示意图，参见图7，本发明实施例提供的图片的操作意图处理方法包括：

在步骤301中，客户端发送目标用户的信息至服务器。

目标用户在登录客户端后，客户端将目标用户的信息发送至服务器，例如目标用户的账户(ID，Identity Document)。

在步骤302中，服务器根据目标用户的信息，确定目标用户操作的图片。

例如，服务器根据目标用户的账号，确定目标用户点击过的广告图片。

在步骤303中，服务器对被操作的多个图片进行识别，以确定每个图片中的候选元素以及对应的属性。

其中，被操作的多个图片可以是被不同用户(包括目标用户)操作过的图片，该操作可以是点击、活动等操作，该被操作的多个图片还可以是被目标用户操作过的图片。有的图片中可能存在物体，有的图片中可能存在文本，例如，某广告图片中包括想要推广的服饰、即物体，还包括该服饰的品牌、即文本，则图片中的文本以及物体都可作为候选元素。其中，候选元素的属性包括候选元素在图片中的数量、尺寸、中心位置标识、以及候选元素相对于图片的颜色差异。

在步骤304中，服务器根据每个图片中的候选元素的属性，从多个图片中筛选出多个候选元素以作为显著元素。

在一些实施例中，可以根据每个图片中的候选元素的属性，确定每个图片中的候选元素的显著性得分；根据每个图片中的候选元素的显著性得分，筛选出满足显著性得分条件的多个候选元素以作为显著元素。

在步骤305中，服务器基于多个显著元素，对多个图片中被目标用户操作的图片进行遍历处理，以确定包括任意一个显著元素的目标图片。

在步骤306中，服务器根据每个目标图片中的显著元素的显著性得分，确定目标用户对显著元素的操作偏好得分，并将目标图片中满足操作偏好得分条件的显著元素，作为目标用户的操作意图。

在一些实施例中，根据每个图片中的候选元素的显著性得分，筛选出满足显著性得分条件的多个候选元素以作为显著元素，包括：对于多个图片中的任一图片，执行以下处理：对图片中的候选元素的显著性得分进行降序排序，将降序排序中前N个候选元素确定为图片中的待处理元素，并将图片中的待处理元素进行去重，并将去重后剩余的待处理元素确定为满足显著性得分条件的显著元素，其中，N为自然数；根据每个目标图片中的显著元素的显著性得分，确定目标用户对显著元素的操作偏好得分，并将目标图片中满足操作偏好得分条件的显著元素作为目标用户的操作意图，包括：对于N个显著元素中的任一显著元素执行以下处理：将显著元素在每个目标图片中的显著性得分进行累加处理，以确定目标用户对显著元素的操作偏好得分；对目标用户对每个显著元素的操作偏好得分进行降序排序，对于降序排序中前K个显著元素中的任一显著元素执行以下处理：当多个图片中的任一图片包括显著元素时，将显著元素确定为目标用户针对任一图片的操作意图；其中，K为自然数。

在一些实施例中，根据每个图片中的候选元素的显著性得分，筛选出满足显著性得分条件的多个候选元素以作为显著元素，包括：对于多个图片中的任一图片，执行以下处理：对图片中的候选元素的显著性得分进行降序排序，将降序排序中前N个候选元素确定为图片中的显著元素，其中，N为自然数；根据每个目标图片中的显著元素的显著性得分，确定目标用户对显著元素的操作偏好得分，并将目标图片中满足操作偏好得分条件的显著元素作为目标用户的操作意图，包括：对于N个显著元素中的任一显著元素执行以下处理：将显著元素在每个目标图片中的显著性得分进行累加处理，以确定目标用户对显著元素的操作偏好得分；对于多个图片中的任一图片执行以下处理：将图片中的显著元素的操作偏好得分进行降序排序，将降序排序中前K个显著元素确定为目标用户对图片的操作意图；其中，K为自然数，且K小于N。

在步骤307中，服务器根据目标用户的点击意图的元素，对多个候选推荐图片进行匹配处理，从多个候选推荐图片中确定出推荐图片。

其中，推荐图片为根据符合目标用户的操作意图中的元素。

在步骤308中，服务器发送推荐图片至客户端。

在步骤309中，当客户端中呈现用于推荐信息的展示位时，在客户端的展示位中呈现推荐图片。

示例性地，在客户端接收到推荐图片后，当客户端呈现用于推荐信息的展示位时，在客户端的展示位中呈现该推荐图片。例如，当目标用户登录某阅读应用后，在滑动的过程中，该阅读应用呈现广告展示位，则在该广告展示位呈现推荐图片(推荐广告)。

本发明实施例还提供一种存储有可执行指令的计算机可读存储介质，其中存储有可执行指令，当可执行指令被处理器执行时，将引起处理器执行本发明实施例提供的图片的操作意图处理方法或图片推荐方法，例如，如图4示出的图片的操作意图处理方法，或如图6示出的图片推荐方法。

在一些实施例中，存储介质可以是FRAM、ROM、PROM、EPROM、EE PROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。

在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言(包括编译或解释语言，或者声明性或过程性语言)来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。

作为示例，可执行指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言(HTML，Hyper TextMarkup Language)文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件(例如，存储一个或多个模块、子程序或代码部分的文件)中。

作为示例，可执行指令可被部署为在一个计算设备(包括智能终端和服务器在内的设备)上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。

下面，将说明本发明实施例在一个实际的应用场景中的示例性应用。

本发明实施例可以应用于图片推荐中，例如广告推荐、即为用户推荐个性化的广告图片，如图1所示，终端200通过网络300连接部署在云端的服务器100，在终端上安装某社交应用，在目标用户登录该社交应用后，社交应用将目标用户的账号通过网络300发送到服务器100，服务器100执行本发明实施例提供的图片的操作意图处理方法，对被操作的多个广告图片以及目标用户操作的多个广告图片进行一系列处理，确定目标用户的操作意图，服务器根据目标用户的点击意图的元素，对多个候选推荐广告图片进行匹配处理，从多个候选推荐广告图片中确定出推荐广告图片，服务器发送推荐广告图片至客户端，当客户端中呈现用于推荐广告信息的展示位时，在客户端的展示位中呈现推荐广告图片。

相关技术中，广告推荐算法中常见的利用图像技术挖掘用户广告点击行为意图(操作意图)进行个性化广告推荐的方法主要分为以下两类：1)利用CNN算法检测广告图片中的元素标签，统计用户在各元素标签上的历史点击次数，从而刻画用户广告点击意图；2)利用CNN算法计算广告图片隐层(神经网络包括有多个神经元“层”，即输入层、隐层及输出层，输入层负责接收输入及分发到隐层，隐层负责所需的计算及输出结果至输出层)，联合用户侧特征联合训练广告点击率预估模型。

然而，相关技术存在如下缺点：1)由于广告图片中元素众多，统计用户在所有元素标签的历史点击次数的计算量偏大，而且统计结果容易受高频标签(用户点击次数多的元素)影响，需要额外引入如TF-IDF等模型进一步消除高频标签影响，流程繁琐，其计算复杂度高；2)虽然将CNN模型结构和点击率预估模型联合建模有助于挖掘用户广告图片点击意图，但是该方法受限于联合建模的点击率预估模型必须也是神经网络模型结构，对于树模型等非神经网络结构的适配较差，且存在神经网络模型可解释性差的共性问题。

为了解决上述问题，本发明实施例提出一种图片的操作意图处理方法，基于图像技术检测识别广告图片中的元素(如商品、前后景等)，并基于多种元素属性(如面积、位置等)刻画各元素的显著性，结合用户历史点击行为挖掘用户点击广告意图，从而提升个性化广告推荐的性能。由于本发明实施例提出广告图片元素显著性，因此，可以更精准地挖掘用户点击广告图片意图，且根据广告图片显著性的通用计算规则，有利于在不同广告场景下进行扩展使用以及效果复盘。

本发明实施例的主要应用场景为社交广告，包括社交小程序广告、社交公众号广告、社交朋友圈广告等，其它个性化展示广告图片平台亦可使用。图8是本发明实施例提供的社交小程序的界面示意图，图9是本发明实施例提供的社交公众号的界面示意图，图10是本发明实施例提供的社交朋友圈的界面示意图，如图8所示，在用户登录社交小程序后，可以呈现社交小程序的功能界面，并在广告展示位801中为用户呈现推荐的广告图片；如图9所示，在用户进入社交公众号后，可以呈现社交公众的文章界面，为用户呈现公众号的相关内容，当用户阅读到文章的底部、广告展示位时，在广告展示位901中为用户呈现推荐的广告图片；如图10所示，在用户打开社交朋友圈后，可以呈现社交朋友圈，当用户在刷朋友圈的过程中，刷到广告展示位时，在广告展示位1001中为用户呈现推荐的广告图片。其中，不同用户使用同一个小程序或阅读同一篇公众号文章所看到的广告会存在差异、即千人千面，因此，在个性化广告推荐挖掘广告点击意图起着举足轻重的作用。

广告主在设计广告图片时往往是希望突出某些产品，但是这种意图是否与用户点击广告时的意图吻合是很难判断的。如图11A-11B所示，图11A-11B是本发明实施例提供的手表广告示意图，图11A和图11B都展示了同品牌(AA手表)的手表广告图片，“AA手表”品牌字眼以外的手表图案显著性程度存在明显差异。如果用户并不知道该品牌，图11A的广告甚至可以理解成是酒类广告，本发明实施例可以通过计算广告图片中的显著元素，借助大数据分析，能更客观、准确地捕捉用户点击意图，也可以是其他的操作意图，例如，滑动意图、双击意图等。

本发明实施例中的操作意图以点击意图为例，例如，在终端上安装某社交应用，在目标用户登录该社交应用后，社交应用将目标用户的账号发送到服务器，服务器执行本发明实施例提供的图片的操作意图处理方法，对被操作的多个广告图片以及目标用户操作的多个广告图片进行一系列处理，确定目标用户的操作意图。如图12所示，图12是本发明实施例提供的图片的操作意图处理方法的流程示意图，具体分为图像元素检测处理(包括元素语义识别、元素外接矩形坐标检测、元素前后景色彩检测等)、元素显著性计算、结合目标用户历史广告图片点击行为挖掘目标用户点击意图。下面具体说明图片的操作意图处理方法：

(1)图片元素检测处理

图片元素检测处理主要利用图像处理技术(如Faster RCNN)进行显著性相关属性的检测识别。元素的属性包括图片里“有什么”、“有多少”、“在哪里”、“有多大”、“颜色显眼与否”等。

其中，“有什么”是指图片中有哪些元素，元素包含两部分(图片中有哪些物体和图片中的各文字的主题)，以下统称元素标签，用tagID标识；“有多少”表示每个tagID的个数，用tagCnt标识；“在哪里”表示tagID是否覆盖图片中心点，用isCenter标识(当tagID覆盖图片中心点，则isCenter为1；当tagID未覆盖图片中心点，则isCenter为0)；“有多大”表示tagID外接矩形尺寸，用area标识；“颜色显眼与否”表示tagID颜色相对于图片的颜色差异，用colorG ap标识，例如，将tagID的平均颜色与图片背景的平均颜色的差值确定为colorGap。其中，当某广告图片中检测出多个同一tagID，则对该tagID进行聚合，将多个同一tagID聚合成一个tagID。

其中，可以通过Faster RCNN方法识别图片中的物体，其识别过程为：1)人工标注适用于广告场景的标签样本；2)使用Faster RCNN算法训练物体识别模型；3)使用训练好的物体识别模型进行广告图片的物体识别，识别出的图片中的物体的信息，该信息包括：标签ID、标签外接矩形边框的左上角和右下角坐标、标签识别准确率，当物体的标签识别准确率大于阈值时，可以确定出图片中的物体属于标签ID。

其中，可以通过自然语言处理(NLP，Natural Language Processing)方法识别图片中文本主题，其识别过程为：1)确定图片的文本信息；2)对文本信息中的每个词语进行分类处理，得到每个词语的主题概率分布；3)基于每个词语的主题概率分布，对主题的概率进行累加处理，得到文本信息的主题概率；4)将最大主题概率对应的主题确定为文本信息的主题。

(2)元素显著性计算

对于一张广告图片中的某个tagID，其显著性得分的计算主要通过如公式(1)得来：

α+β+γ+δ＝1

其中，α表示数量的权重，β表示尺寸的权重，γ表示colorGap的权重，δ表示isCenter的权重，imgArea表示广告图片的尺寸，各项权重根据具体广告场景调整设置。

(3)用户广告点击意图挖掘

通过公式(1)计算公式，计算出广告图片中tagID的显著性得分，每张广告图片按照显著性得分降序排序，取前N个元素(tag)，其余tagID舍弃。

取一段时间窗口的目标用户的点击行为(如最近30天)，目标用户点击过一张广告图片时，视作对广告图片中的所有tagID均产生过一次点击行为，目标用户对广告图片中tagID的点击得分clickScore＝salienceScore，当目标用户点击的不同图片包含相同的tagID时，将对应tagID的clickScore和值作为目标用户点击该tagID的点击偏好得分。

将目标用户点击各tagID的点击偏好得分降序排序，取前K个tagID表示目标用户的点击意图，例如，对手表(点击偏好得分为0.9)、酒(点击偏好得分为0.2)、衣服(点击偏好得分为0.7)的点击偏好得分降序排序，则手表、衣服表示目标用户的点击意图。另外，还可以将目标用户点击各tagID的点击偏好得分降序排序，取前K个tagID，当广告图片包括前K个tagID中的至少一个tagID时，将前K个tagID中的至少一个tagID确定为目标用户针对广告图片的点击意图，例如对手表(点击偏好得分为0.9)、酒(点击偏好得分为0.2)、衣服(点击偏好得分为0.7)的点击偏好得分降序排序，则取手表、衣服两个tagID，当广告图片包括手表时，则将手表确定为目标用户针对广告图片的点击意图。

当服务器确定目标用户的点击意图后，服务器根据目标用户的点击意图的元素，对多个候选推荐广告图片进行匹配处理，从多个候选推荐广告图片中确定出推荐广告图片。当目标用户的点击意图为多个元素(tagID)时、即目标用户对元素的偏好，服务器确定出目标用户的点击意图中的元素，并根据目标用户的点击意图中的元素，对多个候选推荐广告图片进行匹配，确定出候选推荐广告图片中对应目标用户的点击意图的显著性得分累加和，则将累加和最高的候选推荐广告图片确定为推荐广告图片；当目标用户的点击意图为目标用户针对广告图片的点击意图(目标用户对广告图片中元素的偏好)时，服务器确定出目标用户的点击意图中的元素，并根据目标用户的点击意图中的元素，对多个候选推荐广告图片进行匹配，确定出候选推荐广告图片中对应目标用户的点击意图的元素的相似度，则将相似度最高的候选推荐广告图片确定为推荐广告图片。

在服务器确定推荐广告图片后，服务器发送推荐广告图片至客户端，当客户端中呈现用于推荐广告信息的展示位时，在客户端的展示位中呈现推荐广告图片，如图8-10所示，当目标用户点击推荐广告图片后，可以放大该推荐广告图片，以便更清楚地查看推荐广告图片，还可以跳转链接，以查看该推荐广告图片的相关信息。

综上，相关技术中，根据点击行为挖掘用户点击意图时，需要在用户侧引入特殊处理(如TF-IDF)来减少高频标签对结果区分度的影响，本发明实施例无需计算TF-IDF，根据元素的显著性，确定用户的点击意图，更符合广告主设计广告图片的意图，也更符合用户点击广告时的视觉感受；通过广告图片的显著挖掘用户点击意图，在社交小程序这样场景复杂的广告平台有更优异的效果表现，相对于社交公众号、社交朋友圈等单一的产品形态，社交小程序形态多样，不显著的元素很难被用户及时捕捉，而本发明实施例能更准确挖掘用户点击意图。

以上，仅为本发明的实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本发明的保护范围之内。

Claims (15)

1.一种图片的操作意图处理方法，其特征在于，所述方法包括：

对被操作的多个图片进行识别，以确定每个所述图片中的候选元素以及对应的属性；

根据每个所述图片中的候选元素的属性，从所述多个图片中筛选出满足显著性得分条件的多个候选元素以作为显著元素；

基于多个所述显著元素，对所述多个图片中被目标用户操作的图片进行遍历处理，以确定包括任意一个所述显著元素的目标图片；

根据每个所述目标图片中的显著元素的显著性得分，确定所述目标用户对所述显著元素的操作偏好得分，并

将所述目标图片中满足操作偏好得分条件的显著元素，作为所述目标用户的操作意图。

2.根据权利要求1所述的方法，其特征在于，所述根据每个所述图片中的候选元素的属性，从所述多个图片中筛选出满足显著性得分条件的多个候选元素以作为显著元素，包括：

根据每个所述图片中的候选元素的属性，确定每个所述图片中的候选元素的显著性得分；

根据每个所述图片中的候选元素的显著性得分，筛选出满足显著性得分条件的多个候选元素以作为显著元素。

3.根据权利要求2所述的方法，其特征在于，

所述候选元素的属性包括所述候选元素在所述图片中的数量、尺寸、中心位置标识、以及所述候选元素相对于所述图片的颜色差异；

所述根据每个所述图片中的候选元素的属性，确定每个所述图片中的候选元素的显著性得分，包括：

对于每个所述图片中的候选元素中的任一候选元素，执行以下处理：

确定所述候选元素在图像中的数量与所述图片中候选元素的总数量之间的第一相对关系，以及确定所述候选元素在所述图片中的尺寸与所述图片的尺寸之间的第二相对关系；

根据所述候选元素的所述第一相对关系、所述第二相对关系、所述候选元素在所述图片的中心位置标识、以及所述候选元素相对于所述图片的颜色差异，确定所述候选元素的显著性得分。

4.根据权利要求3所述的方法，其特征在于，所述根据所述候选元素的所述第一相对关系、所述第二相对关系、所述候选元素在所述图片的中心位置标识、以及所述候选元素相对于所述图片的颜色差异，确定所述候选元素的显著性得分，包括：

确定所述数量对应的第一权重、所述尺寸对应的第二权重、所述颜色差异对应的第三权重、以及所述中心位置标识对应的第四权重；

根据所述第一权重、所述第二权重、所述第三权重、所述第四权重、所述第一相对关系、所述第二相对关系、所述候选元素在所述图片的中心位置标识、以及所述候选元素相对于所述图片的颜色差异，确定所述候选元素的显著性得分为：

其中，所述a表示所述第一权重，所述β表示所述第二权重，所述γ表示所述第三权重，所述δ表示所述第四权重，所述

表示所述第一相对关系，所述

表示所述第二相对关系，所述colorGap_i表示所述候选元素相对于所述图片的颜色差异，所述isCenter_i表示所述候选元素在所述图片的中心位置标识，且α+β+γ+δ＝1。

5.根据权利要求2所述的方法，其特征在于，所述根据每个所述图片中的候选元素的显著性得分，筛选出满足显著性得分条件的多个候选元素以作为显著元素，包括：

对于所述多个图片中的任一图片，执行以下处理：

将所述图片中的候选元素进行聚合，并

对聚合后剩余的候选元素的显著性得分进行降序排序，将降序排序中前N个候选元素确定为满足显著性得分条件的显著元素，其中，所述N为自然数；

所述根据每个目标图片中的显著元素的显著性得分，确定所述目标用户对所述显著元素的操作偏好得分，并将所述目标图片中满足操作偏好得分条件的显著元素，作为所述目标用户的操作意图，包括：

对于所述N个显著元素中的任一显著元素执行以下处理：将所述显著元素在每个所述目标图片中的显著性得分进行累加处理，以确定所述目标用户对所述显著元素的操作偏好得分；

对所述目标用户对每个所述显著元素的操作偏好得分进行降序排序，对于降序排序中前K个显著元素中的任一显著元素执行以下处理：

当所述多个图片中的任一图片包括所述显著元素时，将所述显著元素确定为所述目标用户针对所述任一图片的操作意图；其中，K为自然数。

6.根据权利要求2所述的方法，其特征在于，所述根据每个所述图片中的候选元素的显著性得分，筛选出满足显著性得分条件的多个候选元素以作为显著元素，包括：

对于所述多个图片中的任一图片，执行以下处理：

对所述图片中的候选元素的显著性得分进行降序排序，将降序排序中前N个候选元素确定为所述图片中的显著元素，其中，所述N为自然数；

所述根据每个目标图片中的显著元素的显著性得分，确定所述目标用户对所述显著元素的操作偏好得分，并将所述目标图片中满足操作偏好得分条件的显著元素，作为所述目标用户的操作意图，包括：

对于N个所述显著元素中的任一显著元素执行以下处理：

将所述显著元素在每个所述目标图片中的显著性得分进行累加处理，以确定所述目标用户对所述显著元素的操作偏好得分；

对于所述多个图片中的任一图片执行以下处理：将所述图片中的显著元素的操作偏好得分进行降序排序，将降序排序中前K个显著元素确定为所述目标用户对所述图片的操作意图；

其中，K为自然数，且K小于N。

7.根据权利要求1所述的方法，其特征在于，所述候选元素的类型包括以下至少之一：物体；文本；

所述对被操作的多个图片进行识别，以确定每个所述图片中的候选元素，包括：

将所述被操作的多个图片进行边框回归处理，以确定所述多个图片中包括候选元素的多个边框，并

对每个所述边框进行图像识别，以确定所述多个图片中的物体的类别，并对每个所述边框进行文本识别，以确定所述多个图片中的文本。

8.根据权利要求1所述的方法，其特征在于，所述候选元素的属性包括所述候选元素在所述图片的中心位置标识；

所述对被操作的多个图片进行识别，以确定每个所述图片中的候选元素的属性，包括：

对于每个所述图片中的任一候选元素，执行以下处理：

确定所述候选元素在所述图片中对应的各个像素点的坐标；

当以多个坐标为边界所界定的区域包括所述图片的中心位置时，确定所述候选元素覆盖所述图片的中心点，并

将所述候选元素在所述图片的中心位置标识设置为1。

9.根据权利要求1所述的方法，其特征在于，所述候选元素的属性包括所述候选元素在所述图片中的尺寸；

所述对被操作的多个图片进行识别，以确定每个所述图片中的候选元素的属性，包括：

对于每个所述图片中的任一候选元素，执行以下处理：

根据所述候选元素在所述图片中的边缘坐标，确定所述候选元素在所述图片的外接矩形；

将所述外接矩形的尺寸确定为所述候选元素在所述图片中的尺寸。

10.根据权利要求1所述的方法，其特征在于，所述候选元素的属性包括所述候选元素相对于所述图片的颜色差异；

所述对被操作的多个图片进行识别，以确定每个所述图片中的候选元素的属性，包括：

对于每个所述图片中的任一候选元素，执行以下处理：

确定所述候选元素的平均颜色，以及确定所述图片背景的平均颜色；

将所述候选元素的平均颜色、与所述图片背景的平均颜色的差值确定为所述候选元素相对于所述图片的颜色差异。

11.根据权利要求1至10任一项所述的方法，其特征在于，所述方法还包括：

将所述目标用户的操作意图发送至区块链网络中，以使

所述区块链网络中部署的智能合约根据所述目标用户的操作意图，对多个候选推荐图片进行匹配处理，从所述多个候选推荐图片中确定出推荐图片。

12.一种图片推荐方法，其特征在于，所述方法包括：

接收用于在客户端中展示的推荐图片，所述图片中包括符合目标用户的操作意图的元素；所述目标用户的操作意图根据权利要求1至11任一项所述的图片的操作意图处理方法来确定；

当所述客户端中呈现用于推荐信息的展示位时，在所述客户端的所述展示位中呈现所述推荐图片；

其中，所述推荐图片为根据符合所述目标用户的操作意图中的元素，对多个候选推荐图片进行匹配确定的。

13.一种图片的操作意图处理装置，其特征在于，所述装置包括：

识别模块，用于对被操作的多个图片进行识别，以确定每个所述图片中的候选元素以及对应的属性；

第一处理模块，用于根据每个所述图片中的候选元素的属性，从所述多个图片中筛选出满足显著性得分条件的多个候选元素以作为显著元素；

确定模块，用于基于多个所述显著元素，对所述多个图片中被目标用户操作的图片进行遍历处理，以确定包括任意一个所述显著元素的目标图片；

第二处理模块，用于根据每个所述目标图片中的显著元素的显著性得分，确定所述目标用户对所述显著元素的操作偏好得分，并将所述目标图片中满足操作偏好得分条件的显著元素，作为所述目标用户的操作意图。

14.一种用于图片的操作意图处理的电子设备，其特征在于，所述电子设备包括：

存储器，用于存储可执行指令；

处理器，用于执行所述存储器中存储的可执行指令时，实现权利要求1至11任一项所述的图片的操作意图处理方法。

15.一种计算机可读存储介质，其特征在于，存储有可执行指令，用于引起处理器执行时，实现权利要求1至11任一项所述的图片的操作意图处理方法，或权利要求12所述的图片推荐方法。

Images