CN112182131A - 一种基于多属性融合的遥感影像推荐方法 - Google Patents

Abstract

本发明公开了一种基于多属性融合的遥感影像推荐方法，属于遥感影像智能推荐分发技术领域。本发明首先对遥感用户的职责信息、订购信息以及遥感影像的属性信息进行多维度知识图谱建模，通过对上述知识图谱分别进行嵌入表示，获取用户职责嵌入向量、用户订购嵌入向量、影像订单嵌入向量、影像属性嵌入向量，并对遥感影像进行目标检测、地物分类等语义信息抽取，获取影像地物占比向量，有效解决了遥感领域推荐过程中用户和影像的信息表示方法的问题。随后，本发明采用了基于多属性融合的协同过滤推荐网络，借助神经网络的高维度空间建模能力实现多维度输入的融合，将处于不同空间的各类输入向量嵌入到统一的向量空间中，能够达到较好的配对推荐效果。

Description

一种基于多属性融合的遥感影像推荐方法

技术领域

本发明属于遥感影像智能推荐分发技术领域，特别是指一种基于多属性融合的遥感影像推荐方法。

背景技术

当前，各国均建成了较为完善的遥感对地观测系统，如美国的Landsat、MODIS系列卫星，WorldView系列卫星，法国的SPOT系列卫星，日本的ALOS系列卫星以及中国的高分系列、环境系列、资源系列卫星。随着各类卫星升空并投入使用，遥感数据量在近些年呈现爆炸式增长。与此同时，随着遥感应用技术的发展，遥感影像在国土、资源各领域具有较好的应用前景，相应的遥感用户也迅速增多。以往遥感用户主要是在数据管理系统中通过人工查询和订购的方式来获取遥感影像。此类方法在影像需求频率较低并且影像总数量较少时是可行的。但是随着遥感卫星应用频率不断升高，以及遥感影像快速增长，高频率地采用人工方法从海量影像中获取感兴趣影像是十分低效的。

个性化推荐系统可以根据用户兴趣模型对用户潜在感兴趣的对象进行合理自动分发。研究遥感影像的个性化推荐系统，可以一定程度上提高遥感用户获取影像的便捷性，提高遥感影像订购体验，提升遥感影像的使用效率。结果的准确性是确定该推荐系统成功与否的关键因素。如果推荐的遥感影像经常不满足用户需求，则用户将对推荐系统失去信心。当前面向电子商务、媒体传播等互联网行业的推荐系统，虽然仍然面对着稀疏性和冷启动等一系列经典问题，但部分方法已具有较好的应用效果。但目前为止，在遥感领域尚未出现任何较为合理可行的推荐系统。

发明内容

本发明的目的在于解决随着遥感用户与遥感影像数据量的爆炸式增长，如何根据用户个性化的需求为其精准主动推送感兴趣遥感影像的问题，同时缓解遥感用户与遥感影像新增导致的冷启动问题。为此，本发明提出了一种基于多属性融合的遥感影像推荐方法，该方法充分考虑了不同维度下用户相似性以及图像相似性，推荐结果准确，非常适用于遥感领域。

为了实现上述目的，本发明采用的技术方案如下：

一种基于多属性融合的遥感影像推荐方法，其包括以下步骤：

(1)根据用户-职责关系-职责三元组格式构造用户职责知识图谱，其中，职责关系包括主要业务、管辖区域、关注对象、常用卫星；根据用户-订购关系-影像三元组格式构造用户订购知识图谱，其中，订购关系包括订购时间、所属卫星；根据影像-属性关系-属性构建影像属性知识图谱，其中，属性关系包括影像类型、空间分辨率、幅宽、拍摄卫星、行政区域、云量、主要地物；利用目标检测、地物分类、影像检索、经纬度匹配方法对图像进行内容解译，获取影像地物占比信息，包括建筑占比、林地占比、水体占比、裸地占比、港口个数、船舶个数；

(2)采用实体和关系分开嵌入的方法，对用户职责知识图谱、用户订购知识图谱、影像属性知识图谱进行知识表示学习，获得用户职责嵌入向量、用户订购嵌入向量、影像属性嵌入向量、影像订单嵌入向量，同时将影像地物占比信息以向量形式存储为影像地物占比向量，作为知识表示学习结果；

(3)将用户职责嵌入向量、用户订购嵌入向量和影像属性嵌入向量、影像订单嵌入向量、影像地物占比向量配对后输入基于多属性融合的协同过滤推荐网络，通过分离的特征提取网络分别对相应输入向量进行特征提取，获取处于同一空间的用户职责特征向量、用户订购特征向量、影像属性特征向量、影像订单特征向量和影像地物特征向量，然后采用深层融合与浅层融合相结合的融合网络结构，将上述五种特征向量融合为包含用户与影像匹配规律的联合表示向量，最后采用全连接层网络和sigmoid层来预测用户与影像的配对概率，根据配对概率判断输入的影像是否可以被推荐给输入的用户。

进一步的，步骤(3)的具体方式如下：

(301)对于用户u和遥感影像i，通过知识图谱表示学习方法获得包含图谱语义信息的嵌入表示，即用户职责嵌入向量u_re、用户订购嵌入向量u_oe、影像属性嵌入向量i_ae、影像订单嵌入向量i_oe，并且通过图像内容解译，获得影像地物占比向量i_ge；

用户职责嵌入向量u_re对应的用户职责特征向量u_r的表示学习部分定义为：

用户订购嵌入向量u_oe对应的用户订购特征向量u_o的表示学习部分定义为：

影像属性嵌入向量i_ae对应的影像属性特征向量i_a的表示学习部分定义为：

影像订单嵌入向量i_oe对应的影像订单特征向量i_o的表示学习部分定义为：

影像地物占比向量i_ge对应的影像地物特征向量i_g的表示学习部分定义为：

其中，W_urX和b_urX分别表示用户职责嵌入向量特征提取网络第X层的权重矩阵和偏差向量，W_uoX和b_uoX分别表示用户订购嵌入向量特征提取网络第X层的权重矩阵和偏差向量，W_iaX和b_iaX分别表示影像属性嵌入向量特征提取网络第X层的权重矩阵和偏差向量，W_ioX和b_ioX分别表示影像订单嵌入向量特征提取网络第X层的权重矩阵和偏差向量，W_igX和b_igX分别表示影像地物占比向量特征提取网络第X层的权重矩阵和偏差向量，上标T表示矩阵转置，f(·)表示激活函数，

a_ur0,a_ur1...a_urX,a_uo0,a_uo1...a_uoX,a_ia0,a_ia1...a_iaX,a_io0,a_io1...a_ioX,a_ig0,a_ig1...a_igX均为中间变量；

(302)通过门机制来融合用户职责特征向量u_r与用户订购特征向量u_o，获得用户融合特征向量u_m：

u_m＝α_u·u_r+β_u·u_o

其中，[α_u,β_u]＝softmax(W_r·u_r+W_uo·u_o)，且α_u+β_u＝1；W_r、W_uo表示权重矩阵；

同时，使用门机制来融合影像属性特征向量i_a、影像订单特征向量i_o与影像地物特征向量i_g，获得影像融合特征向量i_m：

i_m＝α_i·i_a+β_i·i_o+λ_i·i_g

其中，[α_i,β_i,γ_i]＝softmax(W_a·i_a+W_io·i_o+W_g·i_g)，且α_i+β_i+λ_i＝1；W_a、W_io、W_g表示权重矩阵；

之后，对用户融合特征向量u_m和影像融合特征向量i_m做进一步融合，挖掘用户-影像交互的线性相关性，获取基于多层次浅层融合的预测向量p_ui：

p_ui＝u_m⊙i_m

其中，⊙表示元素积操作；

(303)拼接用户职责特征向量u_r、用户订购特征向量u_o、影像属性特征向量i_a、影像订单特征向量i_o与影像地物特征向量i_g，得到拼接向量q₀：

q₀＝[u_r,u_o,i_a,i_o,i_g]

然后，将拼接向量作为深度神经网络的输入，该神经网络的深层训练部分被定义如下：

其中，W_X和b_X分别表示第X层神经网络的权重矩阵和偏差向量，f(·)表示ReLU激活函数，q₁,q₂...q_X为中间变量；至此，得到基于多属性深层融合的预测向量q_ui；

(304)拼接基于多层次浅层融合的预测向量p_ui与基于多属性深层融合的预测向量q_ui，得到关于用户与项目匹配规律的联合表示，然后将该联合表示传入全连接层以及后续的sigmoid层，最终获得用户u订购影像i的配对概率

其中，W_out为权重矩阵，σ(·)为激活函数。

进一步的，步骤(3)中基于多属性融合的协同过滤推荐网络在训练时的目标函数采用交叉熵损失函数：

其中，

为训练集合，y_ui则表示实际类别，如果用户u订购了影像i，则y_ui＝1，否则y_ui＝0；

训练的目标是最小化实际类别与所预测的配对概率之间的误差。

进一步的，还包括以下步骤：

当新增用户时，调整基于多属性融合的协同过滤推荐网络的输入，使用用户职责嵌入向量、影像属性嵌入向量、影像订单嵌入向量与影像地物占比向量来表征用户和影像；

当新增影像时，调整基于多属性融合的协同过滤推荐网络的输入，使用用户职责嵌入向量、用户订购嵌入向量、影像属性嵌入向量与影像地物占比向量来表征用户和影像。

本发明与背景技术相比具有如下优点：

1.本发明首次针对遥感用户特性以及影像特性设计了一套全面可行的个性化推荐框架，该框架实现了知识图谱与融合神经网络的有效结合，同时知识图谱可有效解决用户新增与影像新增导致的冷启动问题。

2.本发明采用了用户职责图谱与用户订购图谱两种方式相结合的用户信息建模方法，可以在不同维度对用户进行更全面的刻画。

3.本发明提出了影像属性图谱、用户订购图谱以及影像定量化向量相结合的遥感影像建模方法，并结合推荐网络的输入要求设计了两种不同的表征方式，确保信息表征的合理性。

4.本发明采用了一种基于多属性融合的协同过滤推荐网络，该网络可以通过高维空间建模将分布在不同空间的用户职责相似性、用户操作相似性、影像属性相似性、影像语义嵌入到同一空间网络中进行关联配对，得到较为合理的推荐概率。

5.本发明采用了差异性的推荐方法。考虑到新增用户以及新增图像两种情况下，信息输入发生变化导致不可通过同一种架构进行推荐。为此，本发明分别设计了不同的推荐路径，以提高准确性和冷启动方面的推荐质量。

附图说明

图1是本发明实施例中推荐方法的整体原理示意图。

图2是本发明实施例中构造知识图谱的原理示意图。

图3是本发明实施例中基于多属性融合的协同过滤网络模型示意图。

图4是本发明实施例中用户冷启动的模型示意图。

图5是本发明实施例中项目冷启动的模型示意图。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

一种基于多属性融合的遥感影像推荐方法，其包括以下步骤：

(1)根据用户-职责关系-职责三元组格式构造用户职责知识图谱，其中，职责关系包括主要业务、管辖区域、关注对象、常用卫星；根据用户-订购关系-影像三元组格式构造用户订购知识图谱，其中，订购关系包括订购时间、所属卫星；根据影像-属性关系-属性构建影像属性知识图谱，其中，属性关系包括影像类型、空间分辨率、幅宽、拍摄卫星、行政区域、云量、主要地物；利用目标检测、地物分类、影像检索、经纬度匹配方法对图像进行内容解译，获取影像地物占比信息，包括建筑占比、林地占比、水体占比、裸地占比、港口个数、船舶个数；

(2)采用实体和关系分开嵌入的方法，对用户职责知识图谱、用户订购知识图谱、影像属性知识图谱进行知识表示学习，获得用户职责嵌入向量、用户订购嵌入向量、影像属性嵌入向量、影像订单嵌入向量，同时将影像地物占比信息以向量形式存储为影像地物占比向量，作为知识表示学习结果；

(3)使用基于多属性融合的协同过滤推荐网络，将用户职责嵌入向量、用户订购嵌入向量和影像属性嵌入向量、影像订单嵌入向量、影像地物占比向量配对输入，通过分离的特征提取网络分别对相应的输入向量进行特征提取，获取处于同一空间的用户职责特征向量、用户订购特征向量、影像属性特征向量、影像订单特征向量和影像地物特征向量，然后采用深层融合与浅层融合相结合的融合网络结构，将上述五种特征向量融合为包含用户与影像匹配规律的联合表示向量，最后采用全连接层网络和sigmoid层来预测用户与影像的配对概率，根据配对概率判断输入的影像是否可以被推荐给输入的用户。例如，当配对概率大于0.5时，将影像推荐给用户，否则不推荐。

进一步的，步骤(3)的具体方式如下：

(301)对于用户u和遥感影像i，通过知识图谱表示学习方法获得包含图谱语义信息的嵌入表示，即用户职责嵌入向量u_re、用户订购嵌入向量u_oe、影像属性嵌入向量i_ae、影像订单嵌入向量i_oe，并且通过图像内容解译，获得影像地物占比向量i_ge；

用户职责嵌入向量u_re对应的用户职责特征向量u_r的表示学习部分定义为：

用户订购嵌入向量u_oe对应的用户订购特征向量u_o的表示学习部分定义为：

影像属性嵌入向量i_ae对应的影像属性特征向量i_a的表示学习部分定义为：

影像订单嵌入向量i_oe对应的影像订单特征向量i_o的表示学习部分定义为：

影像地物占比向量i_ge对应的影像地物特征向量i_g的表示学习部分定义为：

其中，W_urX和b_urX分别表示用户职责嵌入向量特征提取网络第X层的权重矩阵和偏差向量，W_uoX和b_uoX分别表示用户订购嵌入向量特征提取网络第X层的权重矩阵和偏差向量，W_iaX和b_iaX分别表示影像属性嵌入向量特征提取网络第X层的权重矩阵和偏差向量，W_ioX和b_ioX分别表示影像订单嵌入向量特征提取网络第X层的权重矩阵和偏差向量，W_igX和b_igX分别表示影像地物占比向量特征提取网络第X层的权重矩阵和偏差向量，上标T表示矩阵转置，f(·)表示激活函数，

a_ur0,a_ur1...a_urX,a_uo0,a_uo1...a_uoX,a_ia0,a_ia1...a_iaX,a_io0,a_io1...a_ioX,a_ig0,a_ig1...a_igX均为中间变量；

(302)通过门机制来融合用户职责特征向量u_r与用户订购特征向量u_o，获得用户融合特征向量u_m：

u_m＝α_u·u_r+β_u·u_o

其中，[α_u,β_u]＝softmax(W_r·u_r+W_uo·u_o)，且α_u+β_u＝1；W_r、W_uo表示权重矩阵；

同时，使用门机制来融合影像属性特征向量i_a、影像订单特征向量i_o与影像地物特征向量i_g，获得影像融合特征向量i_m：

i_m＝α_i·i_a+β_i·i_o+λ_i·i_g

其中，[α_i,β_i,γ_i]＝softmax(W_a·i_a+W_io·i_o+W_g·i_g)，且α_i+β_i+λ_i＝1；W_a、W_io、W_g表示权重矩阵；

之后，对用户融合特征向量u_m和影像融合特征向量i_m做进一步融合，挖掘用户-影像交互的线性相关性，获取基于多层次浅层融合的预测向量p_ui：

p_ui＝u_m⊙i_m

其中，⊙表示元素积操作；

(303)拼接用户职责特征向量u_r、用户订购特征向量u_o、影像属性特征向量i_a、影像订单特征向量i_o与影像地物特征向量i_g，得到拼接向量q₀：

q₀＝[u_r,u_o,i_a,i_o,i_g]

然后，将拼接向量作为深度神经网络的输入，该神经网络的深层训练部分被定义如下：

其中，W_X和b_X分别表示第X层神经网络的权重矩阵和偏差向量，f(·)表示ReLU激活函数，q₁,q₂...q_X为中间变量；至此，得到基于多属性深层融合的预测向量q_ui；

(304)拼接基于多层次浅层融合的预测向量p_ui与基于多属性深层融合的预测向量q_ui，得到关于用户与项目匹配规律的联合表示，然后将该联合表示传入全连接层以及后续的sigmoid层，最终获得用户u订购影像i的配对概率

其中，W_out为权重矩阵，σ(·)为激活函数。

进一步的，步骤(3)中基于多属性融合的协同过滤推荐网络在训练时的目标函数采用交叉熵损失函数：

其中，

为训练集合，y_ui则表示实际类别，如果用户u订购了影像i，则y_ui＝1，否则y_ui＝0；

训练的目标是最小化实际类别与所预测的配对概率之间的误差。

进一步的，还包括以下步骤：

当新增用户时，调整基于多属性融合的协同过滤推荐网络的输入，使用用户职责嵌入向量、影像属性嵌入向量、影像订单嵌入向量与影像地物占比向量来表征用户和影像；

当新增影像时，调整基于多属性融合的协同过滤推荐网络的输入，使用用户职责嵌入向量、用户订购嵌入向量、影像属性嵌入向量与影像地物占比向量来表征用户和影像。

本方法首先对遥感用户的职责信息、订购信息以及遥感影像的属性信息进行多维度知识图谱建模，通过对上述知识图谱分别进行嵌入表示，获取用户职责嵌入向量、用户订购嵌入向量、影像订单嵌入向量、影像属性嵌入向量，并对遥感影像进行目标检测、地物分类等语义信息抽取，获取影像地物占比向量，有效解决了遥感领域推荐过程中用户和影像的信息表示方法的问题。随后，本方法采用基于多属性融合的协同过滤推荐网络，借助神经网络的高维度空间建模能力实现多维度输入的融合，将处于不同空间的各类输入向量嵌入到统一的向量空间中，能够达到较好的配对推荐效果。

以下为一个更具体的例子：

如图1所示，一种基于多属性嵌入表征与融合协同过滤网络的遥感影像推荐方法，其包括以下步骤：

(1)首先进行数据预处理操作。所有用户职责属性、用户订购属性和影像属性的名称视为关系，所有用户和影像及其属性的值视为实体。然后，以三元组的形式表示，并构造用户与影像知识图谱，如图2所示。用户职责属性在知识图谱中包括：用户名称，主要业务，管辖区域、关注对象、常用卫星。用户订购属性在知识图谱中包括：用户名称，图像名称、订购时间、所属卫星。影像属性在知识图谱中包括：图像名称：图像类型、空间分辨率、幅宽、拍摄卫星、行政区域、云量、主要地物等。除此之外，还利用目标检测、地物分类、影像检索、经纬度匹配等算法对图像进行了内容解译，获得了影像的定量信息(建筑占比、林地占比、水体占比、裸地占比、港口个数、船舶个数等等)。

(2)分别对用户职责图谱、用户订购图谱、影像属性图谱、影像定量信息进行知识表示学习。考虑到TransR把关系向量映射到不同的空间，可以确保主要业务、管辖区域、关注对象、常用卫星等处于不同语义角度的关系处于不同平面表示，能够更好地逼近真实情况，本方法采用TransR进行遥感用户职责图谱、用户订购图谱、影像属性图谱的知识表示学习，获得用户职责嵌入向量，用户订购嵌入向量，影像属性嵌入向量，影像订单嵌入向量。这可以将关于用户、影像的异构信息(包括用户职责、用户订购、影像属性)嵌入向量空间，更好地捕获知识图谱之间的非线性关系，为遥感影像推荐提供合理可靠的知识表示。此外，本方法将提取后的影像定量信息以向量的形式进行存储，直接作为影像定量信息的知识表示学习结果。

(3)在通过知识图谱表示学习获得了包含图谱语义信息的嵌入表示，即用户职责嵌入u_re、用户订购嵌入u_oe、影像属性嵌入i_ae，影像订单嵌入i_oe，并且通过图像内容解译，获得了影像地物占比向量i_ge的基础上，本方法设计了基于多属性融合的协同过滤推荐网络MaF-CFNet，采用将多个用户表征和遥感影像表征组成pairs的方式形成配对输入，通过多输入分离的特征提取网络分别对相应的输入向量进行特征提取，实现各个不同空间的输入嵌入到相同空间的目的。随后设计了深层与浅层两种融合方式相结合的融合网络结构，实现深层特征与浅层特征互补。最后采用决策层网络来预测配对概率，判断当前输入的pair是否可以推荐，如图3所示。

(4)本方法在冷启动方面也有一定的考虑，可以通过改变模型的输入来得到模型的变体，以便解决冷启动问题。

其中步骤(3)包括如下步骤：

(301)对于用户u和遥感影像i，已经通过知识图谱表示学习获得了包含图谱语义信息的嵌入表示，即用户职责嵌入u_re、用户订购嵌入u_oe、影像属性嵌入i_ae，影像订单嵌入i_oe，并且通过图像内容解译，获得了影像地物占比向量i_ge。值得注意的是，上述向量的维度不一定是相同的。为了将多属性嵌入信息应用于协同过滤算法，模型应该将获得的向量映射到同一空间中。为此，本方法采用了深度神经网络来学习更丰富的潜在特征。

以用户职责嵌入u_re为例，其对应的特征表示u_r的表示学习部分可以被定义为：

其中W_urX和b_urX分别表示第X层神经网络的权重矩阵和偏差向量，f(·)表示激活函数，本方法中使用的是ReLU函数。

用户订购特征u_o、影像属性特征i_a、影像订单特征i_o和影像地物特征i_g的计算方式同理，此处不再赘述。

(302)为了得到用户与影像全面的特征表示，本方法考虑分别融合不同对象的多项属性信息。对用户和影像的所有特征进行了用户/影像与用户-影像两个层面的浅层融合操作，设计了基于多层次浅层融合的协同过滤网络，简称为MlSF-CFNet。对于用户融合特征u_m，本方法引入门机制来融合职责特征u_r与用户订购特征u_o，以便平衡u_r与u_o的重要性：

u_m＝α_u·u_r+β_u·u_o，

其中，[α_u,β_u]＝softmax(W_r·u_r+W_uo·u_o)，且α_u+β_u＝1。W_r、W_uo表示权重矩阵。

同理，对于影像融合特征i_m，本方法使用门机制来融合属性特征i_a，影像订单特征i_o与地物特征i_g，以便平衡i_a，i_o与i_g的重要性：

i_m＝α_i·i_a+β_i·i_o+λ_i·i_g，

其中[α_i,β_i,γ_i]＝softmax(W_a·i_a+W_io·i_o+W_g·i_g)，且α_i+β_i+λ_i＝1。W_a、W_io、W_g表示权重矩阵。

之后，便可以对用户融合特征u_m和影像融合特征i_m做进一步融合，挖掘用户-影像交互的线性相关性。融合函数被定义为：

p_ui＝u_m⊙i_m，

其中⊙表示元素积操作，p_ui即为基于多层次浅层融合的预测向量。

(303)为了进一步挖掘多属性融合的深层关系，建模深层网络作用下的协同过滤，本方法设计了基于多属性深层融合的协同过滤网络，简称为MaDF-CFNet，对融合所有用户和影像特征后生成的表示进行多层神经网络训练，这能够更灵活地挖掘用户和影像所有特征间的复杂关联。本方法将用户职责特征u_r、用户订购特征u_o、影像属性特征i_a、影像订单特征i_o与地物特征i_g融合在一起，并将其输入到深度神经网络中。采用的融合策略是拼接用户和影像的所有特征形成一个联合表示，即：

q₀＝[u_r,u_o,i_a,i_o,i_g]。

然后将之作为深度神经网络的输入，扩展模型的非线性和灵活性，以便从多属性信息中学习出用户与影像匹配的抽象规律。多属性融合的深层训练部分被定义如下：

其中W_X和b_X分别表示第X层神经网络的权重矩阵和偏差向量，f(·)表示ReLU激活函数。至此我们可以得到基于多属性深层融合的预测向量q_ui。

(304)之前两种模型中，MlSF-CFNet实现了用户/影像与用户-影像交互两个层面的浅层融合，可以学习用户与影像之间的低阶关系，但是元素积的表达能力有限。而MaDF-CFNet实现了用户、影像所有特征间的深层融合，可以灵活且非线性地学习其中复杂的交互关系，但是在获取用户-影像低阶关系时有所不足。MlSF-CFNet与MaDF-CFNet有着不同的优点，且从不同的角度来融合多属性信息，所以希望能够整合这两个模型，实现功能的互补。为此，本方法拼接MlSF-CFNet与MaDF-CFNet的预测向量，得到关于用户与项目匹配规律的一个更强大且更具表现力的联合表示。然后，该联合表示会被传入全连接层，使得包含在联合表示中的每个特征均被分配不同的权重。另外，后续的sigmoid层使模型能够计算出用户与该影像匹配的概率。给定基于多层次浅层融合的预测向量p_ui与基于多属性深层融合的预测向量q_ui，则多属性融合模型MaF-CFNet的输出，也即用户u订购影像i的概率可以被定义为：

其中，W_out为权重矩阵，σ(·)为激活函数。

(305)给定训练集合

本方法的目标是最小化实际类别与预测概率之间的误差，因此采用交叉熵损失函数：

其中，u_re,u_oe,i_ae,i_oe,i_ge分别表示用户职责嵌入、用户订购嵌入、影像属性嵌入，影像订单嵌入与地物占比向量。

表示用户u订购影像i的预测概率，而y_ui则表示实际类别。如果用户u订购了影像i，则y_ui＝1；否则y_ui＝0。

步骤(4)包括如下步骤：

(401)当新增用户时，缺少新用户的订购历史，产生用户冷启动问题。本方法解决办法是调整模型的输入，使用用户职责嵌入u_re、影像属性嵌入i_ae，影像订单嵌入i_oe与地物占比向量i_ge来表示用户和影像的多项属性，如图4所示。这样做的原因是用户感兴趣的主要影像因素是职责，订购信息仅提供辅助作用。

(402)当新增影像时，系统中缺少影像的被订购记录，产生项目冷启动问题。本方法解决办法是调整模型的输入，使用用户职责嵌入u_re、用户订购嵌入u_oe、影像属性嵌入i_ae，与地物占比向量i_ge来表示用户和影像的多项属性，如图5所示。这样做是因为用户对影像的兴趣度可通过影像属性和定量信息进行刻画，足够支持推荐任务。

众所周知，推荐系统的核心是对推荐问题本身进行建模，也就是对用户和项目进行建模，寻找并采用最适合模型的推荐方法实现推荐。目前已有的推荐系统不适合应用在遥感影像分发推荐系统当中，具体原因总结如下：

(1)遥感用户具有复杂的多重属性。常规推荐任务多基于用户操作信息作为用户表征信息，而在遥感领域用户的兴趣不但和历史点击订购操作相关，更和其本身职责(例如：业务、管辖区域等)以及对应业务也有很大关系。要想实现遥感用户的精准建模，需要对用户的订购行为以及职责和业务的语义信息进行两个维度的建模，并设计合理的融合方法实现用户全面表征。

(2)遥感影像具有属性(来源卫星、分辨率、拍摄地区等)与定量信息(林地占比，水体占比、港口个数等)两类语义信息。常规推荐任务中对待推荐项目的描述多集中在其是否包含某种属性。而在遥感领域，用户关心的遥感影像语义信息不仅包括属性信息，例如拍摄时间、区域、类型等；影像定量化信息也是用来评定用户关注度的重要指标，例如图像中云量占比、森林占比、港口个数等。推荐系统需要分别针对影像的属性信息和定量信息进行建模。

(3)不同空间维度的信息较难进行融合性推荐。用户多重属性之间以及遥感影像不同语义信息之间不存在同一空间维度，无法通过简单的近似度计算确定推荐结果，需要设计具有多维度空间信息融合功能的推荐算法。

为了解决上述问题，本发明设计了一套较为可行的遥感影像个性化推荐框架，考虑到知识图谱可以有效对语义信息进行组织，该框架以知识图谱作为用户不同属性以及图像语义信息的信息初始载体，结合embedding方法获取有效表征向量。除此之外，考虑到用户不同属性以及图像不同语义信息的embedding结果向量分属于不同空间维度，本发明设计了一种基于多属性融合的协同过滤推荐网络(MaF-CFNet)，实现将多空间向量嵌入到同一空间维度中进行融合，充分考虑了不同维度下用户相似性以及图像相似性后得到推荐结果。

总之，本发明实现了基于多属性嵌入表征与融合协同过滤网络的遥感影像推荐方法，首先对遥感用户的职责信息、订购信息以及遥感影像的属性信息进行多维度知识图谱建模，通过对上述知识图谱分别进行嵌入表示，获取用户职责嵌入向量、用户订购嵌入向量、影像订单嵌入向量、影像属性嵌入向量，并对遥感影像进行目标检测、地物分类等语义信息抽取，获取影像地物占比向量，这有效解决了遥感领域推荐过程中用户和影像的信息表示方法的问题。随后提出并设计了基于多属性融合的协同过滤推荐网络，借助神经网络的高维度空间建模能力实现多维度输入的融合，将处于不同空间的各类输入向量嵌入到统一的向量空间中，达到较好的配对推荐效果。本发明针对面向业务系统中存储的遥感图像记录与用户订单数据的推荐方法进行对比试验，最终本方法相比传统方法在精确度、召回率、F1-score、NDCG等评价指标方面均具有较大性能提升。

本发明方法可用于实现遥感影像个性化推荐系统，从而向遥感用户推荐最合适的遥感影像。本方法采用遥感用户与遥感影像的知识表示学习、基于多属性融合的协同过滤推荐网络，以及用户与影像的冷启动策略，涉及对遥感用户与遥感影像的知识图谱建模以及多属性嵌入表征。相比以往方法，本发明是针对遥感用户特性以及影像特性设计的，更适用于遥感领域。

Claims (4)

1.一种基于多属性融合的遥感影像推荐方法，其特征在于，包括以下步骤：

(1)根据用户-职责关系-职责三元组格式构造用户职责知识图谱，其中，职责关系包括主要业务、管辖区域、关注对象、常用卫星；根据用户-订购关系-影像三元组格式构造用户订购知识图谱，其中，订购关系包括订购时间、所属卫星；根据影像-属性关系-属性构建影像属性知识图谱，其中，属性关系包括影像类型、空间分辨率、幅宽、拍摄卫星、行政区域、云量、主要地物；利用目标检测、地物分类、影像检索、经纬度匹配方法对图像进行内容解译，获取影像地物占比信息，包括建筑占比、林地占比、水体占比、裸地占比、港口个数、船舶个数；

(2)采用实体和关系分开嵌入的方法，对用户职责知识图谱、用户订购知识图谱、影像属性知识图谱进行知识表示学习，获得用户职责嵌入向量、用户订购嵌入向量、影像属性嵌入向量、影像订单嵌入向量，同时将影像地物占比信息以向量形式存储为影像地物占比向量，作为知识表示学习结果；

(3)将用户职责嵌入向量、用户订购嵌入向量和影像属性嵌入向量、影像订单嵌入向量、影像地物占比向量配对后输入基于多属性融合的协同过滤推荐网络，通过分离的特征提取网络分别对相应输入向量进行特征提取，获取处于同一空间的用户职责特征向量、用户订购特征向量、影像属性特征向量、影像订单特征向量和影像地物特征向量，然后采用深层融合与浅层融合相结合的融合网络结构，将上述五种特征向量融合为包含用户与影像匹配规律的联合表示向量，最后采用全连接层网络和sigmoid层来预测用户与影像的配对概率，根据配对概率判断输入的影像是否可以被推荐给输入的用户。

2.根据权利要求1所述的一种基于多属性融合的遥感影像推荐方法，其特征在于，步骤(3)的具体方式如下：

(301)对于用户u和遥感影像i，通过知识图谱表示学习方法获得包含图谱语义信息的嵌入表示，即用户职责嵌入向量u_re、用户订购嵌入向量u_oe、影像属性嵌入向量i_ae、影像订单嵌入向量i_oe，并且通过图像内容解译，获得影像地物占比向量i_ge；

用户职责嵌入向量u_re对应的用户职责特征向量u_r的表示学习部分定义为：

用户订购嵌入向量u_oe对应的用户订购特征向量u_o的表示学习部分定义为：

影像属性嵌入向量i_ae对应的影像属性特征向量i_a的表示学习部分定义为：

影像订单嵌入向量i_oe对应的影像订单特征向量i_o的表示学习部分定义为：

影像地物占比向量i_ge对应的影像地物特征向量i_g的表示学习部分定义为：

其中，W_urX和b_urX分别表示用户职责嵌入向量特征提取网络第X层的权重矩阵和偏差向量，W_uoX和b_uoX分别表示用户订购嵌入向量特征提取网络第X层的权重矩阵和偏差向量，W_iaX和b_iaX分别表示影像属性嵌入向量特征提取网络第X层的权重矩阵和偏差向量，W_ioX和b_ioX分别表示影像订单嵌入向量特征提取网络第X层的权重矩阵和偏差向量，W_igX和b_igX分别表示影像地物占比向量特征提取网络第X层的权重矩阵和偏差向量，上标T表示矩阵转置，f(·)表示激活函数，

a_ur0,a_ur1...a_urX,a_uo0,a_uo1...a_uoX,a_ia0,a_ia1...a_iaX,a_io0,a_io1...a_ioX,a_ig0,a_ig1...a_igX均为中间变量；

(302)通过门机制来融合用户职责特征向量u_r与用户订购特征向量u_o，获得用户融合特征向量u_m：

u_m＝α_u·u_r+β_u·u_o

其中，[α_u,β_u]＝softmax(W_r·u_r+W_uo·u_o)，且α_u+β_u＝1；W_r、W_uo表示权重矩阵；

同时，使用门机制来融合影像属性特征向量i_a、影像订单特征向量i_o与影像地物特征向量i_g，获得影像融合特征向量i_m：

i_m＝α_i·i_a+β_i·i_o+λ_i·i_g

其中，[α_i,β_i,γ_i]＝softmax(W_a·i_a+W_io·i_o+W_g·i_g)，且α_i+β_i+λ_i＝1；W_a、W_io、W_g表示权重矩阵；

之后，对用户融合特征向量u_m和影像融合特征向量i_m做进一步融合，挖掘用户-影像交互的线性相关性，获取基于多层次浅层融合的预测向量p_ui：

p_ui＝u_m⊙i_m

其中，⊙表示元素积操作；

(303)拼接用户职责特征向量u_r、用户订购特征向量u_o、影像属性特征向量i_a、影像订单特征向量i_o与影像地物特征向量i_g，得到拼接向量q₀：

q₀＝[u_r,u_o,i_a,i_o,i_g]

然后，将拼接向量作为深度神经网络的输入，该神经网络的深层训练部分被定义如下：

其中，W_X和b_X分别表示第X层神经网络的权重矩阵和偏差向量，f(·)表示ReLU激活函数，q₁,q₂...q_X为中间变量；至此，得到基于多属性深层融合的预测向量q_ui；

(304)拼接基于多层次浅层融合的预测向量p_ui与基于多属性深层融合的预测向量q_ui，得到关于用户与项目匹配规律的联合表示，然后将该联合表示传入全连接层以及后续的sigmoid层，最终获得用户u订购影像i的配对概率

其中，W_out为权重矩阵，σ(·)为激活函数。

3.根据权利要求2所述的一种基于多属性融合的遥感影像推荐方法，其特征在于，步骤(3)中基于多属性融合的协同过滤推荐网络在训练时的目标函数采用交叉熵损失函数：

其中，

为训练集合，y_ui则表示实际类别，如果用户u订购了影像i，则y_ui＝1，否则y_ui＝0；

训练的目标是最小化实际类别与所预测的配对概率之间的误差。

4.根据权利要求1所述的一种基于多属性融合的遥感影像推荐方法，其特征在于，还包括以下步骤：

当新增用户时，调整基于多属性融合的协同过滤推荐网络的输入，使用用户职责嵌入向量、影像属性嵌入向量、影像订单嵌入向量与影像地物占比向量来表征用户和影像；

当新增影像时，调整基于多属性融合的协同过滤推荐网络的输入，使用用户职责嵌入向量、用户订购嵌入向量、影像属性嵌入向量与影像地物占比向量来表征用户和影像。

Images