CN109614507B - 一种基于频繁项挖掘的遥感图像推荐装置 - Google Patents

Abstract

本发明公开了一种基于频繁项挖掘的遥感图像推荐装置，该装置实现的功能为：接收用户通过前端网页框选的区域；据框选的矩形区域，在数据库中检索获得框选矩形区域覆盖的所有区域数据，并对该所有区域数据进行任意组合，获得所有可能频繁项后，利用预设的频繁项样本集对所有可能频繁项进行筛选，获得频繁项；利用训练好的GBDT模型计算频繁项的推荐概率；输出推荐概率最高的频繁项给用户，实现对遥感图像的推荐。该装置有效地结合遥感数据本身的时空特性进行匹配与推荐，使得用户在与页面展示的二维地图进行交互后可以得到更加符合用户期望的数据组合。

Description

一种基于频繁项挖掘的遥感图像推荐装置

技术领域

本发明属于遥感影像数据挖掘技术领域，特别地涉及一种基于频繁项挖掘的遥感图像推荐装置。

背景技术

随着互联网的快速发展，数据也迎来了爆发式的增长，无论是用户数据，商品数据还是网站数量等等都呈现出指数型的增长趋势，迎面而来的主要有两个问题，一个是海量的数据如何存储，目前比较通用的技术方案是基于Hadoop集群来对海量数据做分布式的存储，通过动态扩展集群数量来提高整体的存储容量，并且分布式存储通过特有的备份机制保障了数据存放的安全性。第二个问题是，海量的数据如何高效的检索，由于数量大大增长，产生的速度已经远远超过了用户可以获取的速度，用户在面对海量数据集时将无所适从。如今比较常见的方案是加入个性化排序，使得用户可以更容易获得目标数据信息，如搜索引擎在搜索结果中加入个性化排序，在内容分发上加入个性化推荐分发等。

在遥感数据领域，遥感数据与一般的商品性质不同，主要有以下几点：1.遥感数据一般都较大，原始数据一般在1Gb左右，若数据量上升，单机存储基本无法满足要求。2.遥感数据涉及到空间属性，每份数据都对应着实际的一片区域，一般的商品不具备该特性。3.遥感数据涉及到时间属性，同一片区域一般会有多份不同时间维度的数据。4.遥感数据交易量有限，并且时间跨度可能较大，需要解决数据量不足的问题。

在遥感数据检索方面，一种方式是提供全文检索，通过匹配用户搜索词与目标遥感数据元数据的匹配程度来返回目标结果。另一种方式是为用户提供多边形勾选工具，使得用户可以自主地在交互页面上选择自己感兴趣的区域进行勾选，并在勾选的区域返回的结果集合中自主选择感兴趣遥感数据。由于用户的意图可能有多个城市，但是无论是全文检索还是二维图像勾选检索，都只能依靠用户在返回的结果集中自主选择目标结果，一旦返回结果数量过多，用户耗费的时间就会越长，非常影响用户的效率与体验，并且返回的结果都是单个区域，用户很多时候需要的是若干个区域的组合。

发明内容

为解决上述问题，本发明的目的在于提供一种基于频繁项挖掘的遥感图像推荐装置。在用户与前端二维地图产生矩形工具勾选交互行为时返回用户可能最感兴趣的地区组合并在前端标记出这些区域展示给用户，使得用户可以更加便捷地选择到自己感兴趣的地域组合。

为实现上述目的，本发明的技术方案为：

一种基于频繁项挖掘的遥感图像推荐装置，包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序，所述计算机存储器中存有训练好的GBDT模型、包含有遥感数据元数据的数据库、频繁项样本集；

所述计算机处理器执行所述计算机程序时实现以下步骤：

(1)接收用户通过前端网页框选的区域；

(2)根据框选的矩形区域，在数据库中检索获得框选矩形区域覆盖的所有区域数据，并对该所有区域数据进行任意组合，获得所有可能频繁项后，利用预设的频繁项样本集对所有可能频繁项进行筛选，获得频繁项；

(3)针对每个频繁项，将频繁项中每个区域的遥感数据特征和该用户的用户特征组成每个特定区域特征，并利用训练好的GBDT模型对每个特定区域特征进行预测计算，获得每个特定区域特征对应的推荐概率，频繁项中所有特定区域特征对应的推荐概率的均值作为该频繁项的推荐概率；

(4)输出推荐概率最高的频繁项给用户，实现对遥感图像的推荐。

该方法在使用二维平面勾选搜索下加入了频繁项挖掘策略，使得可以更有效地推荐出用户划定区域后希望选择的区域数据，并且将时空数据的处理转化为了先空间再时间的处理方式，很好地解决了数据量较小的问题。

具体地，所述根据框选的区域，在数据库中检索获得框选区域覆盖的所有区域数据包括：

使用z-order算法将框选矩形区域的两个对顶角转化为二进制数字串，根据该二进制数字串在数据库中检索出被该框选矩形区域包含或相近的区域。

其中，预设的频繁项样本集的通过以下方式构建：

从日志文件中提取每个用户的历史交互记录，以用户id为键，以历史交互记录所在的区域为数据值，构建每个用户的区域组合集，每个区域组合集中包含至少一个由至少两个区域组合成的区域组合；

统计所有用户的区域组合集，滤除掉相同的区域组合，剩下的所有区域组合构成针对空间的区域组合集；

根据预设的频繁项挖掘最小支持度，采用fp-growth算法在空间的区域组合集中进行频繁项挖掘，将区域组合中区域个数大于最小支持度的区域组合作为频繁项，以此构建频繁项样本集。

具体地，所述历史交互记录包括用户选择的区域组合数据、用户搜索并产生交互的数据以及对用户曝光但未被用户点击的数据。

其中，用户特征获取方式为：

对用户的注册信息使用onehot编码，以及连续特征离散化等处理方式获取用户特征的向量化表示，该向量值代表用户特征。

其中，GBDT模型的训练过程为：

构建训练集：用户特征、用户搜索并产生交互的数据对应的遥感数据特征组成正样本，用户特征、对用户曝光但未被用户点击的数据对应的遥感数据特征组成负样本，多个正样本和负样本组成样本集，将样本集按照3:1分成训练集和测试集；

利用训练集对GBDT模型进行训练，优化GBDT模型参数，利用测试集对GBDT模型进行测试，评估GBDT模型的性能指标，当GBDT模型的性能指标达到要求时，即停止训练，获得训练好的GBDT模型。

其中，遥感数据特征的获取方式为：

对每条历史交互记录对应遥感数据的元数据信息使用onehot编码，以及连续特征离散化处理方式获取遥感数据特征的向量化表示，该向量值代表该遥感数据的特征。

为了尽可能地捕获整体用户更为实时的行为，需要定期对模型进行更新，使得整体具有更好的时效性，更新的时间间隔采用动态进行调整。具体地，所述训练好的GBDT模型在线下训练完成，然后存储在遥感图像推荐装置中；

线下训练好的GBDT模型加载到线上使用后，保存每次应用时的交互数据作为后续模型更新的训练样本，周期性地使用这些训练样本对线下训练好的GBDT模型进行参数优化更新。

上述基于频繁项挖掘的遥感图像推荐装置结合训练好的GBDT模型和频繁项挖掘策略，能够及时有效地推荐出用户框选区域后希望选择的区域数据，并且该装置将对时空数据的处理转化为了先空间再时间的处理方式，很好的解决了数据量小的问题。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。

本实施例提供了一种基于频繁项挖掘的遥感图像推荐装置，包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序，计算机存储器中存有训练好的GBDT模型、包含有用户注册信息的数据库、频繁项样本集。

数据库中包含有用户注册信息，具体包括用户性别，年龄，籍贯，部门，地理位置等信息，根据数据库中的用户注册信息构建用户特征，具体地，以用户id作为键，用户的特征作为键，用户的特征的获取方式是这样，对用户的注册信息使用onehot编码以及连续特征离散化等处理方式获取用户特征的向量化表示，该向量值代表了该用户特征，将这对键值对存储到redis数据库中。

日志文件中包含有每个用户的历史交互记录，具体包括用户选择的区域组合数据、用户搜索并产生交互的数据以及对用户曝光但未被用户点击的数据。如用户在对遥感数据(也就是地图)浏览时，服务器会对用户显示多条推送信息，用户点击或存放到购物车中的推送信息即为用户搜索并产生交互的数据，用户没点击的推送消息即为对用户曝光但未被用户点击的数据，当用户点击了多个地域的推送信息，也就是推送信息所在地为多个区域时，则多个地域的推送信息会形成用户选择的区域组合数据。

在获得多个每个用户的历史交互记录后，即可以构建遥感数据特征，即对每条历史交互记录对应遥感数据的元数据信息(包括卫星号、经纬度、拍摄时间等等)，使用onehot编码以及连续特征离散化等处理方式获取遥感数据特征的向量化表示，该向量值代表了该遥感数据的特征，以该遥感数据的id为键，以该遥感数据的特征为值组成键值对存储于redis数据库中。该遥感数据特征主要用于后续构建机器学习模型的训练样本以及构建频繁项样本集。

构建频繁项样本集的过程为：

首先，从日志文件中提取每个用户的历史交互记录，以用户id为键，以历史交互记录所在的区域为数据值，构建每个用户的区域组合集，每个区域组合集中包含至少一个由至少两个区域组合成的区域组合。此处统计区域组合时需要忽略时间信息，例如，例如2018-01-01杭州与2018-01-02杭州为同一区域数据，因为它们同属于杭州，并不能将二者作为两个不同的数据。

然后，统计所有用户的区域组合集，滤除掉相同的区域组合，剩下的所有区域组合构成针对空间的区域组合集。

接下来，设置频繁项挖掘的最小支持度，最小支持度指的是该组合成为频繁项需要满足的最小计数，也即在所有的用户交互记录中该组合出现的频次需要满足该最小支持度。

最后，根据预设的频繁项挖掘最小支持度，采用fp-growth算法在空间的区域组合集中进行频繁项挖掘，将区域组合中区域个数大于最小支持度的区域组合作为频繁项，以此构建频繁项样本集，将频繁项集保存至redis数据库中，其中fp-growth是数据挖掘中一种常用的挖掘频繁项的算法，redis是一个基于内存的数据库，因此查询速度很快。

在获得以上用户特征和遥感数据特征后，即可以构建和训练GBDT模型，具体过程如下：

构建训练集：提取用户搜索并产生交互的数据对应的遥感数据特征，将其与用户特征拼接成正样本，提取对用户曝光但未被用户点击的数据对应的遥感数据特征，将其与用户特征拼接成负样本，多个正样本和负样本组成样本集。

构建GBDT模型：GBDT模型为一种基于回归树的分类模型，模型中使用了多棵回归树来更好地拟合数据，开始阶段需要为GBDT设置初始化参数用于训练，GBDT模型可以输出概率值，该输出概率值可以作为当前用户对于该数据的点击倾向程度的打分。

训练GBDT模型：将样本集按照3:1的比例分成训练集和测试集，设置测试样本的目标是考核训练得到的模型应对未知数据的效果，同时使用AUC作为GBDT的评估指标，其中AUC是一种二分类问题下比较常用的评估方法，范围为0～1，数值越高意味着分类器的性能越好。

具体地，利用训练集对GBDT模型进行训练，优化GBDT模型参数，利用测试集对GBDT模型进行测试，评估GBDT模型的性能指标，当GBDT模型的性能指标达到要求时，即停止训练，获得训练好的GBDT模型，即GBDT模型的超参数，包括树的个数，树的深度均确定。

将涉及到时空数据精细化匹配转化为先提取空间数据的粗匹配，再根据空间匹配到的结果进行机器学习建模分析，加入数据的时间维度信息，解决单区域单时间只有一条遥感数据记录导致数据量较少无法有效挖掘频繁项的问题。

将训练好的GBDT模型、包含有用户注册信息的数据库、包含有遥感数据元数据的数据库、频繁项样本集存储在计算机存储器中，应用时，遥感图像推荐装置进行以下步骤：

步骤1，接收用户通过前端网页框选的区域。

步骤2，根据框选的矩形区域，在数据库中检索获得框选矩形区域覆盖的所有区域数据。

具体地，用户在前端页面使用矩形工具框选一个区域，每个矩形由左上角与右下角两个坐标点唯一确定，使用z-order算法将该矩形区域使用一个一维的二进制数字串表示，其中z-order算法的作用是使得在二维空间上相近的两个点，经过z-order转化为一维数字后二者的公共前缀也会尽可能长。然后，通过z-order转化为的数字串在相应的数据库中检索出所有的被该矩形包含或者相近的区域数据。

步骤3，对所有区域数据进行任意组合，获得所有可能频繁项后，利用预设的频繁项样本集对所有可能频繁项进行筛选，获得频繁项，该频繁项即为待定的展示项集。

步骤4，针对每个频繁项，将频繁项中每个区域的遥感数据特征和该用户的用户特征组成每个特定区域特征。

此处的特定区域特征是具有时间特征的，例如频繁项样本集为{杭州}，uid为用户id，那么就需要生成包含杭州的所有时间点的数据，如uid+杭州20180101，uid+杭州20180102等。

步骤5，利用训练好的GBDT模型对每个特定区域特征进行预测计算，获得每个特定区域特征对应的推荐概率。该概率值可以当作当前用户对该区域数据的喜好程度，取分值最高的记录作为该用户对该条数据某个时间点的推荐信息，如uid+杭州20180101的分值最高，那么杭州20180101将作为向用户推荐的结果。

步骤6，频繁项中所有特定区域特征对应的推荐概率的均值作为该频繁项的推荐概率。

由于有多个频繁项，每个频繁项中包含多条数据记录，那么对于每个频繁项，取该频繁项中所有特定区域特征对应的推荐概率的平均值作为该频繁项的打分。

步骤7，输出推荐概率最高的频繁项给用户，实现对遥感图像的推荐。

即将推荐概率最高的频繁项返回给前端页面，前端页面在交互上直接将该频繁项包含的区域选择并显示给用户。对于匹配到有多个频繁项的情况时，结合用户特征以及数据特征进行机器学习建模分析，从而在有多个频繁项的情况下挑选出最佳匹配的频繁项，该频繁项将作为结果返回给用户。

本实施例中的计算机处理器可以为任意型号的处理器，存储器可以为随机存取储器(RAM)、只读存储器(ROM)、闪存(Flash Memory)、先进先出存储器(FIFO)以及先进后出存储器(FILO)等。

上述遥感图像推荐装置可以有效地结合遥感数据本身的时空特性进行匹配与推荐，使得用户在与页面展示的二维地图进行交互后可以得到更加符合用户期望的数据组合，这个数据组合是通过频繁项挖掘以及机器学习建模分析而得到。

以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于频繁项挖掘的遥感图像推荐装置，包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序，其特征在于：

所述计算机存储器中存有训练好的GBDT模型、包含有用户注册信息的数据库、包含有遥感数据元数据的数据库、频繁项样本集；

所述计算机处理器执行所述计算机程序时实现以下步骤：

(1)接收用户通过前端网页框选的区域；

(2)根据框选的矩形区域，在数据库中检索获得框选矩形区域覆盖的所有区域数据，并对该所有区域数据进行任意组合，获得所有可能频繁项后，利用预设的频繁项样本集对所有可能频繁项进行筛选，获得频繁项；

(3)针对每个频繁项，将频繁项中每个区域的遥感数据特征和该用户的用户特征组成每个特定区域特征，并利用训练好的GBDT模型对每个特定区域特征进行预测计算，获得每个特定区域特征对应的推荐概率，频繁项中所有特定区域特征对应的推荐概率的均值作为该频繁项的推荐概率；

(4)输出推荐概率最高的频繁项给用户，实现对遥感图像的推荐；

其中，GBDT模型的训练过程为：

构建训练集：用户特征、用户搜索并产生交互的数据对应的遥感数据特征组成正样本，用户特征、对用户曝光但未被用户点击的数据对应的遥感数据特征组成负样本，多个正样本和负样本组成样本集，将样本集按照3:1分成训练集和测试集；

利用训练集对GBDT模型进行训练，优化GBDT模型参数，利用测试集对GBDT模型进行测试，评估GBDT模型的性能指标，当GBDT模型的性能指标达到要求时，即停止训练，获得训练好的GBDT模型。

2.如权利要求1所述的基于频繁项挖掘的遥感图像推荐装置，其特征在于，所述根据框选的区域，在数据库中检索获得框选区域覆盖的所有区域数据包括：

使用z-order算法将框选矩形区域的两个对顶角转化为二进制数字串，根据该二进制数字串在数据库中检索出被该框选矩形区域包含或相近的区域。

3.如权利要求1所述的基于频繁项挖掘的遥感图像推荐装置，其特征在于，预设的频繁项样本集的通过以下方式构建：

从日志文件中提取每个用户的历史交互记录，以用户id为键，以历史交互记录所在的区域为数据值，构建每个用户的区域组合集，每个区域组合集中包含至少一个由至少两个区域组合成的区域组合；

统计所有用户的区域组合集，滤除掉相同的区域组合，剩下的所有区域组合构成针对空间的区域组合集；

根据预设的频繁项挖掘最小支持度，采用fp-growth算法在空间的区域组合集中进行频繁项挖掘，将区域组合中区域个数大于最小支持度的区域组合作为频繁项，以此构建频繁项样本集。

4.如权利要求3所述的基于频繁项挖掘的遥感图像推荐装置，其特征在于，所述历史交互记录包括用户选择的区域组合数据、用户搜索并产生交互的数据以及对用户曝光但未被用户点击的数据。

5.如权利要求1所述的基于频繁项挖掘的遥感图像推荐装置，其特征在于，用户特征获取方式为：

对用户的注册信息使用onehot编码，以及连续特征离散化处理方式获取用户特征的向量化表示，该向量值代表用户特征。

6.如权利要求1所述的基于频繁项挖掘的遥感图像推荐装置，其特征在于，遥感数据特征的获取方式为：

对每条历史交互记录对应遥感数据的元数据信息使用onehot编码，以及连续特征离散化处理方式获取遥感数据特征的向量化表示，该向量值代表该遥感数据特征。

7.如权利要求1所述的基于频繁项挖掘的遥感图像推荐装置，其特征在于，所述训练好的GBDT模型在线下训练完成，然后存储在遥感图像推荐装置中；

线下训练好的GBDT模型加载到线上使用后，保存每次应用时的交互数据作为后续模型更新的训练样本，周期性地使用这些训练样本对线下训练好的GBDT模型进行参数优化更新。