CN110020168A - 一种基于大数据的三维素材推荐方法 - Google Patents

Abstract

本发明公开了一种基于大数据的三维素材推荐方法，其包括：构建全阶可变马尔科夫模型：确定当前时间，采集时间阈值T范围内的用户浏览操作记录，确定各个采样位置的数据集中概率，归一化处理，确定各个离散型分布概率，构建全阶可变马尔科夫模型；形成个体马尔科夫模型：根据移动对象的历史轨迹，构建0阶马尔科夫模型和可变阶马尔科夫模型，整合数据，形成每个用户的个体马尔科夫模型；生成概率向量线性组合：通过线性回归组合全局马尔科夫模型和个体马尔科夫模型，生成概率向量线性组合；确定采样位置并向用户推荐素材：给定训练浏览记录的集合，根据马尔科夫模型概率向量计算采样位置概率并预测下一个采样位置，该采样位置就是向用户推荐的素材。

Description

一种基于大数据的三维素材推荐方法

技术领域

本发明涉及互联网技术领域，特别涉及互联网大数据技术领域，具体地，本发明涉及一种基于大数据的三维素材推荐方法。

背景技术

随着科学技术的不断进步，数字媒体产业也在迅速发展，特别是在影视制作和游戏等产业方面，三维数字媒体的发展更加迅速。由于三维场景能构建出更加精致并真实的系统场景，更易于让用户接受。三维场景编辑器是设计、制作三维场景的辅助工具，用于提高场景制作效率。其中整合了各种素材资源以生成支持各种物体旋转、移动和缩放等功能的三维景象，可广泛应用于旅游景点、文物古建、工业产品、工厂校园、房产旅游等行业场景的制作。随着数字媒体产业，特别是在影视制作和游戏等产业方面以及三维数字媒体的快速发展和实际需求的不断增加，各种素材资源及其生成的各种三维景象的数据量越来越大，种类也是越来越多。

其中，三维素材除了内容很多分类，由于不同精度的素材对于渲染的硬件来说，会有更多的要求，现有的素材平台都是通过关键字搜索的方式获得相关的素材，用于二次创作。但是由于数据量的巨大，对于用户来说将花费大量的时间进行搜索、筛选和获取内容相关并且硬件要求符合自己的素材，这样会造成花费大量时间，不一定能找到最好的素材。因此，如何快速有效地向用户推荐并使用户找到所需位置上的素材就成了一个突出的亟待解决的问题。

当前对于素材的预测和选取就是简单的对大量数据进行条件筛取，筛取的结果不仅数量庞大，准确率低，甚至能筛取出来毫不相关的素材数据，无法对将要选取的素材所在位置进行预测和推荐，从而造成目前的方法效率低下，准确率无法保证。而目前主要的位置预测方法主要是针对一些地理位置的预测，其主要是利用基于马尔科夫模型的位置预测方法，如第201610141578.8号中国专利申请。该专利申请主要是通过马尔科夫模型以及推算出的聚类结果，对位置进行预测。但是该方法的候选位置的预测和选取主要是针对实际的地理位置，也就是说，地理位置中只要中间有路，那么这个位置就可以被选取。而网站的素材的选取是完全是不一样的情况，尤其是对于广电行业中一些要求时效性的三维素材的预测和选取，情况完全不同。这是因为所述的素材大部分来源于网络，而网络中的各个网站的所有链接都是可以选择的，因此所述专利申请的方法完全不能应用到网络素材的选取上。

发明内容

针对上面提到的技术问题，本发明提出了一种基于大数据的三维素材推荐方法，意在通过用户的使用习惯和已有的大数据，通过特定的算法对用户可能会用到的素材进行匹配，提高推荐的准确性，提升效率。

本发明主要是通过马尔科夫模型，根据用户对于素材的浏览操作记录来预测用户下一个要浏览的素材。在预测过程中全局马尔科夫模型利用所有可用的用户的浏览记录发现全局行为，基于这样的假设：不同用户经常有相似的浏览方式。例如，浏览下载了一个简单的纯色背景素材，然后又浏览下载了一个飞机的前景素材。另一方面:个体马尔科夫模型根据每个用户在一定时间段内的浏览操作记录建立个体模型。然后将两个模型进行线性回归组合，产生完整和更加准确的预测。由于广电行业对于三维素材的时效性和当前的新闻时事相关，那么在预测产品的时候，时间因素也要考虑进去，要对用户对素材的浏览操作记录进行时间段的划分。

在进行具体阐述之前，先给出以下定义，以更好地说明技术方案。

定义1、采样位置：对于一个给定的用户O，它通过一组采样位置，其中每个采样位置指的是记录O的浏览的素材。例如，在三维素材系统中，用户浏览一个素材的记录,就可以视作一个采样位置。该采样位置除了包括时间，浏览的素材以外，还包括浏览的入口，比如用户是通过按照分类进入的素材页面，还是按照搜索标签，然后进入的素材页面。

定义2、轨迹单元：对于一个给定的用户O，轨迹单元u是其轨迹的基本组成部分。每个轨迹单元u可以表示为(u.l,u.t,u.s)，其中，u.l是移动对象在时间戳 u.t时采样位置的ID，u.s表示的是对象浏览位置的来源。

定义3、轨迹：对于一个给定的用户O，其轨迹T被定义为一组按时间顺序排列的轨迹单元序列：<u1,u2,...,un>。根据定义2，轨迹T也可以表示为 <(u1.l,u1.t),(u2.l,u2.t),...,(un.l,un.t)>，其中，ui.t＜ui+1.t(1≤i≤n-1)。在这部分，本发明提到的时间轨迹和上面提到的专利申请中所说的时间轨迹是不同的，由于广电素材的时效性，在每个素材包中包含了时间戳，这个时间戳对应了时事类型，如果是年度时事，那么时间序列会以每年这个时间节点为中心，取序列，这取的轨迹是按照事件类型来取的；如果是普通素材，则按照一定时间段来做。

定义4、候选的下一位置：对于采样位置ui.l，用户可以O从ui.l直接到达 uj.l，那么我们就把uj.l定义为ui.l的候选的下一位置。候选的下一位置集合既可以通过先验知识(例如，这两个素材在同一分类中)也可以通过用户的浏览下载历史的归纳推理来获取。候选位置的选取，也有区别，如果是地理位置，那么，只要中间有路，那么这个位置就可以被选取，而网站是不一样的，所有的链接都是可以选择的，那么备选则是通过每个用户的浏览行为来计算的，例如，如果用户的习惯显示该用户喜欢按照类型来浏览，那么候选位置就按照类型来列举出下一个候选位置，如果用户的习惯显示该用户喜欢按照标签搜索来查找素材，那么给定的候选素材也是在其他用户行为中，搜索这个标签之后，浏览的素材做为候选的下一位置。

定义5、采样位置序列：对于一条给定的轨迹 <(u1.l,u1.t),(u2.l,u2.t),...,(un.l,un.t)>，其采样位置序列是指出现轨迹中的一系列采样位置，表示为<u1.l,u2.l,...,un.l>。

定义6、前缀集合：对于一个采样位置ui.l和一组给定的轨迹Γ，其尺寸为 N的前缀集合表示为指的是这样的序列集合：每个序列都是在某条轨迹 T∈Γ的采样位置序列中出现在ui+1.l之前的长度为N的子序列。

下面就具体描述一下本发明的一种基于大数据的三维素材推荐方法。本发明的方法包括：

采集历史浏览记录并构建全阶可变马尔科夫模型：先确定当前时间，从现在的时间起计算，采集时间阈值T范围内的用户历史浏览记录，确定各个采样位置的数据集中概率，进行归一化处理，确定各个离散型分布概率，构建全阶可变马尔科夫模型；

形成个体马尔科夫模型：根据每个移动对象的历史轨迹，构建0阶马尔科夫模型和可变阶马尔科夫模型，进行数据的整合，形成每个用户的个体马尔科夫模型；

生成概率向量线性组合：通过线性回归将全局马尔科夫模型和个体马尔科夫模型进行组合，生成概率向量线性组合；

确定采样位置并向用户推荐素材：给定训练浏览记录的集合，根据马尔科夫模型概率向量计算采样位置概率并预测下一个采样位置，该采样位置就是向用户推荐的素材。

可选地，所述时间阈值T的确定步骤如下：

1)先确定当前时间和当前产品的关系:是否时间在系统设定的特殊事件范围内；

2)确定当前产品的类型，如果产品类型，是和时间相关的，则时间阈值的步长就是按照特殊时间的步长来确定；如果不相关，则时间阈值的步长就按照正常范围获取。

其中，构建全阶可变马尔科夫模型的步骤为:

a)构建采样位置的前缀集合

b)对于前缀集合中每一个前缀，计算数据集中每个不同的采样位置出现在这个前缀之后的频率，进行归一化处理，得到一个关于下一个采样位置的离散型概率分布；

c)从1阶开始，依次开始训练，得到可变阶的全局马尔科夫模型。

可选择地，形成个体马尔科夫模型的具体步骤为：

i)将每个用户在所述时间阈值T内的长度大于1的浏览记录训练一个可变阶的马尔科夫模型:每个用户使用它自己的浏览记录构建前缀集合，计算下一个采样位置的概率分布，通过将阶数从1变化到N来迭代训练可变阶的马尔科夫模型；

ii)对于每个用户，使用它自己的记录单元训练一个0阶马尔科夫模型，计算用户在每个采样位置的出现概率；

iii)将0阶马尔科夫模型和可变阶马尔科夫模型整合在一起生成最终的个体马尔科夫模型。

可选择的实施方式中，生成概率向量线性组合的步骤为:

1’)分别使用概率向量来表示全局马尔科夫模型和个体马尔科夫模型的浏览记录序列的所有采样位置成为下一个采样位置的概率；

2’)构建浏览记录序列的指示向量，使真正的实际下个位置处的向量值为1，其他为0；

3’)将全局马尔科夫模型和个体马尔科夫模型的概率向量进行线性组合。全局马尔科夫模型和个体马尔科夫模型的概率向量组合后为：

其中，1是单位向量，β₀，β₁和β₂是需要估计的系数。

根据本发明技术方案的实施方式，确定采样位置并向用户推荐的素材的步骤可以为：

给定一个包含n条训练浏览记录的集合，通过标准线性回归最小化来计算βi的最优值，当w＝1时，代表全局马尔科夫模型的概率向量，w＝2时代表个体马尔科夫模型的概率向量，其中m表示采样位置的数目，表示位置j成为下一个采样位置的概率，进一步的，对于特定的轨迹，通过标记估计量中的k个最大元素来预测top-k个下一采样位置，这些采样位置就是向用户推荐的素材。

在另一可选择的实施方式中，对于一个给定的用户，它通过一组采样位置，其中每个采样位置指的是记录的浏览的素材，对应地，在三维素材系统中，用户浏览一个素材的记录，就可以视作一个采样位置，该采样位置除了包括时间、浏览的素材以外，还包括浏览的入口。

此外，在每个所述素材中包含有时间戳，该时间戳对应时事类型，对应年度时事，那么时间序列会以每年这个时间节点为中心取序列，则这取的轨迹是按照事件类型来取的。

候选的所述采样位置通过每个用户的浏览行为习惯来计算，计算方法包括：

A)按照类型浏览的习惯，则候选位置是按照类型来列举出下一个候选位置；

B)按照标签搜索来查找素材，则给定候选素材，在其他用户行为中搜索这个标签之后，浏览的素材作为候选的下一位置。

通过本发明的上述技术方案，以用户使用的浏览记录作为基础，也就是通过用户的使用习惯和已有的大数据，对单独用户进行模型构建，将用户与用户通过马尔科夫模型进行匹配，通过特定的算法对用户可能会用到的素材进行匹配，从而提高推荐的准确性，提升了素材的选择效率。

附图说明

图1为根据本发明实施例的一种基于大数据的三维素材推荐方法的总体流程图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，下面所描述的实施例仅是本发明的实施例，其仅用于更加清楚地对本发明进行解释和说明，并不能以此来限定本发明的保护范围。

本发明的一种基于大数据的三维素材推荐方法主要是通过用户使用的浏览记录作为基础，对单独用户进行模型构建，将用户与用户通过马尔科夫模型进行匹配，然后从相似用户的内容中获得推荐的素材。

本发明主要要点是：

1、在构建用户单个采样位置的时候，要将用户浏览素材的入口(来源位置) 作为考虑因素；

2、在预测候选位置的时候，同样的，将用户的素材入口作为考虑因素；

3、在构建前缀集合选取时间阈值的方法：通过时间和素材的关联性，来确定时间阈值的步长；

4、用户与商品间的匹配是通过用户与用户之间的模型匹配度来完成推荐的。

参考图1，本发明的一种基于大数据的三维素材推荐方法主要包括如下步骤：

S101，采集历史浏览记录并构建全阶可变马尔科夫模型：先确定当前时间，从现在的时间起计算，采集时间阈值T范围内的用户历史浏览记录，确定各个采样位置的数据集中概率，进行归一化处理，确定各个离散型分布概率，构建全阶可变马尔科夫模型；

S102，形成个体马尔科夫模型：根据每个移动对象的历史轨迹，构建0阶马尔科夫模型和可变阶马尔科夫模型，进行数据的整合，形成每个用户的个体马尔科夫模型；

S103，生成概率向量线性组合：通过线性回归将全局马尔科夫模型和个体马尔科夫模型进行组合，生成概率向量线性组合；

S104，确定采样位置并向用户推荐素材：给定训练浏览记录的集合，根据马尔科夫模型概率向量计算采样位置概率并预测下一个采样位置，该采样位置就是向用户推荐的素材。

其中，在步骤S101中，所述时间阈值T的确定可通过如下步骤实现：

1)先确定当前时间和当前产品的关系:是否时间在系统设定的特殊事件范围内；

2)确定当前产品的类型，如果产品类型，是和时间相关的，则时间阈值的步长就是按照特殊时间的步长来确定；如果不相关，则时间阈值的步长就按照正常范围获取。

其中，构建全阶可变马尔科夫模型的步骤为:

S1011，构建采样位置的前缀集合

S1012，对于前缀集合中每一个前缀，计算数据集中每个不同的采样位置出现在这个前缀之后的频率，进行归一化处理，得到一个关于下一个采样位置的离散型概率分布；

S1013，从1阶开始，依次开始训练，得到可变阶的全局马尔科夫模型。

形成个体马尔科夫模型的具体步骤为：

S1021，将每个用户在所述时间阈值T内的长度大于1的浏览记录训练一个可变阶的马尔科夫模型:每个用户使用它自己的浏览记录构建前缀集合，计算下一个采样位置的概率分布，通过将阶数从1变化到N来迭代训练可变阶的马尔科夫模型；

S1022，对于每个用户，使用它自己的记录单元训练一个0阶马尔科夫模型，计算用户在每个采样位置的出现概率；

S1023，将0阶马尔科夫模型和可变阶马尔科夫模型整合在一起生成最终的个体马尔科夫模型。

生成概率向量线性组合的步骤为:

S1031，分别使用概率向量来表示全局马尔科夫模型和个体马尔科夫模型的浏览记录序列的所有采样位置成为下一个采样位置的概率；

S1032，构建浏览记录序列的指示向量，使真正的实际下个位置处的向量值为1，其他为0；

S1033，将全局马尔科夫模型和个体马尔科夫模型的概率向量进行线性组合。全局马尔科夫模型和个体马尔科夫模型的概率向量组合后为：

其中，1是单位向量，β₀，β₁和β₂是需要估计的系数。

根据本发明技术方案的实施方式，确定采样位置并向用户推荐的素材的步骤可以为：

给定一个包含n条训练浏览记录的集合，通过标准线性回归最小化来计算βi的最优值，当w＝1时，代表全局马尔科夫模型的概率向量， w＝2时代表个体马尔科夫模型的概率向量，其中m表示采样位置的数目，表示位置j成为下一个采样位置的概率，进一步的，对于特定的轨迹，通过标记估计量中的k个最大元素来预测top-k个下一采样位置，这些采样位置就是向用户推荐的素材。

在另一可选择的实施方式中，对于一个给定的用户，它通过一组采样位置，其中每个采样位置指的是记录的浏览的素材，对应地，在三维素材系统中，用户浏览一个素材的记录，就可以视作一个采样位置，该采样位置除了包括时间、浏览的素材以外，还包括浏览的入口。

此外，在每个所述素材中包含有时间戳，该时间戳对应时事类型，对应年度时事，那么时间序列会以每年这个时间节点为中心取序列，则获取的轨迹是按照事件类型来选择的。

候选的所述采样位置通过每个用户的浏览行为习惯来计算，计算方法包括：

A)按照类型浏览的习惯，则候选位置是按照类型来列举出下一个候选位置；

B)按照标签搜索来查找素材，则给定候选素材，在其他用户行为中搜索这个标签之后，浏览的素材作为候选的下一位置。

通过本发明的上述技术方案，以用户使用的浏览记录作为基础，也就是通过用户的使用习惯和已有的大数据，对单独用户进行模型构建，将用户与用户通过马尔科夫模型进行匹配，通过特定的算法对用户可能会用到的素材进行匹配，从而提高推荐的准确性，提升了素材的选择效率。

以上对本发明的具体实施方式进行了详细的描述，但本领域内的技术人员根据本发明的创造性概念，可以对本发明进行各种变形和修改，但所做的各种变形和修改不脱离本发明的精神和范围，皆属于本发明权利要求的范围之内。

Claims (9)

1.一种基于大数据的三维素材推荐方法，其特征在于，该方法包括：

采集历史浏览记录并构建全阶可变马尔科夫模型：先确定当前时间，从现在的时间起计算，采集时间阈值的T范围内的用户历史浏览记录，确定各个采样位置的数据集中概率，进行归一化处理，确定各个离散型分布概率，构建全阶可变马尔科夫模型；

形成个体马尔科夫模型：根据每个移动对象的历史轨迹，构建0阶马尔科夫模型和可变阶马尔科夫模型，进行数据的整合，形成每个用户的个体马尔科夫模型；

生成概率向量线性组合：通过线性回归将全局马尔科夫模型和个体马尔科夫模型进行组合，生成概率向量线性组合；

确定采样位置并向用户推荐素材：给定训练浏览记录的集合，根据马尔科夫模型概率向量计算采样位置概率并预测下一个采样位置，该采样位置就是向用户推荐的素材。

2.根据权利要求1所述的方法，其特征在于，所述时间阈值T的确定步骤如下：

1)先确定当前时间和当前产品的关系:是否时间在系统设定的特殊事件范围内；

2)确定当前产品的类型，如果产品类型，是和时间相关的，则时间阈值的步长就是按照特殊时间的步长来确定；如果不相关，则时间阈值的步长就按照正常范围获取。

3.根据权利要求1所述的方法，其特征在于，构建全阶可变马尔科夫模型的步骤为:

a)构建采样位置的前缀集合；

b)对于前缀集合中每一个前缀，计算数据集中每个不同的采样位置出现在这个前缀之后的频率，进行归一化处理，得到一个关于下一个采样位置的离散型概率分布；

c)从1阶开始，依次开始训练，得到可变阶的全局马尔科夫模型。

4.根据权利要求1所述的方法，其特征在于，形成个体马尔科夫模型的具体步骤为：

i)将每个用户在所述时间阈值T内的长度大于1的浏览记录训练一个可变阶的马尔科夫模型:每个用户使用它自己的浏览记录构建前缀集合，计算下一个采样位置的概率分布，通过将阶数从1变化到N来迭代训练可变阶的马尔科夫模型；

ii)对于每个用户，使用它自己的记录单元训练一个0阶马尔科夫模型，计算用户在每个采样位置的出现概率；

iii)将0阶马尔科夫模型和可变阶马尔科夫模型整合在一起生成最终的个体马尔科夫模型。

5.根据权利要求1所述的方法，其特征在于，生成概率向量线性组合的步骤为:

1’)分别使用概率向量来表示全局马尔科夫模型和个体马尔科夫模型的浏览记录序列的所有采样位置成为下一个采样位置的概率；

2’)构建浏览记录序列的指示向量，使真正的实际下个位置处的向量值为1，其他为0；

3’)将全局马尔科夫模型和个体马尔科夫模型的概率向量进行线性组合。全局马尔科夫模型和个体马尔科夫模型的概率向量组合后为：

其中，1是单位向量，β₀，β₁和β₂是需要估计的系数。

6.根据权利要求1所述的方法，其特征在于，确定采样位置并向用户推荐的素材的步骤具体为：

给定一个包含n条训练浏览记录的集合，通过标准线性回归最小化来计算βi的最优值，当w＝1时，代表全局马尔科夫模型的概率向量，w＝2时代表个体马尔科夫模型的概率向量，其中m表示采样位置的数目，表示位置j成为下一个采样位置的概率，进一步的，对于特定的轨迹，通过标记估计量中的k个最大元素来预测top-k个下一采样位置，这些采样位置就是向用户推荐的素材。

7.根据权利要求1所述的方法，其特征在于，所述采样位置为：对于一个给定的用户，它通过一组采样位置，其中每个采样位置指的是记录的浏览的素材，对应地，在三维素材系统中，用户浏览一个素材的记录，就可以视作一个采样位置，该采样位置除了包括时间、浏览的素材以外，还包括浏览的入口。

8.根据权利要求1所述的方法，其特征在于，在每个所述素材中包含有时间戳，该时间戳对应时事类型，对应年度时事，那么时间序列会以每年这个时间节点为中心取序列，则这取的轨迹是按照事件类型来取的。

9.根据权利要求1所述的方法，其特征在于，候选的所述采样位置通过每个用户的浏览行为习惯来计算，计算方法包括：

A)按照类型浏览的习惯，则候选位置是按照类型来列举出下一个候选位置；

B)按照标签搜索来查找素材，则给定候选素材，在其他用户行为中搜索这个标签之后，浏览的素材作为候选的下一位置。