发明内容
本发明的目的在于提供一种大数据信息监控方法、装置及计算机设备。
第一方面,本发明实施例提供一种大数据信息监控方法,应用于大数据信息监控平台,所述大数据信息监控平台与储存有多个大数据信息集合的大数据信息监控服务器通信连接,所述多个大数据信息集合分别定义多个大数据类型,所述大数据类型中包括与该大数据类型对应的大数据信息集合的初始大数据;所述大数据信息监控平台中还包括与所述多个大数据类型分别建立关联的多个大数据信息监控热力图,其中,所述大数据信息监控热力图通过所述初始大数据与所述大数据类型建立关联;
所述方法包括:
获取大数据更新信息,其中,所述大数据更新信息中包括基础大数据更新数据以及目标大数据元素集;
基于所述基础大数据更新数据,从所述多个大数据类型中确定与所述基础大数据更新数据匹配的第一大数据类型,其中,所述第一大数据类型对应所述多个大数据信息集合中的第一大数据信息集合;
从与所述第一大数据类型关联的第一大数据信息监控热力图中获取已有的大数据元素集,其中,所述大数据信息监控热力图中包括已有的大数据元素集,已有的大数据元素集包括所述第一大数据信息集合已更新过的数据更新标识;
从所述目标大数据元素集中筛选出与所述已有的大数据元素集中的数据更新标识相同的数据更新标识,获得待处理大数据元素集;
从所述目标大数据元素集中筛选出与所述已有的大数据元素集中的数据更新标识不相同的数据更新标识,获得更新大数据元素集;
基于所述待处理大数据元素集和所述更新大数据元素集,对所述第一大数据信息监控热力图进行处理,获得处理后的第一大数据信息监控热力图;
将所述处理后的第一大数据信息监控热力图中的数据写入所述大数据信息监控服务器,更新所述第一大数据信息集合的信息;
基于所述更新后的第一大数据信息集合,生成目标大数据推荐策略。
可选地,所述初始大数据包括大数据的名称、大数据相关内容和待更新大数据内容,所述大数据信息监控热力图中包括大数据分布集群;
所述大数据信息监控热力图通过所述初始大数据与所述大数据类型建立关联的步骤,包括:
将所述大数据的名称、大数据相关内容和待更新大数据内容与所述大数据分布集群建立关联。
可选地,所述大数据类型中还包括用于表征该大数据类型对应大数据信息集合的实时更新状态的预设数据段,所述第一大数据信息集合的实时更新状态储存于第一大数据类型中的第一预设数据段;
所述方法还包括:
基于所述第一预设数据段中的实时更新状态,获得所述第一大数据信息集合的实时更新状态。
可选地,所述基于所述更新后的第一大数据信息集合,生成目标大数据推荐策略的步骤,包括:
获取更新后的第一大数据信息集合,并基于所述更新后的第一大数据信息集合,生成至少一个待使用大数据推荐策略;
获取第一大数据属性参数,其中,所述第一大数据属性参数包括预设大数据类型标识和预设大数据时效标识;
使用预设大数据类型标识对应的参数信息和实时的预设大数据时效标识,基于预设的转换规则,将预设大数据时效标识的实时时效参考量转换为所述预设大数据类型标识对应的数据类型参考量的多个参考权重值;
基于所述预设大数据类型标识对应的数据类型参考量的多个参考权重值以及所述预设大数据类型标识,在同一预设大数据处理模型中对至少两个待使用大数据推荐策略同时进行策略运行,以得到参考大数据推荐策略结果;
基于现有目标大数据推荐策略的运行结果确定所述预设阈值;
根据预设阈值对所述参考大数据推荐策略结果进行筛选,以得到对应的目标大数据推荐策略;
将目标大数据推荐策略进行展示。
可选地,所述基于所述预设大数据类型标识对应的数据类型参考量的多个参考权重值以及所述预设大数据类型标识,在同一预设大数据处理模型中对至少两个待使用大数据推荐策略同时进行策略运行,以得到参考大数据推荐策略结果的步骤,包括:
从对初始数据类型参考量进行处理所得到的综合数据类型参考量中,获取目标数据类型参考量;
确定与所述目标数据类型参考量中所匹配的所述待使用大数据推荐策略所属的待使用大数据推荐策略匹配的预设策略属性映射数据库;
利用所述预设策略属性映射数据库,依次统计匹配所述目标数据类型参考量的策略映射关系对应的所述待使用大数据推荐策略的推荐值;
从所述预设策略属性映射数据库中,获取第一大数据库文件,其中,所述第一大数据库文件用于指示至少一个所述策略映射关系持有的所述待使用大数据推荐策略所在的文件;
按照预定顺序依次对相邻的两个所述第一大数据库文件进行比对;在比对结果指示不满足合并条件的情况下,将从相邻的两个所述第一大数据库文件中获取的一个第一大数据库文件,和从位于相邻的两个所述第一大数据库文件之后获取的下一个第一大数据库文件,作为下一次将要比对的相邻的两个所述第一大数据库文件;
在相邻的两个所述第一大数据库文件中,有且仅有一个所述策略映射关系持有所述待使用大数据推荐策略,且为同一个所述策略映射关系所持有的情况下,确定相邻的两个所述第一大数据库文件满足所述合并条件;
合并相邻的两个所述第一大数据库文件得到所述目标大数据文件;
将所述目标大数据文件作为下一次将要比对的相邻的两个所述第一大数据库文件中的一个第一大数据库文件;
获取与所述综合数据类型参考量中所匹配的每一个待定数据类型参考量分别对应的目标权重值;
利用与所述综合数据类型参考量中所匹配的每一个待定数据类型参考量分别对应的目标权重值进行处理,得到第一处理结果,其中,所述第一处理结果用于识别与所述初始数据类型参考量存在重复的待定数据类型参考量;
按照所述目标数据类型参考量中所匹配的所述待使用大数据推荐策略所属的所述待使用大数据推荐策略,将所述目标大数据文件关联所述目标权重值,其中,同一待使用大数据推荐策略在同一目标大数据文件内统计的推荐值使用第一隔离区间标记,同一待使用大数据推荐策略在不同目标大数据文件内统计的推荐值使用第二隔离区间标记,不同待使用大数据推荐策略内统计的推荐值使用第三隔离区间标记,所述目标权重值根据所述目标数据类型参考量中所对应的待使用大数据推荐策略确定;
对所述目标权重值进行处理,得到第二处理结果;
在已存储的策略参考模板中查找与所述第二处理结果对应的所述目标大数据参考向量集,其中,所述策略参考模板用于记录已生成的大数据参考向量集与所述大数据参考向量集的索引之间的映射关系,所述索引包括与所述大数据参考向量集相匹配的目标权重值通过处理而得到的处理结果,所述目标大数据参考向量集用于指示所述目标数据类型参考量中所匹配的所述待使用大数据推荐策略的推荐值;
在查找到所述目标大数据参考向量的情况下,从所述目标大数据参考向量中确定出目标大数据参考系数;
按照所述目标大数据参考系数配置所述目标数据类型参考量中的所述待使用大数据推荐策略,以获取所述参考大数据推荐策略。
可选地,所述基础大数据更新数据包括大数据的名称、大数据相关内容和待更新大数据内容;
所述基于所述基础大数据更新数据,从所述多个大数据类型中确定与所述基础大数据更新数据匹配的第一大数据类型的步骤,包括:
基于所述大数据的名称、大数据相关内容和待更新大数据内容,调用第一预设函数,获取一个目标大数据类型;
判断所述目标大数据类型是否为预设大数据类型;
若是,则从所述多个大数据类型中确定与所述基础大数据更新数据匹配的第一大数据类型。
可选地,所述大数据信息监控热力图中包括数据更新标识信息字段和数据更新标识类型字段,其中,所述数据更新标识类型字段用于储存已有的数据更新标识类型,所述数据更新标识信息字段用于存储所述已有的大数据元素集;
所述从与所述第一大数据类型关联的第一大数据信息监控热力图中获取已有的大数据元素集的步骤,包括:
调用第二预设函数,从所述第一大数据信息监控热力图中筛选出所述已有的数据更新标识类型中的第一数据更新标识类型;
调用第三预设函数,从所述第一大数据信息监控热力图中筛选出所述第一数据更新标识类型所包括的已有的数据更新标识,获取已有的大数据元素集。
第二方面,本发明实施例提供一种大数据信息监控装置,应用于大数据信息监控平台,所述大数据信息监控平台与储存有多个大数据信息集合的大数据信息监控服务器通信连接,所述多个大数据信息集合分别定义多个大数据类型,所述大数据类型中包括与该大数据类型对应大数据信息集合的初始大数据;所述大数据信息监控平台中还包括与所述多个大数据类型分别建立关联的多个大数据信息监控热力图,其中,所述大数据信息监控热力图通过所述初始大数据与所述大数据类型建立关联;
所述装置包括:
获取模块,用于获取大数据更新信息,其中,所述大数据更新信息中包括基础大数据更新数据以及目标大数据元素集;
确定模块,用于基于所述基础大数据更新数据,从所述多个大数据类型中确定与所述基础大数据更新数据匹配的第一大数据类型,其中,所述第一大数据类型对应所述多个大数据信息集合中的第一大数据信息集合;从与所述第一大数据类型关联的第一大数据信息监控热力图中获取已有的大数据元素集,其中,所述大数据信息监控热力图中包括已有的大数据元素集,已有的大数据元素集包括所述第一大数据信息集合已更新过的数据更新标识;从所述目标大数据元素集中筛选出与所述已有的大数据元素集中的数据更新标识相同的数据更新标识,获得待处理大数据元素集;从所述目标大数据元素集中筛选出与所述已有的大数据元素集中的数据更新标识不相同的数据更新标识,获得更新大数据元素集;
处理模块,用于基于所述待处理大数据元素集和所述更新大数据元素集,对所述第一大数据信息监控热力图进行处理,获得处理后的第一大数据信息监控热力图;将所述处理后的第一大数据信息监控热力图中的数据写入所述大数据信息监控服务器,更新所述第一大数据信息集合的信息;
基于所述更新后的第一大数据信息集合,生成目标大数据推荐策略。
第三方面,本发明实施例提供一种计算机设备,所述计算机设备包括处理器及存储有计算机指令的非易失性存储器,所述计算机指令被所述处理器执行时,所述计算机设备执行第一方面所述的大数据信息监控方法。
第四方面,本发明实施例提供一种可读存储介质,所述可读存储介质包括计算机程序,所述计算机程序运行时控制所述可读存储介质所在计算机设备执行第一方面所述的大数据信息监控方法。
相比现有技术,本发明提供的有益效果包括:采用一种大数据信息监控方法,通过获取大数据更新信息,其中,所述大数据更新信息中包括基础大数据更新数据以及目标大数据元素集;然后基于所述基础大数据更新数据,从所述多个大数据类型中确定与所述基础大数据更新数据匹配的第一大数据类型,其中,所述第一大数据类型对应所述多个大数据信息集合中的第一大数据信息集合;再从与所述第一大数据类型关联的第一大数据信息监控热力图中获取已有的大数据元素集,其中,所述大数据信息监控热力图中包括已有的大数据元素集,已有的大数据元素集包括所述第一大数据信息集合已更新过的数据更新标识;进而从所述目标大数据元素集中筛选出与所述已有的大数据元素集中的数据更新标识相同的数据更新标识,获得待处理大数据元素集;接着从所述目标大数据元素集中筛选出与所述已有的大数据元素集中的数据更新标识不相同的数据更新标识,获得更新大数据元素集;并基于所述待处理大数据元素集和所述更新大数据元素集,对所述第一大数据信息监控热力图进行处理,获得处理后的第一大数据信息监控热力图;最终将所述处理后的第一大数据信息监控热力图中的数据写入所述大数据信息监控服务器,更新所述第一大数据信息集合的信息,能够便捷地对大数据进行监控。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
此外,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
在本发明的描述中,还需要说明的是,除非另有明确的规定和限定,“设置”、“连接”等术语应做广义理解,例如,“连接”可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接连接,也可以通过中间媒介间接连接,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
下面结合附图,对本发明的具体实施方式进行详细说明。
目前,大数据的监控随着信息技术的发展已经越来越重要,由于数据的数据量的增加的数据类型的增加,导致了想要人工进行后续的大数据监控策略的定制也难以实施。基于此,请参照图1,图1是本发明一种实施例提供的大数据信息监控系统的交互示意图。大数据信息监控系统可以包括大数据信息监控平台10以及与大数据信息监控平台10通信连接的储存有多个大数据信息集合的大数据信息监控服务器20,多个大数据信息集合分别定义多个大数据类型,大数据类型中包括与该大数据类型对应大数据信息集合的初始大数据。大数据信息监控平台10中还包括与多个大数据类型分别建立关联的多个大数据信息监控热力图。图1所示的大数据信息监控系统仅为一种可行的示例,在其它可行的实施例中,该大数据信息监控系统也可以仅包括图1所示组成部分的其中一部分或者还可以包括其它的组成部分。
大数据信息监控服务器20可以包括移动设备、平板计算机、膝上型计算机等或其任意组合。在一些实施例中,移动设备可以包括智能家居设备、可穿戴设备、智能移动设备、虚拟现实设备、或增强现实设备等,或其任意组合。在一些实施例中,智能家居设备可以包括智能电器设备的控制设备、智能监控设备、智能电视、智能摄像机等,或其任意组合。在一些实施例中,可穿戴设备可包括智能手环、智能鞋带、智能玻璃、智能头盔、智能手表、智能服装、智能背包、智能配件等,或其任何组合。在一些实施例中,智能移动设备可以包括智能手机、个人数字助理、游戏设备等,或其任意组合。在一些实施例中,虚拟现实设备和/或增强现实设备可以包括虚拟现实头盔、虚拟现实玻璃、虚拟现实贴片、增强现实头盔、增强现实玻璃、或增强现实贴片等,或其任意组合。例如,虚拟现实设备和/或增强现实设备可以包括各种虚拟现实产品等。
在本发明实施例中,为了能够解决前述提出的问题,大数据信息监控系统中的大数据信息监控平台10和大数据信息监控服务器20通过配合执行以下方法实施例所描述的大数据信息监控方法,其中,图1中的大数据信息监控平台10作为下述方法的执行主体,请参考以下方法实施例的详细描述。
步骤201,获取大数据更新信息。
其中,大数据更新信息中包括基础大数据更新数据以及目标大数据元素集。
步骤202,基于基础大数据更新数据,从多个大数据类型中确定与基础大数据更新数据匹配的第一大数据类型。
其中,第一大数据类型对应多个大数据信息集合中的第一大数据信息集合。
步骤203,从与第一大数据类型关联的第一大数据信息监控热力图中获取已有的大数据元素集。
其中,大数据信息监控热力图中包括已有的大数据元素集,已有的大数据元素集包括第一大数据信息集合已更新过的数据更新标识。
步骤204,从目标大数据元素集中筛选出与已有的大数据元素集中的数据更新标识相同的数据更新标识,获得待处理大数据元素集。
步骤205,从目标大数据元素集中筛选出与已有的大数据元素集中的数据更新标识不相同的数据更新标识,获得更新大数据元素集。
步骤206,基于待处理大数据元素集和更新大数据元素集,对第一大数据信息监控热力图进行处理,获得处理后的第一大数据信息监控热力图。
步骤207,将表征为处理后的第一大数据信息监控热力图中的数据写入表征为大数据信息监控服务器20,更新表征为第一大数据信息集合的信息。
步骤208,基于表征为更新后的第一大数据信息集合,生成目标大数据推荐策略。
在本发明实施例中,可以先获取大数据更新信息,其中,大数据更新信息包括基础大数据更新数据以及目标大数据元素集,基础大数据更新数据可以包括大数据的名称(例如销售大数据中的商品名称、生产制造大数据中的设备名称,医疗相关大数据中的疾病名称等)、类型等基础信息,目标大数据元素集可以用于存储大数据的更新标识,以用于表明该大数据更新信息的更新版本。可以从多个大数据类型中确定与基础大数据更新数据匹配的第一大数据类型。进而可以从第一大数据类型关联的第一大数据信息监控热力图中获取已有的大数据元素集。而后便可以基于已有的大数据元素集将目标大数据元素集中的数据更新标识分为待处理大数据元素集,和更新大数据元素集。而后便可以基于待处理大数据元素集和更新大数据元素集,对第一大数据信息监控热力图进行处理,获得处理后的第一大数据信息监控热力图,将将处理后的第一大数据信息监控热力图的数据写入大数据信息监控服务器20,便可以更新得到准确可靠的第一大数据信息集合的信息。通过上述步骤,能够可靠的对大数据信息进行监控,以便后续能够基于更新后的第一大数据信息集合的信息制定对应的防控策略等操作。
在前述基础上,初始大数据可以包括大数据的名称、大数据相关内容和待更新大数据内容,大数据信息监控热力图中可以包括大数据分布集群。为了能够更加详尽的前述步骤进行解释说明,本发明实施例还提供一种大数据信息监控热力图通过初始大数据与大数据类型建立关联的示例,具体可以由以下步骤实现。
步骤301,将大数据的名称、大数据相关内容和待更新大数据内容与大数据分布集群建立关联。
通过上述步骤,可以将初始大数据中包括的大数据的名称、大数据相关内容和待更新大数据内容与大数据信息监控热力图中的大数据分布集群进行关联,以实现初始大数据和大数据信息监控热力图的关联。
在此基础上,大数据类型中还可以包括用于表征该大数据类型对应大数据信息集合的实时更新状态的预设数据段,第一大数据信息集合的实时更新状态储存于第一大数据类型中的第一预设数据段。本发明实施例还可以有以下的实施方式。
步骤401,基于第一预设数据段中的实时更新状态,获得第一大数据信息集合的实时更新状态。
在本发明实施例中,可以将第一大数据信息集合的实时更新状态储存于第一大数据类型中的第一预设数据段,而后基于第一预设数据段中的实时更新状态,获得第一大数据信息集合的实时更新状态,通过上述步骤,能够保证大数据信息的实时性。
除了上述步骤,在确定了更新后的第一大数据信息集合后,本发明实施例还提供了一种定制大数据推荐策略的示例,具体的,可以通过以下步骤实现。
步骤501,获取更新后的第一大数据信息集合,并基于更新后的第一大数据信息集合,生成至少一个待使用大数据推荐策略。
步骤502,获取第一大数据属性参数,其中,第一大数据属性参数包括预设大数据类型标识和预设大数据时效标识。
步骤503,使用预设大数据类型标识对应的参数信息和实时的预设大数据时效标识,基于预设的转换规则,将预设大数据时效标识的实时时效参考量转换为预设大数据类型标识对应的数据类型参考量的多个参考权重值。
步骤504,基于预设大数据类型标识对应的数据类型参考量的多个参考权重值以及预设大数据类型标识,在同一预设大数据处理模型中对至少两个待使用大数据推荐策略同时进行策略运行,以得到参考大数据推荐策略结果。
步骤505,基于现有目标大数据推荐策略的运行结果确定预设阈值。
步骤506,根据预设阈值对参考大数据推荐策略结果进行筛选,以得到对应的目标大数据推荐策略。
步骤507,将目标大数据推荐策略进行展示。
通过上述步骤,能够在将第一大数据信息集合的信息更新后,生成至少一个待使用大数据推荐策略,待使用大数据推荐策略可以是预先设置的防控模板。可以获取第一大数据属性参数,具体的,第一大数据属性参数可以包括预设大数据类型标识和预设大数据时效标识,预设大数据类型标识可以是指第一大数据的大数据类型相关参数,而预设大数据时效标识可以是指第一大数据的推荐值相关参数,应当理解的是,作为数据量较为庞大的大数据来说,预设大数据时效标识相较于预设大数据类型标识更加重要。可以将预设大数据时效标识的实时时效参考量转换为预设大数据类型标识对应的数据类型参考量的多个参考权重值,以达到预设大数据类型标识作为一种辅助参考依据的目的。
可以基于预设大数据类型标识对应的数据类型参考量的多个参考权重值以及预设大数据类型标识,在同一预设大数据处理模型中对至少两个待使用大数据推荐策略同时进行策略运行,以得到参考大数据推荐策略结果,其中,预设大数据处理模型可以是指模拟某地区、某时段的真实环境的模型。以便能够得到更加真实的数据,为后续大数据推荐策略的选取提供了依据。应当理解的是,作为筛选参考大数据推荐策略结果的依据,可以基于现有目标大数据推荐策略的运行结果确定预设阈值。再确定出目标大数据推荐策略后,可以进行展示,以使用户能够基于获取的目标大数据推荐策略作为参考进行大数据信息的监控。
在前述基础上,作为一种可替换的实施方式,步骤504可以由以下的具体步骤实现。
子步骤504-1,从对初始数据类型参考量进行处理所得到的综合数据类型参考量中,获取目标数据类型参考量。
子步骤504-2,确定与目标数据类型参考量中所匹配的待使用大数据推荐策略所属的待使用大数据推荐策略匹配的预设策略属性映射数据库。
子步骤504-3,利用预设策略属性映射数据库,依次统计匹配目标数据类型参考量的目标大数据对应的待使用大数据推荐策略的推荐值。
子步骤504-4,从预设策略属性映射数据库中,获取第一大数据库文件。
其中,第一大数据库文件用于指示至少一个目标大数据持有的待使用大数据推荐策略所在的文件。
子步骤504-5,按照预定顺序依次对相邻的两个第一大数据库文件进行比对。
子步骤504-6,在比对结果指示不满足合并条件的情况下,将从相邻的两个第一大数据库文件中获取的一个第一大数据库文件,和从位于相邻的两个第一大数据库文件之后获取的下一个第一大数据库文件,作为下一次将要比对的相邻的两个第一大数据库文件。
子步骤504-7,在相邻的两个第一大数据库文件中,有且仅有一个目标大数据持有待使用大数据推荐策略,且为同一个目标大数据所持有的情况下,确定相邻的两个第一大数据库文件满足合并条件。
子步骤504-8,合并相邻的两个第一大数据库文件得到目标大数据文件
子步骤504-9,将目标大数据文件作为下一次将要比对的相邻的两个第一大数据库文件中的一个第一大数据库文件。
子步骤504-10,获取与综合数据类型参考量中所匹配的每一个待定数据类型参考量分别对应的目标权重值。
子步骤504-11,利用与综合数据类型参考量中所匹配的每一个待定数据类型参考量分别对应的目标权重值进行处理,得到第一处理结果.
其中,第一处理结果用于识别与初始数据类型参考量存在重复的待定数据类型参考量。
子步骤504-12,按照目标数据类型参考量中所匹配的待使用大数据推荐策略所属的待使用大数据推荐策略,将目标大数据文件关联目标权重值。
其中,同一待使用大数据推荐策略在同一目标大数据文件内统计的推荐值使用第一隔离区间标记,同一待使用大数据推荐策略在不同目标大数据文件内统计的推荐值使用第二隔离区间标记,不同待使用大数据推荐策略内统计的推荐值使用第三隔离区间标记,目标权重值根据目标数据类型参考量中所对应的待使用大数据推荐策略确定。
子步骤504-13,对目标权重值进行处理,得到第二处理结果。
子步骤504-14,在已存储的策略参考模板中查找与第二处理结果对应的目标大数据参考向量集,其中,策略参考模板用于记录已生成的大数据参考向量集与大数据参考向量集的索引之间的映射关系,索引包括与大数据参考向量集相匹配的目标权重值通过处理而得到的处理结果,目标大数据参考向量集用于指示目标数据类型参考量中所匹配的待使用大数据推荐策略的推荐值。
子步骤504-15,在查找到目标大数据参考向量的情况下,从目标大数据参考向量中确定出目标大数据参考系数。
子步骤504-16,按照目标大数据参考系数配置目标数据类型参考量中的待使用大数据推荐策略,以获取参考大数据推荐策略。
具体的,可以从对初始数据类型参考量进行处理所得到的综合数据类型参考量中,获取目标数据类型参考量,即可以从该大数据的目标数据类型参考量进行处理,具体的,具体当前时间越近的参考数据的比重可以越大。计算后得到的数据即为目标数据类型参考量。可以有预设策略属性映射数据库,用于目标数据类型参考量的目标大数据对应的待使用大数据推荐策略的推荐值。而后可以获取第一大数据库文件,即目标大数据持有的待使用大数据推荐策略所在的文件。在本发明实施例中,每种大数据可以提供至少两种待使用大数据推荐策略,因此可以顺序依次对相邻的两个第一大数据库文件进行比对,为了使得获取的大数据推荐策略更加可靠,可以将符合并条件的两个第一大数据库文件合并得到目标大数据文件。
可以进一步获取与综合数据类型参考量中所匹配的每一个待定数据类型参考量分别对应的目标权重值,该值可以是预设的,利用与综合数据类型参考量中所匹配的每一个待定数据类型参考量分别对应的目标权重值进行处理得到用于识别与初始数据类型参考量存在重复的待定数据类型参考量的第一处理结果,然后按照目标数据类型参考量中所匹配的待使用大数据推荐策略所属的待使用大数据推荐策略,将目标大数据文件关联目标权重值,而后对,对目标权重值进行处理,得到第二处理结果,在已存储的策略参考模板中查找与第二处理结果对应的目标大数据参考向量集。在查找到目标大数据参考向量的情况下,从目标大数据参考向量中确定出目标大数据参考系数,并按照目标大数据参考系数配置目标数据类型参考量中的待使用大数据推荐策略,以获取参考大数据推荐策略。通过上述步骤,能够获取一种可靠的参考大数据推荐策略,为后续确定目标大数据推荐策略提供依据。
在前述基础上,基础大数据更新数据可以包括大数据的名称、大数据相关内容和待更新大数据内容。基于此,前述步骤202可以由下面的具体实施方式实现。
子步骤202-1,基于大数据的名称、大数据相关内容和待更新大数据内容,调用第一预设函数,获取一个目标大数据类型。
子步骤202-2,判断目标大数据类型是否为预设大数据类型。
若是,则执行子步骤202-3。
子步骤202-3,从多个大数据类型中确定与基础大数据更新数据匹配的第一大数据类型。
通过上述步骤,能够体用一种确定第一大数据类型的依据,具体的,第一预设函数可以是一种获取函数。
在前述基础上,大数据信息监控热力图中可以包括数据更新标识信息字段和数据更新标识类型字段,其中,数据更新标识类型字段用于储存已有的数据更新标识类型,数据更新标识信息字段用于存储已有的大数据元素集。基于此,前述步骤203可以包括以下的具体实施方式。
步骤203-1,调用第二预设函数,从第一大数据信息监控热力图中筛选出已有的数据更新标识类型中的第一数据更新标识类型。
步骤203-2,调用第三预设函数,从第一大数据信息监控热力图中筛选出第一数据更新标识类型所包括的已有的数据更新标识,获取已有的大数据元素集。
通过上述步骤,能够准确地获取已有的大数据元素集,其中,第二预设函数和第三预设函数可以是一种筛选函数。
除了上述步骤,大数据信息监控热力图中还包括用于储存初始大数据的预设数据段,第一大数据信息集合的初始大数据储存于第一大数据信息监控热力图中的第二预设数据段,本发明实施例还提供以下步骤。
基于第二预设数据段中储存的初始大数据,获得第一大数据信息集合的初始大数据。
作为一种可替换的实施方式,前述步骤206还可以由以下具体的实施方式实现。
子步骤206-1,将已有的大数据元素集中与待处理大数据元素集中的数据更新标识相同的第一数据更新标识更新为已更新状态。
子步骤206-2,将更新大数据元素集中的第二数据更新标识添加至已有的大数据元素集,并将第二数据更新标识记为已更新状态。
通过上述步骤,能够更加准确地掌握第一数据更新标识和第二数据更新标识的状态。
本发明实施例提供一种大数据信息监控装置110,应用于大数据信息监控平台10,大数据信息监控平台10与储存有多个大数据信息集合的大数据信息监控服务器20通信连接,多个大数据信息集合分别定义多个大数据类型,大数据类型中包括与该大数据类型对应大数据信息集合的初始大数据;大数据信息监控平台10中还包括与多个大数据类型分别建立关联的多个大数据信息监控热力图,其中,大数据信息监控热力图通过初始大数据与大数据类型建立关联。如图3所示,装置包括:
获取模块1101,用于获取大数据更新信息,其中,大数据更新信息中包括基础大数据更新数据以及目标大数据元素集;
确定模块1102,用于基于基础大数据更新数据,从多个大数据类型中确定与基础大数据更新数据匹配的第一大数据类型,其中,第一大数据类型对应多个大数据信息集合中的第一大数据信息集合;从与第一大数据类型关联的第一大数据信息监控热力图中获取已有的大数据元素集,其中,大数据信息监控热力图中包括已有的大数据元素集,已有的大数据元素集包括第一大数据信息集合已更新过的数据更新标识;从目标大数据元素集中筛选出与已有的大数据元素集中的数据更新标识相同的数据更新标识,获得待处理大数据元素集;从目标大数据元素集中筛选出与已有的大数据元素集中的数据更新标识不相同的数据更新标识,获得更新大数据元素集;
处理模块1103,用于基于待处理大数据元素集和更新大数据元素集,对第一大数据信息监控热力图进行处理,获得处理后的第一大数据信息监控热力图;将表征为处理后的第一大数据信息监控热力图中的数据写入表征为大数据信息监控服务器20,更新表征为第一大数据信息集合的信息;基于表征为更新后的第一大数据信息集合,生成目标大数据推荐策略。
进一步地,初始大数据包括大数据的名称、大数据相关内容和待更新大数据内容,大数据信息监控热力图中包括大数据分布集群。处理模块1103还用于:
将大数据的名称、大数据相关内容和待更新大数据内容与大数据分布集群建立关联。
进一步地,大数据类型中还包括用于表征该大数据类型对应大数据信息集合的实时更新状态的预设数据段,第一大数据信息集合的实时更新状态储存于第一大数据类型中的第一预设数据段。获取模块1101还用于:
基于第一预设数据段中的实时更新状态,获得第一大数据信息集合的实时更新状态。
进一步地,处理模块1103还用于:
获取更新后的第一大数据信息集合,并基于更新后的第一大数据信息集合,生成至少一个待使用大数据推荐策略;获取第一大数据属性参数,其中,第一大数据属性参数包括预设大数据类型标识和预设大数据时效标识;使用预设大数据类型标识对应的参数信息和实时的预设大数据时效标识,基于预设的转换规则,将预设大数据时效标识的实时时效参考量转换为预设大数据类型标识对应的数据类型参考量的多个参考权重值;基于预设大数据类型标识对应的数据类型参考量的多个参考权重值以及预设大数据类型标识,在同一预设大数据处理模型中对至少两个待使用大数据推荐策略同时进行策略运行,以得到参考大数据推荐策略结果;基于现有目标大数据推荐策略的运行结果确定预设阈值;根据预设阈值对参考大数据推荐策略结果进行筛选,以得到对应的目标大数据推荐策略;将目标大数据推荐策略进行展示。
进一步地,处理模块1103具体用于:
从对初始数据类型参考量进行处理所得到的综合数据类型参考量中,获取目标数据类型参考量;确定与目标数据类型参考量中所匹配的待使用大数据推荐策略所属的待使用大数据推荐策略匹配的预设策略属性映射数据库;利用预设策略属性映射数据库,依次统计匹配目标数据类型参考量的目标大数据对应的待使用大数据推荐策略的推荐值;从预设策略属性映射数据库中,获取第一大数据库文件,其中,第一大数据库文件用于指示至少一个目标大数据持有的待使用大数据推荐策略所在的文件;按照预定顺序依次对相邻的两个第一大数据库文件进行比对;在比对结果指示不满足合并条件的情况下,将从相邻的两个第一大数据库文件中获取的一个第一大数据库文件,和从位于相邻的两个第一大数据库文件之后获取的下一个第一大数据库文件,作为下一次将要比对的相邻的两个第一大数据库文件;在相邻的两个第一大数据库文件中,有且仅有一个目标大数据持有待使用大数据推荐策略,且为同一个目标大数据所持有的情况下,确定相邻的两个第一大数据库文件满足合并条件;合并相邻的两个第一大数据库文件得到目标大数据文件;将目标大数据文件作为下一次将要比对的相邻的两个第一大数据库文件中的一个第一大数据库文件;获取与综合数据类型参考量中所匹配的每一个待定数据类型参考量分别对应的目标权重值;利用与综合数据类型参考量中所匹配的每一个待定数据类型参考量分别对应的目标权重值进行处理,得到第一处理结果,其中,第一处理结果用于识别与初始数据类型参考量存在重复的待定数据类型参考量;按照目标数据类型参考量中所匹配的待使用大数据推荐策略所属的待使用大数据推荐策略,将目标大数据文件关联目标权重值,其中,同一待使用大数据推荐策略在同一目标大数据文件内统计的推荐值使用第一隔离区间标记,同一待使用大数据推荐策略在不同目标大数据文件内统计的推荐值使用第二隔离区间标记,不同待使用大数据推荐策略内统计的推荐值使用第三隔离区间标记,目标权重值根据目标数据类型参考量中所对应的待使用大数据推荐策略确定;对目标权重值进行处理,得到第二处理结果;在已存储的策略参考模板中查找与第二处理结果对应的目标大数据参考向量集,其中,策略参考模板用于记录已生成的大数据参考向量集与大数据参考向量集的索引之间的映射关系,索引包括与大数据参考向量集相匹配的目标权重值通过处理而得到的处理结果,目标大数据参考向量集用于指示目标数据类型参考量中所匹配的待使用大数据推荐策略的推荐值;在查找到目标大数据参考向量的情况下,从目标大数据参考向量中确定出目标大数据参考系数;按照目标大数据参考系数配置目标数据类型参考量中的待使用大数据推荐策略,以获取参考大数据推荐策略。
进一步地,基础大数据更新数据包括大数据的名称、大数据相关内容和待更新大数据内容。确定模块1102具体用于:
基于大数据的名称、大数据相关内容和待更新大数据内容,调用第一预设函数,获取一个目标大数据类型;判断目标大数据类型是否为预设大数据类型;若是,则从多个大数据类型中确定与基础大数据更新数据匹配的第一大数据类型。
进一步地,大数据信息监控热力图中包括数据更新标识信息字段和数据更新标识类型字段,其中,数据更新标识类型字段用于储存已有的数据更新标识类型,数据更新标识信息字段用于存储已有的大数据元素集。确定模块1102具体还用于:
调用第二预设函数,从第一大数据信息监控热力图中筛选出已有的数据更新标识类型中的第一数据更新标识类型;调用第三预设函数,从第一大数据信息监控热力图中筛选出第一数据更新标识类型所包括的已有的数据更新标识,获取已有的大数据元素集。
需要说明的是,上述大数据信息监控装置110的实现原理可以参考前述大数据信息监控方法的实现原理,在此不再赘述,应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分,实际实现时可以全部或部分集成到一个物理实体上,也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现;也可以全部以硬件的形式实现;还可以部分模块通过处理元件调用软件的形式实现,部分模块通过硬件的形式实现。例如,获取模块1101可以为单独设立的处理元件,也可以集成在上述装置的某一个芯片中实现,此外,也可以以程序代码的形式存储于上述装置的存储器中,由上述装置的某一个处理元件调用并执行以上获取模块1101的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起,也可以独立实现。这里所描述的处理元件可以是一种集成电路,具有信号的处理能力。在实现过程中,上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如,以上这些模块可以是被配置成实施以上方法的一个或多个集成电路,例如:一个或多个特定集成电路(application specific integrated circuit,ASIC),或,一个或多个微处理器(digital signal processor,DSP),或,一个或者多个现场可编程门阵列(field programmable gate array,FPGA)等。再如,当以上某个模块通过处理元件调度程序代码的形式实现时,该处理元件可以是通用处理器,例如中央处理器(centralprocessing unit,CPU)或其它可以调用程序代码的处理器。再如,这些模块可以集成在一起,以片上系统(system-on-a-chip,SOC)的形式实现。
本发明实施例提供一种计算机设备100,计算机设备100包括处理器及存储有计算机指令的非易失性存储器,计算机指令被处理器执行时,计算机设备100执行前述的大数据信息监控方法。如图4所示,图4为本发明实施例提供的计算机设备100的结构框图。计算机设备100包括大数据信息监控装置110、存储器111、处理器112及通信单元113。
为实现数据的传输或交互,存储器111、处理器112以及通信单元113各元件相互之间直接或间接地电性连接。例如,可通过一条或多条通讯总线或信号线实现这些元件相互之间电性连接。大数据信息监控装置110包括至少一个可以软件或固件(firmware)的形式存储于存储器111中或固化在计算机设备100的操作系统(operating system,OS)中的软件功能模块。处理器112用于执行存储器111中存储的可执行模块,例如大数据信息监控装置110所包括的软件功能模块及计算机程序等。
本发明实施例提供一种可读存储介质,可读存储介质包括计算机程序,计算机程序运行时控制可读存储介质所在计算机设备执行前述的大数据信息监控方法。
综上所述,本发明实施例采用一种大数据信息监控方法,通过获取大数据更新信息,其中,所述大数据更新信息中包括基础大数据更新数据以及目标大数据元素集;然后基于所述基础大数据更新数据,从所述多个大数据类型中确定与所述基础大数据更新数据匹配的第一大数据类型,其中,所述第一大数据类型对应所述多个大数据信息集合中的第一大数据信息集合;再从与所述第一大数据类型关联的第一大数据信息监控热力图中获取已有的大数据元素集,其中,所述大数据信息监控热力图中包括已有的大数据元素集,已有的大数据元素集包括所述第一大数据信息集合已更新过的数据更新标识;进而从所述目标大数据元素集中筛选出与所述已有的大数据元素集中的数据更新标识相同的数据更新标识,获得待处理大数据元素集;接着从所述目标大数据元素集中筛选出与所述已有的大数据元素集中的数据更新标识不相同的数据更新标识,获得更新大数据元素集;并基于所述待处理大数据元素集和所述更新大数据元素集,对所述第一大数据信息监控热力图进行处理,获得处理后的第一大数据信息监控热力图;再将所述处理后的第一大数据信息监控热力图中的数据写入所述大数据信息监控服务器,更新所述第一大数据信息集合的信息,最终基于所述更新后的第一大数据信息集合,生成目标大数据推荐策略,能够便捷地对大数据信息进行监控。
出于说明目的,前面的描述是参考具体实施例而进行的。但是,上述说明性论述并不打算穷举或将本公开局限于所公开的精确形式。根据上述教导,众多修改和变化都是可行的。选择并描述这些实施例是为了最佳地说明本公开的原理及其实际应用,从而使本领域技术人员最佳地利用本公开,并利用具有不同修改的各种实施例以适于预期的特定应用。出于说明目的,前面的描述是参考具体实施例而进行的。但是,上述说明性论述并不打算穷举或将本公开局限于所公开的精确形式。根据上述教导,众多修改和变化都是可行的。选择并描述这些实施例是为了最佳地说明本公开的原理及其实际应用,从而使本领域技术人员最佳地利用本公开,并利用具有不同修改的各种实施例以适于预期的特定应用。