CN113282813A - 应用于大数据的数据可视化方法及大数据云服务器 - Google Patents

应用于大数据的数据可视化方法及大数据云服务器 Download PDF

Info

Publication number
CN113282813A
CN113282813A CN202110552767.5A CN202110552767A CN113282813A CN 113282813 A CN113282813 A CN 113282813A CN 202110552767 A CN202110552767 A CN 202110552767A CN 113282813 A CN113282813 A CN 113282813A
Authority
CN
China
Prior art keywords
data
visual
visualization
information
processed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202110552767.5A
Other languages
English (en)
Inventor
高慧军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202110552767.5A priority Critical patent/CN113282813A/zh
Publication of CN113282813A publication Critical patent/CN113282813A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/904Browsing; Visualisation therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/906Clustering; Classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请的应用于大数据的数据可视化方法及大数据云服务器,能够在对第一待处理数据子集进行可视化处理之前充分考虑关键可视化识别结果的第三线程匹配信息、对应的可视化报错指示信息和可视化反馈指示信息,从而确定出适配的可视化处理线程,这样可以实现对不同的第一待处理数据子集的分类可视化处理,从而满足复杂多变的用户需求,提高数据可视化的智能性。

Description

应用于大数据的数据可视化方法及大数据云服务器
本申请是申请日为“2020年12月04日”、申请号为“202011410341.8”、申请名称为“基于大数据的数据可视化方法及大数据云服务器”的分案申请。
技术领域
本申请涉及大数据可视化技术领域,具体而言,涉及一种应用于大数据的数据可视化方法及大数据云服务器。
背景技术
大数据的快速发展为人们的生产生活提供了诸多便利。为了进一步提现数据的价值,使数据能够清晰有效进行信息传达和沟通,数据可视化不失为一种有效的技术。数据可视化能够将相对枯燥的数据以用户更容易理解和更容易接受的方式进行呈现,从而服务于社会。但是,常见的数据可视化技术难以满足复杂多变的用户需求,从而造成数据可视化的智能性偏低。
发明内容
本申请的第一个方面公开了一种应用于大数据的数据可视化方法,所述方法包括:
当对待可视化的目标数据集进行数据可视化处理时,将所述目标数据集划分为多个第一待处理数据子集;
将每个第一待处理数据子集输入数据业务分类网络中,得到所述目标数据集中的所述每个第一待处理数据子集对应的第一数据业务类型;其中,所述数据业务分类网络为基于第一样本数据集包括的多个第二待处理数据子集和所述第一样本数据集中标记的至少一个第二数据业务类型训练得到的;
根据所述每个第一待处理数据子集对应的第一数据业务类型和所述每个第一待处理数据子集的可视化需求信息,确定所述目标数据集中的每个第一数据业务类型对应的可视化需求信息;
对所述目标数据集中的每个第一数据业务类型对应的可视化需求信息进行识别,得到所述目标数据集中的每个第一数据业务类型对应的可视化需求信息的可视化识别结果;基于所述可视化识别结果,调用不同的可视化处理线程对每个第一待处理数据子集进行可视化处理。
在优选的实施例中,所述方法还包括:
将所述第一样本数据集划分为多个第二待处理数据子集,在所述第一样本数据集中标记至少一个第二数据业务类型;
根据所述第一样本数据集包括的多个第二待处理数据子集对应的第一数据来源信息,从所述第一样本数据集中识别出至少一个第三数据业务类型;
根据从所述第一样本数据集中识别出的至少一个第三数据业务类型、标记的至少一个第二数据业务类型和所述多个第二待处理数据子集,进行网络模型训练,得到所述数据业务分类网络。
在优选的实施例中,所述根据所述第一样本数据集包括的多个第二待处理数据子集对应的第一数据来源信息,从所述第一样本数据集中识别出至少一个第三数据业务类型,包括:
获取所述第一样本数据集中的每个第二待处理数据子集对应的第一数据来源信息;
对于每个第二待处理数据子集的第一数据来源信息,确定所述第一样本数据集对应的多个第二数据来源信息;
根据所述第一样本数据集对应的多个第二数据来源信息,从所述第一样本数据集中识别出至少一个第三数据业务类型;
其中,所述对于每个第二待处理数据子集的第一数据来源信息,确定所述第一样本数据集对应的多个第二数据来源信息,包括:根据所述每个第二待处理数据子集的第一数据来源信息,确定所述每个第二待处理数据子集的数据来源时序权重;根据所述每个第二待处理数据子集的第一数据来源信息,确定任意两个第二待处理数据子集的第一数据来源信息之间的第一数据来源相似度;根据所述每个第二待处理数据子集的数据来源时序权重,将所述每个第二待处理数据子集的第一数据来源信息中第一数据来源相似度超过预设相似度值的第一数据来源信息进行时序信息特征权重加权,得到多个第二数据来源信息;
其中,所述根据所述第一样本数据集对应的多个第二数据来源信息,从所述第一样本数据集中识别出至少一个第三数据业务类型,包括:对于每个第二数据来源信息,根据所述第二数据来源信息,确定所述第二数据来源信息与每个指定数据业务类型之间的第二数据来源相似度;根据所述第二数据来源信息与每个指定数据业务类型之间的第二数据来源相似度,从所述每个指定数据业务类型中选择与所述第二数据来源信息之间数据来源相似度最高的指定数据业务类型;将选择的指定数据业务类型作为所述第二数据来源信息对应的第二数据业务类型。
在优选的实施例中,所述将每个第一待处理数据子集输入数据业务分类网络中,得到所述目标数据集中的所述每个第一待处理数据子集对应的第一数据业务类型之前,所述方法还包括:
获取第二样本数据集,所述第二样本数据集中标记至少一个第四数据业务类型和每个第四数据业务类型对应的可视化需求信息;
将所述第二样本数据集输入所述数据业务分类网络中,输出所述第二样本数据集的至少一个第五数据业务类型和每个第五数据业务类型对应的可视化需求信息;
根据所述至少一个第四数据业务类型和所述每个第四数据业务类型对应的可视化需求信息,以及所述至少一个第五数据业务类型和所述每个第五数据业务类型对应的可视化需求信息,对所述数据业务分类网络进行数据分类测试;当所述数据业务分类网络的数据分类测试成功时,执行所述将每个第一待处理数据子集输入数据业务分类网络中,得到所述目标数据集中的所述每个第一待处理数据子集对应的第一数据业务类型的步骤;
其中,所述根据所述至少一个第四数据业务类型和所述每个第四数据业务类型对应的可视化需求信息,以及所述至少一个第五数据业务类型和所述每个第五数据业务类型对应的可视化需求信息,对所述数据业务分类网络进行数据分类测试,包括:当所述至少一个第四数据业务类型与所述至少一个第五数据业务类型匹配,且所述每个第四数据业务类型对应的可视化需求信息与所述每个第五数据业务类型对应的可视化需求信息匹配时,确定所述数据业务分类网络的数据分类测试成功;
其中,所述根据所述每个第一待处理数据子集对应的第一数据业务类型和所述每个第一待处理数据子集的可视化需求信息,确定所述目标数据集中的每个第一数据业务类型对应的可视化需求信息,包括:对于所述目标数据集中的每个第一数据业务类型,根据所述第一数据业务类型对应的至少一个第一待处理数据子集,将所述第一数据业务类型对应的至少一个第一待处理数据子集的可视化需求信息作为所述第一数据业务类型对应的可视化需求信息。
在优选的实施例中,对所述目标数据集中的每个第一数据业务类型对应的可视化需求信息进行识别,得到所述目标数据集中的每个第一数据业务类型对应的可视化需求信息的可视化识别结果,包括:
接收所述目标数据集中的每个第一数据业务类型对应的可视化需求信息的多个数据可视化标签,获取至少一个数据可视化场景对应的至少一个可视化场景特征;所述至少一个可视化场景特征描述了所述至少一个数据可视化场景各自的场景属性;
依据所述至少一个可视化场景特征,从所述至少一个数据可视化场景中为所述多个数据可视化标签中的每个数据可视化标签,分别确定出匹配数据可视化场景和匹配场景描述值;所述匹配场景描述值表征所述匹配数据可视化场景为所述每个数据可视化标签所对应的正确数据可视化场景的概率值;
根据所述匹配场景描述值,从所述每个数据可视化标签对应的所述匹配数据可视化场景中挑选出候选数据可视化场景;
获取所述候选数据可视化场景的数据可视化指标和可视化兼容信息,并基于所述可视化兼容信息、所述数据可视化指标以及与所述候选数据可视化场景对应的候选可视化场景特征,确定出所述候选数据可视化场景的可视化需求识别指标;所述可视化需求识别指标表征所述候选数据可视化场景对应的用于进行需求信息识别的信息维度指标;
依据所述可视化需求识别指标,确定所述候选数据可视化场景是否为待识别数据可视化场景;
在所述候选可视化场景为所述待识别数据可视化场景时,将所述目标数据集中的每个第一数据业务类型对应的可视化需求信息与对应的所述待识别数据可视化场景进配对,并在已配对的所述待识别数据可视化场景下对所述可视化需求信息进行识别,得到所述可视化识别结果;
其中,所述每个数据可视化标签具有标签指向信息和标签类型信息;所述依据所述至少一个可视化场景特征,从所述至少一个数据可视化场景中为所述多个数据可视化标签中的每个数据可视化标签,分别确定出匹配数据可视化场景和匹配场景描述值,包括:
从所述至少一个可视化场景特征中,解析出所述至少一个数据可视化场景对应的数据可视化场景的场景指向信息和数据可视化场景的场景类型信息;
根据所述每个数据可视化标签的所述标签指向信息、所述每个数据可视化标签的所述标签类型信息、所述至少一个数据可视化场景的所述数据可视化场景的场景指向信息和所述至少一个数据可视化场景的所述数据可视化场景的场景类型信息,计算出所述每个数据可视化标签和所述至少一个数据可视化场景的至少一个标签场景配对系数;
从所述至少一个标签场景配对系数中,挑选出最大的标签场景配对系数;将所述至少一个数据可视化场景中,与所述最大的标签场景配对系数对应的数据可视化场景,作为所述每个数据可视化标签的所述匹配数据可视化场景,并将所述最大的标签场景配对系数作为所述每个数据可视化标签的所述匹配场景描述值;
其中,所述根据所述匹配场景描述值,从所述每个数据可视化标签对应的所述匹配数据可视化场景中挑选出候选数据可视化场景,包括:
从所述每个数据可视化标签中,挑选出与当前匹配数据可视化场景相对应的一个或多个当前数据可视化标签;所述一个或多个当前数据可视化标签为匹配到所述当前匹配数据可视化场景的数据可视化标签,所述当前匹配数据可视化场景为所述每个数据可视化标签对应的匹配数据可视化场景中的任意数据可视化场景;
将所述一个或多个当前数据可视化标签所对应的一个或多个当前匹配场景描述值,分别与预设好的场景描述值阈值进行比较,得到一个或多个场景描述值比较结果;所述一个或多个场景描述值场景描述值比较结果表征所述一个或多个当前匹配场景描述值是否小于所述预设好的场景描述值阈值;
当所述一个或多个场景描述值比较结果表征所述一个或多个当前匹配场景描述值均小于所述预设好的场景描述值阈值时,将所述当前匹配数据可视化场景,作为所述候选数据可视化场景。
在优选的实施例中,所述基于所述可视化兼容信息、所述数据可视化指标以及与所述候选数据可视化场景对应的候选可视化场景特征,确定出所述候选数据可视化场景的可视化需求识别指标,包括:
利用所述可视化兼容信息构造出第一业务可视化识别指标;利用所述数据可视化指标和所述候选可视化场景特征,构造出第二业务可视化识别指标;
根据所述第一业务可视化识别指标和所述第二业务可视化识别指标,计算出所述可视化需求识别指标;
其中,所述可视化兼容信息包括:可视化数据缺损值和可视化数据偏差值;所述利用所述可视化兼容信息构造出第一业务可视化识别指标,包括:当所述可视化数据缺损值和所述可视化数据偏差值之和大于预设好的兼容性评价阈值时,利用所述可视化数据缺损值和所述可视化数据偏差值构造出所述第一业务可视化识别指标;当所述可视化数据缺损值和所述可视化数据偏差值之和小于或等于所述预设好的兼容性评价阈值时,确定获取到的第一预设业务可视化识别指标为所述第一业务可视化识别指标;
其中,所述数据可视化指标包括:可视化区域占比和可视化数据差异度;所述利用所述数据可视化指标和所述候选可视化场景特征,构造出第二业务可视化识别指标,包括:当所述可视化区域占比大于设定区域占比时,将获取到的第二预设业务可视化识别指标作为所述第二业务可视化识别指标;当所述可视化区域占比小于或等于所述设定区域占比时,从所述候选可视化场景特征中解析出特征差异信息,并利用所述特征差异信息和所述可视化数据差异度,构造出所述第二业务可视化识别指标;其中,所述特征差异信息表征所述候选可视化场景特征中是否存在差异特征;
其中,所述利用所述可视化数据缺损值和所述可视化数据偏差值构造出所述第一业务可视化识别指标,包括:利用所述可视化数据缺损值和所述可视化数据偏差值计算出可视化兼容序列值;根据所述可视化兼容序列值和预设好的序列值对应关系,构造出所述第一业务可视化识别指标。
在优选的实施例中,所述获取所述候选数据可视化场景的数据可视化指标和可视化兼容信息,包括:
从历史数据可视化记录中,统计出所述候选数据可视化场景的数据可视化持续时长和可视化区域占比;所述数据可视化持续时长表征与所述候选数据可视化场景相匹配的有效可视化时长的累计值,所述可视化区域占比表征与所述候选数据可视化场景相匹配且所有数据可视化标签对应的匹配场景描述值均小于预设好的场景描述值阈值的有效可视化时长的数量;所述历史数据可视化记录是基于历史可视化时段所对应的多个历史数据可视化标签进行挖掘得到的;
根据所述可视化区域占比和所述数据可视化持续时长,确定所述可视化数据差异度,并利用所述可视化区域占比和所述可视化数据差异度,组成所述数据可视化指标;
从所述历史数据可视化记录中,统计出所述候选数据可视化场景的可视化数据缺损值和可视化数据偏差值,并利用所述可视化数据缺损值和所述可视化数据偏差值组成所述可视化兼容信息。
在优选的实施例中,基于所述可视化识别结果,调用不同的可视化处理线程对每个第一待处理数据子集进行可视化处理,包括:
确定可视化识别结果的可视化区域分配信息、可视化数据形式信息和可视化界面更新频率信息;
基于所述可视化识别结果的可视化界面更新频率信息和参考可视化识别结果的可视化界面更新频率信息,确定所述可视化识别结果对应的第一线程匹配信息,所述参考可视化识别结果为包括三个具有不同的更新触发条件的可视化界面更新频率、且包括的可视化界面更新频率的更新频率均值大于设定更新频率值的可视化识别结果,且所述参考可视化识别结果的结果生成时间位于所述可视化识别结果的结果生成时间之前;
基于所述可视化识别结果的可视化区域分配信息和可视化数据形式信息、上一个可视化识别结果对应的可视化报错信息和可视化反馈信息、以及所述第一线程匹配信息,确定所述可视化识别结果对应的线程调用指示信息,所述线程调用指示信息至少包括第二线程匹配信息,所述可视化识别结果对应的线程调用指示信息指的是确定所述可视化识别结果时大数据云服务器的线程调用指示信息;
若所述第一线程匹配信息与所述第二线程匹配信息之间的线程匹配差异度大于设定差异度,确定所述可视化识别结果为关键可视化识别结果,基于所述第一线程匹配信息和所述线程调用指示信息,确定目标数据集中所有关键可视化识别结果的第三线程匹配信息、对应的可视化报错指示信息和可视化反馈指示信息;
基于目标数据集中所有关键可视化识别结果的第三线程匹配信息、对应的可视化报错指示信息和可视化反馈指示信息,确定与所述可视化识别结果对应的可视化处理线程,运行所述可视化线程以对每个第一待处理数据子集进行可视化处理。
本申请的第二个方面公开了一种大数据云服务器,包括处理引擎、网络模块和存储器;所述处理引擎和所述存储器通过所述网络模块通信,所述处理引擎从所述存储器中读取计算机程序并运行,以执行第一个方面所述的方法。
本申请的第三个方面公开了一种计算机可读信号介质,其上存储有计算机程序,所述计算机程序在运行是实现第一个方面所述的方法。
相较于现有技术,本申请实施例提供的应用于大数据的数据可视化方法及大数据云服务器具有以下技术效果:能够划分得到目标数据集的多个第一待处理数据子集并确定每个第一待处理数据子集对应的第一数据业务类型,进而根据每个第一待处理数据子集的可视化需求信息确定目标数据集中的每个第一数据业务类型对应的可视化需求信息,这样能够得到每个第一数据业务类型对应的可视化需求信息的可视化识别结果,从而调用不同的可视化处理线程对每个第一待处理数据子集进行可视化处理。不同的可视化处理线程可以适配于不同的第一待处理数据子集,如此,能够考虑第一待处理数据子集的第一数据业务类型和可视化需求信息,从而确定出与不同的可视化需求信息对应的可视化识别结果,这样能够实现对不同的第一待处理数据子集的分类可视化处理,从而满足复杂多变的用户需求,提高数据可视化的智能性。
在后面的描述中,将部分地陈述其他的特征。在检查后面内容和附图时,本领域的技术人员将部分地发现这些特征,或者可以通过生产或运用了解到这些特征。通过实践或使用后面所述详细示例中列出的方法、工具和组合的各个方面,当前申请中的特征可以被实现和获得。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
附图中的方法、系统和/或程序将根据示例性实施例进一步描述。这些示例性实施例将参照图纸进行详细描述。这些示例性实施例是非限制的示例性实施例,其中参考数字在附图的各个视图中代表相似的机构。
图1是根据本申请的一些实施例所示的一种示例性应用于大数据的数据可视化系统的框图。
图2是根据本申请的一些实施例所示的一种示例性大数据云服务器中硬件和软件组成的示意图。
图3是根据本申请的一些实施例所示的一种示例性应用于大数据的数据可视化方法和/或过程的流程图。
图4是根据本申请的一些实施例所示的一种示例性应用于大数据的数据可视化装置的框图。
具体实施方式
发明人发现,为了确保数据可视化能够满足复杂多变的用户需求,提高数据可视化的智能性,需要对可视化数据进行拆分处理而不能笼统地进行机械式、整体式的可视化处理。为此,发明人创新性地提出了应用于大数据的数据可视化方法及大数据云服务器,通过对待可视化的目标数据集进行拆分得到第一待处理数据子集,并对第一待处理数据子集进行分类可视化处理,能够确保数据可视化能够满足复杂多变的用户需求,提高数据可视化的智能性。
为了更好的理解上述技术方案,下面通过附图以及具体实施例对本申请技术方案做详细的说明,应当理解本申请实施例以及实施例中的具体特征是对本申请技术方案的详细的说明,而不是对本申请技术方案的限定,在不冲突的情况下,本申请实施例以及实施例中的技术特征可以相互组合。
在下面的详细描述中,通过实例阐述了许多具体细节,以便提供对相关指导的全面了解。然而,对于本领域的技术人员来说,显然可以在没有这些细节的情况下实施本申请。在其他情况下,公知的方法、程序、系统、组成和/或电路已经在一个相对较高水平上被描述,没有细节,以避免不必要的模糊本申请的方面。
这些和其他特性、当前申请披露的功能、执行的方法、结构中相关元素的功能和部件的组合和生产经济性,在参照附图进行以下描述的考虑中可能会变得更加明显,所有这些形成本申请的一部分。然而,需要理解清楚的是,附图仅仅是为了说明和描述的目的,并不旨在限制本申请的范围。应当了解的是,这些图纸不是按比例绘制的。然而,应当明确理解的是,附图仅用于说明和描述的目的,并不意图限制本申请的范围。应当知晓的是,这些附图并不依照比例。
本申请中使用流程图说明根据本申请的实施例的系统所执行的执行过程。应当明确理解的是,流程图的执行过程可以不按顺序执行。相反,这些执行过程可以以相反的顺序或同时执行。另外,可以将至少一个其他执行过程添加到流程图。一个或多个执行过程可以从流程图中删除。
图1是根据本申请的一些实施例所示的一种示例性应用于大数据的数据可视化系统300的框图,应用于大数据的数据可视化系统300可以包括大数据服务器100和用户终端200。其中,用户终端200可以是手机、平板电脑、笔记本电脑等智能终端,在此不作限定。
在一些实施例中,如图2所示,大数据云服务器100可以包括处理引擎110、网络模块120和存储器130,处理引擎110和存储器130通过网络模块120通信。
处理引擎110可以处理相关的信息和/或数据以执行本申请中描述的一个或多个功能。例如,在一些实施例中,处理引擎110可以包括至少一个处理引擎(例如,单核处理引擎或多核处理器)。仅作为示例,处理引擎110可以包括中央处理单元(Central ProcessingUnit,CPU)、专用集成电路(Application-Specific Integrated Circuit,ASIC)、专用指令集处理器(Application-Specific Instruction-set Processor,ASIP)、图形处理单元(Graphics Processing Unit,GPU)、物理处理单元(Physics Processing Unit,PPU)、数字信号处理器(Digital Signal Processor,DSP)、现场可编程门阵列(Field ProgrammableGate Array,FPGA)、可编程逻辑器件(Programmable Logic Device,PLD)、控制器、微控制器单元、精简指令集计算机(Reduced Instruction-Set Computer,RISC)、微处理器等或其任意组合。
网络模块120可以促进信息和/或数据的交换。在一些实施例中,网络模块120可以是任何类型的有线或无线网络或其组合。仅作为示例,网络模块120可以包括缆线网络、有线网络、光纤网络、电信网络、内部网络、互联网、局域网络(Local Area Network,LAN)、广域网(Wide Area Network,WAN)、无线局域网络(Wireless Local Area Network,WLAN)、城域网(Metropolitan Area Network,MAN)、公用电话交换网(Public Telephone SwitchedNetwork,PSTN)、蓝牙网络、无线个域网络、近场通讯(Near Field Communication,NFC)网络等或上述举例的任意组合。在一些实施例中,网络模块120可以包括至少一个网络接入点。例如,网络模块120可以包括有线或无线网路接入点,如基站和/或网路接入点。
存储器130可以是,但不限于,随机存取存储器(Random Access Memory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(Programmable Read-OnlyMemory,PROM),可擦除只读存储器(Erasable Programmable Read-Only Memory,EPROM),电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory,EEPROM)等。其中,存储器130用于存储程序,所述处理引擎110在接收到执行指令后,执行所述程序。
可以理解,图2所示的结构仅为示意,大数据云服务器100还可包括比图2中所示更多或者更少的组件,或者具有与图2所示不同的配置。图2中所示的各组件可以采用硬件、软件或其组合实现。
图3是根据本申请的一些实施例所示的一种示例性应用于大数据的数据可视化方法和/或过程的流程图,应用于大数据的数据可视化方法应用于图1中的大数据云服务器100,具体可以包括以下步骤S31-步骤S34所描述的内容。
步骤S31,当对待可视化的目标数据集进行数据可视化处理时,将所述目标数据集划分为多个第一待处理数据子集。
例如,目标数据集可以是大数据云服务器预先采集、获取或者整理得到的多个业务数据,这些业务数据涵盖的领域较为广泛,例如区块链金融、在线支付、智慧城市管理、物联网监控、智能化生产、智慧园区、云游戏平台、网络游戏服务等,在此不作限定。
步骤S32,将每个第一待处理数据子集输入数据业务分类网络中,得到所述目标数据集中的所述每个第一待处理数据子集对应的第一数据业务类型。
例如,所述数据业务分类网络为基于第一样本数据集包括的多个第二待处理数据子集和所述第一样本数据集中标记的至少一个第二数据业务类型训练得到的。数据业务分类网络可以是卷积神经网络、分类器、向量机等,在此不作限定。样本数据集可以是用于对模型训练的。
步骤S33,根据所述每个第一待处理数据子集对应的第一数据业务类型和所述每个第一待处理数据子集的可视化需求信息,确定所述目标数据集中的每个第一数据业务类型对应的可视化需求信息。
例如,可视化需求信息可以是用户终端发送给大数据云服务器的。不同的第一待处理数据子集的可视化需求信息可以不同,每个第一数据业务类型对应的可视化需求信息也可以不同。
步骤S34,对所述目标数据集中的每个第一数据业务类型对应的可视化需求信息进行识别,得到所述目标数据集中的每个第一数据业务类型对应的可视化需求信息的可视化识别结果;基于所述可视化识别结果,调用不同的可视化处理线程对每个第一待处理数据子集进行可视化处理。
例如,可视化识别结果用于描述与可视化需求信息对应的较为合适的可视化处理指导信息,可视化处理线程可以预先配置在大数据云服务器中,可视化处理线程可以包括数据表格化处理、数据直方图化处理、数据饼状图化处理、数据节点图化处理和数据线性图化处理等。可以理解,不同第一待处理数据子集的第一数据业务类型可能不同,因此适配于不同第一待处理数据子集的可视化处理方法也可能不同,通过上述方法,能够考虑第一待处理数据子集的第一数据业务类型和可视化需求信息,从而确定出与不同的可视化需求信息对应的可视化识别结果,这样能够实现对不同的第一待处理数据子集的分类可视化处理,从而满足复杂多变的用户需求,提高数据可视化的智能性。
在实际实施时,通过应用上述步骤S31-步骤S34,能够划分得到目标数据集的多个第一待处理数据子集并确定每个第一待处理数据子集对应的第一数据业务类型,进而根据每个第一待处理数据子集的可视化需求信息确定目标数据集中的每个第一数据业务类型对应的可视化需求信息,这样能够得到每个第一数据业务类型对应的可视化需求信息的可视化识别结果,从而调用不同的可视化处理线程对每个第一待处理数据子集进行可视化处理。不同的可视化处理线程可以适配于不同的第一待处理数据子集,如此,能够考虑第一待处理数据子集的第一数据业务类型和可视化需求信息,从而确定出与不同的可视化需求信息对应的可视化识别结果,这样能够实现对不同的第一待处理数据子集的分类可视化处理,从而满足复杂多变的用户需求,提高数据可视化的智能性。
接下来将对一些可选实施例进行说明,这些实施例应当理解为示例,不应理解为实现本方案所必不可少的技术特征。
在一些示例中,为了确保数据业务分类网络的分类准确性和可靠性,需要对数据业务分类网络进行精准的模型训练。为达到这一目的,针对步骤S32所描述的数据业务分类网络的训练方法可以包括以下步骤S21-步骤S23。
步骤S21,将所述第一样本数据集划分为多个第二待处理数据子集,在所述第一样本数据集中标记至少一个第二数据业务类型。
步骤S22,根据所述第一样本数据集包括的多个第二待处理数据子集对应的第一数据来源信息,从所述第一样本数据集中识别出至少一个第三数据业务类型。
例如,数据来源信息用于记录不同的第二待处理数据子集的数据来源。第三数据业务类型与第二业务数据类型不相同,第三数据业务类型未被标记,第三数据业务类型可以是具有可变性的业务类型,第二数据业务类型和第一数据业务类型则可以不具备可变性。
步骤S23,根据从所述第一样本数据集中识别出的至少一个第三数据业务类型、标记的至少一个第二数据业务类型和所述多个第二待处理数据子集,进行网络模型训练,得到所述数据业务分类网络。
可以理解,通过实施上述步骤S21-步骤S23,能够将数据业务类型的可变性考虑在内,从而实现对数据业务分类网络进行精准的模型训练,确保数据业务分类网络的分类准确性和可靠性。
进一步地,步骤S22所描述的根据所述第一样本数据集包括的多个第二待处理数据子集对应的第一数据来源信息,从所述第一样本数据集中识别出至少一个第三数据业务类型,可以包括步骤S221-步骤S223。
步骤S221,获取所述第一样本数据集中的每个第二待处理数据子集对应的第一数据来源信息。
步骤S222,对于每个第二待处理数据子集的第一数据来源信息,确定所述第一样本数据集对应的多个第二数据来源信息。
例如,第二数据来源信息可以是第一样本数据集对应的全局性来源信息,而第一数据来源信息可以是第一样本数据集对应的局部性来源信息。或者可以理解为第二数据来源信息的时效性优于第一数据来源信息的时效性。
步骤S223,根据所述第一样本数据集对应的多个第二数据来源信息,从所述第一样本数据集中识别出至少一个第三数据业务类型。
这样一来,可以通过上述步骤S221-步骤S223确保第三数据业务类型的时效性。
进一步地,步骤S222所描述的对于每个第二待处理数据子集的第一数据来源信息,确定所述第一样本数据集对应的多个第二数据来源信息,可以包括步骤S2221-步骤S2223。
步骤S2221,根据所述每个第二待处理数据子集的第一数据来源信息,确定所述每个第二待处理数据子集的数据来源时序权重。
例如,数据来源时序权重可以用于表征第二待处理数据子集的数据来源的时效性。
步骤S2222,根据所述每个第二待处理数据子集的第一数据来源信息,确定任意两个第二待处理数据子集的第一数据来源信息之间的第一数据来源相似度。
例如,数据来源相似度可以表征不用数据来源信息之间的相似性和相关性。
步骤S2223,根据所述每个第二待处理数据子集的数据来源时序权重,将所述每个第二待处理数据子集的第一数据来源信息中第一数据来源相似度超过预设相似度值的第一数据来源信息进行时序信息特征权重加权,得到多个第二数据来源信息。
如此设计,能够基于上述步骤S2221-步骤S2223精准地得到多个第二数据来源信息。
进一步地,步骤S223所描述的根据所述第一样本数据集对应的多个第二数据来源信息,从所述第一样本数据集中识别出至少一个第三数据业务类型,可以包括以下步骤S2231-步骤S2233。
步骤S2231,对于每个第二数据来源信息,根据所述第二数据来源信息,确定所述第二数据来源信息与每个指定数据业务类型之间的第二数据来源相似度。
例如,指定数据业务类型可以根据实际情况进行调整,在此不作限定。
步骤S2232,根据所述第二数据来源信息与每个指定数据业务类型之间的第二数据来源相似度,从所述每个指定数据业务类型中选择与所述第二数据来源信息之间数据来源相似度最高的指定数据业务类型。
步骤S2233,将选择的指定数据业务类型作为所述第二数据来源信息对应的第二数据业务类型。
在一个可能的实施例中,在步骤S32所描述的将每个第一待处理数据子集输入数据业务分类网络中,得到所述目标数据集中的所述每个第一待处理数据子集对应的第一数据业务类型的内容之前,该方法还可以包括以下步骤S41-步骤S43。
步骤S41,获取第二样本数据集,所述第二样本数据集中标记至少一个第四数据业务类型和每个第四数据业务类型对应的可视化需求信息。
可以理解,第二样本数据集和第一样本数据集是不同的样本数据集,第二样本数据集可以是测试集,第一样本数据集可以是训练集。
步骤S42,将所述第二样本数据集输入所述数据业务分类网络中,输出所述第二样本数据集的至少一个第五数据业务类型和每个第五数据业务类型对应的可视化需求信息。
例如,第四数据业务类型和第五数据业务类型用于实现对数据业务分类网络的测试。
步骤S43,根据所述至少一个第四数据业务类型和所述每个第四数据业务类型对应的可视化需求信息,以及所述至少一个第五数据业务类型和所述每个第五数据业务类型对应的可视化需求信息,对所述数据业务分类网络进行数据分类测试;当所述数据业务分类网络的数据分类测试成功时,执行所述将每个第一待处理数据子集输入数据业务分类网络中,得到所述目标数据集中的所述每个第一待处理数据子集对应的第一数据业务类型的步骤。
可以理解,基于上述步骤S41-步骤S43,能够实现对数据业务分类模型的测试,从而确保数据业务分类模型的模型稳定性和分类准确性。
进一步地,步骤S43所描述的根据所述至少一个第四数据业务类型和所述每个第四数据业务类型对应的可视化需求信息,以及所述至少一个第五数据业务类型和所述每个第五数据业务类型对应的可视化需求信息,对所述数据业务分类网络进行数据分类测试,可以包括:当所述至少一个第四数据业务类型与所述至少一个第五数据业务类型匹配,且所述每个第四数据业务类型对应的可视化需求信息与所述每个第五数据业务类型对应的可视化需求信息匹配时,确定所述数据业务分类网络的数据分类测试成功。
在一些实施例中,步骤S33所描述的根据所述每个第一待处理数据子集对应的第一数据业务类型和所述每个第一待处理数据子集的可视化需求信息,确定所述目标数据集中的每个第一数据业务类型对应的可视化需求信息,可以包括以下内容:对于所述目标数据集中的每个第一数据业务类型,根据所述第一数据业务类型对应的至少一个第一待处理数据子集,将所述第一数据业务类型对应的至少一个第一待处理数据子集的可视化需求信息作为所述第一数据业务类型对应的可视化需求信息。
在一些示例中,步骤S34所描述的对所述目标数据集中的每个第一数据业务类型对应的可视化需求信息进行识别,得到所述目标数据集中的每个第一数据业务类型对应的可视化需求信息的可视化识别结果,可以包括以下步骤S341-步骤S346。
步骤S341,接收所述目标数据集中的每个第一数据业务类型对应的可视化需求信息的多个数据可视化标签,获取至少一个数据可视化场景对应的至少一个可视化场景特征;所述至少一个可视化场景特征描述了所述至少一个数据可视化场景各自的场景属性。
步骤S342,依据所述至少一个可视化场景特征,从所述至少一个数据可视化场景中为所述多个数据可视化标签中的每个数据可视化标签,分别确定出匹配数据可视化场景和匹配场景描述值;所述匹配场景描述值表征所述匹配数据可视化场景为所述每个数据可视化标签所对应的正确数据可视化场景的概率值。
步骤S343,根据所述匹配场景描述值,从所述每个数据可视化标签对应的所述匹配数据可视化场景中挑选出候选数据可视化场景。
步骤S344,获取所述候选数据可视化场景的数据可视化指标和可视化兼容信息,并基于所述可视化兼容信息、所述数据可视化指标以及与所述候选数据可视化场景对应的候选可视化场景特征,确定出所述候选数据可视化场景的可视化需求识别指标;所述可视化需求识别指标表征所述候选数据可视化场景对应的用于进行需求信息识别的信息维度指标。
步骤S345,依据所述可视化需求识别指标,确定所述候选数据可视化场景是否为待识别数据可视化场景。
步骤S346,在所述候选可视化场景为所述待识别数据可视化场景时,将所述目标数据集中的每个第一数据业务类型对应的可视化需求信息与对应的所述待识别数据可视化场景进配对,并在已配对的所述待识别数据可视化场景下对所述可视化需求信息进行识别,得到所述可视化识别结果。
如此设计,通过执行上述步骤S341-步骤S346,能够将可视化需求信息的多个数据可视化标签以及获取到的数据可视化场景对应的可视化场景特征进行综合分析,从而确定待识别数据可视化场景,进而实现可视化需求信息与待识别数据可视化场景的配对,这样能够通过对配对之后的可视化需求信息进行识别,确保可视化识别结果与实际的业务场景的高度匹配性。
在一些示例中,所述每个数据可视化标签具有标签指向信息和标签类型信息,基于此,步骤S342所描述的依据所述至少一个可视化场景特征,从所述至少一个数据可视化场景中为所述多个数据可视化标签中的每个数据可视化标签,分别确定出匹配数据可视化场景和匹配场景描述值,可以包括以下步骤S3421-步骤S3423。
步骤S3421,从所述至少一个可视化场景特征中,解析出所述至少一个数据可视化场景对应的数据可视化场景的场景指向信息和数据可视化场景的场景类型信息。
步骤S3422,根据所述每个数据可视化标签的所述标签指向信息、所述每个数据可视化标签的所述标签类型信息、所述至少一个数据可视化场景的所述数据可视化场景的场景指向信息和所述至少一个数据可视化场景的所述数据可视化场景的场景类型信息,计算出所述每个数据可视化标签和所述至少一个数据可视化场景的至少一个标签场景配对系数。
步骤S3423,从所述至少一个标签场景配对系数中,挑选出最大的标签场景配对系数;将所述至少一个数据可视化场景中,与所述最大的标签场景配对系数对应的数据可视化场景,作为所述每个数据可视化标签的所述匹配数据可视化场景,并将所述最大的标签场景配对系数作为所述每个数据可视化标签的所述匹配场景描述值。
如此,能够确保匹配数据可视化场景和匹配场景描述值能够与实际的数据可视化场景相一致,从而实现与实际业务场景的动态结合。此外,描述值可以对响应的数据或信息进行综合归纳,从而减少大数据云服务器的处理压力。
进一步地,步骤S343所描述的根据所述匹配场景描述值,从所述每个数据可视化标签对应的所述匹配数据可视化场景中挑选出候选数据可视化场景,可以包括步骤S3431-步骤S3433。
步骤S3431,从所述每个数据可视化标签中,挑选出与当前匹配数据可视化场景相对应的一个或多个当前数据可视化标签;所述一个或多个当前数据可视化标签为匹配到所述当前匹配数据可视化场景的数据可视化标签,所述当前匹配数据可视化场景为所述每个数据可视化标签对应的匹配数据可视化场景中的任意数据可视化场景。
步骤S3432,将所述一个或多个当前数据可视化标签所对应的一个或多个当前匹配场景描述值,分别与预设好的场景描述值阈值进行比较,得到一个或多个场景描述值比较结果;所述一个或多个场景描述值场景描述值比较结果表征所述一个或多个当前匹配场景描述值是否小于所述预设好的场景描述值阈值。
步骤S3433,当所述一个或多个场景描述值比较结果表征所述一个或多个当前匹配场景描述值均小于所述预设好的场景描述值阈值时,将所述当前匹配数据可视化场景,作为所述候选数据可视化场景。
如此设计,在应用上述步骤S3431-步骤S3433时,能够确保候选数据可视化场景与实际的数据可视化场景相匹配。
进一步地,步骤S344所描述的基于所述可视化兼容信息、所述数据可视化指标以及与所述候选数据可视化场景对应的候选可视化场景特征,确定出所述候选数据可视化场景的可视化需求识别指标,可以包括步骤S3441和步骤S3442。
步骤S3441,利用所述可视化兼容信息构造出第一业务可视化识别指标;利用所述数据可视化指标和所述候选可视化场景特征,构造出第二业务可视化识别指标。
步骤S3442,根据所述第一业务可视化识别指标和所述第二业务可视化识别指标,计算出所述可视化需求识别指标。
这样一来,通过实施上述步骤S3441和步骤S3442,能够精准、全面地计算出可视化需求识别指标。
在一些示例中,所述可视化兼容信息包括:可视化数据缺损值和可视化数据偏差值。基于此,步骤S3441所描述的利用所述可视化兼容信息构造出第一业务可视化识别指标,可以包括步骤S3441a和步骤S3441b。
步骤S3441a,当所述可视化数据缺损值和所述可视化数据偏差值之和大于预设好的兼容性评价阈值时,利用所述可视化数据缺损值和所述可视化数据偏差值构造出所述第一业务可视化识别指标。
步骤S3441b,当所述可视化数据缺损值和所述可视化数据偏差值之和小于或等于所述预设好的兼容性评价阈值时,确定获取到的第一预设业务可视化识别指标为所述第一业务可视化识别指标。
例如,缺损值和偏差值用于衡量可视化过程中可能出现的误差和错误。
在一些示例中,所述数据可视化指标包括:可视化区域占比和可视化数据差异度。基于此,步骤S3441所描述的利用所述数据可视化指标和所述候选可视化场景特征,构造出第二业务可视化识别指标,可以包括步骤S3441c和步骤S3441d。
步骤S3441c,当所述可视化区域占比大于设定区域占比时,将获取到的第二预设业务可视化识别指标作为所述第二业务可视化识别指标。
步骤S3441d,当所述可视化区域占比小于或等于所述设定区域占比时,从所述候选可视化场景特征中解析出特征差异信息,并利用所述特征差异信息和所述可视化数据差异度,构造出所述第二业务可视化识别指标;其中,所述特征差异信息表征所述候选可视化场景特征中是否存在差异特征;其中,所述差异特征表征可视化过程中的差异情况。
进一步地,步骤S3441a所描述的利用所述可视化数据缺损值和所述可视化数据偏差值构造出所述第一业务可视化识别指标,可以包括:利用所述可视化数据缺损值和所述可视化数据偏差值计算出可视化兼容序列值;根据所述可视化兼容序列值和预设好的序列值对应关系,构造出所述第一业务可视化识别指标。
进一步地,步骤S344所描述的获取所述候选数据可视化场景的数据可视化指标和可视化兼容信息,还可以包括以下步骤(1)-步骤(3)。
(1)从历史数据可视化记录中,统计出所述候选数据可视化场景的数据可视化持续时长和可视化区域占比;所述数据可视化持续时长表征与所述候选数据可视化场景相匹配的有效可视化时长的累计值,所述可视化区域占比表征与所述候选数据可视化场景相匹配且所有数据可视化标签对应的匹配场景描述值均小于预设好的场景描述值阈值的有效可视化时长的数量;所述历史数据可视化记录是基于历史可视化时段所对应的多个历史数据可视化标签进行挖掘得到的。
(2)根据所述可视化区域占比和所述数据可视化持续时长,确定所述可视化数据差异度,并利用所述可视化区域占比和所述可视化数据差异度,组成所述数据可视化指标。
(3)从所述历史数据可视化记录中,统计出所述候选数据可视化场景的可视化数据缺损值和可视化数据偏差值,并利用所述可视化数据缺损值和所述可视化数据偏差值组成所述可视化兼容信息。
例如,有效可视化时长的数量可以理解为多段有效可视化时长的数量。
在一些示例中,步骤S34所描述的基于所述可视化识别结果,调用不同的可视化处理线程对每个第一待处理数据子集进行可视化处理,可以包括以下步骤S34a-步骤S34e。
步骤S34a,确定可视化识别结果的可视化区域分配信息、可视化数据形式信息和可视化界面更新频率信息。
步骤S34b,基于所述可视化识别结果的可视化界面更新频率信息和参考可视化识别结果的可视化界面更新频率信息,确定所述可视化识别结果对应的第一线程匹配信息,所述参考可视化识别结果为包括三个具有不同的更新触发条件的可视化界面更新频率、且包括的可视化界面更新频率的更新频率均值大于设定更新频率值的可视化识别结果,且所述参考可视化识别结果的结果生成时间位于所述可视化识别结果的结果生成时间之前。
步骤S34c,基于所述可视化识别结果的可视化区域分配信息和可视化数据形式信息、上一个可视化识别结果对应的可视化报错信息和可视化反馈信息、以及所述第一线程匹配信息,确定所述可视化识别结果对应的线程调用指示信息,所述线程调用指示信息至少包括第二线程匹配信息,所述可视化识别结果对应的线程调用指示信息指的是确定所述可视化识别结果时大数据云服务器的线程调用指示信息。
步骤S34d,若所述第一线程匹配信息与所述第二线程匹配信息之间的线程匹配差异度大于设定差异度,确定所述可视化识别结果为关键可视化识别结果,基于所述第一线程匹配信息和所述线程调用指示信息,确定目标数据集中所有关键可视化识别结果的第三线程匹配信息、对应的可视化报错指示信息和可视化反馈指示信息。
步骤S34e,基于目标数据集中所有关键可视化识别结果的第三线程匹配信息、对应的可视化报错指示信息和可视化反馈指示信息,确定与所述可视化识别结果对应的可视化处理线程,运行所述可视化线程以对每个第一待处理数据子集进行可视化处理。
如此设计,通过实施上述步骤S34a-步骤S34e,能够在对第一待处理数据子集进行可视化处理之前充分考虑关键可视化识别结果的第三线程匹配信息、对应的可视化报错指示信息和可视化反馈指示信息,从而确定出适配的可视化处理线程,这样可以实现对不同的第一待处理数据子集的分类可视化处理,从而满足复杂多变的用户需求,提高数据可视化的智能性。
在一个可替换的实施例中,该方法还可以包括以下步骤S35所描述的内容:将完成可视化处理的第一待处理数据子集进行输出。例如,输出的方式可以是在不同平台或者不同终端上进行展示,在此不作限定,如此设计,能够将数据以用户能够接收和理解方式进行呈现,从而提高数据的可读性和可理解性。
图4是根据本申请的一些实施例所示的一种示例性应用于大数据的数据可视化装置140的框图,所述应用于大数据的数据可视化装置140可以包括以下功能模块。
数据划分模块141,用于当对待可视化的目标数据集进行数据可视化处理时,将所述目标数据集划分为多个第一待处理数据子集。
数据分类模块142,用于将每个第一待处理数据子集输入数据业务分类网络中,得到所述目标数据集中的所述每个第一待处理数据子集对应的第一数据业务类型;其中,所述数据业务分类网络为基于第一样本数据集包括的多个第二待处理数据子集和所述第一样本数据集中标记的至少一个第二数据业务类型训练得到的。
需求确定模块143,用于根据所述每个第一待处理数据子集对应的第一数据业务类型和所述每个第一待处理数据子集的可视化需求信息,确定所述目标数据集中的每个第一数据业务类型对应的可视化需求信息。
可视化处理模块144,用于对所述目标数据集中的每个第一数据业务类型对应的可视化需求信息进行识别,得到所述目标数据集中的每个第一数据业务类型对应的可视化需求信息的可视化识别结果;基于所述可视化识别结果,调用不同的可视化处理线程对每个第一待处理数据子集进行可视化处理。
关于上述装置实施例的描述可以参阅方法实施例的描述。
基于上述同样的发明构思,还提供了一种系统实施例,关于该系统实施例的描述可以如下。
一种应用于大数据的数据可视化系统,包括互相之间通信的大数据云服务器和用户终端;其中,所述大数据云服务器用于:
当对待可视化的目标数据集进行数据可视化处理时,将所述目标数据集划分为多个第一待处理数据子集;
将每个第一待处理数据子集输入数据业务分类网络中,得到所述目标数据集中的所述每个第一待处理数据子集对应的第一数据业务类型;其中,所述数据业务分类网络为基于第一样本数据集包括的多个第二待处理数据子集和所述第一样本数据集中标记的至少一个第二数据业务类型训练得到的;
根据所述每个第一待处理数据子集对应的第一数据业务类型和所述每个第一待处理数据子集的可视化需求信息,确定所述目标数据集中的每个第一数据业务类型对应的可视化需求信息;
对所述目标数据集中的每个第一数据业务类型对应的可视化需求信息进行识别,得到所述目标数据集中的每个第一数据业务类型对应的可视化需求信息的可视化识别结果;基于所述可视化识别结果,调用不同的可视化处理线程对每个第一待处理数据子集进行可视化处理。
关于上述系统实施例的描述可以参阅方法实施例的描述。
需要理解的是,针对上述内容没有进行名词解释的技术术语,本领域技术人员可以根据上述所公开的内容进行前后推导毫无疑义地确定其所指代的含义,例如针对一些值、系数、权重、指数、因子等术语,本领域技术人员可以根据前后的逻辑关系进行推导和确定,这些数值的取值范围可以根据实际情况进行选取,例如0~1,又例如1~10,再例如50~100,在此均不作限定。
本领域技术人员可以根据上述已公开的内容毫无疑义对一些预设的、基准的、预定的、设定的以及目标的技术特征/技术术语进行确定,例如阈值、阈值区间、阈值范围等。对于一些未作解释的技术特征术语,本领域技术人员完全能够基于前后文的逻辑关系进行合理地、毫无疑义地推导,从而清楚、完整地实施上述技术方案。未作解释的技术特征术语的前缀,例如“第一”、“第二”、“上一个”、“下一个”、“前一个”、“后一个”、“当前”、“历史”、“最新”、“最佳”、“目标”、“指定”和“实时”等,可以根据前后文进行毫无疑义地推导和确定。未作解释的技术特征术语的后缀,例如“列表”、“特征”、“序列”、“集合”、“矩阵”、“单元”、“元素”、“轨迹”和“清单”等,也可以根据前后文进行毫无疑义地推导和确定。
本申请实施例公开的上述内容对于本领域技术人员而言是清楚完整的。应当理解,本领域技术人员基于上述公开的内容对未作解释的技术术语进行推导和分析的过程是基于本申请所记载的内容进行的,因此上述内容并不是对整体方案的创造性的评判。
上文已对基本概念做了描述,显然,对于本领域技术人员来说,上述详细披露仅作为示例,而并不构成对本申请的限定。虽然此处并没有明确说明,本领域技术人员可以对本申请进行各种修改、改进和修正。该类修改、改进和修正在本申请中被建议,所以该类修改、改进、修正仍属于本申请示范实施例的精神和范围。
同时,本申请使用了特定术语来描述本申请的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特点。因此,应强调并注意的是,本说明书中在不同部分两次或多次提到的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外,本申请的至少一个实施例中的某些特征、结构或特点可以进行适当的组合。
另外,本领域普通技术人员可以理解的是,本申请的各个方面可以通过若干具有可专利性的种类或情况进行说明和描述,包括任何新的和有用的工序、机器、产品或物质的组合,或对他们任何新的和有用的改进。相应地,本申请的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可以被称为“单元”、“组件”或“系统”。此外,本申请的各方面可以表现为位于至少一个计算机可读介质中的计算机产品,所述产品包括计算机可读程序编码。
计算机可读信号介质可能包含一个内含有计算机程序编码的传播数据信号,例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式,包括电磁形式、光形式等等、或合适的组合形式。计算机可读信号介质可以是除计算机可读存储介质之外的任何计算机可读介质,该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机可读信号介质上的程序编码可以通过任何合适的介质进行传播,包括无线电、电缆、光纤缆线、RF、或类似介质、或任何上述介质的组合。
本申请各方面执行所需的计算机程序码可以用一种或多种程序语言的任意组合编写,包括面向对象程序设计,如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET,Python等,或类似的常规程序编程语言,如"C"编程语言,Visual Basic,Fortran2003,Perl,COBOL 2002,PHP,ABAP,动态编程语言如Python,Ruby和Groovy或其它编程语言。所述程式设计编码可以完全在用户计算机上执行、或作为独立的软体包在用户计算机上执行、或部分在用户计算机上执行部分在远程计算机执行、或完全在远程计算机或服务器上执行。在后种情况下,远程计算机可以通过任何网络形式与用户计算机连接,比如局域网络(LAN)或广域网(WAN),或连接至外部计算机(例如通过因特网),或在云计算环境中,或作为服务使用如软件即服务(SaaS)。
此外,除非申请专利范围中明确说明,本申请所述处理元件和序列的顺序、数位字母的使用、或其他名称的使用,并非用于限定本申请流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例,但应当理解的是,该类细节仅起到说明的目的,附加的申请专利范围并不仅限于披露的实施例,相反,申请专利范围旨在覆盖所有符合本申请实施例实质和范围的修正和等价组合。例如,虽然以上所描述的系统组件可以通过硬件装置实现,但是也可以只通过软件的解决方案得以实现,如在现有的服务器或行动装置上安装所描述的系统。
同样应当理解的是,为了简化本申请揭示的表述,从而帮助对至少一个发明实施例的理解,前文对本申请实施例的描述中,有时会将多种特征归并至一个实施例、附图或对其的描述中。但是,这种披露方法幷不意味着本申请对象所需要的特征比权利要求中提及的特征多。实际上,实施例的特征要少于上述披露的单个实施例的全部特征。

Claims (7)

1.一种应用于大数据的数据可视化方法,其特征在于,所述方法包括:
确定可视化识别结果的可视化区域分配信息、可视化数据形式信息和可视化界面更新频率信息;
基于所述可视化识别结果的可视化界面更新频率信息和参考可视化识别结果的可视化界面更新频率信息,确定所述可视化识别结果对应的第一线程匹配信息,所述参考可视化识别结果为包括三个具有不同的更新触发条件的可视化界面更新频率、且包括的可视化界面更新频率的更新频率均值大于设定更新频率值的可视化识别结果,且所述参考可视化识别结果的结果生成时间位于所述可视化识别结果的结果生成时间之前;
基于所述可视化识别结果的可视化区域分配信息和可视化数据形式信息、上一个可视化识别结果对应的可视化报错信息和可视化反馈信息、以及所述第一线程匹配信息,确定所述可视化识别结果对应的线程调用指示信息,所述线程调用指示信息至少包括第二线程匹配信息,所述可视化识别结果对应的线程调用指示信息指的是确定所述可视化识别结果时大数据云服务器的线程调用指示信息;
若所述第一线程匹配信息与所述第二线程匹配信息之间的线程匹配差异度大于设定差异度,确定所述可视化识别结果为关键可视化识别结果,基于所述第一线程匹配信息和所述线程调用指示信息,确定目标数据集中所有关键可视化识别结果的第三线程匹配信息、对应的可视化报错指示信息和可视化反馈指示信息;
基于目标数据集中所有关键可视化识别结果的第三线程匹配信息、对应的可视化报错指示信息和可视化反馈指示信息,确定与所述可视化识别结果对应的可视化处理线程,运行所述可视化线程以对每个第一待处理数据子集进行可视化处理。
2.根据权利要求1所述的方法,其特征在于,在确定可视化识别结果的可视化区域分配信息、可视化数据形式信息和可视化界面更新频率信息的步骤之前,所述方法还包括:
当对待可视化的目标数据集进行数据可视化处理时,将所述目标数据集划分为多个第一待处理数据子集;
将每个第一待处理数据子集输入数据业务分类网络中,得到所述目标数据集中的所述每个第一待处理数据子集对应的第一数据业务类型;其中,所述数据业务分类网络为基于第一样本数据集包括的多个第二待处理数据子集和所述第一样本数据集中标记的至少一个第二数据业务类型训练得到的;
相应的:所述数据业务分类网络为卷积神经网络;
根据所述每个第一待处理数据子集对应的第一数据业务类型和所述每个第一待处理数据子集的可视化需求信息,确定所述目标数据集中的每个第一数据业务类型对应的可视化需求信息;
对所述目标数据集中的每个第一数据业务类型对应的可视化需求信息进行识别,得到所述目标数据集中的每个第一数据业务类型对应的可视化需求信息的可视化识别结果。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
将所述第一样本数据集划分为多个第二待处理数据子集,在所述第一样本数据集中标记至少一个第二数据业务类型;
根据所述第一样本数据集包括的多个第二待处理数据子集对应的第一数据来源信息,从所述第一样本数据集中识别出至少一个第三数据业务类型;
根据从所述第一样本数据集中识别出的至少一个第三数据业务类型、标记的至少一个第二数据业务类型和所述多个第二待处理数据子集,进行网络模型训练,得到所述数据业务分类网络。
4.根据权利要求3所述的方法,其特征在于,根据所述第一样本数据集包括的多个第二待处理数据子集对应的第一数据来源信息,从所述第一样本数据集中识别出至少一个第三数据业务类型,包括:
获取所述第一样本数据集中的每个第二待处理数据子集对应的第一数据来源信息;
对于每个第二待处理数据子集的第一数据来源信息,确定所述第一样本数据集对应的多个第二数据来源信息;
根据所述第一样本数据集对应的多个第二数据来源信息,从所述第一样本数据集中识别出至少一个第三数据业务类型。
5.根据权利要求4所述的方法,其特征在于,对于每个第二待处理数据子集的第一数据来源信息,确定所述第一样本数据集对应的多个第二数据来源信息,包括:
根据所述每个第二待处理数据子集的第一数据来源信息,确定所述每个第二待处理数据子集的数据来源时序权重;
根据所述每个第二待处理数据子集的第一数据来源信息,确定任意两个第二待处理数据子集的第一数据来源信息之间的第一数据来源相似度;
根据所述每个第二待处理数据子集的数据来源时序权重,将所述每个第二待处理数据子集的第一数据来源信息中第一数据来源相似度超过预设相似度值的第一数据来源信息进行时序信息特征权重加权,得到多个第二数据来源信息。
6.根据权利要求5所述的方法,其特征在于,根据所述第一样本数据集对应的多个第二数据来源信息,从所述第一样本数据集中识别出至少一个第三数据业务类型,包括:
对于每个第二数据来源信息,根据所述第二数据来源信息,确定所述第二数据来源信息与每个指定数据业务类型之间的第二数据来源相似度;
根据所述第二数据来源信息与每个指定数据业务类型之间的第二数据来源相似度,从所述每个指定数据业务类型中选择与所述第二数据来源信息之间数据来源相似度最高的指定数据业务类型;
将选择的指定数据业务类型作为所述第二数据来源信息对应的第二数据业务类型。
7.一种大数据云服务器,其特征在于,包括处理引擎、网络模块和存储器;所述处理引擎和所述存储器通过所述网络模块通信,所述处理引擎从所述存储器中读取计算机程序并运行,以执行权利要求1-6任一项所述的方法。
CN202110552767.5A 2020-12-04 2020-12-04 应用于大数据的数据可视化方法及大数据云服务器 Withdrawn CN113282813A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110552767.5A CN113282813A (zh) 2020-12-04 2020-12-04 应用于大数据的数据可视化方法及大数据云服务器

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110552767.5A CN113282813A (zh) 2020-12-04 2020-12-04 应用于大数据的数据可视化方法及大数据云服务器
CN202011410341.8A CN112434201B (zh) 2020-12-04 2020-12-04 基于大数据的数据可视化方法及大数据云服务器

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN202011410341.8A Division CN112434201B (zh) 2020-12-04 2020-12-04 基于大数据的数据可视化方法及大数据云服务器

Publications (1)

Publication Number Publication Date
CN113282813A true CN113282813A (zh) 2021-08-20

Family

ID=74691893

Family Applications (3)

Application Number Title Priority Date Filing Date
CN202110553640.5A Withdrawn CN113220955A (zh) 2020-12-04 2020-12-04 一种大数据可视化方法及大数据云服务器
CN202011410341.8A Active CN112434201B (zh) 2020-12-04 2020-12-04 基于大数据的数据可视化方法及大数据云服务器
CN202110552767.5A Withdrawn CN113282813A (zh) 2020-12-04 2020-12-04 应用于大数据的数据可视化方法及大数据云服务器

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN202110553640.5A Withdrawn CN113220955A (zh) 2020-12-04 2020-12-04 一种大数据可视化方法及大数据云服务器
CN202011410341.8A Active CN112434201B (zh) 2020-12-04 2020-12-04 基于大数据的数据可视化方法及大数据云服务器

Country Status (1)

Country Link
CN (3) CN113220955A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114579829A (zh) * 2022-01-10 2022-06-03 江西卫生职业学院 一种计算机网络数据可视化方法、装置和计算机设备
CN117555961A (zh) * 2024-01-12 2024-02-13 浙江同花顺智能科技有限公司 一种可视化生成方法、装置、设备及存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6555275B2 (ja) * 2014-11-19 2019-08-07 日本電気株式会社 可視化装置、可視化方法および可視化プログラム
CN106156350A (zh) * 2016-07-25 2016-11-23 恒安嘉新(北京)科技有限公司 一种可视化大数据分析方法及系统
CN108512712A (zh) * 2017-02-27 2018-09-07 中国移动通信有限公司研究院 一种业务及网络质量数据的可视化处理方法及装置
US10339181B1 (en) * 2018-04-25 2019-07-02 Sas Institute Inc. Techniques for visualizing clustered datasets
JP7128687B2 (ja) * 2018-08-31 2022-08-31 大阪瓦斯株式会社 飲食店景況度可視化システム
CN111177495A (zh) * 2019-12-05 2020-05-19 北京永洪商智科技有限公司 一种智能识别数据内容并生成相应行业报告的方法
CN111625567A (zh) * 2020-04-27 2020-09-04 盎通科技(上海)有限公司 数据模型匹配方法、装置、计算机系统及可读存储介质
CN111949720B (zh) * 2020-08-24 2021-07-06 南京硅基智能科技有限公司 基于大数据和人工智能的数据分析方法及云端数据服务器
CN111831721B (zh) * 2020-09-15 2020-12-18 北京东方通科技股份有限公司 一种空间数据可视化的处理方法、系统及设备

Also Published As

Publication number Publication date
CN112434201A (zh) 2021-03-02
CN112434201B (zh) 2021-07-16
CN113220955A (zh) 2021-08-06

Similar Documents

Publication Publication Date Title
CN112434201B (zh) 基于大数据的数据可视化方法及大数据云服务器
CN109063116B (zh) 数据识别方法、装置、电子设备及计算机可读存储介质
CN112633976B (zh) 基于大数据和云业务的数据处理方法及云业务服务器
CN113127552B (zh) 基于大数据的食品安全识别方法及系统
CN113641994B (zh) 基于图数据的数据处理方法及系统
CN111145006A (zh) 基于用户画像的汽车金融反欺诈模型训练方法和装置
CN113268641B (zh) 基于大数据的用户数据处理方法及大数据服务器
CN113468338A (zh) 针对数字化云业务的大数据分析方法及大数据服务器
CN112418935A (zh) 基于大数据和广告推送的数据处理方法及大数据平台
CN115128438A (zh) 一种芯片内部故障监测方法及其装置
CN112988756A (zh) 基于大数据的化妆品生产数据确定方法及云服务器
CN113472860A (zh) 大数据和数字化环境下的业务资源分配方法及服务器
CN112463205B (zh) 基于ai和大数据的应用程序管理方法及人工智能服务器
CN113761210A (zh) 基于报告文本信息识别的信息处理方法及系统
CN113591884B (zh) 字符识别模型的确定方法、装置、设备及存储介质
CN113434605A (zh) 应用于大数据的支付数据处理方法及云服务器
CN117093477A (zh) 一种软件质量评估方法、装置、计算机设备及存储介质
CN113407515A (zh) 应用于人工智能的大数据维护方法及大数据服务器
CN112434651A (zh) 一种基于图像识别的信息分析方法、装置及计算机设备
CN116362607A (zh) 一种物资储备效能评估方法及装置
CN111798237B (zh) 基于应用日志的异常交易诊断方法及系统
CN115310606A (zh) 基于数据集敏感属性重构的深度学习模型去偏方法及装置
CN110177006B (zh) 基于接口预测模型的节点测试方法及装置
CN112653683A (zh) 基于大数据和云计算的数据流式处理方法及云服务器
CN112613878A (zh) 基于大数据和区块链支付的信息检测方法及大数据服务器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20210820

WW01 Invention patent application withdrawn after publication