CN111400565A - 一种可视化拖拽在线数据处理方法和系统 - Google Patents

一种可视化拖拽在线数据处理方法和系统 Download PDF

Info

Publication number
CN111400565A
CN111400565A CN202010197551.7A CN202010197551A CN111400565A CN 111400565 A CN111400565 A CN 111400565A CN 202010197551 A CN202010197551 A CN 202010197551A CN 111400565 A CN111400565 A CN 111400565A
Authority
CN
China
Prior art keywords
data
processing
structured
semi
unstructured
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010197551.7A
Other languages
English (en)
Inventor
金震
杨海建
孙卫东
安杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing SunwayWorld Science and Technology Co Ltd
Original Assignee
Beijing SunwayWorld Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing SunwayWorld Science and Technology Co Ltd filed Critical Beijing SunwayWorld Science and Technology Co Ltd
Priority to CN202010197551.7A priority Critical patent/CN111400565A/zh
Publication of CN111400565A publication Critical patent/CN111400565A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/904—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种可视化拖拽在线数据处理方法和系统，该视化拖拽在线数据处理方法和系统能够同时对结构化数据、半结构化数据和非结构化数据进行可视化的建模处理以及自助分析处理，并且还根据上述不同类型的数据生成不同类型的图表，以及便于用于通过拖拽操作的方式直接完成数据图像选择、数据绑定、数据筛选和数据钻取中至少一者的数据应用操作，从而大大地提高对不同类型数据处理的效率和准确性。

Description

一种可视化拖拽在线数据处理方法和系统
技术领域
本发明涉及大数据处理的技术领域，特别涉及一种可视化拖拽在线数据处理方法和系统。
背景技术
数据量庞大是互联网时代的一个重要特点，而在海量的数据中如何快速地消化吸收有用的信息，对于在互联网中占据优先地位具有重要意义。其中，通过对数据进行可视化处理找到相关信息的几率会远远大于通过其他方式找到相关信息，并且对数据进行可视化处理还能够让浏览者得到更多直观的信息。现有技术采用BI模式来对数据进行可视化处理，而该BI模式是基于ETL、数据仓库、OLAP和可视化报表技术来实现的，其实质上属于应用和展示层技术，但是由于其无法解决包含结构化数据和非结构化数据的海量数据处理问题，这导致其目前基本处于淘汰的边缘。可见，现有技术急需一种能够同时对结构化数据和非结构化数据进行可视化快速处理的方法和系统。
发明内容
针对现有技术存在的缺陷，本发明提供一种可视化拖拽在线数据处理方法和系统，该可视化拖拽在线数据处理方法和系统通过从数据源中采集得到相应的结构化数据、半结构化数据和非结构化数据中的至少一者，并对采集到的数据进行关于预定数据层面的处理，根据该关于预定数据层面的处理结果，进行关于数据属性的分析处理，以此获得相应的数据分析结果，根据该数据分析结果，对相应的数据进行可视化的数据服务处理，最后根据该可视化的数据服务处理结果，将相应的数据直接拖拽至不同模式的数据应用中，以此实现相应的数据应用操作；可见，该视化拖拽在线数据处理方法和系统能够同时对结构化数据、半结构化数据和非结构化数据进行可视化的建模处理以及自助分析处理，并且还根据上述不同类型的数据生成不同类型的图表，以及便于用于通过拖拽操作的方式直接完成数据图像选择、数据绑定、数据筛选和数据钻取中至少一者的数据应用操作，从而大大地提高对不同类型数据处理的效率和准确性。
本发明提供一种可视化拖拽在线数据处理方法，其特征在于，所述可视化拖拽在线数据处理方法包括如下步骤：
步骤S1，从数据源中采集得到相应的结构化数据、半结构化数据和非结构化数据中的至少一者，并对采集到的数据进行关于预定数据层面的处理；
步骤S2，根据所述关于预定数据层面的处理结果，进行关于数据属性的分析处理，以此获得相应的数据分析结果；
步骤S3，根据所述数据分析结果，对相应的数据进行可视化的数据服务处理；
步骤S4，根据所述可视化的数据服务处理结果，将相应的数据直接拖拽至不同模式的数据应用中，以此实现相应的数据应用操作；
进一步，在所述步骤S1中，从数据源中采集得到相应的结构化数据、半结构化数据和非结构化数据中的至少一者，并对采集到的数据进行关于预定数据层面的处理具体包括，
步骤S101，从所述数据源中通过批量采集方式获取得到所述结构化数据，和/或从所述数据源中通过准实时采集方式获取得到所述半结构化数据和/或所述非结构化数据；
步骤S102，根据采集得到的所述结构化数据构建形成主数据仓库和/或分布式数据仓库，并根据所述半结构化数据和/或所述非结构化数据构建形成分布式文件系统HDFS；
步骤S103，对所述主数据仓库、分布式数据仓库和所述分布式文件系统HDFS三者进行横向数据交互处理，以此实现所述三者的数据互通；
进一步，在所述步骤S2中，根据所述关于预定数据层面的处理结果，进行关于数据属性的分析处理，以此获得相应的数据分析结果具体包括，
步骤S201，从所述关于预定数据层面的处理结果中，获取关于所述结构化数据、所述半结构化数据和所述非结构化数据中至少一者的数据属性信息；
步骤S202，根据所述数据属性信息，并通过预定数据深度学习模型，对所述结构化数据、所述半结构化数据和所述非结构化数据中至少一者进行有效信息提取处理，以此确定其对应的数据的有效表征信息，具体为，
确定所述结构化数据对应的有效表征信息包含：
第一，确定数据样本集N＝{x1,x2,…,xn}，其中，N为所述结构化数据对应的数据样本集，xi为所述结构化数据中对应的数据；
第二，根据下面公式(1)，获取所述数据样本集N的散度矩阵Q，
Figure BDA0002418155940000031
在上述公式(1)中，n为所述结构化数据的数据数量，xi为所述结构化数据中对应的数据，
Figure BDA0002418155940000032
为所述结构化数据对应的数据均值；
第三，根据下面公式(2)，计算预定准则函数的最优解
|λE-Q|＝0 (2)
在上述公式(2)中，E为单位矩阵，Q为所述结构化数据对应的散度矩阵，λ为待求解的特征值，
再根据上面求解得到的特征值λ对应的若干个特征分量a1,a2,…,ap，作为所述结构化数据的有效表征信息；
或者，
确定所述半结构化数据或者所述非结构化数据对应的有效表征信息包含：
根据下面公式(3)，对所述半结构化数据或者所述非结构化数据进行数据拟合
Figure BDA0002418155940000041
在上述公式(3)中，m为所述半结构化数据或者所述非结构化数据对应的数量，(xk,yk)为所述半结构化数据或者所述非结构化数据对应的第k个数据对，n为预定多项式拟合函数的阶数，f(x)为所述半结构化数据或者所述非结构化数据对应的所述多项式拟合函数，ai为所述多项式拟合函数的系数，i＝1、2、…、n；
再根据上述公式(3)对应得到的拟合函数解析解来确定所述半结构化数据或者所述非结构化数据对应的有效表征信息；
步骤S203，根据所述有效表征信息，对所述结构化数据、所述半结构化数据和所述非结构化数据中至少一者进行基础分析处理、多维分析处理、数据挖掘处理、实时分析处理、自助分析处理和数据共享处理中的至少一者，以此获得所述数据分析结果；
进一步，在所述步骤S3中，根据所述数据分析结果，对相应的数据进行可视化的数据服务处理具体包括，
步骤S301，根据所述数据分析结果，构建关于不同数据服务模式的数据服务执行模型；
步骤S302，根据所述数据服务执行模型对应的数据服务模式，将所述结构化数据、所述半结构化数据和所述非结构化数据中至少一者匹配至相应的数据服务执行模型中；
步骤S303，根据所述匹配的结果，通过相应的数据服务执行模型对相应的数据进行可视化转换处理、应用场景挖掘处理、数据多维度转换处理和数据定位/查询处理中的至少一者，以此实现所述数据服务处理；
进一步，在所述步骤S4中，根据所述可视化的数据服务处理结果，将相应的数据直接拖拽至不同模式的数据应用中，以此实现相应的数据应用操作具体包括，
步骤S401，根据所述可视化的数据服务处理结果，确定所述结构化数据、所述半结构化数据和所述非结构化数据中至少一者对应的拖拽操作面板；
步骤S402，根据所述拖拽操作面板，对相应的待处理数据进行直接的页面拖拽处理，以此将所述待处理数据匹配到相应模式的数据应用中；
步骤S403，根据所述数据应用，对所述待处理数据进行相应的数据图像选择、数据绑定、数据筛选和数据钻取中至少一者的数据应用操作。
本发明还提供一种可视化拖拽在线数据处理系统，其特征在于：
所述可视化拖拽在线数据处理系统包括数据采集模块、数据预处理模块、数据分析模块、数据服务处理模块和数据应用操作执行模块；其中，
所述数据采集模块用于从数据源中采集得到相应的结构化数据、半结构化数据和非结构化数据中的至少一者；
所述数据预处理模块用于对采集到的数据进行关于预定数据层面的处理；
所述数据分析模块用于根据所述关于预定数据层面的处理结果，进行关于数据属性的分析处理，以此获得相应的数据分析结果；
所述数据服务处理模块用于根据所述数据分析结果，对相应的数据进行可视化的数据服务处理；
所述数据应用操作执行模块用于根据所述可视化的数据服务处理结果，将相应的数据直接拖拽至不同模式的数据应用中，以此实现相应的数据应用操作；
进一步，所述数据采集模块包括第一数据采集子模块和第二数据采集子模块；其中，
所述第一数据采集子模块用于从所述数据源中通过批量采集方式获取得到所述结构化数据；
所述第二数据采集子模块用于从所述数据源中通过准实时采集方式获取得到所述半结构化数据和/或所述非结构化数据；
或者，
所述数据预处理模块包括第一预处理子模块、第二预处理子模块和交互处理子模块；其中，
所述第一预处理子模块用于根据采集得到的所述结构化数据构建形成主数据仓库和/或分布式数据仓库；
所述第二预处理子模块用于根据所述半结构化数据和/或所述非结构化数据构建形成分布式文件系统HDFS；
所述交互处理子模块用于对所述主数据仓库、分布式数据仓库和所述分布式文件系统HDFS三者进行横向数据交互处理，以此实现所述三者的数据互通；
进一步，所述数据分析模块包括数据属性信息获取子模块、有效表征信息确定子模块和分析执行子模块；其中，
所述数据属性信息获取子模块用于从所述关于预定数据层面的处理结果中，获取关于所述结构化数据、所述半结构化数据和所述非结构化数据中至少一者的数据属性信息；
所述有效表征信息确定子模块用于根据所述数据属性信息，并通过预定数据深度学习模型，对所述结构化数据、所述半结构化数据和所述非结构化数据中至少一者进行有效信息提取处理，以此确定其对应的数据的有效表征信息；
所述分析执行子模块用于根据所述有效表征信息，对所述结构化数据、所述半结构化数据和所述非结构化数据中至少一者进行基础分析处理、多维分析处理、数据挖掘处理、实时分析处理、自助分析处理和数据共享处理中的至少一者，以此获得所述数据分析结果；
进一步，所述数据服务处理模块包括数据服务执行模型构建子模块、数据服务执行模型匹配子模块和数据服务执行子模块；其中，
所述数据服务执行模型构建子模块用于根据所述数据分析结果，构建关于不同数据服务模式的数据服务执行模型；
所述数据服务执行模型匹配子模块用于根据所述数据服务执行模型对应的数据服务模式，将所述结构化数据、所述半结构化数据和所述非结构化数据中至少一者匹配至相应的数据服务执行模型中；
所述数据服务执行子模块用于根据所述匹配的结果，通过相应的数据服务执行模型对相应的数据进行可视化转换处理、应用场景挖掘处理、数据多维度转换处理和数据定位/查询处理中的至少一者，以此实现所述数据服务处理；
进一步，所述数据应用操作执行模块包括拖拽操作面板确定子模块、数据应用匹配子模块和应用操作实现子模块；其中，
所述拖拽操作面板确定子模块用于根据所述可视化的数据服务处理结果，确定所述结构化数据、所述半结构化数据和所述非结构化数据中至少一者对应的拖拽操作面板；
所述数据应用匹配子模块用于根据所述拖拽操作面板，对相应的待处理数据进行直接的页面拖拽处理，以此将所述待处理数据匹配到相应模式的数据应用中；
所述应用操作实现子模块用于根据所述数据应用，对所述待处理数据进行相应的数据图像选择、数据绑定、数据筛选和数据钻取中至少一者的数据应用操作。
相比于现有技术，该可视化拖拽在线数据处理方法和系统通过从数据源中采集得到相应的结构化数据、半结构化数据和非结构化数据中的至少一者，并对采集到的数据进行关于预定数据层面的处理，根据该关于预定数据层面的处理结果，进行关于数据属性的分析处理，以此获得相应的数据分析结果，根据该数据分析结果，对相应的数据进行可视化的数据服务处理，最后根据该可视化的数据服务处理结果，将相应的数据直接拖拽至不同模式的数据应用中，以此实现相应的数据应用操作；可见，该视化拖拽在线数据处理方法和系统能够同时对结构化数据、半结构化数据和非结构化数据进行可视化的建模处理以及自助分析处理，并且还根据上述不同类型的数据生成不同类型的图表，以及便于用于通过拖拽操作的方式直接完成数据图像选择、数据绑定、数据筛选和数据钻取中至少一者的数据应用操作，从而大大地提高对不同类型数据处理的效率和准确性。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的一种可视化拖拽在线数据处理方法的流程示意图。
图2为本发明提供的一种可视化拖拽在线数据处理系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参阅图1，为本发明实施例提供的一种可视化拖拽在线数据处理方法的流程示意图。该可视化拖拽在线数据处理方法包括如下步骤：
步骤S1，从数据源中采集得到相应的结构化数据、半结构化数据和非结构化数据中的至少一者，并对采集到的数据进行关于预定数据层面的处理；
步骤S2，根据该关于预定数据层面的处理结果，进行关于数据属性的分析处理，以此获得相应的数据分析结果；
步骤S3，根据该数据分析结果，对相应的数据进行可视化的数据服务处理；
步骤S4，根据该可视化的数据服务处理结果，将相应的数据直接拖拽至不同模式的数据应用中，以此实现相应的数据应用操作。
优选地，在该步骤S1中，从数据源中采集得到相应的结构化数据、半结构化数据和非结构化数据中的至少一者，并对采集到的数据进行关于预定数据层面的处理具体包括，
步骤S101，从该数据源中通过批量采集方式获取得到该结构化数据，和/或从该数据源中通过准实时采集方式获取得到该半结构化数据和/或该非结构化数据；
步骤S102，根据采集得到的该结构化数据构建形成主数据仓库和/或分布式数据仓库，并根据该半结构化数据和/或该非结构化数据构建形成分布式文件系统HDFS；
步骤S103，对该主数据仓库、分布式数据仓库和该分布式文件系统HDFS三者进行横向数据交互处理，以此实现该三者的数据互通。
优选地，在该步骤S2中，根据该关于预定数据层面的处理结果，进行关于数据属性的分析处理，以此获得相应的数据分析结果具体包括，
步骤S201，从该关于预定数据层面的处理结果中，获取关于该结构化数据、该半结构化数据和该非结构化数据中至少一者的数据属性信息；
步骤S202，根据该数据属性信息，并通过预定数据深度学习模型，对该结构化数据、该半结构化数据和该非结构化数据中至少一者进行有效信息提取处理，以此确定其对应的数据的有效表征信息，具体为，
确定该结构化数据对应的有效表征信息包含：
第一，确定数据样本集N＝{x1,x2,…,xn}，其中，N为该结构化数据对应的数据样本集，xi为该结构化数据中对应的数据；
第二，根据下面公式(1)，获取该数据样本集N的散度矩阵Q，
Figure BDA0002418155940000101
在上述公式(1)中，n为该结构化数据的数据数量，xi为该结构化数据中对应的数据，
Figure BDA0002418155940000102
为该结构化数据对应的数据均值；
第三，根据下面公式(2)，计算预定准则函数的最优解
|λE-Q|＝0 (2)
在上述公式(2)中，E为单位矩阵，Q为该结构化数据对应的散度矩阵，λ为待求解的特征值，
再根据上面求解得到的特征值λ对应的若干个特征分量a1,a2,…,ap，作为该结构化数据的有效表征信息；
或者，
确定该半结构化数据或者该非结构化数据对应的有效表征信息包含：
根据下面公式(3)，对该半结构化数据或者该非结构化数据进行数据拟合
Figure BDA0002418155940000103
在上述公式(3)中，m为该半结构化数据或者该非结构化数据对应的数量，(xk,yk)为该半结构化数据或者该非结构化数据对应的第k个数据对，n为预定多项式拟合函数的阶数，f(x)为该半结构化数据或者该非结构化数据对应的该多项式拟合函数，ai为该多项式拟合函数的系数，i＝1、2、…、n；
再根据上述公式(3)对应得到的拟合函数解析解来确定该半结构化数据或者该非结构化数据对应的有效表征信息；
步骤S203，根据该有效表征信息，对该结构化数据、该半结构化数据和该非结构化数据中至少一者进行基础分析处理、多维分析处理、数据挖掘处理、实时分析处理、自助分析处理和数据共享处理中的至少一者，以此获得该数据分析结果。
优选地，在该步骤S3中，根据该数据分析结果，对相应的数据进行可视化的数据服务处理具体包括，
步骤S301，根据该数据分析结果，构建关于不同数据服务模式的数据服务执行模型；
步骤S302，根据该数据服务执行模型对应的数据服务模式，将该结构化数据、该半结构化数据和该非结构化数据中至少一者匹配至相应的数据服务执行模型中；
步骤S303，根据该匹配的结果，通过相应的数据服务执行模型对相应的数据进行可视化转换处理、应用场景挖掘处理、数据多维度转换处理和数据定位/查询处理中的至少一者，以此实现该数据服务处理
优选地，在该步骤S4中，根据该可视化的数据服务处理结果，将相应的数据直接拖拽至不同模式的数据应用中，以此实现相应的数据应用操作具体包括，
步骤S401，根据该可视化的数据服务处理结果，确定该结构化数据、该半结构化数据和该非结构化数据中至少一者对应的拖拽操作面板；
步骤S402，根据该拖拽操作面板，对相应的待处理数据进行直接的页面拖拽处理，以此将该待处理数据匹配到相应模式的数据应用中；
步骤S403，根据该数据应用，对该待处理数据进行相应的数据图像选择、数据绑定、数据筛选和数据钻取中至少一者的数据应用操作。
参阅图2，为本发明实施例提供的一种可视化拖拽在线数据处理系统的结构示意图。该可视化拖拽在线数据处理系统包括数据采集模块、数据预处理模块、数据分析模块、数据服务处理模块和数据应用操作执行模块；其中，
该数据采集模块用于从数据源中采集得到相应的结构化数据、半结构化数据和非结构化数据中的至少一者；
该数据预处理模块用于对采集到的数据进行关于预定数据层面的处理；
该数据分析模块用于根据该关于预定数据层面的处理结果，进行关于数据属性的分析处理，以此获得相应的数据分析结果；
该数据服务处理模块用于根据该数据分析结果，对相应的数据进行可视化的数据服务处理；
该数据应用操作执行模块用于根据该可视化的数据服务处理结果，将相应的数据直接拖拽至不同模式的数据应用中，以此实现相应的数据应用操作。
优选地，该数据采集模块包括第一数据采集子模块和第二数据采集子模块；其中，
该第一数据采集子模块用于从该数据源中通过批量采集方式获取得到该结构化数据；
该第二数据采集子模块用于从该数据源中通过准实时采集方式获取得到该半结构化数据和/或该非结构化数据。
优选地，该数据预处理模块包括第一预处理子模块、第二预处理子模块和交互处理子模块；其中，
该第一预处理子模块用于根据采集得到的该结构化数据构建形成主数据仓库和/或分布式数据仓库；
该第二预处理子模块用于根据该半结构化数据和/或该非结构化数据构建形成分布式文件系统HDFS；
该交互处理子模块用于对该主数据仓库、分布式数据仓库和该分布式文件系统HDFS三者进行横向数据交互处理，以此实现该三者的数据互通。
优选地，该数据分析模块包括数据属性信息获取子模块、有效表征信息确定子模块和分析执行子模块；其中，
该数据属性信息获取子模块用于从该关于预定数据层面的处理结果中，获取关于该结构化数据、该半结构化数据和该非结构化数据中至少一者的数据属性信息；
该有效表征信息确定子模块用于根据该数据属性信息，并通过预定数据深度学习模型，对该结构化数据、该半结构化数据和该非结构化数据中至少一者进行有效信息提取处理，以此确定其对应的数据的有效表征信息；
该分析执行子模块用于根据该有效表征信息，对该结构化数据、该半结构化数据和该非结构化数据中至少一者进行基础分析处理、多维分析处理、数据挖掘处理、实时分析处理、自助分析处理和数据共享处理中的至少一者，以此获得该数据分析结果。
优选地，该数据服务处理模块包括数据服务执行模型构建子模块、数据服务执行模型匹配子模块和数据服务执行子模块；其中，
该数据服务执行模型构建子模块用于根据该数据分析结果，构建关于不同数据服务模式的数据服务执行模型；
该数据服务执行模型匹配子模块用于根据该数据服务执行模型对应的数据服务模式，将该结构化数据、该半结构化数据和该非结构化数据中至少一者匹配至相应的数据服务执行模型中；
该数据服务执行子模块用于根据该匹配的结果，通过相应的数据服务执行模型对相应的数据进行可视化转换处理、应用场景挖掘处理、数据多维度转换处理和数据定位/查询处理中的至少一者，以此实现该数据服务处理。
优选地，该数据应用操作执行模块包括拖拽操作面板确定子模块、数据应用匹配子模块和应用操作实现子模块；其中，
该拖拽操作面板确定子模块用于根据该可视化的数据服务处理结果，确定该结构化数据、该半结构化数据和该非结构化数据中至少一者对应的拖拽操作面板；
该数据应用匹配子模块用于根据该拖拽操作面板，对相应的待处理数据进行直接的页面拖拽处理，以此将该待处理数据匹配到相应模式的数据应用中；
该应用操作实现子模块用于根据该数据应用，对该待处理数据进行相应的数据图像选择、数据绑定、数据筛选和数据钻取中至少一者的数据应用操作。
从上述实施例的内容可知，该视化拖拽在线数据处理方法和系统能够同时对结构化数据、半结构化数据和非结构化数据进行可视化的建模处理以及自助分析处理，并且还根据上述不同类型的数据生成不同类型的图表，以及便于用于通过拖拽操作的方式直接完成数据图像选择、数据绑定、数据筛选和数据钻取中至少一者的数据应用操作，从而大大地提高对不同类型数据处理的效率和准确性。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种可视化拖拽在线数据处理方法，其特征在于，所述可视化拖拽在线数据处理方法包括如下步骤：
步骤S1，从数据源中采集得到相应的结构化数据、半结构化数据和非结构化数据中的至少一者，并对采集到的数据进行关于预定数据层面的处理；
步骤S2，根据所述关于预定数据层面的处理结果，进行关于数据属性的分析处理，以此获得相应的数据分析结果；
步骤S3，根据所述数据分析结果，对相应的数据进行可视化的数据服务处理；
步骤S4，根据所述可视化的数据服务处理结果，将相应的数据直接拖拽至不同模式的数据应用中，以此实现相应的数据应用操作。
2.如权利要求1所述的可视化拖拽在线数据处理方法，其特征在于：
在所述步骤S1中，从数据源中采集得到相应的结构化数据、半结构化数据和非结构化数据中的至少一者，并对采集到的数据进行关于预定数据层面的处理具体包括，
步骤S101，从所述数据源中通过批量采集方式获取得到所述结构化数据，和/或从所述数据源中通过准实时采集方式获取得到所述半结构化数据和/或所述非结构化数据；
步骤S102，根据采集得到的所述结构化数据构建形成主数据仓库和/或分布式数据仓库，并根据所述半结构化数据和/或所述非结构化数据构建形成分布式文件系统HDFS；
步骤S103，对所述主数据仓库、分布式数据仓库和所述分布式文件系统HDFS三者进行横向数据交互处理，以此实现所述三者的数据互通。
3.如权利要求1所述的可视化拖拽在线数据处理方法，其特征在于：在所述步骤S2中，根据所述关于预定数据层面的处理结果，进行关于数据属性的分析处理，以此获得相应的数据分析结果具体包括，
步骤S201，从所述关于预定数据层面的处理结果中，获取关于所述结构化数据、所述半结构化数据和所述非结构化数据中至少一者的数据属性信息；
步骤S202，根据所述数据属性信息，并通过预定数据深度学习模型，对所述结构化数据、所述半结构化数据和所述非结构化数据中至少一者进行有效信息提取处理，以此确定其对应的数据的有效表征信息，具体为，
确定所述结构化数据对应的有效表征信息包含：
第一，确定数据样本集N＝{x1,x2,…,xn}，其中，N为所述结构化数据对应的数据样本集，xi为所述结构化数据中对应的数据；
第二，根据下面公式(1)，获取所述数据样本集N的散度矩阵Q，
Figure FDA0002418155930000021
在上述公式(1)中，n为所述结构化数据的数据数量，xi为所述结构化数据中对应的数据，
Figure FDA0002418155930000022
为所述结构化数据对应的数据均值；
第三，根据下面公式(2)，计算预定准则函数的最优解
|λE-Q|＝0 (2)
在上述公式(2)中，E为单位矩阵，Q为所述结构化数据对应的散度矩阵，λ为待求解的特征值，
再根据上面求解得到的特征值λ对应的若干个特征分量a1,a2,…,ap，作为所述结构化数据的有效表征信息；
或者，
确定所述半结构化数据或者所述非结构化数据对应的有效表征信息包含：
根据下面公式(3)，对所述半结构化数据或者所述非结构化数据进行数据拟合
Figure FDA0002418155930000031
在上述公式(3)中，m为所述半结构化数据或者所述非结构化数据对应的数量，(xk,yk)为所述半结构化数据或者所述非结构化数据对应的第k个数据对，n为预定多项式拟合函数的阶数，f(x)为所述半结构化数据或者所述非结构化数据对应的所述多项式拟合函数，ai为所述多项式拟合函数的系数，i＝1、2、…、n；
再根据上述公式(3)对应得到的拟合函数解析解来确定所述半结构化数据或者所述非结构化数据对应的有效表征信息；
步骤S203，根据所述有效表征信息，对所述结构化数据、所述半结构化数据和所述非结构化数据中至少一者进行基础分析处理、多维分析处理、数据挖掘处理、实时分析处理、自助分析处理和数据共享处理中的至少一者，以此获得所述数据分析结果。
4.如权利要求1所述的可视化拖拽在线数据处理方法，其特征在于：
在所述步骤S3中，根据所述数据分析结果，对相应的数据进行可视化的数据服务处理具体包括，
步骤S301，根据所述数据分析结果，构建关于不同数据服务模式的数据服务执行模型；
步骤S302，根据所述数据服务执行模型对应的数据服务模式，将所述结构化数据、所述半结构化数据和所述非结构化数据中至少一者匹配至相应的数据服务执行模型中；
步骤S303，根据所述匹配的结果，通过相应的数据服务执行模型对相应的数据进行可视化转换处理、应用场景挖掘处理、数据多维度转换处理和数据定位/查询处理中的至少一者，以此实现所述数据服务处理。
5.如权利要求1所述的可视化拖拽在线数据处理方法，其特征在于：
在所述步骤S4中，根据所述可视化的数据服务处理结果，将相应的数据直接拖拽至不同模式的数据应用中，以此实现相应的数据应用操作具体包括，
步骤S401，根据所述可视化的数据服务处理结果，确定所述结构化数据、所述半结构化数据和所述非结构化数据中至少一者对应的拖拽操作面板；
步骤S402，根据所述拖拽操作面板，对相应的待处理数据进行直接的页面拖拽处理，以此将所述待处理数据匹配到相应模式的数据应用中；
步骤S403，根据所述数据应用，对所述待处理数据进行相应的数据图像选择、数据绑定、数据筛选和数据钻取中至少一者的数据应用操作。
6.一种可视化拖拽在线数据处理系统，其特征在于：
所述可视化拖拽在线数据处理系统包括数据采集模块、数据预处理模块、数据分析模块、数据服务处理模块和数据应用操作执行模块；其中，所述数据采集模块用于从数据源中采集得到相应的结构化数据、半结构化数据和非结构化数据中的至少一者；
所述数据预处理模块用于对采集到的数据进行关于预定数据层面的处理；
所述数据分析模块用于根据所述关于预定数据层面的处理结果，进行关于数据属性的分析处理，以此获得相应的数据分析结果；
所述数据服务处理模块用于根据所述数据分析结果，对相应的数据进行可视化的数据服务处理；
所述数据应用操作执行模块用于根据所述可视化的数据服务处理结果，将相应的数据直接拖拽至不同模式的数据应用中，以此实现相应的数据应用操作。
7.如权利要求6所述的可视化拖拽在线数据处理系统，其特征在于：
所述数据采集模块包括第一数据采集子模块和第二数据采集子模块；其中，
所述第一数据采集子模块用于从所述数据源中通过批量采集方式获取得到所述结构化数据；
所述第二数据采集子模块用于从所述数据源中通过准实时采集方式获取得到所述半结构化数据和/或所述非结构化数据；
或者，
所述数据预处理模块包括第一预处理子模块、第二预处理子模块和交互处理子模块；其中，
所述第一预处理子模块用于根据采集得到的所述结构化数据构建形成主数据仓库和/或分布式数据仓库；
所述第二预处理子模块用于根据所述半结构化数据和/或所述非结构化数据构建形成分布式文件系统HDFS；
所述交互处理子模块用于对所述主数据仓库、分布式数据仓库和所述分布式文件系统HDFS三者进行横向数据交互处理，以此实现所述三者的数据互通。
8.如权利要求6所述的可视化拖拽在线数据处理系统，其特征在于：
所述数据分析模块包括数据属性信息获取子模块、有效表征信息确定子模块和分析执行子模块；其中，
所述数据属性信息获取子模块用于从所述关于预定数据层面的处理结果中，获取关于所述结构化数据、所述半结构化数据和所述非结构化数据中至少一者的数据属性信息；
所述有效表征信息确定子模块用于根据所述数据属性信息，并通过预定数据深度学习模型，对所述结构化数据、所述半结构化数据和所述非结构化数据中至少一者进行有效信息提取处理，以此确定其对应的数据的有效表征信息；
所述分析执行子模块用于根据所述有效表征信息，对所述结构化数据、所述半结构化数据和所述非结构化数据中至少一者进行基础分析处理、多维分析处理、数据挖掘处理、实时分析处理、自助分析处理和数据共享处理中的至少一者，以此获得所述数据分析结果。
9.如权利要求6所述的可视化拖拽在线数据处理系统，其特征在于：
所述数据服务处理模块包括数据服务执行模型构建子模块、数据服务执行模型匹配子模块和数据服务执行子模块；其中，
所述数据服务执行模型构建子模块用于根据所述数据分析结果，构建关于不同数据服务模式的数据服务执行模型；
所述数据服务执行模型匹配子模块用于根据所述数据服务执行模型对应的数据服务模式，将所述结构化数据、所述半结构化数据和所述非结构化数据中至少一者匹配至相应的数据服务执行模型中；
所述数据服务执行子模块用于根据所述匹配的结果，通过相应的数据服务执行模型对相应的数据进行可视化转换处理、应用场景挖掘处理、数据多维度转换处理和数据定位/查询处理中的至少一者，以此实现所述数据服务处理。
10.如权利要求6所述的可视化拖拽在线数据处理系统，其特征在于：
所述数据应用操作执行模块包括拖拽操作面板确定子模块、数据应用匹配子模块和应用操作实现子模块；其中，
所述拖拽操作面板确定子模块用于根据所述可视化的数据服务处理结果，确定所述结构化数据、所述半结构化数据和所述非结构化数据中至少一者对应的拖拽操作面板；
所述数据应用匹配子模块用于根据所述拖拽操作面板，对相应的待处理数据进行直接的页面拖拽处理，以此将所述待处理数据匹配到相应模式的数据应用中；
所述应用操作实现子模块用于根据所述数据应用，对所述待处理数据进行相应的数据图像选择、数据绑定、数据筛选和数据钻取中至少一者的数据应用操作。
CN202010197551.7A 2020-03-19 2020-03-19 一种可视化拖拽在线数据处理方法和系统 Pending CN111400565A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010197551.7A CN111400565A (zh) 2020-03-19 2020-03-19 一种可视化拖拽在线数据处理方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010197551.7A CN111400565A (zh) 2020-03-19 2020-03-19 一种可视化拖拽在线数据处理方法和系统

Publications (1)

Publication Number Publication Date
CN111400565A true CN111400565A (zh) 2020-07-10

Family

ID=71436383

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010197551.7A Pending CN111400565A (zh) 2020-03-19 2020-03-19 一种可视化拖拽在线数据处理方法和系统

Country Status (1)

Country Link
CN (1) CN111400565A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112766245A (zh) * 2021-04-08 2021-05-07 北京三维天地科技股份有限公司 基于pdf格式文件的可视化仪器采集方法及系统
CN112799918A (zh) * 2021-04-12 2021-05-14 北京三维天地科技股份有限公司 基于轻量级微服务架构的可视化企业服务总线的管理系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103824093A (zh) * 2014-03-19 2014-05-28 北京航空航天大学 一种基于kfda及svm的sar图像目标特征提取与识别方法
CN104008135A (zh) * 2014-05-07 2014-08-27 南京邮电大学 一种多源异构数据库融合系统及其数据查询方法
WO2016144360A1 (en) * 2015-03-12 2016-09-15 Hewlett Packard Enterprise Development Lp Progressive interactive approach for big data analytics
CN106354786A (zh) * 2016-08-23 2017-01-25 冯村 一种可视分析方法及系统
CN107066499A (zh) * 2016-12-30 2017-08-18 江苏瑞中数据股份有限公司 面向异构存储多源数据管理及可视化系统的数据查询方法
CN110489464A (zh) * 2019-07-02 2019-11-22 北京邮电大学 探索式图融合可视化方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103824093A (zh) * 2014-03-19 2014-05-28 北京航空航天大学 一种基于kfda及svm的sar图像目标特征提取与识别方法
CN104008135A (zh) * 2014-05-07 2014-08-27 南京邮电大学 一种多源异构数据库融合系统及其数据查询方法
WO2016144360A1 (en) * 2015-03-12 2016-09-15 Hewlett Packard Enterprise Development Lp Progressive interactive approach for big data analytics
CN106354786A (zh) * 2016-08-23 2017-01-25 冯村 一种可视分析方法及系统
CN107066499A (zh) * 2016-12-30 2017-08-18 江苏瑞中数据股份有限公司 面向异构存储多源数据管理及可视化系统的数据查询方法
CN110489464A (zh) * 2019-07-02 2019-11-22 北京邮电大学 探索式图融合可视化方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李郴良 等: "《工程数值分析引论》", 30 June 2015, 北京：北京航空航天大学出版社 *
王和勇: "《面向大数据的高维数据挖掘技术》", 31 March 2018, 西安：西安电子科技大学出版社 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112766245A (zh) * 2021-04-08 2021-05-07 北京三维天地科技股份有限公司 基于pdf格式文件的可视化仪器采集方法及系统
CN112766245B (zh) * 2021-04-08 2021-07-20 北京三维天地科技股份有限公司 基于pdf格式文件的可视化仪器采集方法及系统
CN112799918A (zh) * 2021-04-12 2021-05-14 北京三维天地科技股份有限公司 基于轻量级微服务架构的可视化企业服务总线的管理系统

Similar Documents

Publication Publication Date Title
EP3397833B1 (en) Machine learning for production prediction
CN111400565A (zh) 一种可视化拖拽在线数据处理方法和系统
CA2935281C (en) A multidimensional recursive learning process and system used to discover complex dyadic or multiple counterparty relationships
Wang et al. Improving the robustness of scagnostics
Zhang et al. Research hotspots and trends in heritage building information modeling: A review based on CiteSpace analysis
CN113535050B (zh) 一种基于界面联动的多界面展示方法、系统及设备
Didimo et al. Visual querying and analysis of temporal fiscal networks
CN110309463A (zh) 落地页优化方法、装置、计算机存储介质及网络设备
Sturm et al. Discovering Medical Knowledge Using Visual Analytics.
CN115686280A (zh) 深度学习模型管理系统、方法、计算机设备及存储介质
CN111680026B (zh) 一种基于mvvm模式的气动数据分析方法
EP2348403A1 (en) Method and system for analyzing a legacy system based on trails through the legacy system
CN105608151A (zh) 一种财务报表分析装置和方法
CN117077239A (zh) 一种智能在线图纸审查方法及系统
CN110895704B (zh) 微生物丘滩复合体储集层类型识别方法、装置及存储介质
CN111339172A (zh) 一种毒品滥用实时可视化监测方法
CN115409541A (zh) 基于数据血缘的卷烟品牌数据处理方法
JP2023168193A (ja) 学習モデル
JP2023167502A (ja) 学習モデルの生成方法、情報処理装置、情報処理方法、コンピュータプログラム
CN113869973A (zh) 产品推荐方法、产品推荐系统和计算机可读存储介质
Cibulski et al. Super-ensembler: interactive visual analysis of data surface sets
CN114329674A (zh) 基于Quantum Espresso的云端高通量材料自动筛选方法和系统
WO2013106813A1 (en) System and method for collecting financial information over a global communications network
Lemkin et al. Exploratory data analysis groupware for qualitative and quantitative electrophoretic gel analysis over the Internet‐WebGel
CN115392805B (zh) 一种交易型合同合规风险诊断方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200710

RJ01 Rejection of invention patent application after publication