CN110825805B - 一种数据的可视化方法及装置 - Google Patents

一种数据的可视化方法及装置 Download PDF

Info

Publication number
CN110825805B
CN110825805B CN201911100424.4A CN201911100424A CN110825805B CN 110825805 B CN110825805 B CN 110825805B CN 201911100424 A CN201911100424 A CN 201911100424A CN 110825805 B CN110825805 B CN 110825805B
Authority
CN
China
Prior art keywords
data
model
field names
data source
table model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911100424.4A
Other languages
English (en)
Other versions
CN110825805A (zh
Inventor
朱志强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wanghai Kangxin Beijing Technology Co ltd
Original Assignee
Wanghai Kangxin Beijing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wanghai Kangxin Beijing Technology Co ltd filed Critical Wanghai Kangxin Beijing Technology Co ltd
Priority to CN201911100424.4A priority Critical patent/CN110825805B/zh
Publication of CN110825805A publication Critical patent/CN110825805A/zh
Application granted granted Critical
Publication of CN110825805B publication Critical patent/CN110825805B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/26—Visual data mining; Browsing structured data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases

Abstract

本发明提供了一种数据的可视化方法及装置，包括：当接收到获取待处理数据的命令时，根据命令，从待处理数据所在的数据源中获取至少一个表模型，其中，至少一个表模型指示数据源与待处理数据的数据对象之间的关系；构建数据源分析模型，其中，数据源分析模型指示每一个表模型中的数据的属性和各个表模型中数据的属性之间的描述信息；从数据源分析模型中，确定与数据展示组件相关联的数据的目标属性；从数据源中获取目标属性对应的数据，并进行可视化处理；通过数据展示组件展示可视化处理后的数据。本方案能够降低数据可视化的成本。

Description

一种数据的可视化方法及装置
技术领域
本发明涉及数据处理技术领域，特别涉及一种数据的可视化方法及装置。
背景技术
数据的可视化主要是借助图形化的手段，清晰有效地传达与沟通信息，让用户快速抓住要点信息。
目前，数据展示组件所展示的信息通常来自数据仓库。
但是，由于数据仓库本身的创建和维护的成本很高，所以对于数据量需求较小的组织来说，会增加数据可视化的成本。
发明内容
本发明实施例提供了一种数据的可视化方法及装置，能够降低数据可视化的成本。
第一方面，本发明提供了一种数据的可视化方法，包括：
当接收到获取待处理数据的命令时，根据所述命令，从待处理数据所在的数据源中获取至少一个表模型，其中，所述至少一个表模型指示所述数据源与所述待处理数据的数据对象之间的关系；
构建数据源分析模型，其中，所述数据源分析模型指示每一个所述表模型中的数据的属性和各个所述表模型中数据的属性之间的描述信息；
从所述数据源分析模型中，确定与数据展示组件相关联的数据的目标属性；
从所述数据源中获取所述目标属性对应的数据，并进行可视化处理；
通过所述数据展示组件展示可视化处理后的数据。
优选地，
构建数据源分析模型，包括：
提取每一个所述表模型中的字段名；
对提取的所述字段名进行编码，获得编码后的所述字段名；
将编码后的所述字段名映射到预设的文件中，形成数据源分析模型。
优选地，
所述提取每一个所述表模型中的字段名，包括：
确定所述至少一个表模型的第一顺序；
根据所述第一顺序，确定每一个所述表模型中的字段名的第二顺序；
按照所述第二顺序提取每一个所述表模型中的字段名；
所述对提取的所述字段名进行编码，获得编码后的所述字段名，包括：
按照所述第二顺序对提取的所述字段名进行编码，获得编码后的所述字段名；
所述将编码后的所述字段名映射到预设的文件中，形成数据源分析模型，包括：
在预设的文件中建立正方形矩阵，形成数据源分析模型；
其中，所述正方形矩阵第一行和第一列中的元素均为按照所述第二顺序排列的编码后的所述字段名，所述正方形阵列中的第imn元素指示第一行中的第m个元素与第一列中的第n个元素之间的关系，m和n均为大于1的整数。
优选地，
在所述按照所述第二顺序提取每一个所述表模型中的字段名之后，在所述按照所述第二顺序对提取的所述字段名进行编码，获得编码后的所述字段名之前，进一步包括：
对提取的所述字段名进行抽取-交互转换-加载ETL处理；
所述按照所述第二顺序对提取的所述字段名进行编码，获得编码后的所述字段名，包括：
按照所述第二顺序对经过ETL处理后的所述字段名进行编码，获得编码后的所述字段名。
优选地，
当所述数据源包括：关系型数据库时，
所述根据所述命令，从待处理数据所在的数据源中获取至少一个表模型，包括：
从所述命令中，获取链接信息和待处理数据所在的关系型数据库的物理地址；
通过所述物理地址查找所述关系型数据库；
通过所述链接信息，从查找到的所述关系型数据库中获取至少一个表模型。
优选地，
当所述数据源包括：云服务器时，
所述根据所述命令，从待处理数据所在的数据源中获取至少一个表模型，包括：
从所述命令中，获取统一资源标识符URI和待处理数据所在的云服务器的物理地址；
从所述云服务器中，获取所述URI指示的至少一个表模型。
优选地，
所述从所述数据源分析模型中，确定与数据展示组件相关联的数据的目标属性，包括：
确定数据展示组件相关联的数据的基础信息；
根据所述基础信息，从所述数据源分析模型中与数据展示组件相关联的数据的目标属性。
第二方面，本发明提供了一种数据的可视化装置，包括：
表模型处理模块，用于当接收到获取待处理数据的命令时，根据所述命令，从待处理数据所在的数据源中获取至少一个表模型，其中，所述至少一个表模型指示所述数据源与所述待处理数据的数据对象之间的关系；
模型构建模块，用于构建数据源分析模型，其中，所述数据源分析模型指示所述表模型处理模块获取的每一个所述表模型中的数据的属性和各个所述表模型中数据的属性之间的描述信息；
数据处理模块，用于从所述模型构建模块构建的所述数据源分析模型中，确定与数据展示组件相关联的数据的目标属性；从所述数据源中获取所述目标属性对应的数据，并进行可视化处理；
可视化管理模块，用于通过所述数据展示组件展示所述数据处理模块可视化处理后的数据。
优选地，
所述模型构建模块，用于提取每一个所述表模型中的字段名；对提取的所述字段名进行编码，获得编码后的所述字段名；将编码后的所述字段名映射到预设的文件中，形成数据源分析模型。
优选地，
所述模型构建模块，用于确定所述至少一个表模型的第一顺序；根据所述第一顺序，确定每一个所述表模型中的字段名的第二顺序；按照所述第二顺序提取每一个所述表模型中的字段名；按照所述第二顺序对提取的所述字段名进行编码，获得编码后的所述字段名；在预设的文件中建立正方形矩阵，形成数据源分析模型；其中，所述正方形矩阵第一行和第一列中的元素均为按照所述第二顺序排列的编码后的所述字段名，所述正方形阵列中的第imn元素指示第一行中的第m个元素与第一列中的第n个元素之间的关系，m和n均为大于1的整数。
优选地，
所述模型构建模块，进一步用于对所述模型构建模块提取的所述字段名进行抽取-交互转换-加载ETL处理；并按照所述第二顺序对经过ETL处理后的所述字段名进行编码，获得编码后的所述字段名。
优选地，
当所述数据源包括：关系型数据库时，
所述表模型处理模块，用于从所述命令中，获取链接信息和待处理数据所在的关系型数据库的物理地址；通过所述物理地址查找所述关系型数据库；通过所述链接信息，从查找到的所述关系型数据库中获取至少一个表模型。
优选地，
当所述数据源包括：云服务器时，
所述表模型处理模块，用于从所述命令中，获取统一资源标识符URI和待处理数据所在的云服务器的物理地址；从所述云服务器中，获取所述URI指示的至少一个表模型。
优选地，
所述数据处理模块，用于确定数据展示组件相关联的数据的基础信息；根据所述基础信息，从所述数据源分析模型中与数据展示组件相关联的数据的目标属性。
本发明实施例提供了一种数据的可视化方法及装置，当接收到的命令时，不是基于命令直接获取数据，而是基于命令指示的待处理数据，从待处理数据所在的数据源中获取指示该数据源与待处理数据的数据对象之间关系的表模型，进而基于表模型构建用于描述表模型中的属性信息以及表模型之间关系的描述信息，以使在待处理数据来源与数据展示组件之间划分出一道清晰的界限，使得数据展示分析组件与数据源解耦，降低应用与应用之间的强依赖；然后基于数据源分析模型即可确定数据展示组件相关联的数据的基础信息，进而确定数据展示组件相关联的数据的目标属性，基于目标属性可从数据源中获取相应的数据，最后基于数据展示组件对获取的数据进行可视化处理并展示。无需通过拉取数据建立数据仓库实现，从而能够降低数据可视化的成本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例提供的一种数据的可视化方法的流程图；
图2是本发明一实施例提供的另一种数据的可视化方法的流程图；
图3是本发明一实施例提供的一种数据的可视化装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明实施例提供了一种数据的可视化方法，该方法可以包括以下步骤：
步骤101：当接收到获取待处理数据的命令时，根据所述命令，从待处理数据所在的数据源中获取至少一个表模型，其中，所述至少一个表模型指示所述数据源与所述待处理数据的数据对象之间的关系；
步骤102：构建数据源分析模型，其中，所述数据源分析模型指示每一个所述表模型中的数据的属性和各个所述表模型中数据的属性之间的描述信息；
步骤103：从所述数据源分析模型中，确定与数据展示组件相关联的数据的目标属性；
步骤104：从所述数据源中获取所述目标属性对应的数据，并进行可视化处理；
步骤105：通过所述数据展示组件展示可视化处理后的数据。
在本发明实施例中，当接收到的命令时，不是基于命令直接获取数据，而是基于命令指示的待处理数据，从待处理数据所在的数据源中获取指示该数据源与待处理数据的数据对象之间关系的表模型，进而基于表模型构建用于描述表模型中的属性信息以及表模型之间关系的描述信息，以使在待处理数据来源与数据展示组件之间划分出一道清晰的界限，使得数据展示分析组件与数据源解耦，降低应用与应用之间的强依赖；然后基于数据源分析模型即可确定数据展示组件相关联的数据的基础信息，进而确定数据展示组件相关联的数据的目标属性，基于目标属性可从数据源中获取相应的数据，最后基于数据展示组件对获取的数据进行可视化处理并展示。无需通过拉取数据建立数据仓库实现，从而能够降低数据可视化的成本。
为了建立内存级别的虚拟关系型数据库，在本发明一实施例中，构建数据源分析模型，包括：
提取每一个所述表模型中的字段名；
对提取的所述字段名进行编码，获得编码后的所述字段名；
将编码后的所述字段名映射到预设的文件中，形成数据源分析模型。
在本发明实施例中，由于不同表模型中字段名的格式可能不同，例如，表模型1中的字段名均以中文的形式表述，表模型2中的字段名均以英文的形式表述，表模型3中的字段名均以日文的形式表述。因此为了便于使用和管理从不同表模型中提取的字段名，需要对从各个表模型中提取出的字段名进行编码。例如，将从表模型1、2和3中提取出的字段名，按照预先确定的编码标准x进行编码，以形成数字形式的表述，以使不同格式的字段名得以标准化，减少信息量，然后再映射到预设的文件中，形成数据源分析模型。
在本发明一实施例中，所述提取每一个所述表模型中的字段名，包括：
确定所述至少一个表模型的第一顺序；
根据所述第一顺序，确定每一个所述表模型中的字段名的第二顺序；
按照所述第二顺序提取每一个所述表模型中的字段名；
所述对提取的所述字段名进行编码，获得编码后的所述字段名，包括：
按照所述第二顺序对提取的所述字段名进行编码，获得编码后的所述字段名；
所述将编码后的所述字段名映射到预设的文件中，形成数据源分析模型，包括：
在预设的文件中建立正方形矩阵，形成数据源分析模型；
其中，所述正方形矩阵第一行和第一列中的元素均为按照所述第二顺序排列的编码后的所述字段名，所述正方形阵列中的第imn元素指示第一行中的第m个元素与第一列中的第n个元素之间的关系，m和n均为大于1的整数。
在本发明实施例中，为了便于管理表模型中的数据，可以对各个表模型进行排序，并按照排序后的第一顺序对不同表模型中的字段名进行排序，得到不同表模型中的字段名的第二顺序，以使按照第二顺序提取不同表模型中的字段名，并顺次进行编码，得到编码后的字段名，以避免字段名的提取和编码时混乱，影响数据处理效率。然后在预设的文件中建立第一行和第一列中均为按照第二顺序排列的编码后的字段名，并基于正方形矩阵中的第一行和第一列中的元素，编写正方形矩阵中其他的行和列中，关于不同编码后的字段名之间关系的描述，以形成完整的正方形矩阵，形成数据源分析模型，下述正方形矩阵图示出了一个参考例：
正方形矩阵图
Figure BDA0002269695280000081
具体地，各个表模型的第一顺序，可以基于各个表模型的标识和所在数据源的标识(例如，表模型的名称“工资表”、“人员表”)确定，例如，分别对表模型a的标识“工资表”、表模型b的标识“人员表”和表模型c的标识“出勤表”进行哈希计算，得到表模型a对应的第一哈希值a、表模型b对应的第一哈希值b和表模型c对应的第一哈希值c。然后在不同表模型分别对应的第一哈希值中，分别加入表模型所在数据源的标识的第二哈希值。例如，第一哈希值a的前面、后面、中间或者第一哈希值a的指定某个字符的后面加入表模型a所在的数据源的标识的第二哈希值q，以形成表模型a对应的第三哈希值，同理，表模型b和c分别对应的第一哈希值也执行与表模型a相同的操作，以区分不同数据源中的表模型。然后基于不同第三哈希值的字符串的顺序，对各个第三哈希值进行排序，确定第一顺序，该第一顺序即为第三哈希值对应的表模型的顺序。
在本发明一实施例中，在所述按照所述第二顺序提取每一个所述表模型中的字段名之后，在所述按照所述第二顺序对提取的所述字段名进行编码，获得编码后的所述字段名之前，进一步包括：
对提取的所述字段名进行抽取-交互转换-加载ETL处理；
所述按照所述第二顺序对提取的所述字段名进行编码，获得编码后的所述字段名，包括：
按照所述第二顺序对经过ETL处理后的所述字段名进行编码，获得编码后的所述字段名。
在本发明实施例中，为了避免提取后的字段名的属性列，无法满足数据展示组件的属性需求，可以对提取后的字段名进行ETL处理，以使从大量、杂乱无章的、难以理解的数据中，抽取并推导出有价值、有意义的数据，并降低数据的存储量，实现内存级别的存储。
在本发明一实施例中，当所述数据源包括：关系型数据库时，
所述根据所述命令，从待处理数据所在的数据源中获取至少一个表模型，包括：
从所述命令中，获取链接信息和待处理数据所在的关系型数据库的物理地址；
通过所述物理地址查找所述关系型数据库；
通过所述链接信息，从查找到的所述关系型数据库中获取至少一个表模型。
在本发明实施例中，如果需要获取的待处理数据来源于关系型数据库，那么需要获取关系型数据库关于待处理数据的链接信息，以及关系型数据所在的物理地址，以便基于物理地址查找关系型数据库，并基于链接信息访问关系型数据库，获取所需的表模型。
具体地，当所述数据源包括：云服务器时，
所述根据所述命令，从待处理数据所在的数据源中获取至少一个表模型，包括：
从所述命令中，获取统一资源标识符URI和待处理数据所在的云服务器的物理地址；
从所述云服务器中，获取所述URI指示的至少一个表模型。
在本发明实施例中，当待处理数据所在的数据源为云服务器时，需要基于待处理所在的云服务器物理地址(例如，统一资源定位符URL)，查找该云服务器，然后通过用于区分网络资源的头衔URI(例如，所需表模型的名称、识别码等)，从云服务器中查找并获取所需的表模型。
在本发明一实施例中，所述从所述数据源分析模型中，确定与数据展示组件相关联的数据的目标属性，包括：
确定数据展示组件相关联的数据的基础信息；
根据所述基础信息，从所述数据源分析模型中与数据展示组件相关联的数据的目标属性。
在本发明实施例中，由于构建的数据源分析模型为描述每个表模型中数据的属性和不同表模型中数据的属性之间的关系的模型，所以基于数据源分析模型相关联的数据的字段、字段注释、字段的数据类型等基本信息，可从数据源分析模型中，提取数据展示组件相关联的数据的具体字段名或结果集的某些列名等目标属性。
具体地，为了便于从数据源分析模型中提取目标属性，还可以基于数据源分析模型相关联的数据的基本信息，对完整的数据源分析模型做删减，然后从删减后的数据源分析模型中，提取数据展示组件相关联的数据的目标属性。
需要说明的是，数据展示组件相关联的数据，即为数据展示组件所要展示的数据。
如图2所示，为了更加清楚的说明本发明的技术方案及优点，下面以数据源为一个关系型数据库、表模型为数据表为例，对本发明提供的一种数据的可视化方法进行详细说明，具体可以包括以下步骤：
步骤201：当接收到获取待处理数据的命令时，从命令中，获取链接信息和待处理数据所在的关系型数据库的物理地址。
步骤202：通过物理地址查找关系型数据库，并通过链接信息，从查找到的关系型数据库中获取至少一个数据表。
具体地，当接收到获取“搅拌器数据”的命令时，从该命令中获取“搅拌器数据”所在关系型数据库的URL，以及用于访问“搅拌器数据”的链接信息。
具体地，关系型数据库中的数据表可以为，描述关系型数据库与待处理数据的数据对象之间关系的数据表。
举例来说，基于从命令中获取的物理地址“Y:\电力驱动\搅拌器”和链接信息“搅拌器:\数据”从关系型数据库中获取下述数据表“重量”和数据表“基本信息”。
数据表“重量”
型号 总重 运输重
ssz10-16300 30.70 23.30
ssz10-18000 34.50 26.70
ssz10-10000 37.20 29.60
数据表“基本信息”
型号 长度 宽度
ssz10-16300 4400 4780
ssz10-18000 4650 4820
ssz10-10000 4830 4880
需要说明的是，当数据源为云服务器时，从命令中获取的云服务器的物理地址，以及用于区分、标识数据的URI，以使基于物理地址和URI获取与命令相匹配的表模型。
步骤203：确定至少一个数据表的第一顺序，并根据第一顺序，确定每一个数据表中的字段名的第二顺序。
步骤204：按照第二顺序提取每一个数据表中的字段名。
具体地，为了便于有序的提取数据表中的字段名，以及便于提取后的字段名的处理，可以基于关系型数据库的名称等标识以及用于区分不同数据表的标识进行哈希计算，然后针对每一个数据表，可以基于该数据表的标识的哈希值与关系型数据库的标识的哈希值进行组合(例如，将关系型数据库的标识的哈希值放在数据表的标识的哈希值前面，中间或者后面的位置，但不限于此)，并将组合后的哈希值作为该数据表对应的新的哈希值。然后基于新的哈希值中的字符的排列顺序，对各个新的哈希值进行排序，确定各个新的哈希值的第一顺序，进而确定新的哈希值对应的数据表的第一顺序。再基于第一顺序，依次确定不同的数据表中字段名的第二顺序，其中，数据表中字段名的第二顺序，可以基于字段名的字符排列顺序确定。
举例来说，对数据表“重量”进行哈希计算得到哈希值“123xd”，对数据表“基本信息”进行哈希计算得到哈希值“456de”。由于哈希值“123xd”与哈希值“456de”进行比对后，按照数字排列顺序和英文字母的顺序排序，可以确定哈希值“123xd”在前，哈希值“456de”在后，因此，可以确定第一顺序为数据表“重量”在前，数据表“基本信息”在后。然后按照第一顺序对字段名“型号”、“总重”和“运输量”按照拼音的顺序进行排序后的第二顺序为：“型号”、“运输量”和“总重”。
同样地，数据表“基本信息”中的字段名也按照拼音的排列顺序进行排序得到第二顺序为“长度”、“宽度”和“型号”。
由于是基于第一顺序确定各个数据表中字段名的第二顺序，因此，数据表“重量”和对数据表“基本信息”中的字段名的第二顺序依次为：“型号”、“运输量”、“总重”、“长度”、“宽度”、“型号”。
步骤205：对提取的字段名进行ETL处理。
具体地，为了便于提取的字段名的管理，可以对提取的字段名进行检索、加工、变化、清洗等ETL处理，以使将分散、零乱、标准不同意的数据整合到一起。
举例来说，经过对ETL处理后的字段名为：“型号”、“运输量”、“总重”、“长度”和“宽度”。
步骤206：按照第二顺序对经过ETL处理后的字段名进行编码，获得编码后的字段名。
具体地，为了统一ELT处理后的字段名的格式，可以对ETL处理后的字段名进行编码处理。例如，将不同格式经过ETL处理后的字段名编码为二进制的字符、八进制的字符等。
具体地，将ETL处理后的字段名“型号”编码为01，“运输量”编码为02，“总重”编码为03，“长度”编码为0 4，“宽度”编码为05。
步骤207：在预设的文件中建立正方形矩阵，形成数据源分析模型，其中，正方形矩阵第一行和第一列中的元素均为按照第二顺序排列的编码后的字段名，正方形阵列中的第imn元素指示第一行中的第m个元素与第一列中的第n个元素之间的关系，m和n均为大于1的整数。
具体地，为了便于明确经过编码后的字段名的属性，以及不同编码后的字段名之间的关联关系，可以将编码后的字段名按照第二顺序依次排列为一行，然后按照第二顺序依次排列为一列，并在每一列与每一行的相交位置填写，第一行中的第m个编码后的字段名与第一列中的第n个编码后的字段名之间的关联关系，以形成正方形矩阵。
具体地，数据源分析模型指示每一个数据表中的数据的属性和各个数据表中数据的属性之间的描述信息。
举例来说，基于编码后的字段名构建的正方形矩阵图如下所示。下述正方形矩阵图中描述的信息即为数据源分析模型。
Figure BDA0002269695280000141
步骤208：确定数据展示组件相关联的数据的基础信息。
步骤209：根据基础信息，从数据源分析模型中与数据展示组件相关联的数据的目标属性。
步骤210：从关系型数据库中获取目标属性对应的数据，并进行可视化处理。
步骤211：通过数据展示组件展示可视化处理后的数据。
具体地，基于数据展示组件相关联的数据的字段、字段注释，字段的数据类型、是否为必填项等基础信息，从数据源分析模型中匹配具体地字段名或者结果集的某些列名等目标属性，以便从关系型数据库中获取相对应的数据，再经过可视化处理即可通过数据展示组件进行展示。
举例来说，数据展示组件相关联的数据的目标属性为设备的“总重”和“长度”，则基于“总重”和“长度”从关系型数据中的数据表“重量”中，获取字段名“总重”指示的数据30.70、34.50和37.20，以及获取数据表“基本信息”中字段名“长度”指示的数据4400、4650和4830，并在进行可视化处理后，通过数据展示组件进行展示。
综上可见，本方案在不获取数据，不存储数据的情况下，基于“数据源分析模型”的数据抽取策略，针对于MS sql server等关系型数据库或云服务器中的大数据，从获取到聚合分析，全程都是轻量级别的操作，更重要的是经过“数据源分析模型”处理后，数据展示组件就可以完全和数据源分离，只关心“数据源分析模型”的描述即可，这样可以大大降低应用与应用之间的强依赖。
如图3所示，一种数据的可视化装置，包括：
表模型处理模块301，用于当接收到获取待处理数据的命令时，根据所述命令，从待处理数据所在的数据源中获取至少一个表模型，其中，所述至少一个表模型指示所述数据源与所述待处理数据的数据对象之间的关系；
模型构建模块302，用于构建数据源分析模型，其中，所述数据源分析模型指示所述表模型处理模块301获取的每一个所述表模型中的数据的属性和各个所述表模型中数据的属性之间的描述信息；
数据处理模块303，用于从所述模型构建模块302构建的所述数据源分析模型中，确定与数据展示组件相关联的数据的目标属性；从所述数据源中获取所述目标属性对应的数据，并进行可视化处理；
可视化管理模块304，用于通过所述数据展示组件展示所述数据处理模块303可视化处理后的数据。
在本发明实施例中，当表模型处理模块接收到的命令时，不是基于命令直接获取数据，而是基于命令指示的待处理数据，从待处理数据所在的数据源中获取指示该数据源与待处理数据的数据对象之间关系的表模型，进而模型构建模块基于表模型构建用于描述表模型中的属性信息以及表模型之间关系的描述信息，以使在待处理数据来源与数据展示组件之间划分出一道清晰的界限，使得数据展示分析组件与数据源解耦，降低应用与应用之间的强依赖；然后数据处理模块基于数据源分析模型即可确定数据展示组件相关联的数据的基础信息，进而确定数据展示组件相关联的数据的目标属性，基于目标属性可从数据源中获取相应的数据，最后可视化管理模块基于数据展示组件对获取的数据进行可视化处理并展示。无需通过拉取数据建立数据仓库实现，从而能够降低数据可视化的成本。
在本发明一实施例中，所述模型构建模块，用于提取每一个所述表模型中的字段名；对提取的所述字段名进行编码，获得编码后的所述字段名；将编码后的所述字段名映射到预设的文件中，形成数据源分析模型。
在本发明一实施例中，所述模型构建模块，用于确定所述至少一个表模型的第一顺序；根据所述第一顺序，确定每一个所述表模型中的字段名的第二顺序；按照所述第二顺序提取每一个所述表模型中的字段名；按照所述第二顺序对提取的所述字段名进行编码，获得编码后的所述字段名；在预设的文件中建立正方形矩阵，形成数据源分析模型；其中，所述正方形矩阵第一行和第一列中的元素均为按照所述第二顺序排列的编码后的所述字段名，所述正方形阵列中的第imn元素指示第一行中的第m个元素与第一列中的第n个元素之间的关系，m和n均为大于1的整数。
在本发明一实施例中，所述的数据的可视化装置，
所述模型构建模块，进一步用于对所述模型构建模块提取的所述字段名进行抽取-交互转换-加载ETL处理；并按照所述第二顺序对经过ETL处理后的所述字段名进行编码，获得编码后的所述字段名。
在本发明一实施例中，当所述数据源包括：关系型数据库时，
所述表模型处理模块，用于从所述命令中，获取链接信息和待处理数据所在的关系型数据库的物理地址；通过所述物理地址查找所述关系型数据库；通过所述链接信息，从查找到的所述关系型数据库中获取至少一个表模型。
在本发明一实施例中，当所述数据源包括：云服务器时，
所述表模型处理模块，用于从所述命令中，获取统一资源标识符URI和待处理数据所在的云服务器的物理地址；从所述云服务器中，获取所述URI指示的至少一个表模型。
在本发明一实施例中，所述数据处理模块，用于确定数据展示组件相关联的数据的基础信息；根据所述基础信息，从所述数据源分析模型中与数据展示组件相关联的数据的目标属性。
上述装置内的各单元之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。
本发明还提供了一种计算机可读介质，存储用于使一计算机执行如本文所述的一种数据的可视化方法的指令。具体地，可以提供配有存储介质的系统或者装置，在该存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该系统或者装置的计算机(或CPU或MPU)读出并执行存储在存储介质中的程序代码。
在这种情况下，从存储介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此程序代码和存储程序代码的存储介质构成了本发明的一部分。
用于提供程序代码的存储介质实施例包括软盘、硬盘、磁光盘、光盘(如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD+RW)、磁带、非易失性存储卡和ROM。可选择地，可以由通信网络从服务器计算机上下载程序代码。
此外，应该清楚的是，不仅可以通过执行计算机所读出的程序代码，而且可以通过基于程序代码的指令使计算机上操作的操作系统等来完成部分或者全部的实际操作，从而实现上述实施例中任意一项实施例的功能。
此外，可以理解的是，将由存储介质读出的程序代码写到插入计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展单元中设置的存储器中，随后基于程序代码的指令使安装在扩展板或者扩展单元上的CPU等来执行部分和全部实际操作，从而实现上述实施例中任一实施例的功能。

Claims (6)

1.一种数据的可视化方法，其特征在于，包括：
当接收到获取待处理数据的命令时，根据所述命令，从待处理数据所在的数据源中获取至少一个表模型，其中，所述至少一个表模型指示所述数据源与所述待处理数据的数据对象之间的关系；
构建数据源分析模型，其中，所述数据源分析模型指示每一个所述表模型中的数据的属性和各个所述表模型中数据的属性之间的描述信息；
从所述数据源分析模型中，确定与数据展示组件相关联的数据的目标属性；
从所述数据源中获取所述目标属性对应的数据，并进行可视化处理；
通过所述数据展示组件展示可视化处理后的数据；
构建数据源分析模型，包括：
提取每一个所述表模型中的字段名；
对提取的所述字段名进行编码，获得编码后的所述字段名；
将编码后的所述字段名映射到预设的文件中，形成数据源分析模型；
所述提取每一个所述表模型中的字段名，包括：
确定所述至少一个表模型的第一顺序；
根据所述第一顺序，确定每一个所述表模型中的字段名的第二顺序；
按照所述第二顺序提取每一个所述表模型中的字段名；
所述对提取的所述字段名进行编码，获得编码后的所述字段名，包括：
按照所述第二顺序对提取的所述字段名进行编码，获得编码后的所述字段名；
所述将编码后的所述字段名映射到预设的文件中，形成数据源分析模型，包括：
在预设的文件中建立正方形矩阵，形成数据源分析模型；
其中，所述正方形矩阵第一行和第一列中的元素均为按照所述第二顺序排列的编码后的所述字段名，所述正方形矩阵中的第imn元素指示第一行中的第m个元素与第一列中的第n个元素之间的关系，m和n均为大于1的整数。
2.根据权利要求1所述的数据的可视化方法，其特征在于，
在所述按照所述第二顺序提取每一个所述表模型中的字段名之后，在所述按照所述第二顺序对提取的所述字段名进行编码，获得编码后的所述字段名之前，进一步包括：
对提取的所述字段名进行抽取-交互转换-加载ETL处理；
所述按照所述第二顺序对提取的所述字段名进行编码，获得编码后的所述字段名，包括：
按照所述第二顺序对经过ETL处理后的所述字段名进行编码，获得编码后的所述字段名。
3.根据权利要求1至2中任一所述的数据的可视化方法，其特征在于，
当所述数据源包括：关系型数据库时，
所述根据所述命令，从待处理数据所在的数据源中获取至少一个表模型，包括：
从所述命令中，获取链接信息和待处理数据所在的关系型数据库的物理地址；
通过所述物理地址查找所述关系型数据库；
通过所述链接信息，从查找到的所述关系型数据库中获取至少一个表模型；
和/或，
当所述数据源包括：云服务器时，
所述根据所述命令，从待处理数据所在的数据源中获取至少一个表模型，包括：
从所述命令中，获取统一资源标识符URI和待处理数据所在的云服务器的物理地址；
从所述云服务器中，获取所述URI指示的至少一个表模型；
和/或，
所述从所述数据源分析模型中，确定与数据展示组件相关联的数据的目标属性，包括：
确定数据展示组件相关联的数据的基础信息；
根据所述基础信息，从所述数据源分析模型中与数据展示组件相关联的数据的目标属性。
4.一种数据的可视化装置，其特征在于，包括：
表模型处理模块，用于当接收到获取待处理数据的命令时，根据所述命令，从待处理数据所在的数据源中获取至少一个表模型，其中，所述至少一个表模型指示所述数据源与所述待处理数据的数据对象之间的关系；
模型构建模块，用于构建数据源分析模型，其中，所述数据源分析模型指示所述表模型处理模块获取的每一个所述表模型中的数据的属性和各个所述表模型中数据的属性之间的描述信息；
数据处理模块，用于从所述模型构建模块构建的所述数据源分析模型中，确定与数据展示组件相关联的数据的目标属性；从所述数据源中获取所述目标属性对应的数据，并进行可视化处理；
可视化管理模块，用于通过所述数据展示组件展示所述数据处理模块可视化处理后的数据；
所述模型构建模块，用于提取每一个所述表模型中的字段名；对提取的所述字段名进行编码，获得编码后的所述字段名；将编码后的所述字段名映射到预设的文件中，形成数据源分析模型；
所述模型构建模块，用于确定所述至少一个表模型的第一顺序；根据所述第一顺序，确定每一个所述表模型中的字段名的第二顺序；按照所述第二顺序提取每一个所述表模型中的字段名；按照所述第二顺序对提取的所述字段名进行编码，获得编码后的所述字段名；在预设的文件中建立正方形矩阵，形成数据源分析模型；其中，所述正方形矩阵第一行和第一列中的元素均为按照所述第二顺序排列的编码后的所述字段名，所述正方形矩阵中的第imn元素指示第一行中的第m个元素与第一列中的第n个元素之间的关系，m和n均为大于1的整数。
5.根据权利要求4所述的数据的可视化装置，其特征在于，
所述模型构建模块，进一步用于对所述模型构建模块提取的所述字段名进行抽取-交互转换-加载ETL处理；并按照所述第二顺序对经过ETL处理后的所述字段名进行编码，获得编码后的所述字段名。
6.根据权利要求4至5中任一所述的数据的可视化装置，其特征在于，
当所述数据源包括：关系型数据库时，
所述表模型处理模块，用于从所述命令中，获取链接信息和待处理数据所在的关系型数据库的物理地址；通过所述物理地址查找所述关系型数据库；通过所述链接信息，从查找到的所述关系型数据库中获取至少一个表模型；
和/或，
当所述数据源包括：云服务器时，
所述表模型处理模块，用于从所述命令中，获取统一资源标识符URI和待处理数据所在的云服务器的物理地址；从所述云服务器中，获取所述URI指示的至少一个表模型；
和/或，
所述数据处理模块，用于确定数据展示组件相关联的数据的基础信息；根据所述基础信息，从所述数据源分析模型中与数据展示组件相关联的数据的目标属性。
CN201911100424.4A 2019-11-12 2019-11-12 一种数据的可视化方法及装置 Active CN110825805B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911100424.4A CN110825805B (zh) 2019-11-12 2019-11-12 一种数据的可视化方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911100424.4A CN110825805B (zh) 2019-11-12 2019-11-12 一种数据的可视化方法及装置

Publications (2)

Publication Number Publication Date
CN110825805A CN110825805A (zh) 2020-02-21
CN110825805B true CN110825805B (zh) 2022-07-19

Family

ID=69554266

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911100424.4A Active CN110825805B (zh) 2019-11-12 2019-11-12 一种数据的可视化方法及装置

Country Status (1)

Country Link
CN (1) CN110825805B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112307103A (zh) * 2020-10-30 2021-02-02 山东浪潮通软信息科技有限公司 大数据变现方法、装置及计算机可读介质
CN112468494B (zh) * 2020-11-26 2022-05-17 湖北航天信息技术有限公司 一种内外网互联网数据传输方法及装置
CN112596704A (zh) * 2020-12-04 2021-04-02 光大科技有限公司 客户信息的显示方法及装置、存储介质、电子装置
CN117056352A (zh) * 2023-10-13 2023-11-14 深圳市金政软件技术有限公司 数据的展示方法、装置、终端设备和可读存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103106188A (zh) * 2013-02-21 2013-05-15 用友软件股份有限公司 数据模型的图形化分析系统和图形化分析方法
CN105005592A (zh) * 2015-06-29 2015-10-28 用友优普信息技术有限公司 数据字典生成方法和数据字典生成装置
CN107247721A (zh) * 2017-04-24 2017-10-13 江苏曙光信息技术有限公司 可视化数据采集方法
CN107609154A (zh) * 2017-09-23 2018-01-19 浪潮软件集团有限公司 一种多源异构数据的处理方法及装置
CN108197237A (zh) * 2017-12-29 2018-06-22 北京恒泰实达科技股份有限公司 可视化数据采集到展现系统
CN108846066A (zh) * 2018-06-06 2018-11-20 上海计算机软件技术开发中心 一种可视化的数据分析方法及系统
CN109669992A (zh) * 2018-12-20 2019-04-23 云南电网有限责任公司玉溪供电局 一种数据可视化转换的实现方法
CN110309232A (zh) * 2018-02-07 2019-10-08 北京第一视角科技有限公司 可视化的医学数据分析方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110145710A1 (en) * 2009-12-16 2011-06-16 Sap Ag Framework to visualize networks
CN108255897B (zh) * 2017-02-17 2020-07-21 平安科技（深圳）有限公司 可视化图表数据转换处理方法和装置
CN110109908B (zh) * 2017-12-29 2023-06-06 成都蜀信信用服务有限公司 基于社会基础信息挖掘人物潜在关系的分析系统及方法
CN109299187A (zh) * 2018-11-05 2019-02-01 用友网络科技股份有限公司 数据分析方法、装置及设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103106188A (zh) * 2013-02-21 2013-05-15 用友软件股份有限公司 数据模型的图形化分析系统和图形化分析方法
CN105005592A (zh) * 2015-06-29 2015-10-28 用友优普信息技术有限公司 数据字典生成方法和数据字典生成装置
CN107247721A (zh) * 2017-04-24 2017-10-13 江苏曙光信息技术有限公司 可视化数据采集方法
CN107609154A (zh) * 2017-09-23 2018-01-19 浪潮软件集团有限公司 一种多源异构数据的处理方法及装置
CN108197237A (zh) * 2017-12-29 2018-06-22 北京恒泰实达科技股份有限公司 可视化数据采集到展现系统
CN110309232A (zh) * 2018-02-07 2019-10-08 北京第一视角科技有限公司 可视化的医学数据分析方法及系统
CN108846066A (zh) * 2018-06-06 2018-11-20 上海计算机软件技术开发中心 一种可视化的数据分析方法及系统
CN109669992A (zh) * 2018-12-20 2019-04-23 云南电网有限责任公司玉溪供电局 一种数据可视化转换的实现方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Ranking Data Using Mixed-Initiative Visual Analytics;Emily Wall et al.;《IEEE Transactions on Visualization and Computer Graphics》;20170829;第24卷(第1期);288-297 *
数据库表关系解析以及可视化系统的设计与实现;刘嘉顺;《中国优秀硕士学位论文全文数据库 (信息科技辑)》;20190515(第5期);I138-1064 *

Also Published As

Publication number Publication date
CN110825805A (zh) 2020-02-21

Similar Documents

Publication Publication Date Title
CN110825805B (zh) 一种数据的可视化方法及装置
CN110292775B (zh) 获取差异数据的方法及装置
CN112883042A (zh) 数据更新及展示方法、装置、电子设备及存储介质
CN111522901A (zh) 文本中地址信息的处理方法及装置
CN112395251A (zh) 数据文件的智能解析方法、装置、电子设备及存储介质
CN111680506A (zh) 数据库表的外键映射方法、装置、电子设备和存储介质
CN106326233A (zh) 地址提示方法及装置
CN112364014A (zh) 数据查询方法、装置、服务器及存储介质
CN114416939A (zh) 智能问答方法、装置、设备及存储介质
US20090228794A1 (en) Business specification comprehension assistance system and method
JP2006023968A (ja) 固有表現抽出方法および装置並びにそれらに用いるプログラム
US20090144265A1 (en) Search engine for searching research data
CN112015850B (zh) 一种基于数据挖掘与poi垂直行业数据特征的poi电子地图数据的更新方法及系统
CN112650791B (zh) 字段处理方法、装置、计算机设备和存储介质
CN111930897B (zh) 专利检索方法、装置、电子设备及计算机可读存储介质
CN114417788A (zh) 图纸解析方法、装置、存储介质及电子设备
CN113505117A (zh) 基于数据指标的数据质量评估方法、装置、设备及介质
CN110377907B (zh) 一种招聘信息标准化方法及装置
CN112559773A (zh) 一种知识图谱系统搭建方法及装置
CN112052309A (zh) 一种文本数据的检索方法、相关设备和可读存储介质
CN111078949A (zh) 产品知识存储方法、装置、计算机设备和可读存储介质
JP2007080137A (ja) 住所データのマッチング方法および装置
CN111538914A (zh) 地址信息的处理方法和装置
CN113360505B (zh) 基于时序数据的数据处理方法、装置、电子设备及可读存储介质
CN114861641B (zh) 一种数据提取方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant