CN113434481A - 数据服务的实现方法、装置、设备以及存储介质 - Google Patents
数据服务的实现方法、装置、设备以及存储介质 Download PDFInfo
- Publication number
- CN113434481A CN113434481A CN202110703331.1A CN202110703331A CN113434481A CN 113434481 A CN113434481 A CN 113434481A CN 202110703331 A CN202110703331 A CN 202110703331A CN 113434481 A CN113434481 A CN 113434481A
- Authority
- CN
- China
- Prior art keywords
- data
- modeling
- preset
- warehouse
- stage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000012545 processing Methods 0.000 claims abstract description 36
- 238000004891 communication Methods 0.000 claims description 28
- 230000015654 memory Effects 0.000 claims description 17
- 238000004458 analytical method Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 5
- 210000001503 joint Anatomy 0.000 claims description 4
- 238000003032 molecular docking Methods 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 18
- 230000009286 beneficial effect Effects 0.000 abstract description 6
- 230000010354 integration Effects 0.000 abstract description 5
- 238000007726 management method Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 8
- 238000013523 data management Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000001960 triggered effect Effects 0.000 description 4
- 241000282414 Homo sapiens Species 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000006378 damage Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- XKMRRTOUMJRJIA-UHFFFAOYSA-N ammonia nh3 Chemical compound N.N XKMRRTOUMJRJIA-UHFFFAOYSA-N 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013079 data visualisation Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/211—Schema design and management
- G06F16/212—Schema design and management with details for data modelling support
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种数据服务的实现方法，包括：基于预设的元数据和预设的数据建模方式对原始数据执行预设的数据建模操作，以得到建模数据；按照预设的数据接入方式将所述建模数据接入至stage数据层；将所述stage数据层的数据输入至预设的数据仓库进行预设的数据处理操作，得到数据仓库数据；基于所述数据仓库数据向用户提供数据服务。可见，本发明能够实现对数据建模、数据接入、数据处理和数据服务的大数据组件技术的整合，实现从原始数据到为用户提供数据服务的数据处理的全流程，有利于数据全生命周期管理体系的建立。本发明还涉及区块链技术领域。
Description
技术领域
本发明涉及数据可视化技术领域，尤其涉及一种数据服务的实现方法、装置、计算机设备以及存储介质。
背景技术
随着信息化社会的到来，信息技术已逐渐渗透在人类的日常生活中，为人类的日常生活带来了极大的便利，如，当前的通信技术、人工智能技术、互联网技术、物联网技术等信息技术均为人类创造了更好的生活条件。在信息技术被广泛应用的同时，随之而来的是大量数据的产生，如，在使用物联网技术对自然环境进行监测时，将会产生大量的数据(如，各种监测传感器采集到的数据、工作人员在物联网监测平台上的工作数据等等)，这些数据通常需要以合理、易用、安全和易于理解的方式组织起来才可以作为有价值的数据资产。
目前，越来越多的企业已经注意到数字资产的价值，并逐渐意识到数据变成数据资产的前提是有着完整的数据标准管理、数据质量管理、数据安全管理、易于使用的元数据管理和持续产生数据价值管理的从数据产生到销毁的数据全生命周期管理体系。虽然，目前的大数据组件技术都比较成熟，不同的数据处理流程均可以由不同的大数据组件来完成(如，进行数据清洗流程可以使用大数据组件技术a，进行数据建模流程则可以使用大数据组件技术b)，但是，用于进行数据处理的大数据组件技术各式各样，且通常缺乏统筹管理，不利于数据全生命周期管理体系的建立。
发明内容
本发明所要解决的技术问题在于，现有技术还未能够实现对各种各样的大数据组件技术的整合，未能实现从原始数据到为用户提供数据服务的数据处理的全流程，不利于数据全生命周期管理体系的建立。
为了解决上述技术问题，本发明第一方面公开了一种数据服务的实现方法，所述方法包括：
基于预设的元数据和预设的数据建模方式对原始数据执行预设的数据建模操作，以得到建模数据；
按照预设的数据接入方式将所述建模数据接入至stage数据层；
将所述stage数据层的数据输入至预设的数据仓库进行预设的数据处理操作，得到数据仓库数据；
基于所述数据仓库数据向用户提供数据服务。
本发明第二方面公开了一种数据服务的实现装置，所述装置包括：
数据建模模块，用于基于预设的元数据和预设的数据建模方式对原始数据执行预设的数据建模操作，以得到建模数据；
数据接入模块，用于按照预设的数据接入方式将所述建模数据接入至stage数据层；
数据处理模块，用于将所述stage数据层的数据输入至预设的数据仓库进行预设的数据处理操作，得到数据仓库数据；
数据服务模块，用于基于所述数据仓库数据向用户提供数据服务。
本发明第三方面公开了一种计算机设备，所述计算机设备包括：
存储有可执行程序代码的存储器；
与所述存储器连接的处理器；
所述处理器调用所述存储器中存储的所述可执行程序代码，执行本发明第一方面公开的数据服务的实现方法中的部分或全部步骤。
本发明第四方面公开了一种计算机存储介质，所述计算机存储介质存储有计算机指令，所述计算机指令被调用时，用于执行本发明第一方面公开的数据服务的实现方法中的部分或全部步骤。
本发明实施例中，首先基于元数据和数据建模方式对原始数据进行数据建模得到建模数据，然后将建模数据按照预设的数据接入方式接入至stage数据层，再将stage数据层的数据输入至数据仓库进行处理得到数据仓库数据，最后基于数据仓库数据向用户提供数据服务，从而能够实现对数据建模、数据接入、数据处理和数据服务的大数据组件技术的整合，实现从原始数据到为用户提供数据服务的数据处理的全流程，有利于数据全生命周期管理体系的建立。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例公开的一种数据服务的实现方法的流程示意图；
图2是本发明实施例公开的一种数据服务的实现装置的结构示意图；
图3是本发明实施例公开的一种计算机设备的结构示意图；
图4是本发明实施例公开的一种计算机存储介质的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、装置、产品或端没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或端固有的其他步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本发明公开了一种数据服务的实现方法、装置、计算机设备以及存储介质，首先基于元数据和数据建模方式对原始数据进行数据建模得到建模数据，然后将建模数据按照预设的数据接入方式接入至stage数据层，再将stage数据层的数据输入至数据仓库进行处理得到数据仓库数据，最后基于数据仓库数据向用户提供数据服务，从而能够实现对数据建模、数据接入、数据处理和数据服务的大数据组件技术的整合，实现从原始数据到为用户提供数据服务的数据处理的全流程，有利于数据全生命周期管理体系的建立。以下分别进行详细说明。
实施例一
请参阅图1，图1是本发明实施例公开的一种数据服务的实现方法的流程示意图。如图1所示，该数据服务的实现方法可以包括以下操作：
101、基于预设的元数据和预设的数据建模方式对原始数据执行预设的数据建模操作，以得到建模数据。
在上述步骤101中，元数据是一种用于描述数据的数据，其记录有对数据的描述性信息，如数据的属性、种类等等。对元数据的有效管理是数据管理的重要基础。计算机系统运行时所产生的数据(即原始数据)通常散乱地分布在计算机系统中，如，用户在某一终端登录的系统，可能将会在计算机系统中产生一条记录有用户该次登录的时间、IP地址、所使用的账户等数据的原始数据。这些原始数据通常缺少统一的规范和管理，还未能直接使用产生价值，如，192.168.1.1是用户登录的IP地址，但是，在原始数据中通常仅是以一个字符串“192.168.1.1”的形式存在，计算机往往未能区分这是一个普通的字符串还是一个有效的IP地址，所以难以对其进行合适的处理以产生价值。对于原始数据，通常需要对其进行数据建模，将原始数据转换为规范化的建模数据，才能够用于进行后续的数据处理。具体地，可以通过建立元数据和原始数据的关联关系、通过原始数据的共有属性关联原始数据等方式(即数据建模操作)，来实现针对原始数据的数据建模以得到建模数据。如，元数据为“IP地址”，原始数据为“192.168.1.1”，则可以建立起该元数据和该原始数据之间的关联关系，表示“192.168.1.1”是一个IP地址。又如，原始数据中包含有表a和表b，其中，表a的字段有用户ID、用户的手机号码、用户的邮箱，而表b的字段有用户ID、用户的地址、用户的身份证号，这样即可以通过表a和表b之间共有的字段用户ID来将这两个表格关联起来，得到一个同时包含有用户ID、用户的手机号码、用户的邮箱、用户的地址、用户的身份证号字段的总表。其中，元数据和数据建模方式可以都是由用户根据自身的业务经验预先设置好的。如，在环保业务中，预设的元数据可以包括COD、BOD、氨氮、PH值等环保业务的常见指标。
102、按照预设的数据接入方式将所述建模数据接入至stage数据层。
在上述步骤102中，Stage数据层是一个作为一个临时缓冲区设置在数据仓库之前的数据层，又称为接口层，建模数据在接入到数据仓库之前，需要先经过到stage数据层，stage数据层具有一定程度上屏蔽建模数据对数据仓库的干扰的作用。实际应用中，建模数据的来源多种多样，如，建模数据可以是由物联网产生的数据，建模数据可以是由数据库接入的数据，针对不同来源的建模数据，可以设置不同的数据接入方式将数据接入，具体稍后进行描述。
103、将所述stage数据层的数据输入至预设的数据仓库进行预设的数据处理操作，得到数据仓库数据。
在上述步骤103中，数据仓库通常可以包括ods层、dwd层、dws层和ads层。数据的流向可以表示为stage层-ods层-dwd层-dws层-ads层，其中，每一层均设置有独特的数据处理流程，均是基于前面的一个或者多个数据层的数据进行处理后，得到该层的数据(即数据仓库数据)，然后用户即可以根据实际申请需要使用每一层的数据。通过这样的分层设计，能够实现不同层级的数据的复用，提升数据处理速度，如，ads层需要数据时，可以无须再从最底层的数据中抽取数据，而是可以直接使用ods层、dwd层、dws层的数据。同时，通过这样的分层设计，能够实现数据的冗余，有利于防止数据的丢失，如，即使ods层的数据丢失，还保存有其他数据层的数据。其中，ods层又称为贴源层，是数据仓库中最接近数据源的一层，需要存储的数据量是最大的，存储的数据也是最原始的、未经过太多处理的数据。在ods层中，可以对数据进行数据来源区分、按时间分区存储、过滤格式错误的数据、过滤丢失关键信息的数据等最基础的数据处理。dwd层又称为数据明细层，其可以基于ods层的数据进行进一步的数据处理，如，去除空值、脏数据、超过极限范围的数据，行式存储改为列存储，改压缩格式等。dws层又称为数据聚合层，其可以对数据进行轻度的聚合，如，将数据按照天、月进行聚合。ads层又称为应用服务层，通常已可以直接对接OLAP分析或者业务层数据接口，其是数据仓库中最高的一层，存储的数据一般都是可以直接拿去使用或者展示的结果类型数据。在数据仓库中，还可以实现对数据的血缘追踪，更便于快速准确地定位到数据的问题，了解其危害的范围。
104、基于所述数据仓库数据向用户提供数据服务。
在上述步骤104中，在将建模数据输入至数据仓库中进行数据处理得到数据仓库数据之后，用户即可以根据实际的业务需要申请使用数据仓库提供的各种数据服务(如，提供调用应用服务层某一部分数据的数据共享接口，将应用服务层某一部分数据导出成一个excel文件等)。
可见，实施图1所描述的数据服务的实现方法，首先基于元数据和数据建模方式对原始数据进行数据建模得到建模数据，然后将建模数据按照预设的数据接入方式接入至stage数据层，再将stage数据层的数据输入至数据仓库进行处理得到数据仓库数据，最后基于数据仓库数据向用户提供数据服务，从而能够实现对数据建模、数据接入、数据处理和数据服务的大数据组件技术的整合，实现从原始数据到为用户提供数据服务的数据处理的全流程，有利于数据全生命周期管理体系的建立。
在一个可选的实施例中，所述按照预设的数据接入方式将所述建模数据接入至stage数据层，包括：
按照所述原始数据的数据类型所对应的数据接入方式将所述建模数据接入至stage数据层。
在一个可选的实施例中，所述按照所述原始数据的数据类型所对应的数据接入方式将所述建模数据接入至stage数据层，包括：
当所述原始数据是通过与预设的接口对接产生的数据时，从所述建模数据中提取出所述接口的请求url信息、请求头信息、请求方式信息、返回结果信息，以接入至stage数据层；
当所述原始数据是通过与预设的爬虫网站对接产生的数据时，从所述建模数据中提取出所述爬虫网站的请求信息、用于进行所述爬虫网站的验证登录的用户名信息和密码信息、所述爬虫网站的解析路径信息，以接入至stage数据层；
当所述原始数据是通过与ftp对接产生的数据时，从所述建模数据中提取出ftp链接的ip地址信息、端口信息、用户名信息、密码信息、文件路径信息、解析文件类型信息、解析类信息，以接入至stage数据层。
在大数据的实际使用场景中，与接口对接产生的数据、与爬虫网站对接产生的数据以及与ftp对接产生的数据均是原始数据的重要来源，这种类型的原始数据通常都有一个共同的特性，即包含许多价值较低的数据，所以针对这种类型的原始数据，在接入至stage数据层时，可以从中抽取出价值较高的数据(如，公共属性信息)接入至stage数据层。其中，当原始数据是通过与接口对接产生的数据时，公共属性信息可以包括接口的请求url信息、请求头信息、请求方式信息、返回结果信息等。当原始数据是通过与爬虫网站对接产生的数据时，公共属性信息可以包括爬虫网站的请求信息、用于进行爬虫网站的验证登录的用户名信息和密码信息、爬虫网站的解析路径信息等。当原始数据是通过与ftp对接产生的数据时，公共属性信息可以包括ftp链接的ip地址信息、端口信息、用户名信息、密码信息、文件路径信息、解析文件类型信息、解析类信息等。
可见，实施该可选的实施例，当原始数据是与接口对接产生的数据或者与爬虫网站对接产生的数据或者与ftp对接产生的数据时，从中提取出公共属性信息接入至stage数据层，从而能够更好地适应这种类型数据的特性，有利于保证所提供的数据服务的质量。
在一个可选的实施例中，所述按照所述原始数据的数据类型所对应的数据接入方式将所述建模数据接入至stage数据层，还包括：
当所述原始数据是物联网产生的数据时，通过预设的目标通信协议将所述建模数据接入至stage数据层，其中，所述目标通信协议包括212通信协议、808通信协议和809通信协议。在大数据的实际使用场景中，物联网产生的数据可以是原始数据的一个重要来源，例如，在环保大数据业务中，通常会通过设置在环境中的物联网设备来进行环保数据的采集，如，通过设置在河流中的PH值监测器来采集河流的PH值，以监测河流的污染情况。但是，物联网中的物联网设备所使用的通信协议往往不是一致的，如，物联网设备a使用的是212通信协议，而物联网设备b则可能使用的是808通信协议，所以为了保证物联网产生的数据能够顺利接入stage数据层，可以将数据管理平台设置为支持多种通信协议的接入，其中，所支持的通信协议(即目标通信协议)可以包括物联网中常使用的212通信协议、808通信协议和809通信协议。
可见，实施该可选的实施例，通过使用212通信协议、808通信协议和809通信协议将建模数据接入至stage数据层，能够更好地适应实际应用中物联网数据的特性，有利于保证物联网数据的顺利接入，保证所提供的数据服务的质量和稳定性。
在一个可选的实施例中，所述按照所述原始数据的数据类型所对应的数据接入方式将所述建模数据接入至stage数据层，还包括：
当所述原始数据是通过与预设的数据库对接产生的数据时，基于目标线程将所述建模数据接入至stage数据层，其中，所述目标线程的线程数量是根据所述建模数据接入至所述stage数据层的数据接入速度动态调整的。在大数据的实际使用场景中，通过与数据库对接产生的数据也是原始数据的一个重要来源。与数据库对接产生的原始数据的数据量通常比较庞大，所以在将这些原始数据接入至stage数据层时，保证足够的数据接入速度有利于保证这些原始数据能够被顺利接入至stage数据层。其中，在将这些原始数据接入至stage数据层时，可以实时地监测数据接入至stage数据层的数据接入速度，然后根据数据接入速度动态的调整用于执行数据接入任务的线程(即目标线程)的数量，以保证足够的数据接入速度。具体地，可以使用kafka的API来监控kafka的topic的数据量增量，然后通过计算单位时间间隔内topic的数据量增量来计算出数据接入速度，最后将数据接入速度与目前的消费服务预设的消费能力进行比较，当数据接入速度达到目前的消费服务预设的消费能力的百分之九十以上时，则可以增加目标线程的数量，当数据接入速度在目前的消费服务预设的消费能力的百分之十以下时，则可以减少目标线程的数量。
可见，实施该可选的实施例，当原始数据是通过与数据库对接产生的数据时，在将原始数据接入至stage数据层时，实时地监测数据接入至stage数据层的数据接入速度，并根据数据接入速度动态的调整用于执行数据接入任务的线程的数量，从而能够保证适合的数据接入速度，有利于数据库数据的顺利接入，提高所提供的数据服务的稳定性。
在一个可选的实施例中，所述基于所述数据仓库数据向用户提供数据服务，包括：
当接收到数据库导出请求时，将所述数据仓库数据导出至预设的数据库；
当接收到excel文件生成请求时，根据所述数据仓库数据生成相应的excel文件；
当接收到数据共享接口生成请求时，根据所述数据仓库数据生成相应的数据共享接口；
当接收到在线查询请求时，向用户提供针对所述数据仓库数据的在线查询功能。
在实际应用中，用户所需要的数据服务形式多种多样，所以为了满足用户多样化的需求，数据管理平台可以向用户提供针对数据仓库数据的导出至指定的数据库、生成相应的excel文件、生成相应的数据共享接口、在线查询等功能，从而能够满足用户多样化的需求。具体地，当用户作出第一操作(如点击A按钮)时即可以触发数据库导出请求，当用户作出第二操作(如点击B按钮)时即可以触发excel文件生成请求，当用户作出第三操作(如点击C按钮)时即可以触发数据共享接口生成请求，当用户作出第四操作(如点击D按钮)时即可以触发在线查询请求。
可见，实施该可选的实施例，通过向用户提供针对数据仓库数据的导出至指定的数据库、生成相应的excel文件、生成相应的数据共享接口、在线查询等多种形式的数据服务，能够更好地适应各种各样的实际应用场景，满足用户多样化的数据需求。
在一个可选的实施例中，所述基于所述数据仓库数据向用户提供数据服务包括：
检测是否接收到针对所述数据仓库数据中的目标数据的数据使用请求；
当接收到所述数据使用请求时，查询预设的数据审批权限表格，以确定出所述数据使用请求对应的目标审批终端标识，其中，所述数据审批权限表格中存储有所述数据仓库数据中的数据对应的审批终端标识；
向所述目标审批终端标识所对应的目标审批终端发送数据审批请求，其中，所述数据审批请求用于提示所述目标审批终端的用户进行所述数据使用请求的审批；
检测是否接收到所述目标审批终端回传的审批通过指令，其中，所述审批通过指令用于表示所述数据使用请求已通过所述目标审批终端的用户的审批；
当接收到所述审批通过指令时，触发执行基于所述数据仓库数据向用户提供数据服务的操作。
在该可选的实施例中，数据仓库中存储的数据量通常较为庞大，为保证数据仓库的数据安全，在向用户提供数据服务之前，可以引入将要提供的数据服务的审批流程，以保证数据仓库中的数据的安全。具体地，在用户想要使用数据仓库数据中的某一部分数据(即目标数据)时，可以发起相应的数据使用请求，数据管理平台在接收到数据使用请求之后，即可以查询数据审批权限表格以得到该部分数据对应的目标审批终端标识，然后向目标审批终端发送数据审批请求，并在接收到由目标审批终端回传的审批通过指令之后，才向用户提供该部分数据的数据服务。例如，用户想要使用数据仓库数据中的表a的数据，则可以发起针对表a的数据使用请求，数据管理平台查询数据审批权限表格后得到表a的目标审批终端为终端1，则向终端1发送数据审批请求，然后在终端1的审批人员对表a的审批通过之后，才向用户提供表a的数据服务。
可见，实施该可选的实施例，在基于数据仓库数据向用户提供数据服务之前，引入将要提供的数据服务的审批流程，从而有利于保证数据仓库中的数据的安全。
在一个可选的实施例中，所述数据处理操作是基于预设的目标计算引擎进行的，其中，所述目标计算引擎包括kettle计算引擎、hive计算引擎、flink计算引擎、spark计算引擎。
在数据仓库中，对数据进行数据处理时，所使用的计算引擎(即目标计算引擎)可以有多种选择，如，kettle计算引擎、hive计算引擎、flink计算引擎、spark计算引擎。不同的计算引擎均有不同的特性，用户可以根据实际的应用场景选择合适的计算引擎。数据管理平台可以将这些计算引擎进行封装，然后提供统一的可视化界面供用户开发使用。
可见，实施该可选的实施例，通过在数据仓库进行数据处理时，提供多种可以进行数据处理的计算引擎供用户选择，从而能够更好地适应各种各样的实际应用场景，为用户提供更好的数据服务。
需要说明的是，本发明实施例可以是一个数据管理平台，用于为数据处理提供统一的可视化平台，用户可以在平台上进行想要使用的数据处理方式，如，选择数据服务的形式(生成数据的excel文件、生成数据的接口等)，选择进行数据处理的计算引擎，选择元数据等等。现有技术中，这些数据处理流程都是通过在开发的代码界面调用大数据组件来实现的，操作复杂，且开发界面大多不友好，不利于数据处理人员操作，且这些大数据组件较为分散，不利于集中管理。
可选地，还可以：将所述数据服务的实现方法的数据服务的实现信息上传至区块链中。
具体来说，数据服务的实现信息是通过运行所述数据服务的实现方法后得到的，用于记录数据服务的实现情况，例如，数据建模时间、建模数据、建模数据接入时间、数据仓库数据等等。将数据服务的实现信息上传至区块链可保证其安全性和对用户的公正透明性。用户可以从区块链中下载得到该数据服务的实现信息，以便查证所述数据服务的实现方法的数据服务的实现信息是否被篡改。本示例所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
实施例二
请参阅图2，图2是本发明实施例公开的一种数据服务的实现装置的结构示意图。如图2所示，该数据服务的实现装置可以包括：
数据建模模块201，用于基于预设的元数据和预设的数据建模方式对原始数据执行预设的数据建模操作，以得到建模数据；
数据接入模块202，用于按照预设的数据接入方式将所述建模数据接入至stage数据层；
数据处理模块203，用于将所述stage数据层的数据输入至预设的数据仓库进行预设的数据处理操作，得到数据仓库数据；
数据服务模块204，用于基于所述数据仓库数据向用户提供数据服务。
在一个可选的实施例中，所述数据接入模块202按照预设的数据接入方式将所述建模数据接入至stage数据层的具体方式为：
按照所述原始数据的数据类型所对应的数据接入方式将所述建模数据接入至stage数据层。
在一个可选的实施例中，所述数据接入模块202按照所述原始数据的数据类型所对应的数据接入方式将所述建模数据接入至stage数据层的具体方式包括：
当所述原始数据是通过与预设的接口对接产生的数据时，从所述建模数据中提取出所述接口的请求url信息、请求头信息、请求方式信息、返回结果信息，以接入至stage数据层；
当所述原始数据是通过与预设的爬虫网站对接产生的数据时，从所述建模数据中提取出所述爬虫网站的请求信息、用于进行所述爬虫网站的验证登录的用户名信息和密码信息、所述爬虫网站的解析路径信息，以接入至stage数据层；
当所述原始数据是通过与ftp对接产生的数据时，从所述建模数据中提取出ftp链接的ip地址信息、端口信息、用户名信息、密码信息、文件路径信息、解析文件类型信息、解析类信息，以接入至stage数据层。
在一个可选的实施例中，所述数据接入模块202按照所述原始数据的数据类型所对应的数据接入方式将所述建模数据接入至stage数据层的具体方式还包括：
当所述原始数据是物联网产生的数据时，通过预设的目标通信协议将所述建模数据接入至stage数据层，其中，所述目标通信协议包括212通信协议、808通信协议和809通信协议。
在一个可选的实施例中，所述数据接入模块202按照所述原始数据的数据类型所对应的数据接入方式将所述建模数据接入至stage数据层的具体方式还包括：
当所述原始数据是通过与预设的数据库对接产生的数据时，基于目标线程将所述建模数据接入至stage数据层，其中，所述目标线程的线程数量是根据所述建模数据接入至所述stage数据层的数据接入速度动态调整的。
在一个可选的实施例中，所述数据服务模块204基于所述数据仓库数据向用户提供数据服务的具体方式为：
当接收到数据库导出请求时，将所述数据仓库数据导出至预设的数据库；
当接收到excel文件生成请求时，根据所述数据仓库数据生成相应的excel文件；
当接收到数据共享接口生成请求时，根据所述数据仓库数据生成相应的数据共享接口；
当接收到在线查询请求时，向用户提供针对所述数据仓库数据的在线查询功能。
在一个可选的实施例中，所述数据服务模块204基于所述数据仓库数据向用户提供数据服务的具体方式为：
检测是否接收到针对所述数据仓库数据中的目标数据的数据使用请求；
当接收到所述数据使用请求时，查询预设的数据审批权限表格，以确定出所述数据使用请求对应的目标审批终端标识，其中，所述数据审批权限表格中存储有所述数据仓库数据中的数据对应的审批终端标识；
向所述目标审批终端标识所对应的目标审批终端发送数据审批请求，其中，所述数据审批请求用于提示所述目标审批终端的用户进行所述数据使用请求的审批；
检测是否接收到所述目标审批终端回传的审批通过指令，其中，所述审批通过指令用于表示所述数据使用请求已通过所述目标审批终端的用户的审批；
当接收到所述审批通过指令时，触发执行基于所述数据仓库数据向用户提供数据服务的操作。
在一个可选的实施例中，所述数据处理操作是基于预设的目标计算引擎进行的，其中，所述目标计算引擎包括kettle计算引擎、hive计算引擎、flink计算引擎、spark计算引擎。
对于上述数据服务的实现装置的具体描述可以参照上述数据服务的实现方法的具体描述，为避免重复，在此不再一一赘述。
实施例三
请参阅图3，图3是本发明实施例公开的一种计算机设备的结构示意图。如图3所示，该计算机设备可以包括：
存储有可执行程序代码的存储器301；
与存储器301连接的处理器302；
处理器302调用存储器301中存储的可执行程序代码，执行本发明实施例一公开的数据服务的实现方法中的步骤。
实施例四
请参阅图4，本发明实施例公开了一种计算机存储介质401，计算机存储介质401存储有计算机指令，该计算机指令被调用时，用于执行本发明实施例一公开的数据服务的实现方法中的步骤。
以上所描述的装置实施例仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施例的具体描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中,存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(ErasableProgrammable Read Only Memory，EPROM)、一次可编程只读存储器(One-timeProgrammable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
最后应说明的是：本发明实施例公开的一种数据服务的实现方法、装置、计算机设备以及存储介质所揭露的仅为本发明较佳实施例而已，仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解；其依然可以对前述各项实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应的技术方案的本质脱离本发明各项实施例技术方案的精神和范围。
Claims (10)
1.一种数据服务的实现方法，其特征在于，所述方法包括：
基于预设的元数据和预设的数据建模方式对原始数据执行预设的数据建模操作，以得到建模数据；
按照预设的数据接入方式将所述建模数据接入至stage数据层；
将所述stage数据层的数据输入至预设的数据仓库进行预设的数据处理操作，得到数据仓库数据；
基于所述数据仓库数据向用户提供数据服务。
2.根据权利要求1所述的数据服务的实现方法，其特征在于，所述按照预设的数据接入方式将所述建模数据接入至stage数据层，包括：
按照所述原始数据的数据类型所对应的数据接入方式将所述建模数据接入至stage数据层。
3.根据权利要求2所述的数据服务的实现方法，其特征在于，所述按照所述原始数据的数据类型所对应的数据接入方式将所述建模数据接入至stage数据层，包括：
当所述原始数据是通过与预设的接口对接产生的数据时，从所述建模数据中提取出所述接口的请求url信息、请求头信息、请求方式信息、返回结果信息，以接入至stage数据层；
当所述原始数据是通过与预设的爬虫网站对接产生的数据时，从所述建模数据中提取出所述爬虫网站的请求信息、用于进行所述爬虫网站的验证登录的用户名信息和密码信息、所述爬虫网站的解析路径信息，以接入至stage数据层；
当所述原始数据是通过与ftp对接产生的数据时，从所述建模数据中提取出ftp链接的ip地址信息、端口信息、用户名信息、密码信息、文件路径信息、解析文件类型信息、解析类信息，以接入至stage数据层。
4.根据权利要求3所述的数据服务的实现方法，其特征在于，所述按照所述原始数据的数据类型所对应的数据接入方式将所述建模数据接入至stage数据层，还包括：
当所述原始数据是物联网产生的数据时，通过预设的目标通信协议将所述建模数据接入至stage数据层，其中，所述目标通信协议包括212通信协议、808通信协议和809通信协议。
5.根据权利要求4所述的数据服务的实现方法，其特征在于，所述按照所述原始数据的数据类型所对应的数据接入方式将所述建模数据接入至stage数据层，还包括：
当所述原始数据是通过与预设的数据库对接产生的数据时，基于目标线程将所述建模数据接入至stage数据层，其中，所述目标线程的线程数量是根据所述建模数据接入至所述stage数据层的数据接入速度动态调整的。
6.根据权利要求1-5任一项所述的数据服务的实现方法，其特征在于，所述基于所述数据仓库数据向用户提供数据服务，包括：
当接收到数据库导出请求时，将所述数据仓库数据导出至预设的数据库；
当接收到excel文件生成请求时，根据所述数据仓库数据生成相应的excel文件；
当接收到数据共享接口生成请求时，根据所述数据仓库数据生成相应的数据共享接口；
当接收到在线查询请求时，向用户提供针对所述数据仓库数据的在线查询功能。
7.根据权利要求1-5任一项所述的数据服务的实现方法，其特征在于，所述基于所述数据仓库数据向用户提供数据服务包括：
检测是否接收到针对所述数据仓库数据中的目标数据的数据使用请求；
当接收到所述数据使用请求时，查询预设的数据审批权限表格，以确定出所述数据使用请求对应的目标审批终端标识，其中，所述数据审批权限表格中存储有所述数据仓库数据中的数据对应的审批终端标识；
向所述目标审批终端标识所对应的目标审批终端发送数据审批请求，其中，所述数据审批请求用于提示所述目标审批终端的用户进行所述数据使用请求的审批；
检测是否接收到所述目标审批终端回传的审批通过指令，其中，所述审批通过指令用于表示所述数据使用请求已通过所述目标审批终端的用户的审批；
当接收到所述审批通过指令时，触发执行基于所述数据仓库数据向用户提供数据服务的操作。
8.一种数据服务的实现装置，其特征在于，所述装置包括：
数据建模模块，用于基于预设的元数据和预设的数据建模方式对原始数据执行预设的数据建模操作，以得到建模数据；
数据接入模块，用于按照预设的数据接入方式将所述建模数据接入至stage数据层；
数据处理模块，用于将所述stage数据层的数据输入至预设的数据仓库进行预设的数据处理操作，得到数据仓库数据；
数据服务模块，用于基于所述数据仓库数据向用户提供数据服务。
9.一种计算机设备，其特征在于，所述计算机设备包括：
存储有可执行程序代码的存储器；
与所述存储器连接的处理器；
所述处理器调用所述存储器中存储的所述可执行程序代码，执行如权利要求1-7任一项所述的数据服务的实现方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的数据服务的实现方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110703331.1A CN113434481A (zh) | 2021-06-24 | 2021-06-24 | 数据服务的实现方法、装置、设备以及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110703331.1A CN113434481A (zh) | 2021-06-24 | 2021-06-24 | 数据服务的实现方法、装置、设备以及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113434481A true CN113434481A (zh) | 2021-09-24 |
Family
ID=77753832
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110703331.1A Pending CN113434481A (zh) | 2021-06-24 | 2021-06-24 | 数据服务的实现方法、装置、设备以及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113434481A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104834742A (zh) * | 2015-05-20 | 2015-08-12 | 东华大学 | 一种基于sca的etl架构管理方法 |
| US20160012493A1 (en) * | 2014-07-14 | 2016-01-14 | Oracle International Corporation | Message personalization over multiple internet messaging campaigns |
| CN108462888A (zh) * | 2018-03-14 | 2018-08-28 | 江苏有线数据网络有限责任公司 | 用户电视及上网行为的智能关联分析方法及系统 |
| CN108766542A (zh) * | 2018-05-28 | 2018-11-06 | 镇江市第人民医院 | 一种数据分析处理方法和系统 |
| CN112256782A (zh) * | 2020-10-30 | 2021-01-22 | 内蒙古电力(集团)有限责任公司乌海超高压供电局 | 基于Hadoop的电力大数据处理系统 |
-
2021
- 2021-06-24 CN CN202110703331.1A patent/CN113434481A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160012493A1 (en) * | 2014-07-14 | 2016-01-14 | Oracle International Corporation | Message personalization over multiple internet messaging campaigns |
| CN104834742A (zh) * | 2015-05-20 | 2015-08-12 | 东华大学 | 一种基于sca的etl架构管理方法 |
| CN108462888A (zh) * | 2018-03-14 | 2018-08-28 | 江苏有线数据网络有限责任公司 | 用户电视及上网行为的智能关联分析方法及系统 |
| CN108766542A (zh) * | 2018-05-28 | 2018-11-06 | 镇江市第人民医院 | 一种数据分析处理方法和系统 |
| CN112256782A (zh) * | 2020-10-30 | 2021-01-22 | 内蒙古电力(集团)有限责任公司乌海超高压供电局 | 基于Hadoop的电力大数据处理系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109862018B (zh) | 基于用户访问行为的反爬虫方法及系统 | |
| CN103164416B (zh) | 一种用户关系的识别方法及设备 | |
| CN108989346B (zh) | 基于账号隐匿的第三方有效身份托管敏捷认证访问方法 | |
| CN105516133A (zh) | 用户身份的验证方法、服务器及客户端 | |
| CN109034661A (zh) | 用户识别方法、装置、服务器以及存储介质 | |
| CN103368957B (zh) | 对网页访问行为进行处理的方法及系统、客户端、服务器 | |
| CN106778253A (zh) | 基于大数据的威胁情景感知信息安全主动防御模型 | |
| US11537751B2 (en) | Using machine learning algorithm to ascertain network devices used with anonymous identifiers | |
| CN108712426A (zh) | 基于用户行为埋点的爬虫识别方法及系统 | |
| CN103841123A (zh) | 号码信息获取方法和获取系统、云端号码信息系统 | |
| CN111125118B (zh) | 关联数据查询方法、装置、设备及介质 | |
| CN105022815A (zh) | 信息拦截方法及装置 | |
| CN105898085A (zh) | 骚扰通信账号的识别方法及装置 | |
| CN107545637A (zh) | 一种电子锁的激活方法及服务器 | |
| CN111275391A (zh) | 在线式资产智能分发系统和方法 | |
| CN104618410B (zh) | 资源推送方法和装置 | |
| CN109213919A (zh) | 一种基于互联网的信息技术咨询服务系统 | |
| CN114117264A (zh) | 基于区块链的非法网站识别方法、装置、设备及存储介质 | |
| CN113704830A (zh) | 一种智能化网站数据防篡改系统及方法 | |
| CN116991675A (zh) | 一种异常访问监控方法、装置、计算机设备及存储介质 | |
| CN105988998A (zh) | 关系网络构建方法及装置 | |
| CN113434481A (zh) | 数据服务的实现方法、装置、设备以及存储介质 | |
| CN111309692B (zh) | 基于无人机决策引擎的风控管理系统 | |
| CN114861076A (zh) | 信息处理方法、装置、计算机设备和存储介质 | |
| CN113014587A (zh) | 一种api检测方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |