CN112163032A - 一种大数据服务自动编排方法及系统 - Google Patents

Abstract

本发明公开了一种大数据服务自动编排方法及系统，涉及大数据处理领域，包括：通过标注元数据采集工具采集技术元数据；分析技术元数据，确定技术元数据的数据项和服务调用方式；基于业务形态，备注技术元数据的指标含义以及确定技术元数据的使用场景；基于技术元数据的数据项、服务调用方式、指标含义和使用场景，获得技术元数据的定义信息；关联技术元数据与技术元数据的定义信息，获得技术元数据发布信息；在数据平台中发布技术元数据发布信息。本发明能够低成本且高效的实现大数据服务自动编排服务。

Description

一种大数据服务自动编排方法及系统

技术领域

本发明涉及大数据处理领域，具体地，涉及一种大数据服务自动编排方法及系统。

背景技术

数据生产者可根据技术元数据和业务形态，灵活选择数据项、服务调用方式、备注指标含义、使用场景，实现服务的快速定义发布，之后使用者即可按业务形态在大数据平台中查询、订阅服务，通过授权后，即可拿到想要的数据。

技术元数据采集注册后，直接对外是没法使用的，因为使用者根本不清楚技术元数据和业务之间的关系，因此还需要采集注册业务元数据，并利用一定规则与技术元数据关联发布为服务后，使用者才知道大数据平台中有哪些数据，这些数据和业务有什么关系，到哪里才能找到这些数据。

如何快速实现业务元数据和技术元数据的关联并发布为服务，是大数据平台的一个难点，业界也一直期望利用人工智能技术实现服务的自动发布，但机器学习成本过高，而且结果往往不能满足要求，短时间内难以落地推广。

发明内容

为解决上述问题，本发明提供了一种大数据服务自动编排方法及系统，目的是低成本且高效的实现大数据服务自动编排服务。

为实现上述目的，本发明提供了一种大数据服务自动编排方法，所述方法包括：

通过标注元数据采集工具采集技术元数据；

分析技术元数据，确定技术元数据的数据项和服务调用方式；

基于业务形态，备注技术元数据的指标含义以及确定技术元数据的使用场景；

基于技术元数据的数据项、服务调用方式、指标含义和使用场景，获得技术元数据的定义信息；

关联技术元数据与技术元数据的定义信息，获得技术元数据发布信息；

在数据平台中发布技术元数据发布信息。

其中，本发明提供了一种大数据服务自动编排方法及系统，向数据生产者提供图形化配置界面，数据生产者可根据技术元数据和业务形态，灵活选择数据项、服务调用方式、备注指标含义、使用场景，实现服务的快速定义发布，之后使用者即可按业务形态在大数据平台中查询、订阅服务，通过授权后，即可拿到想要的数据，高效低成本的实现了大数据服务自动编排服务。

优选的，数据平台用户能够在平台中查询和/或订阅和/或下载技术元数据。本方法为数据平台用户提供了丰富的功能，包括查询和/或订阅和/或下载功能。

优选的，用户在数据平台中注册，审核用户的注册信息，审核通过后赋予用户相应的数据平台使用权限，包括查询和/或订阅和/或下载权限，用户在查询和/或订阅和/或下载技术元数据均需要数据平台确权。其中，本方法中为了实现大数据的应用权属，采用了相应的权限进行管理，保障数据的安全性。

优选的，本方法中向数据生产者提供图形化配置界面，数据生产者根据技术元数据和业务形态，选择技术元数据的数据项和服务调用方式，备注技术元数据的指标含义和使用场景。

优选的，本方法中数据平台包括若干服务器，用于存储数据，以及用于实现相应数据的上传、下载、查询和订阅功能，以及用于实现用户的注册、注销和权限管理功能。

优选的，本方法中所述若干服务器位于机房内，所述机房建设在预设通道中，所述预设通道位于预设山体中，所述预设通道两端贯穿所述预设山体。

其中，大数据的应用关键是数据的存储，数据存储涉及到安全性和成本，本发明中大数据服务器机房的选址在山区，如我国的贵州山区，选择非地震带山区，水利资源丰富，电费低，地价便宜，维护成本低，且常年温度较低，散热成本低。实现了大数据的低成本和安全存储，且预设通道两端贯穿所述预设山体能够形成对流便于利用自然风快速高效低成本的散热。

优选的，本发明中所述预设通道包括内层圆筒和外层圆筒，内层圆筒与外层圆筒之间通过若干连接杆连接，所述预设通道设有若干排气管，排气管的下端穿过外层圆筒和内层圆筒延伸至内层圆筒内，排气管的上端穿过山体后与U形管的一端连接，U形管的另一端竖直朝下；内层圆筒设有水平层，沿预设通道左端至右端方向水平层由第一部分、第二部分和第三部分依次拼接组成，第三部分用于安装机房，其中，第一部分和第三部分均设有渗水孔，外层圆筒底部设有排水孔，排水管一端与排水孔连接，排水管另一端延伸至储水池中；预设通道两端设有电动门，电动门上设有若干透气孔，透气孔内壁设有干燥层，干燥层内填充有干燥剂，电动门与第一控制器连接，预设山体上安装有湿度传感器，湿度传感器与第一控制器连接，当湿度传感器检测到湿度大于或等于第一阈值时，第一控制器关闭电动门，当湿度传感器检测到湿度小于第一阈值时，第一控制器开启电动门。

其中，在山区虽然常年温度低，散热成本低，但是遇到下雨多或者雨季时则需要对机房进行防潮保护，本发明设计了相应带防潮功能的预设通道，其中，预设通道设有若干排气管，通过排气管可以将机房产生的热气通过排气管排出，且排气管出口设有U形管，能够避免雨水流入预设通道内，对预设通道进行防潮保护，且预设通道包括第一部分、第二部分和第三部分，第一部分和第三部分均设有渗水孔，可以将流入预设通道内的雨水排出，对第二部分的机房进行防潮保护，且预设山体上安装有湿度传感器，当湿度过大时，则关闭电动门，电动门上设有若干透气孔，透气孔内壁设有干燥层，干燥层内填充有干燥剂，一方面通过透气孔能够进行散热，另一方面通过干燥层能够保障进入预设通道内的空气干燥，对机房进行防潮保护，当湿度较低时，则开启电动门继续利用自然风进行对流散热。

优选的，U形管的另一端设有过滤网。利用过滤网能够避免杂物进入排气管。

优选的，山区容易发生山体滑坡，而山体滑坡容易导致机房损坏，或者供电设备损坏，导致服务器断电，对于机房来说是毁灭性的打击，现有技术是对山体滑坡进行监测，但是监测只是提前预知，并不能够进行改善，不能从根本上提高机房的安全性，为了从根本上提高机房的安全性，降低山体滑坡发生的几率，本发明在预设山体上设有防山体滑坡装置，所述防山体滑坡装置包括：若干防山体滑坡单元，所述若干防山体滑坡单元均匀分布在预设山体上，所述防山体滑坡单元包括：

防护网、若干固定钉、若干滴灌管、若干引流子管、引流主管、供水管、水泵、水阀和第二控制器；防护网通过若干固定钉固定在预设山体的表面，若干滴灌管均匀固定在防护网上表面，若干滴灌管均与供水管一端连接，供水管另一端与所述储水池内的水泵连通，供水管上设有水阀，水阀和水泵均与第二控制器连接，第二控制器基于预设调节对水阀和水泵的开闭进行控制；若干引流子管均匀分布在防护网上表面，引流子管上半部分为开口状，若干引流子管均与引流主管连通，引流主管的下端延伸至预设山体底部。

其中，本发明中降低山体滑坡的原理是：一方面将雨水通过多个引流主管分别引流至山体底部，避免传统的山体的雨水汇集然后形成山洪，进而导致山体滑坡，第二方面，本发明利用防护网对山体上的土壤和岩石进行固定，防止其松动，增加其固定稳定性，降低山体滑坡的几率，第三方面，本发明中的装置能够对山体上的植被进行滴灌，保障植被的正常生长，防止水土流失，通过植被的根茎良好生长能够降低山体滑坡的几率。

其中，具体的实现原理为：通过若干固定钉将防护网固定在土壤和岩石上，增加山体表面土壤和岩石的稳定性，其中，当下雨时，雨水通过引流子管流入引流主管，进而流到山体底部，山体上设有若干引流主管，避免了雨水的汇集和对土壤和岩石的冲刷，且在干旱时，通过控制器打开水泵和水阀，对植被进行滴灌，保障植被的正常生长，防止水土流失。

本发明还提供了一种大数据服务自动编排系统，所述系统包括：

采集单元，用于通过标注元数据采集工具采集技术元数据；

分析单元，用于分析技术元数据，确定技术元数据的数据项和服务调用方式；

处理单元，用于基于业务形态，备注技术元数据的指标含义以及确定技术元数据的使用场景；

定义单元，用于基于技术元数据的数据项、服务调用方式、指标含义和使用场景，获得技术元数据的定义信息；

关联单元，用于关联技术元数据与技术元数据的定义信息，获得技术元数据发布信息；

发布单元，用于在数据平台中发布技术元数据发布信息。

本发明提供的一个或多个技术方案，至少具有如下技术效果或优点：

本发明中的大数据服务自动编排方法及系统能够低成本且高效的实现大数据服务自动编排服务。

本发明中能够安全低成本的实现大数据存储。

附图说明

此处所说明的附图用来提供对本发明实施例的进一步理解，构成本发明的一部分，并不构成对本发明实施例的限定；

图1为大数据服务自动编排方法的流程示意图；

图2为预设通道的结构示意图；

图3为防山体滑坡单元的结构示意图；

图4为大数据服务自动编排系统的组成示意图；

其中，1-预设山体，2-机房，3-内层圆筒，4-外层圆筒，5-连接杆，6-排气管，7-U形管，8-支架，9-排水管，10-储水池，11-电动门，12-透气孔，13-防护网，14-固定钉，15-滴灌管，16-引流子管，17-引流主管，18-供水管。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在相互不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述范围内的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

本领域技术人员应理解的是，在本发明的揭露中，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系是基于附图所示的方位或位置关系，其仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此上述术语不能理解为对本发明的限制。

可以理解的是，术语“一”应理解为“至少一”或“一个或多个”，即在一个实施例中，一个元件的数量可以为一个，而在另外的实施例中，该元件的数量可以为多个，术语“一”不能理解为对数量的限制。

实施例一

请参考图1，图1为大数据服务自动编排方法的流程示意图，本发明实施例一提供了一种大数据服务自动编排方法，所述方法包括：

通过标注元数据采集工具采集技术元数据；其中，标注元数据采集工具可以采用本领域中常用的工具，本发明对具体的工具不进行限定；

分析技术元数据，确定技术元数据的数据项和服务调用方式；

基于业务形态，备注技术元数据的指标含义以及确定技术元数据的使用场景；

基于技术元数据的数据项、服务调用方式、指标含义和使用场景，获得技术元数据的定义信息；

关联技术元数据与技术元数据的定义信息，获得技术元数据发布信息；

在数据平台中发布技术元数据发布信息。

其中，本发明提供了一种大数据服务自动编排方法及系统，向数据生产者提供图形化配置界面，数据生产者可根据技术元数据和业务形态，灵活选择数据项、服务调用方式、备注指标含义、使用场景，实现服务的快速定义发布，之后使用者即可按业务形态在大数据平台中查询、订阅服务，通过授权后，即可拿到想要的数据，高效低成本的实现了大数据服务自动编排服务。

其中，在本发明实施例一中，数据平台用户能够在平台中查询和/或订阅和/或下载技术元数据。本方法为数据平台用户提供了丰富的功能，包括查询和/或订阅和/或下载功能。

其中，在本发明实施例一中，用户在数据平台中注册，审核用户的注册信息，审核通过后赋予用户相应的数据平台使用权限，包括查询和/或订阅和/或下载权限，用户在查询和/或订阅和/或下载技术元数据均需要数据平台确权。其中，本方法中为了实现大数据的应用权属，采用了相应的权限进行管理，保障数据的安全性。

其中，在本发明实施例一中，本方法中向数据生产者提供图形化配置界面，数据生产者根据技术元数据和业务形态，选择技术元数据的数据项和服务调用方式，备注技术元数据的指标含义和使用场景。

其中，在本发明实施例一中，本方法中数据平台包括若干服务器，用于存储数据，以及用于实现相应数据的上传、下载、查询和订阅功能，以及用于实现用户的注册、注销和权限管理功能。

实施例二

本发明实施例二中，本方法中所述若干服务器位于机房2内，所述机房建设在预设通道中，所述预设通道位于预设山体1中，所述预设通道两端贯穿所述预设山体。

其中，大数据的应用关键是数据的存储，数据存储涉及到安全性和成本，本发明中大数据服务器机房的选址在山区，如我国的贵州山区，选择非地震带山区，水利资源丰富，电费低，地价便宜，维护成本低，且常年温度较低，散热成本低。实现了大数据的低成本和安全存储，且预设通道两端贯穿所述预设山体能够形成对流便于利用自然风快速高效低成本的散热。

请参考图2，图2为预设通道的结构示意图，本发明中所述预设通道包括内层圆筒3和外层圆筒4，内层圆筒与外层圆筒之间通过若干连接杆5连接，所述预设通道设有若干排气管6，排气管的下端穿过外层圆筒和内层圆筒延伸至内层圆筒内，排气管的上端穿过山体后与U形管7的一端连接，U形管的另一端竖直朝下，U形管通过支架8固定在预设山体上；内层圆筒设有水平层，沿预设通道左端至右端方向水平层由第一部分、第二部分和第三部分依次拼接组成，第三部分用于安装机房，其中，第一部分和第三部分均设有渗水孔，外层圆筒底部设有排水孔，排水管9一端与排水孔连接，排水管另一端延伸至储水池10中；预设通道两端设有电动门11，电动门上设有若干透气孔12，透气孔内壁设有干燥层，干燥层内填充有干燥剂，电动门与第一控制器连接，预设山体上安装有湿度传感器，湿度传感器与第一控制器连接，当湿度传感器检测到湿度大于或等于第一阈值时，第一控制器关闭电动门，当湿度传感器检测到湿度小于第一阈值时，第一控制器开启电动门。

其中，湿度传感器的数量和安装位置可以根据实际需要进行调整，本发明不进行具体的限定。

其中，在山区虽然常年温度低，散热成本低，但是遇到下雨多或者雨季时则需要对机房进行防潮保护，本发明设计了相应带防潮功能的预设通道，其中，预设通道设有若干排气管，通过排气管可以将机房产生的热气通过排气管排出，且排气管出口设有U形管，能够避免雨水流入预设通道内，对预设通道进行防潮保护，且预设通道包括第一部分、第二部分和第三部分，第一部分和第三部分均设有渗水孔，可以将流入预设通道内的雨水排出，对第二部分的机房进行防潮保护，且预设山体上安装有湿度传感器，当湿度过大时，则关闭电动门，电动门上设有若干透气孔，透气孔内壁设有干燥层，干燥层内填充有干燥剂，一方面通过透气孔能够进行散热，另一方面通过干燥层能够保障进入预设通道内的空气干燥，对机房进行防潮保护，当湿度较低时，则开启电动门继续利用自然风进行对流散热。

其中，在本发明实施例二中，U形管的另一端设有过滤网。利用过滤网能够避免杂物进入排气管。

实施例三

在本发明实施例三中，山区容易发生山体滑坡，而山体滑坡容易导致机房损坏，或者供电设备损坏，导致服务器断电，对于机房来说是毁灭性的打击，现有技术是对山体滑坡进行监测，但是监测只是提前预知，并不能够进行改善，不能从根本上提高机房的安全性，为了从根本上提高机房的安全性，降低山体滑坡发生的几率，本发明在预设山体上设有防山体滑坡装置，请参考图3，图3为防山体滑坡单元的结构示意图，所述防山体滑坡装置包括：若干防山体滑坡单元，所述若干防山体滑坡单元均匀分布在预设山体上，所述防山体滑坡单元包括：

防护网13、若干固定钉14、若干滴灌管15、若干引流子管16、引流主管17、供水管18、水泵、水阀和第二控制器；其中，图3中省略水泵和水阀，具体的结构可以根据实际需要进行调整，防护网通过若干固定钉固定在预设山体的表面，若干滴灌管均匀固定在防护网上表面，若干滴灌管均与供水管一端连接，供水管另一端与所述储水池内的水泵连通，供水管上设有水阀，水阀和水泵均与第二控制器连接，第二控制器基于预设调节对水阀和水泵的开闭进行控制；若干引流子管均匀分布在防护网上表面，引流子管上半部分为开口状，若干引流子管均与引流主管连通，引流主管的下端延伸至预设山体底部。

其中，本发明中降低山体滑坡的原理是：一方面将雨水通过多个引流主管分别引流至山体底部，避免传统的山体的雨水汇集然后形成山洪，进而导致山体滑坡，第二方面，本发明利用防护网对山体上的土壤和岩石进行固定，防止其松动，增加其固定稳定性，降低山体滑坡的几率，第三方面，本发明中的装置能够对山体上的植被进行滴灌，保障植被的正常生长，防止水土流失，通过植被的根茎良好生长能够降低山体滑坡的几率。

其中，具体的实现原理为：通过若干固定钉将防护网固定在土壤和岩石上，增加山体表面土壤和岩石的稳定性，其中，当下雨时，雨水通过引流子管流入引流主管，进而流到山体底部，山体上设有若干引流主管，避免了雨水的汇集和对土壤和岩石的冲刷，且在干旱时，通过控制器打开水泵和水阀，对植被进行滴灌，保障植被的正常生长，防止水土流失。

实施例四

请参考图4，图4为大数据服务自动编排系统的组成示意图，本发明实施例四本发明提供了一种大数据服务自动编排系统，所述系统包括：

采集单元，用于通过标注元数据采集工具采集技术元数据；

分析单元，用于分析技术元数据，确定技术元数据的数据项和服务调用方式；

处理单元，用于基于业务形态，备注技术元数据的指标含义以及确定技术元数据的使用场景；

定义单元，用于基于技术元数据的数据项、服务调用方式、指标含义和使用场景，获得技术元数据的定义信息；

关联单元，用于关联技术元数据与技术元数据的定义信息，获得技术元数据发布信息；

发布单元，用于在数据平台中发布技术元数据发布信息。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种大数据服务自动编排方法，其特征在于，所述方法包括：

通过标注元数据采集工具采集技术元数据；

分析技术元数据，确定技术元数据的数据项和服务调用方式；

基于业务形态，备注技术元数据的指标含义以及确定技术元数据的使用场景；

基于技术元数据的数据项、服务调用方式、指标含义和使用场景，获得技术元数据的定义信息；

关联技术元数据与技术元数据的定义信息，获得技术元数据发布信息；

在数据平台中发布技术元数据发布信息。

2.根据权利要求1所述的大数据服务自动编排方法，其特征在于，数据平台用户能够在平台中查询和/或订阅和/或下载技术元数据。

3.根据权利要求1所述的大数据服务自动编排方法，其特征在于，用户在数据平台中注册，审核用户的注册信息，审核通过后赋予用户相应的数据平台使用权限，包括查询和/或订阅和/或下载权限，用户在查询和/或订阅和/或下载技术元数据均需要数据平台确权。

4.根据权利要求1所述的大数据服务自动编排方法，其特征在于，向数据生产者提供图形化配置界面，数据生产者根据技术元数据和业务形态，选择技术元数据的数据项和服务调用方式，备注技术元数据的指标含义和使用场景。

5.根据权利要求1所述的大数据服务自动编排方法，其特征在于，数据平台包括若干服务器，用于存储数据，以及用于实现相应数据的上传、下载、查询和订阅功能，以及用于实现用户的注册、注销和权限管理功能。

6.根据权利要求5所述的大数据服务自动编排方法，其特征在于，所述若干服务器位于机房内，所述机房建设在预设通道中，所述预设通道位于预设山体中，所述预设通道两端贯穿所述预设山体。

7.根据权利要求6所述的大数据服务自动编排方法，其特征在于，所述预设通道包括内层圆筒和外层圆筒，内层圆筒与外层圆筒之间通过若干连接杆连接，所述预设通道设有若干排气管，排气管的下端穿过外层圆筒和内层圆筒延伸至内层圆筒内，排气管的上端穿过山体后与U形管的一端连接，U形管的另一端竖直朝下；内层圆筒设有水平层，沿预设通道左端至右端方向水平层由第一部分、第二部分和第三部分依次拼接组成，第三部分用于安装机房，其中，第一部分和第三部分均设有渗水孔，外层圆筒底部设有排水孔，排水管一端与排水孔连接，排水管另一端延伸至储水池中；预设通道两端设有电动门，电动门上设有若干透气孔，透气孔内壁设有干燥层，干燥层内填充有干燥剂，电动门与第一控制器连接，预设山体上安装有湿度传感器，湿度传感器与第一控制器连接，当湿度传感器检测到湿度大于或等于第一阈值时，第一控制器关闭电动门，当湿度传感器检测到湿度小于第一阈值时，第一控制器开启电动门。

8.根据权利要求7所述的大数据服务自动编排方法，其特征在于，U形管的另一端设有过滤网。

9.根据权利要求7所述的大数据服务自动编排方法，其特征在于，预设山体上设有防山体滑坡装置，所述防山体滑坡装置包括：若干防山体滑坡单元，所述若干防山体滑坡单元均匀分布在预设山体上，所述防山体滑坡单元包括：

防护网、若干固定钉、若干滴灌管、若干引流子管、引流主管、供水管、水泵、水阀和第二控制器；防护网通过若干固定钉固定在预设山体的表面，若干滴灌管均匀固定在防护网上表面，若干滴灌管均与供水管一端连接，供水管另一端与所述储水池内的水泵连通，供水管上设有水阀，水阀和水泵均与第二控制器连接，第二控制器基于预设调节对水阀和水泵的开闭进行控制；若干引流子管均匀分布在防护网上表面，引流子管上半部分为开口状，若干引流子管均与引流主管连通，引流主管的下端延伸至预设山体底部。

10.一种大数据服务自动编排系统，其特征在于，所述系统包括：

采集单元，用于通过标注元数据采集工具采集技术元数据；

分析单元，用于分析技术元数据，确定技术元数据的数据项和服务调用方式；

处理单元，用于基于业务形态，备注技术元数据的指标含义以及确定技术元数据的使用场景；

定义单元，用于基于技术元数据的数据项、服务调用方式、指标含义和使用场景，获得技术元数据的定义信息；

关联单元，用于关联技术元数据与技术元数据的定义信息，获得技术元数据发布信息；

发布单元，用于在数据平台中发布技术元数据发布信息。

Images