CN112288614A - 一种基于数据资源平台的数据处理方法和装置 - Google Patents

一种基于数据资源平台的数据处理方法和装置 Download PDF

Info

Publication number
CN112288614A
CN112288614A CN202011284371.9A CN202011284371A CN112288614A CN 112288614 A CN112288614 A CN 112288614A CN 202011284371 A CN202011284371 A CN 202011284371A CN 112288614 A CN112288614 A CN 112288614A
Authority
CN
China
Prior art keywords
data
business
model
physical table
service
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011284371.9A
Other languages
English (en)
Inventor
邓练兵
李大铭
方家钦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuhai Dahengqin Technology Development Co Ltd
Original Assignee
Zhuhai Dahengqin Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuhai Dahengqin Technology Development Co Ltd filed Critical Zhuhai Dahengqin Technology Development Co Ltd
Priority to CN202011284371.9A priority Critical patent/CN112288614A/zh
Publication of CN112288614A publication Critical patent/CN112288614A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/26Government or public services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/284Relational databases
    • G06F16/288Entity relationship models

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • General Physics & Mathematics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • General Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Educational Administration (AREA)
  • Development Economics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明实施例提供了一种基于数据资源平台的数据处理方法和装置,所述方法包括:获取针对智能标签组件的数据标签模型和针对数据探索组件的业务算子信息;其中,所述数据标签模型用于将物理表与业务实体进行映射;所述业务算子信息用于编排业务分析模型;采用所述数据标签模型,对目标物理表进行标签化处理;根据标签化的目标物理表和所述业务算子信息进行模型编排,生成业务分析模型;采用所述业务分析模型进行数据分析,得到针对指定行业的新的业务数据。通过本发明实施例,实现了针对大数据信息的有效整合,通过将数据表实体化,能够让应用开发者直观了解所需获取的业务数据,且采用业务分析模型对数据进行分析探查,使得数据更标准、更智能。

Description

一种基于数据资源平台的数据处理方法和装置
技术领域
本发明涉及数据处理领域,特别是涉及一种基于数据资源平台的数据处理方法和装置。
背景技术
随着计算机、网络和通信等技术的发展,为了更智能的为城市提供智能服务,同步建设了大量的应用服务,无论从数据的广度和深度,还是从应用服务的全面性与精准性,针对“多模型、多应用”的模式提供应用服务建设是为城市提供智能服务的发展方向。
在智慧城市建设中,大数据发挥着重要作用,但面对众多大数据产品进行应用开发,其系统工程工作繁多且复杂,应用开发工作人员较难在海量数据中获取所需数据,导致开发工作人员无法有效了解具体存放的数据,数据的价值,以及数据可支撑应用的信息等。
发明内容
鉴于上述问题,提出了以便提供克服上述问题或者至少部分地解决上述问题的一种基于数据资源平台的数据处理方法和装置,包括:
一种基于数据资源平台的数据处理方法,所述数据资源平台部署于统一数据平台,所述数据资源平台包括智能标签组件和数据探索组件,所述方法包括:
获取针对智能标签组件的数据标签模型和针对数据探索组件的业务算子信息;其中,所述数据标签模型用于将物理表与业务实体进行映射;所述业务算子信息用于编排业务分析模型;
采用所述数据标签模型,对目标物理表进行标签化处理;
根据标签化的目标物理表和所述业务算子信息进行模型编排,生成业务分析模型;其中,所述业务分析模型为针对指定行业的具有预设业务分析规则的模型;
采用所述业务分析模型进行数据分析,得到针对指定行业的新的业务数据;其中,所述业务数据包括业务场景数据和业务对象数据。
可选地,在所述采用所述数据标签模型,对目标物理表进行标签化处理之前,还包括:
从多个数据库中,确定目标物理表;
获取针对所述数据标签模型的标签值码表,并将所述目标物理表与标签值码表进行关联;其中,所述标签值码表包括针对业务实体的实体关系信息和针对数据标签的标签类型信息。
可选地,所述采用所述数据标签模型,对目标物理表进行标签化处理,包括:
根据所述标签值码表,确定目标物理表对应的目标实体关系信息;
结合所述目标实体关系信息和针对所述目标物理表的标签类型信息,对所述目标物理表进行标签化处理,得到标签化的目标物理表。
可选地,所述根据标签化的目标物理表和所述业务算子信息进行模型编排,生成业务分析模型,包括:
确定针对标签化的目标物理表的目标业务算子信息;
采用所述目标业务算子信息编排得到业务流程信息;所述业务流程信息为针对指定行业的业务流程信息;
结合所述业务流程信息和预设业务分析规则,生成业务分析模型。
可选地,在所述根据标签化的目标物理表和所述业务算子信息进行模型编排,生成业务分析模型之前,还包括:
对标签化的目标物理表进行数据格式注册。
可选地,在所述根据标签化的目标物理表和所述业务算子信息进行模型编排,生成业务分析模型之后,还包括:
对所述业务分析模型进行模型参数调整;
对所述业务分析模型进行模型运行测试;
对所述业务分析模型进行模型版本发布。
可选地,所述标签类型信息包括以下任一项或多项:
公共标签、工作组标签、授权标签。
一种基于数据资源平台的数据处理装置,所述数据资源平台部署于统一数据平台,所述数据资源平台包括智能标签组件和数据探索组件,所述装置包括:
数据标签模型和业务算子信息获取模块,用于获取针对智能标签组件的数据标签模型和针对数据探索组件的业务算子信息;其中,所述数据标签模型用于将物理表与业务实体进行映射;所述业务算子信息用于编排业务分析模型;
标签化处理模块,用于采用所述数据标签模型,对目标物理表进行标签化处理;
业务分析模型生成模块,用于根据标签化的目标物理表和所述业务算子信息进行模型编排,生成业务分析模型;其中,所述业务分析模型为针对指定行业的具有预设业务分析规则的模型;
业务数据得到模块,用于采用所述业务分析模型进行数据分析,得到针对指定行业的新的业务数据;其中,所述业务数据包括业务场景数据和业务对象数据。
一种电子设备,包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如上所述的基于数据资源平台的数据处理方法。
一种计算机可读存储介质,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如上所述的基于数据资源平台的数据处理方法。
本发明实施例具有以下优点:
在本发明实施例中,通过获取针对智能标签组件的数据标签模型和针对数据探索组件的业务算子信息,数据标签模型用于将物理表与业务实体进行映射,业务算子信息用于编排业务分析模型,然后采用数据标签模型,对目标物理表进行标签化处理,根据标签化的目标物理表和业务算子信息进行模型编排,生成业务分析模型,业务分析模型为针对指定行业的具有预设业务分析规则的模型,进而采用业务分析模型进行数据分析,得到针对指定行业的新的业务数据,业务数据包括业务场景数据和业务对象数据,实现了针对大数据信息的有效整合,通过将数据表实体化,能够让应用开发者直观了解所需获取的业务数据,且采用业务分析模型对数据进行分析探查,使得数据更标准、更智能。
附图说明
为了更清楚地说明本发明的技术方案,下面将对本发明的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一实施例提供的一种云平台整体架构的示意图;
图2是本发明一实施例提供的一种基于数据资源平台的数据处理方法的步骤流程图;
图3是本发明一实施例提供的另一种基于数据资源平台的数据处理方法的步骤流程图;
图4a是本发明一实施例提供的一种智能标签组件网络架构的示意图;
图4b是本发明一实施例提供的一种智能标签组件部署架构的示意图;
图4c是本发明一实施例提供的一种智能标签组件功能架构的示意图;
图5是本发明一实施例提供的另一种基于数据资源平台的数据处理方法的步骤流程图;
图6a是本发明一实施例提供的一种数据探索组件网络架构的示意图;
图6b是本发明一实施例提供的一种数据探索组件部署架构的示意图;
图6c是本发明一实施例提供的一种数据探索组件功能架构的示意图;
图7是本发明一实施例提供的一种基于数据资源平台的数据处理装置的结构示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在智慧城市建设中,通过引入云计算,大数据,物联网,移动互联等先进技术,搭建标准统一、入口统一、采集统一、管理统一、服务统一、数据统一的跨域多维大数据公共服务云平台,从而实现跨部门、跨领域和跨地域的数据融通能力,并达到域内数据集中、域外数据共享交换、域边界依规则柔性扩展,以形成数字经济的生态循环,推动了城市管理、社会民生、资源环境、经济产业各领域的数据共享,提升了行政效率、城市治理能力、居民生活品质,促进了行业融合发展,推动了产业转型升级、创新商业模式。
通过跨域多维大数据云平台的建设,能够打破数据壁垒,实现数据集中,破解了大数据发展难题。基于云平台建设,将进一步针对云平台进行数据中台、数据共享服务体系建设。
针对数据中台(即统一数据平台)建设,通过引入数据资源平台、数据共享平台等,并配套对应的数据规范,进而可以建设一个打通各级业务协同机构、视频区域,以及各层级的业务系统、各领域的智慧应用,也可以形成一个提供开放、互联、共享的数据共享平台,且同时能够具备数据上云、数据治理、数据探索、全链路监控等统一数据管理体系。
如图1所示,云平台中部署有城市应用门户、开放服务网关、统一数据平台、城市物联传感系统以及其它结构,其中,开放服务网关包括融合业务共享中心、融合数据创新中心,以下对云平台的各个部分进行具体说明:
(一)城市应用门户
在城市应用门户中,主要分为交通、环保、旅游、工商、医疗、教育、区域经济大脑、就业、跨域鉴权等板块,用户可以通过城市应用门户进入各板块,并可以获取经处理后的数据所组成的各板块对应的资讯信息。
(二)融合业务共享中心与融合数据创新中心
融合业务共享中心可以按业务分类将各区域数据进行融合后创建不同的数据共享中心,例如:个人信息中心、信用信息中心、法人信息中心、金融服务中心、旅游服务中心、综合治理服务中心、时空服务中心、物联网服务中心等。
融合数据创新中心通过数据融合体系和AI算法体系可以实现对融合数据的创新应用。融合业务共享中心与融合数据创新中心可以将数据进行融合处理后,通过城市应用门户向用户呈现处理后的数据。
(三)统一数据平台
统一数据平台可以包括数据资源平台和数据共享平台,其中,数据资源平台可以包括多个组件,例如,数据上云、智能数仓、智能标签、数据探索、AIMaster、数据DNA、全景监控、数据资产,进而能够为上层的行业应用和业务场景提供服务,解决了数据管理领域中的数据标准化和数据质量等问题,且采用拖拽等交互方式,简化了业务逻辑和业务功能的实现,提高了数据平台的易用性。
(四)城市物联传感系统
城市物联传感系统由压力、湿度、摄像头、光源、红外传感、温度等相关传感设备及设备数据构成。
(五)其它结构
此外,还可以通过超算集群、城市云计算平台、OpenStack FI Ware集群(一个开源的云计算管理平台项目,是一系列软件开源项目的组合),对数据进行处理。
参照图2,示出了本发明一实施例提供的一种基于数据资源平台的数据处理方法的步骤流程图,该数据资源平台可以部署于统一数据平台,数据资源平台可以包括智能标签组件和数据探索组件,具体可以包括如下步骤:
步骤201,获取针对智能标签组件的数据标签模型和针对数据探索组件的业务算子信息;其中,所述数据标签模型用于将物理表与业务实体进行映射;所述业务算子信息用于编排业务分析模型;
作为一示例,数据标签模型可以为将数据表实体化的模型,其可以用于将物理表与业务实体进行映射,例如,可以根据具体的业务应用场景,预置数据标签模型以针对数据标签进行管理;业务算子信息可以为预置的数据算子,其可以用于编排业务分析模型,例如,可以根据已知的业务应用场景,预置对应的业务算子。
在基于数据资源平台的应用开发过程中,可以通过获取数据资源平台中针对智能标签组件的数据标签模型,以将物理表与业务实体进行映射,并可以通过获取针对数据探索组件的业务算子信息,以采用业务算子信息编排业务分析模型,进而可以进一步针对业务数据进行加工、调用。
在实际应用中,数据资源平台可以部署于统一数据平台,数据资源平台可以包括智能标签组件和数据探索组件,智能标签组件可以具有预置的数据标签模型,该数据标签模型可以用于将物理表与业务实体进行映射,数据探索组件可以具有预置的业务算子信息,该业务算子信息可以用于编排业务分析模型。
在一示例中,可以通过数据开发人员、应用开发人员相互配合,根据具体的业务应用场景,设计出数据标签模型,然后数据开发人员可以根据业务应用需求和数据标签模型预置针对数据标签的映射逻辑,进而数据管理员可以采用数据标签模型管理数据标签的共享和使用权限,以保证数据标签的数据质量。
步骤202,采用所述数据标签模型,对目标物理表进行标签化处理;
在获取数据标签模型和业务算子信息后,可以采用数据标签模型,对目标物理表进行标签化处理,以进一步针对业务数据进行加工、调用。
例如,可以采用数据标签模型,对物理表进行标签化处理,以将数据表实体化后可以进一步进行加工、衍生、调用。
步骤203,根据标签化的目标物理表和所述业务算子信息进行模型编排,生成业务分析模型;其中,所述业务分析模型为针对指定行业的具有预设业务分析规则的模型;
作为一示例,业务分析模型可以为针对具体业务场景的模型,其可以针对指定行业,并具有预设业务分析规则,例如,在医疗行业中的药品异常用药发现模型、再入院病人分析科研模型等。
在对目标物理表进行标签化处理后,可以将标签化的目标物理表和业务算子信息进行模型编排,进而可以生成业务分析模型,该业务分析模型可以为针对指定行业,并可以具有预设业务分析规则。
在一示例中,可以由数据开发人员和业务专家,依据已知的业务场景抽象出对应的业务算子,然后数据开发人员可以根据数据模型、标签模型、业务逻辑,开发可执行的业务算子,以进一步对业务数据进行探查分析。
步骤204,采用所述业务分析模型进行数据分析,得到针对指定行业的新的业务数据;其中,所述业务数据包括业务场景数据和业务对象数据。
在生成业务分析模型后,可以采用业务分析模型进行数据探查分析,进而可以得到针对指定行业的新的业务数据,其可以包括业务场景数据和业务对象数据。
在一示例中,业务专家可以使用业务算子编排业务流程,从而能够通过自主式分析的方式对数据进行挖掘,以发现新的业务场景、值得关注的业务对象,达成业务目标。
在本发明实施例中,通过获取针对智能标签组件的数据标签模型和针对数据探索组件的业务算子信息,数据标签模型用于将物理表与业务实体进行映射,业务算子信息用于编排业务分析模型,然后采用数据标签模型,对目标物理表进行标签化处理,根据标签化的目标物理表和业务算子信息进行模型编排,生成业务分析模型,业务分析模型为针对指定行业的具有预设业务分析规则的模型,进而采用业务分析模型进行数据分析,得到针对指定行业的新的业务数据,业务数据包括业务场景数据和业务对象数据,实现了针对大数据信息的有效整合,通过将数据表实体化,能够让应用开发者直观了解所需获取的业务数据,且采用业务分析模型对数据进行分析探查,使得数据更标准、更智能。
参照图3,示出了本发明一实施例提供的另一种基于数据资源平台的数据处理方法的步骤流程图,该数据资源平台可以部署于统一数据平台,数据资源平台可以包括智能标签组件和数据探索组件,具体可以包括如下步骤:
步骤301,获取针对智能标签组件的数据标签模型和针对数据探索组件的业务算子信息;其中,所述数据标签模型用于将物理表与业务实体进行映射;所述业务算子信息用于编排业务分析模型;
在基于数据资源平台的应用开发过程中,可以通过获取数据资源平台中针对智能标签组件的数据标签模型,以将物理表与业务实体进行映射,并可以通过获取针对数据探索组件的业务算子信息,以采用业务算子信息编排业务分析模型,进而可以进一步针对业务数据进行加工、调用。
在一示例中,智能标签组件的网络架构可以如图4a所示,智能标签组件的前端和后端均可以部署于VPC(Virtual Private Cloud,虚拟私有云)区域中的ECS(ElasticCompute Service,云服务器)上,该VPC区域可以位于专有云(云平台)数据资源平台中。
智能标签组件可以与云平台管控区中的计算引擎,以及云平台业务应用VPC中的业务应用,通过网关白名单配置方式进行数据交互,且在连接云平台管控区中的计算引擎,以及云平台业务应用、数据资源平台VPC中的其它应用时,可以采用AK(Access Key,访问密钥)的认证,以确保受信的服务端进行调用。
在又一示例中,智能标签组件的部署架构可以如图4b所示,智能标签组件可以在虚拟机(ECS)上部署后端应用,可以通过负载均衡(SLB2)与部署在虚拟机(ECS)上的前端应用进行通信,并可以通过数据资源平台VPC外的负载均衡(SLB2)与外部应用或用户的客户端进行通信。
为了保证服务具备高可用性,智能标签组件的多个前、后端应用均可以采用双实例备份的模式进行部署,智能标签组件可以部署于专有云环境公共区域内数据资源平台的VPC中。
步骤302,从多个数据库中,确定目标物理表;
在具体实现中,可以从多个数据库中,确定待进行标签化处理的物理表为目标物理表,以采用数据标签模型对目标物理表进行标签化处理,实现进一步针对业务数据进行加工、调用。
例如,智能标签组件可以支持关联多个数据库的物料表,如可以关联RDS(Relational Database Service,关系型数据库服务)的物理表。
步骤303,获取针对所述数据标签模型的标签值码表,并将所述目标物理表与标签值码表进行关联;其中,所述标签值码表包括针对业务实体的实体关系信息和针对数据标签的标签类型信息;
作为一示例,标签类型信息可以包括以下任一项或多项:公共标签、工作组标签、授权标签。
在确定目标物理表后,可以获取针对数据标签模型的标签值码表,并可以将目标物理表与标签值码表进行关联,该标签值码表可以包括针对业务实体的实体关系信息和针对数据标签的标签类型信息。
例如,智能标签组件可以支持针对标签值码表的管理,可以提供手动输入值码表,以及将物理表与值码表进行关联的功能。
在一示例中,智能标签组件可以支持数据标签的共享功能,可以提供公共标签、工作组私有标签、授权标签的制作、管理、申请使用功能,针对公共标签,可以提供公共标签池公开策略设置功能,能够支持子树可见和下级节点可见的设置,也可以提供公共标签的浏览、搜索、查看、使用申请功能;针对工作组私有标签,可以提供工作组私有标签的公开、撤回功能;针对授权标签,可以提供使用申请的审批和授权功能。
步骤304,根据所述标签值码表,确定目标物理表对应的目标实体关系信息;
在获取标签值码表并将目标物理表与标签值码表进行关联后,可以根据标签值码表,确定目标物理表对应的目标实体关系信息,以将物理表与业务实体进行映射。
在一示例中,可以通过标准化后的数据,以业务化视角将复杂的物理表进行业务化标签建模,通过数据标签模型可以将物理表与现实世界的“客户”、“商品”、“交易”等实体进行映射,从而让业务人员可以直接理解和使用数据。
在又一示例中,智能标签组件可以支持数据标签在不同云计算资源之间的同步,通过同步中的表合并,可以支持同步任务的调度和任务运维,针对同步任务可以支持一次性运行和周期调度;可以将实体关系分散在多个物理表的标签,合并同步到一张目标表中,该目标表可以保留已有分区。
智能标签组件还可以将已有标签加工生成新标签,可以通过文本TQL编写标签方案,也可以通过算法编写标签方案;可以将衍生标签配置关联到实体关系上,并可以针对衍生标签物理表的分区进行设置。
步骤305,结合所述目标实体关系信息和针对所述目标物理表的标签类型信息,对所述目标物理表进行标签化处理,得到标签化的目标物理表;
在确定目标实体关系信息后,可以结合目标实体关系信息和针对目标物理表的标签类型信息,对目标物理表进行标签化处理,得到标签化的目标物理表,以进一步针对实体化的物理表进行加工、调用。
例如,智能标签组件可以帮助数据开发人员进行数据表的实体化,让应用开发者可以直观了解需要去获取的数据对象,从而可以直接使用实体化后的数据对象及标签进行加工、衍生、调用。
在一示例中,智能标签组件的功能架构可以如图4c所示,智能标签组件可以包括分析引擎、报表中心、标签计量、标签中心、标签工厂等功能模块,其中,分析引擎功能模块可以进行引擎配置、引擎管理和快速查阅;报表中心功能模块可以进行报表方案编写、报表配置;标签计量功能模块可以进行资产计量、使用计量;标签中心功能模块可以包括标签仓库,该标签中仓库可以进行公共标签查看、标签使用申请,可以包括我的标签,其具有公共标签、工作组标签、授权标签,可以包括标签模型,该标签模型可以通过实体关系类目进行实体关系管理,也可以通过标签类目进行标签管理,并可以通过模型视图和标签属性设置,以及进行数据标签关联、查阅分区设置;标签工厂功能模块可以进行标签方案编写、标签任务配置;标签同步功能模块可以进行同步计划、同步任务设置和任务运维。
步骤306,根据标签化的目标物理表和所述业务算子信息进行模型编排,生成业务分析模型;其中,所述业务分析模型为针对指定行业的具有预设业务分析规则的模型;
在对目标物理表进行标签化处理后,可以将标签化的目标物理表和业务算子信息进行模型编排,进而可以生成业务分析模型,该业务分析模型可以为针对指定行业,并可以具有预设业务分析规则。
步骤307,采用所述业务分析模型进行数据分析,得到针对指定行业的新的业务数据;其中,所述业务数据包括业务场景数据和业务对象数据。
在生成业务分析模型后,可以采用业务分析模型进行数据探查分析,进而可以得到针对指定行业的新的业务数据,其可以包括业务场景数据和业务对象数据。
在一示例中,智能标签组件可以帮助开发者从业务需求的角度有效的整合各个大数据产品,降低了搭建大数据应用系统当中的系统工程工作量,并可以在相应行业应用解决方案的结合下,让不是很熟悉大数据应用系统开发的程序员也能够快速为企业搭建大数据应用,从而实现大数据价值的快速落地。通过智能标签进行数据表的实体化,可以帮助数据开发人员加速应用开发,沉淀业务模型的输入,让应用开发者能够直观了解需要去获取的数据对象,并可以直接使用实体化后的数据对象及标签进行加工、衍生、调用。
参照图5,示出了本发明一实施例提供的另一种基于数据资源平台的数据处理方法的步骤流程图,该数据资源平台可以部署于统一数据平台,数据资源平台可以包括智能标签组件和数据探索组件,具体可以包括如下步骤:
步骤501,获取针对智能标签组件的数据标签模型和针对数据探索组件的业务算子信息;其中,所述数据标签模型用于将物理表与业务实体进行映射;所述业务算子信息用于编排业务分析模型;
在基于数据资源平台的应用开发过程中,可以通过获取数据资源平台中针对智能标签组件的数据标签模型,以将物理表与业务实体进行映射,并可以通过获取针对数据探索组件的业务算子信息,以采用业务算子信息编排业务分析模型,进而可以进一步针对业务数据进行加工、调用。
在一示例中,数据探索组件的网络架构可以如图6a所示,数据探索组件的前端和后端均可以部署于VPC(Virtual Private Cloud,虚拟私有云)区域中的ECS(ElasticCompute Service,云服务器)上,该VPC区域可以位于专有云(云平台)数据资源平台中。
数据探索组件可以与云平台管控区中的计算引擎,以及云平台业务应用VPC中的业务应用,通过网关白名单配置方式进行数据交互,且在连接云平台管控区中的计算引擎,以及云平台业务应用、数据资源平台VPC中的其它应用时,可以采用AK(Access Key,访问密钥)的认证,以确保受信的服务端进行调用。
在又一示例中,数据探索组件的部署架构可以如图6b所示,数据探索组件可以在虚拟机(ECS)上部署后端应用,可以通过负载均衡(SLB2)与部署在虚拟机(ECS)上的前端应用进行通信,并可以通过数据资源平台VPC外的负载均衡(SLB2)与外部应用或用户的客户端进行通信。
为了保证服务具备高可用性,数据探索组件的多个前、后端应用均可以采用双实例备份的模式进行部署,数据探索组件可以部署于专有云环境公共区域内数据资源平台的VPC中。
步骤502,采用所述数据标签模型,对目标物理表进行标签化处理;
在获取数据标签模型和业务算子信息后,可以采用数据标签模型,对目标物理表进行标签化处理,以进一步针对业务数据进行加工、调用。
步骤503,对标签化的目标物理表进行数据格式注册;
在对目标物理表进行标签化处理后,可以对标签化的目标物理表进行数据格式注册。例如,可以通过注册数据格式,实现与智能标签组件的元数据信息进行匹配的功能,进而可以采用统一的数据格式,实现业务算子输入、输出、参数的适配性。
步骤504,确定针对标签化的目标物理表的目标业务算子信息;
在实际应用中,可以针对标签化的目标物理表,通过智能算子搜索,得到针对标签化的目标物理表的业务算子,以作为目标业务算子信息。
步骤505,采用所述目标业务算子信息编排得到业务流程信息;所述业务流程信息为针对指定行业的业务流程信息;
在确定目标业务算子信息后,可以采用目标业务算子信息编排得到针对指定行业的业务流程信息。
步骤506,结合所述业务流程信息和预设业务分析规则,生成业务分析模型;
其中,业务分析模型可以为针对指定行业的具有预设业务分析规则的模型。
在采用目标业务算子信息编排业务流程信息后,可以结合业务流程信息和预设业务分析规则,生成业务分析模型,该业务分析模型可以为针对指定行业,并可以具有预设业务分析规则。
例如,可以通过拖拽的交互方式编排出业务模型,数据探索组件可以支持ODPS、ADS、RDS环境的业务算子编排。
在一示例中,数据探索组件的功能架构可以如图6c所示,数据探索组件可以包括模型管理、模型工厂、智能数据、智能算子等功能模块,其中,模型管理功能模块可以进行模型业务类别管理、模型版本管理、模型发布任务管理、模型发布API管理、模型结果集管理;模型工厂功能模块可以包括模型配置,该模型配置可以进行智能数据(标签)同步、智能数据搜索、智能标签筛选、智能算子搜索、智能算子配置、系统组件搜索、画布流程编辑、结果生成标签,可以包括模型运行、发布;智能数据功能模块可以进行数据格式注册、智能标签映射、本地数据导入;智能算子功能模块可以进行资源包注册、算子类目管理、算子输入配置、算子输出配置、算子参数配置、算子代码配置。
步骤507,采用所述业务分析模型进行数据分析,得到针对指定行业的新的业务数据;其中,所述业务数据包括业务场景数据和业务对象数据。
在生成业务分析模型后,可以采用业务分析模型进行数据探查分析,进而可以得到针对指定行业的新的业务数据,其可以包括业务场景数据和业务对象数据。
在本发明一实施例中,所述方法还可以包括如下步骤:
对所述业务分析模型进行模型参数调整;对所述业务分析模型进行模型运行测试;对所述业务分析模型进行模型版本发布。
例如,数据探索组件可以针对业务分析模型调整模型参数、运行模型测试、发布模型版本,并可以为离线模型配置周期调度任务,可以通过对模型运行的结果选择持久化保存,然后可以将模型运行结果入库至标签中心,可以将模型运行结果直接传输进行可视化分析,模型生成API(Application Programming Interface,应用程序接口)可以直接服务于上层应用(如态势预警),且可以将模型生成API连接至综合服务平台以供第三方应用调用。
在一示例中,数据探索组件可以为业务人员提供交互式数据分析探查工具,其可以具有针对指定业务场景的模型(即业务分析模型)的编排、调试、运行、发布功能,从而可以使数据更干净、更标准、更智能。
需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明实施例并不受所描述的动作顺序的限制,因为依据本发明实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本发明实施例所必须的。
参照图7,示出了本发明一实施例提供的一种基于数据资源平台的数据处理装置的结构示意图,该数据资源平台可以部署于统一数据平台,数据资源平台可以包括智能标签组件和数据探索组件,具体可以包括如下模块:
数据标签模型和业务算子信息获取模块701,用于获取针对智能标签组件的数据标签模型和针对数据探索组件的业务算子信息;其中,所述数据标签模型用于将物理表与业务实体进行映射;所述业务算子信息用于编排业务分析模型;
标签化处理模块702,用于采用所述数据标签模型,对目标物理表进行标签化处理;
业务分析模型生成模块703,用于根据标签化的目标物理表和所述业务算子信息进行模型编排,生成业务分析模型;其中,所述业务分析模型为针对指定行业的具有预设业务分析规则的模型;
业务数据得到模块704,用于采用所述业务分析模型进行数据分析,得到针对指定行业的新的业务数据;其中,所述业务数据包括业务场景数据和业务对象数据。
在本发明一实施例中,所述装置还包括:
目标物理表确定子模块,用于从多个数据库中,确定目标物理表;
关联子模块,用于获取针对所述数据标签模型的标签值码表,并将所述目标物理表与标签值码表进行关联;其中,所述标签值码表包括针对业务实体的实体关系信息和针对数据标签的标签类型信息。
在本发明一实施例中,所述标签化处理模块702包括:
目标实体关系信息确定子模块,用于根据所述标签值码表,确定目标物理表对应的目标实体关系信息;
标签化处理子模块,用于结合所述目标实体关系信息和针对所述目标物理表的标签类型信息,对所述目标物理表进行标签化处理,得到标签化的目标物理表。
在本发明一实施例中,业务分析模型生成模块703包括:
目标业务算子信息确定子模块,用于确定针对标签化的目标物理表的目标业务算子信息;
业务流程信息得到子模块,用于采用所述目标业务算子信息编排得到业务流程信息;所述业务流程信息为针对指定行业的业务流程信息;
业务分析模型生成子模块,用于结合所述业务流程信息和预设业务分析规则,生成业务分析模型。
在本发明一实施例中,所述装置还包括:
数据格式注册模块,用于对标签化的目标物理表进行数据格式注册。
在本发明一实施例中,所述装置还包括:
模型参数调整模块,用于对所述业务分析模型进行模型参数调整;
模型运行测试模块,用于对所述业务分析模型进行模型运行测试;
模型版本发布模块,用于对所述业务分析模型进行模型版本发布。
在本发明一实施例中,所述标签类型信息包括以下任一项或多项:
公共标签、工作组标签、授权标签。
在本发明实施例中,通过获取针对智能标签组件的数据标签模型和针对数据探索组件的业务算子信息,数据标签模型用于将物理表与业务实体进行映射,业务算子信息用于编排业务分析模型,然后采用数据标签模型,对目标物理表进行标签化处理,根据标签化的目标物理表和业务算子信息进行模型编排,生成业务分析模型,业务分析模型为针对指定行业的具有预设业务分析规则的模型,进而采用业务分析模型进行数据分析,得到针对指定行业的新的业务数据,业务数据包括业务场景数据和业务对象数据,实现了针对大数据信息的有效整合,通过将数据表实体化,能够让应用开发者直观了解所需获取的业务数据,且采用业务分析模型对数据进行分析探查,使得数据更标准、更智能。
本发明一实施例还提供了一种电子设备,可以包括处理器、存储器及存储在存储器上并能够在处理器上运行的计算机程序,计算机程序被处理器执行时实现如上基于数据资源平台的数据处理方法。
本发明一实施例还提供了一种计算机可读存储介质,计算机可读存储介质上存储计算机程序,计算机程序被处理器执行时实现如上基于数据资源平台的数据处理方法。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白,本发明实施例可提供为方法、装置、或计算机程序产品。因此,本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对所提供的一种基于数据资源平台的数据处理方法和装置,进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于数据资源平台的数据处理方法,其特征在于,所述数据资源平台部署于统一数据平台,所述数据资源平台包括智能标签组件和数据探索组件,所述方法包括:
获取针对智能标签组件的数据标签模型和针对数据探索组件的业务算子信息;其中,所述数据标签模型用于将物理表与业务实体进行映射;所述业务算子信息用于编排业务分析模型;
采用所述数据标签模型,对目标物理表进行标签化处理;
根据标签化的目标物理表和所述业务算子信息进行模型编排,生成业务分析模型;其中,所述业务分析模型为针对指定行业的具有预设业务分析规则的模型;
采用所述业务分析模型进行数据分析,得到针对指定行业的新的业务数据;其中,所述业务数据包括业务场景数据和业务对象数据。
2.根据权利要求1所述的方法,其特征在于,在所述采用所述数据标签模型,对目标物理表进行标签化处理之前,还包括:
从多个数据库中,确定目标物理表;
获取针对所述数据标签模型的标签值码表,并将所述目标物理表与标签值码表进行关联;其中,所述标签值码表包括针对业务实体的实体关系信息和针对数据标签的标签类型信息。
3.根据权利要求2所述的方法,其特征在于,所述采用所述数据标签模型,对目标物理表进行标签化处理,包括:
根据所述标签值码表,确定目标物理表对应的目标实体关系信息;
结合所述目标实体关系信息和针对所述目标物理表的标签类型信息,对所述目标物理表进行标签化处理,得到标签化的目标物理表。
4.根据权利要求1或3所述的方法,其特征在于,所述根据标签化的目标物理表和所述业务算子信息进行模型编排,生成业务分析模型,包括:
确定针对标签化的目标物理表的目标业务算子信息;
采用所述目标业务算子信息编排得到业务流程信息;所述业务流程信息为针对指定行业的业务流程信息;
结合所述业务流程信息和预设业务分析规则,生成业务分析模型。
5.根据权利要求1或4所述的方法,其特征在于,在所述根据标签化的目标物理表和所述业务算子信息进行模型编排,生成业务分析模型之前,还包括:
对标签化的目标物理表进行数据格式注册。
6.根据权利要求1所述的方法,其特征在于,在所述根据标签化的目标物理表和所述业务算子信息进行模型编排,生成业务分析模型之后,还包括:
对所述业务分析模型进行模型参数调整;
对所述业务分析模型进行模型运行测试;
对所述业务分析模型进行模型版本发布。
7.根据权利要求2所述的方法,其特征在于,所述标签类型信息包括以下任一项或多项:
公共标签、工作组标签、授权标签。
8.一种基于数据资源平台的数据处理装置,其特征在于,所述数据资源平台部署于统一数据平台,所述数据资源平台包括智能标签组件和数据探索组件,所述装置包括:
数据标签模型和业务算子信息获取模块,用于获取针对智能标签组件的数据标签模型和针对数据探索组件的业务算子信息;其中,所述数据标签模型用于将物理表与业务实体进行映射;所述业务算子信息用于编排业务分析模型;
标签化处理模块,用于采用所述数据标签模型,对目标物理表进行标签化处理;
业务分析模型生成模块,用于根据标签化的目标物理表和所述业务算子信息进行模型编排,生成业务分析模型;其中,所述业务分析模型为针对指定行业的具有预设业务分析规则的模型;
业务数据得到模块,用于采用所述业务分析模型进行数据分析,得到针对指定行业的新的业务数据;其中,所述业务数据包括业务场景数据和业务对象数据。
9.一种电子设备,其特征在于,包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的基于数据资源平台的数据处理方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的基于数据资源平台的数据处理方法。
CN202011284371.9A 2020-11-17 2020-11-17 一种基于数据资源平台的数据处理方法和装置 Pending CN112288614A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011284371.9A CN112288614A (zh) 2020-11-17 2020-11-17 一种基于数据资源平台的数据处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011284371.9A CN112288614A (zh) 2020-11-17 2020-11-17 一种基于数据资源平台的数据处理方法和装置

Publications (1)

Publication Number Publication Date
CN112288614A true CN112288614A (zh) 2021-01-29

Family

ID=74399085

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011284371.9A Pending CN112288614A (zh) 2020-11-17 2020-11-17 一种基于数据资源平台的数据处理方法和装置

Country Status (1)

Country Link
CN (1) CN112288614A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113032611A (zh) * 2021-03-12 2021-06-25 浙江大华技术股份有限公司 数据处理方法、目标追踪方法以及相关装置
CN113094560A (zh) * 2021-05-07 2021-07-09 国家电网有限公司大数据中心 基于数据中台的数据标签库构建方法、装置、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180343184A1 (en) * 2017-05-25 2018-11-29 Ehrlich Wesen & Dauer, LLC. Platform for Multi-Function Network Resource Analysis
CN109635029A (zh) * 2018-12-07 2019-04-16 深圳前海微众银行股份有限公司 基于标签指标体系的数据处理方法、装置、设备及介质
CN110851428A (zh) * 2019-11-19 2020-02-28 厦门市美亚柏科信息股份有限公司 基于规则算子动态编排的数据库分析方法、装置及介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180343184A1 (en) * 2017-05-25 2018-11-29 Ehrlich Wesen & Dauer, LLC. Platform for Multi-Function Network Resource Analysis
CN109635029A (zh) * 2018-12-07 2019-04-16 深圳前海微众银行股份有限公司 基于标签指标体系的数据处理方法、装置、设备及介质
CN110851428A (zh) * 2019-11-19 2020-02-28 厦门市美亚柏科信息股份有限公司 基于规则算子动态编排的数据库分析方法、装置及介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113032611A (zh) * 2021-03-12 2021-06-25 浙江大华技术股份有限公司 数据处理方法、目标追踪方法以及相关装置
CN113094560A (zh) * 2021-05-07 2021-07-09 国家电网有限公司大数据中心 基于数据中台的数据标签库构建方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
WO2022160707A1 (zh) 结合rpa和ai的人机互动方法、装置、存储介质及电子设备
CN112260877B (zh) 基于ai的rpa机器人管理方法、平台及存储介质
CN107003906A (zh) 云计算技术部件的类型到类型分析
CN106790001A (zh) 基于统一界面的多系统角色权限管理方法及系统
US20190050435A1 (en) Object data association index system and methods for the construction and applications thereof
CN111858713A (zh) 基于对象的政府信息化资产管理方法及系统
CN112288614A (zh) 一种基于数据资源平台的数据处理方法和装置
CN113326028B (zh) 一种基于领域驱动设计与业务全景事件风暴的微服务化分解方法
CN112328585A (zh) 一种数据处理的方法和装置
Cheng An object-oriented organizational model to support dynamic role-based access control in electronic commerce
Zhang et al. A distributed collaborative urban traffic big data system based on cloud computing
CN112330519A (zh) 一种数据处理的方法和装置
Postina et al. An ea-approach to develop soa viewpoints
CN112579558A (zh) 展示拓扑图的方法、装置、存储介质及设备
Tariq et al. Security requirement management for cloud-assisted and internet of things⇔ enabled smart city
GB2315345A (en) Apparatus for supporting development of a computer system
Waltz et al. Requirements derivation for data fusion systems
Koliadis et al. Towards an enterprise business process architecture standard
CN113076308B (zh) 一种时空大数据服务系统
KR20210004505A (ko) 경영 표준 규격 자동 매핑 시스템
CN112256687A (zh) 一种数据处理的方法和装置
Lautenbacher et al. Planning support for enterprise changes
de Leoni et al. Decomposing conformance checking on Petri nets with data
Kinnunen et al. O/A matrix and a technique for methodology engineering
Borky et al. Analyzing Requirements in an Operational Viewpoint

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210129

RJ01 Rejection of invention patent application after publication