CN112330519A - 一种数据处理的方法和装置 - Google Patents
一种数据处理的方法和装置 Download PDFInfo
- Publication number
- CN112330519A CN112330519A CN202011284339.0A CN202011284339A CN112330519A CN 112330519 A CN112330519 A CN 112330519A CN 202011284339 A CN202011284339 A CN 202011284339A CN 112330519 A CN112330519 A CN 112330519A
- Authority
- CN
- China
- Prior art keywords
- algorithm
- target
- service platform
- information
- platform
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 9
- 238000000034 method Methods 0.000 claims abstract description 47
- 238000012545 processing Methods 0.000 claims abstract description 45
- 230000006870 function Effects 0.000 claims description 78
- 238000004590 computer program Methods 0.000 claims description 16
- 238000003860 storage Methods 0.000 claims description 8
- 230000008878 coupling Effects 0.000 abstract description 7
- 238000010168 coupling process Methods 0.000 abstract description 7
- 238000005859 coupling reaction Methods 0.000 abstract description 7
- 238000005457 optimization Methods 0.000 abstract description 7
- 238000007726 management method Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 14
- 238000011161 development Methods 0.000 description 8
- 230000004927 fusion Effects 0.000 description 8
- 238000010276 construction Methods 0.000 description 6
- 238000012423 maintenance Methods 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 238000013523 data management Methods 0.000 description 3
- 230000008676 import Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
- G06Q10/103—Workflow collaboration or project management
Landscapes
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- Engineering & Computer Science (AREA)
- Tourism & Hospitality (AREA)
- Entrepreneurship & Innovation (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Theoretical Computer Science (AREA)
- Economics (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- Operations Research (AREA)
- Development Economics (AREA)
- Educational Administration (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明实施例提供了一种数据处理的方法和装置，所述方法包括：所述算法服务平台接收所述数据资源平台中目标功能组件发送的算法配置请求；所述算法服务平台根据所述算法配置请求，从多个候选算法信息中，确定所述目标功能组件对应的目标算法信息；所述算法服务平台确定针对所述目标算法信息的目标使用方式；所述算法服务平台按照所述目标使用方式，针对所述目标功能组件进行配置，以为所述目标功能组件提供所述目标算法信息对应的算法流程配置。通过本发明实施例，实现了针对数据资源平台的算法管理优化，能够为数据加工各阶段提供智能算法能力，提升了数据资源平台的算法服务能力，且降低了算法使用时的耦合度。
Description
技术领域
本发明涉及数据处理领域，特别是涉及一种数据处理的方法和装置。
背景技术
随着计算机、网络和通信等技术的发展，为了更智能的为城市提供智能服务，同步建设了大量的应用服务，无论从数据的广度和深度，还是从应用服务的全面性与精准性，针对“多模型、多应用”的模式提供应用服务建设是为城市提供智能服务的发展方向。
在智慧城市建设中，大数据平台中多个项目或产品在数据加工的各阶段使用算法时，存在耦合度高，无法快速部署算法配置的问题，造成了算法服务能力低，影响大数据平台的数据加工处理。
发明内容
鉴于上述问题，提出了以便提供克服上述问题或者至少部分地解决上述问题的一种数据处理的方法和装置，包括：
一种数据处理的方法，应用于算法服务平台，所述算法服务平台部署于数据资源平台，所述数据资源平台包括多个功能组件，所述方法包括：
所述算法服务平台接收所述数据资源平台中目标功能组件发送的算法配置请求；
所述算法服务平台根据所述算法配置请求，从多个候选算法信息中，确定所述目标功能组件对应的目标算法信息；
所述算法服务平台确定针对所述目标算法信息的目标使用方式；
所述算法服务平台按照所述目标使用方式，针对所述目标功能组件进行配置，以为所述目标功能组件提供所述目标算法信息对应的算法流程配置。
可选地，在所述算法服务平台根据所述算法配置请求，从多个候选算法信息中，确定针对所述目标功能组件的目标算法信息之前，还包括：
所述算法服务平台获取所述数据资源平台中使用的多个算法信息，并构建针对所述多个算法信息的算法模块；
所述算法服务平台对所述算法模块进行使用方式标准化处理，并生成标准使用方式，以为所述数据资源平台中功能组件调用所述算法模块时使用。
可选地，所述算法服务平台根据所述算法配置请求，从多个候选算法信息中，确定针对所述目标功能组件的目标算法信息，包括：
所述算法服务平台通过所述算法模块，根据所述算法配置请求，从多个候选算法信息中，确定针对所述目标功能组件的目标算法信息；
所述算法服务平台确定所述目标算法信息对应的目标使用方式，包括：
所述算法服务平台确定所述标准使用方式为针对所述目标功能组件的目标使用方式。
可选地，所述算法配置请求包括业务场景信息，所述算法服务平台按照所述目标使用方式，针对所述目标功能组件进行配置，以为所述目标功能组件提供所述目标算法信息对应的算法流程配置，包括：
所述算法服务平台按照所述目标使用方式，生成针对所述业务场景信息的目标算法流程信息；
所述算法服务平台根据所述目标算法流程信息，对所述目标功能组件进行配置，以为所述目标功能组件提供所述目标算法信息对应的算法流程配置。
可选地，还包括：
所述算法服务平台针对多个数据平台进行跨平台的算法部署上线。
可选地，还包括：
所述算法服务平台创建基于多个业务场景的解决方案信息；
还包括：
所述算法服务平台根据所述解决方案信息，生成新业务场景信息。
可选地，还包括：
所述算法服务平台对所述算法模块进行数据同步。
一种数据处理的装置，应用于算法服务平台，所述算法服务平台部署于数据资源平台，所述数据资源平台包括多个功能组件，所述装置包括：
算法配置请求接收模块，用于所述算法服务平台接收所述数据资源平台中目标功能组件发送的算法配置请求；
目标算法信息确定模块，用于所述算法服务平台根据所述算法配置请求，从多个候选算法信息中，确定所述目标功能组件对应的目标算法信息；
目标使用方式确定模块，用于所述算法服务平台确定针对所述目标算法信息的目标使用方式；
配置模块，用于所述算法服务平台按照所述目标使用方式，针对所述目标功能组件进行配置，以为所述目标功能组件提供所述目标算法信息对应的算法流程配置。
一种电子设备，包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的数据处理的方法。
一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如上所述的数据处理的方法。
本发明实施例具有以下优点：
在本发明实施例中，通过算法服务平台接收数据资源平台中目标功能组件发送的算法配置请求，根据算法配置请求，从多个候选算法信息中，确定目标功能组件对应的目标算法信息，然后确定针对目标算法信息的目标使用方式，进而按照目标使用方式，针对目标功能组件进行配置，以为目标功能组件提供目标算法信息对应的算法流程配置，实现了针对数据资源平台的算法管理优化，通过按照目标使用方式，针对目标功能组件配置对应的目标算法信息，能够为数据加工各阶段提供智能算法能力，提升了数据资源平台的算法服务能力，且降低了算法使用时的耦合度。
附图说明
为了更清楚地说明本发明的技术方案，下面将对本发明的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例提供的一种云平台整体架构的示意图；
图2是本发明一实施例提供的一种数据处理的方法的步骤流程图；
图3a是本发明一实施例提供的一种算法服务平台网络架构的示意图；
图3b是本发明一实施例提供的一种算法服务平台部署架构的示意图；
图4是本发明一实施例提供的另一种数据处理的方法的步骤流程图；
图5是本发明一实施例提供的另一种数据处理的方法的步骤流程图；
图6是本发明一实施例提供的一种算法服务平台功能架构的示意图；
图7是本发明一实施例提供的一种数据处理的装置的结构示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在智慧城市建设中，通过引入云计算，大数据，物联网，移动互联等先进技术，搭建标准统一、入口统一、采集统一、管理统一、服务统一、数据统一的跨域多维大数据公共服务云平台，从而实现跨部门、跨领域和跨地域的数据融通能力，并达到域内数据集中、域外数据共享交换、域边界依规则柔性扩展，以形成数字经济的生态循环，推动了城市管理、社会民生、资源环境、经济产业各领域的数据共享，提升了行政效率、城市治理能力、居民生活品质，促进了行业融合发展，推动了产业转型升级、创新商业模式。
通过跨域多维大数据云平台的建设，能够打破数据壁垒，实现数据集中，破解了大数据发展难题。基于云平台建设，将进一步针对云平台进行数据中台、数据共享服务体系建设。
针对数据中台(即统一数据平台)建设，通过引入数据资源平台、数据共享平台等，并配套对应的数据规范，进而可以建设一个打通各级业务协同机构、视频区域，以及各层级的业务系统、各领域的智慧应用，也可以形成一个提供开放、互联、共享的数据共享平台，且同时能够具备数据上云、数据治理、数据探索、全链路监控等统一数据管理体系。
如图1所示，云平台中部署有区域应用门户、开放服务网关、统一数据平台、区域物联传感系统以及其它结构，其中，开放服务网关包括融合业务共享中心、融合数据创新中心，以下对云平台的各个部分进行具体说明：
(一)区域应用门户
在区域应用门户中，主要分为交通、环保、旅游、工商、医疗、教育、区域经济大脑、就业、跨域鉴权等板块，用户可以通过区域应用门户进入各板块，并可以获取经处理后的数据所组成的各板块对应的资讯信息。
(二)融合业务共享中心与融合数据创新中心
融合业务共享中心可以按业务分类将各区域数据进行融合后创建不同的数据共享中心，例如：个人信息中心、信用信息中心、法人信息中心、金融服务中心、旅游服务中心、综合治理服务中心、时空服务中心、物联网服务中心等。
融合数据创新中心通过数据融合体系和AI算法体系可以实现对融合数据的创新应用。融合业务共享中心与融合数据创新中心可以将数据进行融合处理后，通过区域应用门户向用户呈现处理后的数据。
(三)统一数据平台
统一数据平台可以包括数据资源平台和数据共享平台，其中，数据资源平台可以包括多个组件，例如，数据上云、智能数仓、智能标签、数据探索、AIMaster、数据DNA、全景监控、数据资产，进而能够为上层的行业应用和业务场景提供服务，解决了数据管理领域中的数据标准化和数据质量等问题，且采用拖拽等交互方式，简化了业务逻辑和业务功能的实现，提高了数据平台的易用性。
(四)区域物联传感系统
区域物联传感系统由压力、湿度、摄像头、光源、红外传感、温度等相关传感设备及设备数据构成。
(五)其它结构
此外，还可以通过超算集群、区域云计算平台、OpenStack FI Ware集群(一个开源的云计算管理平台项目，是一系列软件开源项目的组合)，对数据进行处理。
参照图2，示出了本发明一实施例提供的一种数据处理的方法的步骤流程图，该方法可以应用于算法服务平台，算法服务平台可以部署于数据资源平台，数据资源平台可以包括多个功能组件，具体可以包括如下步骤：
步骤201，所述算法服务平台接收所述数据资源平台中目标功能组件发送的算法配置请求；
在通过数据资源平台进行数据处理的过程中，由于数据资源平台可以包括多个功能组件，该多个功能组件可以用于各阶段的数据加工处理，则在功能组件进行数据加工处理时，算法服务平台可以为其提供智能算法服务。
在具体实现中，可以通过算法服务平台接收数据资源平台中目标功能组件发送的算法配置请求，进而算法服务平台可以基于该算法配置请求，为目标功能组件的数据加工处理提供对应的算法服务。
在一示例中，算法服务平台的网络架构可以如图3a所示，算法服务平台的前端和后端均可以部署于VPC(Virtual Private Cloud，虚拟私有云)区域中的ECS(ElasticCompute Service，云服务器)上，该VPC区域可以位于专有云(云平台)数据资源平台中。
算法服务平台可以与云平台管控区中的计算引擎，以及云平台业务应用VPC中的业务应用，通过网关白名单配置方式进行数据交互，且在连接云平台管控区中的计算引擎，以及云平台业务应用、数据资源平台VPC中的其它应用时，可以采用AK(Access Key，访问密钥)的认证，以确保受信的服务端进行调用。
在又一示例中，算法服务平台的部署架构可以如图3b所示，算法服务平台可以在虚拟机(ECS)上部署后端应用，可以通过负载均衡(SLB2)与部署在虚拟机(ECS)上的前端应用进行通信，并可以通过数据资源平台VPC外的负载均衡(SLB2)与外部应用或用户的客户端进行通信。
为了保证服务具备高可用性，算法服务平台的多个前、后端应用均可以采用双实例备份的模式进行部署，算法服务平台可以部署于专有云环境公共区域内数据资源平台的VPC中。
步骤202，所述算法服务平台根据所述算法配置请求，从多个候选算法信息中，确定所述目标功能组件对应的目标算法信息；
在算法服务平台接收算法配置请求后，由于算法服务平台中可以具有多个算法信息，进而可以根据该算法配置请求，从算法服务平台中多个候选算法信息中，确定目标功能组件对应的目标算法信息。
例如，针对数据资源平台的数据加工各阶段，算法服务平台可以为各阶段数据处理的功能组件提供算法服务，可以通过算法选择，可以针对各功能组件筛选对应的算法，以针对算法进行部署和配置。
步骤203，所述算法服务平台确定针对所述目标算法信息的目标使用方式；
在确定目标算法信息后，算法服务平台可以通过确定针对目标算法信息的目标使用方式，以进一步采用该目标使用方式为目标功能组件进行算法部署和配置。
具体的，为了规范数据资源平台中项目或产品(即功能组件)使用算法的方式，可以通过算法服务平台预设针对算法信息的使用方式，进而可以通过算法服务工具以强制规范使用算法的方式。
步骤204，所述算法服务平台按照所述目标使用方式，针对所述目标功能组件进行配置，以为所述目标功能组件提供所述目标算法信息对应的算法流程配置。
在得到目标使用方式后，算法服务平台可以按照目标使用方式，针对目标功能组件进行配置，以为目标功能组件提供目标算法信息对应的算法流程配置。
通过算法服务平台可以为数据资源平台提供任务编排、调度能力和算法服务能力，并可以打通上下游数据加工和分析任务，也可以为数据加工各阶段提供智能算法管理能力。
在本发明一实施例中，所述方法还可以包括如下步骤：
所述算法服务平台针对多个数据平台进行跨平台的算法部署上线。
在一示例中，通过算法服务平台可以为基于大数据开发的智能应用或产品，提供一套一站式的算法/数据研发管理，算法服务平台可以基于业务场景进行算法流程配置，其可以作为针对跨多种异构存储/计算平台快速部署和复制算法能力的基础平台工具。
在本发明实施例中，通过算法服务平台接收数据资源平台中目标功能组件发送的算法配置请求，根据算法配置请求，从多个候选算法信息中，确定目标功能组件对应的目标算法信息，然后确定针对目标算法信息的目标使用方式，进而按照目标使用方式，针对目标功能组件进行配置，以为目标功能组件提供目标算法信息对应的算法流程配置，实现了针对数据资源平台的算法管理优化，通过按照目标使用方式，针对目标功能组件配置对应的目标算法信息，能够为数据加工各阶段提供智能算法能力，提升了数据资源平台的算法服务能力，且降低了算法使用时的耦合度。
参照图4，示出了本发明一实施例提供的另一种数据处理的方法的步骤流程图，该方法可以应用于算法服务平台，算法服务平台可以部署于数据资源平台，数据资源平台可以包括多个功能组件，具体可以包括如下步骤：
步骤401，所述算法服务平台获取所述数据资源平台中使用的多个算法信息，并构建针对所述多个算法信息的算法模块；
在实际应用中，由于可以通过算法服务平台，基于算法服务工具对使用算法的方式进行规范，则算法服务平台可以预先获取数据资源平台中使用的多个算法信息，并可以构建针对多个算法信息的算法模块，以为数据资源平台的数据加工处理提供算法管理服务，从而能够针对数据资源平台中使用的算法进行集中，并可以构建算法模块，进而可以规范算法模块的使用方式。
步骤402，所述算法服务平台对所述算法模块进行使用方式标准化处理，并生成标准使用方式，以为所述数据资源平台中功能组件调用所述算法模块时使用；
在构建算法模块后，算法服务平台可以对算法模块进行使用方式标准化处理，并可以生成标准使用方式，以为数据资源平台中功能组件调用算法模块时使用。
通过算法服务平台在系统层面上针对数据资源平台集中管理算法，能够降低算法模块和数据资源平台中其它功能组件的耦合，并可以针对算法模块内部的实现提供规范的使用方式。
步骤403，所述算法服务平台接收所述数据资源平台中目标功能组件发送的算法配置请求；
在具体实现中，可以通过算法服务平台接收数据资源平台中目标功能组件发送的算法配置请求，进而算法服务平台可以基于该算法配置请求，为目标功能组件的数据加工处理提供对应的算法服务。
步骤404，所述算法服务平台通过所述算法模块，根据所述算法配置请求，从多个候选算法信息中，确定针对所述目标功能组件的目标算法信息；
在算法服务平台接收算法配置请求后，由于算法服务平台可以预先构建针对多个算法信息的算法模块，进而可以根据该算法配置请求，针对算法服务平台的算法模块中多个候选算法信息，确定目标功能组件对应的目标算法信息，以针对进行算法部署和配置。
步骤405，所述算法服务平台确定所述标准使用方式为针对所述目标功能组件的目标使用方式；
在确定目标算法信息后，由于算法服务平台可以预设针对算法模块的标准使用方式，进而可以将该标准使用方式确定为针对目标功能组件的目标使用方式，以通过规范的使用算法方式进一步为目标功能组件进行算法部署和配置。
步骤406，所述算法服务平台按照所述目标使用方式，针对所述目标功能组件进行配置，以为所述目标功能组件提供所述目标算法信息对应的算法流程配置。
在得到目标使用方式后，算法服务平台可以按照目标使用方式，针对目标功能组件进行配置，以为目标功能组件提供目标算法信息对应的算法流程配置。
在本发明实施例中，通过算法服务平台获取数据资源平台中使用的多个算法信息，并构建针对多个算法信息的算法模块，对算法模块进行使用方式标准化处理，并生成标准使用方式，以为数据资源平台中功能组件调用算法模块时使用，然后接收数据资源平台中目标功能组件发送的算法配置请求，根据算法配置请求，通过算法模块，根据算法配置请求，从多个候选算法信息中，确定针对目标功能组件的目标算法信息，并确定标准使用方式为针对目标功能组件的目标使用方式，进而算法服务平台按照目标使用方式，针对目标功能组件进行配置，以为目标功能组件提供目标算法信息对应的算法流程配置，实现了针对数据资源平台的算法管理优化，通过构建针对多个算法信息的算法模块，并对算法模块进行使用方式标准化处理，算法服务平台能够集中管理算法，且规范了算法模块的使用方式，提升了数据资源平台的算法服务能力，且降低了算法使用时的耦合度。
参照图5，示出了本发明一实施例提供的另一种数据处理的方法的步骤流程图，该方法可以应用于算法服务平台，算法服务平台可以部署于数据资源平台，数据资源平台可以包括多个功能组件，具体可以包括如下步骤：
步骤501，所述算法服务平台接收所述数据资源平台中目标功能组件发送的算法配置请求；
在具体实现中，可以通过算法服务平台接收数据资源平台中目标功能组件发送的算法配置请求，进而算法服务平台可以基于该算法配置请求，为目标功能组件的数据加工处理提供对应的算法服务。
步骤502，所述算法服务平台根据所述算法配置请求，从多个候选算法信息中，确定所述目标功能组件对应的目标算法信息；
在算法服务平台接收算法配置请求后，由于算法服务平台中可以具有多个算法信息，进而可以根据该算法配置请求，从算法服务平台中多个候选算法信息中，确定目标功能组件对应的目标算法信息，以针对进行算法部署和配置。
步骤503，所述算法服务平台确定针对所述目标算法信息的目标使用方式；
在确定目标算法信息后，算法服务平台可以通过确定针对目标算法信息的目标使用方式，以进一步采用该目标使用方式为目标功能组件进行算法部署和配置。
步骤504，所述算法配置请求包括业务场景信息，所述算法服务平台按照所述目标使用方式，生成针对所述业务场景信息的目标算法流程信息；
作为一示例，算法配置请求可以包括业务场景信息，该业务场景信息可以为针对目标功能组件的数据处理的业务场景。
在确定目标使用方式后，由于算法配置请求可以包括业务场景信息，可以通过该业务场景信息，确定针对目标功能组件的数据处理的实际业务场景，进而算法服务平台可以按照目标使用方式，生成针对业务场景信息的目标算法流程信息，以进一步采用该目标算法流程信息对目标功能组件进行算法部署和配置。
通过算法服务平台提供基于业务视角，跨多种存储和计算平台的算法流程配置和快速部署上线能力，可以使算法工程师或数据开发工程师，在构建数据应用的时，可以从解决实际某一业务场景出发，可以通过组合配置多种类型的算法流程，从而能够快速实现和沉淀解决该业务问题的工作流。
步骤505，所述算法服务平台根据所述目标算法流程信息，对所述目标功能组件进行配置，以为所述目标功能组件提供所述目标算法信息对应的算法流程配置。
在得到目标算法流程信息后，算法服务平台可以根据该目标算法流程信息，对目标功能组件进行配置，以为目标功能组件提供目标算法信息对应的算法流程配置。
在一示例中，算法服务平台可以作为一个主要面向算法开发人员的工具，其可以针对智能系统进行架构优化，从而可以提高系统的工程化水平，也能够让算法开发人员集中精力处理算法问题，提高了算法开发效率。
在本发明一实施例中，所述方法还可以包括如下步骤：
所述算法服务平台创建基于多个业务场景的解决方案信息；
还包括：
所述算法服务平台根据所述解决方案信息，生成新业务场景信息。
在实际应用中，算法服务平台可以提供针对多业务场景组合的解决方案创建，可以进行业务场景导入导出，也可以支持基于解决方案快速生成新业务场景的快速复制能力。
在本发明一实施例中，所述方法还可以包括如下步骤：
所述算法服务平台对所述算法模块进行数据同步。
在实际应用中，通过算法服务平台对数据资源平台的算法管理服务，可以针对数据资源平台的算法数据变化时，算法服务平台可以对算法模块进行数据同步，以针对数据资源平台的算法进行集中管理。
以下结合图6对本发明实施例中智能数仓服务端的功能架构进行示例性说明：
算法服务平台的功能架构可以包括解决方案、场景管理、算法管理、数据格式、监控运维，其中，解决方案可以包括解决方案创建、解决方案导出、解决方案导入、通过解决方案复制场景，进而算法服务平台可以提供多场景组合的解决方案创建，导入导出场景，也可以支持基于解决方案快速生成新场景的快速复制能力；场景管理可以包括算法选择、算法运行参数配置、算法依赖流程配置、开发环境测试部署、一键发布上线，可以支持基于场景的发布，实现了多种计算平台的快速上线，且算法服务平台可以针对跨多种计算平台，面向业务场景将多种算法进行组合，也可以进行数据流开发；算法管理可以包括提供算法托管、算法类型支持数据同步、离线自定义算法、在线服务算法，并可以提供数据/算法服务，可以通过提供API(Application Programming Interface，应用程序接口)，实现数据或算法服务的实时调用)；数据格式可以提供标准的算法输入输出格式定义，可以支持多种数据服务，并可以支持SQL或JSON；监控运维可以包括场景状态概率、离线任务状态、流式任务状态、在线任务状态、三方运维打通，提供了基于场景的监控运维能力，并可以无缝衔接各种目标平台的运维系统。
在本发明实施例中，通过算法服务平台接收数据资源平台中目标功能组件发送的算法配置请求，根据算法配置请求，从多个候选算法信息中，确定目标功能组件对应的目标算法信息，然后确定针对目标算法信息的目标使用方式，算法配置请求包括业务场景信息，按照目标使用方式，生成针对业务场景信息的目标算法流程信息，进而根据目标算法流程信息，对目标功能组件进行配置，以为目标功能组件提供目标算法信息对应的算法流程配置，实现了针对数据资源平台的算法管理优化，通过生成针对业务场景信息的目标算法流程信息，进而对目标功能组件进行配置，算法服务平台能够提供基于业务视角的算法流程配置和快速部署上线能力，提升了数据资源平台的算法服务能力。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
参照图7，示出了本发明一实施例提供的一种数据处理的装置的结构示意图，该装置可以应用于算法服务平台，算法服务平台可以部署于数据资源平台，数据资源平台可以包括多个功能组件，具体可以包括如下模块：
算法配置请求接收模块701，用于所述算法服务平台接收所述数据资源平台中目标功能组件发送的算法配置请求；
目标算法信息确定模块702，用于所述算法服务平台根据所述算法配置请求，从多个候选算法信息中，确定所述目标功能组件对应的目标算法信息；
目标使用方式确定模块703，用于所述算法服务平台确定针对所述目标算法信息的目标使用方式；
配置模块704，用于所述算法服务平台按照所述目标使用方式，针对所述目标功能组件进行配置，以为所述目标功能组件提供所述目标算法信息对应的算法流程配置。
在本发明一实施例中，所述装置还包括：
算法模块构建模块，用于所述算法服务平台获取所述数据资源平台中使用的多个算法信息，并构建针对所述多个算法信息的算法模块；
标准使用方式生成模块，用于所述算法服务平台对所述算法模块进行使用方式标准化处理，并生成标准使用方式，以为所述数据资源平台中功能组件调用所述算法模块时使用。
在本发明一实施例中，所述目标算法信息确定模块702包括：
目标算法信息确定子模块，用于所述算法服务平台通过所述算法模块，根据所述算法配置请求，从多个候选算法信息中，确定针对所述目标功能组件的目标算法信息；
所述目标使用方式确定模块703包括：
目标使用方式确定子模块，用于所述算法服务平台确定所述标准使用方式为针对所述目标功能组件的目标使用方式。
在本发明一实施例中，所述配置模块704包括：
目标算法流程信息生成子模块，用于所述算法服务平台按照所述目标使用方式，生成针对所述业务场景信息的目标算法流程信息；
配置子模块，用于所述算法服务平台根据所述目标算法流程信息，对所述目标功能组件进行配置，以为所述目标功能组件提供所述目标算法信息对应的算法流程配置。
在本发明一实施例中，还包括：
算法部署上线模块，用于所述算法服务平台针对多个数据平台进行跨平台的算法部署上线。
在本发明一实施例中，还包括：
解决方案信息创建模块，用于所述算法服务平台创建基于多个业务场景的解决方案信息；
还包括：
新业务场景信息生成模块，用于所述算法服务平台根据所述解决方案信息，生成新业务场景信息。
在本发明一实施例中，还包括：
数据同步模块，用于所述算法服务平台对所述算法模块进行数据同步。
在本发明实施例中，通过算法服务平台接收数据资源平台中目标功能组件发送的算法配置请求，根据算法配置请求，从多个候选算法信息中，确定目标功能组件对应的目标算法信息，然后确定针对目标算法信息的目标使用方式，进而按照目标使用方式，针对目标功能组件进行配置，以为目标功能组件提供目标算法信息对应的算法流程配置，实现了针对数据资源平台的算法管理优化，通过按照目标使用方式，针对目标功能组件配置对应的目标算法信息，能够为数据加工各阶段提供智能算法能力，提升了数据资源平台的算法服务能力，且降低了算法使用时的耦合度。
本发明一实施例还提供了一种电子设备，可以包括处理器、存储器及存储在存储器上并能够在处理器上运行的计算机程序，计算机程序被处理器执行时实现如上数据处理的方法。
本发明一实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储计算机程序，计算机程序被处理器执行时实现如上数据处理的方法。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本发明实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对所提供的一种数据处理的方法和装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种数据处理的方法，其特征在于，应用于算法服务平台，所述算法服务平台部署于数据资源平台，所述数据资源平台包括多个功能组件，所述方法包括：
所述算法服务平台接收所述数据资源平台中目标功能组件发送的算法配置请求；
所述算法服务平台根据所述算法配置请求，从多个候选算法信息中，确定所述目标功能组件对应的目标算法信息；
所述算法服务平台确定针对所述目标算法信息的目标使用方式；
所述算法服务平台按照所述目标使用方式，针对所述目标功能组件进行配置，以为所述目标功能组件提供所述目标算法信息对应的算法流程配置。
2.根据权利要求1所述的方法，其特征在于，在所述算法服务平台根据所述算法配置请求，从多个候选算法信息中，确定针对所述目标功能组件的目标算法信息之前，还包括：
所述算法服务平台获取所述数据资源平台中使用的多个算法信息，并构建针对所述多个算法信息的算法模块；
所述算法服务平台对所述算法模块进行使用方式标准化处理，并生成标准使用方式，以为所述数据资源平台中功能组件调用所述算法模块时使用。
3.根据权利要求2所述的方法，其特征在于，所述算法服务平台根据所述算法配置请求，从多个候选算法信息中，确定针对所述目标功能组件的目标算法信息，包括：
所述算法服务平台通过所述算法模块，根据所述算法配置请求，从多个候选算法信息中，确定针对所述目标功能组件的目标算法信息；
所述算法服务平台确定所述目标算法信息对应的目标使用方式，包括：
所述算法服务平台确定所述标准使用方式为针对所述目标功能组件的目标使用方式。
4.根据权利要求1或3所述的方法，其特征在于，所述算法配置请求包括业务场景信息，所述算法服务平台按照所述目标使用方式，针对所述目标功能组件进行配置，以为所述目标功能组件提供所述目标算法信息对应的算法流程配置，包括：
所述算法服务平台按照所述目标使用方式，生成针对所述业务场景信息的目标算法流程信息；
所述算法服务平台根据所述目标算法流程信息，对所述目标功能组件进行配置，以为所述目标功能组件提供所述目标算法信息对应的算法流程配置。
5.根据权利要求1所述的方法，其特征在于，还包括：
所述算法服务平台针对多个数据平台进行跨平台的算法部署上线。
6.根据权利要求1所述的方法，其特征在于，还包括：
所述算法服务平台创建基于多个业务场景的解决方案信息；
还包括：
所述算法服务平台根据所述解决方案信息，生成新业务场景信息。
7.根据权利要求2所述的方法，其特征在于，还包括：
所述算法服务平台对所述算法模块进行数据同步。
8.一种数据处理的装置，其特征在于，应用于算法服务平台，所述算法服务平台部署于数据资源平台，所述数据资源平台包括多个功能组件，所述装置包括：
算法配置请求接收模块，用于所述算法服务平台接收所述数据资源平台中目标功能组件发送的算法配置请求；
目标算法信息确定模块，用于所述算法服务平台根据所述算法配置请求，从多个候选算法信息中，确定所述目标功能组件对应的目标算法信息；
目标使用方式确定模块，用于所述算法服务平台确定针对所述目标算法信息的目标使用方式；
配置模块，用于所述算法服务平台按照所述目标使用方式，针对所述目标功能组件进行配置，以为所述目标功能组件提供所述目标算法信息对应的算法流程配置。
9.一种电子设备，其特征在于，包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的数据处理的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的数据处理的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011284339.0A CN112330519A (zh) | 2020-11-17 | 2020-11-17 | 一种数据处理的方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011284339.0A CN112330519A (zh) | 2020-11-17 | 2020-11-17 | 一种数据处理的方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112330519A true CN112330519A (zh) | 2021-02-05 |
Family
ID=74320834
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011284339.0A Pending CN112330519A (zh) | 2020-11-17 | 2020-11-17 | 一种数据处理的方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112330519A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113127566A (zh) * | 2021-04-28 | 2021-07-16 | 深圳市邦盛实时智能技术有限公司 | 一种分布式场景下的智能分区系统 |
| CN113852762A (zh) * | 2021-09-27 | 2021-12-28 | 荣耀终端有限公司 | 算法调用方法与算法调用装置 |
| CN114205526A (zh) * | 2021-12-09 | 2022-03-18 | 重庆紫光华山智安科技有限公司 | 一种网络摄像机算法接入方法、系统、介质及电子终端 |
| CN115942065A (zh) * | 2023-03-08 | 2023-04-07 | 浙江大华技术股份有限公司 | 一种基于设备可用资源的算法套件调整方法及装置 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101732319B1 (ko) * | 2016-10-07 | 2017-05-02 | 박은정 | 목표 지향적 빅데이터 비즈니스 분석 프레임워크 |
| CN106611286A (zh) * | 2016-08-11 | 2017-05-03 | 四川用联信息技术有限公司 | 一种云制造中服务资源动态配置算法 |
| CN110532433A (zh) * | 2019-09-03 | 2019-12-03 | 北京百度网讯科技有限公司 | 视频场景的实体识别方法、装置、电子设备和介质 |
| CN110909288A (zh) * | 2019-11-06 | 2020-03-24 | 北京达佳互联信息技术有限公司 | 业务数据处理方法、装置、平台、业务端、系统及介质 |
| CN111061524A (zh) * | 2019-12-09 | 2020-04-24 | Oppo广东移动通信有限公司 | 一种应用数据处理方法及相关装置 |
| CN111158654A (zh) * | 2019-12-31 | 2020-05-15 | 北京每日优鲜电子商务有限公司 | 算法调用方法、装置、服务器及存储介质 |
| CN111241067A (zh) * | 2020-01-14 | 2020-06-05 | 智恒科技股份有限公司 | 一种水务大数据挖掘建模管理方法、装置、设备和介质 |
| CN111488223A (zh) * | 2020-03-24 | 2020-08-04 | 平安国际智慧城市科技股份有限公司 | 基于容器的数据处理方法、装置、设备及存储介质 |
-
2020
- 2020-11-17 CN CN202011284339.0A patent/CN112330519A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106611286A (zh) * | 2016-08-11 | 2017-05-03 | 四川用联信息技术有限公司 | 一种云制造中服务资源动态配置算法 |
| KR101732319B1 (ko) * | 2016-10-07 | 2017-05-02 | 박은정 | 목표 지향적 빅데이터 비즈니스 분석 프레임워크 |
| CN110532433A (zh) * | 2019-09-03 | 2019-12-03 | 北京百度网讯科技有限公司 | 视频场景的实体识别方法、装置、电子设备和介质 |
| CN110909288A (zh) * | 2019-11-06 | 2020-03-24 | 北京达佳互联信息技术有限公司 | 业务数据处理方法、装置、平台、业务端、系统及介质 |
| CN111061524A (zh) * | 2019-12-09 | 2020-04-24 | Oppo广东移动通信有限公司 | 一种应用数据处理方法及相关装置 |
| CN111158654A (zh) * | 2019-12-31 | 2020-05-15 | 北京每日优鲜电子商务有限公司 | 算法调用方法、装置、服务器及存储介质 |
| CN111241067A (zh) * | 2020-01-14 | 2020-06-05 | 智恒科技股份有限公司 | 一种水务大数据挖掘建模管理方法、装置、设备和介质 |
| CN111488223A (zh) * | 2020-03-24 | 2020-08-04 | 平安国际智慧城市科技股份有限公司 | 基于容器的数据处理方法、装置、设备及存储介质 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113127566A (zh) * | 2021-04-28 | 2021-07-16 | 深圳市邦盛实时智能技术有限公司 | 一种分布式场景下的智能分区系统 |
| CN113852762A (zh) * | 2021-09-27 | 2021-12-28 | 荣耀终端有限公司 | 算法调用方法与算法调用装置 |
| CN114205526A (zh) * | 2021-12-09 | 2022-03-18 | 重庆紫光华山智安科技有限公司 | 一种网络摄像机算法接入方法、系统、介质及电子终端 |
| CN115942065A (zh) * | 2023-03-08 | 2023-04-07 | 浙江大华技术股份有限公司 | 一种基于设备可用资源的算法套件调整方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Paul et al. | Internet of Things: A primer | |
| Huh et al. | Understanding edge computing: Engineering evolution with artificial intelligence | |
| Yin et al. | Big data: transforming the design philosophy of future internet | |
| Ramakrishnan et al. | A comprehensive and systematic review of the network virtualization techniques in the IoT | |
| CN112330519A (zh) | 一种数据处理的方法和装置 | |
| Asemani et al. | Understanding IoT platforms: towards a comprehensive definition and main characteristic description | |
| Fernando et al. | Opportunistic fog for IoT: Challenges and opportunities | |
| Jang et al. | Fog computing architecture based blockchain for industrial IoT | |
| Guerrero-Contreras et al. | A context-aware architecture supporting service availability in mobile cloud computing | |
| CN112199189A (zh) | 深度学习模型对资源受限边缘设备的适应 | |
| Babar et al. | A secured data management scheme for smart societies in industrial internet of things environment | |
| CN112328585A (zh) | 一种数据处理的方法和装置 | |
| Petroulakis et al. | Semiotics architectural framework: End-to-end security, connectivity and interoperability for industrial iot | |
| Mosleh et al. | Distributed resource management in systems of systems: an architecture perspective | |
| CN113947485A (zh) | 一种区块链可定制化系统 | |
| Schieferdecker et al. | Towards an open data based ICT reference architecture for smart cities | |
| CN112383436B (zh) | 一种网络监控的方法和装置 | |
| Guillemin et al. | Internet of Things global standardisation-State of play | |
| CN112256687A (zh) | 一种数据处理的方法和装置 | |
| CN112258369A (zh) | 统一数据平台和基于统一数据平台的数据处理方法 | |
| JP7458377B2 (ja) | フォグベースのデータ処理を有効にするためのデータサンプルテンプレート（Ｄａｔａ Ｓａｍｐｌｅ Ｔｅｍｐｌａｔｅ：ＤＳＴ）管理 | |
| CN117041179A (zh) | 算力网络开通方法、装置及存储介质 | |
| Zimmermann et al. | Enterprise architecture management for the internet of things | |
| Štěpánek et al. | It-enabled digital service design principles-lessons learned from digital cities | |
| CN116094919A (zh) | 通信网络的运行方法、装置、系统以及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |