CN112965943A - 一种数据处理方法、装置、电子设备以及存储介质 - Google Patents

一种数据处理方法、装置、电子设备以及存储介质 Download PDF

Info

Publication number
CN112965943A
CN112965943A CN202110341496.9A CN202110341496A CN112965943A CN 112965943 A CN112965943 A CN 112965943A CN 202110341496 A CN202110341496 A CN 202110341496A CN 112965943 A CN112965943 A CN 112965943A
Authority
CN
China
Prior art keywords
data
target
target data
processing
updated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110341496.9A
Other languages
English (en)
Inventor
周泉
黄乐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Construction Bank Corp
Original Assignee
CCB Finetech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CCB Finetech Co Ltd filed Critical CCB Finetech Co Ltd
Priority to CN202110341496.9A priority Critical patent/CN112965943A/zh
Publication of CN112965943A publication Critical patent/CN112965943A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/16File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/18File system types
    • G06F16/182Distributed file systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23Updating
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请涉及大数据技术领域,公开了一种数据处理方法、装置、电子设备以及存储介质。该方法包括:获取数据请求方的数据处理请求;其中,所述数据处理请求包括请求数据指标;从数据采集平台的已有数据中获取所述请求数据指标关联的目标数据,并向所述数据请求方反馈所述目标数据;其中,所述已有数据通过根据数据提供方提供的数据类型和数据处理规则,对所述数据提供方提供的待处理数据进行处理得到。上述技术方案,解决了不同的数据采集平台只能采集特定类型的数据,不具有高可用性的问题,提高了数据采集平台的通用性,进而为数据处理提供了一种新思路。

Description

一种数据处理方法、装置、电子设备以及存储介质
技术领域
本申请实施例涉及大数据技术领域,尤其涉及一种数据处理方法、装置、电子设备以及存储介质。
背景技术
随着大数据时代的到来,每时每刻都有大量的数据涌现,因此对数据分析尤为重要。数据分析是组织有目的地数据采集、数据分析及处理,使之成为信息的过程。数据分析的前提是数据采集和数据处理,在数据采集过程中数据来源可能不同,数据格式也可能不同。
现有技术中在数据采集时,当同时采集不同上游系统的数据时,需要部署不同的数据采集平台;但是由于不同数据采集平台的技术架构存在较大差异,因此不同的数据采集平台只能采集特定类型的数据,不具有高可用性。
发明内容
本申请提供一种数据处理方法、装置、电子设备以及存储介质,以提高数据采集平台的高可用性,提升用户体验。
第一方面,本申请实施例提供了一种数据处理方法,包括:
获取数据请求方的数据处理请求;其中,所述数据处理请求包括请求数据指标;
从数据采集平台的已有数据中获取所述请求数据指标关联的目标数据,并向所述数据请求方反馈所述目标数据;其中,所述已有数据通过根据数据提供方提供的数据类型和数据处理规则,对所述数据提供方提供的待处理数据进行处理得到。
第二方面,本申请实施例还提供了一种数据处理装置,包括:
请求获取模块,用于获取数据请求方的数据处理请求;其中,所述数据处理请求包括请求数据指标;
目标数据获取模块,用于从数据采集平台的已有数据中获取所述请求数据指标关联的目标数据,并向所述数据请求方反馈所述目标数据;其中,所述已有数据通过根据数据提供方提供的数据类型和数据处理规则,对所述数据提供方提供的待处理数据进行处理得到。
第三方面,本申请实施例还提供了一种电子设备,包括:
一个或多个处理器;
存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如本申请任一实施例所提供的数据处理方法。
第四方面,本申请实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如本申请任一实施例所提供的数据处理方法。
本申请实施例的技术方案,在获取数据请求方发送的包括请求数据指标的数据处理请求,之后,从数据采集平台的已有数据中获取请求数据指标关联的目标数据,并向数据请求方反馈目标数据;其中,已有数据通过根据数据提供方提供的数据类型和数据处理规则,对数据提供方提供的待处理数据进行处理得到。上述技术方案,与现有技术相比,通过数据采集平台获取不同数据提供方的不同数据,解决了不同的数据采集平台只能采集特定类型的数据,不具有高可用性的问题,提高了数据采集平台的通用性,进而为数据处理提供了一种新思路。
附图说明
图1为本申请实施例一提供的一种数据处理方法的流程图;
图2为本申请实施例二提供的一种数据处理方法的流程图;
图3为本申请实施例三提供的一种数据处理方法的流程图;
图4为本申请实施例四提供的一种数据处理方法的流程图;
图5为本申请实施例五提供的一种数据处理方法的流程图;
图6为本申请实施例六提供的一种数据处理装置的结构示意图;
图7为本申请实施例七提供的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本申请,而非对本申请的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本申请相关的部分而非全部结构。
实施例一
图1为本申请实施例一提供的一种数据处理方法的流程图,本实施例可适用于数据处理的情况,该方法可以由数据处理装置来执行,该装置可由软件/硬件实现,并可集成于承载数据处理功能的电子设备中。本申请实施例所提供的数据处理方法应用于数据采集平台。
如图1所示,该方法具体可以包括:
S110、获取数据请求方的数据处理请求;其中,数据处理请求包括请求数据指标。
其中,数据请求方是指需要获取数据、使用数据或查询数据等的一方;数据处理请求是指数据请求方在具有获取数据、使用数据或查询数据等需求时,向数据采集平台所发送的请求。进一步的,数据请求方的需求不同,向数据采集平台所发送的数据处理请求不同。例如,数据请求方具有查询数据需求,则可以向数据采集平台发送数据查询请求;又如,数据请求方具有获取数据需求,则可以向数据采集平台发送数据获取请求。
可选的,数据处理请求中可以包括请求数据指标;所谓数据请求指标用于唯一表征所要请求的数据,可以是数据ID。
本实施例中,数据采集平台可以获取数据请求方发送的数据处理请求。
S120、从数据采集平台的已有数据中获取请求数据指标关联的目标数据,并向数据请求方反馈目标数据;其中,已有数据通过根据数据提供方提供的数据类型和数据处理规则,对数据提供方提供的待处理数据进行处理得到。
本实施例中,数据采集平台是指对数据进行采集处理,并可向数据请求方提供数据的平台。进一步的,数据采集平台能够通过应用程序接口与不同数据提供方通信,进而从数据提供方获取数据。所谓数据提供方是指通过应用程序接口(Application ProgrammingInterface,API)向数据采集平台提供数据的一方,例如可以是公有云、私有云、互联网、业务系统日志等。需要说明的是,应用程序接口可以是WebService接口、表述性状态传递(Representational State Transfer,REST)接口、ES(Elasticsearch)集群等。其中,WebService是构建互联网分布式系统的基本部件,它是一个应用程序,向外界提供能够通过Web进行调用的应用程序接口API;REST接口通过基于REST的API公开系统资源是一种灵活的方法,可以为不同种类的应用程序提供以标准方式格式化的数据;ES集群是一个基于Lucene构建的开源、分布式、RESTful接口的全文搜索引擎,还是一个分布式文档数据库,其中每个字段均可被索引,而且每个字段的数据均可被搜索,可以在极短的时间内存储、搜索和分析大量的数据。
进一步的,数据采集平台中存储有数据,数据与数据指标一一关联。可选的,数据采集平台中的数据,即已有数据,是由数据采集平台根据数据提供方提供的数据类型和数据处理规则,对数据提供方提供的待处理数据进行处理得到。所谓待处理数据是指数据提供方向数据采集平台提供的源数据,不同的数据提供方提供的待处理数据的数据类型以及数据处理规则不同。
本实施例中,作为本实施例的一种可选方式,数据采集平台中的已有数据可以通过如下方式确定:数据采集平台可以定时通过API接口从数据提供方中获取数据,并基于数据提供方提供的待处理数据的数据类型和数据处理规则,对待处理数据进行处理,并将处理后的数据存储至数据采集平台中。
进一步的,作为本实施例的另一种可选方式,数据采集平台中的已有数据还可以通过如下方式确定:数据提供方还可以定时(例如每日日终)向数据采集平台推送待处理数据,进而数据采集平台基于数据提供方提供的待处理数据的数据类型和数据处理规则,对待处理数据进行处理,并将处理后的数据存储至数据采集平台中。
具体的,当获取数据请求方的数据处理请求后,根据数据处理请求中的请求数据指标,在数据采集平台中已有数据中进行查找,获取到请求数据指标关联的目标数据,并向数据请求方反馈目标数据。其中,目标数据是指数据请求方需要从数据采集平台中获取的数据。
需要说明的是,现有技术,在用户具有同时采集不同上游系统(即数据提供方)的数据需求时,需要部署不同的数据采集平台,成本高;同时,由于不同数据采集平台的技术架构存在较大差异,因此不同的数据采集平台只能采集特定类型的数据,不具有高可用性。
而本实施例提供了一个通用的数据采集平台,能够通过应用程序接口与不同数据提供方交互,获取不同类型的数据,并采用数据处理规则进行处理后存储于数据采集平台中(比如数据采集平台的数据库中)。进而,在用户具有同时获取不同数据提供方的数据需求时,无需部署多个数据采集平台,降低了成本,且简化了用户获取数据的过程。
本申请实施例提供的技术方案,在获取数据请求方发送的包括请求数据指标的数据处理请求,之后,从数据采集平台的已有数据中获取请求数据指标关联的目标数据,并向数据请求方反馈目标数据;其中,已有数据通过根据数据提供方提供的数据类型和数据处理规则,对数据提供方提供的待处理数据进行处理得到。上述技术方案,与现有技术相比,通过数据采集平台获取不同数据提供方的不同数据,解决了不同的数据采集平台只能采集特定类型的数据,不具有高可用性的问题,提高了数据采集平台的通用性,进而为数据处理提供了一种新思路。
实施例二
图2为本申请实施例二提供的一种数据处理方法的流程图;在上述实施例的基础上,对“从数据采集平台的已有数据中获取请求数据指标关联的目标数据,并向数据请求方反馈目标数据”进行进一步优化,提供一种可选实施方案。
如图2所示,该方法具体可以包括:
S210、获取数据请求方的数据处理请求;其中,数据处理请求包括请求数据指标。
S220、从数据采集平台的已有数据中获取请求数据指标关联的目标数据的更新时间。
其中,更新时间是指数据采集平台中的已有数据的更新时间。需要说明的是,数据采集平台会定时更新其中的已有数据,每更新一次,将更新时间记录到数据采集平台中与已有数据关联的指定位置,不同的已有数据的更新时间可以不同。
本实施例中,可以根据请求数据指标,从数据采集平台的已有数据中请求数据指标关联的目标数据的指定位置处获取目标数据的更新时间。
S230、根据目标数据的更新时间,确定目标数据是否需要更新,若是,则执行S240;若否,则执行S250。
本实施例中,可以根据目标数据的更新时间和预设更新时间,确定目标数据是否需要更新,其中,预设更新时间是本领域技术人员根据实际情况设定的。具体可以是,若目标数据的更新时间是预设更新时间相同的倍数,则确定目标数据需要更新。
可选的,还可以是,计算当前时间和目标数据的更新时间之间的时间差,进而根据时间差和预设更新周期,确定目标数据是否需要更新。其中,预设更新周期是本领域技术人员根据数据情况设定的。具体的,若时间差大于预设更新周期,则确定目标数据需要更新。
S240、对目标数据进行更新,并向数据请求方反馈更新后的目标数据。
需要说明的是,在向数据请求方反馈更新后的目标数据的同时,将更新后的目标数据存入数据采集平台中。
S250、从数据采集平台的已有数据中获取请求数据指标关联的目标数据,并向数据请求方反馈目标数据。
本实施例的技术方案,通过从数据采集平台的已有数据中获取请求数据指标关联的目标数据的更新时间,之后根据目标数据的更新时间,确定目标数据是否需要更新。上述技术方案,通过引入更新时间,可以保证数据请求方获取到的数据是最新的,进而提升用户的体验。
实施例三
图3为本申请实施例三提供的一种数据处理方法的流程图;在上述实施例的基础上,对“对目标数据进行更新”进一步优化,提供一种可选实施方案。
如图3所示,该方法具体可以包括:
S310、获取数据请求方的数据处理请求;其中,数据处理请求包括请求数据指标。
S320、从数据采集平台的已有数据中获取请求数据指标关联的目标数据的更新时间。
S330、根据目标数据的更新时间,确定目标数据是否需要更新;若是,则执行S340;若否,则执行S370。
S340、确定目标数据的目标数据提供方。
本实施例中,数据采集平台从数据提供方获取待处理数据时,除了基于数据提供方提供的待处理数据的数据类型和数据处理规则,对待处理数据进行处理,并将处理后的数据存储至数据采集平台中之外,还可以将待处理数据的数据提供方标识也存入到数据平台中;其中,数据提供方标识用于唯一表征数据提供方,可以是一串数字。因此,从数据采集平台中获取目标数据的目标数据提供方。
进一步的,数据采集平台从数据提供方获取待处理数据时,未将待处理数据的数据提供方标识存入至数据采集平台中,作为本实施例的一种可选方式,还可以基于机器学习技术,根据目标数据的数据类型以及数据处理规则,解析出数据提供方。
S350、从目标数据提供方获取目标数据的待更新数据。
本实施例中,待更新数据是指需要对目标数据进行更新的数据。基于API接口从目标数据提供方获取目标数据的待更新数据。例如待更新数据可以是JSON或者可扩展标记语言(Extensible Markup Language,XML)格式的数据。JSON或者XML格式的数据是有多个层级构成的数据格式,每个层级中有节点数据。
S360、采用数据提供方提供的目标数据的数据类型关联的数据处理规则,对待更新数据进行处理,以得到更新后的目标数据,并向数据请求方反馈更新后的目标数据。
示例性的,确定目标数据的数据类型是否为指定类型;若是,则从待更新数据中获取新数据,作为更新后的目标数据,其中,指定类型是本领域技术人员预先设置好的。具体的,若目标数据的数据类型是JSON或者XML时,因此待更新数据的数据类型也是JSON或者XML,由于待更新数据的层级结构清晰,可以从待更新数据的指定层级中获取节点数据,作为新数据,进而将新数据作为更新后的目标数据。
S370、从数据采集平台的已有数据中获取请求数据指标关联的目标数据,并向数据请求方反馈目标数据。
本实施例的技术方案,通过确定目标数据的目标数据提供方,之后从目标数据提供方获取目标数据的待更新数据,进而采用数据提供方提供的目标数据的数据类型关联的数据处理规则,对待更新数据进行处理,以得到更新后的目标数据。上述技术方案,通过获取目标数据的待更新数据,使得目标数据的更新更加准确规范。
实施例四
图4为本申请实施例四提供的一种数据处理方法的流程图;在上述实施例的基础上,对“向数据请求方反馈目标数据”进一步优化,提供一种可选实施方案。
如图4所示,该方法具体可以包括:
S410、获取数据请求方的数据处理请求;其中,数据处理请求包括请求数据指标。
S420、从数据采集平台的已有数据中获取请求数据指标关联的目标数据。
其中,已有数据通过根据数据提供方提供的数据类型和数据处理规则,对数据提供方提供的待处理数据进行处理得到。
S430、基于预设展示规则,对目标数据进行处理,得到目标展示数据。
其中,预设展示规则用于对目标数据进行处理,是本领域技术人员根据实际需求设定的。
本实施例中,对目标数据进行日期格式化、数据缩放、数据累加、数据脱敏、数据排序中的至少一种处理,得到目标展示数据。
示例性的,目标数据为时间戳时,将目标数据按照配置的日期展示形式进行日期格式化处理。例如配置的日期展示形式可以是:yyyyMMdd、yyyy-MM-dd、HH:mm:ss。
示例性的,目标数据为数字的数据时,还可以对目标数据进行缩放处理。例如,在统计某营业点的用户成交率时,或者显示汇率时,目标数据为0.5,将目标数据扩大100倍变为50%,作为目标展示数据。
示例性的,目标数据为至少包括两个数字的数据时,可以将目标数据进行累加处理。例如数据请求方要查询某理财产品的全年收入时,目标数据为该理财产品的月收入,将每个月的理财月收入相加后,将相加后的结果作为目标展示数据。
示例性的,目标数据为敏感数据时,例如姓名、身份证号、手机号等,对目标数据进行脱敏处理,具体可以是只显示部分信息,其余信息用*代替。
示例性的,目标数据为多个数据时,还可以根据配置的排序规则对目标数据进行排序处理。
示例性的,目标数据为至少两个数据时,还可以根据配置的公式进行计算,并将计算后的结果作为目标展示数据。例如计算某营业点的营业额的同比环比增长率时,可以根据配置的公式进行计算,并将计算后的结果作为目标展示数据。
S440、向数据请求方反馈目标展示数据。
本实施例的技术方案,通过基于预设展示规则,对目标数据进行处理,得到目标展示数据,并向数据请求方反馈目标数据。上述技术方案,引入预设展示规则对目标数据进行处理,在满足数据请求方的需求的同时,还可以保证数据信息的安全性。
实施例五
图5为本申请实施例五提供的一种数据处理方法的流程图;在上述实施例的基础上,进一步对数据提供方进行验证以及对请求数据指标进行验证,提供一种可选实施方案。
如图5所示,该方法具体可以包括:
S510、获取数据请求方的数据处理请求;其中,数据处理请求包括请求数据指标。
本实施例中,数据处理请求还可以包括数据请求方的身份标识,其中,身边标识可以是数据请求方法的账户名称、账户ID等,用于唯一表征数据请求方,可以是数据请求方在数据采集平台注册时,数据采集平台为数据请求方分配的唯一标识。
S520、验证数据请求方的请求权限,以及验证请求数据指标的合法性。
为了保证数据请求方的真实性,作为本实施例的一种可选方式,可以根据数据请求方的身份标识和数据采集平台已注册的身份标识,验证数据请求方的请求权限。具体的,以数据请求方的身份标识为索引,在数据采集平台中已注册的身份标识中进行检索,若存在,则数据请求方有请求权限。
为了保证请求数据指标的合法性,作为本实施例的一种可选方式,可以根据请求数据指标,从数据采集平台的已有数据中查询,进而根据查询结果,确定请求数据指标合法。具体的,可以以请求数据指标为索引,在数据采集平台的已有数据的指标中查询,若查询到,则确定请求数据指标合法。
S530、若权限验证通过且合法性验证通过,则从数据采集平台的已有数据中获取请求数据指标关联的目标数据,并向数据请求方反馈目标数据;其中,已有数据通过根据数据提供方提供的数据类型和数据处理规则,对数据提供方提供的待处理数据进行处理得到。
本实施例的技术方案,通过验证数据请求方的请求权限,以及验证请求数据指标的合法性,保证了数据请求方的真实性,同时也保证了数据请求方法所要获取的数据的合法性。
实施例六
图6为本申请实施例六提供的一种数据处理装置的结构示意图;本实施例可适用于数据处理的情况,该装置可由软件/硬件实现,并可集成于承载数据处理功能的电子设备中。
如图6所示,该装置可以包括请求获取模块610和目标数据获取模块620,其中,
请求获取模块610,用于获取数据请求方的数据处理请求;其中,数据处理请求包括请求数据指标;
目标数据获取模块620,用于从数据采集平台的已有数据中获取请求数据指标关联的目标数据,并向数据请求方反馈目标数据;其中,已有数据通过根据数据提供方提供的数据类型和数据处理规则,对数据提供方提供的待处理数据进行处理得到。
本申请实施例提供的技术方案,在获取数据请求方发送的包括请求数据指标的数据处理请求,之后,从数据采集平台的已有数据中获取请求数据指标关联的目标数据,并向数据请求方反馈目标数据;其中,已有数据通过根据数据提供方提供的数据类型和数据处理规则,对数据提供方提供的待处理数据进行处理得到。上述技术方案,与现有技术相比,通过数据采集平台获取不同数据提供方的不同数据,解决了不同的数据采集平台只能采集特定类型的数据,不具有高可用性的问题,提高了数据采集平台的通用性,进而为数据处理提供了一种新思路。
进一步地,目标数据获取模块620包括更新时间确定子模块、更新判断子模块和目标数据更新子模块,其中,
更新时间确定子模块,用于从数据采集平台的已有数据中获取请求数据指标关联的目标数据的更新时间;
更新判断子模块,用于根据目标数据的更新时间,确定目标数据是否需要更新;
目标数据更新子模块,用于若是,则对目标数据进行更新,并向数据请求方反馈目标数据。
进一步地,更新判断子模块包括时间差计算单元和更新判断单元,其中,
时间差计算单元,用于计算当前时间和目标数据的更新时间之间的时间差;
更新判断单元,用于根据时间差和预设更新周期,确定目标数据是否需要更新。
进一步地,更新判断单元具体用于:
若时间差大于预设更新周期,确定目标数据需要更新。
进一步地,目标数据更新子模块包括目标数据提供方确定单元、待更新数据获取单元和目标数据更新单元,其中,
目标数据提供方确定单元,用于确定目标数据的目标数据提供方;
待更新数据获取单元,用于从目标数据提供方获取目标数据的待更新数据;
目标数据更新单元,用于采用数据提供方提供的目标数据的数据类型关联的数据处理规则,对待更新数据进行处理,以得到更新后的目标数据。
进一步地,目标数据更新单元包括指定类型确定子单元和目标数据更新子单元,其中,
指定类型确定子单元,用于确定目标数据的数据类型是否为指定类型;
目标数据更新子单元,用于若是,则从待更新数据中获取新数据,作为更新后的目标数据。
进一步地,目标数据获取模块620还包括目标展示数据得到单元和目标数据反馈单元,其中,
目标展示数据得到单元,用于基于预设展示规则,对目标数据进行处理,得到目标展示数据;
目标数据反馈单元,用于向数据请求方反馈目标展示数据。
进一步地,目标展示数据展示单元具体用于:
对目标数据进行日期格式化、数据缩放、数据累加、数据脱敏、数据排序中的至少一种处理,得到目标展示数据。
进一步地,该装置还包括验证模块,该验证模块具体用于:
验证数据请求方的请求权限,以及验证请求数据指标的合法性。
进一步地,验证模块包括身份验证单元,该身份验证单元具体用于:
根据数据请求方的身份标识和数据采集平台已注册的身份标识,验证数据请求方的请求权限。
进一步地,验证模块还包括合法性验证模块,合法性验证模块包括指标查询单元和合法性确定单元,其中,
指标查询单元,用于根据请求数据指标,从数据采集平台的已有数据中查询;
合法性确定单元,用于根据查询结果,确定请求数据指标合法。
进一步地,目标数据获取模块620还包括目标数据存储单元,该目标数据存储单元具体用于:
将更新后的目标数据存入数据采集平台中。
上述数据处理装置可执行本申请任意实施例所提供的数据处理方法,具备执行方法相应的功能模块和有益效果。
实施例七
图7为本申请实施例七提供的一种电子设备的结构示意图,图7示出了适于用来实现本申请实施例实施方式的示例性设备的框图。图7显示的设备仅仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图7所示,电子设备12以通用计算设备的形式表现。电子设备12的组件可以包括但不限于:一个或者多个处理器或者处理单元16,系统存储器28,连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(ISA)总线,微通道体系结构(MAC)总线,增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
电子设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备12访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(RAM)30和/或高速缓存存储器32。电子设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统34可以用于读写不可移动的、非易失性磁介质(图7未显示,通常称为“硬盘驱动器”)。尽管图7中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线18相连。系统存储器28可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本申请实施例各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40,可以存储在例如系统存储器28中,这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本申请实施例所描述的实施例中的功能和/或方法。
电子设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信,还可与一个或者多个使得用户能与该电子设备12交互的设备通信,和/或与使得该电子设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且,电子设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器20通过总线18与电子设备12的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备12使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序,从而执行各种功能应用以及数据处理,例如实现本申请实施例所提供的数据处理方法。
实施例八
本申请实施例八还提供一种计算机可读存储介质,其上存储有计算机程序(或称为计算机可执行指令),该程序被处理器执行时用于执行本申请实施例所提供的数据处理方法,该方法包括:
获取数据请求方的数据处理请求;其中,数据处理请求包括请求数据指标;
从数据采集平台的已有数据中获取请求数据指标关联的目标数据,并向数据请求方反馈目标数据;其中,已有数据通过根据数据提供方提供的数据类型和数据处理规则,对数据提供方提供的待处理数据进行处理得到。
本申请实施例的计算机存储介质,可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请实施例操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络包括局域网(LAN)或广域网(WAN)连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意,上述仅为本申请的较佳实施例及所运用技术原理。本领域技术人员会理解,本申请不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此,虽然通过以上实施例对本申请实施例进行了较为详细的说明,但是本申请实施例不仅仅限于以上实施例,在不脱离本申请构思的情况下,还可以包括更多其他等效实施例,而本申请的范围由所附的权利要求范围决定。

Claims (15)

1.一种数据处理方法,其特征在于,包括:
获取数据请求方的数据处理请求;其中,所述数据处理请求包括请求数据指标;
从数据采集平台的已有数据中获取所述请求数据指标关联的目标数据,并向所述数据请求方反馈所述目标数据;其中,所述已有数据通过根据数据提供方提供的数据类型和数据处理规则,对所述数据提供方提供的待处理数据进行处理得到。
2.根据权利要求1所述的方法,其特征在于,从数据采集平台的已有数据中获取所述请求数据指标关联的目标数据,并向所述数据请求方反馈所述目标数据,包括:
从数据采集平台的已有数据中获取所述请求数据指标关联的目标数据的更新时间;
根据所述目标数据的更新时间,确定所述目标数据是否需要更新;
若是,则对所述目标数据进行更新,并向所述数据请求方反馈所述目标数据。
3.根据权利要求2所述的方法,其特征在于,根据所述目标数据的更新时间,确定所述目标数据是否需要更新,包括:
计算当前时间和所述目标数据的更新时间之间的时间差;
根据所述时间差和预设更新周期,确定所述目标数据是否需要更新。
4.根据权利要求3所述的方法,其特征在于,根据所述时间差和预设更新周期,确定所述目标数据是否需要更新,包括:
若所述时间差大于预设更新周期,确定所述目标数据需要更新。
5.根据权利要求2所述的方法,其特征在于,对所述目标数据进行更新,包括:
确定所述目标数据的目标数据提供方;
从所述目标数据提供方获取所述目标数据的待更新数据;
采用数据提供方提供的目标数据的数据类型关联的数据处理规则,对所述待更新数据进行处理,以得到更新后的目标数据。
6.根据权利要求5所述的方法,其特征在于,采用数据提供方提供的目标数据的数据类型关联的数据处理规则,对所述待更新数据进行处理,以得到更新后的目标数据,包括:
确定所述目标数据的数据类型是否为指定类型;
若是,则从所述待更新数据中获取新数据,作为更新后的目标数据。
7.根据权利要求1所述的方法,其特征在于,向所述数据请求方反馈所述目标数据,包括:
基于预设展示规则,对目标数据进行处理,得到目标展示数据;
向所述数据请求方反馈所述目标展示数据。
8.根据权利要求7所述的方法,其特征在于,基于预设展示规则,对目标数据进行处理,得到目标展示数据,包括:
对所述目标数据进行日期格式化、数据缩放、数据累加、数据脱敏、数据排序中的至少一种处理,得到目标展示数据。
9.根据权利要求1所述的方法,其特征在于,获取数据请求方的数据处理请求之后,还包括:
验证所述数据请求方的请求权限,以及验证所述请求数据指标的合法性。
10.根据权利要求9所述的方法,其特征在于,验证所述数据请求方的请求权限,包括:
根据所述数据请求方的身份标识和所述数据采集平台已注册的身份标识,验证所述数据请求方的请求权限。
11.根据权利要求9所述的方法,其特征在于,验证所述请求数据指标的合法性,包括:
根据所述请求数据指标,从数据采集平台的已有数据中查询;
根据查询结果,确定所述请求数据指标合法。
12.根据权利要求2所述的方法,其特征在于,还包括:
将更新后的目标数据存入所述数据采集平台中。
13.一种数据处理装置,其特征在于,包括:
请求获取模块,用于获取数据请求方的数据处理请求;其中,所述数据处理请求包括请求数据指标;
目标数据获取模块,用于从数据采集平台的已有数据中获取所述请求数据指标关联的目标数据,并向所述数据请求方反馈所述目标数据;其中,所述已有数据通过根据数据提供方提供的数据类型和数据处理规则,对所述数据提供方提供的待处理数据进行处理得到。
14.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-12中任一项所述的数据处理方法。
15.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-12中任一项所述的数据处理方法。
CN202110341496.9A 2021-03-30 2021-03-30 一种数据处理方法、装置、电子设备以及存储介质 Pending CN112965943A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110341496.9A CN112965943A (zh) 2021-03-30 2021-03-30 一种数据处理方法、装置、电子设备以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110341496.9A CN112965943A (zh) 2021-03-30 2021-03-30 一种数据处理方法、装置、电子设备以及存储介质

Publications (1)

Publication Number Publication Date
CN112965943A true CN112965943A (zh) 2021-06-15

Family

ID=76279680

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110341496.9A Pending CN112965943A (zh) 2021-03-30 2021-03-30 一种数据处理方法、装置、电子设备以及存储介质

Country Status (1)

Country Link
CN (1) CN112965943A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114866549A (zh) * 2022-05-12 2022-08-05 中国建设银行股份有限公司 数据获取方法及装置
WO2023103726A1 (zh) * 2021-12-08 2023-06-15 易保网络技术(上海)有限公司 数据处理方法、程序产品、可读介质和电子设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023103726A1 (zh) * 2021-12-08 2023-06-15 易保网络技术(上海)有限公司 数据处理方法、程序产品、可读介质和电子设备
CN114866549A (zh) * 2022-05-12 2022-08-05 中国建设银行股份有限公司 数据获取方法及装置
CN114866549B (zh) * 2022-05-12 2024-04-19 中国建设银行股份有限公司 数据获取方法及装置

Similar Documents

Publication Publication Date Title
US9996565B2 (en) Managing an index of a table of a database
US10108645B1 (en) Database monitoring for online migration optimization
US10002170B2 (en) Managing a table of a database
CN111352902A (zh) 日志处理方法、装置、终端设备及存储介质
CN111709527A (zh) 运维知识图谱库的建立方法、装置、设备及存储介质
EP3188051B1 (en) Systems and methods for search template generation
US11048933B2 (en) Generating structured representations of forms using machine learning
CN112434015B (zh) 数据存储的方法、装置、电子设备及介质
US11775504B2 (en) Computer estimations based on statistical tree structures
CN112965943A (zh) 一种数据处理方法、装置、电子设备以及存储介质
US8396877B2 (en) Method and apparatus for generating a fused view of one or more people
US9965812B2 (en) Generating a supplemental description of an entity
US11645274B2 (en) Minimizing group generation in computer systems with limited computing resources
CN112948396A (zh) 数据存储方法、装置、电子设备及存储介质
CN112579632A (zh) 一种数据核验方法、装置、设备和介质
CN112100092B (zh) 一种信息缓存方法、装置、设备及介质
US9218420B1 (en) Detecting new businesses with unrecognized query terms
CN116257876A (zh) 一种数据分级访问的处理方法、装置、设备及存储介质
CN111639173B (zh) 疫情数据处理方法、装置、设备和存储介质
US20120323840A1 (en) Data flow cost modeling
CN113780675A (zh) 一种消耗预测方法、装置、存储介质及电子设备
CN112579673A (zh) 一种多源数据处理方法及装置
CN109710673B (zh) 作品处理方法、装置、设备和介质
US11934984B1 (en) System and method for scheduling tasks
US20230401183A1 (en) Data drift detection between data storage

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220914

Address after: 25 Financial Street, Xicheng District, Beijing 100033

Applicant after: CHINA CONSTRUCTION BANK Corp.

Address before: 12 / F, 15 / F, 99 Yincheng Road, China (Shanghai) pilot Free Trade Zone, Pudong New Area, Shanghai, 200120

Applicant before: Jianxin Financial Science and Technology Co.,Ltd.