CN110019456A - 数据导入方法、装置和系统 - Google Patents

数据导入方法、装置和系统 Download PDF

Info

Publication number
CN110019456A
CN110019456A CN201711059781.1A CN201711059781A CN110019456A CN 110019456 A CN110019456 A CN 110019456A CN 201711059781 A CN201711059781 A CN 201711059781A CN 110019456 A CN110019456 A CN 110019456A
Authority
CN
China
Prior art keywords
data
request
importing
import
imported
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711059781.1A
Other languages
English (en)
Other versions
CN110019456B (zh
Inventor
谢东凯
吕余全
于国涛
殷钺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201711059781.1A priority Critical patent/CN110019456B/zh
Publication of CN110019456A publication Critical patent/CN110019456A/zh
Application granted granted Critical
Publication of CN110019456B publication Critical patent/CN110019456B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/258Data format conversion from or to a database
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/283Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种数据导入方法、装置和系统。其中,该方法包括:接收到对元数据对象进行更新的至少两个数据导入请求;对至少两个数据导入请求执行合并处理;对执行合并处理的至少两个数据导入请求对应的数据进行导入处理。本申请解决了现有技术中,并发导入多个数据,由于多个数据同时争抢导入时机,导致导入时延长的技术问题。

Description

数据导入方法、装置和系统
技术领域
本申请涉及数据处理领域,具体而言,涉及一种数据导入方法、装置和系统。
背景技术
随着市场竞争的日趋激烈,各个企业的决策任务越发重要。伴随信息技术在企业的广泛应用,企业内部一般会积累大量的数据(例如,各种文件或数据库中存储的数据),如何充分利用这些数据,以便作出正确的决策,对企业来说,有着十分重要的意义。
数据仓库是为了支持企业决策而出现的一项技术,其目的是将企业范围内的所有数据集成在一个大仓库中,便于用户查询、分析,并产生报告等。数据仓库中的数据来自不同的业务数据库,按照主题进行数据组织。由于数据仓库可以将大量的历史性数据进行合理的组织,使得系统能够更加方便地利用数据、分析数据,在分析的基础上建立模型,对结构化和半结构化的决策问题给出结果,因而,数据仓库技术正成为企业信息集成和辅助决策应用的关键技术之一。
大规模数据仓库的数据导入系统,大多支持用户并发上传数据,采用批处理的方式,将数据持久化到数据仓库的存储系统和元数据系统。由于用户数据往往按照时间、类型或者其它维度,被划分到不同的单元中,每个单元会对应数据仓库中的一个元数据对象。一般情况下,数据从产生到导入到数据仓库,存在集中性、实时等特点,短时间大量数据会被导入到同一元数据对象中。而在数据的提交阶段,对元数据的更新,有一定的延迟和并发限制,导致数据导入的并发度和成功率受到影响。可以看出,现有数据仓库的数据导入系统中的批处理操作存在较大时延性,以及依赖元数据系统的高并发支持等问题。
针对上述现有技术中,并发导入多个数据,由于多个数据同时争抢导入时机,导致导入时延长的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种数据导入方法、装置和系统,以至少解决现有技术中,并发导入多个数据,由于多个数据同时争抢导入时机,导致导入时延长的技术问题。
根据本发明实施例的一个方面,提供了一种数据导入方法,包括:接收到对元数据对象进行更新的至少两个数据导入请求;对至少两个数据导入请求执行合并处理;对执行合并处理的至少两个数据导入请求对应的数据进行导入处理。
根据本发明实施例的另一方面,还提供了一种数据导入方法,包括:接收到上传的数据;接收到对数据导入的数据导入请求;将数据导入请求与同类数据导入请求进行合并,其中,同类数据导入请求与数据导入请求用于对同一个元数据对象进行更新;对与同类数据导入请求合并的数据导入请求对应的数据进行导入处理。
根据本发明实施例的另一方面,还提供了一种数据导入装置,包括:第一接收模块,用于接收到对元数据对象进行更新的至少两个数据导入请求;第一合并模块,用于对至少两个数据导入请求执行合并处理;第一导入模块,用于对执行合并处理的至少两个数据导入请求对应的数据进行导入处理。
根据本发明实施例的另一方面,还提供了一种数据导入装置,包括:第二接收模块,用于接收到上传的数据;第三接收模块,用于接收到对数据导入的数据导入请求;第二合并模块,用于将数据导入请求与同类数据导入请求进行合并,其中,同类数据导入请求与数据导入请求用于对同一个元数据对象进行更新;第二导入模块,用于对与同类数据导入请求合并的数据导入请求对应的数据进行导入处理。
根据本发明实施例的另一方面,还提供了一种存储介质,存储介质包括存储的程序,其中,在程序运行时控制存储介质所在设备执行以下处理步骤的指令:接收到对元数据对象进行更新的至少两个数据导入请求;对至少两个数据导入请求执行合并处理;对执行合并处理的至少两个数据导入请求对应的数据进行导入处理。
根据本发明实施例的另一方面,还提供了一种处理器,处理器用于运行程序,其中,程序运行时执行以下处理步骤的指令:接收到对元数据对象进行更新的至少两个数据导入请求;对至少两个数据导入请求执行合并处理;对执行合并处理的至少两个数据导入请求对应的数据进行导入处理。
根据本发明实施例的另一方面,还提供了数据导入系统,其特征在于,包括:处理器;以及存储器,与处理器连接,用于为处理器提供处理以下处理步骤的指令:接收到对元数据对象进行更新的至少两个数据导入请求;对至少两个数据导入请求执行合并处理;对执行合并处理的至少两个数据导入请求对应的数据进行导入处理。
在本发明实施例中,通过接收到对元数据对象进行更新的至少两个数据导入请求;对至少两个数据导入请求执行合并处理;对执行合并处理的至少两个数据导入请求对应的数据进行导入处理,达到了按照元数据对象对数据导入请求进行合并处理以降低元数据更新的延迟和并发限制的目的,从而实现了在将数据导入数据仓库的过程中提高数据提交阶段的吞吐量和并发度的技术效果,进而解决了现有技术中,并发导入多个数据,由于多个数据同时争抢导入时机,导致导入时延长的技术问题。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本申请实施例的一种可选的数据仓库示意图;
图2是根据本申请实施例的一种数据导入系统架构示意图;
图3是根据本申请实施例的一种可选的数据提交节点结构示意图;
图4是根据本申请实施例的一种数据导入方法流程图;
图5是根据本申请实施例的一种可选的数据导入方法流程图;
图6是根据本申请实施例的一种可选的数据导入方法流程图;
图7是根据本申请实施例的一种可选的数据导入方法流程图;
图8是根据本申请实施例的一种可选的数据导入方法流程图;
图9是根据本申请实施例的一种导入请求处理流程图;
图10是根据本申请实施例的一种数据导入方法流程图;
图11是根据本申请实施例的一种可选的数据导入方法流程图;
图12是根据本申请实施例的一种数据导入装置示意图;
图13是根据本申请实施例的一种数据导入装置示意图;以及
图14是根据本申请实施例的一种计算机终端的硬件结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
首先,在对本申请实施例进行描述的过程中出现的部分名词或术语适用于如下解释:
数据仓库(Data Warehouse,DW),是一个面向主题的、集成的、不可更新的、随时间不断变化的数据集合,用于支持企业或组织的决策分析处理。数据仓库是决策支持系统(Decision Support System,DSS)和联机分析应用数据源的结构化数据环境。数据仓库研究和解决从数据库中获取信息的问题。数据仓库的特征在于面向主题、集成性、稳定性和时变性。
数据导入系统(Data Transformation Services,DTS),是能够处理数据导入、分析操作过程中与数据转换有关的步骤,进行校验、清理等,可以自动或交互的从多个异构数据源向数据仓库或数据集市装入数据的技术。其中,数据集市是为了特定的应用目的或应用范围,而从数据仓库中独立出来的一部分数据,也称部门数据或主题数据。
自适应,能够根据导入请求量,请求时效等,对导入请求做排队,合并,排序等操作,提高吞吐量的同时,确保在确定性时间窗口内完成数据导入请求。
根据本申请实施例,提供了一种数据导入方法实施例,需要说明的是,本实施例可以应用于将业务系统中提取的或从外部数据源导入的数据按照元数据对象类型合并后导入数据仓库的任何场景。
信息互联网时代,通过对企业或组织中已有的大量数据进行分析,以便了解业务的发展趋势,对于管理人员作出准确的决策十分重要。由于传统的数据库只保留当前的业务处理信息,缺乏决策分析所需的历史数据信息,已无法满足企业的管理决策者的决策分析要求。
数据仓库是为了支持管理层决策而出现的一项技术,它是面向主题的、集成的、稳定的、随时间变化的数据集合。从数据仓库的概念可以看出,数据仓库中存储的数据是面向主题进行组成的。由于业务数据库中的所有数据并非都是决策支持所必须的,因而,数据仓库按照分析的主题来组织数据,主题是一个抽象的概念,是在较高层次上讲企业信息系统中的数据综合、归类后进行分析利用的抽象。在逻辑意义上,是企业中某一宏观分析领域所涉及的分析对象,是针对某一个决策问题而设置的。
需要说明的是,数据仓库中存储的数据一般从企业原来已经建立的数据库系统中提取出来的,且这些数据通常是批量载入的,使得数据仓库中的数据总是具有时间维度,可以反映历史变化,便于决策分析。
图1是根据本申请实施例的一种可选的数据仓库示意图,如图1所示,数据仓库中的数据是批量导入的,由于数据从产生到导入到数据仓库,存在集中性、实时等特点,因而,经常会出现短时间内大量数据被导入到同一元数据对象中。但是,现有技术在数据的提交阶段,对元数据更新回存一定的延迟和并发限制,由此,导致数据导入到元数据对象的并发度和成功率都会受到影响。
申请人经研究发现,如果在数据提交阶段,对数据统一进行管理,提供排队、合并、排序等支持,可以最大限度的提高数据提交阶段的吞吐量和并发度。
作为一种可选的实施例,本实施例提供的数据导入方法可以应用于图2所示的系统架构中,图2是根据本申请实施例的一种数据导入系统架构示意图,如图2所示,可以在数据导入系统中,设计有多个导入节点。每个节点可接收不同用户的数据导入请求,将用户数据导入到数据仓库系统中。导入节点按照数据对应的元数据对象,将数据提交操作发送到指定的数据提交节点。提交节点内会按照元数据对象,提交请求,请求时效等,对请求做排序,队列,合并等多种操作,在确定性窗口内完成数据导入请求。
一种可选的实施例中,图3是根据本申请实施例的一种可选的数据提交节点结构示意图,如图3所示,数据提交节点主要由四部分组成:远程过程调用服务(RpcServer)模块、预处理模块、调度器模块和执行器模块,各个模块的功能分别如下:
①RpcServer模块:请求接收服务,接收数据导入节点的数据提交请求,封装后交给预处理模块;
②预处理模块:对请求内容进行解析,按照操作的元数据对象或请求类型等进行分类处理,同时会监控请求量,并针对性的做流控,最终将请求分发到调度器模块;
③调度器模块:对预处理后的请求,分析请求内容之后,对其做排序,分发到对应的队列,维护队列的状态。获取线程资源,将请求从队列中取出,执行该请求,维护请求执行的进度及状态等。另外,会针对队列中存在的请求,将多个请求合并成一个请求,在一次执行中将多个请求的内容执行完毕时给予导入节点响应。
需要说明的是,对于对导入的批处理请求做合并操作,可以提高吞吐量;更新元数据对象,是为了防止并发更新导致的回退重试,将更新操作统一管理,降低处理时间和出错回退率;容易注意的是,上述调度器模块还可以动态根据请求量和请求内容,合并多个批处理操作,并结合时延性,在确定时间内给予客户端响应。
④执行器模块:负责具体请求的执行,按照请求描述中的内容,将数据提交到数据仓库系统,维护请求执行的状态及进度。一次执行中,对应描述内容,会将一个或多个数据导入请求执行完毕,提交到数据仓库系统。
在上述应用环境下,本申请提供了图4所示的一种数据导入方法,图4是根据本申请实施例的一种数据导入方法流程图,如图4所示,包括如下步骤:
步骤S402,接收到对元数据对象进行更新的至少两个数据导入请求。
作为一种可选的实施例,上述元数据对象可以是数据仓库中用于描述数据属性信息的数据,描述的属性信息包括但不限于数据的内容、意义、质量、状况或其他特性。元数据对象定义了数据的结构、模式、建立方法、来源、抽取规则、转换规则等。元数据对象可以帮助用户方便查找到其关心的数据。上述数据导入请求可以是请求将企业内各个业务数据库系统(例如,企业的客户数据库、财务数据库等)中的数据或者从外部数据源(例如,报刊信息、国家政策等)导入的数据导入数据仓库的请求。容易注意的是,上述对元数据对象进行更新的至少两个数据导入请求是具有关联性的请求,该至少两个数据导入请求用于更新同一个元数据对象(即将数据导入到同一个元数据对象)。
需要说明的是,由于传统数据库只保留当前的业务处理信息,无法从数据中分析出业务发展的趋势。与传统数据库不同的是,数据仓库用于存储决策分析所需的大量历史信息,由图1所示的数据仓库可以看出,数据仓库是一个随时间变化的数据集合,数据仓库中的数据时批量载入的,因而,短时间大量数据会被导入到同一元数据对象中,为了避免更新元数据对象造成的延迟和并发限制,导致数据到入数据仓库的并发度和成功率受到影响,在将数据源中数据导入数据仓库时,可以将导入同一元数据对象的数据导入请求进行归类管理,提供排队、合并或排序机制,以提高数据提交阶段的吞吐量和并发度。
此外,需要说明的是,数据仓库中元数据主要分为两类:一种是管理元数据(即技术元数据),用于存储关于数据仓库系统技术细节的数据,用于开发和管理数据仓库使用的数据,包括但不限于如下信息:数据仓库结构的描述(包括仓库模式、视图、维、层次结构和导出数据的定义,以及数据集市的位置和内容),业务系统、数据仓库和数据集市的体系结构和模式,汇总数据用的算法(包括度量和维定义算法、数据粒度、主题领域、聚集、汇总、预定义的查询和报告等),由操作环境到数据仓库环境的映射(包括源数据和它们的内容、数据分割、数据提取、清理、转换规则和数据刷新规则、安全);另一种是用户元数据,用于从业务角度描述数据仓库中的数据。
步骤S404,对至少两个数据导入请求执行合并处理。
具体地,在上述步骤中,在接收到对同一元数据对象进行更新的两个或两个以上的数据导入请求后,可以将这些数据导入请求按照元数据对象、提交请求或请求时效进行合并、排序等处理,以便可以控制多个数据导入请求在确定性窗口内完成数据导入。
步骤S406,对执行合并处理的至少两个数据导入请求对应的数据进行导入处理。
具体地,在上述步骤中,在对同一元数据对象进行更新的多个数据导入请求进行合并处理后,可以将合并后的数据导入请求对应的数据到入到数据仓库。
需要说明的是,在将数据导入请求对应的数据导入到数据仓库前,要对这些数据进行抽取、转换、清洗、装载等操作。其中,数据抽取是指数据源接口从业务系统那个中抽取数据,以便为数据仓库输入数据;数据转换和数据清洗是指对从业务系统中抽取的数据根据数据仓库系统模型的要求,进行数据的转换、清洗、拆分、汇总等处理,以保证来自不同系统、不同格式的数据具有一致性和完整性,并按照要求装入数据仓库;数据装载是将从数据源系统中抽取、转换、清洗后的数据装载到数据仓库系统中。
可选地,从业务系统中提取的或从外部数据源导入的数据经过清洗、转化后成为数据仓库的原始数据后,还需要在这些原始数据的基础上增加冗余信息,例如,进行大量的预运算,建立多维数据库,以求迅速展现数据。
容易注意的是,由于业务系统可能使用不同的数据库厂商的产品(例如,IBM DB2、Informix、Sybase、Sqlserver、NCRReradata等,各种数据库产品提供的数据类型可能不同,因此,需要将不同格式的数据转换成统一的数据格式。
由上可知,在本申请上述实施例中,在接收到针对同一元数据对象进行更新的多个数据导入请求后,对这些数据导入请求执行合并处理,并将执行合并处理后的数据导入请求对应的数据导入到数据仓库,达到了按照元数据对象对数据导入请求进行合并处理以降低元数据更新的延迟和并发限制的目的,从而实现了在将数据导入数据仓库的过程中提高数据提交阶段的吞吐量和并发度的技术效果。
由此,本申请提供的上述实施例的方案解决了现有技术中,并发导入多个数据,由于多个数据同时争抢导入时机,导致导入时延长的技术问题。
在一种可选的实施例中,如图5所示,接收到对元数据对象进行更新的至少两个数据导入请求包括:
步骤S502,通过一个或多个导入节点接收到对一个或多个元数据对象进行更新的多个数据导入请求;
步骤S504,根据数据导入请求对应的元数据对象类型,确定对元数据对象进行更新的至少两个数据导入请求。
具体地,在上述实施例中,上述导入节点为数据导入系统中用于接收不同用户的数据导入请求的节点,与数据仓库系统中数据提交节点连接,用于将用户数据导入到数据仓库系统中。由于每个导入节点可以接收来自不同用户的数据导入请求,这些数据导入请求可能是对同一元数据对象进行更新,也可能是对不同的元数据对象进行更新,因而,在通过导入节点接收到不同用户的数据导入请求后,按照元数据对象类型,将用于更新同一元数据对象的两个或两个以上的数据导入请求归为一类。
通过上述实施例,实现了将导入节点接收到的用户数据按照元数据对象类型进行分类的目的。
在一种可选的实施例中,如图6所示,对至少两个数据导入请求执行合并处理包括:步骤S602,对至少两个数据导入请求中的预定数目的数据导入请求执行合并处理。
可选地,上述步骤S602,对至少两个数据导入请求中的预定数目的数据导入请求执行合并处理,可以包括如下步骤:
步骤S6021,对至少两个数据导入请求进行排序;
步骤S6023,对排序中的预定数目的数据导入请求执行合并处理。
具体地,在上述实施例中,在获取到用于更新同一元数据对象的两个或两个以上的数据导入请求后,对更新同一元数据对象的至少两个数据导入请求进行排序,并对排序后的数据导入请求进行合并等操作。
基于上述实施例,一种可选的实施方案中,依据以下内容至少之一,对至少两个数据导入请求进行排序:
数据导入请求的优先级,数据导入请求的请求时效,数据导入请求对应的数据在元数据对象中的位置,数据导入请求对应的数据的大小。
具体地,在上述实施例中,可以按照数据导入请求的优先级、请求时效、元数据对象中的位置以及每个数据导入请求对应的数据大小,对用于更新同一元数据对象的多个数据导入请求进行排序。
在一种可选的实施例中,如图7所示,对排序中的预定数目的数据导入请求执行合并处理包括:
步骤S702,依据用于对流量进行控制的流控参数,确定预定数目;
步骤S704,对排序中的确定的预定数目的数据导入请求执行合并处理。
具体地,在上述实施例中,为了防止多个数据同时争抢导入时计导致时延的问题,在将用于更新同一元数据对象的多个数据导入请求进行排序后,可以依据预先设置的控制流量的流控参数确定执行的数据导入请求的数目,并对排序队列中的预定数目的数据导入请求执行合并处理。
通过上述实施例,实现了限制数据导入请求的执行数量的目的,以便维护数据导入请求执行的状态及进度。
在一种可选的实施例中,如图8所示,对执行合并处理的至少两个数据导入请求对应的数据进行导入处理包括:
步骤S802,对执行合并处理的至少两个数据导入请求同时分配用于允许对元数据对象执行操作的开锁密钥;
步骤S804,依据分配的开锁密钥,对执行合并处理的至少两个数据导入请求对应的数据同时进行导入处理。
具体地,在上述实施例中,上述开锁密钥是指允许向数据仓库中导入数据的密钥,在对用于更新同一元数据对象的多个数据导入请求执行合并处理后,为合并处理后的每个数据导入请求分配开锁密钥,使得这些数据导入请求按照分配的开锁密钥执行数据导入处理。
通过上述实施例,可以避免短时间内大量数据导入到同一元数据对象中导致数据导入失败的问题。
作为一种可选的实施例,图9是根据本申请实施例的一种导入请求处理流程图,如图9所示,包括如下步骤:
步骤S902,数据导入节点上传数据到数据仓库存储系统。
具体地,在上述步骤中,数据导入系统的数据导入节点接收用户上传数据请求,将用户数据上传到数据仓库的存储系统,直至用户发起提交操作。
步骤S904,按照数据归属对象、数据位置等向指定提交节点提交请求。
具体地,在上述步骤中,数据导入节点构造请求描述,包含元数据对象、数据位置、时延等,将描述请求发送到数据仓库系统的数据提交节点。
步骤S906,数据提交节点对请求做预处理,解析请求内容,流控检查等。
具体地,在上述步骤中,提交节点接收到描述请求后,做一系列预处理操作,包括描述内容解析、抽取元数据对象、来源等信息,将入流控检查,随后转发到调度模块。
步骤S908,将请求放入到对应的队列,动态调整队列中请求。
具体地,在上述步骤中,调度模块根据请求内容,将请求下发到对应的队列。其中存在消费者线程,不断从队列中抽取请求,做排序,合并等处理后,获取线程资源后,下发到执行器开始执行,同时在调度器中维护请求的处理进度及状态。
步骤S910,调度模块检查队列状态,队列中的请求,对请求做排序,合并处理,提交到执行器。
步骤S912,执行器执行请求,并将请求执行结果返回。
具体地,在上述步骤中,执行器开始执行请求,将数据移动到元数据对象对应的位置,并根据数据的属性,更新元数据对象的内容。
通过本申请上述各个实施例,可以对提交阶段的数据进行统一管理,降低数据导入请求的处理时延,提高数据导入的并发度。
根据本申请实施例,提供了一种数据导入方法实施例,可以应用于向数据仓库中追加数据,需要说明的是,本实施例可以应用于将业务系统中提取的或从外部数据源导入的数据按照数据请求类型进行合并后导入数据仓库的任何场景。
图10是根据本申请实施例的一种数据导入方法流程图,如图10所示,包括如下步骤:
步骤S102,接收到上传的数据。
步骤S104,接收到对数据导入的数据导入请求;
步骤S106,将数据导入请求与同类数据导入请求进行合并,其中,同类数据导入请求与数据导入请求用于对同一个元数据对象进行更新;
步骤S108,对与同类数据导入请求合并的数据导入请求对应的数据进行导入处理。
具体地,在上述步骤中,上传的数据可以是用于对数据仓库中元数据对象进行更新的数据,在接收到来自终端设备上传的用户数据后,接收对该用户数据的数据导入请求,将该数据导入请求与数据仓库中用于对同一个元数据对象进行更新的同类型数据导入请求进行合并,并对合并后的数据导入请求对应的数据执行导入处理。
由上可知,在本申请上述实施例中,在接收到上传的用户数据以及请求对该用户数据进行导入的数据导入请求后,针对同一元数据对象进行更新的同类型数据导入请求执行合并处理,并对合并后的数据导入请求对应的数据导入到数据仓库,达到了按照数据请求类型对数据导入请求进行合并处理以降低元数据更新的延迟和并发限制的目的,从而实现了在将数据导入数据仓库的过程中提高数据提交阶段的吞吐量和并发度的技术效果。
由此,本申请提供的上述实施例的方案解决了现有技术中,并发导入多个数据,由于多个数据同时争抢导入时机,导致导入时延长的技术问题。
在一种可选的实施例中,如图11所示,在对与同类数据导入请求合并的数据导入请求对应的数据进行导入处理之后,上述还可以包括如下步骤:
步骤S112,发出导入数据成功的响应消息。
具体地,在上述步骤中,在将针对同一元数据对象进行更新的同类型数据导入请求进行合并处理后,可以返回数据导入成功的响应信息。
通过上述实施例,可以提示数据导入成功,让用户了解数据导入请求处理的进度。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的控制数据传输的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本申请各个方法实施例所述的方法。
根据本申请实施例,还提供了一种用于实现上述数据导入方法的装置实施例,图12是根据本申请实施例的一种数据导入装置示意图,如图12所示,该装置包括:第一接收模块121、第一合并模块123和第一导入模块125。
其中,第一接收模块121,用于接收到对元数据对象进行更新的至少两个数据导入请求;
第一合并模块123,用于对至少两个数据导入请求执行合并处理;
第一导入模块125,用于对执行合并处理的至少两个数据导入请求对应的数据进行导入处理。
此处需要说明的是,上述第一接收模块121、第一合并模块123和第一导入模块125对应于方法实施例中的步骤S402至S406,上述模块与对应的步骤所实现的示例和应用场景相同,但不限于上述方法实施例所公开的内容。需要说明的是,上述模块作为装置的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
由上可知,在本申请上述实施例中,通过第一接收模块121接收到针对同一元数据对象进行更新的多个数据导入请求后,通过第一合并模块123对这些数据导入请求执行合并处理,并通过第一导入模块125将执行合并处理后的数据导入请求对应的数据导入到数据仓库,达到了按照元数据对象对数据导入请求进行合并处理以降低元数据更新的延迟和并发限制的目的,从而实现了在将数据导入数据仓库的过程中提高数据提交阶段的吞吐量和并发度的技术效果。
由此,本申请提供的上述实施例的方案解决了现有技术中,并发导入多个数据,由于多个数据同时争抢导入时机,导致导入时延长的技术问题。
在一种可选的实施例中,如图12所示,上述第一接收模块121包括:接收单元,用于通过一个或多个导入节点接收到对一个或多个元数据对象进行更新的多个数据导入请求;确定单元,用于根据数据导入请求对应的元数据对象类型,确定对元数据对象进行更新的至少两个数据导入请求。
此处需要说明的是,上述接收单元和确定单元对应于方法实施例中的步骤S502至S504,上述模块与对应的步骤所实现的示例和应用场景相同,但不限于上述方法实施例所公开的内容。需要说明的是,上述模块作为装置的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
在一种可选的实施例中,如图12所示,上述第一合并模块包括:合并单元,用于对至少两个数据导入请求中的预定数目的数据导入请求执行合并处理。
可选地,上述合并单元可以包括:排序单元,用于对至少两个数据导入请求进行排序;合并单元,用于对排序中的预定数目的数据导入请求执行合并处理。
此处需要说明的是,上述合并单元对应于方法实施例中的步骤S602,上述排序单元和合并单元对应于方法实施例中的步骤S6021至S6023,上述模块与对应的步骤所实现的示例和应用场景相同,但不限于上述方法实施例所公开的内容。需要说明的是,上述模块作为装置的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
在一种可选的实施例中,上述排序单元还用于依据以下内容至少之一,对至少两个数据导入请求进行排序:数据导入请求的优先级,数据导入请求的请求时效,数据导入请求对应的数据在元数据对象中的位置,数据导入请求对应的数据的大小。
在一种可选的实施例中,如图12所示,上述合并单元包括:确定子单元,用于依据用于对流量进行控制的流控参数,确定预定数目;合并子单元,用于对排序中的确定的预定数目的数据导入请求执行合并处理。
此处需要说明的是,上述确定子单元和合并子单元对应于方法实施例中的步骤S702至S704,上述模块与对应的步骤所实现的示例和应用场景相同,但不限于上述方法实施例所公开的内容。需要说明的是,上述模块作为装置的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
在一种可选的实施例中,如图12所示,上述第一导入模块125包括:分配单元,用于对执行合并处理的至少两个数据导入请求同时分配用于允许对元数据对象执行操作的开锁密钥;导入单元,用于依据分配的开锁密钥,对执行合并处理的至少两个数据导入请求对应的数据同时进行导入处理。
此处需要说明的是,上述分配单元和导入单元对应于方法实施例中的步骤S802至S804,上述模块与对应的步骤所实现的示例和应用场景相同,但不限于上述方法实施例所公开的内容。需要说明的是,上述模块作为装置的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
根据本申请实施例,还提供了一种用于实现上述数据导入方法的装置实施例,图13是根据本申请实施例的一种数据导入装置示意图,如图13所示,该装置包括:第二接收模块131、第三接收模块133、第二合并模块135和第二导入模块137。
其中,第二接收模块131,用于接收到上传的数据;
第三接收模块133,用于接收到对数据导入的数据导入请求;
第二合并模块135,用于将数据导入请求与同类数据导入请求进行合并,其中,同类数据导入请求与数据导入请求用于对同一个元数据对象进行更新;
第二导入模块137,用于对与同类数据导入请求合并的数据导入请求对应的数据进行导入处理。
此处需要说明的是,上述第二接收模块131、第三接收模块133、第二合并模块135和第二导入模块137对应于方法实施例中的步骤S102至S108,上述模块与对应的步骤所实现的示例和应用场景相同,但不限于上述方法实施例所公开的内容。需要说明的是,上述模块作为装置的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
由上可知,在本申请上述实施例中,通过第二接收模块131接收到上传的用户数据,并通过第三接收模块133接收请求对该用户数据进行导入的数据导入请求后,通过第二合并模块135对同一元数据对象进行更新的同类型数据导入请求执行合并处理,并通过第二导入模块137对合并后的数据导入请求对应的数据导入到数据仓库,达到了按照数据请求类型对数据导入请求进行合并处理以降低元数据更新的延迟和并发限制的目的,从而实现了在将数据导入数据仓库的过程中提高数据提交阶段的吞吐量和并发度的技术效果。
由此,本申请提供的上述实施例的方案解决了现有技术中,并发导入多个数据,由于多个数据同时争抢导入时机,导致导入时延长的技术问题。
在一种可选的实施例中,如图13所示,上述装置还包括:发出模块,用于发出导入数据成功的响应消息。
此处需要说明的是,上述发出模块对应于方法实施例中的步骤S112,上述模块与对应的步骤所实现的示例和应用场景相同,但不限于上述方法实施例所公开的内容。需要说明的是,上述模块作为装置的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
本申请的实施例可以提供一种计算机终端,该计算机终端可以是计算机终端群中的任意一个计算机终端设备。可选地,在本实施例中,上述计算机终端也可以替换为移动终端等终端设备。
可选地,在本实施例中,上述计算机终端可以位于计算机网络的多个网络设备中的至少一个访问设备。
图14示出了一种计算机终端的硬件结构框图。如图14所示,计算机终端14可以包括一个或多个(图中采用142a、142b,……,142n来示出)处理器142(处理器142可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器144、以及用于通信功能的传输装置146。除此以外,还可以包括:显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为I/O接口的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解,图14所示的结构仅为示意,其并不对上述电子装置的结构造成限定。例如,计算机终端14还可包括比图14中所示更多或者更少的组件,或者具有与图14所示不同的配置。
应当注意到的是上述一个或多个处理器142和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外,数据处理电路可为单个独立的处理模块,或全部或部分的结合到计算机终端14中的其他元件中的任意一个内。如本申请实施例中所涉及到的,该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
处理器142可以通过传输装置调用存储器存储的信息及应用程序,以执行下述步骤:获取地图中的选中的路径;根据选中的路径的路况信息,生成路径的动态图像,其中,路径的动态图像为沿路径的起始位置到终点位置动态移动的图像;在地图中显示路径的动态图像。
存储器144可用于存储应用软件的软件程序以及模块,如本申请实施例中的数据导入方法对应的程序指令/数据存储装置,处理器142通过运行存储在存储器144内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的应用程序的数据导入方法。存储器144可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器144可进一步包括相对于处理器142远程设置的存储器,这些远程存储器可以通过网络连接至计算机终端14。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置146用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端14的通信供应商提供的无线网络。在一个实例中,传输装置146包括一个网络适配器(Network Interface Controller,NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输装置146可以为射频(Radio Frequency,RF)模块,其用于通过无线方式与互联网进行通讯。
显示器可以例如触摸屏式的液晶显示器(LCD),该液晶显示器可使得用户能够与计算机终端14的用户界面进行交互。
此处需要说明的是,在一些可选实施例中,上述图14所示的计算机终端14可以包括硬件元件(包括电路)、软件元件(包括存储在计算机可读介质上的计算机代码)、或硬件元件和软件元件两者的结合。应当指出的是,图14仅为特定具体实例的一个实例,并且旨在示出可存在于上述计算机终端14中的部件的类型。
在本实施例中,上述计算机终端14可以执行应用程序的数据导入方法中以下步骤的程序代码:接收到对元数据对象进行更新的至少两个数据导入请求;对至少两个数据导入请求执行合并处理;对执行合并处理的至少两个数据导入请求对应的数据进行导入处理。
处理器可以通过传输装置调用存储器存储的信息及应用程序,以执行下述步骤:接收到对元数据对象进行更新的至少两个数据导入请求;对至少两个数据导入请求执行合并处理;对执行合并处理的至少两个数据导入请求对应的数据进行导入处理。
可选地,上述处理器还可以执行如下步骤的程序代码:通过一个或多个导入节点接收到对一个或多个元数据对象进行更新的多个数据导入请求;根据数据导入请求对应的元数据对象类型,确定对元数据对象进行更新的至少两个数据导入请求。
可选地,上述处理器还可以执行如下步骤的程序代码:对至少两个数据导入请求中的预定数目的数据导入请求执行合并处理。
可选地,上述处理器还可以执行如下步骤的程序代码:对至少两个数据导入请求进行排序;对排序中的预定数目的数据导入请求执行合并处理。
可选地,上述处理器还可以执行如下步骤的程序代码:依据以下内容至少之一,对至少两个数据导入请求进行排序:数据导入请求的优先级,数据导入请求的请求时效,数据导入请求对应的数据在元数据对象中的位置,数据导入请求对应的数据的大小。
可选地,上述处理器还可以执行如下步骤的程序代码:依据用于对流量进行控制的流控参数,确定预定数目;对排序中的确定的预定数目的数据导入请求执行合并处理。
可选地,上述处理器还可以执行如下步骤的程序代码:对执行合并处理的至少两个数据导入请求同时分配用于允许对元数据对象执行操作的开锁密钥;依据分配的开锁密钥,对执行合并处理的至少两个数据导入请求对应的数据同时进行导入处理。
可选地,上述处理器还可以执行如下步骤的程序代码:接收到上传的数据;接收到对数据导入的数据导入请求;将数据导入请求与同类数据导入请求进行合并,其中,同类数据导入请求与数据导入请求用于对同元数据对象进行更新;对与同类数据导入请求合并的数据导入请求对应的数据进行导入处理。
可选地,上述处理器还可以执行如下步骤的程序代码:发出导入数据成功的响应消息。
本领域普通技术人员可以理解,图14所示的结构仅为示意,计算机终端也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌声电脑以及移动互联网设备(MobileInternet Devices,MID)、PAD等终端设备。图14其并不对上述电子装置的结构造成限定。例如,计算机终端14还可包括比图14中所示更多或者更少的组件(如网络接口、显示装置等),或者具有与图14所示不同的配置。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、只读存储器(Read-Only Memory,ROM)、随机存取器(RandomAccess Memory,RAM)、磁盘或光盘等。
本申请的实施例还提供了一种存储介质。可选地,在本实施例中,上述存储介质可以用于保存上述方法实施例所提供的数据导入方法所执行的程序代码。
可选地,在本实施例中,上述存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中,或者位于移动终端群中的任意一个移动终端中。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:接收到对元数据对象进行更新的至少两个数据导入请求;对至少两个数据导入请求执行合并处理;对执行合并处理的至少两个数据导入请求对应的数据进行导入处理。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:通过一个或多个导入节点接收到对一个或多个元数据对象进行更新的多个数据导入请求;根据数据导入请求对应的元数据对象类型,确定对元数据对象进行更新的至少两个数据导入请求。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:对至少两个数据导入请求中的预定数目的数据导入请求执行合并处理。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:对至少两个数据导入请求进行排序;对排序中的预定数目的数据导入请求执行合并处理。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:依据以下内容至少之一,对至少两个数据导入请求进行排序:数据导入请求的优先级,数据导入请求的请求时效,数据导入请求对应的数据在元数据对象中的位置,数据导入请求对应的数据的大小。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:依据用于对流量进行控制的流控参数,确定预定数目;对排序中的确定的预定数目的数据导入请求执行合并处理。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:对执行合并处理的至少两个数据导入请求同时分配用于允许对元数据对象执行操作的开锁密钥;依据分配的开锁密钥,对执行合并处理的至少两个数据导入请求对应的数据同时进行导入处理。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:接收到上传的数据;接收到对数据导入的数据导入请求;将数据导入请求与同类数据导入请求进行合并,其中,同类数据导入请求与数据导入请求用于对同一个元数据对象进行更新;对与同类数据导入请求合并的数据导入请求对应的数据进行导入处理。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:发出导入数据成功的响应消息。
根据本申请实施例,还提供了一种数据导入系统,包括:处理器;以及存储器,与处理器连接,用于为处理器提供处理以下处理步骤的指令:
接收到对元数据对象进行更新的至少两个数据导入请求;
对至少两个数据导入请求执行合并处理;
对执行合并处理的至少两个数据导入请求对应的数据进行导入处理。
由上可知,在本申请上述实施例中,在接收到针对同一元数据对象进行更新的多个数据导入请求后,对这些数据导入请求执行合并处理,并将执行合并处理后的数据导入请求对应的数据导入到数据仓库,达到了按照元数据对象对数据导入请求进行合并处理以降低元数据更新的延迟和并发限制的目的,从而实现了在将数据导入数据仓库的过程中提高数据提交阶段的吞吐量和并发度的技术效果。
由此,本申请提供的上述实施例的方案解决了现有技术中,并发导入多个数据,由于多个数据同时争抢导入时机,导致导入时延长的技术问题。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
在本申请的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅是本申请的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。

Claims (20)

1.一种数据导入方法,其特征在于,包括:
接收到对元数据对象进行更新的至少两个数据导入请求;
对所述至少两个数据导入请求执行合并处理;
对执行合并处理的所述至少两个数据导入请求对应的数据进行导入处理。
2.根据权利要求1所述的方法,其特征在于,接收到对所述元数据对象进行更新的所述至少两个数据导入请求包括:
通过一个或多个导入节点接收到对一个或多个元数据对象进行更新的多个数据导入请求;
根据数据导入请求对应的元数据对象类型,确定对所述元数据对象进行更新的所述至少两个数据导入请求。
3.根据权利要求1所述的方法,其特征在于,对所述至少两个数据导入请求执行合并处理包括:
对所述至少两个数据导入请求中的预定数目的数据导入请求执行合并处理。
4.根据权利要求3所述的方法,其特征在于,对所述至少两个数据导入请求中的预定数目的数据导入请求执行合并处理包括:
对所述至少两个数据导入请求进行排序;
对排序中的所述预定数目的数据导入请求执行合并处理。
5.根据权利要求4所述的方法,其特征在于,依据以下内容至少之一,对所述至少两个数据导入请求进行排序:
数据导入请求的优先级,数据导入请求的请求时效,数据导入请求对应的数据在所述元数据对象中的位置,数据导入请求对应的数据的大小。
6.根据权利要求4所述的方法,其特征在于,对排序中的所述预定数目的数据导入请求执行合并处理包括:
依据用于对流量进行控制的流控参数,确定所述预定数目;
对排序中的确定的所述预定数目的数据导入请求执行合并处理。
7.根据权利要求1至6中任一项所述的方法,其特征在于,对执行合并处理的所述至少两个数据导入请求对应的数据进行导入处理包括:
对执行合并处理的所述至少两个数据导入请求同时分配用于允许对所述元数据对象执行操作的开锁密钥;
依据分配的所述开锁密钥,对执行合并处理的所述至少两个数据导入请求对应的数据同时进行导入处理。
8.一种数据导入方法,其特征在于,包括:
接收到上传的数据;
接收到对所述数据导入的数据导入请求;
将所述数据导入请求与同类数据导入请求进行合并,其中,所述同类数据导入请求与所述数据导入请求用于对同一个元数据对象进行更新;
对与所述同类数据导入请求合并的数据导入请求对应的数据进行导入处理。
9.根据权利要求8所述的方法,其特征在于,在对与所述同类数据导入请求合并的数据导入请求对应的所述数据进行导入处理之后,还包括:
发出导入数据成功的响应消息。
10.一种数据导入装置,其特征在于,包括:
第一接收模块,用于接收到对元数据对象进行更新的至少两个数据导入请求;
第一合并模块,用于对所述至少两个数据导入请求中的预定数目的数据导入请求执行合并处理;
第一导入模块,用于对执行合并处理的所述至少两个数据导入请求对应的数据进行导入处理。
11.根据权利要求10所述的装置,其特征在于,所述第一接收模块包括:
接收单元,用于通过一个或多个导入节点接收到对一个或多个元数据对象进行更新的多个数据导入请求;
确定单元,用于根据数据导入请求对应的元数据对象类型,确定对所述元数据对象进行更新的所述至少两个数据导入请求。
12.根据权利要求10所述的装置,其特征在于,所述第一合并模块包括:
排序单元,用于对所述至少两个数据导入请求进行排序;
合并单元,用于对排序中的所述预定数目的数据导入请求执行合并处理。
13.根据权利要求12所述的装置,其特征在于,所述排序单元,还用于依据以下内容至少之一,对所述至少两个数据导入请求进行排序:数据导入请求的优先级,数据导入请求的请求时效,数据导入请求对应的数据在所述元数据对象中的位置,数据导入请求对应的数据的大小。
14.根据权利要求12所述的装置,其特征在于,所述合并单元包括:
确定子单元,用于依据用于对流量进行控制的流控参数,确定所述预定数目;
合并子单元,用于对排序中的确定的所述预定数目的数据导入请求执行合并处理。
15.根据权利要求10至14中任一项所述的装置,其特征在于,所述第一导入模块包括:
分配单元,用于对执行合并处理的所述至少两个数据导入请求同时分配用于允许对所述元数据对象执行操作的开锁密钥;
导入单元,用于依据分配的所述开锁密钥,对执行合并处理的所述至少两个数据导入请求对应的数据同时进行导入处理。
16.一种数据导入装置,其特征在于,包括:
第二接收模块,用于接收到上传的数据;
第三接收模块,用于接收到对所述数据导入的数据导入请求;
第二合并模块,用于将所述数据导入请求与同类数据导入请求进行合并,其中,所述同类数据导入请求与所述数据导入请求用于对同一个元数据对象进行更新;
第二导入模块,用于对与所述同类数据导入请求合并的数据导入请求对应的数据进行导入处理。
17.根据权利要求16所述的装置,其特征在于,在对与所述同类数据导入请求合并的数据导入请求对应的所述数据进行导入处理之后,还包括:
发出模块,用于发出导入数据成功的响应消息。
18.一种存储介质,其特征在于,所述存储介质包括存储的程序,其中,在所述程序运行时控制所述存储介质所在设备执行以下处理步骤的指令:
接收到对元数据对象进行更新的至少两个数据导入请求;
对所述至少两个数据导入请求执行合并处理;
对执行合并处理的所述至少两个数据导入请求对应的数据进行导入处理。
19.一种处理器,其特征在于,所述处理器用于运行程序,其中,所述程序运行时执行以下处理步骤的指令:
接收到对元数据对象进行更新的至少两个数据导入请求;
对所述至少两个数据导入请求执行合并处理;
对执行合并处理的所述至少两个数据导入请求对应的数据进行导入处理。
20.一种数据导入系统,其特征在于,包括:
处理器;以及
存储器,与所述处理器连接,用于为所述处理器提供处理以下处理步骤的指令:
接收到对元数据对象进行更新的至少两个数据导入请求;
对所述至少两个数据导入请求执行合并处理;
对执行合并处理的所述至少两个数据导入请求对应的数据进行导入处理。
CN201711059781.1A 2017-11-01 2017-11-01 数据导入方法、装置和系统 Active CN110019456B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711059781.1A CN110019456B (zh) 2017-11-01 2017-11-01 数据导入方法、装置和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711059781.1A CN110019456B (zh) 2017-11-01 2017-11-01 数据导入方法、装置和系统

Publications (2)

Publication Number Publication Date
CN110019456A true CN110019456A (zh) 2019-07-16
CN110019456B CN110019456B (zh) 2023-02-28

Family

ID=67186745

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711059781.1A Active CN110019456B (zh) 2017-11-01 2017-11-01 数据导入方法、装置和系统

Country Status (1)

Country Link
CN (1) CN110019456B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110795387A (zh) * 2019-09-26 2020-02-14 广州市玄武无线科技股份有限公司 一种数据导入方法、数据导出方法、装置及数据处理系统
CN112347107A (zh) * 2020-11-11 2021-02-09 Oppo(重庆)智能科技有限公司 数据持久化方法、移动终端及计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140101201A1 (en) * 2012-10-10 2014-04-10 Microsoft Corporation Distributed data warehouse
US20150339359A1 (en) * 2013-02-06 2015-11-26 Hitachi, Ltd. Computer system, metadata management method, and recording medium
CN105426469A (zh) * 2015-11-16 2016-03-23 天津南大通用数据技术股份有限公司 一种数据库集群元数据管理方法及系统
CN106682047A (zh) * 2015-11-11 2017-05-17 杭州华为数字技术有限公司 一种数据导入方法以及相关装置
US9747288B1 (en) * 2012-12-10 2017-08-29 Amazon Technologies, Inc. Scalable transaction-based data repository service

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140101201A1 (en) * 2012-10-10 2014-04-10 Microsoft Corporation Distributed data warehouse
US9747288B1 (en) * 2012-12-10 2017-08-29 Amazon Technologies, Inc. Scalable transaction-based data repository service
US20150339359A1 (en) * 2013-02-06 2015-11-26 Hitachi, Ltd. Computer system, metadata management method, and recording medium
CN106682047A (zh) * 2015-11-11 2017-05-17 杭州华为数字技术有限公司 一种数据导入方法以及相关装置
CN105426469A (zh) * 2015-11-16 2016-03-23 天津南大通用数据技术股份有限公司 一种数据库集群元数据管理方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
徐立臻等: "数据仓库系统中的元数据管理", 《计算机工程与应用》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110795387A (zh) * 2019-09-26 2020-02-14 广州市玄武无线科技股份有限公司 一种数据导入方法、数据导出方法、装置及数据处理系统
CN110795387B (zh) * 2019-09-26 2020-11-03 广州市玄武无线科技股份有限公司 一种数据导入方法、数据导出方法、装置及数据处理系统
CN112347107A (zh) * 2020-11-11 2021-02-09 Oppo(重庆)智能科技有限公司 数据持久化方法、移动终端及计算机可读存储介质

Also Published As

Publication number Publication date
CN110019456B (zh) 2023-02-28

Similar Documents

Publication Publication Date Title
US11637889B2 (en) Configuration recommendation for a microservice architecture
Kang et al. Towards agents and ontology for cloud service discovery
CN109478266A (zh) 对于数据库供应的资源分配
CN107395659A (zh) 一种业务受理及共识的方法及装置
US9495411B2 (en) Increased parallelism performance of batch requests
EP4160440A1 (en) Federated computing processing method and apparatus, electronic device, and storage medium
CN105531688B (zh) 提供作为其它服务的资源的服务
US20110264704A1 (en) Methods and Systems for Deleting Large Amounts of Data From a Multitenant Database
CN110458468A (zh) 一种任务处理方法、装置、电子设备及存储介质
CN107003906A (zh) 云计算技术部件的类型到类型分析
CN104246741A (zh) 编制混合云服务
CN104937544B (zh) 用于计算任务结果的方法、计算机可读介质和计算机系统
CN110535679A (zh) 切片的管理方法、架构、网络切片销售平台和管理系统
CN110506259A (zh) 用于计算节点管理协议的系统和方法
CN106534281A (zh) 一种数据请求的响应方法、装置及系统
CN103780686A (zh) 一种云组织内自定义申请审批流程的方法及系统
CN105847332A (zh) 桌面虚拟化方法、客户端设备和服务端设备
CN109582452A (zh) 一种容器调度方法、调度装置及电子设备
CN110489238A (zh) 节点检测方法、装置、电子设备及存储介质
CN109669773A (zh) 金融数据处理方法、装置、设备和存储介质
US10546252B2 (en) Discovery and generation of organizational key performance indicators utilizing glossary repositories
CN108563697A (zh) 一种数据处理方法、装置和存储介质
CN106874109A (zh) 一种分布式作业分发处理方法及系统
CA3159291A1 (en) Virtual workspace experience visualization and optimization
CN108874520A (zh) 计算方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40010868

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant