CN109241026A - 数据管理的方法、装置及系统 - Google Patents
数据管理的方法、装置及系统 Download PDFInfo
- Publication number
- CN109241026A CN109241026A CN201810788397.3A CN201810788397A CN109241026A CN 109241026 A CN109241026 A CN 109241026A CN 201810788397 A CN201810788397 A CN 201810788397A CN 109241026 A CN109241026 A CN 109241026A
- Authority
- CN
- China
- Prior art keywords
- task
- reflow
- field
- configuration information
- creating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 83
- 238000013523 data management Methods 0.000 title claims abstract description 65
- 238000013507 mapping Methods 0.000 claims abstract description 122
- 238000010992 reflux Methods 0.000 claims abstract description 13
- 238000003860 storage Methods 0.000 claims description 26
- 238000004458 analytical method Methods 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 230000000153 supplemental effect Effects 0.000 abstract 1
- 238000004519 manufacturing process Methods 0.000 description 26
- 238000010586 diagram Methods 0.000 description 18
- 230000008569 process Effects 0.000 description 18
- 230000006870 function Effects 0.000 description 13
- 238000004590 computer program Methods 0.000 description 9
- 230000006872 improvement Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 5
- 238000004140 cleaning Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000003631 expected effect Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 244000035744 Hura crepitans Species 0.000 description 1
- 244000269722 Thea sinensis Species 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 229920001296 polysiloxane Polymers 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Landscapes
- Mobile Radio Communication Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本说明书实施例提供了一种数据管理的方法、装置及系统，该方法包括：接收回流任务创建请求；其中，该回流任务创建请求中携带有源表配置信息和回流任务参数配置信息；根据源表配置信息和回流任务参数配置信息，确定创建回流任务所需的参数数据；其中，该参数数据包括源表中的第一字段标识与目标表中的第二字段标识之间的映射关系，以及回流任务的回流周期；调用任务创建接口，以使任务创建接口所对应的任务创建节点根据映射关系和回流周期创建回流任务。
Description
技术领域
本说明书涉及数据处理领域，尤其涉及一种数据管理的方法、装置及系统。
背景技术
随着信息技术的发展，越来越多的互联网应用都涉及到海量数据的存储。数据通常以表的形式存储在数据库中。在大数据时代，数据需要不断的进行流转、交换才能使得其价值最大化。为了便于数据的管理及流转，一般需要将获取的各种离线数据写入到线上数据库中。例如，可以是线上HBase数据库等。将离线数据写入线上数据库也可称为数据回流，为了实现离线数据回流到线上数据库，需要针对待回流数据创建回流任务，并将该回流任务部署在离线数据生产系统中，以使得生产系统根据回流任务将待回流数据回流到线上数据库。
现阶段，大都是通过人工方式创建回流任务，使得回流任务的创建周期较长。因此，有必要提出一种技术方案，以实现回流任务的自动创建，从而降低回流任务的创建周期。
发明内容
本说明书实施例的目的是提供一种数据管理的方法、装置及系统，在接收到用户提交的回流任务创建请求后，根据该回流任务创建请求中携带的源表配置信息和回流任务参数配置信息，确定创建回流任务所需要的参数数据；其中，该参数数据可以包括源表中的第一字段标识与目标表中的第二字段标识之间的映射关系，以及回流任务的回流周期；调用任务创建接口，以使任务创建接口所对应的任务创建节点根据上述映射关系和回流周期创建回流任务；在本说明书实施例中，通过调用任务创建接口实现了回流任务的自动化创建，避免了采用人工编写代码的方式创建回流任务，从而降低了回流任务的创建周期，并且，节省了人力。
为解决上述技术问题，本说明书实施例是这样实现的：
本说明书实施例提供了一种数据管理的方法，包括：
接收回流任务创建请求；所述回流任务创建请求中携带有源表配置信息和回流任务参数配置信息；
根据所述源表配置信息和所述回流任务参数配置信息，确定创建所述回流任务所需的参数数据；其中，所述参数数据包括源表中的第一字段标识与目标表中的第二字段标识之间的映射关系，以及所述回流任务的回流周期；
调用任务创建接口，以使所述任务创建接口所对应的任务创建节点根据所述映射关系和所述回流周期创建所述回流任务。
本说明书实施例还提供了一种数据管理的装置，包括：
接收模块，接收回流任务创建请求；所述回流任务创建请求中携带有源表配置信息和回流任务参数配置信息；
确定模块，根据所述源表配置信息和所述回流任务参数配置信息，确定创建所述回流任务所需的参数数据；其中，所述参数数据包括源表中的第一字段标识与目标表中的第二字段标识之间的映射关系，以及所述回流任务的回流周期；
调用模块，调用任务创建接口，以使所述任务创建接口所对应的任务创建节点根据所述映射关系和所述回流周期创建所述回流任务。
本说明书实施例还提供了一种数据管理的系统，包括数据管理节点和任务创建节点；
所述数据管理节点，用于接收回流任务创建请求；所述回流任务创建请求中携带有源表配置信息和回流任务参数配置信息；根据所述源表配置信息和所述回流任务参数配置信息，确定创建所述回流任务所需的参数数据；其中，所述参数数据包括源表中的第一字段标识与目标表中的第二字段标识之间的映射关系，以及所述回流任务的回流周期；调用所述任务创建节点所对应的任务创建接口；
任务创建节点，用于根据所述映射关系和所述回流周期创建所述回流任务。
本说明书实施例还提供了一种数据管理的设备，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：
接收回流任务创建请求；所述回流任务创建请求中携带有源表配置信息和回流任务参数配置信息；
根据所述源表配置信息和所述回流任务参数配置信息，确定创建所述回流任务所需的参数数据；其中，所述参数数据包括源表中的第一字段标识与目标表中的第二字段标识之间的映射关系，以及所述回流任务的回流周期；
调用任务创建接口，以使所述任务创建接口所对应的任务创建节点根据所述映射关系和所述回流周期创建所述回流任务。
本说明书实施例还提供了一种存储介质，用于存储计算机可执行指令，所述可执行指令在被执行时实现以下流程：
接收回流任务创建请求；所述回流任务创建请求中携带有源表配置信息和回流任务参数配置信息；
根据所述源表配置信息和所述回流任务参数配置信息，确定创建所述回流任务所需的参数数据；其中，所述参数数据包括源表中的第一字段标识与目标表中的第二字段标识之间的映射关系，以及所述回流任务的回流周期；
调用任务创建接口，以使所述任务创建接口所对应的任务创建节点根据所述映射关系和所述回流周期创建所述回流任务。
通过本实施例中的技术方案，在接收到用户提交的回流任务创建请求后，根据该回流任务创建请求中携带的源表配置信息和回流任务参数配置信息，确定创建回流任务所需要的参数数据；其中，该参数数据可以包括源表中的第一字段标识与目标表中的第二字段标识之间的映射关系，以及回流任务的回流周期；调用任务创建接口，以使任务创建接口所对应的任务创建节点根据上述映射关系和回流周期创建回流任务；在本说明书实施例中，通过调用任务创建接口实现了回流任务的自动化创建，避免了采用人工编写代码的方式创建回流任务，从而降低了回流任务的创建周期，并且，节省了人力。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本说明书实施例提供的数据管理的方法的第一种方法流程图；
图2为本说明书实施例提供的数据管理的方法中，用户提交回流任务创建请求的界面示意图；
图3为本说明书实施例提供的数据管理的方法中，进行数据回流的数据流示意图；
图4为本说明书实施例提供的数据管理的方法中，进行数据回流的流程示意图；
图5为本说明书实施例提供的数据管理的方法的第二种方法流程图；
图6为本说明书实施例提供的数据管理的装置的模块组成示意图；
图7为本说明书实施例提供的数据管理的系统的结构示意图；
图8为本说明书实施例提供的数据管理的设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
本说明书实施例的思想在于，在需要创建回流任务时，在获取到创建回流任务所需的参数数据后，调用任务创建接口，通过任务创建接口自动创建回流任务。从而实现了回流任务的自动创建，避免了通过人工编写代码的方式创建回流任务，从而缩短了回流任务的创建周期，并且还节省了人力。基于此，本说明书实施例提供了一种数据管理的方法、装置及系统。下述将分别一一介绍本说明书实施例所提供的数据管理的方法、装置及系统。
本说明书实施例所提供的数据管理的方法的一种具体应用场景为，离线数据生产系统在获取到离线数据后，将该离线数据回流到线上数据库中，这时需要创建针对待回流数据的回流任务；具体的，该线上数据库可以为HBase数据库。
图1为本说明书实施例所提供的数据管理的方法的第一种方法流程图，图1所示的方法，至少包括如下步骤：
步骤102，接收回流任务创建请求；其中，上述回流任务创建请求中携带有源表配置信息和回流任务参数配置信息。
其中，上述源表一般为离线数据生产系统中用于存储离线数据的表格，在某些实施例中，也可以将源表称为开放数据处理服务(Open Data Processing Service，ODPS)表或者生产表；具体的，离线数据生产系统可以成为数据生产节点。
本说明书实施例所提供方法的执行主体可以为一种数据管理的装置，应用于服务器侧。具体的，当某个生产系统需要进行数据回流时，需要创建针对待回流数据的回流任务，这时用户可以通过数据管理客户端向数据管理的装置提交回流任务创建请求。
具体的，为了使得数据管理的装置能够创建与待回流数据相匹配的回流任务，因此，在上述回流任务创建请求中，需要携带有源表配置信息和回流任务参数配置信息。
其中，源表配置信息至少包括源表中需要进行回流的字段相关信息，在本说明书实施例中，为便于描述，将源表中需要进行回流的字段记为第一字段。
其中，上述第一字段相关信息至少包括第一字段标识，其中，第一字段标识可以为第一字段的字段名称。例如，上述源表为登记的某班级的学生信息，如表1所示。表1所示的源表中的字段有“姓名”、“联系电话”、“家庭住址”，如果是对表1中的“姓名”所对应的数据进行回流，则需要进行回流的字段则为“姓名”。
表1
| 姓名 | 班级 | 联系电话 | 家庭住址 |
| 张三 | 三(1)班 | 138XXXX4567 | XX |
| 李四 | 三(1)班 | 137XXXX2367 | XX |
| 王五 | 三(1)班 | 159XXXX2398 | XX |
当然，上述只是以表1为例进行示例性说明，并不构成对源表、源表中字段、以及源表中数据的限定。
另外，在本说明书实施例中，回流任务参数配置信息至少包括该回流任务所对应的回流周期。所谓回流任务的回流周期指的是每间隔多长时间对生产系统中数据进行一次回流。
在一种具体实施方式中，用户提交回流任务创建请求界面的一种界面示意图如图2所示。在图2所示的界面中示出了用户在提交回流任务创建请求时需要提交的一些信息。具体的，用户在提交回流任务创建请求时，还需要将源表配置信息和回流任务参数配置信息携带在回流任务人物创建请求中。其中，上述源表配置信息和回流任务参数配置信息具体如下：
源表配置信息具体可以包括如下信息：需要进行回流的源表、源表的业务类型(具体的，源表的业务类型一般包括增量表和全量表两种)、源表的主键、源表中需要进行回流的字段(第一字段)的相关信息等。其中，需要进行回流的字段的相关信息可以包括需要进行回流的字段名称、字段类型、字段状态等信息。
回流任务参数配置信息具体可以包括：回流任务的回流周期以及用户输入的回流备注信息等。
具体的，在图2所示的界面中，源表配置信息主要以选择的方式进行输入，即源表配置信息中的每种信息都对应有相应的选项，用户可以直接在该信息的下拉菜单中或者对应的选项中进行信息的选择，回流任务参数配置信息则需要用户在界面上直接进行内容的填写。
当用户完成图2所示的界面中所有信息的输入后，通过点击该界面上的“提交”按钮，就可以向数据管理的装置提交回流任务创建请求。
在某些情况下，用户在提交回流任务创建请求时，可能并不清楚在生产系统上是否已经部署了与该请求所对应的回流任务。因此，为了防止再次创建一个相同的回流任务，以及防止针对同一源表中的同一字段进行多次回流任务的创建，在接收到用户提交的回流任务创建请求后，需要检测是否已经创建该请求所对应的回流任务。
具体的，在上述源表配置信息包括源表以及源表中需要回流的第一字段标识。因此，在本说明书实施例中，在接收到回流任务创建请求后，并且执行下述104步骤之前，还需要执行如下步骤：
根据源表以及源表中的第一字段标识检测是否已经创建上述回流任务创建请求所对应的回流任务。
具体的，在本说明书实施例中，可以根据上述源表以及源表中的第一字段标识查找是否已经创建过该源表中的第一字段所对应的回流任务。若是查找到，则确定已经存在该回流任务创建请求所对应的回流任务，则可以结束创建该回流任务；若是检测到未查找到该源表中的第一字段所对应的回流任务，则认为还未创建过上述回流任务创建请求所对应的回流任务，则继续执行下述步骤，即步骤104。
步骤104，根据上述源表配置信息和回流任务参数配置信息，确定创建上述回流任务所需的参数数据；其中，上述参数数据包括源表中的第一字段标识与目标表中的第二字段标识之间的映射关系，以及上述回流任务的回流周期。
在本说明书实施例中，在执行上述步骤104之前，还需要审核需要进行回流的数据的所产生的效果是否可以达到预期效果。若是，可以达到预期效果，则继续执行后续步骤，否则，撤销用户提交的回流任务创建请求。
具体的，在本说明书实施例中，用户在提交回流任务创建请求之前，需要对需要回流的离线数据进行仿真，以确定该离线数据的效果。其中，可以采用沙盒域对离线数据进行仿真。
在对离线数据进行仿真后，根据该仿真结果判断需要回流的离线数据的效果是否可以达到预期效果。
需要说明的是，在步骤104中，上述目标表一般为数据库中用于存储数据的表格，在某些实施例中，上述目标表也可以称为HBase表。
上述第一字段标识为源表中需要进行回流的字段的标识；第二字段标识为目标表中与第一字段相对应的字段的标识。
所谓第二字段与第一字段相对应，一般可以理解为，第一字段所对应的数据与第二字段所对应的数据属于相同的数据。例如，第一字段所对应的数据为电话号码，则第二字段所对应的数据也为电话号码，但是第一字段和第二字段的标识可能不同。
在一种具体实施方式中，上述源表配置信息包括第一字段相关信息；上述回流任务参数配置信息包括回流周期；
相应的，在上述步骤104中，根据源表配置信息和回流任务参数配置信息，确定创建上述回流任务所需的参数数据，具体可以通过如下步骤(1)和步骤(2)实现；
步骤(1)、从回流任务创建请求中提取第一字段相关信息和回流周期；其中，第一字段相关信息包括第一字段标识；
步骤(2)、确定第一字段标识与第二字段标识之间的映射关系。
在本说明书实施例中，第一字段相关信息可以包括第一字段的标识、第一字段的类型以及第一字段所属的源表等信息。
具体的，在上述步骤(2)中，在确定第一字段标识与第二字段标识之间的映射关系时，首先需要确定与源表相对应的目标表，在确定了目标表之后，则确定第一字段标识与目标表中第二字段标识之间的映射关系。
其中，在确定与源表相对应的目标表时，可以通过该节点的工作人员人工选择的方式选择目标表，其中，上述目标表为数据库中用于存储数据的表格。具体的，数据库可能对应有多种表格，针对不同的源表可能对应着不同的目标表。
上述步骤(2)中，确定第一字段标识与第二字段标识之间的映射关系，至少可以通过如下两种方式确定；
方式一、根据用户操作，确定第一字段标识与第二字段标识之间的映射关系。
具体的，当从回流任务创建请求中获取到第一字段相关信息后，选择与源表对应的目标表，然后通过该节点的工作人员进行人为分析，从目标表的各个字段中选择出与第一字段对应的字段，将目标表中与第一字段对应的字段记为第二字段。然后，工作人员可以在当前界面上选择与各个第一字段相对应的第二字段，响应于用户在当前界面上执行的选择操作，数据管理的装置建立第一字段标识与第二字段标识之间的映射关系。
方式二、对第一字段以及目标表中的各个字段进行语义分析，确定与第一字段相对应的第二字段；建立第一字段标识与第二字段标识之间的映射关系。
一般的，针对一列相同的数据，不同的表格可能采用不同的字段描述该数据，但是，即使字段的具体内容不同，但是该字段所表征的含义是相同的。因此，为了确定出目标表中与第一字段相对应的字段，在本说明书实施例中，可以对第一字段以及目标表中的各个字段进行语义分析，根据语义分析结果从目标表中的各个字段中确定出与第一字段语义匹配的字段，将确定出的字段记为第二字段。
具体的，在本说明书实施例中，可以将第一字段与目标表中的各个字段进行语义分析、匹配，将与第一字段的匹配度大于或等于设定值的目标表中的子弹，确定为与第一字段相对应的第二字段。
其中，上述第一字段中可以包括一个字段或者多个字段。若是，第一字段中包括多个字段，则一一的确定第一字段中各个字段所对应的第二字段。
步骤106，调用任务创建接口，以使任务创建接口所对应的任务创建节点根据上述映射关系和回流周期创建回流任务。
一般的，通过任务创建接口中接入的数据有着自己特有的格式，因此，为了便于任务创建接口可以识别上述参数数据，在上述步骤106中，通过调用任务创建接口创建回流任务时，还需要对创建回流任务所需要的参数数据进行格式转换。
具体的，上述步骤106中，调用任务创建接口，以使任务创建接口所对应的任务创建节点根据上述映射关系和回流周期创建回流任务，具体包括如下步骤一和步骤二；
步骤一、将上述映射关系和回流周期转换为设定格式；
步骤二、将转换为设定格式的映射关系和回流周期通过任务创建接口输入任务创建节点，以使任务创建节点创建回流任务。
为便于理解上述步骤一中所提到的格式转换，下述将举例进行说明。
例如，在一种具体实施方式中，上述回流任务所对应的回流周期为三天，在参数数据中可能通过如下方式描述回流周期“回流周期为三天”。但是，任务创建接口只能识别用“Day”表示“天”的数据，即任务创建接口只能识别“回流周期为3Days”这样的数据。因此，在这种情况下，若是直接将“回流周期为三天”输入任务创建接口，则任务创建接口无法识别该数据，因此，需要对上述回流周期进行格式转换。
具体的，在本说明书实施例中，为了唯一的标识所生成的回流任务，上述参数数据中除了包括第一字段标识与第二字段标识之间的映射关系、回流周期外，还包括回流任务的名称；
具体的，为了唯一的标识出第一字段所对应的回流任务，可以通过如下过程确定回流任务的名称：
从回流任务创建请求中，获取需要进行回流的第一字段标识，按照设定规则生成第一字段标识的前缀和/或尾缀，将前缀和/或尾缀添加至第一字段标识的相应位置，从而得到回流任务的名称。
具体的，在本说明书实施例中，可以只在第一字段标识的前面添加前缀，以生成回流任务的名称；也可以只在第一字段标识的后面添加尾缀，以生成回流任务的名称；或者，还可以在第一字段的前面添加前缀，在第一字段标识的后面添加尾缀，生成回流任务的名称。
为便于理解，下述将举例进行说明。
例如，上述设定规则可以为当前的时间信息或者当前接收到的任务创建请求的序列号等。例如，上述第一字段标识为“姓名”，在确定回流任务的名称的时刻为2018年3月16日13时28分，因此，生成的前缀可以为201803161328，并且，该回流任务创建请求为数据管理服务器接收到的第208个请求，因此，生成的后缀可以为208。因此，该回流任务的名称可以为“201803161328姓名208”。
当然，上述前缀和后缀还可以依据其他规则生成，只要可以生成回流任务所对应的唯一的名称即可，本说明书实施例并不对上述前缀和后缀的生成规则进行限定。
在具体实施时，在任务创建节点中可能预先设置有回流任务所对应的任务模板，当任务创建节点通过任务创建接口接收到创建该回流任务所需要的参数数据后，将该参数数据分别填入至任务模板的相应位置处，得到完整的任务表格，从而生成回流任务。然后，将该回流任务进行打包，并发送给生成系统，以使生产系统发布该回流任务。
例如，该任务模板可以以表格的形式表征该任务所需的各个参数，当任务创建节点通过任务创建接口接收到创建该回流任务所需要的参数数据后，将该参数数据分别填入至任务模板的相应位置处，得到完整的任务表格，将该任务表格确定为生成的回流任务。
还例如，回流任务还可以以文本的形式表征，例如，在一种具体实施方式中，所确定出的回流任务的一种可能的形式可以为：
每间隔2Days将源表中“联系方式”字段下新增的待回流数据映射到目标表的“联系电话”字段下。
具体的，当生产系统发布了该回流任务，则生产系统则按照该回流任务将需要进行回流的数据回流至HBase数据库。
为便于理解在生产系统发布回流任务后，将生产系统的数据回流到HBase数据库的具体过程，下述将以进行增量回流为例，详细进行说明。
例如，若是采用增量回流的方式将生产系统中的数据回流至HBase数据库，则数据回流的一种数据流如图3所示。
在图3所示的数据流中，分别示出了每天8点进行数据回流的链路以及每天18点进行数据回流的链路。具体的，在图3所示的数据流中，源表中存储有生产系统获取到的所有的离线数据，由于图3示出的为增量回流方式，因此，在增量表中存储有在该回流周期内源表中所对应的增量数据，将源表中的增量数据放置在增量表中，然后通过数据清洗节点对增量表中的增量数据进行清洗，将清洗后的数据存储在回流表中，即回流表中存储的为待回流数据，然后，从映射节点获取源表字段与目标表字段之间的映射关系，根据该映射关系在同步节点对回流表中的数据进行转换，以将数据存储在目标表中。
另外，在本说明书实施例中，当生产系统将数据回流至数据库后，某些业务在处理业务时可能需要使用存储在数据库中的数据，这时，就需要从数据库中读取数据。而业务系统在从数据库中读取数据时，需要在数据库中输入关键字，以便进行数据的查找。为了便于从数据库中查找到关键字所对应的数据，需要存储有关键字与第二字段标识之间的映射关系。
因此，本说明书实施例提供的方法，还包括：
获取第一字段标识所对应的指标标识；根据上述指标标识，以及第一字段标识与第二字段标识之间的映射关系，创建指标标识与第二字段标识之间的映射关系。
其中，上述指标标识为指标编码(Identification,ID)，该指标ID可以唯一的表征第一字段标识。
具体的，在本说明书实施例中，当数据管理的装置获取到源表配置信息后，会根据该源表配置信息生成可以唯一标识第一字段的指标ID，另外，在创建回流任务时，还可以获取到第一字段标识和第二字段标识的映射关系，因此，通过指标ID与第一字段的映射关系，以及第一字段标识与第二字段标识的映射关系，可以创建出指标ID与第二字段标识的映射关系。这样，业务系统需要读取存储在数据库中的数据时，可以通过指标ID就可以读取相应的数据。
其中，上述指标ID为通用的指标ID。
在本说明书实施例中，通过建立指标ID和第二字段标识之间的映射关系，相当于打通了业务系统和数据库之间的链路，从而建立了业务系统和数据库之间的“血缘关系”，便于业务系统从数据库进行数据的读取；另外，由于在创建回流任务的过程中，已经建立了第一字段标识与第二字段标识之间的映射关系，并且生成了第一字段标识所对应的指标标识，因此，根据上述信息可以自动生成指标标识与第二字段标识之间的映射关系，节省了人力成本，且创建周期较短。
另外，在本说明书实施例中，建立了数据生产系统与数据库之间的链路，还建立和业务系统和数据库之间的链路，从而打通了数据生产节点、存储节点以及应用节点之间的链路，实现了数据的追根溯源。
另外，为了实现写入源表中的数据的清洗，在本说明书实施例中，该方法还包括：
创建数据清洗任务；其中，该数据清洗任务用于对第一字段所对应的待回流数据进行清洗。
在本说明书实施例中，也可以通过任务创建节点创建数据清洗任务，具体的，可以将第一字段相关信息以及数据清洗规则通过任务创建接口输入任务创建节点，并将创建的数据清洗任务发送给数据生产系统，以使数据生产系统发布该任务，从而进行待回流数据的清洗。
因此，在本说明书实施例中，生产系统的数据通过增量方式回流到线上数据库的一种具体流程示意图，如图4所示。
在图4所示的流程示意图中，首先源表中需要回流的字段，然后，将源表中需要回流的字段中的在回流周期内的增量数据写入增量表，然后对该增联表中的数据进行清洗，将清洗后的数据写入待回流表中(其中，待回流表与源表类型、格式均相同)，然后将待回流表中的待回流数据进行映射，映射到目标表中。
为便于理解本说明书实施例提供的方法，下述通过具体实施例进行介绍。
图5为本说明书实施例所提供的数据管理的方法的第二种方法流程图，图5所示的方法至少包括如下步骤：
步骤502，接收用户提交的回流任务创建请求；其中，该回流任务创建请求中携带有源表配置信息和回流任务参数配置信息。
具体的，上述源表配置信息可以包括需要进行回流的源表、源表的业务类型、源表的主键、源表中需要进行回流的字段相关信息等；上述回流任务参数配置信息可以包括回流任务的回流周期等。
步骤504，提取上述回流任务创建请求中的第一字段相关信息和回流周期。
其中，第一字段标识为需要进行回流的字段的标识。
步骤506，检测是否已经创建上述回流任务创建请求所对应的回流任务；若是，则结束；否则，执行步骤508。
步骤508，获取与源表对应的目标表。
其中，目标表为待回流数据需要回流至的数据库中的一个表格。
步骤510，确定第一字段标识与目标表中第二字段标识之间的映射关系。
其中，第二字段标识为目标表中与第一字段标识相对应的字段的标识。
步骤512，调用任务创建接口。
步骤514，将上述映射关系和回流周期转换为设定的格式。
步骤516，将转换为设定格式的映射关系和回流周期输入任务创建接口，以使任务创建接口所对应的任务创建节点根据映射关系和回流周期进行任务的创建。
步骤518，将创建的回流任务发送给生产系统，以使生产系统发布该回流任务，将待回流数据回流至数据库。
本说明书实施例所提供的数据管理的方法，在接收到用户提交的回流任务创建请求后，根据该回流任务创建请求中携带的源表配置信息和回流任务参数配置信息，确定创建回流任务所需要的参数数据；其中，该参数数据可以包括源表中的第一字段标识与目标表中的第二字段标识之间的映射关系，以及回流任务的回流周期；调用任务创建接口，以使任务创建接口所对应的任务创建节点根据上述映射关系和回流周期创建回流任务；在本说明书实施例中，通过调用任务创建接口实现了回流任务的自动化创建，避免了采用人工编写代码的方式创建回流任务，从而降低了回流任务的创建周期，并且，节省了人力。
对应于本说明书实施例提供的数据管理的方法，基于相同的思路，本说明书实施例还提供了一种数据管理的装置，用于执行本说明书实施例所提供的数据管理的方法，图6为本说明书实施例所提供的数据管理的装置的模块组成示意图，图6所示的装置，包括：
接收模块601，用于接收回流任务创建请求；上述回流任务创建请求中携带有源表配置信息和回流任务参数配置信息；
确定模块602，用于根据上述源表配置信息和上述回流任务参数配置信息，确定创建上述回流任务所需的参数数据；其中，上述参数数据包括源表中的第一字段标识与目标表中的第二字段标识之间的映射关系，以及上述回流任务的回流周期；
调用模块603，用于调用任务创建接口，以使上述任务创建接口所对应的任务创建节点根据上述映射关系和上述回流周期创建上述回流任务。
可选的，上述装置，还包括：
转换模块，将上述映射关系和上述回流周期转换为设定格式；
输入模块，将转换为设定格式的映射关系和回流周期通过上述任务创建接口输入上述任务创建节点，以使上述任务创建节点创建上述回流任务。
可选的，上述源表配置信息包括第一字段相关信息；上述回流任务参数配置信息包括上述回流周期；
相应的，上述确定模块602，具体用于：
从上述回流任务创建请求中提取上述第一字段相关信息和上述回流周期；其中，上述第一字段相关信息中包括第一字段标识；确定上述第一字段标识与上述第二字段标识之间的映射关系。
可选的，上述确定模块602，还具体用于：
根据用户操作，确定上述第一字段标识与上述第二字段标识之间的映射关系；
或者，
对上述第一字段以及目标表中的各个字段进行语义分析，确定与上述第一字段相对应的第二字段；建立上述第一字段标识与上述第二字段标识之间的映射关系。
可选的，上述源表配置信息包括源表以及源表中需要回流的第一字段标识；
上述装置，还包括：
检测模块，用于根据上述源表以及上述第一字段标识检测是否已经创建上述回流任务创建请求所对应的回流任务。
可选的，本说明书实施例所提供的装置，还包括：
获取模块，获取上述第一字段标识所对应的指标标识；
创建模块，根据上述指标标识，以及上述第一字段标识与上述第二字段标识之间的映射关系，创建上述指标标识与上述第二字段标识之间的映射关系。
本说明书实施例中各个模块的功能的具体实现过程与上述方法实施例中的各个步骤的具体实现过程相同，因此，各个模块功能的具体实现过程可参考上述方法实施例，此处不再赘述。
本说明书实施例提供的数据管理的装置，在接收到用户提交的回流任务创建请求后，根据该回流任务创建请求中携带的源表配置信息和回流任务参数配置信息，确定创建回流任务所需要的参数数据；其中，该参数数据可以包括源表中的第一字段标识与目标表中的第二字段标识之间的映射关系，以及回流任务的回流周期；调用任务创建接口，以使任务创建接口所对应的任务创建节点根据上述映射关系和回流周期创建回流任务；在本说明书实施例中，通过调用任务创建接口实现了回流任务的自动化创建，避免了采用人工编写代码的方式创建回流任务，从而降低了回流任务的创建周期，并且，节省了人力。
对应于本说明书实施例所提供的方法，基于相同的思路，本说明书实施例还提供了一种数据管理的系统，图7示出了本说明书实施例所提供的数据管理的系统的结构示意图，图7所示的系统，包括：数据管理节点701和任务创建节点702；
上述数据管理节点701，用于接收回流任务创建请求；上述回流任务创建请求中携带有源表配置信息和回流任务参数配置信息；根据上述源表配置信息和上述回流任务参数配置信息，确定创建上述回流任务所需的参数数据；其中，上述参数数据包括源表中的第一字段标识与目标表中的第二字段标识之间的映射关系，以及上述回流任务的回流周期；调用任务创建接口；
任务创建节点702，用于根据上述映射关系和上述回流周期创建上述回流任务。
可选的，上述数据管理节点701，还用于：
将上述映射关系和上述回流周期转换为设定格式；将转换为设定格式的映射关系和回流周期通过上述任务创建接口输入上述任务创建节点，以使上述任务创建节点创建上述回流任务。
可选的，上述源表配置信息包括源表以及源表中需要回流的第一字段标识；
上述数据管理节点701，还用于根据上述源表以及上述第一字段标识检测是否已经创建上述回流任务创建请求所对应的回流任务。
可选的，数据管理节点701，还用于：
获取上述第一字段标识所对应的指标标识；根据上述指标标识，以及上述第一字段标识与上述第二字段标识之间的映射关系，创建上述指标标识与上述第二字段标识之间的映射关系。
可选的，上述源表配置信息包括第一字段相关信息；上述回流任务参数配置信息包括上述回流周期；
数据管理节点701，还用于：
从上述回流任务创建请求中提取上述第一字段相关信息和上述回流周期；其中，上述第一字段相关信息中包括第一字段标识；
确定上述第一字段标识与上述第二字段标识之间的映射关系。
可选的，数据管理节点701，还具体用于：
根据用户操作，确定上述第一字段标识与上述第二字段标识之间的映射关系；
或者，
对上述第一字段以及目标表中的各个字段进行语义分析，确定与上述第一字段相对应的第二字段；建立上述第一字段标识与上述第二字段标识之间的映射关系。
本说明书实施例中各个节点的功能的具体实现过程与上述方法实施例中的各个步骤的具体实现过程相同，因此，各个节点功能的具体实现过程可参考上述方法实施例，此处不再赘述。
本说明书实施例提供的数据管理的系统，在接收到用户提交的回流任务创建请求后，根据该回流任务创建请求中携带的源表配置信息和回流任务参数配置信息，确定创建回流任务所需要的参数数据；其中，该参数数据可以包括源表中的第一字段标识与目标表中的第二字段标识之间的映射关系，以及回流任务的回流周期；调用任务创建接口，以使任务创建接口所对应的任务创建节点根据上述映射关系和回流周期创建回流任务；在本说明书实施例中，通过调用任务创建接口实现了回流任务的自动化创建，避免了采用人工编写代码的方式创建回流任务，从而降低了回流任务的创建周期，并且，节省了人力。
进一步地，基于上述图1至图5所示的方法，本说明书实施例还提供了一种数据管理的设备，如图8所示。
数据管理的设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上的处理器801和存储器802，存储器802中可以存储有一个或一个以上存储应用程序或数据。其中，存储器802可以是短暂存储或持久存储。存储在存储器802的应用程序可以包括一个或一个以上模块(图示未示出)，每个模块可以包括对数据管理的设备中的一系列计算机可执行指令。更进一步地，处理器801可以设置为与存储器802通信，在数据管理的设备上执行存储器802中的一系列计算机可执行指令。数据管理的设备还可以包括一个或一个以上电源803，一个或一个以上有线或无线网络接口804，一个或一个以上输入输出接口805，一个或一个以上键盘806等。
在一个具体的实施例中，数据管理的设备包括有存储器，以及一个或一个以上的程序，其中一个或者一个以上程序存储于存储器中，且一个或者一个以上程序可以包括一个或一个以上模块，且每个模块可以包括对数据管理的设备中的一系列计算机可执行指令，且经配置以由一个或者一个以上处理器执行该一个或者一个以上程序包含用于进行以下计算机可执行指令：
接收回流任务创建请求；所述回流任务创建请求中携带有源表配置信息和回流任务参数配置信息；
根据所述源表配置信息和所述回流任务参数配置信息，确定创建所述回流任务所需的参数数据；其中，所述参数数据包括源表中的第一字段标识与目标表中的第二字段标识之间的映射关系，以及所述回流任务的回流周期；
调用任务创建接口，以使所述任务创建接口所对应的任务创建节点根据所述映射关系和所述回流周期创建所述回流任务。
可选地，计算机可执行指令在被执行时，所述调用任务创建接口之后，所述方法还包括：
将所述映射关系和所述回流周期转换为设定格式；
将转换为设定格式的映射关系和回流周期通过所述任务创建接口输入所述任务创建节点，以使所述任务创建节点创建所述回流任务。
可选地，计算机可执行指令在被执行时，所述源表配置信息包括所述第一字段相关信息；所述回流任务参数配置信息包括所述回流周期；
所述根据所述源表配置信息和所述回流任务参数配置信息，确定创建所述回流任务所需的参数数据，包括：
从所述回流任务创建请求中提取所述第一字段相关信息和所述回流周期；其中，所述第一字段相关信息中包括第一字段标识；
确定所述第一字段标识与所述第二字段标识之间的映射关系。
可选地，计算机可执行指令在被执行时，所述确定所述第一字段标识与所述第二字段标识之间的映射关系，包括：
根据用户操作，确定所述第一字段标识与所述第二字段标识之间的映射关系；
或者，
对所述第一字段以及目标表中的各个字段进行语义分析，确定与所述第一字段相对应的第二字段；建立所述第一字段标识与所述第二字段标识之间的映射关系。
可选地，计算机可执行指令在被执行时，所述源表配置信息包括源表以及源表中需要回流的第一字段标识；
所述根据所述源表配置信息和所述回流任务参数配置信息，确定创建所述回流任务所需的参数数据之前，所述方法还包括：
根据所述源表以及所述第一字段标识检测是否已经创建所述回流任务创建请求所对应的回流任务。
可选地，计算机可执行指令在被执行时，所述方法还包括：
获取所述第一字段标识所对应的指标标识；
根据所述指标标识，以及所述第一字段标识与所述第二字段标识之间的映射关系，创建所述指标标识与所述第二字段标识之间的映射关系。
本说明书实施例提供的数据管理的设备，在接收到用户提交的回流任务创建请求后，根据该回流任务创建请求中携带的源表配置信息和回流任务参数配置信息，确定创建回流任务所需要的参数数据；其中，该参数数据可以包括源表中的第一字段标识与目标表中的第二字段标识之间的映射关系，以及回流任务的回流周期；调用任务创建接口，以使任务创建接口所对应的任务创建节点根据上述映射关系和回流周期创建回流任务；在本说明书实施例中，通过调用任务创建接口实现了回流任务的自动化创建，避免了采用人工编写代码的方式创建回流任务，从而降低了回流任务的创建周期，并且，节省了人力。
进一步地，基于上述图1至图5所示的方法，本说明书实施例还提供了一种存储介质，用于存储计算机可执行指令，一种具体的实施例中，该存储介质可以为U盘、光盘、硬盘等，该存储介质存储的计算机可执行指令在被处理器执行时，能实现以下流程：
接收回流任务创建请求；所述回流任务创建请求中携带有源表配置信息和回流任务参数配置信息；
根据所述源表配置信息和所述回流任务参数配置信息，确定创建所述回流任务所需的参数数据；其中，所述参数数据包括源表中的第一字段标识与目标表中的第二字段标识之间的映射关系，以及所述回流任务的回流周期；
调用任务创建接口，以使所述任务创建接口所对应的任务创建节点根据所述映射关系和所述回流周期创建所述回流任务。
可选的，该存储介质存储的计算机可执行指令在被处理器执行时，所述调用任务创建接口之后，所述方法还包括：
将所述映射关系和所述回流周期转换为设定格式；
将转换为设定格式的映射关系和回流周期通过所述任务创建接口输入所述任务创建节点，以使所述任务创建节点创建所述回流任务。
可选的，该存储介质存储的计算机可执行指令在被处理器执行时，所述源表配置信息包括所述第一字段相关信息；所述回流任务参数配置信息包括所述回流周期；
所述根据所述源表配置信息和所述回流任务参数配置信息，确定创建所述回流任务所需的参数数据，包括：
从所述回流任务创建请求中提取所述第一字段相关信息和所述回流周期；其中，所述第一字段相关信息中包括第一字段标识；
确定所述第一字段标识与所述第二字段标识之间的映射关系。
可选的，该存储介质存储的计算机可执行指令在被处理器执行时，所述确定所述第一字段标识与所述第二字段标识之间的映射关系，包括：
根据用户操作，确定所述第一字段标识与所述第二字段标识之间的映射关系；
或者，
对所述第一字段以及目标表中的各个字段进行语义分析，确定与所述第一字段相对应的第二字段；建立所述第一字段标识与所述第二字段标识之间的映射关系。
可选的，该存储介质存储的计算机可执行指令在被处理器执行时，所述源表配置信息包括源表以及源表中需要回流的第一字段标识；
所述根据所述源表配置信息和所述回流任务参数配置信息，确定创建所述回流任务所需的参数数据之前，所述方法还包括：
根据所述源表以及所述第一字段标识检测是否已经创建所述回流任务创建请求所对应的回流任务。
可选的，该存储介质存储的计算机可执行指令在被处理器执行时，所述方法还包括：
获取所述第一字段标识所对应的指标标识；
根据所述指标标识，以及所述第一字段标识与所述第二字段标识之间的映射关系，创建所述指标标识与所述第二字段标识之间的映射关系。
本说明书实施例提供的存储介质存储的计算机可执行指令在被处理器执行时，在接收到用户提交的回流任务创建请求后，根据该回流任务创建请求中携带的源表配置信息和回流任务参数配置信息，确定创建回流任务所需要的参数数据；其中，该参数数据可以包括源表中的第一字段标识与目标表中的第二字段标识之间的映射关系，以及回流任务的回流周期；调用任务创建接口，以使任务创建接口所对应的任务创建节点根据上述映射关系和回流周期创建回流任务；在本说明书实施例中，通过调用任务创建接口实现了回流任务的自动化创建，避免了采用人工编写代码的方式创建回流任务，从而降低了回流任务的创建周期，并且，节省了人力。
在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device，PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (16)
1.一种数据管理的方法，包括：
接收回流任务创建请求；其中，所述回流任务创建请求中携带有源表配置信息和回流任务参数配置信息；
根据所述源表配置信息和所述回流任务参数配置信息，确定创建所述回流任务所需的参数数据；其中，所述参数数据包括源表中的第一字段标识与目标表中的第二字段标识之间的映射关系，以及所述回流任务的回流周期；
调用任务创建接口，以使所述任务创建接口所对应的任务创建节点根据所述映射关系和所述回流周期创建所述回流任务。
2.如权利要求1所述的方法，所述调用任务创建接口之后，所述方法还包括：
将所述映射关系和所述回流周期转换为设定格式；
将转换为设定格式的映射关系和回流周期通过所述任务创建接口输入所述任务创建节点，以使所述任务创建节点创建所述回流任务。
3.如权利要求1或2所述的方法，所述源表配置信息包括第一字段相关信息；所述回流任务参数配置信息包括所述回流周期；
所述根据所述源表配置信息和所述回流任务参数配置信息，确定创建所述回流任务所需的参数数据，包括：
从所述回流任务创建请求中提取所述第一字段相关信息和所述回流周期；其中，所述第一字段相关信息中包括第一字段标识；
确定所述第一字段标识与所述第二字段标识之间的映射关系。
4.如权利要求3所述的方法，所述确定所述第一字段标识与所述第二字段标识之间的映射关系，包括：
根据用户操作，确定所述第一字段标识与所述第二字段标识之间的映射关系；
或者，
对所述第一字段以及目标表中的各个字段进行语义分析，确定与所述第一字段相对应的第二字段；建立所述第一字段标识与所述第二字段标识之间的映射关系。
5.如权利要求1所述的方法，所述源表配置信息包括源表以及源表中需要回流的第一字段标识；
所述根据所述源表配置信息和所述回流任务参数配置信息，确定创建所述回流任务所需的参数数据之前，所述方法还包括：
根据所述源表以及所述第一字段标识检测是否已经创建所述回流任务创建请求所对应的回流任务。
6.如权利要求1或2所述的方法，所述方法还包括：
获取所述第一字段标识所对应的指标标识；
根据所述指标标识，以及所述第一字段标识与所述第二字段标识之间的映射关系，创建所述指标标识与所述第二字段标识之间的映射关系。
7.一种数据管理的装置，包括：
接收模块，接收回流任务创建请求；所述回流任务创建请求中携带有源表配置信息和回流任务参数配置信息；
确定模块，根据所述源表配置信息和所述回流任务参数配置信息，确定创建所述回流任务所需的参数数据；其中，所述参数数据包括源表中的第一字段标识与目标表中的第二字段标识之间的映射关系，以及所述回流任务的回流周期；
调用模块，调用任务创建接口，以使所述任务创建接口所对应的任务创建节点根据所述映射关系和所述回流周期创建所述回流任务。
8.如权利要求7所述的装置，还包括：
转换模块，将所述映射关系和所述回流周期转换为设定格式；
输入模块，将转换为设定格式的映射关系和回流周期通过所述任务创建接口输入所述任务创建节点，以使所述任务创建节点创建所述回流任务。
9.如权利要求7或8所述的装置，所述源表配置信息包括第一字段相关信息；所述回流任务参数配置信息包括所述回流周期；
所述确定模块，具体用于：
从所述回流任务创建请求中提取所述第一字段相关信息和所述回流周期；其中，所述第一字段相关信息中包括第一字段标识；确定所述第一字段标识与所述第二字段标识之间的映射关系。
10.如权利要求7或8所述的装置，所述装置还包括：
获取模块，获取所述第一字段标识所对应的指标标识；
创建模块，根据所述指标标识，以及所述第一字段标识与所述第二字段标识之间的映射关系，创建所述指标标识与所述第二字段标识之间的映射关系。
11.一种数据管理的系统，包括数据管理节点和任务创建节点；
所述数据管理节点，用于接收回流任务创建请求；所述回流任务创建请求中携带有源表配置信息和回流任务参数配置信息；根据所述源表配置信息和所述回流任务参数配置信息，确定创建所述回流任务所需的参数数据；其中，所述参数数据包括源表中的第一字段标识与目标表中的第二字段标识之间的映射关系，以及所述回流任务的回流周期；调用所述任务创建节点所对应的任务创建接口；
任务创建节点，用于根据所述映射关系和所述回流周期创建所述回流任务。
12.如权利要求11所述的系统，所述数据管理节点，还用于：
将所述映射关系和所述回流周期转换为设定格式；将转换为设定格式的映射关系和回流周期通过所述任务创建接口输入所述任务创建节点，以使所述任务创建节点创建所述回流任务。
13.如权利要求11所述的系统，所述源表配置信息包括源表以及源表中需要回流的第一字段标识；
所述数据管理节点，还用于根据所述源表以及所述第一字段标识检测是否已经创建所述回流任务创建请求所对应的回流任务。
14.如权利要求11或12所述的系统，所述数据管理节点，还用于：
获取所述第一字段标识所对应的指标标识；根据所述指标标识，以及所述第一字段标识与所述第二字段标识之间的映射关系，创建所述指标标识与所述第二字段标识之间的映射关系。
15.一种数据管理的设备，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：
接收回流任务创建请求；所述回流任务创建请求中携带有源表配置信息和回流任务参数配置信息；
根据所述源表配置信息和所述回流任务参数配置信息，确定创建所述回流任务所需的参数数据；其中，所述参数数据包括源表中的第一字段标识与目标表中的第二字段标识之间的映射关系，以及所述回流任务的回流周期；
调用任务创建接口，以使所述任务创建接口所对应的任务创建节点根据所述映射关系和所述回流周期创建所述回流任务。
16.一种存储介质，用于存储计算机可执行指令，所述可执行指令在被执行时实现以下流程：
接收回流任务创建请求；所述回流任务创建请求中携带有源表配置信息和回流任务参数配置信息；
根据所述源表配置信息和所述回流任务参数配置信息，确定创建所述回流任务所需的参数数据；其中，所述参数数据包括源表中的第一字段标识与目标表中的第二字段标识之间的映射关系，以及所述回流任务的回流周期；
调用任务创建接口，以使所述任务创建接口所对应的任务创建节点根据所述映射关系和所述回流周期创建所述回流任务。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810788397.3A CN109241026B (zh) | 2018-07-18 | 2018-07-18 | 数据管理的方法、装置及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810788397.3A CN109241026B (zh) | 2018-07-18 | 2018-07-18 | 数据管理的方法、装置及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109241026A true CN109241026A (zh) | 2019-01-18 |
| CN109241026B CN109241026B (zh) | 2021-10-15 |
Family
ID=65072048
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810788397.3A Active CN109241026B (zh) | 2018-07-18 | 2018-07-18 | 数据管理的方法、装置及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109241026B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110188088A (zh) * | 2019-05-23 | 2019-08-30 | 广东海洋大学 | 一种海上船舶采砂行为大数据模型 |
| CN110263050A (zh) * | 2019-05-06 | 2019-09-20 | 阿里巴巴集团控股有限公司 | 数据处理方法、装置、设备及存储介质 |
| CN111125229A (zh) * | 2019-12-24 | 2020-05-08 | 杭州数梦工场科技有限公司 | 数据血缘生成方法、装置、电子设备 |
| CN111784208A (zh) * | 2020-07-30 | 2020-10-16 | 支付宝(杭州)信息技术有限公司 | 调查任务处理方法、装置、设备及存储介质 |
| CN112231324A (zh) * | 2019-06-26 | 2021-01-15 | 中兴通讯股份有限公司 | 一种实现增量数据比对的系统及方法 |
| CN113377804A (zh) * | 2021-06-30 | 2021-09-10 | 北京三快在线科技有限公司 | 一种数据处理方法、装置、存储介质及电子设备 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20010007461A1 (en) * | 1998-06-08 | 2001-07-12 | Kia Silverbrook | Moving nozzle ink jet printing mechanism |
| CN102110102A (zh) * | 2009-12-29 | 2011-06-29 | 北大方正集团有限公司 | 数据处理方法及装置、文件识别方法及工具 |
| CN102843202A (zh) * | 2006-12-22 | 2012-12-26 | 苹果公司 | 传送和存储与媒体广播关联的信息 |
| CN103678339A (zh) * | 2012-09-06 | 2014-03-26 | 阿里巴巴集团控股有限公司 | 数据回流、关系型数据库中的数据访问方法及系统 |
| CN105069033A (zh) * | 2015-07-22 | 2015-11-18 | 北京京东尚科信息技术有限公司 | 一种创建数据库表模型的方法及装置 |
| CN105205117A (zh) * | 2015-09-09 | 2015-12-30 | 郑州悉知信息科技股份有限公司 | 一种数据表迁移方法和装置 |
| US9430141B1 (en) * | 2014-07-01 | 2016-08-30 | Amazon Technologies, Inc. | Adaptive annotations |
| CN106897810A (zh) * | 2015-12-17 | 2017-06-27 | 北京奇虎科技有限公司 | 业务处理方法和系统、工作流引擎和系统、业务系统 |
| CN107113313A (zh) * | 2015-03-02 | 2017-08-29 | 微软技术许可有限责任公司 | 将数据从源上传到目的地的代理服务 |
| CN107967316A (zh) * | 2017-11-22 | 2018-04-27 | 平安科技（深圳）有限公司 | 一种数据同步方法、设备及计算机可读存储介质 |
-
2018
- 2018-07-18 CN CN201810788397.3A patent/CN109241026B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20010007461A1 (en) * | 1998-06-08 | 2001-07-12 | Kia Silverbrook | Moving nozzle ink jet printing mechanism |
| CN102843202A (zh) * | 2006-12-22 | 2012-12-26 | 苹果公司 | 传送和存储与媒体广播关联的信息 |
| CN102110102A (zh) * | 2009-12-29 | 2011-06-29 | 北大方正集团有限公司 | 数据处理方法及装置、文件识别方法及工具 |
| CN103678339A (zh) * | 2012-09-06 | 2014-03-26 | 阿里巴巴集团控股有限公司 | 数据回流、关系型数据库中的数据访问方法及系统 |
| US9430141B1 (en) * | 2014-07-01 | 2016-08-30 | Amazon Technologies, Inc. | Adaptive annotations |
| CN107113313A (zh) * | 2015-03-02 | 2017-08-29 | 微软技术许可有限责任公司 | 将数据从源上传到目的地的代理服务 |
| CN105069033A (zh) * | 2015-07-22 | 2015-11-18 | 北京京东尚科信息技术有限公司 | 一种创建数据库表模型的方法及装置 |
| CN105205117A (zh) * | 2015-09-09 | 2015-12-30 | 郑州悉知信息科技股份有限公司 | 一种数据表迁移方法和装置 |
| CN106897810A (zh) * | 2015-12-17 | 2017-06-27 | 北京奇虎科技有限公司 | 业务处理方法和系统、工作流引擎和系统、业务系统 |
| CN107967316A (zh) * | 2017-11-22 | 2018-04-27 | 平安科技（深圳）有限公司 | 一种数据同步方法、设备及计算机可读存储介质 |
Non-Patent Citations (6)
| Title |
|---|
| ANANDAROOP GHOSH等: "Energy-Efficient Application Mapping in FPGA through Computation in Embedded Memory Blocks", 《2012 25TH INTERNATIONAL CONFERENCE ON VLSI DESIGN》 * |
| WEIJIAOGONG等: "Mobile sensor networks for optimal leak and backflow detection and localization in municipal water networks", 《ENVIRONMENTAL MODELLING & SOFTWARE》 * |
| 刘凯: "基于B_S结构的珠宝零售管理信息系统的设计与实现", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 * |
| 刘剑君: "基于Oracle数据集成工具的数据回流系统设计与实现", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 * |
| 奶瓶SAMA: "第三节 json数据绑定以及dom回流重绘、映射", 《HTTPS://WWW.JIANSHU.COM/P/AD5327DFFA66?UTM_CAMPAIGN=MALESKINE&UTM_CONTENT=NOTE&UTM_MEDIUM=SEO_NOTES&UTM_SOURCE=RECOMMENDATION》 * |
| 徐宁: "基于数据仓库的电信企业数据平台的研究与实现", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110263050A (zh) * | 2019-05-06 | 2019-09-20 | 阿里巴巴集团控股有限公司 | 数据处理方法、装置、设备及存储介质 |
| CN110263050B (zh) * | 2019-05-06 | 2023-10-27 | 创新先进技术有限公司 | 数据处理方法、装置、设备及存储介质 |
| CN110188088A (zh) * | 2019-05-23 | 2019-08-30 | 广东海洋大学 | 一种海上船舶采砂行为大数据模型 |
| CN112231324A (zh) * | 2019-06-26 | 2021-01-15 | 中兴通讯股份有限公司 | 一种实现增量数据比对的系统及方法 |
| CN112231324B (zh) * | 2019-06-26 | 2023-03-24 | 金篆信科有限责任公司 | 一种实现增量数据比对的系统及方法 |
| CN111125229A (zh) * | 2019-12-24 | 2020-05-08 | 杭州数梦工场科技有限公司 | 数据血缘生成方法、装置、电子设备 |
| CN111784208A (zh) * | 2020-07-30 | 2020-10-16 | 支付宝(杭州)信息技术有限公司 | 调查任务处理方法、装置、设备及存储介质 |
| CN111784208B (zh) * | 2020-07-30 | 2024-07-26 | 蚂蚁胜信(上海)信息技术有限公司 | 调查任务处理方法、装置、设备及存储介质 |
| CN113377804A (zh) * | 2021-06-30 | 2021-09-10 | 北京三快在线科技有限公司 | 一种数据处理方法、装置、存储介质及电子设备 |
| CN113377804B (zh) * | 2021-06-30 | 2022-08-26 | 北京三快在线科技有限公司 | 一种数据处理方法、装置、存储介质及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109241026B (zh) | 2021-10-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109241026B (zh) | 数据管理的方法、装置及系统 | |
| KR102258437B1 (ko) | 블록체인 기반 데이터 저장 및 쿼리 방법 및 디바이스 | |
| CN109614823B (zh) | 一种数据的处理方法、装置及设备 | |
| CN107644286B (zh) | 工作流处理方法及装置 | |
| CN106970873B (zh) | 线上mock测试方法、装置及系统 | |
| CN108334585A (zh) | 一种网页爬虫方法、装置以及电子设备 | |
| CN110968601A (zh) | 一种数据查询处理方法及装置 | |
| CN107066519B (zh) | 一种任务检测方法及装置 | |
| CN107562777B (zh) | 数据处理方法及其设备 | |
| CN106874019A (zh) | 一种骨架代码的生成方法和骨架代码生成器 | |
| CN109947643B (zh) | 一种基于a/b测试的实验方案的配置方法、装置及设备 | |
| CN110362792B (zh) | 将rn文件转换为小程序文件的方法、装置及转换设备 | |
| CN113254163B (zh) | 区块链数据的处理方法及装置 | |
| CN112685030A (zh) | 一种生成业务代码的方法、装置、存储介质及电子设备 | |
| CN109597678A (zh) | 任务处理方法及装置 | |
| US20240256613A1 (en) | Data processing method and apparatus, readable storage medium, and electronic device | |
| CN114547024A (zh) | 一种sql语句风险检测方法、装置、设备及介质 | |
| CN110046052A (zh) | 一种服务调用方法及装置 | |
| CN116432185B (zh) | 一种异常检测方法、装置、可读存储介质及电子设备 | |
| CN110083602B (zh) | 一种基于hive表的数据存储及数据处理的方法及装置 | |
| CN118171910A (zh) | 业务风险识别方法、装置及电子设备 | |
| CN114449063B (zh) | 一种报文处理方法、装置及设备 | |
| CN107562533B (zh) | 一种数据加载处理方法及装置 | |
| CN115934161A (zh) | 一种代码变更的影响分析方法、装置以及设备 | |
| CN110704742B (zh) | 一种特征提取方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20200923 Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman, British Islands Applicant after: Innovative advanced technology Co.,Ltd. Address before: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman, British Islands Applicant before: Advanced innovation technology Co.,Ltd. Effective date of registration: 20200923 Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman, British Islands Applicant after: Advanced innovation technology Co.,Ltd. Address before: A four-storey 847 mailbox in Grand Cayman Capital Building, British Cayman Islands Applicant before: Alibaba Group Holding Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |