CN109766387A - 数据处理文件生成方法、装置、计算机设备和存储介质 - Google Patents
数据处理文件生成方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN109766387A CN109766387A CN201811560067.5A CN201811560067A CN109766387A CN 109766387 A CN109766387 A CN 109766387A CN 201811560067 A CN201811560067 A CN 201811560067A CN 109766387 A CN109766387 A CN 109766387A
- Authority
- CN
- China
- Prior art keywords
- file
- data processing
- parameter
- target
- configuration files
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 307
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000004590 computer program Methods 0.000 claims description 31
- 239000000284 extract Substances 0.000 claims description 16
- 238000013524 data verification Methods 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 8
- 230000005540 biological transmission Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 15
- 230000007547 defect Effects 0.000 description 8
- 241000208340 Araliaceae Species 0.000 description 6
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 6
- 235000003140 Panax quinquefolius Nutrition 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 235000008434 ginseng Nutrition 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000012795 verification Methods 0.000 description 3
- 230000007257 malfunction Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000011282 treatment Methods 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000011221 initial treatment Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Abstract
本申请涉及一种数据处理文件生成方法、装置、计算机设备和存储介质。所述方法包括:接收终端发送的数据处理请求,所述数据处理请求携带任务标识;获取与所述任务标识对应的待处理任务文件;从所述待处理任务文件携带的参数中提取目标参数;根据所述目标参数生成参数配置文件;获取与所述待处理任务文件对应的初始数据处理文件,根据所述参数配置文件对所述初始数据处理文件进行配置,生成对应的目标数据处理文件。本方法基于开发辅助工具,能够自动根据生成的参数配置文件对初始数据处理文件进行统一配置,以生成目标数据处理文件,简化了数据处理文件的生成过程,从而简化了数据处理流程,提高了数据处理效率。
Description
技术领域
本申请涉及计算机技术领域,特别是涉及一种数据处理文件生成方法、装置、计算机设备和存储介质。
背景技术
随着计算机技术的迅速发展,各种大数据平台层出不穷,越来越多的数据处理任务通过大数据平台实现,比如SQL查询、文本处理、机器学习等。因此,数据处理的高效性显得越来越重要。
然而,当有新的数据处理任务需要调用数据处理文件时,传统技术一般通过人工编写数据处理命令,比如Spark命令,并对数据处理命令涉及的参数进行一一配置,以生成数据处理文件。但是,在每次进行数据处理时,通过人工重复编写相同的数据处理命令,并对涉及的参数进行一一配置,以生成数据计算文件的过程比较繁琐,导致数据处理效率低。
发明内容
基于此,有必要针对上述传统技术存在数据处理效率低的技术问题,提供一种能够提高数据处理效率的数据处理文件生成方法、装置、计算机设备和存储介质。
一种数据处理文件生成方法,所述方法包括:
接收终端发送的数据处理请求,所述数据处理请求携带任务标识;
获取与所述任务标识对应的待处理任务文件;
从所述待处理任务文件携带的参数中提取目标参数;
根据所述目标参数生成参数配置文件;
获取与所述待处理任务文件对应的初始数据处理文件,根据所述参数配置文件对所述初始数据处理文件进行配置,生成对应的目标数据处理文件。
在其中一个实施例中,所述从所述待处理任务文件携带的参数中提取目标参数,包括:
提取所述待处理任务文件携带的参数;
确定各个所述参数的参数类型;
分别将各个所述参数的参数类型与预设参数类型进行匹配,获取参数类型匹配成功的参数,作为目标参数。
在其中一个实施例中,所述根据所述目标参数生成参数配置文件,包括:
获取所述目标参数的位置标签以及参数配置文件模板;
确定所述参数配置文件模板中与所述位置标签对应的待导入位置;
按照位置标签,分别将所述目标参数导入到所述参数配置文件模板中对应的待导入位置,生成参数配置文件。
在其中一个实施例中,所述获取与所述待处理任务文件对应的初始数据处理文件,包括:
识别所述待处理任务文件的文件类型;
获取与所述文件类型对应的初始数据处理文件,作为与所述待处理文件对应的初始数据处理文件。
在其中一个实施例中,所述根据所述参数配置文件对所述初始数据处理文件进行配置,生成对应的目标数据处理文件,包括:
分别获取所述参数配置文件中各个所述目标参数的位置级别;
确定所述初始数据处理文件中与所述位置级别对应的待配置位置;
按照位置级别,分别将所述参数配置文件中各个所述目标参数导入到所述初始数据处理文件中对应的待配置位置,生成目标数据处理文件。
在其中一个实施例中,所述方法还包括:
从所述待处理任务文件中提取出目标数据;
将所述目标数据添加至与所述文件标识对应的独立文件中;
根据所述目标数据处理文件对所述独立文件进行相应的数据处理操作。
在其中一个实施例中,所述方法还包括:
获取与所述目标数据处理文件对应的数据验证文件;
根据所述数据验证文件对所述目标数据处理文件进行验证,若验证错误,则重新生成目标数据处理文件。
一种数据处理文件生成装置,所述装置包括:
请求接收模块,用于接收终端发送的数据处理请求,所述数据处理请求携带任务标识;
文件获取模块,用于获取与所述任务标识对应的待处理任务文件;
参数提取模块,用于从所述待处理任务文件携带的参数中提取目标参数;
配置文件生成模块,用于根据所述目标参数生成参数配置文件;
处理文件生成模块,用于获取与所述待处理任务文件对应的初始数据处理文件,根据所述参数配置文件对所述初始数据处理文件进行配置,生成对应的目标数据处理文件。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
接收终端发送的数据处理请求,所述数据处理请求携带任务标识;
获取与所述任务标识对应的待处理任务文件;
从所述待处理任务文件携带的参数中提取目标参数;
根据所述目标参数生成参数配置文件;
获取与所述待处理任务文件对应的初始数据处理文件,根据所述参数配置文件对所述初始数据处理文件进行配置,生成对应的目标数据处理文件。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
接收终端发送的数据处理请求,所述数据处理请求携带任务标识;
获取与所述文件标识对应的待处理任务文件;
从所述待处理任务文件携带的参数中提取目标参数;
根据所述目标参数生成参数配置文件;
获取与所述待处理任务文件对应的初始数据处理文件,根据所述参数配置文件对所述初始数据处理文件进行配置,生成对应的目标数据处理文件。
上述数据处理文件生成方法、装置、计算机设备和存储介质,服务器获取与终端发送的数据处理请求携带的任务标识对应的待处理任务文件,从待处理任务文件携带的参数中提取目标参数,根据目标参数生成参数配置文件,获取与待处理任务文件对应的初始数据处理文件,根据参数配置文件对初始数据处理文件进行配置,生成对应的目标数据处理文件,实现了根据参数配置文件对初始数据处理文件进行统一配置,以生成目标数据处理文件的目的,无需人工重复编写相同的数据处理命令,并对涉及的参数进行一一配置;简化了数据处理文件的生成过程,从而简化了数据处理流程,提高了数据处理效率,有效地降低了人力成本。同时,避免了人工手动编写数据处理文件而容易出错的缺陷。
附图说明
图1为一个实施例中数据处理文件生成方法的应用场景图;
图2为一个实施例中数据处理文件生成方法的流程示意图;
图3为一个实施例中根据目标参数生成参数配置文件的步骤的流程示意图;
图4为另一个实施例中数据处理文件生成方法的流程示意图;
图5为一个实施例中数据处理文件生成装置的结构框图;
图6为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请提供的数据处理文件生成方法,可以应用于如图1所示的应用环境中。其中,终端110通过网络与服务器120进行通信。终端110安装了大数据平台,比如基于Hadoop的大数据平台;终端110检测到用户对大数据平台的数据处理界面上的数据处理任务的选择操作,生成数据处理请求,将数据处理请求发送至服务器120。服务器120解析数据处理请求,得到用户选择的数据处理任务对应的任务标识;获取与任务标识对应的待处理任务文件,从待处理任务文件携带的参数中提取目标参数,根据目标参数生成参数配置文件;获取与待处理任务文件对应的初始数据处理文件,根据参数配置文件对初始数据处理文件进行配置,生成对应的目标数据处理文件。服务器120还可以根据生成的目标数据处理文件,对待处理任务文件进行相应的数据处理操作。其中,终端110可以但不限于是各种个人计算机、笔记本电脑、智能手机和平板电脑,服务器120可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中,如图2所示,提供了一种数据处理文件生成方法,以该方法应用于图1中的服务器为例进行说明,包括以下步骤:
步骤S201,接收终端发送的数据处理请求,数据处理请求携带任务标识。
任务标识用于表示用户基于大数据平台选择的数据处理任务的标识信息,比如任务名称。数据处理任务是指需要进行数据计算处理的任务,比如查询任务,文本处理任务等,每个数据处理任务存在对应数据处理任务文件。
终端安装了大数据平台,例如基于Hadoop的大数据平台,用户可以使用大数据平台进行数据处理、数据采集、数据分析等。终端检测到用户对大数据平台的数据处理界面上的数据处理任务的选择操作,生成数据处理请求,并将数据处理请求发送至服务器。服务器解析数据处理请求,得到用户选择的数据处理任务对应的任务标识,方便后续服务器获取与任务标识对应的待处理任务文件。
步骤S202,获取与任务标识对应的待处理任务文件。
服务器解析终端发送的数据处理请求,得到任务标识,获取与任务标识对应的数据处理任务文件,作为待处理任务文件,方便后续根据待处理任务文件携带的参数对初始数据处理文件进行参数配置。需要说明的是,待处理任务文件是指需要进行数据计算处理的文件,可以是不同类型的文件,具体本申请不做限定。
步骤S203,从待处理任务文件携带的参数中提取目标参数。
目标参数是指需要数据处理命令文件执行的参数,比如表名、字段名等。服务器获取待处理任务文件携带的参数,并对获取的参数进行一一分析,以从获取的参数中筛选出目标参数。服务器从待处理任务文件携带的参数中提取出目标参数,有利于后续根据目标参数生成参数配置文件,并根据生成的参数配置文件对初始数据处理文件进行统一配置,无需人工重复编写相同的数据处理命令并对涉及的参数进行一一配置,简化了数据处理文件的生成过程,进一步提高了数据处理效率。
步骤S204,根据目标参数生成参数配置文件。
参数配置文件是一种能够对初始数据处理文件进行统一参数配置的文件,具有对应的参数配置文件模板;参数配置文件模板是一种能够配置目标参数的文件模板。初始数据处理文件是指数据处理命令模板,比如Spark命令模板;在调用数据处理命令模板进行数据处理时,需要根据待处理任务文件对数据处理命令模板配置相关参数。
服务器根据从待处理任务文件携带的参数中提取的目标参数,生成对应的参数配置文件,方便后续根据参数配置文件,对初始数据处理文件进行统一参数配置,无需人工对数据处理命令涉及的参数进行一一配置,从而提高了数据处理效率。
步骤S205,获取与待处理任务文件对应的初始数据处理文件,根据参数配置文件对初始数据处理文件进行配置,生成对应的目标数据处理文件。
待处理任务文件与初始数据处理文件存在一一对应的关系;不同的待处理任务文件,需要调用不同的初始数据处理文件进行处理。目标数据处理文件是一种能够执行数据计算处理的数据处理命令文件,比如Spark命令文件。服务器分别将参数配置文件中的各个目标参数,导入到初始数据处理文件中对应的待配置位置,生成目标数据处理文件,无需人工重复编写相同的数据处理命令并对涉及的参数进行一一配置,简化了数据处理文件的生成流程,从而简化了数据处理流程,提高了数据处理效率,同时有效地降低了人力成本。
上述数据处理文件生成方法中,服务器获取与终端发送的数据处理请求携带的任务标识对应的待处理任务文件,从待处理任务文件携带的参数中提取目标参数,根据目标参数生成参数配置文件,获取与待处理任务文件对应的初始数据处理文件,根据参数配置文件对初始数据处理文件进行配置,生成对应的目标数据处理文件,实现了根据参数配置文件对初始数据处理文件进行统一配置,以生成目标数据处理文件的目的,无需人工重复编写相同的数据处理命令,并对涉及的参数进行一一配置;简化了数据处理文件的生成过程,从而简化了数据处理流程,提高了数据处理效率,有效地降低了人力成本。同时,避免了人工手动编写数据处理文件而容易出错的缺陷。
考虑到待处理任务文件包含多个参数,但是需要数据处理命令文件执行的参数只有几个,为了避免多余参数干扰,可以通过服务器从待处理任务文件携带的参数中提取出目标参数。在一个实施例中,上述步骤S203,从待处理任务文件携带的参数中提取目标参数,包括:提取待处理任务文件携带的参数;确定各个参数的参数类型;分别将各个参数的参数类型与预设参数类型进行匹配,获取参数类型匹配成功的参数,作为目标参数。预设参数类型是指需要数据处理命令文件执行的参数对应的参数类型,比如表名、字段名对应的参数类型等。
比如,服务器识别获取的待处理任务文件携带的参数,确定各个参数的参数类型;分别将各个参数的参数类型与预设参数类型进行匹配;当参数的参数类型与预设参数类型匹配成功时,将该参数进行标记;从待处理任务文件携带的参数中,筛选出被标记的参数,作为目标参数,方便后续根据目标参数生成参数配置文件,以对初始数据处理文件进行统一参数配置,无需人工单独对初始数据处理文件涉及的参数进行一一配置,从而简化了数据处理文件的生成流程,进而简化了数据处理流程,进一步提高了数据处理效率。
在一个实施例中,如图3所示,根据目标参数生成参数配置文件的步骤具体包括:
步骤S301,获取目标参数的位置标签以及参数配置文件模板。
步骤S302,确定参数配置文件模板中与位置标签对应的待导入位置。
步骤S303,按照位置标签,分别将目标参数导入到参数配置文件模板中对应的待导入位置,生成参数配置文件。
位置标签用于标识目标参数在参数配置文件模板中的待导入位置。比如,获取的目标参数是参数A、参数B和参数C,服务器识别到目标参数A、目标参数B和目标参数C的位置标签分别是A1、B1和C1,并确定获取的参数配置文件模板中分别与位置标签A1、B1和C1对应的待导入位置为A2、B2和C2;依次将目标参数A、目标参数B和目标参数C导入到参数配置文件模板中对应的待导入位置A2、B2和C2,以生成参数配置文件。服务器根据位置标签,依次将目标参数导入到参数配置文件模板中对应的待导入位置,生成对应的参数配置文件,方便后续根据参数配置文件对初始数据处理文件进行统一参数配置,无需人工单独对数据处理命令涉及的参数进行一一配置,进一步提高了数据处理文件的生成效率,从而提高了数据处理效率。
为了避免人工单独重复编写相同的数据处理命令,进一步提高数据处理效率,可以通过服务器获取数据处理命令模板,作为初始数据处理文件。在一个实施例中,上述步骤S205,获取与待处理任务文件对应的初始数据处理文件,包括:识别待处理任务文件的文件类型;获取与文件类型对应的初始数据处理文件,作为与待处理任务文件对应的初始数据处理文件。在本实施例中,文件类型用于标识待处理任务文件;比如待处理任务文件为查询文件,则待处理任务文件对应的文件类型为查询文件类型。服务器根据待处理文件的文件类型获取对应的初始数据处理文件,可以避免人工重复编写相同的数据处理命令而导致数据处理效率低的缺陷,从而提高了数据处理效率。
为了进一步提高数据处理效率,还可以通过服务器根据参数配置文件对初始数据处理文件进行统一参数配置。在一个实施例中,上述步骤S205,根据参数配置文件对初始数据处理文件进行配置,生成对应的目标数据处理文件,包括:分别获取参数配置文件中各个目标参数的位置级别;确定初始数据处理文件中与位置级别对应的待配置位置;按照位置级别,分别将参数配置文件中各个目标参数导入到初始数据处理文件中对应的待配置位置,生成目标数据处理文件。
位置级别用于标识参数配置文件中的目标参数在初始数据处理文件中的待配置位置。例如,服务器识别到参数配置文件中的目标参数A、目标参数B和目标参数C的位置级别分别是A3、B3和C3,并确实初始处理文件中分别与位置级别A3、B3和C3对应的待配置位置为A4、B4和C4;依次将参数配置文件中的目标参数A、目标参数B和目标参数C导入到初始数据处理文件中对应的待配置位置A4、B4和C4,以生成目标数据处理文件。服务器采用统一的数据处理命令模板作为初始数据处理文件,并根据位置级别,依次将参数配置文件中的目标参数导入到初始数据处理文件中对应的待导入位置,生成对应的目标数据处理文件,避免了人工重复编写数据处理命令并对涉及的参数进行一一配置,导致数据处理文件的生成流程复杂的问题,从而简化了数据处理文件的生成流程,提高了数据处理效率,同时有效地降低了人力成本。
在生成目标数据处理文件之后,服务器可以调用生成的目标数据处理文件,对待处理任务文件进行相应的数据处理。在一个实施例中,数据处理文件生成方法还包括:从待处理任务文件中提取出目标数据;将目标数据添加至与任务标识对应的独立文件中;根据目标数据处理文件对独立文件进行相应的数据处理操作。目标数据指的是待处理任务文件中需要进行数据处理的数据,独立文件是指用于存储从待处理任务文件中提取的目标数据的文件。比如,终端安装了基于Hadoop的大数据平台,服务器根据终端发送的数据处理请求,从终端中运行的基于Hadoop的大数据平台上的待处理任务文件中提取出目标数据,并将目标数据添加至与任务标识对应的独立文件中;同时调用生成的目标数据处理文件对独立文件进行相应的数据处理操作,实现了根据自动生成的目标数据处理文件进行相应的数据处理操作的目的,进一步提高了数据处理效率。
此外,在根据目标数据处理文件对独立文件进行相应的数据处理操作之后,服务器还可以将独立文件的数据处理结果返回至对应的终端,通过终端中的基于Hadoop的大数据平台的平台界面进行展示,以提醒终端将数据处理请求标记为已处理,避免终端重复发送数据处理请求至服务器而影响服务器性能。另外,若终端在预设时间范围内没有接收到服务器返回的数据处理结果,则重新将数据处理请求发送至对应的服务器,以触发服务器执行对应的数据处理操作,避免服务器没有及时对数据处理请求进行处理而导致数据处理效率低的缺陷,进一步提高了数据处理效率。
甚至,为了保证生成的目标数据处理文件的准确性,避免生成的目标数据处理文件存在错误,服务器还可以对生成的目标数据处理文件进行验证。在一个实施例中,数据处理文件生成方法还包括:获取与目标数据处理文件对应的数据验证文件;根据数据验证文件对目标数据处理文件进行验证,若验证错误,则重新生成目标数据处理文件。数据验证文件是一种能够对目标数据处理文件的数据格式、参数格式等进行验证的文件。服务器对生成的目标数据处理文件进行验证,可以保证生成的目标数据处理文件的准确性。此外,若服务器确认目标数据处理文件验证正确,则从待处理任务文件中提取出目标数据;将目标数据添加至与任务标识对应的独立文件中;根据目标数据处理文件对独立文件进行相应的数据处理操作。
在一个实施例中,如图4所示,提供了另一种数据处理文件生成方法,包括以下步骤:
步骤S401,接收终端发送的数据处理请求,数据处理请求携带任务标识。
步骤S402,获取与任务标识对应的待处理任务文件。
步骤S403,从待处理任务文件携带的参数中提取目标参数。
步骤S404,根据目标参数生成参数配置文件。
步骤S405,获取与待处理任务文件对应的初始数据处理文件,根据参数配置文件对初始数据处理文件进行配置,生成对应的目标数据处理文件。
步骤S406,获取与目标数据处理文件对应的数据验证文件;根据数据验证文件对目标数据处理文件进行验证。
步骤S407,若目标数据处理文件验证正确,则从待处理任务文件中提取出目标数据;将目标数据添加至与任务标识对应的独立文件中;根据目标数据处理文件对独立文件进行相应的数据处理操作。
本实施例的数据处理文件生成方法,服务器获取与终端发送的数据处理请求携带的任务标识对应的待处理任务文件,从待处理任务文件携带的参数中提取目标参数,根据目标参数生成参数配置文件,获取与待处理任务文件对应的初始数据处理文件,根据参数配置文件对初始数据处理文件进行配置,生成对应的目标数据处理文件,实现了根据参数配置文件对初始数据处理文件进行统一配置,以生成目标数据处理文件的目的,无需人工重复编写相同的数据处理命令,并对涉及的参数进行一一配置;简化了数据处理文件的生成过程,从而简化了数据处理流程,提高了数据处理效率,有效地降低了人力成本。同时,对生成的目标数据处理文件进行验证,并根据验证正确的目标数据处理文件进行相应的数据处理操作,保证了生成的目标数据处理文件的准确性,实现了自动根据生成的目标数据处理文件进行相应的数据处理操作的目的。
在实际应用中,用户可以基于Hadoop的大数据平台执行数据处理任务,比如SQL查询、文本处理等。在进行数据处理时,通过服务器根据从待处理任务文件携带的参数中提取的目标参数生成参数配置文件,进而根据生成的参数配置文件对Spark命令模板进行配置,生成Spark命令文件,方便后续调用目标Spark命令文件进行相应的数据处理操作。其中,Spark命令文件是一种能够执行数据计算处理的数据处理命令文件。
在一个实施例中,提供了又一种数据处理文件生成方法,包括:接收终端发送的数据处理请求,数据处理请求携带用户选择的数据处理任务的任务标识;根据数据处理请求,得到任务标识;获取与任务标识对应的数据处理任务文件,作为待处理任务文件;从待处理任务文件携带的参数中提取出目标参数,并根据目标参数生成参数配置文件;获取与待处理任务文件对应的Spark命令模板,根据参数配置文件对Spark命令模板进行配置,生成对应的Spark命令文件。例如,用户登录终端中运行的基于Hadoop的大数据平台,终端通过识别用户对基于Hadoop的大数据平台的数据处理界面上的数据处理任务的选择操作,生成数据处理请求,并将数据处理请求发送至服务器。服务器解析数据处理请求,得到用户选择的数据处理任务对应的任务标识,并获取与任务标识对应的待处理任务文件;从待处理任务文件携带的参数中,提取与预设参数类型匹配的参数,作为目标参数,并根据提取的目标参数生成参数配置文件;获取与待处理任务文件的文件类型对应的Spark命令模板,并根据参数配置文件对Spark命令模板进行统一参数配置,生成对应的Spark命令文件;无需人工重复编写相同的数据处理命令以及对涉及的参数进行一一配置,简化了数据处理文件的生成过程,从而简化了数据处理流程,提高了数据处理效率,有效地降低了人力成本;同时,避免了人工手动编写数据处理文件而容易出错的缺陷。
此外,服务器还可以从终端中运行的基于Hadoop的大数据平台上的待处理任务文件中提取出目标数据,将目标数据添加至与任务标识对应的独立文件中;调用生成的Spark命令文件对独立文件中的待处理数据进行相应的数据处理操作,比如SQL查询处理;并将独立文件的数据处理结果返回至对应的终端,通过终端中的基于Hadoop的大数据平台的平台界面进行展示,表示数据处理完毕。
应该理解的是,虽然图2-4的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2-4中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图5所示,提供了一种数据处理文件生成装置,包括:请求接收模块510、文件获取模块520、参数提取模块530、配置文件生成模块540和处理文件生成模块550,其中:
请求接收模块510,用于接收终端发送的数据处理请求,数据处理请求携带任务标识。
文件获取模块520,用于获取与任务标识对应的待处理任务文件。
参数提取模块530,用于从待处理任务文件携带的参数中提取目标参数。
配置文件生成模块540,用于根据目标参数生成参数配置文件。
处理文件生成模块550,用于获取与待处理任务文件对应的初始数据处理文件,根据参数配置文件对初始数据处理文件进行配置,生成对应的目标数据处理文件。
在一个实施例中,参数提取模块还用于提取待处理任务文件携带的参数;确定各个参数的参数类型;分别将各个参数的参数类型与预设参数类型进行匹配,获取参数类型匹配成功的参数,作为目标参数。
在一个实施例中,配置文件生成模块还用于获取目标参数的位置标签以及参数配置文件模板;确定参数配置文件模板中与位置标签对应的待导入位置;按照位置标签,分别将目标参数导入到参数配置文件模板中对应的待导入位置,生成参数配置文件。
在一个实施例中,处理文件生成模块还用于识别待处理任务文件的文件类型;获取与文件类型对应的初始数据处理文件,作为与待处理任务文件对应的初始数据处理文件。
在一个实施例中,处理文件生成模块还用于分别获取参数配置文件中各个目标参数的位置级别;确定初始数据处理文件中与位置级别对应的待配置位置;按照位置级别,分别将参数配置文件中各个目标参数导入到初始数据处理文件中对应的待配置位置,生成目标数据处理文件。
在一个实施例中,数据处理文件生成装置还包括数据处理模块,用于从待处理任务文件中提取出目标数据;将目标数据添加至与任务标识对应的独立文件中;根据目标数据处理文件对独立文件进行相应的数据处理操作。
在一个实施例中,数据处理文件生成装置还包括文件验证模块,用于获取与目标数据处理文件对应的数据验证文件;根据数据验证文件对目标数据处理文件进行验证,若验证错误,则重新生成目标数据处理文件。
上述各个实施例,数据处理文件生成装置获取与终端发送的数据处理请求携带的任务标识对应的待处理任务文件,从待处理任务文件携带的参数中提取目标参数,根据目标参数生成参数配置文件,获取与待处理任务文件对应的初始数据处理文件,根据参数配置文件对初始数据处理文件进行配置,生成对应的目标数据处理文件,实现了根据参数配置文件对初始数据处理文件进行统一配置,以生成目标数据处理文件的目的,无需人工重复编写相同的数据处理命令,并对涉及的参数进行一一配置;简化了数据处理文件的生成过程,从而简化了数据处理流程,提高了数据处理效率,有效地降低了人力成本。同时,避免了人工手动编写数据处理文件而容易出错的缺陷。
关于数据处理文件生成装置的具体限定可以参见上文中对于数据处理文件生成方法的限定,在此不再赘述。上述数据处理文件生成装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储目标数据处理文件。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种数据处理文件生成方法。
本领域技术人员可以理解,图6中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,该存储器存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
接收终端发送的数据处理请求,数据处理请求携带任务标识;
获取与任务标识对应的待处理任务文件;
从待处理任务文件携带的参数中提取目标参数;
根据目标参数生成参数配置文件;
获取与待处理任务文件对应的初始数据处理文件,根据参数配置文件对初始数据处理文件进行配置,生成对应的目标数据处理文件。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:提取待处理任务文件携带的参数;确定各个参数的参数类型;分别将各个参数的参数类型与预设参数类型进行匹配,获取参数类型匹配成功的参数,作为目标参数。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:获取目标参数的位置标签以及参数配置文件模板;确定参数配置文件模板中与位置标签对应的待导入位置;按照位置标签,分别将目标参数导入到参数配置文件模板中对应的待导入位置,生成参数配置文件。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:识别待处理任务文件的文件类型;获取与文件类型对应的初始数据处理文件,作为与待处理任务文件对应的初始数据处理文件。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:分别获取参数配置文件中各个目标参数的位置级别;确定初始数据处理文件中与位置级别对应的待配置位置;按照位置级别,分别将参数配置文件中各个目标参数导入到初始数据处理文件中对应的待配置位置,生成目标数据处理文件。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:从待处理任务文件中提取出目标数据;将目标数据添加至与任务标识对应的独立文件中;根据目标数据处理文件对独立文件进行相应的数据处理操作。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:获取与目标数据处理文件对应的数据验证文件;根据数据验证文件对目标数据处理文件进行验证,若验证错误,则重新生成目标数据处理文件。
上述各个实施例,计算机设备通过处理器上运行的计算机程序,实现了根据参数配置文件对初始数据处理文件进行统一配置,以生成目标数据处理文件的目的,无需人工重复编写相同的数据处理命令,并对涉及的参数进行一一配置;简化了数据处理文件的生成过程,从而简化了数据处理流程,提高了数据处理效率,有效地降低了人力成本。同时,避免了人工手动编写数据处理文件而容易出错的缺陷。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
接收终端发送的数据处理请求,数据处理请求携带任务标识;
获取与任务标识对应的待处理任务文件;
从待处理任务文件携带的参数中提取目标参数;
根据目标参数生成参数配置文件;
获取与待处理任务文件对应的初始数据处理文件,根据参数配置文件对初始数据处理文件进行配置,生成对应的目标数据处理文件。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:提取待处理任务文件携带的参数;确定各个参数的参数类型;分别将各个参数的参数类型与预设参数类型进行匹配,获取参数类型匹配成功的参数,作为目标参数。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:获取目标参数的位置标签以及参数配置文件模板;确定参数配置文件模板中与位置标签对应的待导入位置;按照位置标签,分别将目标参数导入到参数配置文件模板中对应的待导入位置,生成参数配置文件。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:识别待处理任务文件的文件类型;获取与文件类型对应的初始数据处理文件,作为与待处理任务文件对应的初始数据处理文件。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:分别获取参数配置文件中各个目标参数的位置级别;确定初始数据处理文件中与位置级别对应的待配置位置;按照位置级别,分别将参数配置文件中各个目标参数导入到初始数据处理文件中对应的待配置位置,生成目标数据处理文件。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:从待处理任务文件中提取出目标数据;将目标数据添加至与任务标识对应的独立文件中;根据目标数据处理文件对独立文件进行相应的数据处理操作。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:获取与目标数据处理文件对应的数据验证文件;根据数据验证文件对目标数据处理文件进行验证,若验证错误,则重新生成目标数据处理文件。
上述各个实施例,计算机可读存储介质通过其存储的计算机程序,实现了根据参数配置文件对初始数据处理文件进行统一配置,以生成目标数据处理文件的目的,无需人工重复编写相同的数据处理命令,并对涉及的参数进行一一配置;简化了数据处理文件的生成过程,从而简化了数据处理流程,提高了数据处理效率,有效地降低了人力成本。同时,避免了人工手动编写数据处理文件而容易出错的缺陷。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种数据处理文件生成方法,所述方法包括:
接收终端发送的数据处理请求,所述数据处理请求携带任务标识;
获取与所述任务标识对应的待处理任务文件;
从所述待处理任务文件携带的参数中提取目标参数;
根据所述目标参数生成参数配置文件;
获取与所述待处理任务文件对应的初始数据处理文件,根据所述参数配置文件对所述初始数据处理文件进行配置,生成对应的目标数据处理文件。
2.根据权利要求1所述的方法,其特征在于,所述从所述待处理任务文件携带的参数中提取目标参数,包括:
提取所述待处理任务文件携带的参数;
确定各个所述参数的参数类型;
分别将各个所述参数的参数类型与预设参数类型进行匹配,获取参数类型匹配成功的参数,作为目标参数。
3.根据权利要求1所述的方法,其特征在于,所述根据所述目标参数生成参数配置文件,包括:
获取所述目标参数的位置标签以及参数配置文件模板;
确定所述参数配置文件模板中与所述位置标签对应的待导入位置;
按照位置标签,分别将所述目标参数导入到所述参数配置文件模板中对应的待导入位置,生成参数配置文件。
4.根据权利要求1所述的方法,其特征在于,所述获取与所述待处理任务文件对应的初始数据处理文件,包括:
识别所述待处理任务文件的文件类型;
获取与所述文件类型对应的初始数据处理文件,作为与所述待处理任务文件对应的初始数据处理文件。
5.根据权利要求4所述的方法,其特征在于,所述根据所述参数配置文件对所述初始数据处理文件进行配置,生成对应的目标数据处理文件,包括:
分别获取所述参数配置文件中各个所述目标参数的位置级别;
确定所述初始数据处理文件中与所述位置级别对应的待配置位置;
按照位置级别,分别将所述参数配置文件中各个所述目标参数导入到所述初始数据处理文件中对应的待配置位置,生成目标数据处理文件。
6.根据权利要求1至5任意一项所述的方法,其特征在于,所述方法还包括:
从所述待处理任务文件中提取出目标数据;
将所述目标数据添加至与所述任务标识对应的独立文件中;
根据所述目标数据处理文件对所述独立文件进行相应的数据处理操作。
7.根据权利要求6所述的方法,其特征在于,所述方法还包括:
获取与所述目标数据处理文件对应的数据验证文件;
根据所述数据验证文件对所述目标数据处理文件进行验证,若验证错误,则重新生成目标数据处理文件。
8.一种数据处理文件生成装置,其特征在于,所述装置包括:
请求接收模块,用于接收终端发送的数据处理请求,所述数据处理请求携带任务标识;
文件获取模块,用于获取与所述任务标识对应的待处理任务文件;
参数提取模块,用于从所述待处理任务文件携带的参数中提取目标参数;
配置文件生成模块,用于根据所述目标参数生成参数配置文件;
处理文件生成模块,用于获取与所述待处理任务文件对应的初始数据处理文件,根据所述参数配置文件对所述初始数据处理文件进行配置,生成对应的目标数据处理文件。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811560067.5A CN109766387A (zh) | 2018-12-20 | 2018-12-20 | 数据处理文件生成方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811560067.5A CN109766387A (zh) | 2018-12-20 | 2018-12-20 | 数据处理文件生成方法、装置、计算机设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109766387A true CN109766387A (zh) | 2019-05-17 |
Family
ID=66451454
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811560067.5A Pending CN109766387A (zh) | 2018-12-20 | 2018-12-20 | 数据处理文件生成方法、装置、计算机设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109766387A (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110377356A (zh) * | 2019-06-14 | 2019-10-25 | 北京奇艺世纪科技有限公司 | 任务处理方法、装置、系统及计算机可读存储介质 |
CN110674109A (zh) * | 2019-09-06 | 2020-01-10 | 中国平安财产保险股份有限公司 | 数据导入方法、系统、计算机设备及计算机可读存储介质 |
CN110727526A (zh) * | 2019-09-09 | 2020-01-24 | 上海陆家嘴国际金融资产交易市场股份有限公司 | 大数据计算任务的处理方法和系统 |
CN111625330A (zh) * | 2020-05-18 | 2020-09-04 | 北京达佳互联信息技术有限公司 | 跨线程的任务处理方法、装置、服务器及存储介质 |
CN111881216A (zh) * | 2020-08-03 | 2020-11-03 | 北京罗克维尔斯科技有限公司 | 一种基于共享模板的数据获取方法和装置 |
CN111932207A (zh) * | 2020-08-06 | 2020-11-13 | 北京金山云网络技术有限公司 | 项目数据处理方法、装置、计算机设备和存储介质 |
CN112099882A (zh) * | 2020-09-11 | 2020-12-18 | 杭州海康威视数字技术股份有限公司 | 一种业务处理方法、装置及设备 |
CN112380607A (zh) * | 2020-11-18 | 2021-02-19 | 同济大学建筑设计研究院(集团)有限公司 | 管线连接数据生成方法、装置、计算机设备和存储介质 |
CN113672567A (zh) * | 2021-10-22 | 2021-11-19 | 北京凯睿数加科技有限公司 | 文件构建方法、装置、电子设备和计算机可读介质 |
CN113901008A (zh) * | 2021-11-10 | 2022-01-07 | 上海意略明数字科技股份有限公司 | 数据处理方法及装置、存储介质、计算设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007115470A1 (fr) * | 2006-04-11 | 2007-10-18 | Huawei Technologies Co., Ltd. | Procédé de gestion d'information de configuration d'un dispositif, serveur et système associés |
CN107733708A (zh) * | 2017-10-16 | 2018-02-23 | 平安科技(深圳)有限公司 | 设备参数配置方法、装置、计算机设备和存储介质 |
CN109033058A (zh) * | 2018-08-14 | 2018-12-18 | 深圳壹账通智能科技有限公司 | 合同文本验证方法、装置、计算机设备和存储介质 |
-
2018
- 2018-12-20 CN CN201811560067.5A patent/CN109766387A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007115470A1 (fr) * | 2006-04-11 | 2007-10-18 | Huawei Technologies Co., Ltd. | Procédé de gestion d'information de configuration d'un dispositif, serveur et système associés |
CN107733708A (zh) * | 2017-10-16 | 2018-02-23 | 平安科技(深圳)有限公司 | 设备参数配置方法、装置、计算机设备和存储介质 |
CN109033058A (zh) * | 2018-08-14 | 2018-12-18 | 深圳壹账通智能科技有限公司 | 合同文本验证方法、装置、计算机设备和存储介质 |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110377356A (zh) * | 2019-06-14 | 2019-10-25 | 北京奇艺世纪科技有限公司 | 任务处理方法、装置、系统及计算机可读存储介质 |
CN110674109B (zh) * | 2019-09-06 | 2024-02-06 | 中国平安财产保险股份有限公司 | 数据导入方法、系统、计算机设备及计算机可读存储介质 |
CN110674109A (zh) * | 2019-09-06 | 2020-01-10 | 中国平安财产保险股份有限公司 | 数据导入方法、系统、计算机设备及计算机可读存储介质 |
CN110727526A (zh) * | 2019-09-09 | 2020-01-24 | 上海陆家嘴国际金融资产交易市场股份有限公司 | 大数据计算任务的处理方法和系统 |
CN111625330A (zh) * | 2020-05-18 | 2020-09-04 | 北京达佳互联信息技术有限公司 | 跨线程的任务处理方法、装置、服务器及存储介质 |
CN111881216A (zh) * | 2020-08-03 | 2020-11-03 | 北京罗克维尔斯科技有限公司 | 一种基于共享模板的数据获取方法和装置 |
CN111932207A (zh) * | 2020-08-06 | 2020-11-13 | 北京金山云网络技术有限公司 | 项目数据处理方法、装置、计算机设备和存储介质 |
CN112099882A (zh) * | 2020-09-11 | 2020-12-18 | 杭州海康威视数字技术股份有限公司 | 一种业务处理方法、装置及设备 |
CN112099882B (zh) * | 2020-09-11 | 2023-08-25 | 杭州海康威视数字技术股份有限公司 | 一种业务处理方法、装置及设备 |
CN112380607B (zh) * | 2020-11-18 | 2023-07-07 | 同济大学建筑设计研究院(集团)有限公司 | 管线连接数据生成方法、装置、计算机设备和存储介质 |
CN112380607A (zh) * | 2020-11-18 | 2021-02-19 | 同济大学建筑设计研究院(集团)有限公司 | 管线连接数据生成方法、装置、计算机设备和存储介质 |
CN113672567A (zh) * | 2021-10-22 | 2021-11-19 | 北京凯睿数加科技有限公司 | 文件构建方法、装置、电子设备和计算机可读介质 |
CN113901008A (zh) * | 2021-11-10 | 2022-01-07 | 上海意略明数字科技股份有限公司 | 数据处理方法及装置、存储介质、计算设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109766387A (zh) | 数据处理文件生成方法、装置、计算机设备和存储介质 | |
CN106980636A (zh) | 保单数据处理方法和装置 | |
CN108491475A (zh) | 数据快速批量导入方法、电子装置及计算机可读存储介质 | |
CN110008266A (zh) | 数据交换文件解析方法和装置 | |
CN109446068A (zh) | 接口测试方法、装置、计算机设备和存储介质 | |
CN108446362A (zh) | 数据清洗处理方法、装置、计算机设备和存储介质 | |
CN109768623A (zh) | 电力系统的监控方法、装置、计算机设备和存储介质 | |
CN109766122A (zh) | 数据传输文件生成方法、装置、计算机设备和存储介质 | |
CN110442756A (zh) | 数据校验方法、装置、计算机设备和存储介质 | |
CN109542412A (zh) | 接口信息生成方法、装置、计算机设备和存储介质 | |
CN109165266A (zh) | 表单生成方法、装置、计算机设备和存储介质 | |
CN106302581A (zh) | 批量数据的导入方法及系统 | |
CN110704312B (zh) | 压力测试的方法、装置、计算机设备和存储介质 | |
CN109766121A (zh) | 环境配置文件生成方法、装置、计算机设备和存储介质 | |
CN109492197A (zh) | 文件信息比对方法、装置、计算机设备和存储介质 | |
CN106021253A (zh) | 可编程逻辑控制器、数据收集装置、数据库访问方法及程序 | |
CN110474959A (zh) | 数据交互方法、装置、计算机设备和存储介质 | |
CN109829640A (zh) | 企业违约风险的识别方法、装置、计算机设备和存储介质 | |
CN109543073A (zh) | 企业供销关系图谱生成方法、装置和计算机设备 | |
CN108924258A (zh) | 后台信息推送方法、装置、计算机设备和存储介质 | |
CN112395182A (zh) | 自动化测试方法、装置、设备及计算机可读存储介质 | |
CN113886590A (zh) | 数据汇总方法、装置、计算机设备及存储介质 | |
CN109245910B (zh) | 识别故障类型的方法及装置 | |
CN111475304B (zh) | 一种特征提取加速方法及系统 | |
CN111240302B (zh) | 一种信号验证方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190517 |
|
WD01 | Invention patent application deemed withdrawn after publication |