CN109725933A - 大数据文档生成方法、装置、设备及计算机可读存储介质 - Google Patents

大数据文档生成方法、装置、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN109725933A
CN109725933A CN201810511258.6A CN201810511258A CN109725933A CN 109725933 A CN109725933 A CN 109725933A CN 201810511258 A CN201810511258 A CN 201810511258A CN 109725933 A CN109725933 A CN 109725933A
Authority
CN
China
Prior art keywords
big data
file
data document
code
identifier
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810511258.6A
Other languages
English (en)
Other versions
CN109725933B (zh
Inventor
陈佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Life Insurance Company of China Ltd
Original Assignee
Ping An Life Insurance Company of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Life Insurance Company of China Ltd filed Critical Ping An Life Insurance Company of China Ltd
Priority to CN201810511258.6A priority Critical patent/CN109725933B/zh
Publication of CN109725933A publication Critical patent/CN109725933A/zh
Application granted granted Critical
Publication of CN109725933B publication Critical patent/CN109725933B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开一种大数据文档生成方法、装置、设备及计算机可读存储介质,所述方法包括:当接收到代码文件时,调用预设指令读取代码文件的多项文件信息,并确定与所述预设指令对应的表格模板;读取所述表格模板中各单元格对应的第一标识符,以及多项所述文件信息对应的各第二标识符;根据各所述第一标识符和各所述第二标识符的对应关系,将多项所述文件信息填写到所述表格模板中,生成大数据文档。本方案设置有自动生成大数据文档的机制,当接收到代码文件时,读取此代码文件中与大数据文档相关的多项文件信息,将此多项文件信息填写到表格模板中,即可生成大数据模板;避免开发人员手动编写大数据文档,提高大数据文档的生成效率。

Description

大数据文档生成方法、装置、设备及计算机可读存储介质
技术领域
本发明主要涉及大数据技术领域,具体地说,涉及一种大数据文档生成方法、装置、设备及计算机可读存储介质。
背景技术
随着大数据技术的发展,大数据的应用场景越来越广泛,对大数据的管理可通过代码实现;先将代码部署到大数据环境中,再将其中的任务注册到预设调度系统,以在大数据环境中执行代码中的任务,而实现对大数据的管理。其中对代码的部署及其任务的注册分别通过大数据文档中的部署文档和调度文档进行,但是目前此类大数据文档均由开发人员手动编写生成,所需要花费的时间长,且容易出错,大数据文档的生成效率低。
发明内容
本发明的主要目的是提供一种大数据文档生成方法、装置、设备及计算机可读存储介质,旨在解决现有技术中生成大数据文档效率低,易出错的问题。
为实现上述目的,本发明提供一种大数据文档生成方法,所述大数据文档生成方法包括以下步骤:
当接收到代码文件时,调用预设指令读取代码文件的多项文件信息,并确定与所述预设指令对应的表格模板;
读取所述表格模板中各单元格对应的第一标识符,以及多项所述文件信息对应的各第二标识符;
根据各所述第一标识符和各所述第二标识符的对应关系,将多项所述文件信息填写到所述表格模板中,生成大数据文档。
优选地,所述预设指令包括部署指令和调度指令,所述多项文件信息包括文件名称、目录信息以及代码属性;
所述调用预设指令读取代码文件的多项文件信息,并确定与所述预设指令对应的表格模板的步骤包括:
调用部署指令读取代码文件的文件名称以及目录信息,并根据文件名称携带的文件类型标识确定对应的文件类型,将与所述文件类型对应的部署表格确定为表格模板;
或者,调用调度指令读取代码文件中的多个代码属性,并将与所述调度指令对应的调度表格确定为表格模板。
优选地,所述根据各所述第一标识符和各所述第二标识符的对应关系,将多项所述文件信息填写到所述表格模板中,生成大数据文档的步骤包括:
当所述第一标识符和所述第二标识符对应时,将所述第二标识符对应的所述代码属性填写到具有所述第一标识符的单元格中;
在检测到所述第二标识符对应的所述代码属性均填写完成后,生成大数据调度文档,以在大数据环境中对代码文件进行调度。
优选地,所述生成大数据调度文档的步骤之后包括:
将所述大数据调度文档上传到预设调度系统,以在预设调度系统中对代码文件进行注册。
优选地,所述确定与所述预设指令对应的表格模板的步骤之后包括:
根据所述文件类型确定命令模板,将所述文件名称和目录信息添加到各所述命令模板中,生成多个命令,并将各所述命令确定为新的文件信息;
将各所述命令模板对应的标识符作为所述新的文件信息对应的第二标识符。
优选的,所述根据各所述第一标识符和各所述第二标识符的对应关系,将多项所述文件信息填写到所述表格模板中,生成大数据文档的步骤包括:
当所述第一标识符和所述第二标识符对应时,将具有所述第二标识符的所述新的文件信息填写到具有所述第一标识符的单元格中;
在检测到具有所述第二标识符的所述新的文件信息均填写完成后,生成大数据部署文档,以将所述代码文件部署到大数据环境中。
此外,为实现上述目的,本发明还提出一种大数据文档生成装置,所述大数据文档生成装置包括:
调用模块,用于当接收到代码文件时,调用预设指令读取代码文件的多项文件信息,并确定与所述预设指令对应的表格模板;
读取模块,用于读取所述表格模板中各单元格对应的第一标识符,以及多项所述文件信息对应的各第二标识符;
生成模块,用于根据各所述第一标识符和各所述第二标识符的对应关系,将多项所述文件信息填写到所述表格模板中,生成大数据文档。
优选地,所述预设指令包括部署指令和调度指令,所述多项文件信息包括文件名称、目录信息以及代码属性;所述调用模块用于:
调用部署指令读取代码文件的文件名称以及目录信息,并根据文件名称携带的文件类型标识确定对应的文件类型,将与所述文件类型对应的部署表格确定为表格模板;
或者,调用调度指令读取代码文件中的多个代码属性,并将与所述调度指令对应的调度表格确定为表格模板。
此外,为实现上述目的,本发明还提出一种大数据文档生成设备,所述大数据文档生成设备包括:存储器、处理器、通信总线以及存储在所述存储器上的大数据文档生成程序;
所述通信总线用于实现处理器和存储器之间的连接通信;
所述处理器用于执行所述大数据文档生成程序,以实现以下步骤:
当接收到代码文件时,调用预设指令读取代码文件的多项文件信息,并确定与所述预设指令对应的表格模板;
读取所述表格模板中各单元格对应的第一标识符,以及多项所述文件信息对应的各第二标识符;
根据各所述第一标识符和各所述第二标识符的对应关系,将多项所述文件信息填写到所述表格模板中,生成大数据文档。
此外,为实现上述目的,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质存储有一个或者一个以上程序,所述一个或者一个以上程序可被一个或者一个以上的处理器执行以用于:
当接收到代码文件时,调用预设指令读取代码文件的多项文件信息,并确定与所述预设指令对应的表格模板;
读取所述表格模板中各单元格对应的第一标识符,以及多项所述文件信息对应的各第二标识符;
根据各所述第一标识符和各所述第二标识符的对应关系,将多项所述文件信息填写到所述表格模板中,生成大数据文档。
本实施例的大数据文档生成方法,当接收到代码文件时,调用预设指令读取代码文件的多项文件信息,并确定与所述预设指令对应的表格模板;读取所述表格模板中各单元格对应的第一标识符,以及多项所述文件信息对应的各第二标识符;根据各所述第一标识符和各所述第二标识符的对应关系,将多项所述文件信息填写到所述表格模板中,生成大数据文档。本方案设置有自动生成大数据文档的机制,预先设置好用于生成大数据文档的表格模板;当接收到代码文件时,读取此代码文件中与大数据文档相关的多项文件信息,将此多项文件信息填写到表格模板中,即可生成大数据模板;避免开发人员手动编写大数据文档,提高大数据文档的生成效率。
附图说明
图1是本发明的大数据文档生成方法第一实施例的流程示意图;
图2是本发明的大数据文档生成方法第二实施例的流程示意图;
图3是本发明的大数据文档生成方法第三实施例的流程示意图;
图4是本发明的大数据文档生成装置第一实施例的功能模块示意图;
图5是本发明实施例方法涉及的硬件运行环境的设备结构示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明提供一种大数据文档生成方法。
请参照图1,图1为本发明大数据文档生成方法第一实施例的流程示意图。在本实施例中,所述大数据文档生成方法包括:
步骤S10,当接收到代码文件时,调用预设指令读取代码文件的多项文件信息,并确定与所述预设指令对应的表格模板;
本发明的大数据文档生成方法应用于服务器,适用于生成用于将代码文件部署到大数据环境,以及将代码文件中的各任务注册到预设调度系统的大数据文档。其中代码文件由开发人员编写,包括多个任务,如将Oracle数据库中的数据同步到hive数据库的同步任务;而预设调度系统为预先设置以对代码中的任务进行注册,使任务可定时自动执行的系统。可理解地,在通过大数据文档将代码文件部署到大数据环境中时,需要明确此代码文件的文件名称及其所在的目录,以确定对位于哪里的哪个文件进行部署;而在通过大数据文档对任务注册时,则需要明确各任务的属性,确定任务是增量任务还是全量任务,某一任务的运行是否依赖于其他任务等;将此类代码文件的文件名称、所在目录、任务属性等作为代码文件的文件信息。当代码文件经测试功能正常后上传到服务器,服务器接收到此上传的代码文件时,读取此类文件信息,以根据此类文件信息生成大数据文档。具体地,读取操作通过预设指令实现;由开发人员预先设置用于读取代码文件中多项文件信息的多种类型预设指令,以在接收到代码文件时,根据需求调用不同类型的预设指令对代码文件中的不同文件信息进行读取,生成大数据文档。因代码文件由开发人员编写,开发人员在编写时约定代码文件中文件信息与预设指令之间的编码对应关系;如约定代码文件中文件名称的编码为a,所在目录的编码为b;预设指令则对编码a、b所具有的内容进行读取,并将所读取a的内容作为文件名称,所读取b的内容作为所在目录。
此外,本实施例的大数据文档以表格的形式存在,且针对不同作用的大数据文档设置有不同的表格模板;如将代码文件部署到大数据环境中的大数据文档对应的表格模板,以及将代码文件中的各任务注册到预设调度系统的大数据文档对应的表格模板。此表格模板为预先设置用于填写所读取的文件信息,以生成大数据文档;且在表格模板中设置有用于实现大数据文档作用的信息。如在实现代码文件部署时,可在表格模板中设置部署路径,将读取的文件信息填写到此表格模板中,并按照其中的部署路径对具有所填写文件信息的代码文件进行部署。而具体使用哪个表格模板由所调用的预设指令确定,根据预设指令所读取到的文件信息的类型,确定大数据文档所需要实现的功能,进而确定对应的表格模板。
步骤S20,读取所述表格模板中各单元格对应的第一标识符,以及多项所述文件信息对应的各第二标识符;
进一步地,在将读取的文件信息填写到表格模板中时,因涉及到的文件信息有多项,而表格模板中也涉及到多个单元格;为了避免将多项文件信息填写到同一单元格中,而导致在前填写的文件信息被在后填写的文件信息覆盖,同时为了方便按照表格模板中所填写文件信息的特定顺序,实现大数据文档的功能;对表格模板中的各个单元格设置第一标识符,此第一标识符为预先设置用于表示表格模板的类型。而为了对其中各个单元格进行区分,在第一标识符的基础上设置多个第一子标识符,使不同的单元格对应不同的第一子标识符。如设置表格模板中的第一行用于填写文件信息,且第一行中第一个单元格用于填写文件名称,第二个单元格用于填写代码文件所在的目录信息;则对此表格模板预先设置第一标识符F1,同时为了区分其中的第一单元格和第二单元格,在其第一标识符F1的基础上设置第一子标识符1、2,使得两者的第一标识符分别为F11和F12。通过第一标识符来区分表格模板中各个单元格所需要填写的文件信息的差异性。
此外为了将与单元格对应的文件信息填写到其中,在通过预设指令读取到各个文件信息时,为读取的文件信息设置对应的第二标识符,其中设置操作根据预先设定的文件信息与第二标识符之间的对应的关系进行,如预先设定文件名称、目录信息对应的第二标识符为E1,任务属性对应的第二标识符为E2。而为了对各个文件信息进行区分,在第二标识符的基础上设置多个第二子标识符,使不同的文件信息对应不同的第二子标识符。如为了区分此文件名称和目录信息,在其第二标识符E1的基础上设置第二子标识符1、2,使得两者的第二标识符分别为E11和E12,以通过第二标识符来区分各个文件信息的差异性。在读取到多项文件信息,并确定表格模板后,则进一步对表格模板中所携带的第一标识符,以及多项文件信息中所携带的第二标识符进行读取,以便根据第一标识符和第二标识符,将多项文件信息填写到表格模板中对应的单元格。
步骤S30,根据各所述第一标识符和各所述第二标识符的对应关系,将多项所述文件信息填写到所述表格模板中,生成大数据文档。
更进一步地,在读取表格模板各单元格所携带的第一标识符和各文件信息所携带的第二标识符之后,根据第一标识符和第二标识符的对应关系,即可将各文件信息填写到各单元格中。虽然第一标识符和第二标识符用于表示不同内容的差异性,一个表示单元格,一个用于表示文件信息;但此两者不同内容之间具有一致性,如用于填写文件名称的单元格和文件信息中的文件名称,两者都是文件名称;但此文件名称在不同内容中的标识符不一样,在单元格中为第一标识符,在文件信息中为第二标识符。根据两者不同内容之间的一致性,建立第一标识符和第二标识符的对应关系,即在所表征内容一致的单元格和文件信息之间建立对应关系,如上述在表示文件名称的F11和E11之间建立对应关系。在将文件信息填写到表格模板的过程中,先确定所需要填写文件信息中所携带的第二标识符,再确定表格模板单元格中与此第二标识信息对应的单元格,最终将具有第二标识符的文件信息填写到具有与第二标识符对应的第一标识符的单元格中。如所需要填写的文件信息为文件名称,而文件名称中所携带的第二标识符为E11,将E11与表格模板的各单元格所携带的第一标识符逐一对比,确定与E11对应的F11所在的单元格,而将文件名称填写到此具有F11的单元格中。在将所有的文件信息均填写到表格模板中后,生成大数据文档。
本实施例的大数据文档生成方法,当接收到代码文件时,调用预设指令读取代码文件的多项文件信息,并确定与所述预设指令对应的表格模板;读取所述表格模板中各单元格对应的第一标识符,以及多项所述文件信息对应的各第二标识符;根据各所述第一标识符和各所述第二标识符的对应关系,将多项所述文件信息填写到所述表格模板中,生成大数据文档。本方案设置有自动生成大数据文档的机制,预先设置好用于生成大数据文档的表格模板;当接收到代码文件时,读取此代码文件中与大数据文档相关的多项文件信息,将此多项文件信息填写到表格模板中,即可生成大数据模板;避免开发人员手动编写大数据文档,提高大数据文档的生成效率。
进一步地,在本发明大数据文档生成方法另一实施例中,所述预设指令包括部署指令和调度指令,所述多项文件信息包括文件名称、目录信息以及代码属性;
所述调用预设指令读取代码文件的多项文件信息,并确定与所述预设指令对应的表格模板的步骤包括:
步骤S11,调用部署指令读取代码文件的文件名称以及目录信息,并根据文件名称携带的文件类型标识确定对应的文件类型,将与所述文件类型对应的部署表格确定为表格模板;
在本实施例中,对应于大数据文档的不同作用,将预设指令分为部署指令和调度指令,以读取不同类型的文件信息;其中部署指令对应于大数据文档将代码文件部署到大数据环境,调度指令对应于大数据文档将代码文件中的各任务注册到预设调度系统。当预设指令为部署指令时,调用此部署指令读取代码文件的文件名称和代码文件所在目录的目录信息,以根据文件名称和目录信息生成将代码文件部署到大数据环境中的大数据文档。考虑到在将代码文件部署到数据环境中时,对于不同类型的代码文件具有不同的部署要求,如对于某一类型代码文件,其需要部署在大数据环境中实现复制、解压的功能;而对于另一类型的代码文件,其需要部署在大数据环境中实现新建、删除的功能。针对此不同类型的代码文件设置有不同的部署表格,且代码文件的文件类型通过文件名称体现。具体地,可将文件类型预先以文件类型标识的方式设置在文件名称中,当通过部署指令读取到文件名称时,根据其中的文件类型标识确定代码文件的文件类型;进而根据文件类型与部署表格的对应关系,确定与此文件类型对应的部署表格,此部署表格即为与预设指令对应的表格模板,将作为文件信息的文件名称和目录信息填写到部署表格中,即可生成大数据文档。
或者,步骤S12,调用调度指令读取代码文件中的多个代码属性,并将与所述调度指令对应的调度表格确定为表格模板。
进一步地,当预设指令为调度指令时,调用此调度指令读取代码文件的多个代码属性,此代码属性用于表征代码文件中的任务属性,即通过代码属性确定任务是增量任务还是全量任务,某一任务的运行是否依赖于其他任务等,根据所读取的代码属性生成将代码文件中的任务注册到预设调度系统的大数据文档。针对此类大数据文档设置有调度表格,在确定预设指令为调度指令时,说明大数据文档的作用为对代码文件中任务进行注册,从而根据此大数据文档的作用确定与其对应的表格模板为调度表格。将作为文件信息的多个代码属性填写到调度表格中,即可生成大数据文档。为了将代码属性填写到调度表格对应的单元格中,对调度表格中的各单元格预先设置有第一标识符,表征各单元格所需要填写的代码属性;同时对不同的代码属性预先设置对应的第二标识符,在读取到代码属性时,根据各代码属性与第二标识符之间的对应关系,为读取到的代码属性分配第二标识符;以根据第一标识符和第二标识符的对应关系,将读取的各个代码属性添加到调度表格的对应单元格中,生成大数据文档。具体的步骤S30包括:
步骤S31,当所述第一标识符和所述第二标识符对应时,将所述第二标识符对应的所述代码属性填写到具有所述第一标识符的单元格中;
更进一步地,为了将代码属性填写到调度表格对应的单元格中,在所表征内容一致的单元格和代码属性之间建立对应关系;即建立第一标识符和第二标识符的对应关系,以根据两者之间的对应关系,将代码属性填写到调度表格中。在将代码属性填写到调度表格的过程中,先确定所需要填写代码属性中所携带的第二标识符,再确定调度表格单元格中与此第二标识信息对应的单元格,最终将具有第二标识符的代码属性填写到具有与第二标识符对应的第一标识符的单元格中。
步骤S32,在检测到所述第二标识符对应的所述代码属性均填写完成后,生成大数据调度文档,以在大数据环境中对代码文件进行调度。
可理解地,因所需要填写的代码属性可能包括多项,从而在填写过程中对代码属性是否填写完成进行检测;当检测到所有具有第二标识符的代码属性均进行填写操作,则说明代码属性均填写完成,生成大数据文档。将此用于将代码文件中的各任务注册到预设调度系统的大数据文档作为大数据调度文档,即通过此大数据调度文档实现将代码文件中的各任务注册到预设调度系统。
进一步地,请参照图2,在本发明大数据文档生成方法第一实施例的基础上,提出本发明大数据文档生成方法第二实施例,在第二实施例中,所述生成大数据调度文档的步骤之后包括:
步骤S40,将所述大数据调度文档上传到预设调度系统,以在预设调度系统中对代码文件进行注册。
更进一步地,在生成将代码文件中的各任务注册到预设调度系统的大数据调度文档之后,将此大数据调度文档上传到预设调度系统。通过预设调度系统对大数据调度文档中所表征代码文件的任务进行注册,以使注册的任务定时自动执行,实现代码功能。
进一步地,请参照图,3,在本发明大数据文档生成方法第一实施例的基础上,提出本发明大数据文档生成方法第三实施例,在第三实施例中,所述确定与所述预设指令对应的表格模板的步骤之后包括:
步骤S50,根据所述文件类型确定命令模板,将所述文件名称和目录信息添加到各所述命令模板中,生成多个命令,并将各所述命令确定为新的文件信息;
进一步地,在将代码文件部署到大数据环境的过程中,涉及到不同的部署要求;此不同的部署要求为针对代码文件或者大数据环境中的数据进行操作的过程,其通过命令实现操作;如部署要求中对代码文件进行复制的操作通过复制命令实现。为了通过命令对代码文件进行操作,本实施例中预先设置有多个命令模板,将文件信息添加到不同的命令模板中,即可实现对代码文件的不同操作。如设置复制命令cp的模板包括cp file dir和cp-rp dir1 dir2,分别用于将文件file复制到目录dir下,以及将dir1下的所有文件及子目录复制到dir2;而解压命令tar的模板格式为:tar-jxv-f filename.tar.bz2-C dir,用于将文件filename解压到目录dir下。因不同的文件类型所具有的部署要求不一样,即用于实现不同文件类型部署要求的命令模板不一样。先根据所读取的文件名称确定文件类型,再根据文件类型确定对应的命令模板,而各命令模板所具有的格式一定,将读取的文件名称和目录信息添加到命令模板中,即可生成多个命令。目录信息表征代码文件所在的目录,将其添加到命令中用于表示对存在于目录信息中且具有所读取文件名称的代码文件进行操作。将所生成的多个命令更新为新的文件信息,以便将此新的文件信息添加到部署表格中,实现其对应的部署操作。
考虑到操作过程还涉及到其他目录路径,如将代码文件复制到另一目录路径,或者对另一目录路径中的代码文件进行解压操作。将此其他的目录路径预先设置在表格模板中,对于此涉及到其他目录路径的操作,因需要将其他目录路径填写到命令模板中才能实现其操作;从而在将文件名称和目录信息添加到命令模板,生成命令时,将命令模板中用于添加此其他目录路径的位置空出,即生成的命令中用于添加其他目录路径的位置为空出状态;在将生成的命令作为新的文件信息添加到部署表格中后,读取部署表格中的此目录路径填写到所生成命令中的空出位置,形成完成的新的文件信息,以通过此完整的文件信息实现部署操作。如根据文件类型所确定的命令模板包括cp-rp dir1 dir2,将读取的目录信息S1添加到dir1的位置,而将dir2的位置空出;将其作为新的文件信息,在将此新的文件信息添加到部署表格中时,读取部署表格中与dir2对应的目录路径S2;将其添加到命令模板所空出的位置,形成完整的文件信息cp-rp S1 S2;以实现将S1下的所有文件及子目录复制到S2中。
步骤S60,将各所述命令模板对应的标识符作为所述新的文件信息对应的第二标识符。
更进一步地,在将根据命令模板所生成的命令作为新的文件信息后,需要将新的文件信息填写到部署表格的对应单元格中,而对应由部署表格中所携带的第一标识符和新的文件信息中所携带的第二标识符确定。其中第一标识符为预先设置在部署表格的单元格中,表征各单元格中所需要填写的命令;而第二标识符预先设置在命令模板中,在将文件名称和目录信息添加到各命令模板,生成多个命令时,所生成的命令相应的携带有第二标识符;以根据第一标识符和第二标识符的对应关系,将生成的各个命令添加到部署表格的对应单元格中。
进一步地,在本发明大数据文档生成方法另一实施例中,所述根据各所述第一标识符和各所述第二标识符的对应关系,将多项所述文件信息填写到所述表格模板中,生成大数据文档的步骤包括:
步骤S33,当所述第一标识符和所述第二标识符对应时,将具有所述第二标识符的所述新的文件信息填写到具有所述第一标识符的单元格中;
进一步地,为了将新的文件信息填写到部署表格对应的单元格中,在所表征内容一致的单元格和新的文件信息之间建立对应关系;即建立第一标识符和第二标识符的对应关系,以根据两者之间的对应关系,将新的文件信息填写到部署表格中。在将新的文件信息填写到部署表格的过程中,先确定所需要填写新的文件信息中所携带的第二标识符,再确定部署表格单元格中与此第二标识信息对应的单元格,最终将具有第二标识符的新的文件信息填写到具有与第二标识符对应的第一标识符的单元格中。
步骤S34,在检测到具有所述第二标识符的所述新的文件信息均填写完成后,生成大数据部署文档,以将所述代码文件部署到大数据环境中。
可理解地,因所需要填写的新的文件信息可能包括多项,从而在填写过程中对新的文件信息是否填写完成进行检测;当检测到所有具有第二标识符的新的文件信息均进行填写操作,则说明新的文件信息均填写完成,生成大数据文档。将此用于将代码文件部署到大数据环境的大数据文档作为大数据部署文档,即通过此大数据部署文档实现将代码文件部署到大数据环境。
此外,请参照图4,本发明提供一种大数据文档生成装置,在本发明大数据文档生成装置第一实施例中,所述大数据文档生成装置包括:
调用模块10,用于当接收到代码文件时,调用预设指令读取代码文件的多项文件信息,并确定与所述预设指令对应的表格模板;
读取模块20,用于读取所述表格模板中各单元格对应的第一标识符,以及多项所述文件信息对应的各第二标识符;
生成模块30,用于根据各所述第一标识符和各所述第二标识符的对应关系,将多项所述文件信息填写到所述表格模板中,生成大数据文档。
本实施例的大数据文档生成装置,当接收到代码文件时,调用模块10调用预设指令读取代码文件的多项文件信息,并确定与所述预设指令对应的表格模板;读取模块20读取所述表格模板中各单元格对应的第一标识符,以及多项所述文件信息对应的各第二标识符;生成模块30根据各所述第一标识符和各所述第二标识符的对应关系,将多项所述文件信息填写到所述表格模板中,生成大数据文档。本方案设置有自动生成大数据文档的机制,预先设置好用于生成大数据文档的表格模板;当接收到代码文件时,读取此代码文件中与大数据文档相关的多项文件信息,将此多项文件信息填写到表格模板中,即可生成大数据模板;避免开发人员手动编写大数据文档,提高大数据文档的生成效率。
进一步地,在本发明大数据文档生成装置另一实施例中,所述预设指令包括部署指令和调度指令,所述多项文件信息包括文件名称、目录信息以及代码属性;所述调用模块用于:
调用部署指令读取代码文件的文件名称以及目录信息,并根据文件名称携带的文件类型标识确定对应的文件类型,将与所述文件类型对应的部署表格确定为表格模板;
或者,调用调度指令读取代码文件中的多个代码属性,并将与所述调度指令对应的调度表格确定为表格模板。
进一步地,在本发明大数据文档生成装置另一实施例中,所述生成模块包括:
第一输入单元,用于当所述第一标识符和所述第二标识符对应时,将所述第二标识符对应的所述代码属性填写到具有所述第一标识符的单元格中;
第一生成单元,用于在检测到所述第二标识符对应的所述代码属性均填写完成后,生成大数据调度文档,以在大数据环境中对代码文件进行调度。
进一步地,在本发明大数据文档生成装置另一实施例中,所述大数据文档生成装置还包括:
上传模块,用于将所述大数据调度文档上传到预设调度系统,以在预设调度系统中对代码文件进行注册。
进一步地,在本发明大数据文档生成装置另一实施例中,所述大数据文档生成装置还包括:
确定模块,用于根据所述文件类型确定命令模板,将所述文件名称和目录信息添加到各所述命令模板中,生成多个命令,并将各所述命令确定为新的文件信息;
设定模块,用于将各所述命令模板对应的标识符作为所述新的文件信息对应的第二标识符。
进一步地,在本发明大数据文档生成装置另一实施例中,所述生成模块包括:
第二输入单元,用于当所述第一标识符和所述第二标识符对应时,将具有所述第二标识符的所述新的文件信息填写到具有所述第一标识符的单元格中;
第二生成单元,用于在检测到具有所述第二标识符的所述新的文件信息均填写完成后,生成大数据部署文档,以将所述代码文件部署到大数据环境中。
其中,上述大数据文档生成装置的各虚拟功能模块存储于图5所示大数据文档生成设备的存储器1005中,处理器1001执行大数据文档生成程序时,实现图4所示实施例中各个模块的功能。
参照图5,图5是本发明实施例方法涉及的硬件运行环境的设备结构示意图。
本发明实施例大数据文档生成设备可以是PC(personal computer,个人计算机),也可以是智能手机、平板电脑、电子书阅读器、便携计算机等终端设备。
如图5所示,该大数据文档生成设备可以包括:处理器1001,例如CPU(CentralProcessing Unit,中央处理器),存储器1005,通信总线1002。其中,通信总线1002用于实现处理器1001和存储器1005之间的连接通信。存储器1005可以是高速RAM(random accessmemory,随机存取存储器),也可以是稳定的存储器(non-volatile memory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
可选地,该大数据文档生成设备还可以包括用户接口、网络接口、摄像头、RF(Radio Frequency,射频)电路,传感器、音频电路、WiFi(Wireless Fidelity,无线宽带)模块等等。用户接口可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口还可以包括标准的有线接口、无线接口。网络接口可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。
本领域技术人员可以理解,图5中示出的大数据文档生成设备结构并不构成对大数据文档生成设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图5所示,作为一种计算机计算机可读存储介质的存储器1005中可以包括操作系统、网络通信模块以及大数据文档生成程序。操作系统是管理和控制大数据文档生成设备硬件和软件资源的程序,支持大数据文档生成程序以及其它软件和/或程序的运行。网络通信模块用于实现存储器1005内部各组件之间的通信,以及与大数据文档生成设备中其它硬件和软件之间通信。
在图5所示的大数据文档生成设备中,处理器1001用于执行存储器1005中存储的大数据文档生成程序,实现上述大数据文档生成方法各实施例中的步骤。
本发明提供了一种计算机可读存储介质,所述计算机可读存储介质存储有一个或者一个以上程序,所述一个或者一个以上程序还可被一个或者一个以上的处理器执行以用于实现上述大数据文档生成方法各实施例中的步骤。
还需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个计算机可读存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
以上所述仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是在本发明的构思下,利用本发明说明书及附图内容所作的等效结构变换,或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (10)

1.一种大数据文档生成方法,其特征在于,所述大数据文档生成方法包括以下步骤:
当接收到代码文件时,调用预设指令读取代码文件的多项文件信息,并确定与所述预设指令对应的表格模板;
读取所述表格模板中各单元格对应的第一标识符,以及多项所述文件信息对应的各第二标识符;
根据各所述第一标识符和各所述第二标识符的对应关系,将多项所述文件信息填写到所述表格模板中,生成大数据文档。
2.如权利要求1所述的大数据文档生成方法,其特征在于,所述预设指令包括部署指令和调度指令,所述多项文件信息包括文件名称、目录信息以及代码属性;
所述调用预设指令读取代码文件的多项文件信息,并确定与所述预设指令对应的表格模板的步骤包括:
调用部署指令读取代码文件的文件名称以及目录信息,并根据文件名称携带的文件类型标识确定对应的文件类型,将与所述文件类型对应的部署表格确定为表格模板;
或者,调用调度指令读取代码文件中的多个代码属性,并将与所述调度指令对应的调度表格确定为表格模板。
3.如权利要求2所述的大数据文档生成方法,其特征在于,所述根据各所述第一标识符和各所述第二标识符的对应关系,将多项所述文件信息填写到所述表格模板中,生成大数据文档的步骤包括:
当所述第一标识符和所述第二标识符对应时,将所述第二标识符对应的所述代码属性填写到具有所述第一标识符的单元格中;
在检测到所述第二标识符对应的所述代码属性均填写完成后,生成大数据调度文档,以在大数据环境中对代码文件进行调度。
4.如权利要求3所述的大数据文档生成方法,其特征在于,所述生成大数据调度文档的步骤之后包括:
将所述大数据调度文档上传到预设调度系统,以在预设调度系统中对代码文件进行注册。
5.如权利要求2所述的大数据文档生成方法,其特征在于,所述确定与所述预设指令对应的表格模板的步骤之后包括:
根据所述文件类型确定命令模板,将所述文件名称和目录信息添加到各所述命令模板中,生成多个命令,并将各所述命令确定为新的文件信息;
将各所述命令模板对应的标识符作为所述新的文件信息对应的第二标识符。
6.如权利要求5所述的大数据文档生成方法,其特征在于,所述根据各所述第一标识符和各所述第二标识符的对应关系,将多项所述文件信息填写到所述表格模板中,生成大数据文档的步骤包括:
当所述第一标识符和所述第二标识符对应时,将具有所述第二标识符的所述新的文件信息填写到具有所述第一标识符的单元格中;
在检测到具有所述第二标识符的所述新的文件信息均填写完成后,生成大数据部署文档,以将所述代码文件部署到大数据环境中。
7.一种大数据文档生成装置,其特征在于,所述大数据文档生成装置包括:
调用模块,用于当接收到代码文件时,调用预设指令读取代码文件的多项文件信息,并确定与所述预设指令对应的表格模板;
读取模块,用于读取所述表格模板中各单元格对应的第一标识符,以及多项所述文件信息对应的各第二标识符;
生成模块,用于根据各所述第一标识符和各所述第二标识符的对应关系,将多项所述文件信息填写到所述表格模板中,生成大数据文档。
8.如权利要求7所述的大数据文档生成装置,其特征在于,所述预设指令包括部署指令和调度指令,所述多项文件信息包括文件名称、目录信息以及代码属性;所述调用模块用于:
调用部署指令读取代码文件的文件名称以及目录信息,并根据文件名称携带的文件类型标识确定对应的文件类型,将与所述文件类型对应的部署表格确定为表格模板;
或者,调用调度指令读取代码文件中的多个代码属性,并将与所述调度指令对应的调度表格确定为表格模板。
9.一种大数据文档生成设备,其特征在于,所述大数据文档生成设备包括:存储器、处理器、通信总线以及存储在所述存储器上的大数据文档生成程序;
所述通信总线用于实现处理器和存储器之间的连接通信;
所述处理器用于执行所述大数据文档生成程序,以实现如权利要求1-6中任一项所述的大数据文档生成方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有大数据文档生成程序,所述大数据文档生成程序被处理器执行时实现如权利要求1-6中任一项所述的大数据文档生成方法的步骤。
CN201810511258.6A 2018-05-24 2018-05-24 大数据文档生成方法、装置、设备及计算机可读存储介质 Active CN109725933B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810511258.6A CN109725933B (zh) 2018-05-24 2018-05-24 大数据文档生成方法、装置、设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810511258.6A CN109725933B (zh) 2018-05-24 2018-05-24 大数据文档生成方法、装置、设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN109725933A true CN109725933A (zh) 2019-05-07
CN109725933B CN109725933B (zh) 2023-07-21

Family

ID=66293804

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810511258.6A Active CN109725933B (zh) 2018-05-24 2018-05-24 大数据文档生成方法、装置、设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN109725933B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110196733A (zh) * 2019-06-06 2019-09-03 深圳市伊欧乐科技有限公司 一种预设api文档生成方法、装置、设备和存储介质
CN110287148A (zh) * 2019-07-01 2019-09-27 中原银行股份有限公司 一种数据交互方法及装置
CN110705237A (zh) * 2019-09-18 2020-01-17 深圳证券交易所 文档的自动生成方法、数据处理设备及存储介质
CN111144083A (zh) * 2019-12-20 2020-05-12 腾讯科技(深圳)有限公司 一种报表的生成方法、装置、设备及计算机可读存储介质
CN111309818A (zh) * 2020-01-16 2020-06-19 平安医疗健康管理股份有限公司 基于定时任务的文档变更方法、装置、计算机设备及计算机存储介质
CN111597781A (zh) * 2020-05-19 2020-08-28 浪潮软件集团有限公司 非结构化大数据生成方法、系统、存储介质及电子设备
CN112612924A (zh) * 2020-12-30 2021-04-06 绿盟科技集团股份有限公司 一种数据读取、导出方法、装置、电子设备及存储介质
CN112783829A (zh) * 2021-01-11 2021-05-11 广州中海云科技有限公司 海事证据存储方法、装置、计算机设备和存储介质
CN112883012A (zh) * 2021-02-08 2021-06-01 建信金融科技有限责任公司 一种Domino数据表格组件的实现方法和装置
CN113283228A (zh) * 2021-07-22 2021-08-20 北京关键科技股份有限公司 文档生成方法、装置、电子设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030140053A1 (en) * 2002-01-21 2003-07-24 Vasey Philip Edgar Document generation
CN104933020A (zh) * 2015-07-17 2015-09-23 北京奇虎科技有限公司 基于模板生成目标文档的方法及装置
WO2016131106A1 (en) * 2015-02-18 2016-08-25 Zync Pty Ltd Managing the generation of text messages
CN106020677A (zh) * 2016-04-27 2016-10-12 努比亚技术有限公司 一种信息处理方法及移动终端
CN106776507A (zh) * 2015-11-19 2017-05-31 北京国双科技有限公司 Word文件生成方法和装置
CN107153636A (zh) * 2017-04-18 2017-09-12 北京思特奇信息技术股份有限公司 一种实现以pdf格式快速导出业务数据的方法及系统
CN107704440A (zh) * 2017-10-26 2018-02-16 河海大学 一种抽取数据库数据自动批量生成所需xml文件的方法
CN107908425A (zh) * 2017-11-16 2018-04-13 中国银行股份有限公司 一种配置化文件的生成方法及系统
CN107958057A (zh) * 2017-11-29 2018-04-24 苏宁云商集团股份有限公司 一种用于异构数据库中数据迁移的代码生成方法及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030140053A1 (en) * 2002-01-21 2003-07-24 Vasey Philip Edgar Document generation
WO2016131106A1 (en) * 2015-02-18 2016-08-25 Zync Pty Ltd Managing the generation of text messages
CN104933020A (zh) * 2015-07-17 2015-09-23 北京奇虎科技有限公司 基于模板生成目标文档的方法及装置
CN106776507A (zh) * 2015-11-19 2017-05-31 北京国双科技有限公司 Word文件生成方法和装置
CN106020677A (zh) * 2016-04-27 2016-10-12 努比亚技术有限公司 一种信息处理方法及移动终端
CN107153636A (zh) * 2017-04-18 2017-09-12 北京思特奇信息技术股份有限公司 一种实现以pdf格式快速导出业务数据的方法及系统
CN107704440A (zh) * 2017-10-26 2018-02-16 河海大学 一种抽取数据库数据自动批量生成所需xml文件的方法
CN107908425A (zh) * 2017-11-16 2018-04-13 中国银行股份有限公司 一种配置化文件的生成方法及系统
CN107958057A (zh) * 2017-11-29 2018-04-24 苏宁云商集团股份有限公司 一种用于异构数据库中数据迁移的代码生成方法及装置

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110196733A (zh) * 2019-06-06 2019-09-03 深圳市伊欧乐科技有限公司 一种预设api文档生成方法、装置、设备和存储介质
CN110287148A (zh) * 2019-07-01 2019-09-27 中原银行股份有限公司 一种数据交互方法及装置
CN110705237B (zh) * 2019-09-18 2023-03-14 深圳证券交易所 文档的自动生成方法、数据处理设备及存储介质
CN110705237A (zh) * 2019-09-18 2020-01-17 深圳证券交易所 文档的自动生成方法、数据处理设备及存储介质
CN111144083A (zh) * 2019-12-20 2020-05-12 腾讯科技(深圳)有限公司 一种报表的生成方法、装置、设备及计算机可读存储介质
CN111144083B (zh) * 2019-12-20 2023-11-03 腾讯科技(深圳)有限公司 一种报表的生成方法、装置、设备及计算机可读存储介质
CN111309818A (zh) * 2020-01-16 2020-06-19 平安医疗健康管理股份有限公司 基于定时任务的文档变更方法、装置、计算机设备及计算机存储介质
CN111597781A (zh) * 2020-05-19 2020-08-28 浪潮软件集团有限公司 非结构化大数据生成方法、系统、存储介质及电子设备
CN111597781B (zh) * 2020-05-19 2023-06-02 浪潮软件集团有限公司 非结构化大数据生成方法、系统、存储介质及电子设备
CN112612924A (zh) * 2020-12-30 2021-04-06 绿盟科技集团股份有限公司 一种数据读取、导出方法、装置、电子设备及存储介质
CN112783829A (zh) * 2021-01-11 2021-05-11 广州中海云科技有限公司 海事证据存储方法、装置、计算机设备和存储介质
CN112883012A (zh) * 2021-02-08 2021-06-01 建信金融科技有限责任公司 一种Domino数据表格组件的实现方法和装置
CN113283228A (zh) * 2021-07-22 2021-08-20 北京关键科技股份有限公司 文档生成方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN109725933B (zh) 2023-07-21

Similar Documents

Publication Publication Date Title
CN109725933A (zh) 大数据文档生成方法、装置、设备及计算机可读存储介质
CN105324769B (zh) 用于产生用于自动数据库迁移的脚本集的解决方案
CN103425468B (zh) 插件式软件集成方法及装置
CN108170809A (zh) 建表脚本生成方法、装置、设备及计算机可读存储介质
US20130227085A1 (en) Terminal and method for using cloud services
CN110275861A (zh) 数据存储方法及装置、存储介质、电子装置
CN104267964B (zh) 一种模板生成装置
CN110020356A (zh) 一种页面模块的代码生成方法、装置及系统
WO2023108904A1 (zh) 基站产品的生产测试方法及装置
US10262055B2 (en) Selection of data storage settings for an application
CN110062028A (zh) 数据同步的方法、装置、计算机设备及计算机存储介质
CN111367982B (zh) 导入tririga基础数据的方法、装置、计算机设备及存储介质
CN113051354A (zh) 一种基于动态配置的线上寻源方法、装置和计算机设备
CN116719781A (zh) 独立文件弹性组合生成目录并标注的方法
CN112434004B (zh) 异构系统的数据迁移方法、装置、计算机设备和存储介质
CN110399232A (zh) 粘贴处理方法、装置、设备及计算机可读存储介质
CN110019533A (zh) 同步脚本生成方法、装置、设备及计算机可读存储介质
CN114780497B (zh) 批量文件处理方法、装置、计算机设备、介质和程序产品
CN114116681B (zh) 数据迁移方法及装置
CN110471745A (zh) 一种服务编排方法及装置
CN106168960A (zh) 一种数据资源的调整装置及其调整方法
CN116048609A (zh) 配置文件更新方法、装置、计算机设备和存储介质
CN108845857A (zh) 一种基于云平台的图标管理方法和装置
CN110287204A (zh) 单证版本更新方法、装置、设备及可读存储介质
CN114721930A (zh) 一种数据处理方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant