CN114547085B - 一种数据处理方法、装置、电子设备及存储介质 - Google Patents
一种数据处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN114547085B CN114547085B CN202210286014.9A CN202210286014A CN114547085B CN 114547085 B CN114547085 B CN 114547085B CN 202210286014 A CN202210286014 A CN 202210286014A CN 114547085 B CN114547085 B CN 114547085B
- Authority
- CN
- China
- Prior art keywords
- file
- format
- code
- difference
- difference file
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 22
- 238000003860 storage Methods 0.000 title claims abstract description 15
- 238000004519 manufacturing process Methods 0.000 claims abstract description 71
- 238000000034 method Methods 0.000 claims abstract description 56
- 238000012545 processing Methods 0.000 claims abstract description 33
- 230000008859 change Effects 0.000 claims abstract description 5
- 230000014509 gene expression Effects 0.000 claims description 7
- 238000010586 diagram Methods 0.000 description 9
- 238000003062 neural network model Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 238000005457 optimization Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 238000002372 labelling Methods 0.000 description 4
- 238000003058 natural language processing Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000012550 audit Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/242—Query formulation
- G06F16/2433—Query languages
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2453—Query optimisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开提供了一种数据处理方法、装置、电子设备及存储介质,涉及数据处理领域。具体实现方案为:获取代码库中的生产版本文件和与生产版本文件匹配对应的提交版本文件;依据生产版本文件和提交版本文件确定差异文件,差异文件为生产版本文件与提交版本文件的差异部分;依据差异文件的格式确定格式数据信息,格式数据信息包括:差异文件格式为代码格式或者差异文件格式为结构化查询语言配置文件;基于格式数据信息生成结构化查询语言的查询结果,查询结果包括:差异文件格式为代码格式下的位置信息或者差异文件为结构化查询语言配置文件下的位置信息;依据查询结果确定结构化查询语言的优化配置结果,优化配置结果用于配置至少一种文件格式的结构化查询语言。本公开可以发现结构化查询语言的变动,减小对系统的性能影响,从而提高系统的稳定性。
Description
技术领域
本发明涉及数据处理领域,尤其涉及一种数据处理方法、装置、电子设备及存储介质。
背景技术
结构化查询语言(Structured Query Language)是一种数据库查询和程序设计语言,用于存取数据以及查询、更新和管理关系数据库系统,在软件开发的过程中,经常需要新增或是变动结构化查询语言(Structured Query Language),而结构化查询语言(Structured Query Language)的变动或新增会导致数据性能的下降,从而影响生产系统的正常使用,所以在软件开发和数据库运维过程中,为了提高程序的性能和降低故障率,需要对结构化查询语言(Structured Query Language)进行优化。
在现有的技术中,通常采用索引工具和人工配合的方式对结构化查询语言(Structured Query Language)进行检查,得到检查结果后人工再进行修改,在开发阶段,由于数据量较小,SQL查询不会太慢,因而难以引起开发人员的注意,而负责SQL审核的人员也难从众多的代码中找到所需进行审核的代码。未经优化的SQL在生产环境大数据量的情况下,导致系统性能低下,进而导致系统的稳定性较差。
发明内容
本公开提供了一种数据处理方法、装置、电子设备及存储介质,以解决存在结构化查询语言的系统稳定性较差的问题。
根据本公开的一方面,提供了一种数据处理方法,包括:
获取代码库中的生产版本文件和与所述生产版本文件匹配对应的提交版本文件;
依据所述生产版本文件和所述提交版本文件确定差异文件,所述差异文件为所述生产版本文件与所述提交版本文件的差异部分;
依据所述差异文件的格式确定格式数据信息,所述格式数据信息包括:所述差异文件格式为代码格式或者所述差异文件格式为结构化查询语言配置文件;
基于所述格式数据信息生成结构化查询语言的查询结果,所述查询结果包括:所述差异文件格式为代码格式下的位置信息或者所述差异文件为结构化查询语言配置文件下的位置信息;
依据所述查询结果确定结构化查询语言的优化配置结果,所述优化配置结果用于配置至少一种文件格式的结构化查询语言。
根据本公开的另一方面,提供了一种数据处理装置,包括:
获取模块,用于获取代码库中的生产版本文件和与所述生产版本文件匹配对应的提交版本文件;
第一生成模块,用于依据所述生产版本文件和所述提交版本文件确定差异文件,所述差异文件为所述生产版本文件与所述提交版本文件的差异部分;
第二生成模块,用于依据所述差异文件的格式确定格式数据信息,所述格式数据信息包括:所述差异文件格式为代码格式或者所述差异文件格式为结构化查询语言配置文件;
第三生成模块,用于基于所述格式数据信息生成结构化查询语言的查询结果,所述查询结果包括:所述差异文件格式为代码格式下的位置信息或者所述差异文件为结构化查询语言配置文件下的位置信息;
第四生成模块,用于依据所述查询结果确定结构化查询语言的优化配置结果,所述优化配置结果用于配置至少一种文件格式的结构化查询语言。
根据本公开的另一方面,提供了一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行本公开提供的数据处理方法。
根据本公开的另一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行本公开提供的数据处理方法。
本公开中,首先获取到代码库中的生产版本文件和与生产版本文件对应的提交版本文件,并生成差异文件,该差异文件为生产版本文件和提交版本文件经过比对得出,然后对差异文件进行格式的分析,根据差异文件格式进行对应的查询方式,最后得到差异文件在不同格式下的位置信息,用户得到差异文件位置对结构化查询语言进行配置优化,从而提高存在结构化查询语言的系统稳定性。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本公开的限定。其中:
图1是本公开提供的一种数据处理方法的流程图;
图2是本公开提供的一种数据处理方法的另一种流程图;
图3是本公开提供的一种数据处理装置的结构图;
图4是本公开提供的一种数据处理装置的另一种结构图;
图5是本公开提供的一种数据处理装置的另一种结构图;
图6是本公开提供的一种数据处理装置的另一种结构图;
图7是本公开提供的一种数据处理装置的另一种结构图;
图8是本公开提供的一种数据处理装置的另一种结构图;
图9是实现本公开实施例的数据处理方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
请参见图1,图1是本公开提供的一种数据处理方法的流程图,如图1所示,包括以下步骤:
步骤S101、获取代码库中的生产版本文件和与所述生产版本文件匹配对应的提交版本文件。
上述生产版本文件和与上述生产版本文件匹配对应的提交版本文件为代码库中的文件,且上述一个递交版本文件可以对应多个上述生产版本文件,用户可以是根据需求对上述生产版本文件进行选择。
另外,对于对上述生产版本文件和上述提交版本文件的获取可以是通过用户设置的预设条件进行,例如:当代码库中存在上述生产版本文件和与上述生产版本文件匹配对应的提交版本文件时,系统会根据用户设置的预设条件自动获取上述生产版本文件和提交版本文件。
需要说明的是,上述生产版本文件和上述生产版本文件匹配对应的递交版本文件可以是通过用户人工发起获取,例如:用户直接发起获取指令,系统根据用户的指令获取上述生产版本文件和与上述生产版本文件匹配对应的递交版本文件。
步骤S102、依据所述生产版本文件和所述提交版本文件确定差异文件,所述差异文件为所述生产版本文件与所述提交版本文件的差异部分。
上述差异文件部分可以是上述生产版本和上述提交版本经过比对得到,例如:系统获取到上述生产版本文件和上述提交版本文件后,将上述生产版本文件和上述提交版本文件进行格式对齐的比较,得到上述差异文件,即上述生产版本文件和上述提交版本文件的差异部分。
步骤S103、依据所述差异文件的格式确定格式数据信息,所述格式数据信息包括:所述差异文件格式为代码格式或者所述差异文件格式为结构化查询语言配置文件。
系统首先通过判断文件格式的工具对上述差异文件进行判断,得到上述差异文件的格式判断结果,该结果表示上述差异文件的格式,系统获取到上述差异文件的格式后,生成对应版本文件的上述格式数据信息,例如:系统获取到差异文件的格式,生成对应差异文件的格式数据信息,格式数据信息可以是表示差异文件为代码格式,格式数据信息也可以是表示差异文件为结构化查询语言配置文件的格式。
其中,上述代码格式为直接嵌入在代码中的结构化查询语言及代码,可以是表示代码片段包含结构化查询语言的情况,另一方面,上述结构化语言查询配置文件的格式为引用结构化查询语言文件的代码,可以是表示代码片段引用结构化查询语言的情况。
步骤S104、基于所述格式数据信息生成结构化查询语言的查询结果,所述查询结果包括:所述差异文件格式为代码格式下的位置信息或者所述差异文件为结构化查询语言配置文件下的位置信息。
上述格式数据信息可以是包括两种数据信息,其中包括:上述差异文件格式为代码格式或者上述差异文件格式为结构化查询语言配置文件,根据上述格式数据信息的不同,系统将代码片段进行分类,不同的分类可以使用各自适配的模型得到上述查询结构。
其中,上述格式数据信息为代码格式时,则读取上述差异文件的差异部分,且是同时读取差异前后相关的部分代码。
另外,上述格式数据信息为结构化查询语言配置文件格式,例如:上述格式数据信息为结构化查询语言节文件,包括不同格式的结构化查询语言的映射文件,则直接定位结构化查询语言所在的代码行。
应理解,各自适配的模型可以是为神经网络模型,其中,具体可以为神经网络模型二分类模型,对于文件格式为代码格式的上述差异文件进行标注并采用神经网络进行训练,得到匹配对应的模型,该模型用于判断代码片段中是否包含结构化查询语言;对于文件格式为结构化查询语言配置文件进行标注并采用神经网络进行训练,得到匹配对应的模型,该模型用于判断代码片段中是否引用结构化查询语言。
另外,可以对神经网络模型自动标注的结果再进行人工标注,神经网络模型可以根据人工标注再次进行训练,以此来提高神经网络模型的运行效果。
需要说明的是,上述神经网络模型可以结合自然语言处理技术(NLP),通过神经网络学习方法,从大量的语言数据中获取语言的结构材料,用户可通过文字给出任务描述,上述神经网络模型可以理解并执行该任务,即根据上述差异文件的不同格式查询到对应的位置信息。
应理解,自然语言处理技术(NLP)还可以对差异文件进行分类处理,将差异文件分为代码格式或者是结构化查询语言配置文件格式,即基于神经网络自动抽取差异文件中的特征进行分类处理。
步骤S105、依据所述查询结果确定结构化查询语言的优化配置结果,所述优化配置结果用于配置至少一种文件格式的结构化查询语言。
上述优化配置结果可以是包括对应上述代码库的清单列表,其中,上述清单列表可以是包括文件的名称、代码的变动位置和代码行号等数据。
上述清单列表可以是包括代码库中的不同生产版本文件以及对应的不同提交版本文件,各个不同代码段的相关信息可以记录至上述清单列表之中,系统可以通过预先配置好的规则将上述清单列表发送至用户,用户可以是通过不同的接收端接收来自系统的列表清单,用户根据列表清单进行对相关代码段的处理。
该实施方案中,通过获取到的代码库中的生产版本文件和与生产版本文件对应的提交版本文件,并对应生成差异文件,该差异文件为生产版本文件和提交版本文件经过比对得出,然后对差异文件进行格式的分析,根据差异文件格式进行对应的查询方式,最后得到差异文件在不同格式下的位置信息,用户得到差异文件位置对结构化查询语言进行配置优化,从而提高存在结构化查询语言的系统稳定性。
需要说明的是,用户在根据上述清单列表处理代码库中的代码段时,可以对处理结构或是代码进行标注,并重新经过系统的检测,经过再次检测的文件可以是根据用户的标注要求对输出结果进行对应的修改。
作为一种可选的实施方式,所述依据所述生产版本文件和所述提交版本文件确定差异文件之前,所述方法还包括:判断所述代码库中的文件是否满足第一预设条件,其中,所述代码库中的所述生产版本文件和与所述生产版本文件匹配对应的所述提交版本文件同时存在表示所述代码库中的文件满足所述第一预设条件;若所述代码库中的文件满足所述第一预设条件,则生成第一确定信息,根据所述第一确定信息将所述代码库中的文件调整至生成差异文件的状态;若所述代码库中的文件未能满足所述第一预设条件,则生成第二确定信息,根据所述第二确定信息将所述代码库中的文件调整至不满足生成所述差异文件的状态。
上述差异文件的确定可以是通过用户设置的上述第一预设条件进行,上述差异文件的确定需要满足上述生产版本文件和上述提交版本文件同时存在于代码库中,即用户可以设定以此为基础的预设条件来判断是否能够获取到上述差异文件。
上述第一预设条件的设置可以是判断上述代码库中的文件是否有着上述生产版本文件和与之对应的上述提交版本文件,若上述生产版本文件和上述提交版本文件都存在于上述代码库中,则满足用户设定的上述第一预设条件,并生成上述第一数据信息,系统根据上述第一数据信息将上述代码库中对应的文件调整为可以生成上述差异文件的状态,若上述生成版本文件和上述提交版本文件不都存在于上述代码库中,则不满足用户设定的上述第一预设条件,并生成上述第二数据信息,系统根据上述第二数据信息将上述代码库中对应的文件调整为不可生成上述差异文件的状态。
该实施方案中,通过设置第一预设条件来调整代码库中生成差异文件的状态,判断生产版本文件和提交版本文件是否同时存在于代码库中,满足第一预设条件的相关代码将生成对应的差异文件,而不满足第一预设条件的相关代码将不会生成差异文件,通过此方法可以提高对于结构化查询语言数据处理的可行性和精准度,减小了因生产版本文件和提交版本文件不匹配造成的误差。
作为一种可选的实施方式,所述依据所述差异文件的格式确定格式数据信息,包括:通过判断文件格式的工具获取所述差异文件的格式;基于所述差异文件的格式输出如下其中一项:第一格式数据信息和第二格式数据信息,其中,所述第一格式数据信息表示所述差异文件的格式为代码格式,所述第二格式数据信息表示所述差异文件的格式为结构化查询语言配置文件。
其中,上述第一格式数据信息可以是包括Java、python和go等源代码格式,上述第二格式数据信息可以是包括一系列结构化查询语言的映射文件。
该实施方案中,系统通过工具来判断上述差异文件的格式,该工具可以是设置于系统中用于判断文件格式的工具,通过工具判断之后会生成上述第一格式数据信息和上述第二格式数据信息,从而系统可以根据上述第一格式数据信息和上述第二格式数据信息的差别进行不同情况下的结果查询,提高了系统对于结构化查询语言数据处理的效率,进而提高了存在结构化查询语言的系统稳定性。
作为一种可选的实施方式,所述基于所述格式数据信息生成结构化查询语言的查询结果,包括:在所述差异文件格式为代码格式的情况下,将所述差异文件以代码中的方法为单位进行分割,以所述差异文件作为输入通过第一生成模型得到所述差异文件的文件名称、代码所在的位置和代码所属的方法;在所述差异文件格式为结构化查询语言配置文件的情况下,定位所述配置文件的用户名,基于所述用户名定位源代码,以所述差异文件作为输入通过第二生成模型得到所述差异文件的文件名称、代码所在的位置和代码所属的方法。
可参见图2,图2为数据处理方法的另一种流程图,如图2所示,在上述差异文件为代码格式的情况下,将上述差异文件以代码中的方法为单位进行分割,并将分割之后的上述差异文件作为上述第一生成模型的输入,得到上述差异文件的文件名称、代码所在的位置和代码所属的方法,在上述差异文件为结构化查询语言配置文件的情况下,先定位结构化查询语言配置文件的用户名,再通过第二生成模型得到上述差异文件的文件名称、代码所在的位置和代码所属的方法,其中,在上述第二生成模型中可以是采用正则表达式定位引用结构化查询语言用户名的源码。
其中,上述第一生产模型和上述第二生成模型可以是为神经网络模型,其中,具体可以为神经网络模型二分类模型,对于文件格式为代码格式的上述差异文件进行标注并采用神经网络进行训练,得到匹配对应的模型,该模型用于判断代码片段中是否包含结构化查询语言;对于文件格式为结构化查询语言配置文件进行标注并采用神经网络进行训练,得到匹配对应的模型,该模型用于判断代码片段中是否引用结构化查询语言。
该实施方案中,对于不同格式的差异文件,采用第一生成模型和第二生成模型得到对应差异文件的文件名称、代码所在的位置和代码所属的方法,整合所有差异文件的数据之后,用户通过收集到的所有差异文件信息对代码进行调整,从而提高了存在结构化查询语言的系统稳定性。
作为一种可选的实施方式,在所述基于所述格式数据信息生成结构化查询语言的查询结果之前,所述方法还包括:在所述差异文件为代码文件的情况下,判断所述差异文件是否满足第二预设条件,其中,所述差异文件中部分文件包含如下至少一项则表示满足所述第二预设条件:包含设定的关键词和匹配对应的表达式;若所述差异文件满足所述第二预设条件,将所述差异文件作为输入通过第三生成模型得到所述差异文件的文件名称、代码所在的位置和代码所属的方法;若所述差异文件未能满足所述第二预设条件,将所述差异文件作为输入通过所述第一生成模型得到所述差异文件的文件名称、代码所在的位置和代码所属的方法。
请参见图2,图2为数据处理方法的另一种流程图,如图2所示,在判断上述差异文件为代码格式之后,通过上述第二预设条件,判断上述差异文件是否包含设定的关键词和匹配对应的表达式,若上述差异文件包含设定的关键词和匹配对应的表达式,即上述差异文件满足上述第二预设条件,通过上述第三生成模型得到上述差异文件的文件名称、代码所在的位置和代码所属的方法,若上述差异文件不包含设定的关键词和匹配对应的表达式,即上述差异文件不满足上述第二预设条件,则需要通过上述第一生成模型来得到上述差异文件的文件名称、代码所在的位置和代码所属的方法。
该实施方案中,添加了一种差异文件为代码格式时的处理方法,即在差异文件为代码格式,可以通过第一生成模型和第三生成模型来得到差异文件的文件名称、代码所在的位置和代码所属的方法,其中,生成模型的选择需要对差异文件进行判断,检测差异文件是否满足第二预设条件。该发明实施例中,提高了系统对于结构化查询语言数据处理的效率,进而提高了存在结构化查询语言的系统稳定性。
作为一种可选的实施方式,所述依据所述查询结果确定结构化查询语言的优化配置结果,包括:依据所述差异文件的文件名称、结构化查询语言代码所在的位置和结构化查询语言代码所属的方法确定优化配置清单,所述优化配置清单包括如下至少一项:文件名称、变动位置和行号;根据所述优化配置清单发布对于结构化查询语言的处理提示。
上述优化配置结果为依据上述差异文件的文件名称、结构化查询语言代码所在的位置和结构化查询语言代码所属的方法所确定优化配置清单,上述优化配置清单可以供用户查询和使用,其中,上述优化配置清单可以是包括所有差异文件的相关信息。
该实施方案中,上述优化配置清单所包括的文件名称、变动位置和行号可供用户查找到代码库或是代码段中相关部分的具体位置,同时系统可以对上述优化配置清单中的所有位置进行标记,提高了用户对上述差异文件的处理效率,进而提高了存在结构化查询语言的系统稳定性。
需要说明的是,系统根据上述优化配置清单发送相关优化提示指令,例如:当上述优化配置清单收集到所有差异文件的相关数据时,系统向用户发送优化配置代码库或代码段的指令,用户可以接收指令后对具体位置的文件进行修改、删减和优化等操作。
另外,数据处理系统中可以设置相关优化提示指令的接收用户,以及用户接收相关优化提示指令的方式。
请参见图3,图3是本公开提供的一种数据处理装置,如图3所示,数据处理装置300包括:
获取模块301,用于获取代码库中的生产版本文件和与所述生产版本文件匹配对应的提交版本文件;
第一生成模块302,用于依据所述生产版本文件和所述提交版本文件确定差异文件,所述差异文件为所述生产版本文件与所述提交版本文件的差异部分;
第二生成模块303,用于依据所述差异文件的格式确定格式数据信息,所述格式数据信息包括:所述差异文件格式为代码格式或者所述差异文件格式为结构化查询语言配置文件;
第三生成模块304,用于基于所述格式数据信息生成结构化查询语言的查询结果,所述查询结果包括:所述差异文件格式为代码格式下的位置信息或者所述差异文件为结构化查询语言配置文件下的位置信息;
第四生成模块305,用于依据所述查询结果确定结构化查询语言的优化配置结果,所述优化配置结果用于配置至少一种文件格式的结构化查询语言。
可选的,如图4所示,所述数据处理装置300还包括:
第一判断模块306,用于判断所述代码库中的文件是否满足第一预设条件,其中,所述代码库中的所述生产版本文件和与所述生产版本文件匹配对应的所述提交版本文件同时存在表示所述代码库中的文件满足所述第一预设条件;
第五生成模块307,用于若所述代码库中的文件满足所述第一预设条件,则生成第一确定信息,根据所述第一确定信息将所述代码库中的文件调整至生成差异文件的状态;
第六生成模块308,用于若所述代码库中的文件未能满足所述第一预设条件,则生成第二确定信息,根据所述第二确定信息将所述代码库中的文件调整至不满足生成所述差异文件的状态。
可选的,如图5所示,所述第二生成模块303包括:
第一判断单元3031,用于通过判断文件格式的工具获取所述差异文件的格式;
第一输出单元3032,用于基于所述差异文件的格式输出如下其中一项:第一格式数据信息和第二格式数据信息,其中,所述第一格式数据信息表示所述差异文件的格式为代码格式,所述第二格式数据信息表示所述差异文件的格式为结构化查询语言配置文件。
可选的,如图6所示,所述第三生成模块304包括:
第一生成单元3041,用于在所述差异文件格式为代码格式的情况下,将所述差异文件以代码中的方法为单位进行分割,以所述差异文件作为输入通过第一生成模型得到所述差异文件的文件名称、代码所在的位置和代码所属的方法;
第二生成单元3042,用于在所述差异文件格式为结构化查询语言配置文件的情况下,定位所述配置文件的用户名,基于所述用户名定位源代码,以所述差异文件作为输入通过第二生成模型得到所述差异文件的文件名称、代码所在的位置和代码所属的方法。
可选的,如图7所示,所述数据处理装置300还包括:
第二判断模块309,用于在所述差异文件为代码文件的情况下,判断所述差异文件是否满足第二预设条件,其中,所述差异文件中部分文件包含如下至少一项则表示满足所述第二预设条件:包含设定的关键词和匹配对应的表达式;
第七生成模块310,用于若所述差异文件满足所述第二预设条件,将所述差异文件作为输入通过第三生成模型得到所述差异文件的文件名称、代码所在的位置和代码所属的方法;
第八生成模块311,用于若所述差异文件未能满足所述第二预设条件,将所述差异文件作为输入通过所述第一生成模型得到所述差异文件的文件名称、代码所在的位置和代码所属的方法。
可选的,如图8所示,所述第四生成模块305包括:
确定单元3051,用于依据所述差异文件的文件名称、结构化查询语言代码所在的位置和结构化查询语言代码所属的方法确定优化配置清单,所述优化配置清单包括如下至少一项:文件名称、变动位置和行号;
发布单元3052,用于根据所述优化配置清单发布对于结构化查询语言的处理提示。
图9示出了可以用来实施本公开的实施例的示例电子设备900的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图9所示,设备900包括计算单元901,其可以根据存储在只读存储器(ROM)902中的计算机程序或者从存储单元908加载到随机访问存储器(RAM)903中的计算机程序,来执行各种适当的动作和处理。在RAM903中,还可存储设备900操作所需的各种程序和数据。计算单元901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。
设备900中的多个部件连接至I/O接口905,包括:输入单元906,例如键盘、鼠标等;输出单元907,例如各种类型的显示器、扬声器等;存储单元908,例如磁盘、光盘等;以及通信单元909,例如网卡、调制解调器、无线通信收发机等。通信单元909允许设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元901可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元901的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元901执行上文所描述的各个方法和处理,例如数据处理方法。例如,在一些实施例中,数据处理方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元908。在一些实施例中,计算机程序的部分或者全部可以经由ROM 902和/或通信单元909而被载入和/或安装到设备900上。当计算机程序加载到RAM903并由计算单元901执行时,可以执行上文描述的数据处理方法的一个或多个步骤。备选地,在其他实施例中,计算单元901可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行数据处理方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,也可以为分布式系统的服务器,或者是结合了区块链的服务器。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。
Claims (9)
1.一种数据处理方法,其特征在于,所述方法包括:
获取代码库中的生产版本文件和与所述生产版本文件匹配对应的提交版本文件;
依据所述生产版本文件和所述提交版本文件确定差异文件,所述差异文件为所述生产版本文件与所述提交版本文件的差异部分;
依据所述差异文件的格式确定格式数据信息,所述格式数据信息包括:所述差异文件格式为代码格式或者所述差异文件格式为结构化查询语言配置文件;
基于所述格式数据信息生成结构化查询语言的查询结果,包括:在所述差异文件格式为代码格式的情况下,将所述差异文件以代码中的方法为单位进行分割,以所述差异文件作为输入通过第一生成模型得到所述差异文件的文件名称、代码所在的位置和代码所属的方法;在所述差异文件格式为结构化查询语言配置文件的情况下,定位所述配置文件的用户名,基于所述用户名定位源代码,以所述差异文件作为输入通过第二生成模型得到所述差异文件的文件名称、代码所在的位置和代码所属的方法;所述查询结果包括:所述差异文件格式为代码格式下的位置信息或者所述差异文件为结构化查询语言配置文件下的位置信息;
依据所述查询结果确定结构化查询语言的优化配置结果,所述优化配置结果用于配置至少一种文件格式的结构化查询语言。
2.根据权利要求1所述的数据处理方法,其特征在于,所述依据所述生产版本文件和所述提交版本文件确定差异文件之前,所述方法还包括:
判断所述代码库中的文件是否满足第一预设条件,其中,所述代码库中的所述生产版本文件和与所述生产版本文件匹配对应的所述提交版本文件同时存在表示所述代码库中的文件满足所述第一预设条件;
若所述代码库中的文件满足所述第一预设条件,则生成第一确定信息,根据所述第一确定信息将所述代码库中的文件调整至生成差异文件的状态;
若所述代码库中的文件未能满足所述第一预设条件,则生成第二确定信息,根据所述第二确定信息将所述代码库中的文件调整至不满足生成所述差异文件的状态。
3.根据权利要求1所述的数据处理方法,其特征在于,所述依据所述差异文件的格式确定格式数据信息,包括:
通过判断文件格式的工具获取所述差异文件的格式;
基于所述差异文件的格式输出如下其中一项:第一格式数据信息和第二格式数据信息,其中,所述第一格式数据信息表示所述差异文件的格式为代码格式,所述第二格式数据信息表示所述差异文件的格式为结构化查询语言配置文件。
4.根据权利要求1所述的数据处理方法,其特征在于,在所述基于所述格式数据信息生成结构化查询语言的查询结果之前,所述方法还包括:
在所述差异文件为代码文件的情况下,判断所述差异文件是否满足第二预设条件,其中,所述差异文件中部分文件包含如下至少一项则表示满足所述第二预设条件:包含设定的关键词和匹配对应的表达式;
若所述差异文件满足所述第二预设条件,将所述差异文件作为输入通过第三生成模型得到所述差异文件的文件名称、代码所在的位置和代码所属的方法;
若所述差异文件未能满足所述第二预设条件,将所述差异文件作为输入通过所述第一生成模型得到所述差异文件的文件名称、代码所在的位置和代码所属的方法。
5.根据权利要求1所述的数据处理方法,其特征在于,所述依据所述查询结果确定结构化查询语言的优化配置结果,包括:
依据所述差异文件的文件名称、结构化查询语言代码所在的位置和结构化查询语言代码所属的方法确定优化配置清单,所述优化配置清单包括如下至少一项:文件名称、变动位置和行号;
根据所述优化配置清单发布对于结构化查询语言的处理提示。
6.一种数据处理装置,其特征在于,包括:
获取模块,用于获取代码库中的生产版本文件和与所述生产版本文件匹配对应的提交版本文件;
第一生成模块,用于依据所述生产版本文件和所述提交版本文件确定差异文件,所述差异文件为所述生产版本文件与所述提交版本文件的差异部分;
第二生成模块,用于依据所述差异文件的格式确定格式数据信息,所述格式数据信息包括:所述差异文件格式为代码格式或者所述差异文件格式为结构化查询语言配置文件;
第三生成模块,用于基于所述格式数据信息生成结构化查询语言的查询结果,所述查询结果包括:所述差异文件格式为代码格式下的位置信息或者所述差异文件为结构化查询语言配置文件下的位置信息;
第四生成模块,用于依据所述查询结果确定结构化查询语言的优化配置结果,所述优化配置结果用于配置至少一种文件格式的结构化查询语言;
所述第三生成模块包括:
第一生成单元,用于在所述差异文件格式为代码格式的情况下,将所述差异文件以代码中的方法为单位进行分割,以所述差异文件作为输入通过第一生成模型得到所述差异文件的文件名称、代码所在的位置和代码所属的方法;
第二生成单元,用于在所述差异文件格式为结构化查询语言配置文件的情况下,定位所述配置文件的用户名,基于所述用户名定位源代码,以所述差异文件作为输入通过第二生成模型得到所述差异文件的文件名称、代码所在的位置和代码所属的方法。
7.根据权利要求6所述的数据处理装置,其特征在于,所述第二生成模块包括:
获取单元,用于通过判断文件格式的工具获取所述差异文件的格式;
输出单元,用于基于所述差异文件的格式输出如下其中一项:第一格式数据信息和第二格式数据信息,其中,所述第一格式数据信息表示所述差异文件的格式为代码格式,所述第二格式数据信息表示所述差异文件的格式为结构化查询语言配置文件。
8.一种电子设备,其特征在于,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1至5中任一项所述的方法。
9.一种存储有计算机指令的非瞬时计算机可读存储介质,其特征在于,其中,所述计算机指令用于使所述计算机执行根据权利要求1至5中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210286014.9A CN114547085B (zh) | 2022-03-22 | 2022-03-22 | 一种数据处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210286014.9A CN114547085B (zh) | 2022-03-22 | 2022-03-22 | 一种数据处理方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114547085A CN114547085A (zh) | 2022-05-27 |
CN114547085B true CN114547085B (zh) | 2023-05-05 |
Family
ID=81665353
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210286014.9A Active CN114547085B (zh) | 2022-03-22 | 2022-03-22 | 一种数据处理方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114547085B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105678118A (zh) * | 2014-11-19 | 2016-06-15 | 阿里巴巴集团控股有限公司 | 一种含数字证书的软件版本生成方法及装置 |
CN105786495A (zh) * | 2016-02-24 | 2016-07-20 | 中国联合网络通信集团有限公司 | 软件发布系统及方法、软件开发发布系统 |
CN106201861A (zh) * | 2015-05-07 | 2016-12-07 | 阿里巴巴集团控股有限公司 | 一种代码质量的检测方法及装置 |
CN113868375A (zh) * | 2021-09-17 | 2021-12-31 | 北京易成时代科技有限公司 | 基于结构化查询语言的数据查询方法、装置、设备及存储介质 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030131342A1 (en) * | 2002-01-08 | 2003-07-10 | International Business Machines Corporation | Debugger with activity alert |
US20030233621A1 (en) * | 2002-06-13 | 2003-12-18 | International Business Machines Corporation | Editor for smart version control |
CN101046810B (zh) * | 2006-05-26 | 2010-09-08 | 华为技术有限公司 | 自动建立关系模型的系统及其方法 |
US20070294647A1 (en) * | 2006-06-01 | 2007-12-20 | Via Technologies, Inc. | Transferring software assertions to hardware design language code |
CN102540974B (zh) * | 2011-12-05 | 2016-01-27 | 周小青 | 一种数控代码的转换方法 |
CN103973475B (zh) * | 2013-02-05 | 2018-07-06 | 腾讯科技(深圳)有限公司 | 差异补丁包生成方法及下载方法、服务器、客户端 |
CN104932973B (zh) * | 2014-03-21 | 2019-03-15 | 腾讯科技(深圳)有限公司 | 一种版本兼容测试方法和装置 |
CN106528165B (zh) * | 2016-11-11 | 2019-10-08 | 深圳中兴网信科技有限公司 | 代码生成方法及代码生成系统 |
CN108694172B (zh) * | 2017-04-05 | 2021-12-31 | 北京京东尚科信息技术有限公司 | 信息输出方法和装置 |
CN108182071A (zh) * | 2017-12-26 | 2018-06-19 | 江苏润和软件股份有限公司 | 一种面向软件升级的配置错误检测方法 |
CN110109840A (zh) * | 2019-05-10 | 2019-08-09 | 重庆八戒电子商务有限公司 | 基于版本号比较的代码审计方法、审计装置及介质 |
CN111475525A (zh) * | 2020-03-05 | 2020-07-31 | 平安科技(深圳)有限公司 | 基于结构化查询语言的脱敏方法、及其相关设备 |
CN111832028A (zh) * | 2020-07-27 | 2020-10-27 | 中国工商银行股份有限公司 | 代码审计方法和装置、电子设备、及介质 |
CN112163025A (zh) * | 2020-09-18 | 2021-01-01 | 中国建设银行股份有限公司 | 数据库数据导出方法、装置、计算机设备及存储介质 |
CN112486563A (zh) * | 2020-12-02 | 2021-03-12 | 车智互联(北京)科技有限公司 | 一种代码管理方法、系统、计算设备及可读存储介质 |
CN113157315A (zh) * | 2021-04-30 | 2021-07-23 | 平安普惠企业管理有限公司 | 一种软件不同版本的差异信息识别方法、装置、设备及介质 |
CN113934632A (zh) * | 2021-10-14 | 2022-01-14 | 上海哔哩哔哩科技有限公司 | 代码检测方法及装置 |
-
2022
- 2022-03-22 CN CN202210286014.9A patent/CN114547085B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105678118A (zh) * | 2014-11-19 | 2016-06-15 | 阿里巴巴集团控股有限公司 | 一种含数字证书的软件版本生成方法及装置 |
CN106201861A (zh) * | 2015-05-07 | 2016-12-07 | 阿里巴巴集团控股有限公司 | 一种代码质量的检测方法及装置 |
CN105786495A (zh) * | 2016-02-24 | 2016-07-20 | 中国联合网络通信集团有限公司 | 软件发布系统及方法、软件开发发布系统 |
CN113868375A (zh) * | 2021-09-17 | 2021-12-31 | 北京易成时代科技有限公司 | 基于结构化查询语言的数据查询方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN114547085A (zh) | 2022-05-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8887135B2 (en) | Generating test cases for functional testing of a software application | |
CN109902105B (zh) | 用于微服务架构的数据查询系统、方法、设备及存储介质 | |
US9626164B1 (en) | Test-driven development module for repository-based development | |
US11714636B2 (en) | Methods and arrangements to process comments | |
US11989962B2 (en) | Method, apparatus, device, storage medium and program product of performing text matching | |
CN111553556A (zh) | 业务数据分析方法、装置、计算机设备及存储介质 | |
CN113626223A (zh) | 一种接口调用方法和装置 | |
CN114816393B (zh) | 信息生成方法、装置、设备以及存储介质 | |
CN110874364B (zh) | 一种查询语句处理方法、装置、设备及存储介质 | |
CN114064925A (zh) | 知识图谱的构建方法、数据查询方法、装置、设备和介质 | |
CN112363814A (zh) | 任务调度方法、装置、计算机设备及存储介质 | |
CN117171296A (zh) | 信息获取方法、装置和电子设备 | |
CN114547085B (zh) | 一种数据处理方法、装置、电子设备及存储介质 | |
CN116955856A (zh) | 信息展示方法、装置、电子设备以及存储介质 | |
CN116361591A (zh) | 内容审核方法、装置、电子设备及计算机可读存储介质 | |
CN114168119B (zh) | 代码文件编辑方法、装置、电子设备以及存储介质 | |
CN115455091A (zh) | 数据生成方法、装置、电子设备和存储介质 | |
CN113138760B (zh) | 一种页面生成方法、装置、电子设备和介质 | |
CN114661751B (zh) | 基于sql知识库的数据生产方法、装置、系统、设备及介质 | |
CN116127948B (zh) | 待标注文本数据的推荐方法、装置及电子设备 | |
CN116401410B (zh) | 多场景图数据库接入图谱数据的方法、装置、存储介质和设备 | |
CN117610580A (zh) | 基于大模型的指令识别方法、装置、电子设备及存储介质 | |
CN116126345A (zh) | 页面元素处理方法、装置及相关设备 | |
CN117150010A (zh) | 文档分类方法、装置、电子设备及存储介质 | |
CN117873990A (zh) | 一种基于wal日志的ddl解析方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |