CN117251374A - 数据处理方法、装置、设备、介质及产品 - Google Patents

数据处理方法、装置、设备、介质及产品 Download PDF

Info

Publication number
CN117251374A
CN117251374A CN202311248094.XA CN202311248094A CN117251374A CN 117251374 A CN117251374 A CN 117251374A CN 202311248094 A CN202311248094 A CN 202311248094A CN 117251374 A CN117251374 A CN 117251374A
Authority
CN
China
Prior art keywords
scanning
data
code data
code
rule information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311248094.XA
Other languages
English (en)
Inventor
吴楠
黄德荣
朱祖恩
张彪
汤民帮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Construction Bank Corp
CCB Finetech Co Ltd
Original Assignee
China Construction Bank Corp
CCB Finetech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Construction Bank Corp, CCB Finetech Co Ltd filed Critical China Construction Bank Corp
Priority to CN202311248094.XA priority Critical patent/CN117251374A/zh
Publication of CN117251374A publication Critical patent/CN117251374A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/36Preventing errors by testing or debugging software
    • G06F11/3604Software analysis for verifying properties of programs
    • G06F11/3616Software analysis for verifying properties of programs using software metrics

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请实施例提供一种数据处理方法、装置、设备、介质及产品,涉及大数据技术领域,包括:获取目标系统的待审核数据,待审核数据包括第一代码数据;基于静态代码扫描工具对待审核数据进行扫描审核,得到第一扫描结果;在第一扫描结果表征待审核数据正常的情况下,基于至少一个第一扫描规则信息对第一代码数据进行扫描,得到第二扫描结果,其中,第二扫描结果包括第二代码数据,第二代码数据为第一代码数据中的部分代码数据。本申请实施例,降低了人工评审代码的工作量。

Description

数据处理方法、装置、设备、介质及产品
技术领域
本申请属于大数据技术领域,尤其涉及一种数据处理方法、装置、设备、介质及产品。
背景技术
现实生活中,通常在搭建完系统之后,需要进行系统上线,即进入系统试运行阶段。然而,系统上线后可能会出现一些较为严重的异常,这些异常可能会影响系统的稳定性。
基于此,为了避免现实生活中系统上线后出现异常,一般是通过人工在系统上线前对待上线的代码数据进行核查,以避免系统上线后出现异常。然而,由于随着项目的开发深入,需求也越来越多,每次需要人工审核的代码数据量也越来越大,以致于人工评审的工作量较大。
发明内容
本申请实施例提供一种数据处理方法、装置、设备、介质及产品,减少了人工评审代码的工作量。
第一方面,本申请实施例提供一种数据处理方法,该方法包括:
获取目标系统的待审核数据,所述待审核数据包括第一代码数据;
基于静态代码扫描工具对所述待审核数据进行扫描审核,得到第一扫描结果;
在所述第一扫描结果表征所述待审核数据正常的情况下,基于至少一个第一扫描规则信息对所述第一代码数据进行扫描,得到第二扫描结果,其中,所述第二扫描结果包括第二代码数据,所述第二代码数据为所述第一代码数据中的部分代码数据。
在第一方面的一种可选的实施方式中,所述待审核数据还包括与所述第一代码数据对应的生产元数据;所述静态代码扫描工具包括至少一个第二扫描规则信息;
获取所述第一代码数据对应的生成元数据,包括:
从数据库中获取与第一代码数据对应的生成元数据,所述静态代码扫描工具与所述数据库连接;
所述基于静态代码扫描工具对所述待审核数据进行扫描审核,得到第一扫描结果,包括:
基于所述至少一个第二扫描规则信息对所述第一代码数据以及所述第一代码数据对应的生产元数据进行扫描审核,以得到第一扫描结果。
在第一方面的一种可选的实施方式中,所述至少一个第二扫描规则信息包括如下规则中的至少一项:
表上无主键、不得使用存储过程、主键由第一预设数量的字段构成、组合主键的字段数量小于或等于第二预设数量、数据库名称的字节数量小于或等于第三预设数量、不得使用自定义函数、不得使用视图。
在第一方面的一种可选的实施方式中,所述待审核数据还包括所述第一代码数据的第一获取时刻;
所述基于至少一个第一扫描规则信息对所述第一代码数据进行扫描,得到第二扫描结果之前,所述方法还包括:
在所述第一扫描结果表征所述待审核数据正常的情况下,获取所述目标系统的第三代码数据以及所述第三代码数据的第二获取时刻,所述第二获取时刻早于所述第一获取时刻;
基于所述第一代码数据和所述第三代码数据,确定所述第一代码数据中的变更代码数据;
所述基于至少一个第一扫描规则信息对所述第一代码数据进行扫描,得到第二扫描结果,包括:
基于至少一个第一扫描规则信息对所述变更代码数据进行扫描,得到第二扫描结果。
在第一方面的一种可选的实施方式中,所述至少一个第一扫描规则信息包括如下规则中的至少一个:
单次执行扫描行数超过第一预设次数,总执行次数超过第二预设次数;
单次查询的记录数量超过第四预设数量。
第二方面,本申请实施例提供一种数据处理装置,该装置包括:
获取模块,用于获取目标系统的待审核数据,所述待审核数据包括第一代码数据;
扫描模块,用于基于静态代码扫描工具对所述待审核数据进行扫描审核,得到第一扫描结果;
所述扫描模块,还用于在所述第一扫描结果表征所述待审核数据正常的情况下,基于至少一个第一扫描规则信息对所述第一代码数据进行扫描,得到第二扫描结果,其中,所述第二扫描结果包括第二代码数据,所述第二代码数据为所述第一代码数据中的部分代码数据。
在第二方面的一种可选的实施方式中,所述待审核数据还包括与所述第一代码数据对应的生产元数据;静态代码扫描工具包括至少一个第二扫描规则信息;
获取模块,还用于从数据库中获取与第一代码数据对应的生成元数据,静态代码扫描工具与数据库连接;
扫描模块,具体用于基于至少一个第二扫描规则信息对第一代码数据以及第一代码数据对应的生产元数据进行扫描审核,以得到第一扫描结果。
第三方面,提供一种电子设备,包括:存储器,用于存储计算机程序指令;处理器,用于读取并运行存储器中存储的计算机程序指令,以执行第一方面中任一可选的实施方式提供的数据处理方法。
第四方面,提供一种计算机存储介质,计算机存储介质上存储有计算机程序指令,计算机程序指令被处理器执行时实现第一方面中的任一可选的实施方式提供的数据处理方法。
第五方面,提供一种计算机程序产品,计算机程序产品中的指令由电子设备的处理器执行时,使得电子设备执行实现第一方面中的任一可选的实施方式提供的数据处理方法。
在本申请实施例中,能够获取目标系统的待审核数据,进而可以基于静态代码扫描工具对该待审核数据进行扫描审核,得到第一扫描结果,并在第一扫描工具表征该待审核数据正常的情况下,基于至少一个第一扫描规则信息对第一代码数据进行扫描,得到第二扫描结果,其中,第二扫描结果包括第二代码数据,由于该第二代码数据为第一代码数据中的部分代码数据,如此,在后续人工审核时仅需审核从获取的代码数据中扫描得到的部分代码数据,无需审核获取的全部代码数据,进而减少了人工评审代码数据的工作量。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图作简单的介绍,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种数据处理方法的流程示意图之一;
图2是本申请实施例提供的一种数据处理方法的流程示意图之二;
图3是本申请实施例提供的一种数据处理方法的流程示意图之三;
图4是本申请实施例提供的一种数据处理方法的应用示意图;
图5是本申请实施例提供的一种数据处理装置的结构示意图;
图6是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将详细描述本申请的各个方面的特征和示例性实施例,为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及具体实施例,对本申请进行进一步详细描述。应理解,此处所描述的具体实施例仅意在解释本申请,而不是限定本申请。对于本领域技术人员来说,本申请可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本申请的示例来提供对本申请更好的理解。另外,需要说明的是,本申请技术方案中对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括……”限定的要素,并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。
为了解决现有技术中存在的人工评审代码的工作量较大的问题,本申请实施例提供一种数据处理方法、装置、设备、介质及产品,能够获取目标系统的待审核数据,进而可以基于静态代码扫描工具对该待审核数据进行扫描审核,得到第一扫描结果,并在第一扫描工具表征该待审核数据正常的情况下,基于至少一个第一扫描规则信息对第一代码数据进行扫描,得到第二扫描结果,其中,第二扫描结果包括第二代码数据,由于该第二代码数据为第一代码数据中的部分代码数据,如此,在后续人工审核时仅需审核从获取的代码数据中扫描得到的部分代码数据,无需审核获取的全部代码数据,进而减少了人工评审代码数据的工作量。
另外,需要说明的是,本申请实施例提供的数据处理方法,执行主体可以是数据处理装置,或是数据处理装置中用于执行数据处理方法的控制模块。本申请实施例中以数据处理装置执行数据处理方法为例,说明本申请实施例提供的数据方法为例。
下面结合附图,通过具体的实施例对本申请实施例提供的数据处理方法进行详细说明。
本申请实施例提供了一种数据处理方法的流程示意图。具体如图1所示,该数据处理方法的执行主体可以是数据处理装置,该方法具体可以包括以下步骤:
S110,获取目标系统的待审核数据。
其中,目标系统可以是待上线的系统,在此不做具体限定。另外,上述涉及到的待审核数据可以包括第一代码数据,该第一代码数据可以是目标系统内的代码数据,在此不做过多限定。
S120,基于静态代码扫描工具对待审核数据进行扫描审核,得到第一扫描结果。
其中,上述涉及到的静态代码扫描工具可以是用于审核待审核数据中是否存在非规范类数据的工具。基于此,第一扫描结果用于表征待审核数据中是否存在非规范类数据的结果,具体地,若待审核数据中存在非规划类数据,则表明该待审核数据异常,若待审核数据中不存在非规范类数据,则表明该待审核数据正常。
在数据处理装置获取到目标系统的待审核数据之后,数据处理装置可以基于静态代码扫描工具对待审核数据进行扫描审核,并得到相应的第一扫描结果。
S130,在第一扫描结果表征待审核数据正常的情况下,基于至少一个第一扫描规则信息对第一代码数据进行扫描,得到第二扫描结果。
在一些实施例中,上述涉及到的第二扫描结果可以包括第二代码数据,第二代码数据可以是第一代码数据中的部分代码数据,该第二代码数据也可以是后续需要人工继续审核的代码数据。另外,需要说明的是,上述涉及到的第二代码数据可以包括多个代码片段。
具体地,在获取到第一扫描结果之后,且该第一扫描结果表征待审核数据正常的情况下,即第一扫描结果表征待审核数据中不存在非规范类数据的情况下,数据处理装置可以基于至少一个第一扫描规则信息对第一代码数据进行扫描,从第一代码数据中扫描得到第二代码数据。
在本申请实施例中,能够获取目标系统的待审核数据,进而可以基于静态代码扫描工具对该待审核数据进行扫描审核,得到第一扫描结果,并在第一扫描工具表征该待审核数据正常的情况下,基于至少一个第一扫描规则信息对第一代码数据进行扫描,得到第二扫描结果,其中,第二扫描结果包括第二代码数据,由于该第二代码数据为第一代码数据中的部分代码数据,如此,在后续人工审核时仅需审核从获取的代码数据中扫描得到的部分代码数据,无需审核获取的全部代码数据,进而减少了人工评审代码数据的工作量。
为了更加准确地描述本申请实施例提供的数据处理方法,在一些实施例中上述涉及到的待审核数据还可以包括与上述第一代码数据对应的生产元数据,另外,上述涉及到的静态代码扫描工具可以包括至少一个第二扫描规则信息。
基于此,上述涉及到的S110具体可以包括如下步骤:
S1101,获取目标系统的第一代码数据。具体描述可详见S110的描述。
S1102,从数据库中获取与第一代码数据对应的生成元数据。
在一些实施例中,上述涉及到的静态代码扫描工具与数据库连接。另外,上述涉及到的生产元数据可以是用于描述数据的数据,主要是描述数据属性的信息,在数据库中生产元数据一般包括数据库模式、视图、表、字段、数据量等属性。
具体地,由于静态代码扫描工具与数据库连接,所以数据处理装置可以基于静态代码扫描工具与数据库之间的连接,从数据库中获取与第一代码数据对应的生产元数据。
基于此,上述涉及到的S120具体可以包括如下步骤:
S1201,基于至少一个第二扫描规则信息对第一代码数据以及第一代码数据对应的生产元数据进行扫描审核,以得到第一扫描结果。
具体地,数据处理装置在获取待审核数据之后,可以基于至少一个第二扫描规则信息对该待审核数据中所包括的第一代码数据以及第一代码数据对应的生产元数据进行扫描审核,得到第一扫描结果。
在该实施例中,由于静态代码扫描工具与数据库连接,所以数据处理装置可以从数据库中获取与第一代码数据对应的生产元数据,进而可以基于至少一个第二扫描规则信息对第一代码数据以及第一代码数据对应的生产元数据进行扫描审核,以得到第一扫描结果,如此,不仅可以对代码数据进行审核,还可以对生产元数据进行审核,避免生产元数据的异常,进而提高了扫描审核的准确度。
在一些实施例中,上述涉及到的至少一个第二扫描规则信息可以具体如下所示。
第二扫描规则信息1、表上无主键;需要说明的是,该规则是为了避免由于表内缺少主键而导致的不方便进行查询、更新等操作。同时,也避免了可能导致MySQL主从复制延迟的情况。基于此,需要使得每个表上都要有主键,即为每个表创建主键。另外,推荐主键字段使用自增列,且主键字段长度越小越好。
第二扫描规则信息2、不得使用存储过程;该规则是为了避免使用存储过程会导致系统迁移时成本增加,基于此,可以通过删除存储过程,在应用端实现。
第二扫描规则信息3、主键由第一预设数量的字段构成、组合主键的字段数量小于或等于第二预设数量;例如,Mysql表的主键字段过多,超过3个字段;组合主键不允许超过3个字段。基于此,主键建议由一个字段构成并且选择与业务无关的自增ID列。
第二扫描规则信息4、数据库名称的字节数量小于或等于第三预设数量;例如,数据库名禁止超过32个字节。说明的是,数据库名称必须是易于理解,见名知意,能表达表的功能的英文单词或缩写英文单词,多个用下划线来连接。
第二扫描规则信息5、不得使用自定义函数;该规则是为了避免用户自定义函数可能造成系统运行效率低下,而且容易造成应用逻辑不清晰,增加运维复杂度的情况。另外,使用数据库高级功能容易造成移植性和兼容性下降,给未来不可预见的迁移工作带来风险。从全局宏观策略考量,开发规范规定禁用用户自定义函数。基于此,建议删除自定义函数,在应用端实现。
第二扫描规则信息6、不得使用视图。该规则是为了避免视图造成元数据管理困难,可能造成系统运行效率低下,而且容易造成应用逻辑不清晰,增加运维复杂度。另外,使用数据库高级功能容易造成移植性和兼容性下降,给未来不可预见的迁移工作带来风险。从全局宏观策略考量,开发规范规定禁用视图。基于此,删除视图,重写SQL。
需要说明的是,上述涉及到的第一预设数量、第二预设数量以及第三预设数量,均是基于实际经验或情况预先设置的数量阈值,在一个示例中,上述涉及到的第一预设数量可以是1,第二预设数量可以3,第三预设数量可以是32,在此不做过多限定。
在该实施例中,数据处理装置可以基于静态代码扫描工具所包括的上述第二扫描规则信息对第一代码数据以及第一代码数据对应的生产元数据进行扫描审核,以得到第一扫描结果,进而提高了代码扫描审核的准确度。
为了更加准确地描述本申请实施例提供的数据处理方法,在一个实施例中,上述涉及到的待审核数据还可以包括第一代码数据的第一获取时刻;
基于至少一个第一扫描规则信息对第一代码数据进行扫描,得到第二扫描结果之前,如图3所示,上述涉及到的数据处理方法还可以包括如下步骤:
S310,在第一扫描结果表征待审核数据正常的情况下,获取目标系统的第三代码数据以及第三代码数据的第二获取时刻。
S320,基于第一代码数据和第三代码数据,确定第一代码数据中的变更代码数据。
其中,第二获取时刻早于第一获取时刻。另外,上述涉及到的变更代码数据可以是发生变化的代码部分,例如可以是新增的代码数据,也可以是修改的代码数据,在此不做过多限定。
具体地,在第一扫描结果表征该待审核数据正常的情况下,获取目标系统的第三代码数据以及第三代码数据的第二获取时刻,由于第二获取时刻早于第一获取时刻,即第三代码数据为在第一代码数据之前进行审核的代码数据。基于此,数据处理装置可以基于第一代码数据和第三代码数据,确定第一代码数据中相较于第三代码数据发生变更的代码数据,即变更代码数据。
基于此,上述涉及到的基于至少一个第一扫描规则信息对第一代码数据进行扫描,得到第二扫描结果的步骤具体可以包括如下步骤:
基于至少一个第一扫描规则信息对变更代码数据进行扫描,得到第二扫描结果。
具体地,在确定第一代码数据中的变更代码数据之后,可以基于至少一个第一扫描规则信息对变更代码数据进行扫描,以得到第二扫描结果。
在该实施例中,能够通过确定第一代码数据中的变更代码数据,进而可以基于至少一个第一扫描规则信息仅对变更代码数据进行审核,以得到第二扫描结果。如此,避免了对已经扫描审核过的代码数据进行重复审核的情况,进而更好地减少了代码审核的工作量。
在一些实施例中,上述涉及到的至少一个第一扫描规则信息可以包括如下规则中的至少一项:
第一扫描规则信息1:单次执行扫描行数超过第一预设次数,总执行次数超过第二预设次数。
具体地,在单次执行扫描行数超过20000,总执行次数超过200次的情况下,由于SQL语句扫描行数很多情况下会出现性能问题,尤其是频繁执行的SQL。产生高逻辑读的原因有:未创建索引、索引设计不佳、SQL语句写法存在问题等。基于此,其解决方案:分析优化SQL,创建合适的索引等。解决方案:分析优化SQL,创建合适的索引。
另外,在单次执行扫描行数超过100000,总执行次数超过200次的情况下,由于增删改操作会生成UNDO LOG,大量数据操作将生成大量的UNDO LOG,所在表上的其他查询及DML也将会受到影响,尤其是大事务发生回滚将会耗时漫长,严重影响业务。同时SQL语句影响行数过多,容易造成从库延迟过大,甚至无法追平主库;更新记录时间长,锁持有时间长,容易引发行级锁阻塞。
基于此,解决方案:进行记录控制,减少DML影响行数。对于高并发表的记录更新,单次更新10万行的还是太大了,建议将单事务更新控制在1000行以内,单事务更新时间控制在1秒以内。
第一扫描规则信息2、单次查询的记录数量超过第四预设数量。
具体地,由于联机交易返回记录数过多,不但造成数据库负载高,极端情况下还可能造成中间件out of memory错误。因此开发规范要求联机交易查询必须增加分页机制,对返回记录数进行控制,限制最大不超过1000条。
基于此,规则2的解决方案:联机交易应用查询返回记录数可能超过1000条记录时,必须增加分页机制。
另外,还需要说明的是,上述涉及到的第一扫描规则信息还可以包括全表第二扫描规则信息。具体地,"该规则是扫描mysq数据库触发全表扫描的SQL。全表扫描是数据读取的常见方式之一,与之相对的是局部扫描,例如索引扫描、分区扫描。全表扫描就是扫表表中所有的行,实际上是扫描表中所有高水位线以下的数据块,即使删掉表中一半的数据,由于这些数据块仍在高水位线以下,也会被扫描而导致I/O增加。除非重建表,才能收缩表的实际大小,减少全表扫描的数据读取量。在全表扫描期间,通常情况下,表上这些相邻的数据块被按顺序(sequentially)的方式访问以使得一次I/O可以读取多个数据块,因此,对于大数据量读取,全表扫描效率很高。对于小数据量读取,比如表中1%(经验值,不具参考性)以内的数据量,那全表扫描就是不合适的,应该考虑是否可以通过索引提高数据读取效率。全表扫描常见的问题原因包括:大数据量读取、未建立合适的索引、谓词字段数据倾斜、统计信息不正确等方式。
基于此,针对全表第二扫描规则信息,可验证如下几种情况:
1、确认该查询谓词是否建立对应索引。2、确认该谓词条件的数据分布,是否存在查询数据量大,走全表扫描比走索引快的情况。3、确认谓词是否存在like‘%AAA%’、使用函数、谓词类型与字段类型不匹配等引发不走索引的情况。4、确认统计信息是否正确,可使用analyze table重新收集统计信息。5、确认谓词数据类型与赋值是否一致,不一致可能引发隐式转换,导致索引失效。6、确认谓词字符集与校验规则是否一致,不一致可能引发隐式转换,导致索引失效。
需要说明的是,上述涉及到的第一预设次数和第二预设次数可以是基于实际经验预先设置的,在此不做过多限定,上述涉及到的第四预设数量可以是基于实际经验或情况预先设置,在此不做过多限定。
为了更加全面地描述本申请实施例提供的数据处理方法,在一个实施例中,如图4所示,数据处理装置可以在系统开发测试中获取系统的待审核数据,由静态代码扫描工具对待审核数据进行扫描审核,若扫描没有问题,则通过规则信息扫描工具所包括的至少一个第一扫描规则信息对待审核数据所包括的代码数据进行扫描筛选,从中确定需要人工审核的代码数据,以便于后续进行人工审核,若人工审核没有问题可以进行代码数据上线。需要说明的是,若静态代码扫描工具或人工审核有问题,则需要返回能够开发测试模块进行开发修复。
基于相同的发明构思,本申请实施例还提供了一种数据处理装置。具体结合图5对本申请实施例提供的数据处理装置进行详细说明。
图5是本申请实施例提供的一种数据处理装置的结构示意图。
如图5所示,该数据处理装置500可以包括:
获取模块510,用于获取目标系统的待审核数据,待审核数据包括第一代码数据;
扫描模块520,用于基于静态代码扫描工具对待审核数据进行扫描审核,得到第一扫描结果;
扫描模块520,用于在第一扫描结果表征待审核数据正常的情况下,基于至少一个第一扫描规则信息对第一代码数据进行扫描,得到第二扫描结果,其中,第二扫描结果包括第二代码数据,第二代码数据为第一代码数据中的部分代码数据。
在一个实施例中,待审核数据还包括与第一代码数据对应的生产元数据;静态代码扫描工具包括至少一个第二扫描规则信息;
获取模块,还用于从数据库中获取与第一代码数据对应的生成元数据,静态代码扫描工具与数据库连接;
扫描模块,具体用于基于至少一个第二扫描规则信息对第一代码数据以及第一代码数据对应的生产元数据进行扫描审核,以得到第一扫描结果。
在一个实施例中,至少一个第二扫描规则信息包括如下规则中的至少一项:
表上无主键、不得使用存储过程、主键由第一预设数量的字段构成、组合主键的字段数量小于或等于第二预设数量、数据库名称的字节数量小于或等于第三预设数量、不得使用自定义函数、不得使用视图。
在一个实施例中,待审核数据还包括第一代码数据的第一获取时刻;上述涉及到的数据处理装置还可以包括确定模块。
获取模块,还用于基于至少一个第一扫描规则信息对第一代码数据进行扫描,得到第二扫描结果之前,在第一扫描结果表征待审核数据正常的情况下,获取目标系统的第三代码数据以及第三代码数据的第二获取时刻,第二获取时刻早于第一获取时刻;
确定模块,用于基于第一代码数据和第三代码数据,确定第一代码数据中的变更代码数据;
扫描模块,具体用于基于至少一个第一扫描规则信息对变更代码数据进行扫描,得到第二扫描结果。
在一些实施例中,至少一个第一扫描规则信息包括如下规则中的至少一个:
单次执行扫描行数超过第一预设次数,总执行次数超过第二预设次数;
单次查询的记录数量超过第四预设数量。
在本申请实施例中,能够获取目标系统的待审核数据,进而可以基于静态代码扫描工具对该待审核数据进行扫描审核,得到第一扫描结果,并在第一扫描工具表征该待审核数据正常的情况下,基于至少一个第一扫描规则信息对第一代码数据进行扫描,得到第二扫描结果,其中,第二扫描结果包括第二代码数据,由于该第二代码数据为第一代码数据中的部分代码数据,如此,在后续人工审核时仅需审核从获取的代码数据中扫描得到的部分代码数据,无需审核获取的全部代码数据,进而减少了人工评审代码数据的工作量。
本申请实施例提供的数据处理装置中的各个模块可以实现图1至图3中任一所示实施例的方法步骤,并能达到与其相应的技术效果,为简洁描述,在此不再赘述。
图6示出了本申请实施例提供的电子设备的硬件结构示意图。
在电子设备可以包括处理器601以及存储有计算机程序指令的存储器602。
具体地,上述处理器601可以包括中央处理器(CPU),或者特定集成电路(Application Specific Integrated Circuit,ASIC),或者可以被配置成实施本申请实施例的一个或多个集成电路。
存储器602可以包括用于数据或指令的大容量存储器。举例来说而非限制,存储器602可包括硬盘驱动器(Hard Disk Drive,HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus,USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下,存储器602可包括可移除或不可移除(或固定)的介质。在合适的情况下,存储器602可在综合网关容灾设备的内部或外部。在特定实施例中,存储器602是非易失性固态存储器。
存储器可包括只读存储器(ROM),随机存取存储器(RAM),磁盘存储介质设备,光存储介质设备,闪存设备,电气、光学或其他物理/有形的存储器存储设备。因此,通常,存储器包括一个或多个编码有包括计算机可执行指令的软件的有形(非暂态)计算机可读存储介质(例如,存储器设备),并且当该软件被执行(例如,由一个或多个处理器)时,其可操作来执行参考根据本公开的一方面的方法所描述的操作。
处理器601通过读取并执行存储器602中存储的计算机程序指令,以实现上述实施例中的任意一种数据处理方法。
在一个示例中,电子设备还可包括通信接口603和总线610。其中,如图6所示,处理器601、存储器602、通信接口603通过总线610连接并完成相互间的通信。
通信接口603,主要用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。
总线610包括硬件、软件或两者,将在线数据流量计费设备的部件彼此耦接在一起。举例来说而非限制,总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下,总线610可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线,但本申请考虑任何合适的总线或互连。
另外,结合上述实施例中的数据处理方法,本申请实施例可提供一种计算机存储介质来实现。该计算机存储介质上存储有计算机程序指令;该计算机程序指令被处理器执行时实现本申请实施例提供的数据处理方法。
本申请实施例还提供一种计算机程序产品,计算机程序产品中的指令由电子设备的处理器执行时,使得电子设备执行如本申请实施例提供的数据处理方法。
需要明确的是,本申请并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见,这里省略了对已知方法的详细描述。在上述实施例中,描述和示出了若干具体的步骤作为示例。但是,本申请的方法过程并不限于所描述和示出的具体步骤,本领域的技术人员可以在领会本申请的精神后,作出各种改变、修改和添加,或者改变步骤之间的顺序。
以上的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时,其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时,本申请的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中,或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路,等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是,本申请中提及的示例性实施例,基于一系列的步骤或者装置描述一些方法或系统。但是,本申请不局限于上述步骤的顺序,也就是说,可以按照实施例中提及的顺序执行步骤,也可以不同于实施例中的顺序,或者若干步骤同时执行。
上面参考根据本公开的实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各方面。应当理解,流程图和/或框图中的每个方框以及流程图和/或框图中各方框的组合可以由计算机程序指令实现。这些计算机程序指令可被提供给通用计算机、专用计算机、或其它可编程数据处理装置的处理器,以产生一种机器,使得经由计算机或其它可编程数据处理装置的处理器执行的这些指令使能对流程图和/或框图的一个或多个方框中指定的功能/动作的实现。这种处理器可以是但不限于是通用处理器、专用处理器、特殊应用处理器或者现场可编程逻辑电路。还可理解,框图和/或流程图中的每个方框以及框图和/或流程图中的方框的组合,也可以由执行指定的功能或动作的专用硬件来实现,或可由专用硬件和计算机指令的组合来实现。
以上,仅为本申请的具体实施方式,所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的系统、模块和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。应理解,本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本申请的保护范围之内。

Claims (10)

1.一种数据处理方法,其特征在于,所述方法包括:
获取目标系统的待审核数据,所述待审核数据包括第一代码数据;
基于静态代码扫描工具对所述待审核数据进行扫描审核,得到第一扫描结果;
在所述第一扫描结果表征所述待审核数据正常的情况下,基于至少一个第一扫描规则信息对所述第一代码数据进行扫描,得到第二扫描结果,其中,所述第二扫描结果包括第二代码数据,所述第二代码数据为所述第一代码数据中的部分代码数据。
2.根据权利要求1所述的方法,其特征在于,所述待审核数据还包括与所述第一代码数据对应的生产元数据;所述静态代码扫描工具包括至少一个第二扫描规则信息;
获取所述第一代码数据对应的生成元数据,包括:
从数据库中获取与第一代码数据对应的生成元数据,所述静态代码扫描工具与所述数据库连接;
所述基于静态代码扫描工具对所述待审核数据进行扫描审核,得到第一扫描结果,包括:
基于所述至少一个第二扫描规则信息对所述第一代码数据以及所述第一代码数据对应的生产元数据进行扫描审核,以得到第一扫描结果。
3.根据权利要求2所述的方法,其特征在于,所述至少一个第二扫描规则信息包括如下规则中的至少一项:
表上无主键、不得使用存储过程、主键由第一预设数量的字段构成、组合主键的字段数量小于或等于第二预设数量、数据库名称的字节数量小于或等于第三预设数量、不得使用自定义函数、不得使用视图。
4.根据权利要求1所述的方法,其特征在于,所述待审核数据还包括所述第一代码数据的第一获取时刻;
所述基于至少一个第一扫描规则信息对所述第一代码数据进行扫描,得到第二扫描结果之前,所述方法还包括:
在所述第一扫描结果表征所述待审核数据正常的情况下,获取所述目标系统的第三代码数据以及所述第三代码数据的第二获取时刻,所述第二获取时刻早于所述第一获取时刻;
基于所述第一代码数据和所述第三代码数据,确定所述第一代码数据中的变更代码数据;
所述基于至少一个第一扫描规则信息对所述第一代码数据进行扫描,得到第二扫描结果,包括:
基于至少一个第一扫描规则信息对所述变更代码数据进行扫描,得到第二扫描结果。
5.根据权利要求4所述的方法,其特征在于,所述至少一个第一扫描规则信息包括如下规则中的至少一个:
单次执行扫描行数超过第一预设次数,总执行次数超过第二预设次数;
单次查询的记录数量超过第四预设数量。
6.一种数据处理装置,其特征在于,所述装置包括:
获取模块,用于获取目标系统的待审核数据,所述待审核数据包括第一代码数据;
扫描模块,用于基于静态代码扫描工具对所述待审核数据进行扫描审核,得到第一扫描结果;
所述扫描模块,还用于在所述第一扫描结果表征所述待审核数据正常的情况下,基于至少一个第一扫描规则信息对所述第一代码数据进行扫描,得到第二扫描结果,其中,所述第二扫描结果包括第二代码数据,所述第二代码数据为所述第一代码数据中的部分代码数据。
7.根据权利要求6所述的装置,其特征在于,所述待审核数据还包括与所述第一代码数据对应的生产元数据;所述静态代码扫描工具包括至少一个第二扫描规则信息;
所述获取模块,还用于从数据库中获取与第一代码数据对应的生成元数据,所述静态代码扫描工具与所述数据库连接;
所述扫描模块,具体用于基于所述至少一个第二扫描规则信息对所述第一代码数据以及所述第一代码数据对应的生产元数据进行扫描审核,以得到第一扫描结果。
8.一种电子设备,其特征在于,所述设备包括:处理器以及存储有计算机程序指令的存储器;
所述处理器读取并执行所述计算机程序指令,以实现如权利要求1-5任意一项所述的数据处理方法。
9.一种计算机存储介质,其特征在于,所述计算机存储介质上存储由计算机程序指令,所述计算机程序指令被处理器执行时实现如权利要求1-5任意一项所述的数据处理方法。
10.一种计算机程序产品,其特征在于,所述计算机程序产品中的指令由电子设备的处理器执行时,使得所述电子设备执行如权利要求1-5任意一项所述的数据处理方法。
CN202311248094.XA 2023-09-26 2023-09-26 数据处理方法、装置、设备、介质及产品 Pending CN117251374A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311248094.XA CN117251374A (zh) 2023-09-26 2023-09-26 数据处理方法、装置、设备、介质及产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311248094.XA CN117251374A (zh) 2023-09-26 2023-09-26 数据处理方法、装置、设备、介质及产品

Publications (1)

Publication Number Publication Date
CN117251374A true CN117251374A (zh) 2023-12-19

Family

ID=89126070

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311248094.XA Pending CN117251374A (zh) 2023-09-26 2023-09-26 数据处理方法、装置、设备、介质及产品

Country Status (1)

Country Link
CN (1) CN117251374A (zh)

Similar Documents

Publication Publication Date Title
CN107797916B (zh) Ddl语句审核方法和装置
CN112445875B (zh) 数据关联及检验方法、装置、电子设备及存储介质
JP6419667B2 (ja) テストdbデータ生成方法及び装置
CN114398394A (zh) 数据血缘解析方法、装置、设备及存储介质
CN110046086B (zh) 用于测试的期望数据生成方法及装置和电子设备
CN111177181A (zh) Sql文本审核方法、系统、存储介质及装置
CN117251374A (zh) 数据处理方法、装置、设备、介质及产品
CN112486841A (zh) 埋点采集数据校验的方法及装置
CN115965451A (zh) 数据核检方法、装置、电子设备、介质和程序产品
CN115658072A (zh) 数据血缘解析方法、装置、设备及计算机可读存储介质
CN114676054A (zh) 一种测试数据生成方法、装置、设备、介质及产品
CN114647496A (zh) 指标核对方法、装置、设备及计算机可读存储介质
CN114238359A (zh) 报表数据管理方法、装置、设备、介质及计算机程序产品
CN114356454A (zh) 对账数据处理方法、设备、存储介质及程序产品
CN112925849A (zh) 数据库同步的方法、装置、电子设备及计算机存储介质
CN109639520B (zh) 一种反应堆保护系统网络通信的计算机辅助测试方法
CN110727726A (zh) 一种文档型数据库中数据抽取到关系数据库的方法和系统
Niu et al. Understanding the similarity of log revision behaviors in open source software
CN114661604A (zh) 数据生成方法、装置、设备及计算机存储介质
CN118070742B (zh) 文档生成方法、装置、设备、存储介质及产品
CN117827883A (zh) Sql语句的检测方法、装置、设备、介质及程序产品
CN115358175B (zh) 电路形式化模型简化方法及系统
CN114091972A (zh) 数据核检方法、装置、电子设备和存储介质
CN113010521A (zh) 异地交易业务的处理方法及装置、计算机可读存储介质
CN116186245A (zh) 代码表层级展示方法、装置、设备、存储介质及产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination