CN111125719A - 一种提升代码安全检测效率的方法、装置、计算机设备、和可读存储介质 - Google Patents

Abstract

本发明公开了一种提升代码安全检测效率的方法、装置、计算机设备和可读存储介质，所述的方法包括：接收安全检测请求信息，并将安全检测请求信息存储在缓存队列中；所述的安全检测请求信息包括项目地址、检测代码库名称、检测分支名称和检测提交标识；根据安全检测请求信息中对该安全检测请求进行分流；根据分流结果、入队时间和安全代码检测引擎工作状态将不同的安全检测请求分发到指定的代码安全检测引擎进行安全检测；将安全检测结果进行解析处理后进行展示。

Description

一种提升代码安全检测效率的方法、装置、计算机设备、和可 读存储介质

技术领域

本发明涉及代码安全检测技术领域，特别涉及一种提升代码安全检测效率的的方法、装置、计算机设备和可读存储介质。

背景技术

近年来开放银行的概念越来越普遍，无论是新成立的互联网银行还是传统商业银行，都在积极拥抱开放银行的理念。在信息系统建设方面，金融机构开始从基于瀑布式的研发模式逐渐转变到基于CI/CD(Continuous Integration/Continuous Delivery,持续集成/持续交付)的DevOps(Development&Operations，过程、方法与系统的融合)模式。银行作为持有金融牌照的特许经营机构，对于软件代码安全有着非常高的要求。传统的瀑布开发模式，由于上线发布周期相对较慢，系统研发部门可以安排足够的安全测试人员使用商业代码安全检测软件来对于待发布版本的代码进行安全检测，但由于人工处理相对较慢，一般也只对重要版本做代码安全检测，很多小版本分支则缺少这一环节。对于已经开始采用DevOps平台做持续集成、持续交付的互联网企业，由于没有商业银行的强监管要求，通常都是采用开源的静态代码检测工具而非昂贵的商业代码安全检测引擎来实现基本的安全检测，而这类检测工具的准确度远不如商业代码安全检测引擎。而学术界的代码安全检测则更多集中在代码数据流分析、污点分析这个方向，无法解决工业界遇到的快速迭代、快速检测的问题。

因此对于商业银行或者金融机构，如何利用好已有如商业代码安全检测引擎做到在持续迭代、快速发布中的代码安全检测是一个重要问题。

现有技术多是采用开源的一些工具去检测代码开发规范中的问题，但由于源代码安全检测具有极强的技术壁垒，互联网公司更多地关注于如何优化检测结果、解决误报的问题，没有足够的资源去采购大量的商业代码安全检测引擎来实施代码安全检测，因此虽然互联网公司可以做到持续集成、高速迭代，但是由于无强监管的要求，相对不会采用昂贵的商业代码安全检测引擎来检测项目质量。对于选择采用主流商业代码安全检测引擎的银行、非银金融机构来说，更多的是依赖安全工程师去定期检测系统代码来做代码安全检测，很多甚至会购买人工服务来实施代码安全审计。这种做法只能支撑部分重点项目，对于非重点项目、非重要版本多有遗漏。但是安全无小事，特别是对于开放银行来说，任何一个发布版本带有代码安全问题都是致命的，而又因为成本的考量，不会采购大量的代码安全检测引擎来使用，因此传统金融机构的做法也不足以解决开放银行目前面临的代码安全检测问题。急切需要一种方法来解决代码安全检测引擎少而代码安全检测请求多的问题，本方案就是基于此提出的。

发明内容

针对现有的代码安全检测技术存在的应用受限、成本高昂等缺陷，本发明公开了一种提升代码安全检测效率的的方法、装置、计算机设备和可读存储介质。

本发明所公开的提升代码安全检测效率的方法包括：

接收安全检测请求信息，并将安全检测请求信息存储在缓存队列中；所述的安全检测请求信息包括项目地址、检测代码库名称、检测分支名称和检测提交标识；

根据安全检测请求信息对该安全检测请求进行分流；

根据分流结果、入队时间和安全代码检测引擎工作状态将不同的安全检测请求分发到指定的代码安全检测引擎进行安全检测；

将安全检测结果进行解析处理后进行展示。

本发明所公开的提升代码安全检测效率的装置包括：

调度模块，用于接收安全检测请求信息，并将安全检测请求信息存储在缓存队列中；所述的安全检测请求信息包括项目地址、检测代码库名称、检测分支名称和检测提交标识；根据安全检测请求信息对该安全检测请求进行分流；

处理模块，用于根据分流结果、入队时间和安全代码检测引擎工作状态将不同的安全检测请求分发到指定的代码安全检测引擎进行安全检测；

展示模块，用于将安全检测结果进行解析处理后进行展示。

本发明所公开的提升代码安全检测效率的计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述的处理器执行所述计算机程序时实现上述任一项方法的步骤。

本发明所公开的提升代码安全检测效率的计算机存储介质，其上存储有计算机程序，所述的计算机程序被处理器执行时实现上述任一项方法的步骤。

上述所公开的提升代码安全检测效率的技术方案，能最大化利用商业代5码安全检测引擎的使用率，提升各项目的代码安全检测效率，让安全检测融入到整个系统研发流程里面中去，做到安全合规的快速集成、快速发布。而且此方法和涉及实现该方法的相关平台和所选用的代码安全检测引擎无关，无论是IBM的代码安全检查产品还是HP的代码安全检查产品,或是国内一些代码安全检测工具如360的源代码审查工具，只要代码安全检测引擎提供API(Application ProgrammingInterface,应用程序接口)即可嵌入使用。通过本发明，可以很好地帮助金融机构将代码安全检测融入到DevOps中，满足安全合规要求的同时实现版本快速迭代上线。

附图说明

图1是方案原理说明图；

图2是方法流程图；

图3是黑名单和正常名单生成图；

图4是装置示意图；

图5是调度模块示意图；

图6是进一步的装置示意图。

具体实施方式

为了对本发明所公开的提升代码安全检测效率的的方法、装置、计算机设备和可读存储介质有更加详细和深入的了解，在下面的内容中结合附图对具体的实施方式、所解决的具体技术问题和所取得的技术效果进行详细的说明。在不冲突的情况下,本发明的实施例以及实施例中的技术特征可以相互组合。

因为代码安全检测本身就需要消耗一定时间，且采用数据流追踪、污点分析的代码安全分析技术本身在提升准确度的同时也会增加时间，而且更为关键的是代码安全检测引擎数量有限，而每天的代码安全检测需求也非常多，以金融企业为例，需要用4台代码安全检测引擎处理每日500+次的代码安全检测请求，因此系统需要在设计整体方案时考虑到代码安全检测对于线上流水线阻塞的问题。这里系统也不考虑购买更多商业代码安全检测引擎的情况，因为各企业预算都是有限的，不可能都采用简单堆设备扩容的方法去解决性能、效率问题。而只有通过合理的服务编排、调度提速整个线上流水线执行代码安全检测的效率。

首先对本发明所公开的方案的原理进行说明，如附图1所示，用户配置好JenkinsJob(开源自动化服务器工作任务)流水线来触发代码安全检查，这个代码安全检测请求会发送给本发明所公开的代码安全检查平台，这个安全检测请求信息中包括该请求的项目地址git_url、检测代码库名称project_name、检测分支名称branch_name和检测提交标识commit id。代码安全检查平台在接收到代码安全检测请求后根据安全检测请求信息对该安全检测请求进行分流；再根据分流结果、入队时间和安全代码检测引擎工作状态将不同的安全检测请求分发到指定的代码安全检测引擎进行安全检测；最后将安全检测结果进行解析处理后进行展示，以供研发人员、运维人员和关联人员做不同角色、不同维度的结果分析。

本发明所公开的提升代码安全检测效率的的代码安全检查平台被设计成模块化，内部的调度、处理、监控则全部封装好，将细节封装在底层，无需对外暴露。

下面通过具体的应用场景对本发明所公开的具体技术方案进行说明。

如附图2所示,本发明所公开的提升代码安全检测效率的方法包含以下步骤:

101,接收安全检测请求信息，并将安全检测请求信息存储在缓存队列中；所述的安全检测请求信息包括项目地址、检测代码库名称、检测分支名称和检测提交标识。

本方案通过一个缓存队列把每次请求都记录下来，可以通过数据库来实现，因此操作相对比较灵活。

102，根据安全检测请求信息对该安全检测请求进行分流。

对于代码安全检测来说，如何用更少的资源实现更好地的支持代码安全检测呢？最简单的方式就是设计为平均分发代码安全检测请求，而平均分发带来的问题是很多基于微服务拆分的项目无法做到实时检测，经常因为有些大的项目模块影响队列中后面的待检测项目。以实际项目为例，对于银行中核心系统、账务管理等底层系统，每次执行代码安全检测的时间非常长，动辄就会要1个小时以上，个别项目甚至会到2个小时。对于其他应用，特别是基于微服务拆分的项目代码库，因为模块功能单一、代码库比较小，检测时间大部分可能只要15分钟以内就可以完成。如果系统采取的调度算法是均分的，那么队列中一旦开始检测核心、账管等大的代码库时就会阻塞其他代码库的检测。这种情况就会影响大部分项目开发持续集成的速度，安全会成为影响项目迭代的关键因素，因此系统需要做分流。

关于分流的方案，针对项目代码库大小做了数据统计和归类。通过统计，发现需要支持的多个项目代码安全检测中，其中里面有15％-20％是未拆分成微服务的项目，即单体应用的代码库非常庞大，检测非常耗时。但是这类代码库通常都是核心之类的系统，其发版次数不会频度很高，每月的检测次数大部分在10次以下。因此系统通过统计将这类项目做了一个黑名单来维护。其余的项目作为正常名单进行维护。黑名单和正常名单根据附图3进行维护。

对于调度模块来说，当遇到这类黑名单的项目时，会自动将该代码安全检测请求分发到指定的代码安全检测引擎的机器做检测。对于其他正常名单中的应用应用，系统会把这个检测请求分发到另外的代码安全检测引擎中，做安全检测。这样做最大的好处是可以防止因某个项目检测时间过长而过度阻塞检测队列，影响代码安全检查的实时性。至于代码库庞大且经常有发版需求的，暂时可以放正常列表中，同时推动项目组做微服务化改造以便推动项目整体持续集成的改造，当然这类项目一般非常少，影响可以暂时忽略。通过这种方式，系统发现相对于之前随机分发的情况阻塞程度有了很大程度的提高，特别是对于微服务的应用，系统在检测峰值时其等待时间一般也可以在3小时内完成，在上午或者凌晨这类检测低谷期，一般提交检测请求后30分钟内就会处理完毕。

维护在调度模块的黑名单或者正常名单信息中包括该代码库的项目地址、检测代码库名称等信息，而接收到的安全检测请求信息中则包括项目地址、检测代码库名称、检测分支名称和检测提交标识。通过将接收到的安全检测请求信息中的内容跟黑名单或者正常名单信息进行匹配，即可知道该安全检测请求信息所对应的安全检测请求是那种类型的业务。

另外，对于高峰期的检测，还是有个问题，即一个微服务化的代码库会短期内提交多次检测请求，由于缓存队列积压，可能代码安全检测引擎会重复做多次检测。系统通过过滤只需要确保检测最近一次的提交即可，以便在保证检测速度的同时能解决检测覆盖率的问题。这个时候系统可以采用队列先进先出的思想来解决这个问题。对于一次提交的检测请求，系统会收到检测请求信息中携带的项目地址、检测代码库名称、检测分支名称相同和检测提交标识等信息，有些项目会对于同样的分支提交多次，即除了检测提交标识不一样以外其余均相同，系统可以记录检测请求进入队列的时间，按照先进先出的原则，对于项目地址、检测代码库名称、检测分支名称相同相同、仅仅检测提交标识不同的项目，系统给可以在入队列时进行轮询，如果有这条记录就更新检测提交标识和入队时间，这样就可以过滤掉很多重复提交的检测请求，特别使用于同一项目、同一分支仅做微小改动就提交检测的情况，能够在节省检测资源的同时加速代码安全的检测速度。通过这种算法的改造，可以缓解高峰时同一项目多次提交检测的情况。

103，根据分流结果、入队时间和安全代码检测引擎工作状态将不同的安全检测请求分发到指定的代码安全检测引擎进行安全检测。

在检测的过程中，系统需要实时监控代码安全检测引擎的状态来尽可能确保代码安全检测引擎一直处于工作状态而非空闲状态，这样本身检测资源的利用率会达到提高。为此开发了一个监控代码安全检测引擎工作状态的监控模块，当检测完成后就会通知调度模块检测完成，代码安全检测引擎已经空闲的状态，这样调度模块就可以下发检测请求给空闲的代码安全检测引擎，确保代码安全检测引擎能够一直处于工作状态，提升代码安全检测引擎资源利用率。

104，将安全检测结果进行解析处理后进行展示。以供研发人员、运维人员和关联人员做不同角色、不同维度的结果分析。

以下是本发明的具体实施例:

实施例一：使用一台windows服务器来部署整个方案，该服务器来接收流水线发起的代码安全检测请求，并做请求的分流和过滤，同时监听部署在各个代码安全检测引擎的状态，对于空闲的状态进行分发。

调度模块基于java 8开发，在服务器上利用java–jar启动。监控模块采用java 8开发，在部署了代码安全检测引擎的服务器上运行java–jar执行。处理模块利用windows脚本调用商业代码安全检测引擎API，展示模块采用python 2.7开发，实现对于结果的解析和展示平台的通信。

通过该方案，对于个别项目检测时间过长的情况单独设置了一个黑名单进行维护；待检测队列通过本专利公开的方法也可以过滤掉很多重复的检测请求，进一步充分利用检测资源来提升代码安全检测效率；同时，当调度模块接收到有空闲资源后就给发送新的代码安全检测请求给代码安全检测引擎执行新的检测，整个过程尽可能压缩了等待时间，进一步提高了效率。

实施例二：一种提升代码安全检测效率的装置，其特征在于，所述的装置，即代码安全检测平台如附图4所示，包括：

调度模块，用于接收安全检测请求信息，并将安全检测请求信息存储在缓存队列中；所述的安全检测请求信息包括项目地址、检测代码库名称、检测分支名称和检测提交标识；根据安全检测请求信息对该安全检测请求进行分流；如图5所示调度模块可以进一步细分为安全扫描请求信息接收端口、缓存队列、分发调度单元。安全扫描请求信息接收端口用于接收安全检测请求信息，缓存队列用于存储安全检测请求信息，分发调度单元用于对安全检测请求进行分流和过滤。

处理模块，用于根据分流结果、入队时间和安全代码检测引擎工作状态将不同的安全检测请求分发到指定的代码安全检测引擎进行安全检测；

展示模块，用于将安全检测结果进行解析处理后进行展示。

进一步的，所述的调度模块还用于在检测高峰期，在所述的接收安全检测请求信息后，对于同类的多个安全检测请求进行过滤。

更近一步的，所述的装置如附图6所示还包括：监控模块，所述的监控模块用于在代码安全检测引擎检测完成后发送代码安全检测引擎空闲状态信息给调度模块，供调度模块将安全检测请求分发到空闲的代码安全检测引擎。

通过具体实施方式的说明，应当可对本发明为达成预定目的所采用的技术方案及功效得以更加深入且具体的了解，然而所附图示仅提供参考与说明之用，并非用来对本发明加以限制。同时在不冲突的情况下，实施例和实施例中的特征可以相互组合。

本领域内的技术人员应明白，本发明实施例可提供为方法或计算机程序等产品，因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照本发明实施例的方法和计算机程序产品的流程图和/或方框图来描述的。应理解为可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的组合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或者其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框和/或多个方框中制定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设别上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供货用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (10)

1.一种提升代码安全检测效率的方法，其特征在于，所述的方法包括：

接收安全检测请求信息，并将安全检测请求信息存储在缓存队列中；所述的安全检测请求信息包括项目地址、检测代码库名称、检测分支名称和检测提交标识；

根据安全检测请求信息对该安全检测请求进行分流；

根据分流结果、入队时间和安全代码检测引擎工作状态将不同的安全检测请求分发到指定的代码安全检测引擎进行安全检测；

将安全检测结果进行解析处理后进行展示。

2.如权利要求1所述的方法，其特征在于，所述的分流是区分该安全检测请求属于黑名单或正常名单，所述的黑名单是代码量大于一定阈值和检测频率低于一定阈值的安全检测请求的名单列表，正常名单是其余的安全检测请求的名单列表。

3.如权利要求1或2所述的方法，在检测高峰期，在所述的接收安全检测请求信息后，对于同类的多个安全检测请求进行过滤，所述的过滤具体为将安全检测请求信息中项目地址、检测代码库名称、检测分支名称相同而检测提交标识不一致的多个安全检测请求视为一个安全检测请求。

4.如权利要求3所述的方法，所述的将安全检测请求信息中项目地址、检测代码库名称、检测分支名称相同而检测提交标识不一致的多个安全检测请求视为一个安全检测请求具体为在将安全检测请求信息存储在缓存队列时进行轮询，对于项目地址、检测代码库名称、检测分支名称相同而检测提交标识不一致的多个安全检测请求只更新检测提交标识和入队时间。

5.如权利要求1所述的方法，其特征在于，在所述的代码安全检测引擎在检测完成后发送代码安全检测引擎空闲状态信息，用于将安全检测请求分发到空闲的代码安全检测引擎。

6.一种提升代码安全检测效率的装置，其特征在于，所述的装置包括：

调度模块，用于接收安全检测请求信息，并将安全检测请求信息存储在缓存队列中；所述的安全检测请求信息包括项目地址、检测代码库名称、检测分支名称和检测提交标识；根据安全检测请求信息对该安全检测请求进行分流；

处理模块，用于根据分流结果、入队时间和安全代码检测引擎工作状态将不同的安全检测请求分发到指定的代码安全检测引擎进行安全检测；

展示模块，用于将安全检测结果进行解析处理后进行展示。

7.如权利要求6所述的装置，其特征在于，所述的调度模块还用于在检测高峰期，在所述的接收安全检测请求信息后，对于同类的多个安全检测请求进行过滤。

8.如权利要求6所述的装置，其特征在于，所述的装置还包括：监控模块，所述的监控模块用于在代码安全检测引擎检测完成后发送代码安全检测引擎空闲状态信息给调度模块，供调度模块将安全检测请求分发到空闲的代码安全检测引擎。

9.一种提升代码安全检测效率的计算机设备，所述的计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述的处理器执行所述权利要求1至5中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述的计算机程序被处理器执行时实现所述权利要求1至5中任一项所述方法的步骤。

Images