CN116150024A - 待测程序评价方法、装置和电子设备 - Google Patents

Abstract

本申请公开了一种待测程序评价方法、装置和电子设备。具体包括：获取目标函数和用于进行程序测试的测试数据；其中，目标函数用于调用待测程序和待测程序对应的标准程序；将测试数据通过目标函数分别输入标准程序和待测程序中，得到标准程序输出的测试结果，以及待测程序输出的测试结果；根据标准程序输出的测试结果和待测程序输出的测试结果，对待测程序进行评价。本申请实施例的技术方案，解决了现有技术仅通过对待测程序输出的测试结果进行判断来评价，导致的评价结果无法反应考生编程能力的问题，使得编程考试的评价具备可靠的依据，提高了编程考试的可靠性、合理性和公平性。

Description

待测程序评价方法、装置和电子设备

技术领域

本申请涉及数据处理技术领域，尤其涉及一种待测程序评价方法、装置和电子设备。

背景技术

随着计算机技术的发展，越来越多的行业向数字化、信息化进行转型。其中，在互联网产品的开发、测试等环节中，C语言、Python等计算机语言的使用能力是必不可少的，也就意味着越来越多的人要学习编程，那么对于程序语言的考核与校验就显得尤为重要。

当前，在编程的考试当中，使用自动化评分的方式对考生提交的程序代码进行验证和评价，其原理主要是检验考生提交的程序代码是否可以正常编译运行和执行结果是否正确，对于无法编译成功或者执行结果不正确的代码直接评价为不合格。这样做虽然高效，但是对代码的评价不可靠，并不能完全反映考生的编程能力，有失考试的公平性。

发明内容

本申请提供了一种待测程序评价方法、装置和电子设备，提高了编程考试的评价可靠性，从而提高了考试的公平性。

根据本申请的一方面，提供了一种待测程序评价方法，所述方法包括：

获取目标函数和用于进行程序测试的测试数据；其中，所述目标函数用于调用待测程序和所述待测程序对应的标准程序；

将测试数据通过所述目标函数分别输入标准程序和待测程序中，得到标准程序输出的测试结果，以及待测程序输出的测试结果；

根据标准程序输出的测试结果和待测程序输出的测试结果，对待测程序进行评价。

根据本申请的另一方面，提供了一种待测程序评价装置，包括：

程序与数据获取模块，用于获取目标函数和用于进行程序测试的测试数据；其中，所述目标函数用于调用待测程序和所述待测程序对应的标准程序；

程序测试模块，用于将测试数据通过所述目标函数分别输入标准程序和待测程序中，得到标准程序输出的测试结果，以及待测程序输出的测试结果；

程序评价模块，用于根据标准程序输出的测试结果和待测程序输出的测试结果，对待测程序进行评价。

根据本申请的另一方面，提供了一种电子设备，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请任一实施例所述的待测程序评价方法。

根据本申请的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本申请任一实施例所述的待测程序评价方法。

本申请实施例的技术方案中，将测试数据输入考生提交的待测程序和标准答案对应的标准程序，并根据运行后的测试结果对待测程序进行评价。解决了现有技术仅通过对待测程序输出的测试结果进行判断来评价，导致的评价结果无法反应考生编程能力的问题，使得编程考试的评价具备可靠的依据，提高了编程考试的可靠性、合理性和公平性。

应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本申请实施例一提供的一种待测程序评价方法的流程图；

图2是根据本申请实施例二提供的一种待测程序评价方法的流程图；

图3是根据本申请实施例三提供的一种待测程序评价装置的结构示意图；

图4是实现本申请实施例的待测程序评价方法的电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例一

图1为本申请实施例一提供了一种待测程序评价方法的流程图，本实施例可适用于编程考试的场景下对考生提交的待测程序进行评价的情况，该方法可以由待测程序评价装置来执行，该待测程序评价装置可以采用硬件和/或软件的形式实现，该待测程序评价装置可配置于电子设备中。如图1所示，该方法包括：

S110、获取目标函数和用于进行程序测试的测试数据；其中，所述目标函数用于调用待测程序和所述待测程序对应的标准程序。

其中，目标函数可以是用于调用待测程序和标准程序的上层接口，将测试数据输入目标函数后可以自动调用待测程序和/或标准程序进行测试。待测程序可以是需要进行测试与评估的程序代码等，例如在编程考试中，待测程序即为考生提交的考试代码。同样的，在编程考试中，待测程序对应的标准程序可以是考题对应的标准答案的程序代码。测试数据是用于进行程序测试的输入数据，测试数据可以由相关技术人员根据人工经验手动生成，也可以是根据预设的算法或者模型进行自动生成，还可以设置为空，测试数据不仅用于待测程序的输入，还用于标准程序的输入。

具体的，在编程考试中作为标准答案的标准程序和考生提交的待测程序均存储于数据库中，在进行待测程序的评价之前，从数据库中调用标准程序和待测程序。测试数据可以是预先准备好的，也可以是根据测试结果重新生成的，本申请实施例对测试数据的获取方式不作限定。

S120、将测试数据通过所述目标函数分别输入标准程序和待测程序中，得到标准程序输出的测试结果，以及待测程序输出的测试结果。

将测试数据作为标准程序和待测程序的输入，运行标准程序和待测程序，测试结果可以包括正常结果或异常结果，正常结果可以是正确的计算结果，例如符合编程考试的考题的结果；异常结果可以是错误的计算结果，也可以是运行代码后无法输出结果，例如运行程序发生了bug。

在一种可选实施方式中，在将测试数据通过所述目标函数分别输入标准程序和待测程序中，确定标准程序输出的测试结果，以及待测程序输出的测试结果之后，所述方法还可以包括：根据已输入标准程序和待测程序的测试数据，生成扩展数据；将扩展数据分别输入标准程序和待测程序中，确定标准程序输出的异常结果，以及待测程序输出的异常结果。

其中，扩展数据可以是同样用于进行待测程序测试的数据，扩展数据同样需要作为标准程序和待测程序的输入，从而对标准程序和待测程序进行运行。扩展数据，顾名思义是从测试数据扩展而来的数据。因此，将已经输入过标准程序和待测程序的测试数据进行扩展(或称变异)得到扩展数据。对测试数据的扩展方法可以现有技术中任意一种扩展方法，本申请实施例对此不作限定，例如采用阈值内随机扩展的方法，即根据测试数据对数据的采样阈值范围进行设定，在此阈值范围内进行随机生成数据，作为扩展数据进行使用。可以理解的是，每次在使用测试数据对标准程序和待测程序进行运行后，根据输出的结果不同，将作为输入的测试数据进行扩展或变异，生成扩展数据，再将扩展数据作为下一轮标准程序和待测程序运行的输入，根据下一轮运行的结果再从扩展数据进行扩展，依次循环类推，直至到达预设的(循环)运行时限，即可停止程序的测试。

在每次的循环中，将测试数据(或扩展数据)输入标准程序和待测程序后，判断执行的结果是否导致bug的触发或计算结果的不正常。在运行环境中可以对bug进行判断和定位，可以通过确定bug和结果不正常的原因，对输入的扩展数据进行调整，从而生成新的扩展数据用于测试。这样做有助于防止因为输入的测试数据或者扩展数据的不合适，导致的测试错误，防止对考生提交的程序代码做出错误评价。

在另一种可选实施方式中，所述测试结果还包括正常结果；相应的，所述根据已输入标准程序和待测程序的测试数据，生成扩展数据，可以包括：根据正常结果对应的测试数据，生成扩展数据。

可以理解的是，扩展数据可以根据异常结果进行调整，当然也可以根据正常结果进行调整。例如，以生成正常结果的测试数据(或上一轮的扩展数据)为基准，根据这些测试数据按照预设的扩展(变异)算法进行下一轮测试的扩展程序的生成。数据扩展的方法可以采用模糊测试中的模糊器对数据进行变异或扩展。

S130、根据标准程序输出的测试结果和待测程序输出的测试结果，对待测程序进行评价。

其中，对待测程序的评价可以包括但不限于评级和评分等。由于测试结果分为正常结果和异常结果，因此可以根据正常结果和异常结果两种方式对待测程序进行评价。

在一种可选实施方式中，所述测试结果包括异常结果；相应的，所述根据标准程序输出的测试结果和待测程序输出的测试结果，对待测程序进行评价，可以包括：根据标准程序输出的异常结果数量和待测程序输出的异常结果数量，对待测程序进行评价。

其中，可以根据待测程序输出的异常结果数量占据全部的测试数据和扩展数据的数量总和的比例，对考生提交的待测程序进行评级或评分。例如，根据错误的返回结果或提示的bug信息的数量在全部输入数据的个数和占比，进行评分。具体的评级或评分可以根据数量占比的情况进行预先的设定，本申请实施例不作限定。

当然还可以是根据待测程序输出的异常结果数量和标准程序输出的异常结果数量的比值，确定评分。可以理解的是，由于标准程序和待测程序用相同的测试数据或扩展数据进行运行，若测试数据或者扩展数据本身有问题(即无法正常运行标准程序)，则标准程序和待测程序的测试结果也可能不相同。因此，可以通过待测程序和标准程序各自输出的异常结果的数量，对考生提交的待测程序进行评分。当然，在测试数据和扩展数据的数量一定的情况下，异常结果的数量和正常结果的数量互补，那么当然也可以根据待测程序和标准程序各自输出的正常结果的数量，对考生提交的待测程序进行评分，例如，按照测试数据和扩展数据在考生提交的待测程序中运行成功的数量，和在标准程序中运行成功的数量进行比较，按照求得的比值给予相应的评分或评级。

本申请实施例的技术方案中，将测试数据输入考生提交的待测程序和标准答案对应的标准程序，并根据运行后的测试结果对待测程序进行评价。解决了现有技术仅通过对待测程序输出的测试结果进行判断来评价，导致的评价结果无法反应考生编程能力的问题，使得编程考试的评价具备可靠的依据，提高了编程考试的可靠性、合理性和公平性。

实施例二

图2为本申请实施例二提供的一种待测程序评价方法的流程图，本实施例是在前述实施例的基础上对测试数据的生成操作进行进一步的细化。如图2所示，该方法包括：

S210、获取目标函数。

在编程考试中，用于检验标准程序和考生提交的待测程序的目标函数预先存储于判卷数据库中，同样的，作为标准答案的标准程序和考生提交的待测程序均也存储于该数据库中，在进行待测程序的评价之前，从数据库中直接获取目标函数，并通过目标函数调用标准程序和待测程序。

S220、根据目标函数调用的标准程序和待测程序，确定数据输入范围。

其中，数据输入范围可以是测试数据的取值范围。通过与标准程序和/或待测程序的代码进行分析，确定用于测试的测试数据的取值范围。对于代码的分析确定测试数据取值范围的方法可以是，对代码进行遍历，或关键词(关键语句)进行查询，以确定标准程序和/或待测程序中的计算逻辑，根据该计算逻辑确定测试数据的取值范围。

在一种可选实施方式中，所述根据标准程序和待测程序，确定数据输入范围，可以包括：根据标准程序和待测程序，确定程序结构判断语句；根据程序结构判断语句，确定数据输入范围。

其中，程序结构判断语句可以是程序中的计算逻辑的一种形式，例如可以是数值上大于、等于和小于的判断。本申请实施例仅以数值的大小判断作为举例，其他类型的判断语句也应属于本申请实施例所述的实现方式，因此本申请实施例对于数值大小的程序结构判断语句的表述不应理解为对本申请的限定。

具体的，尤其是对于待测程序中的程序结构判断语句，可以通过现有技术的遍历或搜索方法，确定待测程序中包含的判断语句，以对待测程序的输入量(输入数据)的取值范围进行确定。

S230、根据数据输入范围，生成测试数据。

根据前述步骤中确定的数据输入范围，生成用于输入待测程序和标准程序的测试数据。生成的方法可以是随机生成，例如通过模糊测试的方式生成测试数据，也可以是其他的方式，本申请实施例对此不作限定。

在一种可选实施方式中，所述根据数据输入范围，生成测试数据，可以包括：基于预设数据比例和数据输入范围，生成测试数据；其中，测试数据包括符合数据输入范围的数据，和不符合数据输入范围的数据。

可以理解的是，可以按照数据输入范围进行测试数据的取值。但是这类符合取值范围的测试数据在输入标准程序和待测程序后，不能完全触发程序代码内的所有计算逻辑，因此也需要一些不属于数据输入范围的数据作为反例进行测试。

其中，预设数据比例可以是对于符合数据输入范围和不符合数据输入范围的数据设置的生成比例，从而使得测试数据中具有一定比例的反例。根据预设数据比例和数据输入范围对测试数据的划分，按比例生成符合数据输入范围的数据，以及不符合数据输入范围的数据。

S240、将测试数据通过目标函数分别输入标准程序和待测程序中，得到标准程序输出的测试结果，以及待测程序输出的测试结果。

在一种可选实施方式中，所述将测试数据通过目标函数分别输入标准程序和待测程序中，得到标准程序输出的测试结果，以及待测程序输出的测试结果，还可以包括：将测试数据分别输入标准程序和待测程序，确定测试数据在标准程序中的代码覆盖率和在待测程序中的代码覆盖率；根据生成的测试数据，对代码覆盖率进行更新；若更新后的所述代码覆盖率较更新前未提高，则根据所述测试数据，确定所述标准程序输出的测试结果，以及所述待测程序输出的测试结果。

其中，代码覆盖率可以是用于表征测试数据在输入程序后的执行情况的量化指标。举例说明，假设某一段程序有10行代码，输入测试数据并执行该段程序，在该程序中执行了8行代码，其余2行代码因分支语句并未满足条件未执行，因此测试数据通过该程序的代码覆盖率为80％；若另一个测试数据刚好执行了待测代码的剩余2行分支语句，则此时的代码覆盖率提升为100％。

因此，通过将测试数据输入标准程序和待测程序，分别确定测试数据在标准程序中的代码覆盖率，以及测试数据在待测程序中的代码覆盖率。在每次测试后，可以重新生成测试数据，反复的通过目标函数对待测程序和标准程序进行输入测试，目的在于提高测试数据在各程序中的代码覆盖率，直至代码覆盖率在更新后也无法再次提高，此时停止测试。将开始测试至停止测试过程中的所有测试结果统一输出(其中包括标准程序输出的所有测试结果，也包括待测程序输出的所有测试结果)，以供后续根据测试结果进行待测程序的评价。

通过引入代码覆盖率对测试过程的停止进行控制，能够有效的调整测试数据的总量，为待测程序的评价作支撑，有助于提高待测程序评价的效率。

S250、根据标准程序输出的测试结果和待测程序输出的测试结果，对待测程序进行评价。

在一种实际的实施方式中，以编程考试为例，假设编程考试的题目为：“商场进行促销，消费满100减10，满300减50，设计一个程序对消费者的支付进行自动减免扣除。”那么在考生提交的待测程序中，对代码中的计算逻辑进行识别，识别出表达对100元和300元的判断语句。根据100和300两个阈值进行测试数据的输入范围的确定。可以理解的是，若全部的测试数据都属于大于等于100元或大于等于300元时，只能触发代码中关于“满减事件”的计算逻辑，那么则会无法对小于100元情况下的计算逻辑进行测试，因此在对测试数据进行生成时，也需要设置第一比例的小于100的数据作为反例，对待测数据进行生成。将这些测试数据同时输入至标准程序和待测程序中进行运行，对运行成功并得到正确结果的情况，已经运行失败或结果错误的情况进行记录(包括记录次数)。根据运行结果的不同，在测试数据的基础上进行扩展或变异，得到扩展数据，重复测试过程，并继续迭代扩展数据，直至测试过程持续达到预设时间，停止测试。统计测试过程中标准程序和待测程序的运行结果，根据错误的返回结果或提示的bug信息在全部输入数据个数总和占比给出评分；或者，按照考生提交的待测程序运行输出正确结果的测试数据的个数，与运行标准程序输出正确结果的测试数据个数的比值，给出评分。

本申请实施例的技术方案，根据程序代码中的判断语句及计算逻辑，对测试数据的输入范围进行了确定，从而生成对应的测试数据用于对待测程序进行测试和评分，这样做有助于提高测试数据的多样性，利于对待测程序进行全方面的测试，从而提高了评分的合理性和准确性。

实施例三

图3为本申请实施例三提供的一种待测程序评价方法装置的结构示意图。如图3所示，该装置300包括：

程序与数据获取模块310，用于获取目标函数和用于进行程序测试的测试数据；其中，目标函数用于调用待测程序和待测程序对应的标准程序；

程序测试模块320，用于将测试数据通过目标函数分别输入标准程序和待测程序中，得到标准程序输出的测试结果，以及待测程序输出的测试结果；

程序评价模块330，用于根据标准程序输出的测试结果和待测程序输出的测试结果，对待测程序进行评价。

本申请实施例的技术方案中，将测试数据输入考生提交的待测程序和标准答案对应的标准程序，并根据运行后的测试结果对待测程序进行评价。解决了现有技术仅通过对待测程序输出的测试结果进行判断来评价，导致的评价结果无法反应考生编程能力的问题，使得编程考试的评价具备可靠的依据，提高了编程考试的可靠性、合理性和公平性。

在一种可选实施方式中，所述程序与数据获取模块310可以包括：

程序获取单元，用于获取目标函数；

数据范围确定单元，用于根据目标函数调用的标准程序和待测程序，确定数据输入范围；

测试数据生成单元，用于根据数据输入范围，生成测试数据。

在一种可选实施方式中，所述数据范围确定单元可以包括：

判断语句确定子单元，用于根据标准程序和待测程序，确定程序结构判断语句；

数据范围确定子单元，用于根据程序结构判断语句，确定数据输入范围。

在一种可选实施方式中，所述测试数据生成单元可以具体用于：

基于预设数据比例和数据输入范围，生成测试数据；其中，测试数据包括符合数据输入范围的数据，和不符合数据输入范围的数据。

在一种可选实施方式中，所述程序测试模块320还可以包括：

代码覆盖率确定单元，用于将测试数据分别输入标准程序和待测程序，确定测试数据在标准程序中的代码覆盖率和在待测程序中的代码覆盖率；

代码覆盖率更新单元，用于根据生成的测试数据，对代码覆盖率进行更新；

代码测试单元，用于若更新后的所述代码覆盖率较更新前未提高，则根据所述测试数据，确定所述标准程序输出的测试结果，以及所述待测程序输出的测试结果。

在一种可选实施方式中，所述测试结果包括异常结果；相应的，所述程序评价模块330可以具体用于：

根据标准程序输出的异常结果数量和待测程序输出的异常结果数量，对待测程序进行评价。

在一种可选实施方式中，所述装置300还可以包括：

扩展数据生成模块，用于根据已输入标准程序和待测程序的测试数据，生成扩展数据；

异常结果输出模块，用于将扩展数据分别输入标准程序和待测程序中，确定标准程序输出的异常结果，以及待测程序输出的异常结果。

在一种可选实施方式中，所述测试结果还包括正常结果；相应的，所述扩展数据生成模块可以具体用于：

根据正常结果对应的测试数据，生成扩展数据。

本申请实施例所提供的待测程序评价装置可执行本申请任意实施例所提供的待测程序评价方法，具备执行各待测程序评价方法相应的功能模块和有益效果。

实施例四

图4示出了可以用来实施本申请的实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图4所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器(RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。

电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如待测程序评价方法。

在一些实施例中，待测程序评价方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的待测程序评价方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行待测程序评价方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本申请的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本申请的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。

计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (10)

1.一种待测程序评价方法，其特征在于，所述方法包括：

获取目标函数和用于进行程序测试的测试数据；其中，所述目标函数用于调用待测程序和所述待测程序对应的标准程序；

将所述测试数据通过所述目标函数分别输入所述标准程序和所述待测程序中，得到所述标准程序输出的测试结果，以及所述待测程序输出的测试结果；

根据所述标准程序输出的测试结果和所述待测程序输出的测试结果，对所述待测程序进行评价。

2.根据权利要求1所述的方法，其特征在于，所述获取目标函数和用于进行程序测试的测试数据，包括：

获取所述目标函数；

根据所述目标函数调用的所述标准程序和所述待测程序，确定数据输入范围；

根据所述数据输入范围，生成所述测试数据。

3.根据权利要求2所述的方法，其特征在于，所述根据所述目标函数调用的所述标准程序和所述待测程序，确定数据输入范围，包括：

根据所述标准程序和所述待测程序，确定程序结构判断语句；

根据所述程序结构判断语句，确定所述数据输入范围。

4.根据权利要求2所述的方法，其特征在于，所述根据所述数据输入范围，生成所述测试数据，包括：

基于预设数据比例和所述数据输入范围，生成所述测试数据；其中，所述测试数据包括符合数据输入范围的数据，和不符合所述数据输入范围的数据。

5.根据权利要求4所述的方法，其特征在于，所述将所述测试数据通过所述目标函数分别输入所述标准程序和所述待测程序中，得到所述标准程序输出的测试结果，以及所述待测程序输出的测试结果，还包括：

将所述测试数据分别输入所述标准程序和所述待测程序，确定所述测试数据在所述标准程序中的代码覆盖率和在所述待测程序中的代码覆盖率；

根据生成的测试数据，对所述代码覆盖率进行更新；

若更新后的所述代码覆盖率较更新前未提高，则根据所述测试数据，确定所述标准程序输出的测试结果，以及所述待测程序输出的测试结果。

6.根据权利要求1-5任一项所述的方法，其特征在于，所述测试结果包括异常结果；相应的，所述根据所述标准程序输出的测试结果和所述待测程序输出的测试结果，对所述待测程序进行评价，包括：

根据所述标准程序输出的异常结果数量和所述待测程序输出的异常结果数量，对所述待测程序进行评价。

7.根据权利要求6所述的方法，其特征在于，在所述将所述测试数据通过所述目标函数分别输入所述标准程序和所述待测程序中，得到所述标准程序输出的测试结果，以及所述待测程序输出的测试结果之后，所述方法还包括：

根据已输入所述标准程序和所述待测程序的测试数据，生成扩展数据；

将所述扩展数据分别输入所述标准程序和所述待测程序中，确定所述标准程序输出的异常结果，以及所述待测程序输出的异常结果。

8.根据权利要求7所述的方法，其特征在于，所述测试结果还包括正常结果；相应的，所述根据已输入所述标准程序和所述待测程序的测试数据，生成扩展数据，包括：

根据所述正常结果对应的测试数据，生成扩展数据。

9.一种待测程序评价装置，其特征在于，包括：

程序与数据获取模块，用于目标函数和用于进行程序测试的测试数据；其中，所述目标函数用于调用待测程序和所述待测程序对应的标准程序；

程序测试模块，用于将所述测试数据通过所述目标函数分别输入所述标准程序和所述待测程序中，得到所述标准程序输出的测试结果，以及所述待测程序输出的测试结果；

程序评价模块，用于根据所述标准程序输出的测试结果和所述待测程序输出的测试结果，对所述待测程序进行评价。

10.一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任一项所述的待测程序评价方法。

Images