CN111177222B - 模型测试方法、装置及计算设备、存储介质 - Google Patents

Abstract

本申请提供一种模型测试方法、装置及计算设备、存储介质，涉及计算机技术，包括：首先获取历史测试数据，其中：所述历史测试数据包括以时间点为索引记录的各个时间点的测试数据；然后按照所述历史测试数据的时间点顺序，依次获取各个时间点对应的测试数据并存储到消息队列中，以使待测试模型按照所述时间点顺序从所述消息队列中获取各时间点对应的测试数据进行测试，其中：所述消息队列用于模拟所述待测试模型在在线场景时实时获取数据的消息通道。该方式中通过对历史测试数据建立时间索引并存储到消息队列中，提高了对于待测试模型的测试数据输入顺序的准确性以及测试的时间效率。

Description

模型测试方法、装置及计算设备、存储介质

技术领域

本申请涉及计算机技术，尤其涉及大数据处理技术领域，提供一种模型测试方法、装置及计算设备、存储介质。

背景技术

相关技术中，基于海量的大数据可实现大数据分析以此来获得一些需要的分析结果。例如基于各个终端用户的位置信息，可通过模型进行线上分析，实时确定不同区域的区域热力，例如人流越多的区域热力越高。

当然，对大数据进行分析的模型也不仅限于进行线上分析的模型，也可以包括线下分析的模型。但是无论是线上的模型还是线下的模型，模型都可能基于某种原因进行优化，优化的模型需要通过测试才能正常作业得到准确的分析结果。为便于区分，需要测试的模型统称为测试模型。对于测试模型的测试，往往需要从海量离线日志中将特定日志作为测试模型的输入数据来执行测试任务。

但发明人发现，上述方案对模型的测试不够准确，且耗时较长。

发明内容

本申请实施例提供一种模型测试方法、装置及计算设备、存储介质，用以提高对于待测试模型测试的测试数据输入顺序的准确性以及测试的时间效率。

第一方面，本申请实施例提供一种模型测试方法，所述方法包括：

获取历史测试数据，其中：所述历史测试数据包括以时间点为索引记录的各个时间点的测试数据；

按照所述历史测试数据的时间点顺序，依次获取各个时间点对应的测试数据并存储到消息队列中，以使待测试模型按照所述时间点顺序从所述消息队列中获取各时间点对应的测试数据进行测试，其中：所述消息队列用于模拟所述待测试模型在在线场景时实时获取数据的消息通道。

第二方面，本申请实施例提供一种模型测试方法装置，所述装置包括：

第一获取模块，用于获取历史测试数据，其中：所述历史测试数据包括以时间点为索引记录的各个时间点的测试数据；

第二获取模块，用于按照所述历史测试数据的时间点顺序，依次获取各个时间点对应的测试数据并存储到消息队列中，以使待测试模型按照所述时间点顺序从所述消息队列中获取各时间点对应的测试数据进行测试，其中：所述消息队列用于模拟所述待测试模型在在线场景时实时获取数据的消息通道。

第三方面，本申请实施例还提供一种计算设备，包括：

存储器以及处理器；

存储器，用于存储程序指令；

处理器，用于调用所述存储器中存储的程序指令，按照获得的程序第一方面任一项所述的模型测试方法。

第四方面，本申请实施例还提供一种计算机存储介质，其中，所述计算机存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行本申请实施例中的任一模型测试方法。

本申请实施例提供的一种模型测试方法、装置以及计算设备、存储介质，该方法中，首先获取历史测试数据，其中：所述历史测试数据包括以时间点为索引记录的各个时间点的测试数据；然后按照所述历史测试数据的时间点顺序，依次获取各个时间点对应的测试数据并存储到消息队列中，以使待测试模型按照所述时间点顺序从所述消息队列中获取各时间点对应的测试数据进行测试，其中：所述消息队列用于模拟所述待测试模型在在线场景时实时获取数据的消息通道。该方式中通过对历史测试数据建立时间索引解决了日志乱序的问题，提高了对于待测试模型的测试数据输入顺序的准确性，并通过将筛选出的历史测试数据存储到消息队列中，消息队列中存储的都是用于测试的数据，不存在冗余数据，不仅模拟了在线场景下获取实时数据的场景，通过去除冗余数据也避免在待测试模型进行测试时再去海量的历史数据中进行查找，从而提高了测试的时间效率。

本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，显而易见地，下面所介绍的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种地理围栏区域的应用场景示意图；

图2为本申请实施例提供的一种模型测试方法的应用场景示意图；

图3为本申请实施例提供的一种历史测试数据获取界面的示意图；

图4为本申请实施例提供的一种指定区域的应用场景图；

图5为本申请另一实施例提供的一种指定区域的应用场景图；

图6为本申请实施例提供的一种模型测试方法的流程示意图；

图7为本申请另一实施例提供的一种模型测试方法的流程示意图；

图8为本申请实施例提供的一种模型测试方法的场景示意图；

图9为本申请实施例提供一种的模型测试装置的结构示意图；

图10为本申请实施例提供一种计算设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。

为了方便理解，下面对本申请实施例中涉及的名词进行解释：

(一)、位置大数据：位置大数据是基于地图定位平台平均每天超过1000亿次定位请求构建的一个数据挖掘平台，地图定位平台例如可以为即时通讯工具、地图应用、购物应用等智能终端产品。这类产品能够提供定位服务。位置大数据的一个应用是，通过分析和挖掘用户定位日志，输出了基于位置的大数据人流画像等多个维度的能力。

(二)、地理围栏：是LBS(Location Based Services，基于位置的服务LBS)的一种新应用，就是用一个虚拟的栅栏围出一个虚拟地理边界。用来做“当手机进入、离开某个特定地理区域，或在该区域内活动时”的统计载体。可以简单理解为在地图上一个自定义的区域。例如，参阅图1，为本申请实施例提供的一种地理围栏区域的应用场景示意图。当然，随着特定区域的边界不同，地理围栏的形状也不同，多数呈现为不规则的多边形。

(三)、实时计算：和离线计算一样，都是建立在海量数据量上的计算。但区别于离线计算，很多时候，即使是海量数据，也希望可以即时去查看一些数据指标，例如购物高峰期的实时订单，定位大数据统计的实时区域热力，故此实时流计算应运而生。其中，实时流计算有两个特点，一个是实时，随时可以看数据；另一个是流，数据像流水一样源源不断的输入。

(四)、消息通道：消息通道技术是分布式应用间交换信息的一种技术。消息队列可驻留在内存或磁盘上，队列存储消息直到消息被应用程序读走。通过消息队列，应用程序可独立地执行，不需要知道彼此的位置、或在继续执行前不需要等待接收程序接收此消息。大数据消息通道用于接收每秒百万次的定位请求产生的日志，可用于下游实时计算系统的数据输入。

相关技术中，对于测试模型的通用的方案是用修改后的新模型写一个离线算法，然后将特定时间段的历史数据作为一个输入源执行离线任务，来进行测试算法效果。但发明人发现该方案存在两个方面的缺点：一方面从数据上来说，如果用历史数据如离线日志来做输入源，存在测试不够准确的问题，因为可能由于网络延迟等原因会产生离线日志时间乱序的情况，例如，当天7:00产生的日志数据可能在当天7:10分才到达离线日志集群中；另一方面从算法上来说，在实时计算中，离线日志作为输入源的情况下，由于离线日志是海量的，因此测试时需要花费大量的时间来确定离线日志中的所需的特定区域的特定时间段的部分日志，从而造成时间复杂度高，耗时较长，还可能会造成整个实时流数据的拥堵问题。

有鉴于此，本申请实施例中提供一种模型测试方法。本申请实施例中，主要可分为两个部分：第一部分是准备部分，为解决相关技术中的日志乱序，以及时间复杂度高的问题，首先需要从海量的历史数据中获取需要进行测试的那部分指定日期指定区域的离线数据，并且为该部分离线数据建立时间索引，以使离线数据按照时间顺序排序；第二部分是测试部分，待测试模型从用于模拟该待测试模型在在线场景时实时获取数据的消息通道的消息队列中，实时获取已准备的那部分离线数据。通过将筛选出的历史测试数据存储到消息队列中，消息队列中存储的都是用于测试的数据，不存在冗余数据，不仅模拟了在线场景下获取实时数据的场景，通过去除冗余数据也避免在待测试模型进行测试时再去海量的历史数据中进行查找，从而提高了测试的时间效率。

在介绍完本申请实施例的设计思想之后，下面对本申请实施例的技术方案能够适用的应用场景做一些简单介绍，需要说明的是，以下介绍的应用场景仅用于说明本申请实施例而非限定。在具体实施时，可以根据实际需要灵活地应用本申请实施例提供的技术方案。

参阅图2，为本申请实施例提供的一种模型测试方法的应用场景示意图，该场景中包括用户20、终端设备21、后台服务器22。用户20可指定获取满足条件的离线日志，终端设备21响应于用户的条件通过程序获取离线数据，并将该离线数据发送给后台服务器22进行存储备用，以便于如本申请提供的方法在需要对待测试模型进行测试时，以该离线数据作为历史测试数据，并作为待测试模型的输入源。此外，本申请实施测试时可在终端设备21上完成，也可在后台服务器22中完成本申请的实施过程，在此对于该实施场景不做限定。

前述中的终端设备21例如可以是智能手机、平板电脑，车载终端、智能手表等。后台服务器22可以是一台服务器、若干台服务器组成的服务器集群或云计算中心。

当然，本申请实施例提供的方法并不限用于图2所示的应用场景中，还可以用于其它可能的应用场景，本申请实施例并不进行限制。对于图2所示的应用场景的各个设备所能实现的功能将在后续的方法实施例中一并进行描述，在此先不过多赘述。

为进一步说明本申请实施例提供的技术方案，下面结合附图以及具体实施方式对此进行详细的说明。虽然本申请实施例提供了如下实施例或附图所示的方法操作步骤，但基于常规或者无需创造性的劳动在该方法中可以包括更多或者更少的操作步骤。在逻辑上不存在必要因果关系的步骤中，这些步骤的执行顺序不限于本申请实施例提供的执行顺序。

以下将根据设计思想中的两部分进行分别说明，包括：

一、准备部分：

实施时，根据测试需求，为解决数据乱序的问题首先从离线数据集群中获取指定日期的指定离线数据；然后为该部分获取的指定离线数据建立时间索引。

1)获取从离线数据集群中获取指定日期的指定离线数据。

具体实施时，通过从离线日志集群中将指定日期的指定区域的离线日志作为测试数据，将待测试模型的输入源进行了筛选过滤，从而使得待测试模型的输入源更加精准，节约了数据查找计算的时间。例如，开发测试人员在2019.09.28 12:00准备对待测试模型进行测试，测试在体育馆的演唱会时的人数情况；但测试的时刻并没有关于体育馆演唱会的实时数据，因此开发测试人员需要获取2019.09.22的离线日志，并且进一步筛选出该日期的离线日志中的体育馆的离线日志。

上述方法中，可通过用户界面对指定日期的指定区域的离线日志进行可视化获取，参阅图3，为本申请实施例提供的一种历史测试数据获取界面的示意图，该界面包括两个部分，一部分是指定日期的选择，另一部分时指定区域的选择，通过该界面可确定获取的离线日志，并将获取的这部分离线日志作为历史测试数据。通过该界面，可使开发测试人员方便的筛选出目标数据。

作为一种可能的实施方式，从指定日期的离线日志中确定属于指定区域内的日志记录；若该日志记录为定位点日志记录，实施时针对每条日志记录进行确定日志记录中的定位点是否位于指定区域的最小外接矩形内的判断：若定位点位于最小外接矩形内，则确定日志记录为指定区域的离线日志的日志记录；若定位点位于最小外接矩形外，则过滤掉对应的日志记录。例如，参阅图4，为本申请实施例提供的一种指定区域的应用场景图，若指定区域为体育馆，由于其形状为椭圆形，则确定该椭圆的最小外接矩形，从指定日期的离线日志中筛选出位于该最小外接矩形内的定位点。

上述方法中，基于建立地理围栏的思想，确定最小外接矩形的一种可能的实施方式中，选取最小外接矩形的左上右下点，作为判断定位点是否在该指定区域中的依据。例如，通过图4中最小外接矩形的左上定位点A以及右下定位点B，判断获取的指定日期的离线日志中对应得定位点是否位于如图4中的最小外接矩形内；如图中的定位点C，一种可能的判断条件如表1所示：

表1

从表1中得知，只有当定位点C的坐标X位于左上右下点的X之间，定位点C的坐标Y同时也位于左上右下点的Y之间；即满足定位点在左上右下点所确定的矩形区域内时，如表1中的定位点C1，则确定该定位点位于指定区域中，则将该定位点的日志记录确定为指定区域的离线日志的日志记录，而将不满足该条件的定位点的日志记录过滤掉。参阅图4，可得到只有定位点C1位于最小外接矩形区域内，而定位点C2、C3、C4、C5位于最小外接矩形区域外。

在这种可能的实施方式中，通过提供的该最小外接矩形的实施例确定的指定区域的离线日志的实现方式简便，计算复杂度低，其计算复杂度相当于O(n)算法中的时空复杂度最低的O(1)算法；并且确定的指定区域的离线日志会混入部分干扰点的离线日志的日志记录，相当于扩大了样本集，更好的保证了待测试模型中满足条件的定位点都可获取到，因此增加了测试数据的准确性。

作为另一种可能的实施方式，从指定日期的离线日志中确定属于指定区域内的日志记录；若该日志记录为定位点日志记录，实施时针对定每条定位点的日志记录进行根据射线法确定日志记录中的定位点是否在指定区域的边界内的判断；若定位点在指定区域的边界内，则确定日志记录为属于指定区域内的日志记录；若定位点在指定区域的边界外，则过滤掉对应的日志记录。其中，射线法中常用水平扫描线法或垂直线法来判断一个点是否在区域内；假若有一疑问点P(x，y)，要判断它是否在多边形区域内，可从该疑问点向左引水平扫描线，即射线；然后计算此线段与区域边界的相交次数c；如果c为奇数，则确定疑问点在多边形内；如果c为偶数，则确定疑问点在多边形外。

上述方式在实施时，同样基于建立地理围栏的思想，首先需要确定目标测试区域的边界；例如，参阅图5，为本申请另一实施例提供的一种指定区域的应用场景图，若指定区域为体育馆，其形状为椭圆形，则确定指定区域的边界为该体育馆对应的边界；然后通过射线法确定各定位点是否位于边界内，将位于边界内的定位点数据作为待测试模型的测试数据。在这种可能的实施方式中，确定的定位点数据更精确，但计算复杂度相对于最小外接矩形的实施方式更为复杂。

2)为获取的指定离线数据建立时间索引。

可选的，构建以时间点为索引，测试数据为值的键值对。通过该实施方式可实现在待测试模型进行测试时，按照时间点的索引记录对历史测试数据按照顺序进行获取，避免了数据乱序的问题。

上述方法在实施时，可通过构建包括关键字key和key对应的值value的哈希变量来构建键值对。其中，针对各测试数据执行：首先确定测试数据中包括的时间点中的时分秒的哈希值；然后以测试数据的时分秒的哈希值作为key，并将该测试数据作为value填充到key对应的数组中；最后将历史测试数据中的各测试数据的键值对按时间点排序。例如，构建哈希变量的一种实施方式如表2所示：

表2

Key	value	value-数组对应的日志
			12：00：00	value-数组A	定位点A1-An的日志
12：30：00	value-数组B	定位点B1-Bn的日志
			12：30：30	value-数组C	定位点C1-Cn的日志

需要说明的是，一个key对应的value是一个包含多个定位点记录的数据结构，当待测试模型获取该测试数据时，按照时间顺序读取各时刻点的数据结构，各数组中的多条日志内容按照存储顺序进行获取。

具体实施时，通过上述实施方式将历史测试数据构建了时间索引，以便于待测试模型按照时间点顺序从消息队列中获取各时间点对应的测试数据进行测试。其中，待测试模型获取测试数据，一种可能的实施方式为待测试模型通过从消息队列中读取获取到测试数据；或者，待测试模型向消息队列发送一个数据请求，请求消息队列将数据发送给待测试模型。

通过将指定离线数据建立以时间点为索引记录的测试数据作为待测试模型用于测试的历史测试数据，将待测试模型需要的待测试数据在测试前进行了准备和处理，保障了待测试模型在测试时的准确和尽可能对待测试模型进行优化。

二、测试部分

通过以上的设计思想中的准备部分可得到经过处理的历史测试数据，以保障待测试模型的测试的准确性和时间效率。以下是待测试模型基于前述的准备部分进行的测试部分。参阅图6，为本申请实施例的一种模型测试方法的流程示意图，包括以下步骤：

步骤601：获取历史测试数据，其中：历史测试数据包括以时间点为索引记录的各个时间点的测试数据；

步骤602：按照历史测试数据的时间点顺序，依次获取各个时间点对应的测试数据并存储到消息队列中，以使待测试模型按照时间点顺序从消息队列中获取各时间点对应的测试数据进行测试，其中：消息队列用于模拟待测试模型在在线场景时实时获取数据的消息通道。

具体实施时，获取历史测试数据时，一种可能的实施方式为，可进一步确定历史测试数据的开始时刻：首先待测试模型响应于用户操作设置的时间偏移值，确定当前时间与时间偏移值共同确定的时间点；然后将共同确定的时间点对日期进行取余，得到获取该历史测试数据的时间起点；最后从该确定的时间起点开始，获取该历史测试数据。

例如，当前时间为2019-09-29 11：00：00，时间偏移量为1小时，那后台服务在2019-09-27 11：00：00会取已确定的指定日志2019-09-26 12：00：00的日志；然后对获取的离线日志取余，即将离线日志的“2019-09-26”部分去掉，只保留在测试时需要的时分秒“12：00：00”；最后将从12：00：00开始获取到的离线日志按照时间顺序存储到消息队列中，此服务会一直循环运行。

通过该实施方式，可使得待测试模型从指定时间开始获取历史测试数据，实现模拟从指定时间开始的场景，例如演唱会有开场时间，为统计从开场时间开始的人数变化，而设置时间偏移值。其中，具体实施时，设置时间偏移值，通过当前时间和待测试模型的目标测试时间确定。

上述实施方式中，在测试数据发送给待测试模型进行测试之后，若待测试模型基于测试结果对待测试模型中的参数进行了修改或优化，此时需要再次对待测试新模型进行测试，返回执行响应于用户操作设置的时间偏移值，确定当前时间与时间偏移值共同确定的时间点的步骤。需要说明的是，此时的时间偏移值是基于新的当前时间和目标开始测试时刻确定的新的时间偏移值。

本申请实施例的模型测试方法，通过获取指定日期且指定区域中的离线日志中的数据作为历史测试数据，使得通过该历史测试数据对于待测试模型进行测试。并且为尽可能模拟当时的实时数据以实现对待测试模型的测试，通过建立时间索引确定的历史测试数据进行重排，以解决日志乱序的问题。此外，由于消息队列用于模拟待测试模型在在线场景时实时获取数据的消息通道，因此通过将筛选出的历史测试数据存储到消息队列中，消息队列中存储的都是用于测试的数据，不存在冗余数据，不仅模拟了在线场景下获取实时数据的场景，通过去除冗余数据也避免在待测试模型进行测试时再去海量的历史数据中进行查找，从而提高了测试的时间效率。通过本申请的方法，基于对历史测试数据的获取并通过消息队列的实时输入，对新模型进行测试，用于解决在新模型建立之后，近期没有合适测试数据来实现对新模型测试而需要通过回放历史测试数据作为输入源的问题，为开发人员提供了方便的开发环境。

基于本申请提供的一种模型测试方法，可应用于如前述所示的读取定位点的离线日志进行对于指定日期的指定区域的人流实时预测；还可应用于，若获取的历史测试数据是图像数据例如交通监控的抓拍图像，通过本申请提供的方法可用于交通违规的预测；或者，获取的历史测试数据可以是购物时产生的相关日志，通过本申请提供的方法用于对于异常购物行为的识别，例如对于刷单行为的识别；或者，获取的历史测试数据可以为人脸图像，通过本申请提供的方法用于通过该人脸图像识别可疑的人；还可以，获取的历史测试数据可以为金融领域的账号产生的日志信息，通过本申请提供的方法用于通过该日志信息识别到异常的金融账户等。前述的应用场景不是对于本申请应用场景的唯一限定。

为更清楚地理解本申请，参阅图7，为本申请另一实施例提供的一种模型测试方法的流程示意图，包括：

步骤701：获取指定日期的指定区域的测试数据作为历史测试数据。

由于历史的离线日志的数量十分庞大，虽然获取指定日期的离线日志量会有所减少但仍然非常多，可能经常到达10T+级别。本申请的待测试模型是针对部分指定日期的指定区域的数据的测试，因此需要从获取的指定日期的离线日志中进一步确认属于该指定区域的离线日志。实施时，例如，该指定区域为体育馆，确认体育馆的离线日志，实施为将该指定日期的离线日志进行过滤。在一种可能的实施方式中，通过保留位于该体育馆的最小外接矩形边界内的定位点对应的日志，将位于该体育馆的最小外接矩形边界外的定位点对应的日志过滤掉；其中，如何确定定位点是否位于该最小外接矩形区域内的实施方式前述已经具体说明，此处不再赘述。

步骤702：为历史测试数据构建时间索引。

其中，离线日志可能从全国各个地点多个客户或设备传输过来的，由于网络或距离的原因，可能存在日志接收是乱序的情况，因此在待测试模型进行测试时，需要新建一个后台服务，对需要进行测试的历史测试数据建立时间索引，从而解决日志乱序导致的问题。在一个可能的实施方式中，设置一个哈希变量，设置哈希变量的具体实施方式已在前述说明，此处不再赘述；在这个场景中，key设置为时间戳，只包含日志的时分秒，value设置为一个数组结构，数组中存着一条条是当前key时间戳对应的日志内容，将第一步产生的日志按行读取到内存中，以定位日志为例，日志的样例为“2019-09-26 12：00：00|IMEI号(International Mobile Equipment Identity，国际移动设备识别码)|经纬度信息|其他信息“，首先将日志内容按竖线进行分隔，取第一个字符串，也就是2019-09-26 12：00：00，然后对该日志内容取余，去掉其中的日期字段，仅保留时分秒字段，即12：00：00，用它作为哈希结构key实际的值，对应的value的数组中新增“2019-09-26 12：00：00|IMEI号|经纬度信息|其他信息”这条记录，按照这种实施方式，将所有的定位日志都读取进来并且存储到此哈希算法结构上。建立时间为key的索引一方面便于日志的后续按时打入消息队列的操作，另一方面，也将离线日志中有部分时间乱序的日志进行了重排。

步骤703：将构建时间索引后的历史测试数据打入消息队列中。

其中，打入消息队列通过消息通道技术，消息通道是一个存放消息的容器，它的底层实现原理是队列，一个先进先出的数据结构，按时间顺序打入到消息队列的日志内容，在实时计算作为输入源获取的时候，因为消息队列先进先出的特性，可以保证日志被顺序地作为实时计算的输入。

此外，在步骤702的哈希算法结构建立好之后，可选的，设定一个可配置化修改的时间偏移值，假设步骤702中新建的后台服务每1s执行一次，首先获取当前时间和时间偏移值，并对一天取余，格式化成步骤702中索引的形式，然后将日志中符合这1s的记录都打入到消息通道中，此服务会一直循环运行。

步骤704：对待测试模型进行测试。

带有待测试模型的测试实时系统从步骤703中的消息通道中实时获取数据，并进行模拟测试，测试期间发现待测试模型的问题可以随时修改待测试模型，然后重启实时系统，重启完之后若还需要将用于实时测试的历史测试数据调整到从指定时间开始读取，则重新确定步骤703中的时间偏移值即可。这种实施方式可方便高效完成测试。

参阅图8，为本申请实施例提供的一种模型测试方法的场景示意图，其中，801是从指定日志的离线日志中进一步获取的指定区域的离线日志；802用于将801中获取的离线日志读入到后台服务中的缓存中，构建时间索引，并将该部分离线日志作为历史测试数据；803是消息通道，其中包含消息队列，用于将802中构建时间索引后的历史测试数据读取到消息通道的消息队列中；804是待测试模型，从803的消息队列中实时获取历史测试数据，对待测试模型进行模拟的实时输入的测试；此外，还可通过如805配置时间偏移值，以使历史测试模型从指定时间开始读取历史测试数据；并且当如806的待测试模型进行修改后，只需重新获取805的时间偏移值，并结合802中的历史测试数据进行读取。

基于相同的发明构思，参阅图9，为本申请实施例提供一种模型测试方法装置的结构示意图，装置包括：第一获取模块901以及第二获取模块902。

第一获取模块901，用于获取历史测试数据，其中：历史测试数据包括以时间点为索引记录的各个时间点的测试数据；

第二获取模块902，用于按照历史测试数据的时间点顺序，依次获取各个时间点对应的测试数据并存储到消息队列中，以使待测试模型按照时间点顺序从消息队列中获取各时间点对应的测试数据进行测试，其中：消息队列用于模拟待测试模型在在线场景时实时获取数据的消息通道。

在一些可能的实施方式中，根据本申请的计算设备可以至少包括至少一个处理器、以及至少一个存储器。其中，存储器存储有计算机程序，当计算机程序被处理器执行时，使得处理器执行本说明书上述描述的根据本申请各种示例性实施方式的模型测试方法中的步骤。例如，处理器可以执行如图6中所示的步骤601-步骤602。

下面参照图10来描述根据本申请的这种实施方式的计算设备130。图10显示的计算设备130仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图10所示，计算设备130以通用计算装置的形式表现。计算设备130的组件可以包括但不限于：上述至少一个处理器131、上述至少一个存储器132、连接不同系统组件(包括存储器132和处理器131)的总线133。

总线133表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器、外围总线、处理器或者使用多种总线结构中的任意总线结构的局域总线。

存储器132可以包括易失性存储器形式的可读介质，例如随机存取存储器(RAM)1321和/或高速缓存存储器1322，还可以进一步包括只读存储器(ROM)1323。

存储器132还可以包括具有一组(至少一个)程序模块1324的程序/实用工具1325，这样的程序模块1324包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

计算设备130也可以与一个或多个外部设备134(例如键盘、指向设备等)通信，和/或与使得该计算设备130能与一个或多个其它计算装置进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口135进行。并且，计算设备130还可以通过网络适配器136与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器136通过总线133与用于计算设备130的其它模块通信。应当理解，尽管图中未示出，可以结合计算设备130使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

在一些可能的实施方式中，本申请提供的模型测试方法的各个方面还可以实现为一种程序产品的形式，其包括计算机程序，当程序产品在计算机设备上运行时，计算机程序用于使计算机设备执行本说明书上述描述的根据本申请各种示例性实施方式的模型测试方法中的步骤，例如，计算机设备可以执行如图6中所示的步骤601-步骤602。

程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

本申请的实施方式的用于参数处理的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括计算机程序，并可以在计算装置上运行。然而，本申请的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读计算机程序。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的计算机程序可以用任何适当的介质传输，包括——但不限于——无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本申请操作的计算机程序，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。计算机程序可以完全地在目标对象计算装置上执行、部分地在目标对象设备上执行、作为一个独立的软件包执行、部分在目标对象计算装置上部分在远程计算装置上执行、或者完全在远程计算装置或服务器上执行。在涉及远程计算装置的情形中，远程计算装置可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到目标对象计算装置，或者，可以连接到外部计算装置(例如利用因特网服务提供商来通过因特网连接)。

应当注意，尽管在上文详细描述中提及了装置的若干单元或子单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。

此外，尽管在附图中以特定顺序描述了本申请方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用计算机程序的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (8)

1.一种模型测试方法，其特征在于，所述方法包括：

获取历史测试数据，其中：所述历史测试数据包括：构建以时间点为索引，各个时间点的测试数据为值的键值对；其中，针对所述历史测试数据的各测试数据分别执行以下操作，获得各自的键值对，并将所述各测试数据的键值对按时间点排序：确定所述测试数据中包括的时间点中的时分秒的哈希值，将所述测试数据的时分秒的哈希值作为key，并将所述测试数据作为value填充到所述key对应的数组中；

按照所述历史测试数据的时间点顺序，依次获取各个时间点对应的测试数据并存储到消息队列中，以使待测试模型按照所述时间点顺序从所述消息队列中获取各时间点对应的测试数据进行测试，其中：所述消息队列用于模拟所述待测试模型在在线场景时实时获取数据的消息通道。

2.根据权利要求1所述的方法，其特征在于，所述获取历史测试数据，包括：

从离线日志集群中获取指定日期的离线日志；

从所述指定日期的离线日志中确定属于指定区域内的日志记录作为所述历史测试数据。

3.根据权利要求2所述的方法，其特征在于，若所述日志记录为定位点日志，则所述从所述指定日期的离线日志中确定属于指定区域内的日志记录，包括：

针对所述指定日期的离线日志中的每条日志记录执行：

确定所述日志记录中的定位点是否位于所述指定区域的最小外接矩形内；

若所述定位点位于所述最小外接矩形内，则确定所述日志记录为所述指定区域的离线日志的日志记录；

若所述定位点位于所述最小外接矩形外，则过滤掉所述日志记录。

4.根据权利要求2所述的方法，其特征在于，若所述日志记录为定位点日志，则从所述指定日期的离线日志中确定属于指定区域内的日志记录，包括：

针对所述指定日期的离线日志中的每条日志记录执行：

根据射线法确定所述日志记录中的定位点是否在所述指定区域的边界内；

若所述定位点在所述指定区域的边界内，则确定所述日志记录为属于指定区域内的日志记录；

若所述定位点在所述指定区域的边界外，则过滤掉所述日志记录。

5.根据权利要求1所述的方法，其特征在于，所述获取历史测试数据，包括：

响应于用户操作设置的时间偏移值，确定当前时间与所述时间偏移值共同确定的时间点；

将所述共同确定的时间点对日期进行取余，得到获取所述历史测试数据的时间起点；

从所述时间起点开始，获取所述历史测试数据。

6.一种模型测试装置，其特征在于，包括：

第一获取模块，用于获取历史测试数据，其中：所述历史测试数据包括：构建以时间点为索引，各个时间点的测试数据为值的键值对；其中，针对所述历史测试数据的各测试数据分别执行以下操作，获得各自的键值对，并将所述各测试数据的键值对按时间点排序：确定所述测试数据中包括的时间点中的时分秒的哈希值，将所述测试数据的时分秒的哈希值作为key，并将所述测试数据作为value填充到所述key对应的数组中；

第二获取模块，用于按照所述历史测试数据的时间点顺序，依次获取各个时间点对应的测试数据并存储到消息队列中，以使待测试模型按照所述时间点顺序从所述消息队列中获取各时间点对应的测试数据进行测试，其中：所述消息队列用于模拟所述待测试模型在在线场景时实时获取数据的消息通道。

7.一种计算设备，其特征在于，包括：存储器以及处理器；

存储器，用于存储程序指令；

处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行权利要求1-5任一项所述的方法。

8.一种计算机存储介质，存储有计算机可执行指令，其特征在于，所述计算机可执行指令用于执行如权利要求1-5中任一权利要求所述的方法。

Images