CN104809060B - 应用上线指标的检测方法及装置 - Google Patents
应用上线指标的检测方法及装置 Download PDFInfo
- Publication number
- CN104809060B CN104809060B CN201510153159.1A CN201510153159A CN104809060B CN 104809060 B CN104809060 B CN 104809060B CN 201510153159 A CN201510153159 A CN 201510153159A CN 104809060 B CN104809060 B CN 104809060B
- Authority
- CN
- China
- Prior art keywords
- application
- standard grade
- index
- time series
- moment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种应用上线指标的检测方法及装置。本发明实施例通过确定应用的应用上线指标在待检测时刻存在剧变点，进而获取所述应用上线指标在所述待检测时刻所属单位统计时间之内的第一时间序列，以及与所述第一时间序列相关的第二时间序列，使得能够根据所述第一时间序列和所述第二时间序列，确定所述剧变点的出现因素，无需人工参与检测过程，操作简单，而且正确率高，从而提高了应用上线指标的检测的效率和可靠性。
Description
【技术领域】
本发明涉及检测技术，尤其涉及一种应用上线指标的检测方法及装置。
【背景技术】
随着通信技术的发展，终端集成了越来越多的功能，从而使得终端的系统功能列表中包含了越来越多相应的应用(Application，APP)。在互联网中，内容提供商每天都会发生数以百计的应用上线。一些应用上线是为了向用户提供新的应用，而另外一些应用上线则是为了完善旧的应用。为了避免应用上线后出现错误，提供应用的工程师一般会在仿真环境中模拟上线的过程，并测试上线的可靠性。然而，真实上线环境中多样的操作系统、复杂的交互环境以及数以千计的服务器规模是仿真环境所难以模拟的。一些在仿真环境中并未出现的问题在真实环境中却会出现。应用上线发生之后，如果出现错误，会影响用户的体验，进而影响互联网内容提供商的收益。一般的，当应用上线发生错误时，与之相关的服务器的性能指标和性能指标等应用上线指标的时间序列会出现剧变。因此，快速稳定的检测出应用上线有关的服务器的性能指标和性能指标等应用上线指标的时间序列中所存在的剧变点，以及导致剧变点出现的原因，具有重要意义。
当前，每一次应用上线后，如果检测到应用上线指标的时间序列中存在剧变点，该应用相关的工程师一般采用人为观测法，观察与此次上线有关的服务器的性能指标和性能指标等应用上线指标的时间序列，以检测所述剧变点的出现因素。这种方法，检测时间长，而且容易出错，从而导致了应用上线指标的检测的效率和可靠性的降低。
【发明内容】
本发明的多个方面提供一种应用上线指标的检测方法及装置，用以提高应用上线指标的检测的效率和可靠性。
本发明的一方面，提供一种应用上线指标的检测方法，包括：
确定应用的应用上线指标在待检测时刻存在剧变点；
获取所述应用上线指标在所述待检测时刻所属单位统计时间之内的第一时间序列，以及与所述第一时间序列相关的第二时间序列；
根据所述第一时间序列和所述第二时间序列，确定所述剧变点的出现因素。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述第二时间序列包括所述应用上线指标在所述待检测时刻所属单位统计时间之前的其他单位统计时间之内的其他时间序列，该其他时间序列为所述应用使用所述第一服务器时所产生的；所述根据所述第一时间序列和所述第二时间序列，确定所述剧变点的出现因素，包括：
采用数列对比方法，对所述第一时间序列与所述第二时间序列进行对比分析，通过对比两个时间序列的数值特点是否一致，以确定所述剧变点的出现因素是否为周期性变化。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述第二时间序列包括所述应用上线指标在所述待检测时刻所属单位统计时间之内的其他时间序列，该其他时间序列为所述应用使用第二服务器时所产生的；所述根据所述第一时间序列和所述第二时间序列，确定所述剧变点的出现因素，包括：
采用数列对比方法，对所述第一时间序列与所述第二时间序列进行对比分析，通过对比两个时间序列的数值特点是否一致，以确定所述剧变点的出现因素是否为流量切换或网络入侵。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述确定应用的应用上线指标在待检测时刻存在剧变点，包括：
根据所述第一时间序列，确定所述应用上线指标在待检测时刻存在剧变点，所述第一时间序列为所述应用使用第一服务器时所产生的。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述与所述第一时间序列相关的第二时间序列，包括下列时间序列中的至少一个：
所述应用上线指标在所述待检测时刻所属单位统计时间之前的其他单位统计时间之内的其他时间序列，该其他时间序列为所述应用使用所述第一服务器时所产生的；以及
所述应用上线指标在所述待检测时刻所属单位统计时间之内的其他时间序列，该其他时间序列为所述应用使用第二服务器时所产生的。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述确定应用的应用上线指标在待检测时刻存在剧变点，包括：
获取所述应用上线指标在所述待检测时刻之后的第三时间序列和在所述待检测时刻之前的第四时间序列；
根据所述第三时间序列，获得第一Hankel矩阵，根据所述第一Hankel矩阵和所述第一Hankel矩阵的转置矩阵，获得第一变换矩阵，根据所述第一变换矩阵，获得所述第一变换矩阵的至少一个特征值，根据所述第一变换矩阵的至少一个特征值中最小的一个特征值，获得第一特征向量；
根据所述第四时间序列，获得第二Hankel矩阵，根据所述第二Hankel矩阵和所述第二Hankel矩阵的转置矩阵，获得第二变换矩阵，根据所述第二变换矩阵和所述第一特征向量，获得三对角矩阵，根据所述三对角矩阵，获得所述三对角矩阵的至少一个特征值，根据所述三对角矩阵的至少一个特征值中最小的N个特征值，获得N个第二特征向量，N为大于或等于1的整数；
根据所述N个第二特征向量，确定所述应用上线指标在所述待检测时刻是否存在剧变点。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述应用上线指标包括下列数据中的至少一项：
所述应用所使用的服务器的性能指标；以及
所述应用的性能指标。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述根据所述三对角矩阵，获得所述三对角矩阵的至少一个特征值，包括：
根据所述三对角矩阵，采用QL迭代方法，获得所述三对角矩阵的至少一个特征值。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述根据所述N个第二特征向量，确定所述应用上线指标在所述待检测时刻是否存在剧变点，包括：
根据所述N个第二特征向量，计算平方和；
若指定数值减去所述平方和的数值大于或等于检测阈值，确定所述应用上线指标在所述待检测时刻存在剧变点。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述根据所述N个第二特征向量，确定所述应用上线指标在所述待检测时刻是否存在剧变点，还包括：
若所述指定数值减去所述平方和的数值小于所述检测阈值，确定所述应用上线指标在所述待检测时刻不存在剧变点。
本发明的另一方面，提供一种应用上线指标的检测装置，包括：
检测单元，用于确定应用的应用上线指标在待检测时刻存在剧变点；
序列单元，用于获取所述应用上线指标在所述待检测时刻所属单位统计时间之内的第一时间序列，以及与所述第一时间序列相关的第二时间序列；
分析单元，用于根据所述第一时间序列和所述第二时间序列，确定所述剧变点的出现因素。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述第二时间序列包括所述应用上线指标在所述待检测时刻所属单位统计时间之前的其他单位统计时间之内的其他时间序列，该其他时间序列为所述应用使用所述第一服务器时所产生的；所述分析单元，具体用于
采用数列对比方法，对所述第一时间序列与所述第二时间序列进行对比分析，通过对比两个时间序列的数值特点是否一致，以确定所述剧变点的出现因素是否为周期性变化。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述第二时间序列包括所述应用上线指标在所述待检测时刻所属单位统计时间之内的其他时间序列，该其他时间序列为所述应用使用第二服务器时所产生的；所述分析单元，具体用于
采用数列对比方法，对所述第一时间序列与所述第二时间序列进行对比分析，通过对比两个时间序列的数值特点是否一致，以确定所述剧变点的出现因素是否为流量切换或网络入侵。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述检测单元，具体用于
根据所述第一时间序列，确定所述应用上线指标在待检测时刻存在剧变点，所述第一时间序列为所述应用使用第一服务器时所产生的。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述与所述第一时间序列相关的第二时间序列，包括下列时间序列中的至少一个：
所述应用上线指标在所述待检测时刻所属单位统计时间之前的其他单位统计时间之内的其他时间序列，该其他时间序列为所述应用使用所述第一服务器时所产生的；以及
所述应用上线指标在所述待检测时刻所属单位统计时间之内的其他时间序列，该其他时间序列为所述应用使用第二服务器时所产生的。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述检测单元，包括：
获取子单元，用于获取所述应用上线指标在所述待检测时刻之后的第三时间序列和在所述待检测时刻之前的第四时间序列；
第一特征子单元，用于根据所述第三时间序列，获得第一Hankel矩阵，根据所述第一Hankel矩阵和所述第一Hankel矩阵的转置矩阵，获得第一变换矩阵，根据所述第一变换矩阵，获得所述第一变换矩阵的至少一个特征值，根据所述第一变换矩阵的至少一个特征值中最小的一个特征值，获得第一特征向量；
第二特征子单元，用于根据所述第四时间序列，获得第二Hankel矩阵，根据所述第二Hankel矩阵和所述第二Hankel矩阵的转置矩阵，获得第二变换矩阵，根据所述第二变换矩阵和所述第一特征向量，获得三对角矩阵，根据所述三对角矩阵，获得所述三对角矩阵的至少一个特征值，根据所述三对角矩阵的至少一个特征值中最小的N个特征值，获得N个第二特征向量，N为大于或等于1的整数；
确定子单元，用于根据所述N个第二特征向量，确定所述应用上线指标在所述待检测时刻是否存在剧变点。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述应用上线指标包括下列数据中的至少一项：
所述应用所使用的服务器的性能指标；以及
所述应用的性能指标。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述第二特征子单元，具体用于
根据所述三对角矩阵，采用QL迭代方法，获得所述三对角矩阵的至少一个特征值。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述第二特征子单元，具体用于
根据所述N个第二特征向量，计算平方和；以及
若指定数值减去所述平方和的数值大于或等于检测阈值，确定所述应用上线指标在所述待检测时刻存在剧变点。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述确定子单元，还用于
若所述指定数值减去所述平方和的数值小于所述检测阈值，确定所述应用上线指标在所述待检测时刻不存在剧变点。
由上述技术方案可知，本发明实施例通过确定应用的应用上线指标在待检测时刻存在剧变点，进而获取所述应用上线指标在所述待检测时刻所属单位统计时间之内的第一时间序列，以及与所述第一时间序列相关的第二时间序列，使得能够根据所述第一时间序列和所述第二时间序列，确定所述剧变点的出现因素，无需人工参与检测过程，操作简单，而且正确率高，从而提高了应用上线指标的检测的效率和可靠性。
【附图说明】
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的应用上线指标的检测方法的流程示意图；
图2为本发明另一实施例提供的应用上线指标的检测方法的流程示意图；
图3为本发明另一实施例提供的应用上线指标的检测装置的结构示意图；
图4为本发明另一实施例提供的应用上线指标的检测装置的结构示意图。
【具体实施方式】
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的全部其他实施例，都属于本发明保护的范围。
需要说明的是，本发明实施例中所涉及的终端可以包括但不限于手机、个人数字助理(Personal Digital Assistant，PDA)、无线手持设备、平板电脑(Tablet Computer)、个人电脑(Personal Computer，PC)、MP3播放器、MP4播放器、可穿戴设备(例如，智能眼镜、智能手表、智能手环等)等。
另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
图1为本发明一实施例提供的应用上线指标的检测方法的流程示意图，如图1所示。
101、确定应用的应用上线指标在待检测时刻存在剧变点。
所谓的应用，可以为浏览器应用，或者还可以为除了浏览器应用之外的其他应用，例如，百度搜索应用、百度地图应用等，只要能够实现页面的展现即可，本实施例对此不进行特别限制。
所谓的页面，有时也可以称为万维网(World Wide Web，Web)页面，可以是基于超文本标记语言(HyperText Markup Language，HTML)编写的网页(Web Page)，即HTML页面，或者还可以是基于HTML和Java语言编写的网页，即Java服务器页面(Java Server Page，JSP)，或者还可以为其他编程语言编写的网页，本实施例对此不进行特别限定。
具体地，页面可以包括由一个或者多个页面标签例如，超文本标记语言(HyperText Markup Language，HTML)标签、JSP标签等，定义的显示区块，称为页面元素，例如，文本、图片、超链接、按钮、编辑框、下拉框等，本实施例对此不进行特别限定。
其中，所述应用的应用上线指标可以包括但不限于下列数据中的至少一项：
所述应用所使用的服务器的性能指标；以及
所述应用的性能指标。
所谓的应用所使用的服务器的性能指标，是指服务器的硬件指标，例如，中央处理单元(Central Processing Unit，CPU)使用率、内存使用率等。
所谓的应用的性能指标，是指应用的软件指标，例如，点击率、点击失败率、点击时延、平均响应时间等。
102、获取所述应用上线指标在所述待检测时刻所属单位统计时间之内的第一时间序列，以及与所述第一时间序列相关的第二时间序列。
103、根据所述第一时间序列和所述第二时间序列，确定所述剧变点的出现因素。
需要说明的是，101～103的执行主体的部分或全部可以为位于本地终端的应用，或者还可以为位于本地终端的应用中的插件或软件开发工具包(Software DevelopmentKit，SDK)等功能单元，或者还可以为位于网络侧的服务器中的处理引擎，或者还可以为位于网络侧的分布式系统，本实施例对此不进行特别限定，本实施例对此不进行特别限定。
可以理解的是，所述应用可以是安装在终端上的本地程序(nativeApp)，或者还可以是终端上的浏览器的一个网页程序(webApp)，本实施例对此不进行特别限定。
这样，通过确定应用的应用上线指标在待检测时刻存在剧变点，进而获取所述应用上线指标在所述待检测时刻所属单位统计时间之内的第一时间序列，以及与所述第一时间序列相关的第二时间序列，使得能够根据所述第一时间序列和所述第二时间序列，确定所述剧变点的出现因素，无需人工参与检测过程，操作简单，而且正确率高，从而提高了应用上线指标的检测的效率和可靠性。
可选地，在本实施例的一个可能的实现方式中，在101中，具体可以根据所述第一时间序列，确定所述应用上线指标在待检测时刻存在剧变点，所述第一时间序列为所述应用使用第一服务器时所产生的。
在一个具体的实现过程中，所述与所述第一时间序列相关的第二时间序列具体可以为所述应用上线指标在所述待检测时刻所属单位统计时间之前的其他单位统计时间之内的其他时间序列，该其他时间序列为所述应用使用所述第一服务器时所产生的。
具体地，在103中，具体可以采用现有的数列对比方法，例如，Difference-in-difference算法、中位数算法等，对第一时间序列与第二时间序列进行对比分析，通过对比两个时间序列的数值特点是否一致，以确定所述剧变点的出现因素是否为周期性变化。
如果确定为周期性变化，那么，则无需将101中所确定的“应用的应用上线指标在待检测时刻存在剧变点”这一检测结果进行上报处理。
如果确定为非周期性变化，那么，则可以将101中所确定的“应用的应用上线指标在待检测时刻存在剧变点”这一检测结果进行上报处理，或者还可以继续进行其他分析。
在另一个具体的实现过程中，所述与所述第一时间序列相关的第二时间序列具体可以为所述应用上线指标在所述待检测时刻所属单位统计时间之内的其他时间序列，该其他时间序列为所述应用使用第二服务器时所产生的。
具体地，在103中，具体可以采用现有的数列对比方法，例如，Difference-in-difference算法、中位数算法等，对第一时间序列与第二时间序列进行对比分析，通过对比两个时间序列的数值特点是否一致，以确定所述剧变点的出现因素是否为流量切换、网络入侵等外部原因。
如果确定为外部原因，那么，则无需将101中所确定的“应用的应用上线指标在待检测时刻存在剧变点”这一检测结果进行上报处理。
如果确定为非外部原因，那么，则可以将101中所确定的“应用的应用上线指标在待检测时刻存在剧变点”这一检测结果进行上报处理，或者还可以继续进行其他分析。
此时，可以由应用相关的工程师对第一时间序列进行分析，以确定所述剧变点的出现因素。然后，则可以将该出现因素作为反馈输入到101中所使用的算法、以及上面两个具体的实现过程所对应的103中所使用的算法，以调整这些算法所涉及的算法参数，例如，阈值等。
在另一个具体的实现过程中，所述与所述第一时间序列相关的第二时间序列具体可以包括上面两个具体的实现过程中的第二时间序列。具体地，在103中，具体可以采用现有的数列对比方法，例如，Difference-in-difference算法、中位数算法等，先对第一时间序列与一个具体的实现过程中的第二时间序列进行对比分析，通过对比两个时间序列的数值特点是否一致，进而再确定是否继续采用现有的数列对比方法，例如，Difference-in-difference算法、中位数算法等，再对第一时间序列与另一个具体的实现过程中的第二时间序列进行对比分析，通过对比两个时间序列的数值特点是否一致，以确定所述剧变点的出现因素，继而进行一些相关的处理，本实施例对此不进行特别限定。
可选地，在本实施例的一个可能的实现方式中，在101中，在每一次应用上线后，该应用相关的工程师一般采用人为观测法，观察与此次上线有关的服务器的性能指标和性能指标等应用上线指标的时间序列，以检测应用上线指标的时间序列中是否存在剧变点。这种方法，检测时间长，而且容易出错，从而导致了应用上线指标的检测的效率和可靠性的降低。
可选地，在本实施例的一个可能的实现方式中，在101中，在每一次应用上线后，还可以采用自动检测法，以检测应用上线指标的时间序列中是否存在剧变点。这种方法，检测时间短，而且正确率高，从而提高了应用上线指标的检测的效率和可靠性。如图2所示。
201、获取所述应用上线指标在所述待检测时刻之后的第三时间序列和在所述待检测时刻之前的第四时间序列。
可以理解的是，应用上线指标在待检测时刻的数值，可以包含在第三时间序列中，或者还可以包含在第四时间序列中，本实施例对此不进行特别限定。
202、根据所述第三时间序列，获得第一变换矩阵，根据所述第一变换矩阵，获得所述第一变换矩阵的至少一个特征值，根据所述第一变换矩阵的至少一个特征值中最小的一个特征值，获得第一特征向量。
具体地，具体可以根据所述第三时间序列，获得第一Hankel矩阵，根据所述第一Hankel矩阵和所述第一Hankel矩阵的转置矩阵，获得所述第一变换矩阵。
在一个具体的实现过程中，具体可以根据所述第一变换矩阵，采用奇异值分解方法，获得所述第一变换矩阵的至少一个特征值。
203、根据所述第四时间序列，获得第二变换矩阵，根据所述第二变换矩阵和所述第一特征向量，获得三对角矩阵，根据所述三对角矩阵，获得所述三对角矩阵的至少一个特征值，根据所述三对角矩阵的至少一个特征值中最小的N个特征值，获得N个第二特征向量，N为大于或等于1的整数。
具体地，具体可以根据所述第四时间序列，获得第二Hankel矩阵，根据所述第二Hankel矩阵和所述第二Hankel矩阵的转置矩阵，获得所述第二变换矩阵。
例如，假设待检测时刻为t，时间序列(即第三时间序列和第四时间序列)的长度为w，w为大于或等于2的整数；那么，第三时间序列则可以为x(t)、x(t+1)、x(t+2)、…、x(t+w-1)；第四时间序列则可以为x(t-w)、…、x(t-3)、x(t-2)、x(t-1)。
第一Hankel矩阵可以为如下形式，记为G(t)：
G(t)＝[r(t),r(t+1),r(t+2),…,r(t+w-1)]；其中，
r(t)＝x(t)T,x(t+1)T,x(t+2)T,…,x(t+w-1)T；
第二Hankel矩阵可以为如下形式，记为H(t)：
H(t)＝[s(t-w),…,s(t-3),s(t-2),s(t-1)]；其中，
s(t)＝x(t-w+1)T,…,x(t-3)T,x(t-2)T,x(t-1)T,x(t)T。
204、根据所述N个第二特征向量，确定所述应用上线指标在所述待检测时刻是否存在剧变点。
需要说明的是，201～204的执行主体的部分或全部可以为位于本地终端的应用，或者还可以为位于本地终端的应用中的插件或软件开发工具包(Software DevelopmentKit，SDK)等功能单元，或者还可以为位于网络侧的服务器中的处理引擎，或者还可以为位于网络侧的分布式系统，本实施例对此不进行特别限定，本实施例对此不进行特别限定。
可以理解的是，所述应用可以是安装在终端上的本地程序(nativeApp)，或者还可以是终端上的浏览器的一个网页程序(webApp)，本实施例对此不进行特别限定。
这样，通过获取所述应用上线指标在所述待检测时刻之后的第三时间序列和在所述待检测时刻之前的第四时间序列，进而利用所述第三时间序列，构建第一Hankel矩阵，进一步根据该第一Hankel矩阵，获得该第一Hankel矩阵的第一特征向量，以及利用所述第四时间序列，构建第二Hankel矩阵，进一步根据该第二Hankel矩阵和第一特征向量，获得该第二Hankel矩阵的若干个第二特征向量，使得能够根据所获得的若干个第二特征向量，确定所述应用上线指标在所述待检测时刻是否存在剧变点，无需人工参与检测过程，操作简单，而且正确率高，从而提高了应用上线指标的检测的效率和可靠性。
可选地，在本实施例的一个可能的实现方式中，在203中，具体可以根据所述第二变换矩阵和所述第一特征向量，采用Lanczos算法，获得三对角矩阵。
具体地，具体可以将一个0～w之间的任意整数，w为时间序列的长度，以及所获得的所述第二变换矩阵和所述第一特征向量，代入Lanczos算法，获得三对角矩阵。
在一个具体的实现过程中，具体可以根据所述三对角矩阵，采用奇异值分解方法，获得所述三对角矩阵的至少一个特征值。这种方法，计算复杂度较大。
在另一个具体的实现过程中，具体可以根据所述三对角矩阵，采用QL迭代方法，获得所述三对角矩阵的至少一个特征值。这种方法，计算复杂度较小，能够有效提高特征值获取的效率。
可选地，在本实施例的一个可能的实现方式中，在204中，具体可以根据所述N个第二特征向量，计算平方和。进而，则可以根据平方和和预先设置的检测阈值，确定所述应用上线指标在所述待检测时刻是否存在剧变点。
在一个具体的实现过程中，若指定数值(例如，1)减去所述平方和的数值大于或等于检测阈值，则可以确定所述应用上线指标在所述待检测时刻存在剧变点。
在另一个具体的实现过程中，若所述指定数值减去所述平方和的数值小于所述检测阈值，则可以确定所述应用上线指标在所述待检测时刻不存在剧变点。
本实施例中，通过确定应用的应用上线指标在待检测时刻存在剧变点，进而获取所述应用上线指标在所述待检测时刻所属单位统计时间之内的第一时间序列，以及与所述第一时间序列相关的第二时间序列，使得能够根据所述第一时间序列和所述第二时间序列，确定所述剧变点的出现因素，无需人工参与检测过程，操作简单，而且正确率高，从而提高了应用上线指标的检测的效率和可靠性。
另外，通过本发明所提供的应用上线指标的检测方法，可以快速稳定的检测出应用上线造成的影响，避免了错误的应用上线导致互联网用户较差的体验，从而减少了互联网内容提供商的损失。同时，采用本发明所提供的应用上线指标的检测方法，可以自动的检测出应用上线之后是否发生了剧变点，以及该剧变点的出现因素，从而减少了以往人为检测剧变点而产生的人力、物力损失。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
图3为本发明另一实施例提供的应用上线指标的检测装置的结构示意图，如图3所示。本实施例的应用上线指标的检测装置可以包括检测单元31、序列单元32和分析单元33。其中，检测单元31，用于确定应用的应用上线指标在待检测时刻存在剧变点；序列单元32，用于获取所述应用上线指标在所述待检测时刻所属单位统计时间之内的第一时间序列，以及与所述第一时间序列相关的第二时间序列；分析单元33，用于根据所述第一时间序列和所述第二时间序列，确定所述剧变点的出现因素。
其中，所述应用的应用上线指标可以包括但不限于下列数据中的至少一项：
所述应用所使用的服务器的性能指标；以及
所述应用的性能指标。
所谓的应用所使用的服务器的性能指标，是指服务器的硬件指标，例如，中央处理单元(Central Processing Unit，CPU)使用率、内存使用率等。
所谓的应用的性能指标，是指应用的软件指标，例如，点击率、点击失败率、点击时延、平均响应时间等。
需要说明的是，本实施例所提供的应用上线指标的检测装置的部分或全部可以为位于本地终端的应用，或者还可以为位于本地终端的应用中的插件或软件开发工具包(Software Development Kit，SDK)等功能单元，或者还可以为位于网络侧的服务器中的处理引擎，或者还可以为位于网络侧的分布式系统，本实施例对此不进行特别限定，本实施例对此不进行特别限定。
可以理解的是，所述应用可以是安装在终端上的本地程序(nativeApp)，或者还可以是终端上的浏览器的一个网页程序(webApp)，本实施例对此不进行特别限定。
可选地，在本实施例的一个可能的实现方式中，所述检测单元31，具体可以用于根据所述第一时间序列，确定所述应用上线指标在待检测时刻存在剧变点，所述第一时间序列为所述应用使用第一服务器时所产生的。
在一个具体的实现过程中，所述与所述第一时间序列相关的第二时间序列具体可以为所述应用上线指标在所述待检测时刻所属单位统计时间之前的其他单位统计时间之内的其他时间序列，该其他时间序列为所述应用使用所述第一服务器时所产生的。
相应地，所述分析单元，具体可以用于采用数列对比方法，对所述第一时间序列与所述第二时间序列进行对比分析，通过对比两个时间序列的数值特点是否一致，以确定所述剧变点的出现因素是否为周期性变化。
在另一个具体的实现过程中，所述与所述第一时间序列相关的第二时间序列具体可以为所述应用上线指标在所述待检测时刻所属单位统计时间之内的其他时间序列，该其他时间序列为所述应用使用第二服务器时所产生的。
相应地，所述分析单元，具体可以用于采用数列对比方法，对所述第一时间序列与所述第二时间序列进行对比分析，通过对比两个时间序列的数值特点是否一致，以确定所述剧变点的出现因素是否为流量切换或网络入侵。
在另一个具体的实现过程中，所述与所述第一时间序列相关的第二时间序列具体可以包括上面两个具体的实现过程中的时间序列。所述分析单元，具体可以用于执行上面两种处理方法。
相应地，所述分析单元，具体可以用于采用数列对比方法，例如，Difference-in-difference算法、中位数算法等，先对第一时间序列与一个具体的实现过程中的第二时间序列进行对比分析，通过对比两个时间序列的数值特点是否一致，进而再确定是否继续采用现有的数列对比方法，例如，Difference-in-difference算法、中位数算法等，再对第一时间序列与另一个具体的实现过程中的第二时间序列进行对比分析，通过对比两个时间序列的数值特点是否一致，以确定所述剧变点的出现因素，继而进行一些相关的处理，本实施例对此不进行特别限定。
如图4所示，所述检测单元31具体可以包括获取子单元41、第一特征子单元42、第二特征子单元43和确定子单元44。其中，获取子单元41，用于获取所述应用上线指标在所述待检测时刻之后的第三时间序列和在所述待检测时刻之前的第四时间序列；第一特征子单元42，用于根据所述第三时间序列，获得第一变换矩阵，根据所述第一变换矩阵，获得所述第一变换矩阵的至少一个特征值，根据所述第一变换矩阵的至少一个特征值中最小的一个特征值，获得第一特征向量；第二特征子单元43，用于根据所述第四时间序列，获得第二变换矩阵，根据所述第二变换矩阵和所述第一特征向量，获得三对角矩阵，根据所述三对角矩阵，获得所述三对角矩阵的至少一个特征值，根据所述三对角矩阵的至少一个特征值中最小的N个特征值，获得N个第二特征向量，N为大于或等于1的整数；确定子单元44，用于根据所述N个第二特征向量，确定所述应用上线指标在所述待检测时刻是否存在剧变点。
具体地，所述第一特征子单元，具体可以用于根据所述第三时间序列，获得第一Hankel矩阵，根据所述第一Hankel矩阵和所述第一Hankel矩阵的转置矩阵，获得所述第一变换矩阵。
具体地，所述第二特征子单元，具体可以用于根据所述第四时间序列，获得第二Hankel矩阵，根据所述第二Hankel矩阵和所述第二Hankel矩阵的转置矩阵，获得所述第二变换矩阵。
本实施例中，通过获取子单元获取所述应用上线指标在所述待检测时刻之后的第三时间序列和在所述待检测时刻之前的第四时间序列，进而由第一特征子单元利用所述第三时间序列，构建第一Hankel矩阵，进一步根据该第一Hankel矩阵，获得该第一Hankel矩阵的第一特征向量，以及由第二特征子单元利用所述第四时间序列，构建第二Hankel矩阵，进一步根据该第二Hankel矩阵和第一特征向量，获得该第二Hankel矩阵的若干个第二特征向量，使得确定子单元能够根据所获得的若干个第二特征向量，确定所述应用上线指标在所述待检测时刻是否存在剧变点，无需人工参与检测过程，操作简单，而且正确率高，从而提高了应用上线指标的检测的效率和可靠性。
可以理解的是，应用上线指标在待检测时刻的数值，可以包含在第三时间序列中，或者还可以包含在第四时间序列中，本实施例对此不进行特别限定。
可选地，在本实施例的一个可能的实现方式中，所述第二特征子单元43，具体可以用于根据所述三对角矩阵，采用QL迭代方法，获得所述三对角矩阵的至少一个特征值。
可选地，在本实施例的一个可能的实现方式中，所述第二特征子单元43，具体可以用于根据所述N个第二特征向量，计算平方和；以及若指定数值减去所述平方和的数值大于或等于检测阈值，确定所述应用上线指标在所述待检测时刻存在剧变点。
进一步地，所述确定子单元44，还可以进一步用于若所述指定数值减去所述平方和的数值小于所述检测阈值，确定所述应用上线指标在所述待检测时刻不存在剧变点。
需要说明的是，图1和图2对应的实施例中方法，可以由本实施例提供的应用上线指标的检测装置实现。详细描述可以参见图1和图2对应的实施例中的相关内容，此处不再赘述。
本实施例中，通过检测单元确定应用的应用上线指标在待检测时刻存在剧变点，进而由序列单元获取所述应用上线指标在所述待检测时刻所属单位统计时间之内的第一时间序列，以及与所述第一时间序列相关的第二时间序列，使得分析单元能够根据所述第一时间序列和所述第二时间序列，确定所述剧变点的出现因素，无需人工参与检测过程，操作简单，而且正确率高，从而提高了应用上线指标的检测的效率和可靠性。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (20)
1.一种应用上线指标的检测方法，其特征在于，包括：
确定应用的应用上线指标在待检测时刻存在剧变点；
获取所述应用上线指标在所述待检测时刻所属单位统计时间之内的第一时间序列，以及与所述第一时间序列相关的第二时间序列；
根据所述第一时间序列和所述第二时间序列，确定所述剧变点的出现因素。
2.根据权利要求1所述的方法，其特征在于，所述第二时间序列包括所述应用上线指标在所述待检测时刻所属单位统计时间之前的其他单位统计时间之内的其他时间序列，该其他时间序列为所述应用使用第一服务器时所产生的；所述根据所述第一时间序列和所述第二时间序列，确定所述剧变点的出现因素，包括：
采用数列对比方法，对所述第一时间序列与所述第二时间序列进行对比分析，通过对比两个时间序列的数值特点是否一致，以确定所述剧变点的出现因素是否为周期性变化。
3.根据权利要求1所述的方法，其特征在于，所述第二时间序列包括所述应用上线指标在所述待检测时刻所属单位统计时间之内的其他时间序列，该其他时间序列为所述应用使用第二服务器时所产生的；所述根据所述第一时间序列和所述第二时间序列，确定所述剧变点的出现因素，包括：
采用数列对比方法，对所述第一时间序列与所述第二时间序列进行对比分析，通过对比两个时间序列的数值特点是否一致，以确定所述剧变点的出现因素是否为流量切换或网络入侵。
4.根据权利要求1所述的方法，其特征在于，所述确定应用的应用上线指标在待检测时刻存在剧变点，包括：
根据所述第一时间序列，确定所述应用上线指标在待检测时刻存在剧变点，所述第一时间序列为所述应用使用第一服务器时所产生的。
5.根据权利要求4所述的方法，其特征在于，所述与所述第一时间序列相关的第二时间序列，包括下列时间序列中的至少一个：
所述应用上线指标在所述待检测时刻所属单位统计时间之前的其他单位统计时间之内的其他时间序列，该其他时间序列为所述应用使用所述第一服务器时所产生的；以及
所述应用上线指标在所述待检测时刻所属单位统计时间之内的其他时间序列，该其他时间序列为所述应用使用第二服务器时所产生的。
6.根据权利要求1～5任一权利要求所述的方法，其特征在于，所述确定应用的应用上线指标在待检测时刻存在剧变点，包括：
获取所述应用上线指标在所述待检测时刻之后的第三时间序列和在所述待检测时刻之前的第四时间序列；
根据所述第三时间序列，获得第一Hankel矩阵，根据所述第一Hankel矩阵和所述第一Hankel矩阵的转置矩阵，获得第一变换矩阵，根据所述第一变换矩阵，获得所述第一变换矩阵的至少一个特征值，根据所述第一变换矩阵的至少一个特征值中最小的一个特征值，获得第一特征向量；
根据所述第四时间序列，获得第二Hankel矩阵，根据所述第二Hankel矩阵和所述第二Hankel矩阵的转置矩阵，获得第二变换矩阵，根据所述第二变换矩阵和所述第一特征向量，获得三对角矩阵，根据所述三对角矩阵，获得所述三对角矩阵的至少一个特征值，根据所述三对角矩阵的至少一个特征值中最小的N个特征值，获得N个第二特征向量，N为大于或等于1的整数；
根据所述N个第二特征向量，确定所述应用上线指标在所述待检测时刻是否存在剧变点。
7.根据权利要求6所述的方法，其特征在于，所述应用上线指标包括下列数据中的至少一项：
所述应用所使用的服务器的性能指标；以及
所述应用的性能指标。
8.根据权利要求6所述的方法，其特征在于，所述根据所述三对角矩阵，获得所述三对角矩阵的至少一个特征值，包括：
根据所述三对角矩阵，采用QL迭代方法，获得所述三对角矩阵的至少一个特征值。
9.根据权利要求6所述的方法，其特征在于，所述根据所述N个第二特征向量，确定所述应用上线指标在所述待检测时刻是否存在剧变点，包括：
根据所述N个第二特征向量，计算平方和；
若指定数值减去所述平方和的数值大于或等于检测阈值，确定所述应用上线指标在所述待检测时刻存在剧变点；其中，所述指定数值为预先指定的常量。
10.根据权利要求9所述的方法，其特征在于，所述根据所述N个第二特征向量，确定所述应用上线指标在所述待检测时刻是否存在剧变点，还包括：
若所述指定数值减去所述平方和的数值小于所述检测阈值，确定所述应用上线指标在所述待检测时刻不存在剧变点。
11.一种应用上线指标的检测装置，其特征在于，包括：
检测单元，用于确定应用的应用上线指标在待检测时刻存在剧变点；
序列单元，用于获取所述应用上线指标在所述待检测时刻所属单位统计时间之内的第一时间序列，以及与所述第一时间序列相关的第二时间序列；
分析单元，用于根据所述第一时间序列和所述第二时间序列，确定所述剧变点的出现因素。
12.根据权利要求11所述的装置，其特征在于，所述第二时间序列包括所述应用上线指标在所述待检测时刻所属单位统计时间之前的其他单位统计时间之内的其他时间序列，该其他时间序列为所述应用使用第一服务器时所产生的；所述分析单元，具体用于
采用数列对比方法，对所述第一时间序列与所述第二时间序列进行对比分析，通过对比两个时间序列的数值特点是否一致，以确定所述剧变点的出现因素是否为周期性变化。
13.根据权利要求11所述的装置，其特征在于，所述第二时间序列包括所述应用上线指标在所述待检测时刻所属单位统计时间之内的其他时间序列，该其他时间序列为所述应用使用第二服务器时所产生的；所述分析单元，具体用于
采用数列对比方法，对所述第一时间序列与所述第二时间序列进行对比分析，通过对比两个时间序列的数值特点是否一致，以确定所述剧变点的出现因素是否为流量切换或网络入侵。
14.根据权利要求11所述的装置，其特征在于，所述检测单元，具体用于
根据所述第一时间序列，确定所述应用上线指标在待检测时刻存在剧变点，所述第一时间序列为所述应用使用第一服务器时所产生的。
15.根据权利要求14所述的装置，其特征在于，所述与所述第一时间序列相关的第二时间序列，包括下列时间序列中的至少一个：
所述应用上线指标在所述待检测时刻所属单位统计时间之前的其他单位统计时间之内的其他时间序列，该其他时间序列为所述应用使用所述第一服务器时所产生的；以及
所述应用上线指标在所述待检测时刻所属单位统计时间之内的其他时间序列，该其他时间序列为所述应用使用第二服务器时所产生的。
16.根据权利要求11～15任一权利要求所述的装置，其特征在于，所述检测单元，包括：
获取子单元，用于获取所述应用上线指标在所述待检测时刻之后的第三时间序列和在所述待检测时刻之前的第四时间序列；
第一特征子单元，用于根据所述第三时间序列，获得第一Hankel矩阵，根据所述第一Hankel矩阵和所述第一Hankel矩阵的转置矩阵，获得第一变换矩阵，根据所述第一变换矩阵，获得所述第一变换矩阵的至少一个特征值，根据所述第一变换矩阵的至少一个特征值中最小的一个特征值，获得第一特征向量；
第二特征子单元，用于根据所述第四时间序列，获得第二Hankel矩阵，根据所述第二Hankel矩阵和所述第二Hankel矩阵的转置矩阵，获得第二变换矩阵，根据所述第二变换矩阵和所述第一特征向量，获得三对角矩阵，根据所述三对角矩阵，获得所述三对角矩阵的至少一个特征值，根据所述三对角矩阵的至少一个特征值中最小的N个特征值，获得N个第二特征向量，N为大于或等于1的整数；
确定子单元，用于根据所述N个第二特征向量，确定所述应用上线指标在所述待检测时刻是否存在剧变点。
17.根据权利要求16所述的装置，其特征在于，所述应用上线指标包括下列数据中的至少一项：
所述应用所使用的服务器的性能指标；以及
所述应用的性能指标。
18.根据权利要求16所述的装置，其特征在于，所述第二特征子单元，具体用于
根据所述三对角矩阵，采用QL迭代方法，获得所述三对角矩阵的至少一个特征值。
19.根据权利要求16所述的装置，其特征在于，所述第二特征子单元，具体用于
根据所述N个第二特征向量，计算平方和；以及
若指定数值减去所述平方和的数值大于或等于检测阈值，确定所述应用上线指标在所述待检测时刻存在剧变点；其中，所述指定数值为预先指定的常量。
20.根据权利要求19所述的装置，其特征在于，所述确定子单元，还用于
若所述指定数值减去所述平方和的数值小于所述检测阈值，确定所述应用上线指标在所述待检测时刻不存在剧变点。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510153159.1A CN104809060B (zh) | 2015-04-01 | 2015-04-01 | 应用上线指标的检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510153159.1A CN104809060B (zh) | 2015-04-01 | 2015-04-01 | 应用上线指标的检测方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104809060A CN104809060A (zh) | 2015-07-29 |
| CN104809060B true CN104809060B (zh) | 2018-02-02 |
Family
ID=53693902
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510153159.1A Active CN104809060B (zh) | 2015-04-01 | 2015-04-01 | 应用上线指标的检测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104809060B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108509348B (zh) * | 2018-06-20 | 2021-12-07 | 厦门美图移动科技有限公司 | 一种系统老化的测试方法及移动终端 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102708049A (zh) * | 2012-04-21 | 2012-10-03 | 北京迈凯互动网络科技有限公司 | 移动应用测试结果记录和回放方法和系统 |
| EP2634699A1 (en) * | 2012-02-28 | 2013-09-04 | Tata Consultancy Services Limited | Application monitoring |
| CN103389964A (zh) * | 2012-05-10 | 2013-11-13 | 国际商业机器公司 | 用于求解数学规划问题的装置和方法 |
| CN104166619A (zh) * | 2013-05-20 | 2014-11-26 | 腾讯科技（深圳）有限公司 | 应用程序的性能测试方法及终端 |
-
2015
- 2015-04-01 CN CN201510153159.1A patent/CN104809060B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2634699A1 (en) * | 2012-02-28 | 2013-09-04 | Tata Consultancy Services Limited | Application monitoring |
| CN102708049A (zh) * | 2012-04-21 | 2012-10-03 | 北京迈凯互动网络科技有限公司 | 移动应用测试结果记录和回放方法和系统 |
| CN103389964A (zh) * | 2012-05-10 | 2013-11-13 | 国际商业机器公司 | 用于求解数学规划问题的装置和方法 |
| CN104166619A (zh) * | 2013-05-20 | 2014-11-26 | 腾讯科技（深圳）有限公司 | 应用程序的性能测试方法及终端 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104809060A (zh) | 2015-07-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104484273B (zh) | 应用程序的测试方法、设备及系统 | |
| CN108563548A (zh) | 异常检测方法及装置 | |
| CN110413510B (zh) | 一种数据处理方法、装置及设备 | |
| CN105045574A (zh) | 一种基于复杂网络故障传播的软件关键函数辨识方法 | |
| CN108721898A (zh) | 帧率的确定方法和装置、存储介质、电子装置 | |
| CN111353391B (zh) | 雷达干扰效果评估方法、装置、电子设备及其存储介质 | |
| CN114564374A (zh) | 算子性能评估方法、装置、电子设备及存储介质 | |
| CN109993506A (zh) | 智慧矿山工业物联网操作系统平台性能测试方法 | |
| CN108304322A (zh) | 一种压力测试方法及终端设备 | |
| CN109117352B (zh) | 服务器性能预测方法和装置 | |
| CN104734918A (zh) | 一种轻量级网页性能测试架构和方法 | |
| CN110083529A (zh) | 自动化测试方法、装置、介质和电子设备 | |
| CN104809060B (zh) | 应用上线指标的检测方法及装置 | |
| CN109783363A (zh) | 一种异常事件模拟方法和装置、以及计算机设备 | |
| CN109684198A (zh) | 待测试数据获取方法、装置、介质、电子设备 | |
| CN109407655A (zh) | 一种调试芯片的方法及装置 | |
| CN109656810A (zh) | 一种图像算法的调试方法、调试系统及终端设备 | |
| CN107168760A (zh) | 语言的变量检测方法和装置 | |
| CN104809059B (zh) | 应用上线指标的检测方法及装置 | |
| CN106020839B (zh) | 一种测试数据的显示方法、开发终端及图形用户界面 | |
| CN108073502B (zh) | 一种测试方法及其系统 | |
| CN106776317A (zh) | 测试方法及装置 | |
| CN117554593B (zh) | 一种农田土壤墒情实时监测方法 | |
| CN110362461A (zh) | 平均故障间隔时间的测试方法及计算机可读存储介质 | |
| CN111563772B (zh) | 广告信息访问质量确定方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| EXSB | Decision made by sipo to initiate substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |