CN106940679B - 数据处理方法及装置 - Google Patents

数据处理方法及装置 Download PDF

Info

Publication number
CN106940679B
CN106940679B CN201710102051.9A CN201710102051A CN106940679B CN 106940679 B CN106940679 B CN 106940679B CN 201710102051 A CN201710102051 A CN 201710102051A CN 106940679 B CN106940679 B CN 106940679B
Authority
CN
China
Prior art keywords
abnormal
information
classification information
characteristic value
client
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710102051.9A
Other languages
English (en)
Other versions
CN106940679A (zh
Inventor
浠讳寒
任亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Quarkdata Software Co ltd
Original Assignee
Quarkdata Software Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Quarkdata Software Co ltd filed Critical Quarkdata Software Co ltd
Priority to CN201710102051.9A priority Critical patent/CN106940679B/zh
Publication of CN106940679A publication Critical patent/CN106940679A/zh
Application granted granted Critical
Publication of CN106940679B publication Critical patent/CN106940679B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3692—Test management for test results analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G06F11/3072—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Debugging And Monitoring (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明实施例公开了一种数据处理方法及装置，涉及数据处理技术领域，能够解决现有技术中服务器资源利用率不高的问题。本发明实施例基于客户端的数据处理方法包括：获取所述客户端中与测试目标相关的异常日志信息；基于预设的特征值提取规则，获取所述异常日志信息的特征值信息；利用一个或多个决策规则，对所述特征值信息进行数据决策处理，得到包含不同异常类型的异常分类信息；将符合预设上报条件的异常分类信息向目标服务器进行发送。此外，本发明实施例还公开了基于客户端的数据处理装置、基于服务器的数据处理方法/装置及相应的客户端、服务器。通过上述方案，缓解了服务器数据处理的压力，提高了服务器的资源处理效率。

Description

数据处理方法及装置
技术领域
本发明涉及数据处理技术领域，尤其涉及基于分布式技术的数据处理。
背景技术
MTBF(Mean Time Between Failure，平均故障间隔时间)是衡量一个产品(尤其是电器产品)的可靠性指标。它反映了产品的时间质量，是体现产品在规定时间内保持功能的一种能力。具体来说，MTBF是指相邻两次故障之间的平均工作时间，也称为平均故障间隔。一般而言，产品故障越少的产品可靠性越高。
以手机的MTBF测试为例，现行MTBF测试系统中，会有若干台真实用户使用的测试手机，每台测试手机上都会运行有bug日志收集系统。当测试手机发生异常的时候，该测试手机会将该异常记录下来并提交给中央服务器。中央服务器负责记录并转发相关的问题信息给研发人员，供研发人员进行分析解决。同时，中央服务器也能生成MTBF统计报告。此外，现有技术中也存在一些基于分布式框架的自动测试系统，此类系统旨在解决当自动测试中会使用到大量设备或系统资源的时候，如何自动侦测联网测试设备的负载情况，以及如何将自动测试任务分配到空闲的测试设备上，用于解决大规模设备部署条件下，高效的自动测试任务分配的问题。
发明人在实现本发明的过程中发现，当前MTBF系统运转过程中存在效率不高的问题。举例而言，所有测试客户端采集到的异常信息都会上报给服务器，而某些系统异常的日志信息存储容量较大。这样大量的信息传输，占用了庞大的服务器资源和网络资源，且其中包含有大量的重复信息，这种情况会导致服务器资源的浪费。再如，当系统中某个模块存在重大问题(如频繁的崩溃等)时，可能会影响整个系统的运行。在该模块的问题修正之前，只能临时暂停当前版本的测试直到该问题解决为止。这样会有大量的测试资源被浪费。
发明内容
有鉴于此，本发明实施例提供一种基于客户端/服务器的数据处理方法、装置、客户端、服务器、非暂态计算机可读存储介质及计算机程序，至少部分的解决现有技术中存在的问题。
第一方面，本发明实施例提供了一种基于客户端的数据处理方法，包括：
获取所述客户端中与测试目标相关的异常日志信息；
基于预设的特征值提取规则，获取所述异常日志信息的特征值信息；
利用一个或多个决策规则，对所述特征值信息进行数据决策处理，得到包含不同异常类型的异常分类信息；
将符合预设上报条件的异常分类信息向目标服务器进行发送。
作为本发明实施例的一种具体实现方式，所述方法还包括：
对所述异常分类信息进行分析，以确定所述异常分类信息所关联的异常行为是否为可干预异常行为；以及
对于所述可干预异常行为关联的程序模块，执行暂时无效化操作。
作为本发明实施例的一种具体实现方式，所述利用一个或多个决策规则，对所述特征值信息进行数据决策处理，得到包含不同异常类型的异常分类信息，包括：
构建特征值分类器；
利用所述特征值分类器，根据所述特征值信息中包含的特征值、特征值出现的频率以及特征值之间的相互关系，对所述特征值信息进行分类处理；以及
基于所述分类处理的结果确定所述异常分类信息的异常类型。
作为本发明实施例的一种具体实现方式，所述方法还包括：
接收所述目标服务器推送的更新特征值及更新分类模型参数；
基于所述更新特征值及所述更新分类模型参数，更新所述特征值分类器；以及
利用更新后的特征值分类器对所述特征值信息进行数据决策处理。
作为本发明实施例的一种具体实现方式，所述方法还包括：
构建存储有多种异常分类信息的异常分类信息映射表；
基于所述异常分类信息映射表，判断所述特征值分类器确定的所述异常分类信息是否为新增的异常分类信息；以及
将确定为新增的异常分类信息更新至所述异常分类信息映射表。
作为本发明实施例的一种具体实现方式，所述将符合预设上报条件的异常
分类信息向目标服务器进行发送，包括：
将所述新增的异常分类信息向目标服务器进行发送。
作为本发明实施例的一种具体实现方式，所述方法还包括：
将异常类型待定的所述特征值信息关联的异常日志信息向目标服务器进行发送。
作为本发明实施例的一种具体实现方式，所述方法还包括：
基于所述异常分类信息映射表，判断所述特征值分类器确定的所述异常分类信息是否为已经上报过的异常分类信息；以及
将所述已经上报过的异常分类信息对应的异常日志信息在所述客户端内保存预设时间。
第二方面，本发明实施例还提供了一种基于服务器的数据处理方法，包括：
接收与所述服务器连接的客户端发送的新增异常分类信息及异常类型待定的异常日志信息；
基于所述新增异常分类信息及所述异常类型待定的异常日志信息，确定所述客户端的平均无故障时间。
作为本发明实施例的一种具体实现方式，所述基于所述新增异常分类信息及所述异常类型待定的异常日志信息，确定所述客户端的平均无故障时间，包括；
基于预设的特征值提取规则，获取所述异常类型待定的异常日志信息的特征值信息；
利用一个或多个决策规则，对所述特征值信息进行数据决策处理，得到包含不同异常类型的二次异常分类信息；
基于所述新增异常分类信息及所述二次异常分类信息，确定所述客户端的平均无故障时间。
作为本发明实施例的一种具体实现方式，所述方法还包括：
基于所述新增异常分类信息及所述异常类型待定的异常日志信息，确定外部规则；以及
将所述外部规则向客户端进行发送。
作为本发明实施例的一种具体实现方式，所述外部规则包括更新特征值及更新分类模型参数。
作为本发明实施例的一种具体实现方式，所述外部规则包括一个或多个正则表达式，所述一个或多个正则表达式用于对预设的数据信息进行特征提取。
第三方面，本发明实施例还提供一种基于客户端的数据处理装置，包括：
日志模块，用于获取所述客户端中与测试目标相关的异常日志信息；
特征值模块，用于基于预设的特征值提取规则，获取所述异常日志信息的特征值信息；
异常分类信息模块，用于利用一个或多个决策规则，对所述特征值信息进行数据决策处理，得到包含不同异常类型的异常分类信息；以及
第一发送模块，用于将符合预设上报条件的异常分类信息向目标服务器进行发送。
作为本发明实施例的一种具体实现方式，所述异常分类信息模块，还用于：
对所述异常分类信息进行分析，以确定所述异常分类信息所关联的异常行为是否为可干预异常行为；以及
对于所述可干预异常行为关联的程序模块，执行暂时无效化操作。
作为本发明实施例的一种具体实现方式，所述异常分类信息模块，还用于：
构建特征值分类器；
利用所述特征值分类器，根据所述特征值信息中包含的特征值、特征值出现的频率以及特征值之间的相互关系，对所述特征值信息进行分类处理；以及
基于所述分类处理的结果确定所述异常分类信息的异常类型。
作为本发明实施例的一种具体实现方式，所述装置还包括：
第一接收模块，用于接收所述目标服务器推送的更新特征值及更新分类模型参数；
第一更新模块，用于基于所述更新特征值及所述更新分类模型参数，更新所述特征值分类器；以及
决策模块，用于利用更新后的特征值分类器对所述特征值信息进行数据决策处理。
作为本发明实施例的一种具体实现方式，所述装置还包括：
构建模块，用于构建存储有多种异常分类信息的异常分类信息映射表；
第一判断模块，用于基于所述异常分类信息映射表，判断所述特征值分类器确定的所述异常分类信息是否为新增的异常分类信息；以及
第二更新模块，用于将确定为新增的异常分类信息更新至所述异常分类信息映射表。
作为本发明实施例的一种具体实现方式，所述第一发送模块还用于：
将新增的异常分类信息向目标服务器进行发送。
作为本发明实施例的一种具体实现方式，所述装置还包括：
第二发送模块，用于将异常类型待定的所述特征值信息关联的所述异常日志信息向目标服务器进行发送。
作为本发明实施例的一种具体实现方式，所述装置还包括：
第二判断模块，用于基于所述异常分类信息映射表，判断所述特征值分类器确定的所述异常分类信息是否为已经上报过的异常分类信息；以及
保存模块，用于将所述已经上报过的异常分类信息对应的异常日志信息在所述客户端内保存预设时间。
第四方面，本发明实施例还提供了一种基于服务器的数据处理装置，包括：
第二接收模块，用于接收与所述服务器连接的客户端发送的新增异常分类信息及异常类型待定的异常日志信息；
第一确定模块，用于基于所述新增异常分类信息及所述异常类型待定的异常日志信息，确定所述客户端的平均无故障时间。
作为本发明实施例的一种具体实现方式，所述确定模块，还用于；
基于预设的特征值提取规则，获取所述异常类型待定的异常日志信息的特征值信息；
利用一个或多个决策规则，对所述特征值信息进行数据决策处理，得到包含不同异常类型的二次异常分类信息；
基于所述新增异常分类信息及所述二次异常分类信息，确定所述客户端的平均无故障时间。
作为本发明实施例的一种具体实现方式，所述装置还包括：
第二确定模块，用于基于所述新增异常分类信息及所述异常类型待定的异常日志信息，确定外部规则；以及
第三发送模块，用于将所述外部规则向客户端进行发送。
作为本发明实施例的一种具体实现方式，所述外部规则包括更新特征值及更新分类模型参数。
作为本发明实施例的一种具体实现方式，所述外部规则包括一个或多个正则表达式，所述一个或多个正则表达式用于对预设的数据信息进行特征提取。
第五方面，本发明实施例还提供了一种客户端，所述客户端包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述任第一方面或第一方面的任一实现方式所述的数据处理方法。
第六方面，本发明实施例还提供了一种服务器，所述服务器包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述第二方面或第二方面的任一实现方式所述的数据处理方法。
第七方面，本发明实施例还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行前述第一方面或第一方面的任一实现方式所述的数据处理方法。
第八方面，本发明实施例还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行前述第二方面或第二方面的任一实现方式所述的数据处理方法。
第九方面，本发明实施例还提供了一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行前述第一方面或第一方面的任一实现方式所述的数据处理方法。
第十方面，本发明实施例还提供了一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行前述第二方面或第二方面的任一实现方式所述的数据处理方法。
本发明实施例提供的基于客户端/服务器的数据处理方法、装置、客户端、服务器、非暂态计算机可读存储介质及计算机程序，通过获取所述客户端中与测试目标相关的异常日志信息，基于预设的特征值提取规则，获取所述异常日志信息的特征值信息，利用一个或多个决策规则，对所述特征值信息进行数据决策处理，得到包含不同异常类型的异常分类信息，并将符合预设上报条件的异常分类信息向目标服务器进行发送，同时服务器端也能够基于实际需求，发送外部规则，并基于客户端发送的新增异常分类信息及异常类型待定的异常日志信息，确定客户端的平均无故障时间。这样，基于分布式的数据处理结构，能够有效缓解服务器数据处理的压力，提高了服务器的资源处理效率。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的一种基于客户端的数据处理流程示意图；
图2为本发明实施例提供的另一种基于客户端的数据处理流程示意图；
图3为本发明实施例提供的另一种基于客户端的数据处理流程示意图；
图4为本发明实施例提供的另一种基于客户端的数据处理流程示意图；
图5为本发明实施例提供的另一种基于客户端的数据处理流程示意图；
图6为本发明实施例提供的一种基于服务器的数据处理流程示意图；
图7为本发明实施例提供的另一种基于服务器的数据处理流程示意图；
图8为本发明实施例提供的另一种基于服务器的数据处理流程示意图；
图9为本发明实施例提供的一种基于客户端的数据处理装置结构示意图；
图10为本发明实施例提供的另一种基于客户端的数据处理装置结构示意图；
图11为本发明实施例提供的另一种基于客户端的数据处理装置结构示意图；
图12为本发明实施例提供的另一种基于客户端的数据处理装置结构示意图；
图13为本发明实施例提供的一种基于服务器的数据处理装置结构示意图；
图14为本发明实施例提供的另一种基于服务器的数据处理装置结构示意图；
图15为本发明实施例提供的一种客户端结构示意图；
图16为本发明实施例提供的一种服务器结构示意图。
具体实施方式
下面结合附图对本发明实施例进行详细描述。
应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
图1为本发明的实施例的基于客户端的数据处理的流程示意图，如图1所示，本实施例的方法可以包括以下步骤：
S101，获取所述客户端中与测试目标相关的异常日志信息。
异常信息通常指测试客户端上收集到的log信息，以android手机为例，android手机的存储单元上通常存在adb命令采集的log，Kmsg采集的log，trace的log等。上述Log文件的名称和扩展名不尽相同，但是绝大多数的log信息都以文本形式保存，或可以转换为文本形式的其他文件格式存储。
可以采用数据采集工具采集以文本方式保存的log信息，对于其他一些特殊格式的log信息，可以采用专用格式的文本转换工具，将特殊格式的log信息进行转化之后，得到异常日志信息。
S102，基于预设的特征值提取规则，获取所述异常日志信息的特征值信息。
对步骤S101中获取的异常日志信息进行初步处理，通过对异常日志信息中所包含的一系列关键特征信息进行抽取，能够达到信息降维的目的。以为后续的内部规则生成及处理决策模块提供支持。
特征提取具有多种方式可以采用，举例而言，由于异常分析中的关键信息通常是可识别、可提取的，可以使用正则表达式匹配的方式来针对异常日志信息中的特征内容进行识别并提取。
针对不同对象及操作环境，可以选择不同的程序语言进行特征提取，本申请的特征值提取并没有对实现的语言类型进行限定。举例而言，在分析ANR类别的log时，会出现的提示语之一是：EActivityManager：Reason：Input dispatching timed out(Waitingbecause the focused window has not finished processing the input events thatwere previously delivered to it.)和EActivityManager：ANR incom.android.browser(com.android.browser/.BrowserActivity)。为了匹配上面的两种提示信息，我们可以使用如下的两个正则表达式：/E ActivityManager：Reason：Inputdispatching timed out\(.+\)/和/EActivityManager：ANR in.+\(.+\)/，进行特征值提取。
本方法在客户端实现的时候，可以预先在客户端中输入一系列已知的特征表达式(例如正则表达式)。当发现新的特征表达式的时候，可以通过服务器端的外部规则发送模块将新的表达式推送到客户端的外部规则接收模块，进而更新客户端存储的特征表达式。
通过上述方式，能够获取异常日志信息的特征值信息，通常来讲，上述特征值信息的文件会远小于异常日志信息的文件，这为后续的数据处理提供了便利。
S103，利用一个或多个决策规则，对所述特征值信息进行数据决策处理，得到包含不同异常类型的异常分类信息。
客户端可以利用一个或多个决策规则，对S102获得的特征值信息进行数据处理。上述决策规则可以是客户端存储的内部规则，也可以是从与客户端连接的服务器端获取的外部规则，内部规则及外部规则共同组成了一个或多个决策规则。
内部规则生成模块由特征值分类器构成，旨在将生成的特征值进过本分类器分为固定的种类。分类器基于贝叶斯分类算法构建，输入条件是各特征值以及特征值出现的频率，特征值的相互关系，输出为异常分类信息，异常分类信息包括：新异常、旧异常、未确定异及其分别关联的特征值，其中旧异常分类中进一步分为不可干预异常和可干预异常。
S104，将符合预设上报条件的异常分类信息向目标服务器进行发送。
通过设置上报筛选条件，选择性的上报异常分类信息，会减轻目标服务器的数据处理压力，降低信号传输的带宽。筛选条件可以根据实际的需要来设置，举例而言，可以预设map表，存储异常分类信息及异常分类信息的上报情况，对于新发现的异常分类信息中的信息，则在map表中查找对应的异常归属是否为已经上报过的旧异常。如在map表中没有该异常归属，则在map表中加入该特征，同时上报新异常至目标服务器。
通过本实施例中的方法，将服务器端和部分研发人员进行的分类汇总筛选操作，移动到客户端上，实现运算到数据的归并，进而达到降低服务器负载和运行资源消耗的目的。同时，也可以有效减少研发人员在数据分类汇总工作上花费的工作量。
根据本发明另一实施例的方案，参见图2，除了执行图1所对应的实施例之外，可选择性的，基于客户端的数据处理方法还可以包括：
S105，对所述异常分类信息进行分析，以确定所述异常分类信息所关联的异常行为是否为可干预异常行为。
产生客户端异常行为通常存在多种原因，对于产生异常的客户端进行分析，找出导致其行为异常的关联模块，并分析暂停该模块是否可以执行暂停等可干预行为处理。
具体的，可以通过设置可干预行为对照表，查找产生异常行为的模块是否可以执行干预行为。
S106，对于所述可干预异常行为关联的程序模块，执行暂时无效化操作。
具体而言，可以在客户端内部设置运行干预模块，运行干预模块是为了在少数频发、且对系统运行有重大影响的问题出现时，将该模块进行无效化操作的模块。如果某些异常被分类器判定为可干预的频发异常，则会给测试用户弹出对话框，确认是否可以将该模块暂时无效化。以Android系统为例，无效化后的模块通过添加在Launcher以及ActivityManagerService中的处理。将该模块的入口动作无效掉，使该模块暂时排除在系统运行之外。
通过对可干预模块进行无效化处理的方式，降低了客户端出现异常情况的风险。
可选的，作为步骤S103的一种具体实施方式，参见图3，本发明实施例还提供了一种具体的数据处理方式，包括：
S1031，构建特征值分类器。
特征值分类器具有多有方法构建。以贝叶斯分类器为例，按照贝叶斯定理的要求，对于一个分类问题，给定样本特征x，样本属于类别y的概率是：
Figure BDA0001231497970000111
S1032，利用所述特征值分类器，根据所述特征值信息中包含的特征值、特征值出现的频率以及特征值之间的相互关系，对所述特征值信息进行分类处理。
因此，根据已经解决的项目中的问题集合(已标定的样本集)，分别统计出每个特征在每一类中出现的条件概率，通过下述贝叶斯公式的展开式。设上述x是一个特征向量且维度为M的情况下：
Figure BDA0001231497970000112
即可以计算出，当存在某一特征的时候，归属于某一分类的概率是多少。其中，p(x)、p(y)的分别表示事件x，y的概率，p(x|y)表示事件y已发生条件下事件x的概率，p(y|x)表示事件x发生条件下事件y的概率，ck为预设样本，i、k、M分别为自然数。
上述分类方法在执行的时候，举例来讲，可以抽出10％的已标定数据为校验样本，当校验样本的准确率(precision)和召回率(recall)都达到95％以上时，认为当前模型校验完毕。否则，在现有样本中再次寻找有意义的正则表达式，增加新的特征表达，直到校验样本满足要求为止。
S1033，基于所述分类处理的结果确定所述异常分类信息的异常类型。
上述方法运行的过程中，可以通过设定阈值的方式对分类是否为异常进行判断，例如，当该p(y|x)∈(0.85，1]∪[0，0.15)时，为已分类异常，否则为未分类异常。
通过上述方式，能够基于特征值、特征值出现的频率以及特征值之间的相互关系进行异常分类信息中异常类型的确定，由于使用较少的参数，提高了异常分类信息中异常类型确定的效率。
可选的，参见图4，在实施基于客户端的数据处理方法的过程中，还可以包含如下步骤：
S1034，接收所述目标服务器推送的更新特征值及更新分类模型参数。
在客户端上设置外部规则接收模块，更新参数接收模块和服务器端新追加的外部规则发送模块配合工作。当有参数推送需求时(如开发人员发现新的特征值或者新的分类模型参数的时候)，可以调用服务器的外部规则发送模块将新参数发送给所有测试客户端上的外部规则接收模块。
S1035，基于所述更新特征值及所述更新分类模型参数，更新所述特征值分类器。
客户端接收到服务器发送的更新特征值及所述更新分类模型参数后，可以自动更新特征值分类器，也可以提示用户进行更新，在经过用户的许可之后，完成特征值分类器的更新。
举例而言，客户端接收到新的正则表达式或分类模型的参数信息时，对于在客户端的程序中是以变量形式存在的参数，可以通过参数对其进行调整。
S1036，利用更新后的特征值分类器对所述特征值信息进行数据决策处理。
通过更新特征值及所述更新分类模型参数，能够较快的接收外部决策规则，特别是服务器基于大数据发送的外部决策规则，提高了决策规则的准确性。
可选的，参见图5，在实施基于客户端的数据处理方法的过程中，还可以包含如下步骤：
S1037，构建存储有多种异常分类信息的异常分类信息映射表。
在客户端本地设置异常分类信息映射表，举例而言，异常分类信息映射表可以如表1所示。
表一异常分类信息映射表
序专 特征值 异常类型 是否上报
1 5465959093573163876 wifi模块异常 是
2 7673021043978770954 蓝牙模块异常 是
3 2682386775420212619 相机模块异常 否
4 3509276326591445061 浏览器模块异常 否
… … … …
S1038，基于所述异常分类信息映射表，判断所述特征值分类器确定的所述异常分类信息是否为新增的异常分类信息。
对于分类器发现的异常情况，可以通过调用其特征值或异常类型的方式，在异常分类信息映射表中查看确定的所述异常分类信息是否为新增的异常分类信息。
S1039，将确定为新增的异常分类信息更新至所述异常分类信息映射表。
当确定的所述异常分类信息为新增的异常分类信息时，将所述新增的异常分类信息在异常分类信息映射表中进行更新。
除此之外，客户端还可以将所述新增的异常分类信息向目标服务器进行发送。
对于异常类型待定的异常日志信息，为了便于确定其异常类型，可以将与异常类型待定的特征值信息关联的异常日志信息向目标服务器进行发送，以便于服务器进行最终的异常类型确定。
可选的，客户端还可以基于异常分类信息映射表里面的上报信息字段，判断特征值分类器确定的异常分类信息是否为已经上报过的异常分类信息，并将述已经上报过的异常分类信息对应的异常日志信息在所述客户端内保存预设时间。
通过设置异常分类信息映射表，能够较快的查询新增异常分类信息是否需要上报，提高了异常分类信息的上报效率。
与客户端的数据处理方法相对应，本发明实施例还提供了一种基于服务器的数据处理方法，如图6所示，该方法包括：
S201，接收与所述服务器连接的客户端发送的新增异常分类信息及异常类型待定的异常日志信息。
服务器设置上报信息接收端口，用于新增异常分类信息及异常类型待定的异常日志信息。
对于新增异常分类信息，从中提取异常分类的类型及该异常分类的时间信息。对于异常类型待定的异常日志信息，利用服务器存储的分类器对异常日志信息进行处理，其处理流程与客户端的处理流程类似，在此不再赘述。
S202，基于所述新增异常分类信息及所述异常类型待定的异常日志信息，确定所述客户端的平均无故障时间。
服务器基于新增异常分类信息及异常类型待定的异常日志信息，确定客户端的平均无故障时间。举例而言，平均无故障时间可以采用多种算法，设有一个可修复的产品在使用过程中，共计发生过N0次故障，每次故障后经过修复又和新的一样继续投入使用，其工作时间为Ti，其中，
Figure BDA0001231497970000142
那么产品的平均故障间隔时间，也就是平均寿命为Q为：
Figure BDA0001231497970000141
关于MTBF值的计算方法，也可以采用常见的MTBF标准来进行计算，由于这些计算标准均为常见的技术，在此不再赘述。
本实施例的方法中，通过服务器客户端发送的新增异常分类信息及异常类型待定的异常日志信息，能够在接收客户端较少异常日志数据的情况，快速准确的确定客户端的平均无故障时间，提高了处理数据的效率。
可选的，在执行步骤S202的过程中，参见图7，该步骤可包含如下步骤：
S2021，基于预设的特征值提取规则，获取所述异常类型待定的异常日志信息的特征值信息。
可以采用一个或多个正则表达式，提取异常类型待定的异常日志信息的特征值信息。
S2022，利用一个或多个决策规则，对所述特征值信息进行数据决策处理，得到包含不同异常类型的二次异常分类信息。
服务器内部存储有多个决策规则，这些决策规则既可以是服务器自身生成的外部规则，也可以是基于客户端内部规则生成的规则。
S2023，基于所述新增异常分类信息及所述二次异常分类信息，确定所述客户端的平均无故障时间。
服务器内部存储有异常分类信息，结合新增异常分类信息及所述二次异常分类信息，最终确定所述客户端的平均无故障时间。
通过上述方式，能够确保服务器快速的确定所述客户端的平均无故障时间。
可选的，除了图6所述的方法步骤之外，参见图8，基于服务器的数据处理方法还可以包括：
S203，基于所述新增异常分类信息及所述异常类型待定的异常日志信息，确定外部规则。
由于服务器能够获取众多客户端发送过来的新增异常分类信息及异常类型待定的异常日志信息，通过对这些信息进行分类及自我学习，能够提炼出最新的异常类型确定规则，并确定为外部规则。
S204，将所述外部规则向客户端进行发送。
通过上述处理方式，服务器能够及时的形成外部规则，并将外部规则发送给客户端，提高了客户端的处理能力。
与前述基于客户端的数据处理方法实施例相对应，本发明实施例还提供了一种基于客户端的数据处理装置，如图9所示，基于客户端的数据处理装置10，包括：
日志模块101，用于获取所述客户端中与测试目标相关的异常日志信息。
异常信息通常指测试客户端上收集到的log信息。以android手机为例，android手机的存储单元上通常存在adb命令采集的log，Kmsg采集的log，trace的log等。上述Log文件的名称和扩展名不尽相同，但是绝大多数的log信息都以文本形式保存，或可以转换为文本形式的其他文件格式存储。
可以采用数据采集工具采集以文本方式保存的log信息，对于其他一些特殊格式的log信息，可以采用专用格式的文本转换工具，将特殊格式的log信息进行转化之后，得到异常日志信息。
特征值模块102，用于基于预设的特征值提取规则，获取所述异常日志信息的特征值信息。
对日志模块101中获取的异常日志信息进行初步处理，通过对异常日志信息中所包含的一系列关键特征信息进行抽取，能够达到信息降维的目的。以为后续的内部规则生成及处理决策模块提供支持。
特征提取具有多种方式可以采用，举例而言，由于异常分析中的关键信息通常是可识别、可提取的，可以使用正则表达式匹配的方式来针对异常日志信息中的特征内容进行识别并提取。
针对不同对象及操作环境，可以选择不同的程序语言进行特征提取，本申请的特征值提取并没有对实现的语言类型进行限定。举例而言，在分析ANR类别的log是，会出现的提示语之一是：E ActivityManager：Reason：Input dispatching timed out(Waitingbecause the focused window has not finished processing the input events thatwere previously delivered to it.)和EActivityManager：ANR incom.android.browser(com.android.browser/.BrowserActivity)。为了匹配上面的两种提示信息，我们可以使用如下的两个正则表达式：/E ActivityManager：Reason：Inputdispatching timed out\(.+\)/和/EActivityManager：ANR in.+\(.+\)/，进而进行特征值提取。
本装置在客户端实现的时候，可以预先在客户端中输入一系列已知的特征表达式。当研发人员发现新的特征表达式的时候，也可以通过服务器端的外部规则发送模块将新的表达式推送到客户端的外部规则接收模块，进而更新特征表达式。
通过上述方式，能够获取异常日志信息的特征值信息，通常来讲，上述特征值信息的文件会远小于异常日志信息的文件，这为后续的数据处理提供了便利。
异常分类信息模块103，用于利用一个或多个决策规则，对所述特征值信息进行数据决策处理，得到包含不同异常类型的异常分类信息。
客户端可以利用一个或多个决策规则，对特征值模块102获得的特征值信息进行数据处理。上述决策规则可以是客户端存储的内部规则，也可以是从与客户端连接的服务器端获取的外部规则，内部规则及外部规则共同组成了一个或多个决策规则。
内部规则生成模块由特征值分类器构成，旨在将生成的特征值进过本分类器分为固定的种类。分类器基于贝叶斯分类算法构建，输入条件是各特征值以及特征值出现的频率，特征值的相互关系，输出为异常分类信息，异常分类信息包括：新异常、旧异常、未确定异及其分别关联的特征值，其中旧异常分类中进一步分为不可干预异常和可干预异常。
第一发送模块104，用于将符合预设上报条件的异常分类信息向目标服务器进行发送。
通过设置上报筛选条件，选择性的上报异常分类信息，会减轻目标服务器的数据处理压力，降低信号传输的带宽。筛选条件可以根据实际的需要来设置，举例而言，可以预设设置map表，存储异常分类信息及异常分类信息的上报情况，对于新发现的异常分类信息中的信息，则在map表中查找对应的异常归属是否为已经上报过的旧异常。如在map表中没有该异常归属，则在map表中加入该特征，同时上报新异常至目标服务器。
通过本实施例中的装置，将服务器端和部分研发人员进行的分类汇总筛选操作移动到客户端上，实现运算到数据的归并，进而达到降低服务器负载和运行资源消耗的目的。同时，也可以有效减少研发人员在数据分类汇总工作上花费的工作量。
可选的，参见图10，基于客户端的数据处理装置10还可以包括：
分析模块105，用于对异常分类信息进行分析，以确定异常分类信息所关联的异常行为是否为可干预异常行为；以及
无效化模块106，用于对于所述可干预异常行为关联的程序模块，执行暂时无效化操作。
可选的，异常分类信息模块103，还用于：
构建特征值分类器；
利用所述特征值分类器，根据所述特征值信息中包含的特征值、特征值出现的频率以及特征值之间的相互关系，对所述特征值信息进行分类处理；以及
基于所述分类处理的结果确定所述异常分类信息的异常类型。
可选的，所述异常分类信息模块，还用于：
接收所述目标服务器推送的更新特征值及更新分类模型参数；
基于所述更新特征值及所述更新分类模型参数，更新所述特征值分类器；以及
利用更新后的特征值分类器对所述特征值信息进行数据决策处理。
可选的，所述异常分类信息模块，还用于：
构建存储有多种异常分类信息的异常分类信息映射表；
基于所述异常分类信息映射表，判断所述特征值分类器确定的所述异常分类信息是否为新增的异常分类信息；以及
将确定为新增的异常分类信息更新至所述异常分类信息映射表。
可选的，所述第一发送模块还用于：
将新增的异常分类信息向目标服务器进行发送。
可选的，所述基于客户端的数据处理装置10还包括：
第二发送模块107，用于将异常类型待定的所述特征值信息关联的所述异常日志信息向目标服务器进行发送。
可选的，参见图12，所述基于客户端的数据处理装置10还包括：
判断模块108，用于基于所述异常分类信息映射表，判断所述特征值分类器确定的所述异常分类信息是否为已经上报过的异常分类信息；以及
保存模块109，用于将所述已经上报过的异常分类信息对应的异常日志信息在所述客户端内保存预设时间。
装置10及其组成模块的技术方案、技术效果分别与其对应的方法实施例对应，此处不再赘述。
与前述基于服务器的数据处理方法实施例相对应，本发明实施例还提供了一种基于服务器的数据处理装置，图13为本发明实施例提供的基于服务器的数据处理装置的结构示意图，如图13所示，基于服务器的数据处理装置20，包括：
接收模块201，用于接收与所述服务器连接的客户端发送的新增异常分类信息及异常类型待定的异常日志信息。
服务器设置上报信息接收端口，用于新增异常分类信息及异常类型待定的异常日志信息。
对于新增异常分类信息，从中提取异常分类的类型及该异常分类的时间信息。对于异常类型待定的异常日志信息，利用服务器存储的分类器对异常日志信息进行处理，其处理流程与客户端的处理流程类似。
第一确定模块202，用于基于所述新增异常分类信息及所述异常类型待定的异常日志信息，确定所述客户端的平均无故障时间。
服务器基于新增异常分类信息及异常类型待定的异常日志信息，确定客户端的平均无故障时间。举例而言，平均无故障时间可以采用多种算法，设有一个可修复的产品在使用过程中，共计发生过N0次故障，每次故障后经过修复又和新的一样继续投入使用，其工作时间为Ti，其中，
Figure BDA0001231497970000192
那么产品的平均故障间隔时间，也就是平均寿命为Q为：
Figure BDA0001231497970000191
关于MTBF值的计算方法，也可以采用常见的MTBF标准来进行计算，由于这些计算标准均为常见的技术，在此不再赘述。
本实施例的装置中，通过服务器客户端发送的新增异常分类信息及异常类型待定的异常日志信息，能够在接收客户端较少异常日志数据的情况，快速准确的确定客户端的平均无故障时间，提高了处理数据的效率。
可选的，第一确定模块202，还用于；
基于预设的特征值提取规则，获取所述异常类型待定的异常日志信息的特征值信息；
利用一个或多个决策规则，对所述特征值信息进行数据决策处理，得到包含不同异常类型的二次异常分类信息；
基于所述新增异常分类信息及所述二次异常分类信息，确定所述客户端的平均无故障时间。
可选的，参见图14，基于服务器的数据处理装置20，还包括：
第二确定模203，用于基于所述新增异常分类信息及所述异常类型待定的异常日志信息，确定外部规则；以及
第三发送模块204，用于将所述外部规则向客户端进行发送。
可选的，所述外部规则包括更新特征值及更新分类模型参数，或，所述外部规则包括一个或多个正则表达式，所述一个或多个正则表达式用于对预设的数据信息进行特征提取。
装置20及其组成模块的技术方案、技术效果分别与其对应的方法实施例对应，此处不再赘述。
与基于客户端的数据处理方法/装置相对应，本发明实施例还提供一种客户端30，所述客户端可以包含前述任一实施例所述的基于客户端的数据处理装置。
图15为本发明实施例提供的客户端30的结构示意图，客户端30可以包括：至少一个处理器301、存储器302、输入输出接口303、射频电路304、音频电路305、显示屏306和传感器307。其中，射频电路304通过天线3041接收信号；音频电路305分别与喇叭3051和麦克风3052连接。所述至少一个处理器301与存储器302通信连接，所述存储器302存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器301执行，以使所述至少一个处理器能够执行前述任一基于客户端的数据处理方法的实施例。
与基于服务器的数据处理方法/装置相对应，本发明实施例还提供一种服务器40，所述服务器可以包含前述任一实施例所述的基于服务器的数据处理装置
图16示出了本发明实施例提供的服务器40的结构示意图，服务器40包括至少一个处理器401(例如CPU)，至少一个输入输出接口404，存储器402，和至少一个通信总线403，用于实现这些部件之间的连接通信。至少一个处理器401用于执行存储器402中存储的可执行模块，例如计算机程序。存储器402为非暂态存储器(non-transitory memory)，其可以包含易失性存储器，例如高速随机存取存储器(RAM：Random Access Memory)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个输入输出接口404(可以是有线或者无线通信接口)实现与至少一个其他网元之间的通信连接。
在一些实施方式中，存储器402存储了程序4021，处理器401执行程序4021，用于执行前述任一基于服务器的数据处理方法的实施例。
该客户端或服务器可以以多种形式存在，包括但不限于：
(1)移动通信设备：这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括：智能手机(例如iPhone)、多媒体手机、功能性手机，以及低端手机等。
(2)超移动个人计算机设备：这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括：PDA、MID和UMPC设备等，例如iPad。
(3)便携式娱乐设备：这类设备可以显示和播放多媒体内容。该类设备包括：音频、视频播放器(例如iPod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。
(4)特定服务器：提供计算服务的设备，服务器的构成包括处理器、硬盘、内存、系统总线等，服务器和通用的计算机架构类似，但是由于需要提供高可靠的服务，因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。
(5)其他具有数据交互功能的电子设备。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，″计算机可读介质″可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。
在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (17)

1.一种基于客户端的数据处理方法，其特征在于，包括：
采用数据采集工具采集以文本方式保存的日志log信息，对于一些特殊格式的log信息，采用专用格式的文本转换工具，将特殊格式的log信息进行转化之后，得到所述客户端中与测试目标相关的异常日志信息；
使用正则表达式进行特征值提取，获取所述异常日志信息的特征值信息，其中，预先在客户端中输入一系列已知的正则表达式，当发现新的正则表达式的时候，通过服务器端的外部规则发送模块将新的表达式推送到客户端的外部规则接收模块，进而更新客户端存储的正则表达式；
利用一个或多个决策规则，对所述特征值信息进行数据决策处理，得到包含不同异常类型的异常分类信息，所述决策规则由客户端存储的内部规则，以及从与客户端连接的服务器端获取的外部规则共同组成，将生成的特征值信息经过特征值分类器分为固定的种类，该分类器基于贝叶斯分类算法构建，输入条件是各特征值、特征值出现的频率以及特征值之间的相互关系，输出为异常分类信息，异常分类信息包括：新异常、旧异常、未确定异常及其分别关联的特征值，其中旧异常分类中进一步分为不可干预异常和可干预异常；
预设异常分类信息映射表，存储异常分类信息及异常分类信息的上报情况，对于新发现的异常分类信息中的信息，则在该表中查找对应的异常归属是否为已经上报过的旧异常，如在该表中没有该异常归属，则在该表中加入该异常分类信息，同时将符合预设上报条件的异常分类信息向目标服务器进行发送。
2.根据权利要求1所述的数据处理方法，其特征在于，在所述利用一个或多个决策规则，对所述特征值信息进行数据决策处理，得到包含不同异常类型的异常分类信息之后，所述方法还包括：
对所述异常分类信息进行分析，以确定所述异常分类信息所关联的异常行为是否为可干预异常行为；以及
对于所述可干预异常行为关联的程序模块，执行暂时无效化操作。
3.根据权利要求1所述的数据处理方法，其特征在于，所述利用一个或多个决策规则，对所述特征值信息进行数据决策处理，得到包含不同异常类型的异常分类信息，包括：
构建特征值分类器；
利用所述特征值分类器，根据所述特征值信息中包含的特征值、特征值出现的频率以及特征值之间的相互关系，对所述特征值信息进行分类处理；以及
基于所述分类处理的结果确定所述异常分类信息的异常类型。
4.根据权利要求3所述的数据处理方法，其特征在于，所述方法还包括：
接收所述目标服务器推送的更新特征值及更新分类模型参数；
基于所述更新特征值及所述更新分类模型参数，更新所述特征值分类器；以及
利用更新后的特征值分类器对所述特征值信息进行数据决策处理。
5.根据权利要求3或4所述的数据处理方法，其特征在于，所述方法还包括：
构建存储有多种异常分类信息的异常分类信息映射表；
基于所述异常分类信息映射表，判断所述特征值分类器确定的所述异常分类信息是否为新增的异常分类信息；以及
将确定为新增的异常分类信息更新至所述异常分类信息映射表。
6.根据权利要求5所述的数据处理方法，其特征在于，所述将符合预设上报条件的异常分类信息向目标服务器进行发送，包括：
将所述新增的异常分类信息向目标服务器进行发送。
7.根据权利要求6所述的数据处理方法，其特征在于，所述方法还包括：
将异常类型待定的所述特征值信息关联的异常日志信息向目标服务器进行发送。
8.根据权利要求6所述的数据处理方法，其特征在于，所述方法还包括：
基于所述异常分类信息映射表，判断所述特征值分类器确定的所述异常分类信息是否为已经上报过的异常分类信息；以及
将所述已经上报过的异常分类信息对应的异常日志信息在所述客户端内保存预设时间。
9.一种基于客户端的数据处理装置，其特征在于，包括：
日志模块，用于采用数据采集工具采集以文本方式保存的日志log信息，对于一些特殊格式的log信息，采用专用格式的文本转换工具，将特殊格式的log信息进行转化之后，得到所述客户端中与测试目标相关的异常日志信息；
特征值模块，用于使用正则表达式进行特征值提取，获取所述异常日志信息的特征值信息，其中，预先在客户端中输入一系列已知的正则表达式，当发现新的正则表达式的时候，通过服务器端的外部规则发送模块将新的表达式推送到客户端的外部规则接收模块，进而更新客户端存储的正则表达式；
异常分类信息模块，用于利用一个或多个决策规则，对所述特征值信息进行数据决策处理，得到包含不同异常类型的异常分类信息，所述决策规则由客户端存储的内部规则，以及从与客户端连接的服务器端获取的外部规则共同组成，将生成的特征值信息经过特征值分类器分为固定的种类，该分类器基于贝叶斯分类算法构建，输入条件是各特征值、特征值出现的频率以及特征值之间的相互关系，输出为异常分类信息，异常分类信息包括：新异常、旧异常、未确定异常及其分别关联的特征值，其中旧异常分类中进一步分为不可干预异常和可干预异常；以及
第一发送模块，用于预设异常分类信息映射表，存储异常分类信息及异常分类信息的上报情况，对于新发现的异常分类信息中的信息，则在该表中查找对应的异常归属是否为已经上报过的旧异常，如在该表中没有该异常归属，则在该表中加入该异常分类信息，同时将符合预设上报条件的异常分类信息向目标服务器进行发送。
10.根据权利要求9所述的数据处理装置，其特征在于，所述装置还包括：
分析模块，用于对所述异常分类信息进行分析，以确定所述异常分类信息所关联的异常行为是否为可干预异常行为；以及
无效化模块，用于对于所述可干预异常行为关联的程序模块，执行暂时无效化操作。
11.根据权利要求9所述的数据处理装置，其特征在于，所述异常分类信息模块，还用于：
构建特征值分类器；
利用所述特征值分类器，根据所述特征值信息中包含的特征值、特征值出现的频率以及特征值之间的相互关系，对所述特征值信息进行分类处理；以及
基于所述分类处理的结果确定所述异常分类信息的异常类型。
12.根据权利要求11所述的数据处理装置，其特征在于，所述异常分类信息模块，还用于：
接收所述目标服务器推送的更新特征值及更新分类模型参数；
基于所述更新特征值及所述更新分类模型参数，更新所述特征值分类器；以及
利用更新后的特征值分类器对所述特征值信息进行数据决策处理。
13.根据权利要求11或12所述的数据处理装置，其特征在于，所述异常分类信息模块，还用于：
构建存储有多种异常分类信息的异常分类信息映射表；
基于所述异常分类信息映射表，判断所述特征值分类器确定的所述异常分类信息是否为新增的异常分类信息；以及
将确定为新增的异常分类信息更新至所述异常分类信息映射表。
14.根据权利要求13所述的数据处理装置，其特征在于，所述第一发送模块还用于：
将新增的异常分类信息向目标服务器进行发送。
15.根据权利要求14所述的数据处理装置，其特征在于，所述装置还包括：
第二发送模块，用于将异常类型待定的所述特征值信息关联的所述异常日志信息向目标服务器进行发送。
16.根据权利要求14所述的数据处理装置，其特征在于，所述装置还包括：
判断模块，用于基于所述异常分类信息映射表，判断所述特征值分类器确定的所述异常分类信息是否为已经上报过的异常分类信息；以及
保存模块，用于将所述已经上报过的异常分类信息对应的异常日志信息在所述客户端内保存预设时间。
17.一种客户端，其特征在于，所述客户端包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述任一权利要求1-8所述的数据处理方法。
CN201710102051.9A 2017-02-23 2017-02-23 数据处理方法及装置 Active CN106940679B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710102051.9A CN106940679B (zh) 2017-02-23 2017-02-23 数据处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710102051.9A CN106940679B (zh) 2017-02-23 2017-02-23 数据处理方法及装置

Publications (2)

Publication Number Publication Date
CN106940679A CN106940679A (zh) 2017-07-11
CN106940679B true CN106940679B (zh) 2020-10-02

Family

ID=59469199

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710102051.9A Active CN106940679B (zh) 2017-02-23 2017-02-23 数据处理方法及装置

Country Status (1)

Country Link
CN (1) CN106940679B (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107577706B (zh) 2017-07-28 2019-09-20 平安科技（深圳）有限公司 用户行为数据处理方法、装置及计算机可读存储介质
JP6866930B2 (ja) 2017-10-16 2021-04-28 富士通株式会社 生産設備監視装置、生産設備監視方法及び生産設備監視プログラム
CN109818763B (zh) * 2017-11-20 2022-04-15 北京绪水互联科技有限公司 设备故障的分析统计方法和系统及设备实时质控方法和系统
CN108491320A (zh) * 2018-03-05 2018-09-04 平安普惠企业管理有限公司 应用程序的异常分析方法、装置、计算机设备和存储介质
CN109146660B (zh) * 2018-06-28 2021-05-07 招联消费金融有限公司 数据处理方法及装置
CN109144874B (zh) * 2018-08-22 2023-02-17 北京奇虎科技有限公司 一种测试环境的监测方法和装置
CN111177428B (zh) * 2018-11-12 2023-06-30 马上消费金融股份有限公司 一种业务异常的处理方法及相关装置
CN110069416B (zh) * 2019-04-29 2023-05-16 腾讯音乐娱乐科技（深圳）有限公司 一种测试数据处理方法、装置以及相关设备
CN110347653A (zh) * 2019-07-10 2019-10-18 中国工商银行股份有限公司 数据处理方法及装置、电子设备和可读存储介质
CN111181759B (zh) * 2019-08-08 2021-09-14 腾讯科技（深圳）有限公司 一种网络设备的异常识别方法、装置、设备及存储介质
CN111061628B (zh) * 2019-11-21 2023-09-01 天翼数字生活科技有限公司 数据分析方法、系统、装置、计算机设备和存储介质
CN110879805B (zh) * 2019-11-22 2022-04-05 北京锐安科技有限公司 一种数据异常发现方法、装置、服务器及存储介质
CN111049684B (zh) * 2019-12-12 2023-04-07 闻泰通讯股份有限公司 数据分析方法、装置、设备和存储介质
CN113382268B (zh) * 2020-03-09 2023-09-22 腾讯科技（深圳）有限公司 直播异常分析方法、装置、计算机设备和存储介质
CN111984532A (zh) * 2020-07-31 2020-11-24 五八有限公司 一种基于小程序的异常处理方法及装置
CN112783718A (zh) * 2020-12-31 2021-05-11 航天信息股份有限公司 一种用于系统异常的管理系统及方法
CN112905399B (zh) * 2021-01-29 2023-04-07 北京紫光展锐通信技术有限公司 数据处理方法、异常情况预测方法及相关产品
CN113127320B (zh) * 2021-04-08 2022-04-22 支付宝(杭州)信息技术有限公司 应用程序异常检测方法、装置、设备及系统
CN113778801B (zh) * 2021-09-14 2024-05-03 珠海格力电器股份有限公司 启动事件上报方法、装置、电子设备及存储介质
CN115330362A (zh) * 2022-10-14 2022-11-11 深圳市睿拓新科技有限公司 一种工程进度数据处理方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104063305A (zh) * 2013-03-18 2014-09-24 腾讯科技（深圳）有限公司 智能终端软件的压力测试方法、装置和系统
CN104239539A (zh) * 2013-09-22 2014-12-24 中科嘉速(北京)并行软件有限公司 一种基于多种信息融合的微博信息过滤方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104063305A (zh) * 2013-03-18 2014-09-24 腾讯科技（深圳）有限公司 智能终端软件的压力测试方法、装置和系统
CN104239539A (zh) * 2013-09-22 2014-12-24 中科嘉速(北京)并行软件有限公司 一种基于多种信息融合的微博信息过滤方法

Also Published As

Publication number Publication date
CN106940679A (zh) 2017-07-11

Similar Documents

Publication Publication Date Title
CN106940679B (zh) 数据处理方法及装置
CN109034993B (zh) 对账方法、设备、系统及计算机可读存储介质
CN108090567B (zh) 电力通信系统故障诊断方法及装置
CN107729210B (zh) 分布式服务集群的异常诊断方法和装置
CN111522704A (zh) 告警信息处理方法、装置、计算机装置及存储介质
CN110263009B (zh) 日志分类规则的生成方法、装置、设备及可读存储介质
CN109669795B (zh) 崩溃信息处理方法及装置
CN105630682A (zh) 移动终端自动收集及分析崩溃的系统和方法
CN112311617A (zh) 一种配置化数据监控告警方法及系统
CN104537015A (zh) 一种日志分析的计算机实现的方法、计算机和系统
CN107085549B (zh) 故障信息生成的方法和装置
CN113626766A (zh) 一种处理地理区域中碳排放数据的方法、装置、设备及存储介质
CN104636240B (zh) 一种信息报表的获取方法及终端
CN110399268A (zh) 一种异常数据检测的方法、装置及设备
CN113722134A (zh) 一种集群故障处理方法、装置、设备及可读存储介质
CN111090593A (zh) 确定崩溃归属的方法、装置、电子设备及存储介质
CN110704614B (zh) 对应用中的用户群类型进行预测的信息处理方法及装置
CN110138720B (zh) 网络流量的异常分类检测方法、装置、存储介质和处理器
CN112784025A (zh) 一种目标事件的确定方法和装置
CN116707859A (zh) 特征规则提取方法和装置、网络入侵检测方法和装置
CN109376064B (zh) 一种接口测试报告的生成方法及设备
CN110457179A (zh) 系统检测方法、内存监控方法、装置、介质与电子设备
CN114356712A (zh) 数据处理方法、装置、设备、可读存储介质及程序产品
CN110674839B (zh) 异常用户识别方法、装置、存储介质及电子设备
CN113010339A (zh) 联机交易测试中故障自动处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant