CN112152823B - 网站运行错误监控方法、装置及计算机存储介质 - Google Patents

Abstract

本发明实施例提供一种网站运行错误监控方法、装置及计算机存储介质，通过将实时接收的用于记录网站运行错误的日志信息传输至消息中间件，并以流数据的形式在所述消息中间件中进行临时存储；从所述消息中间件中获得所述日志信息，并将所述日志信息存储至第一数据库中；对所述第一数据库中存储的所述日志信息进行文本分析处理，以获得错误分析结果信息，并将所述错误分析结果信息在所述第一数据库中进行存储；以判断所述错误分析结果信息是否满足设定的报警条件，如果是，则进行报警处理。本发明不仅有利于网站运行过程中出现的错误被及时发现及处理，提升用户体验，而且通过设置报警条件，使得通知设定的维护人员的次数减少。

Description

网站运行错误监控方法、装置及计算机存储介质

技术领域

本发明实施例涉及计算机领域，尤其涉及一种网站运行错误监控方法、装置及计算机存储介质。

背景技术

随着互联网技术的发展，很多服务都会部署在网站服务器上，供用户通过客户端进行访问，例如在线视频服务、在线搜索服务等。其中，一个服务可以理解为一个进程，一个网站服务器上可以部署至少一个服务。

然而在实际应用中，网站的运行过程中可能出现很多错误，例如连接不上网站服务器、页面访问缓慢和页面无法正常打开等，服务提供方为了对网站运行错误进行监控和及时进行处理，需要将记录网站运行的相关信息从客户端收集至服务器，再由相关维护人员定期进行分析及处理。由于网站运行的相关信息较多，如果维护人员对全部网站运行相关信息按照上报时间依次进行处理的话，不仅工作量巨大，而且有可能出现错误处理不及时的情况，影响用户对服务的满意度。

发明内容

有鉴于此，本发明实施例所解决的技术问题之一在于提供一种网站运行错误监控方法、系统及计算机存储介质，用以克服现有技术中不能及时处理网站运行错误的问题。

本发明实施例提供一种网站运行错误监控方法，包括：

将实时接收的用于记录网站运行错误的日志信息传输至消息中间件，并以流数据的形式在所述消息中间件中进行临时存储；

从所述消息中间件中获得所述日志信息，并将所述日志信息存储至第一数据库中；

对所述第一数据库中存储的所述日志信息进行文本分析处理，以获得错误分析结果信息，并将所述错误分析结果信息在所述第一数据库中进行存储；

判断所述错误分析结果信息是否满足设定的报警条件，如果是，则进行报警处理。

可选的，在本发明一具体实施例中，所述错误分析结果信息包括错误标识数据和错误统计数据；

所述对所述第一数据库中存储的所述日志信息进行文本分析处理，以获得错误分析结果信息包括：

根据设定的分类规则对所述日志信息添加分类标识，以获得所述错误标识数据；对所述错误标识数据进行统计分析，以获得所述错误统计数据。

可选的，在本发明一具体实施例中，所述分类标识包括用于标识所述网站运行错误所属错误类型的类型标识、用于标识所述网站运行错误所属项目类别的项目标识、用于标识所述网站运行错误所属页面类别的页面标识中的至少其一；

所述对所述第一数据库中存储的所述日志信息进行文本分析处理，以获得错误分析结果信息包括：

根据设定的分类规则，对所述日志信息添加所述类型标识、所述项目标识、所述页面标识中的至少其一，以获得所述错误标识数据；

根据所述类型标识、所述项目标识、所述页面标识中的至少其一，对所述错误标识数据进行统计分析，以获得所述网站运行错误所属错误类型的统计值、所述网站运行错误所属项目类别的统计值、所述网站运行错误所属页面类别的统计值中的至少其一。

可选的，在本发明一具体实施例中，所述判断所述错误分析结果信息是否满足设定的报警条件包括下述至少其一：

所述网站运行错误所属错误类型的统计值大于或者等于第一设定值；

所述网站运行错误所属项目类别的统计值大于或者等于第二设定值；

所述网站运行错误所属页面类别的统计值大于或者等于第三设定值。

可选的，在本发明一具体实施例中，所述根据设定的分类规则对所述日志信息添加分类标识，以获得所述错误标识数据包括：

对所述日志信息进行解析，获得用于记载网站运行错误的描述关键词；

从所述描述关键词中去除设定的常用词表中所包括的常用关键词，以获得标识关键词；

利用语义分析模型将所述标识关键词转换成词向量，并根据所述词向量确定所述日志信息对应的分类标识，其中，所述语义分析模型通过对已添加分类标识的日志信息进行训练获得。

可选的，在本发明一具体实施例中，所述进行报警处理包括：根据所述错误分析结果信息和所述日志信息生成报警信息，并将所述报警信息发送至设定的维护人员，其中，所述报警信息可用于展示所述日志信息记录的网站运行错误具体代码所在位置、展示所述日志信息记录的网站运行错误发生次数、展示触发所述日志信息记录的网站运行错误所用的浏览器、场景重现所述日志信息中记录的网站运行错误的至少其一。

可选的，在本发明一具体实施例中，所述方法还包括：根据日志信息对网站运行错误的记录规则，获得不影响用户正常使用的网站运行错误的标识关键词；

对应的，所述对所述第一数据库中存储的所述日志信息进行文本分析处理包括：

根据所述不影响用户正常使用的网站运行错误的标识关键词，对所述第一数据库中存储的所述日志信息进行筛选，将不包括所述标识关键词的所述日志信息进行文本分析处理。

可选的，在本发明一具体实施例中，所述方法还包括：

确定网站上可能出现的全部用户路径，并统计所述用户路径中的全部页面在预定时间段内的独立访客数量；

根据所述独立访客数量，计算存在跳转关系的两个页面之间的跳转率；

判断所述跳转率是否在对应预定时间段内的预设跳转率阈值范围内，如果否，则进行报警处理。

根据本发明实施例的另一个方面，还提供了一种网站运行错误监控装置，包括：

接收模块，用于将实时接收的用于记录网站运行错误的日志信息传输至消息中间件，并以流数据的形式在所述消息中间件中进行临时存储；

获取模块，用于从所述消息中间件中获得所述日志信息，并将所述日志信息存储至第一数据库中；

分析处理模块，用于对所述第一数据库中存储的所述日志信息进行文本分析处理，以获得错误分析结果信息，并将所述错误分析结果信息在所述第一数据库中进行存储；

判断模块，用于判断所述错误分析结果信息是否满足设定的报警条件，如果是，则进行报警处理。

根据本发明实施例的另一个方面，还提供了一种计算机存储介质，所述计算机存储介质中存储有：

用于将实时接收的用于记录网站运行错误的日志信息传输至消息中间件，并以流数据的形式在所述消息中间件中进行临时存储的指令；

用于从所述消息中间件中获得所述日志信息，并将所述日志信息存储至第一数据库中的指令；

用于对所述第一数据库中存储的所述日志信息进行文本分析处理，以获得错误分析结果信息，并将所述错误分析结果信息在所述第一数据库中进行存储的指令；

用于判断所述错误分析结果信息是否满足设定的报警条件，如果是，则进行报警处理的指令。

由以上技术方案可见，本发明实施例提供的错误监控方法、装置及计算机存储介质，通过实时获得用于记录网站运行错误的日志信息，有利于网站运行过程中出现的错误被及时发现及处理，提升用户体验。通过将接收的日志信息临时存储至消息中间件中，然后从消息中间件中转存至第一数据库中，避免了日志信息的丢失。此外，通过设置报警条件，当错误分析结果信息满足报警条件时才会进行报警，而不是当有网站运行错误时立刻报警，使得通知设定的维护人员的次数减少。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1示出了本发明的实施例一的网站运行错误监控方法的流程图；

图2示出了本发明的实施例二的网站运行错误监控方法的流程图；

图3示出了本发明的实施例三的网站运行错误监控装置的结构框图。

具体实施方式

为了使本领域的人员更好地理解本发明实施例中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明实施例一部分实施例，而不是全部的实施例。基于本发明实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本发明实施例保护的范围。

下面结合本发明实施例附图进一步说明本发明实施例具体实现。

实施例一

图1示出了本发明的实施例一的网站运行错误监控方法的流程图。如图1所示，本发明的实施例一的网站运行错误监控方法包括以下步骤：

步骤S101、将实时接收的用于记录网站运行错误的日志信息传输至消息中间件，并以流数据的形式在消息中间件中进行临时存储。

本实施例中，用户可通过客户端软件访问网站，并进行一系列的操作，在这个过程中，可能会出现一些网站运行错误，因此可收集用于记录网站运行错误的日志信息，通过对日志信息进行分析实现对网站运行错误的监控及处理。

本发明实施例中日志信息中记录的网站运行错误可包括网页展现错误和/或网页交互错误。其中，网页展现错误为展现网站页面中所包括的信息时所出现的错误，例如网页无法打开，网页排版异常等；网页交互错误为用户在网站页面中输入操控信息时所出现的错误。

本实施例中，客户端可将记录网站运行错误的日志信息上传至服务器的日志传输系统，以使得服务器可实时接收并存储日志信息。

本实施例中，当网站的部分服务出现异常时，服务器可能在一段时间内会接收到大量的日志信息，如果直接将客户端上传的日志信息存储在数据库中的话，有可能会出现日志信息丢失的情况，导致较为重要的网站运行错误不能被处理。因此为避免日志信息丢失，服务器可通过日志传输系统将客户端上传的日志信息传输至具备可靠消息传递机制的消息中间件中，并在消息中间件中以流数据的形式对日志信息进行临时存储。

消息中间件是支持在分布式系统中发送和接受消息的基础软件，其作用至少包括缓存数据，在应对高速、大量的数据读写请求时，消息中间件将数据缓存能有效的起到缓冲作用，防止数据的丢失，保证数据的完整性。在实际应用时，可根据数据库和消息中间件的性能，设置日志信息在消息中间件中临时存储的时长。例如，为保证日志信息被及时处理，并且控制缓存的数据量，可优选日志信息在消息中间件中临时存储的时长为6个小时。

步骤S102、从消息中间件中获得日志信息，并将日志信息存储至第一数据库中。

本实施例中，服务器可从消息中间件中实时获得日志信息，并将日志信息存储至第一数据库中。第一数据库的类型不限，可以为关系型数据库或非关系型数据库，在实际应用中可根据需求进行选择。

可选的，由于消息中间件通常用于分布式系统中，即消息中间件中的日志信息采用分布式的方式进行存储，为了提高将日志信息存储至第一数据库中的存储效率，日志传输系统和第一数据库也均可选取分布式。

例如，日志传输系统可优选Flume，Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据。

第一数据库可优选MongoDB数据库，MongoDB数据库的Sharding方案可将整个数据集拆分成多个更小的组块，并分布在集群中多个节点上，达到存储和负载能力扩容、压力分流的作用。

步骤S103、对第一数据库中存储的日志信息进行文本分析处理，获得错误分析结果信息，并将错误分析结果信息在第一数据库中进行存储。

本实施例中，错误分析结果信息可用于标识网站运行错误对网站正常运行的影响程度。由于不同的网站运行错误对网站正常运行的影响程度不同，通常维护人员需要优先处理对网站正常运行的影响程度较大的网站运行错误，因此可通过对日志信息进行文本分析处理，确定日志信息中记录的网站运行错误的类别，以根据网站运行错误的类别获得错误分析结果信息，从而维护人员可根据网站运行错误，对网站正常运行的影响程度确定处理的优先级。

本实施例中，文本分析处理的方法及所采用的软件不限，在实际应用中可根据需求进行选择。可将网站运行错误的类别作为错误分析结果信息；也可将网站运行错误的影响程度作为错误分析结果信息，通过预先设置网站运行错误的类别与影响程度的对应关系，从而在确定网站运行错误的类别后，可根据对应关系获得错误分析结果信息。

可选的，为了减少文本分析处理的次数，可按照预设的时间间隔值，周期性对第一数据库中存储的日志信息进行文本分析处理。

步骤S104、判断错误分析结果信息是否满足设定的报警条件，如果是，则进行报警处理。

本实施例中，可根据网站运行错误对网站正常运行的影响程度设定的报警条件，以对网站正常运行影响程度较大的网站运行错误进行快速处理，并减少报警处理的次数。

可选的，报警处理可包括：根据错误分析结果信息生成报警信息，并将报警信息发送至设定的维护人员，从而使得维护人员能够及时处理网站运行错误，恢复网站正常运行。报警信息的推送方式不限，例如可通过短信、电话、邮件或者钉钉等方式将报警信息发送至设定的维护人员。

由以上本发明实施例可见，本发明实施例通过实时获得用于记录网站运行错误的日志信息，有利于网站运行过程中出现的错误被及时发现及处理，提升用户体验。通过将接收的日志信息临时存储至消息中间件中，然后从消息中间件中转存至第一数据库中，避免了日志信息的丢失。此外，通过设置报警条件，当错误分析结果信息满足报警条件时才会进行报警，而不是当有网站运行错误时立刻报警，使得通知设定的维护人员的次数减少。

实施例二

图2示出了本发明的实施例二的网站运行错误监控方法的流程图。如图2所示，本发明的实施例二的网站运行错误监控方法包括以下步骤：

步骤S201、将实时接收的用于记录网站运行错误的日志信息传输至消息中间件，并以流数据的形式在消息中间件中进行临时存储。

本实施例中，为了便于后续从消息中间件中获得日志信息，可将日志信息分类后再在消息中间件中进行临时存储时。例如，可将日志信息分类存储在消息中间件中对应的类型属性中。

本实施例中，消息中间件可选用Kafka，Kafka是由Apache软件基金会开发的一种高吞吐量的开源分布式发布订阅消息系统，由Scala和Java编写，可以处理消费者规模的网站中的所有动作流数据。

步骤S202、从消息中间件中获得未被标识的日志信息，并将未被标识的日志信息存储至第一数据库中。

本实施例中，为了避免日志信息被重复或者遗漏存储至第一数据库中，可在消息中间件中对已被存储至第一数据库中的日志信息进行标识，具体标识方式不限，使得在从消息中间件中获得日志信息并存储至第一数据库中时，可快速确定出未被获得及存储的日志信息。

可选的，为简化标识方式，可采用偏移量(Offset)在消息中间件中对已被获得的日志信息进行标识。例如，若日志信息的Offset为零，则表示日志信息未被获得；若日志信息的Offset不为零，则表示日志信息已被获得。

可选的，由于从消息中间件中获得某一条日志信息的过程中，可能会遇到一些突发情况，例如停电等，导致该日志信息获得失败或者未被存储至第一数据库中，为保证日志信息被完整的存储至第一数据库，可在日志信息被存储至第一数据库之后，才将日志信息进行标识。

本实施例中，为了保证数据存储的可靠性，可将第一数据库中存储的全部数据备份至第二数据库中，以使得当第一数据库出现数据存储或读取异常时，第二数据库可替换第一数据库。其中，第一数据库用于支持日志信息的存储和读写功能，第二数据库用于对第一数据库中存储的数据进行实时或者周期性的备份。第二数据库的数量不限，在实际应用中可根据需求进行部署。

可选的，为避免因为一台服务器出现故障导致无法实现数据的存储和读取，可将第一数据库和第二数据库部署在不同的服务器上。例如，将第一数据库部署在主节点服务器上，第二数据库部署在从节点服务器上，当从节点服务器发生故障时，只要部署在主节点服务器上的第一数据库正常工作，则不会影响数据的正常读写，待从节点服务器恢复后，从节点服务器上部署的第二数据库可自动与主节点服务器上部署的第一数据库同步数据；当主节点服务器发生故障时，可选举出一个从节点服务器作为新的主节点服务器，并将该从节点服务器上部署的第二数据库作为新的第一数据库，以提供数据的正常读写功能。

可选的，为进一步保证数据存储的可靠性，可将部署第一数据库的服务器和部署第二数据库的服务器放置在不同的机房中，以使得当一个机房出现异常情况导致放置其中的服务器无法正常工作时，放置在其他机房中的服务器仍能正常工作。

步骤S203、根据设定的分类规则对日志信息添加分类标识，以获得错误标识数据。

本实施例中，错误标识数据用于对日志信息的分类结果进行标识，当日志信息具有对应的错误标识数据后，可根据错误标识数据对日志信息进行查询及分析。

本实施例中，可预先设定网站运行错误的分类规则，并基于分类规则对第一数据库中存储的日志信息进行文本分析处理，以确定日志信息中网站运行错误的类别并添加对应的分类标识，获得错误标识数据。

可选的，可首先根据日志信息对网站运行错误的记录规则，确定日志信息中用于标识不同类别的网站运行错误的一个或者多个标识关键词；然后根据标识关键词设定日志信息的分类规则。从而服务器在获得日志信息后，可根据日志信息中包括的关键词确定对应的分类标识，以获得错误标识数据。

可选的，一方面由于日志信息对网站运行错误进行记载时会包括很多词汇，部分词汇属于常用词汇，无法作为标识关键词，例如“and”、“the”等，另一方面由于日志信息中记载不同类型网站运行错误的部分标识关键词可能相同，因此为了准确的区分出不同类型的网站运行错误，步骤S203可包括：

对日志信息进行解析，获得用于记载网站运行错误的描述关键词；从描述关键词中去除设定的常用词表中所包括的常用关键词，以获得标识关键词；利用语义分析模型将标识关键词转换成词向量，并根据词向量确定日志信息对应的分类标识，其中，语义分析模型通过对已添加分类标识的日志信息进行训练获得。

例如，在建立语义分析模型时，可首先选取尽可能多的已确定网站运行错误所属类别的日志信息，即已添加分类标识的日志信息，通过解析这些日志信息获得记载网站运行错误的描述关键词；从描述关键词中去除设定的常用词表中所包括的常用关键词，以获得已添加分类标识的日志信息的标识关键词，其中，可使用诸如jieba的分词工具进行分词处理；利用训练好的Word2Vec模型将已添加分类标识的日志信息的标识关键词转换为词向量，以确定各个类别的网站运行错误对应的词向量，并利用k均值聚类算法(k-means算法)对不同类别网站运行错误的词向量进行聚类，确定不同类别网站运行错误的聚类中心。

从而在获得未添加分类标识的日志信息的标识关键词后，也可利用相同的Word2Vec模型将标识关键词转换为词向量；然后根据相同的k均值聚类算法，确定未添加分类标识的日志信息的词向量最接近的聚类中心，并根据该聚类中心对应的网站运行错误类别，为未添加分类标识的日志信息添加对应的分类标识。

可选的，由于日志信息中记载一种网站运行错误所使用的标识关键词可能会有很多个，直接将标识关键词作为分类标识的话，难以对网站运行错误对网站正常运行的影响程度进行衡量。因此可预先建立标识关键词与影响程度之间的对应关系模型，从而在获得日志信息之后，可首先解析出日志信息中所包括的标识关键词，然后利用对应关系模型确定出对应的影响程度，获得错误影响程度信息。

例如，可按照1-9级对影响程度进行区分，数字越大，则表明日志信息中记录的网站运行错误对网站正常运行的影响程度越高。

可选的，可根据日志信息对网站运行错误的记录规则，获得不影响用户正常使用的网站运行错误的标识关键词，在步骤S203之前，可根据不影响用户正常使用的网站运行错误的标识关键词，对第一数据库中存储的日志信息进行筛选。通过对日志信息进行筛选，将记录了不影响用户正常使用的网站运行错误的日志信息进行过滤，可减少步骤S203中进行文本处理的日志信息数量，提高文本分析处理的效率。

例如，可预先根据日志信息对网站运行错误的记录规则，确定出日志信息中用于标识不影响用户正常使用的网站运行错误的一个或者多个标识关键词，并根据标识关键词建立停用词表，从而可根据停用词表对日志信息进行筛选，对记录了不影响用户正常使用的网站运行错误的日志信息进行过滤。

可选的，当网站提供的服务较多时，维护人员可能会根据网站运行错误的类别、网站运行错误所属的项目、网站运行错误所属的页面中的至少一种进行分工，为了便于按照分工情况对网站运行错误进行报警处理，分类标识可包括用于标识网站运行错误所属错误类型的类型标识、用于标识网站运行错误所属项目类别的项目标识、用于标识网站运行错误所属页面类别的页面标识中的至少其一，步骤S203还可包括：根据设定的分类规则，对日志信息添加类型标识、项目标识、页面标识中的至少其一，以获得日志信息对应的错误标识数据。

步骤S204、对错误标识数据进行统计分析，以获得错误统计数据。

本实施例中，错误统计数据用于记载对错误标识数据的统计分析结果，统计分析方法及统计分析结果的记载方式不限，在实际应用中可根据需求进行选择。例如，错误统计数据可以是针对一个或者多个统计指标获得的一个或者一组统计值，统计值可以是整数或者非整数。

本实施例中，为了便于对数据进行查询和读取，还可将错误标识数据和错误统计数据存储至第一数据库中。由于错误统计数据是通过对数据库中存储的日志信息进行统计获得，因此随着日志信息的不断增多，错误统计数据也可能会不断发生变化；而错误标识数据是用于对日志信息的分类结果进行标识，数据库中存储的每条日志信息可能都有与其对应的错误标识数据，所以当一条日志信息在数据库中进行存储后，与其对应的错误标识数据不会随着新存储其他日志信息而发生变化。

可选的，当步骤S203中的错误标识数据是通过对日志信息添加类型标识、项目标识、页面标识中的至少其一获得时，对应的，步骤S204可包括：根据类型标识、项目标识、页面标识中的至少其一，对错误标识数据进行统计分析，以获得网站运行错误所属错误类型的统计值、网站运行错误所属项目类别的统计值、网站运行错误所属页面类别的统计值中的至少其一。

步骤S205、判断错误统计数据是否满足设定的报警条件，如果是，则根据错误统计数据生成报警信息，并将报警信息发送至设定的维护人员。

本实施例中，为了能够满足维护人员对网站运行错误的不同监控需求，判断错误统计数据是否满足设定的报警条件包括下述至少其一：网站运行错误所属错误类型的统计值大于或者等于第一设定值；网站运行错误所属项目类别的统计值大于或者等于第二设定值；网站运行错误所属页面类别的统计值大于或者等于第三设定值。其中，第一设定值、第二设定值、第三设定值在实际应用中可根据需求灵活设置。

本实施例中，上述网站运行错误所属错误类型的统计值可以是网站运行错误所属错误类型的数量；网站运行错误所属错误类型的统计值还可以是网站运行错误所属错误类型的环比数据，如当前统计时间段与上一相邻统计时间段作比较或当前统计时间段与下一相邻统计时间段作比较，例如2019年3月15日14:00与2019年3月15日15:00的数据相比较，2019年3月15日与2019年3月14日的数据相比较；网站运行错误所属错误类型的统计值还可以是网站运行错误所属错误类型的同比数据，即与历史同时期比较，如当天时间段T1与前一天(或后一天)同一时间段T1的数据作比较，当月与前一月(后一月)的同时期数据作比较等。针对网站运行错误所属项目类别的统计值以及网站运行错误所属页面类别的统计值类似，在此不再赘述。

本实施例中，由于错误统计数据是对错误标识数据进行统计获得，根据错误统计数据生成报警信息，可以实现针对不同种类的错误标识数据确定不同的报警条件。

可选的，可根据错误标识数据和错误统计数据生成报警信息，报警信息中可包括用于展示错误标识数据和/或错误统计数据的信息，以使得维护人员在查看报警信息时，可知晓更为丰富的信息。

可选的，还可根据错误统计数据和日志信息生成报警信息，并将报警信息发送至设定的维护人员，其中，报警信息可用于展示日志信息记录的网站运行错误具体代码所在位置、展示日志信息记录的网站运行错误发生次数、展示触发日志信息记录的网站运行错误所用的浏览器、场景重现日志信息中记录的网站运行错误的至少其一。以使得维护人员在收到报警信息时可查阅更多的网站运行错误相关的信息，有助于更为迅速的排查错误出现原因。

其中，由于日志信息中包括用于标识网站运行错误的出错代码所在行号的行号标识数据、用于标识出现网站运行错误的页面地址的地址标识数据、用于标识用户代理(UserAgent，简称UA)的代理标识数据和用于标识产生网站运行错误的用户操作路径的路径标识数据等信息，因此可通过对日志信息进行解析，获得日志信息记录的网站运行错误具体代码所在位置；以及通过对用于标识UA的代理标识数据进行分析，确定触发日志信息记录的网站运行错误所用的浏览器。

可采用浏览器自动化测试的工具根据日志信息中用于标识产生网站运行错误用户的操作路径的路径标识数据进行模拟操作，以获得用于对日志信息中记录的网站运行错误进行场景重现的数据。其中，网站运行错误场景重现可以是以图片的形式进行场景重现或者以视频的形式进行场景重现。例如，为了节省内存，加快处理效率，可以图片的形式进行场景重现，即对模拟操作过程进行截图保存，并将截图发送给维护人员。

本实施例中，由于网站的页面中出现的部分问题不会被记载至日志信息中并上报至服务器，例如因为页面元素缺失或者跳转按钮失效导致无法实现页面跳转，为了实现对页面可用性的监控，本实施例还可包括：

确定网站上可能出现的全部用户路径，并统计用户路径中的全部页面在预定时间段内的独立访客数量；

根据独立访客数量，计算存在跳转关系的两个页面之间的跳转率；

判断跳转率是否在对应预定时间段内的预设跳转率阈值范围内，如果否，则进行报警处理。

其中，用户路径是指用户对网站的页面访问路径。独立访客(Unique Visitor，UV)是指通过互联网访问网页的自然人，通常一台用户终端的一个客户端被统计成一个独立访客。在计算跳转率时，可由跳转前页面的独立访客数量除以跳转后页面的独立访客数量获得。预定时间段内的预设跳转率阈值范围在实际应用中可根据对历史数据的统计结果确定。当跳转率不在对应预定时间段内的预设跳转率阈值范围内时，则表明跳转前的页面可能出现异常，可通过报警处理提示维护人员进一步分析是否出现网站运行错误。

通过监控跳转前页面的独立访客数量和跳转后页面的独立访客数量之间的跳转率，不仅可实现对页面可用性的监控，而且由于仅需监控跳转率数据的变化情况，无需监控用户在页面上的具体行为，降低了监控的实施成本。

可选的，由于用户在部分页面中会提交确认结果，例如实现订单提交和支付的页面，因此为了减少对独立访客的监控和统计的工作量，可根据用户在页面中提交的确认结果和/或独立访客数量，计算存在跳转关系的两个页面之间的跳转率。

例如，当用户购买一门在线课程时，用户路径可以为“首页-商城页-详情页-购课页-支付页”，该用户路径中包括“首页”、“商城页”、“详情页”、“购课页”“支付页”五个页面，存在以下四个页面跳转关系，即“首页”和“商城页”两个页面存在跳转关系，“商城页”和“详情页”两个页面存在跳转关系，“详情页”和“购课页”两个页面存在跳转关系，“购课页”和“支付页”两个页面存在跳转关系。

在计算存在跳转关系的两个页面之间的跳转率时，可每隔预定时间段计算一次以下四个跳转率数值：

“首页”和“商城页”两个页面之间的跳转率＝“商城页”的独立访客数量/“首页”独立访客数量；

“商城页”和“详情页”两个页面之间的跳转率＝“详情页”独立访客数量/“商城页”独立访客数量；

“详情页”和“购课页”两个页面之间的跳转率＝“购课页”对应的订单提交数量/“详情页”独立访客数量；

“购课页”和“支付页”两个页面之间的跳转率＝“支付页”对应的成功支付订单数量/“购课页”对应的订单提交数量。

当预定时间段为5分钟时，则可实现每隔5分钟刷新一次上述四个跳转率数值，通过将上述四个跳转率数值分别与对应的预设跳转率阈值范围进行比较，即可判断是否可能出现了网站运行错误。例如，当“首页”和“商城页”两个页面之间的跳转率低于预设跳转率阈值范围时，则可能是“首页”中链接至“商城页”的控件出现异常，需要进行报警处理。

由以上本发明实施例可见，本发明通过将实时接收的用于记录网站运行错误的日志信息传输至消息中间件中，并以流数据的形式在消息中间件中进行临时存储，然后从消息中间件中获得日志信息，并将日志信息存储至数据库中，在获得日志信息时，当日志信息被标识为未获得时，才会获得该日志信息，从而保证日志信息的准确性，避免遗漏或者重复获得日志信息；当错误标识数据和错误统计数据满足报警条件时，才会进行报警处理，将报警信息发送至设定的维护人员，使得通知设定的维护人员的次数减少。

实施例三

图3示出了本发明的实施例三的网站运行错误监控装置的结构框图。如图3，本发明的实施例三的网站运行错误监控装置包括：

接收模块301，用于将实时接收的用于记录网站运行错误的日志信息传输至消息中间件，并以流数据的形式在消息中间件中进行临时存储。

获取模块302，用于从消息中间件中获得日志信息，并将日志信息存储至第一数据库中。

分析处理模块303，用于对第一数据库中存储的日志信息进行文本分析处理，以获得错误分析结果信息，并将错误分析结果信息在第一数据库中进行存储。

判断模块304，用于判断错误分析结果信息是否满足设定的报警条件，如果是，则进行报警处理。

本实施例中错误分析结果信息包括错误标识数据和错误统计数据；对应的，分析处理模块303包括：

标识单元303a，用于根据设定的分类规则对日志信息添加分类标识，以获得错误标识数据。

统计分析单元303b，用于对错误标识数据进行统计分析，以获得错误统计数据。

本实施例中，分类标识包括用于标识网站运行错误所属错误类型的类型标识、用于标识网站运行错误所属项目类别的项目标识、用于标识网站运行错误所属页面类别的页面标识中的至少其一。

标识单元303a还用于根据设定的分类规则，对日志信息添加类型标识、项目标识、页面标识中的至少其一，以获得错误标识数据。

统计分析单元303b还用于根据类型标识、项目标识、页面标识中的至少其一，对错误标识数据进行统计分析，以获得网站运行错误所属错误类型的统计值、网站运行错误所属项目类别的统计值、网站运行错误所属页面类别的统计值中的至少其一。

本实施例中，判断模块304中设定的报警条件包括下述至少其一：

网站运行错误所属错误类型的统计值大于或者等于第一设定值；

网站运行错误所属项目类别的统计值大于或者等于第二设定值；

网站运行错误所属页面类别的统计值大于或者等于第三设定值。

本实施例中，标识单元303a还用于对日志信息进行解析，获得用于记载网站运行错误的描述关键词；从描述关键词中去除设定的常用词表中所包括的常用关键词，以获得标识关键词；利用语义分析模型将标识关键词转换成词向量，并根据词向量确定日志信息对应的分类标识，其中，语义分析模型通过对已添加分类标识的日志信息进行训练获得。

本实施例中，判断模块304还用于根据错误分析结果信息和日志信息生成报警信息，并将报警信息发送至设定的维护人员，其中，报警信息可用于展示日志信息记录的网站运行错误具体代码所在位置、展示日志信息记录的网站运行错误发生次数、展示触发日志信息记录的网站运行错误所用的浏览器、场景重现日志信息中记录的网站运行错误的至少其一。

本实施例中，还包括获取关键词模块305，用于根据日志信息对网站运行错误的记录规则，获得不影响用户正常使用的网站运行错误的标识关键词；

分析处理模块303还用于根据不影响用户正常使用的网站运行错误的标识关键词，对第一数据库中存储的日志信息进行筛选，将不包括标识关键词的日志信息进行文本分析处理。

本实施例中，还包括页面转换率监控模块306，用于确定网站上可能出现的全部用户路径，并统计用户路径中的全部页面在预定时间段内的独立访客数量；根据独立访客数量，计算存在跳转关系的两个页面之间的跳转率；判断跳转率是否在对应预定时间段内的预设跳转率阈值范围内，如果否，则进行报警处理。

通过本实施例的网站运行错误监控装置，可以实现前述多个方法实施例中相应的网站运行错误监控方法，并具有相应方法实施例的有益效果，在此不再赘述。

实施例四

本发明还提供了一种计算机存储介质，计算机存储介质中存储有：

用于将实时接收的用于记录网站运行错误的日志信息传输至消息中间件，并以流数据的形式在消息中间件中进行临时存储的指令。

用于从消息中间件中获得日志信息，并将日志信息存储至第一数据库中的指令。

用于对第一数据库中存储的日志信息进行文本分析处理，以获得错误分析结果信息，并将错误分析结果信息在第一数据库中进行存储的指令。

用于判断错误分析结果信息是否满足设定的报警条件，如果是，则进行报警处理的指令。

本实施例中，错误分析结果信息包括错误标识数据和错误统计数据；计算机存储介质中存储有还存储有：

用于根据设定的分类规则对日志信息添加分类标识，以获得错误标识数据的指令；

用于对错误标识数据进行统计分析，以获得错误统计数据的指令。

本实施例中，分类标识包括用于标识网站运行错误所属错误类型的类型标识、用于标识网站运行错误所属项目类别的项目标识、用于标识网站运行错误所属页面类别的页面标识中的至少其一；对应的，计算机存储介质中存储有还存储有：还包括：

用于根据设定的分类规则，对日志信息添加类型标识、项目标识、页面标识中的至少其一，以获得错误标识数据的指令。

用于根据类型标识、项目标识、页面标识中的至少其一，对错误标识数据进行统计分析，以获得网站运行错误所属错误类型的统计值、网站运行错误所属项目类别的统计值、网站运行错误所属页面类别的统计值中的至少其一的指令。

本实施例中，判断错误分析结果信息是否满足设定的报警条件包括下述至少其一：

网站运行错误所属错误类型的统计值大于或者等于第一设定值；

网站运行错误所属项目类别的统计值大于或者等于第二设定值；

网站运行错误所属页面类别的统计值大于或者等于第三设定值

本实施例中，还包括：用于对日志信息进行解析，获得用于记载网站运行错误的描述关键词的指令。

用于从描述关键词中去除设定的常用词表中所包括的常用关键词，以获得标识关键词的指令。

用于利用语义分析模型将标识关键词转换成词向量，并根据词向量确定日志信息对应的分类标识的指令。其中，语义分析模型通过对已添加分类标识的日志信息进行训练获得。

本实施例中，还包括：用于根据错误分析结果信息和日志信息生成报警信息，并将报警信息发送至设定的维护人员的指令。

其中，报警信息可用于展示日志信息记录的网站运行错误具体代码所在位置、展示日志信息记录的网站运行错误发生次数、展示触发日志信息记录的网站运行错误所用的浏览器、场景重现日志信息中记录的网站运行错误的至少其一。

本实施例中，还包括：

用于根据日志信息对网站运行错误的记录规则，获得不影响用户正常使用的网站运行错误的标识关键词的指令。

用于根据不影响用户正常使用的网站运行错误的标识关键词，对第一数据库中存储的日志信息进行筛选，将不包括标识关键词的日志信息进行文本分析处理的指令。

本实施例中，还包括：

用于确定网站上可能出现的全部用户路径，并统计用户路径中的全部页面在预定时间段内的独立访客数量的指令。

用于根据独立访客数量，计算存在跳转关系的两个页面之间的跳转率的指令。

用于判断跳转率是否在对应预定时间段内的预设跳转率阈值范围内，如果否，则进行报警处理的指令。

通过本实施例的计算机存储介质，可以实现前述多个方法实施例中相应的网站运行错误监控方法，并具有相应方法实施例的有益效果，在此不再赘述。

需要指出，根据实施的需要，可将本发明实施例中描述的各个部件/步骤拆分为更多部件/步骤，也可将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤，以实现本发明实施例的目的。

上述根据本发明实施例的方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如CD ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如ASIC或FPGA)的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，RAM、ROM、闪存等)，当软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的网站运行错误监控方法。此外，当通用计算机访问用于实现在此示出的网站运行错误监控方法的代码时，代码的执行将通用计算机转换为用于执行在此示出的网站运行错误监控方法的专用计算机。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明实施例的范围。

以上实施方式仅用于说明本发明实施例，而并非对本发明实施例的限制，有关技术领域的普通技术人员，在不脱离本发明实施例的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明实施例的范畴，本发明实施例的专利保护范围应由权利要求限定。

Claims (8)

1.一种网站运行错误监控方法，其特征在于，包括：

将实时接收的用于记录网站运行错误的日志信息传输至消息中间件，并以流数据的形式在所述消息中间件中进行临时存储；

从所述消息中间件中获得所述日志信息，并将所述日志信息存储至第一数据库中；

在所述消息中间件中对已被存储至所述第一数据库中的日志信息进行标识；从所述消息中间件中获得未被标识的日志信息，并将所述未被标识的日志信息存储至所述第一数据库中；

对所述第一数据库中存储的所述日志信息进行文本分析处理，以获得错误分析结果信息，并将所述错误分析结果信息在所述第一数据库中进行存储；所述错误分析结果信息包括错误标识数据和错误统计数据；

所述对所述第一数据库中存储的所述日志信息进行文本分析处理，以获得错误分析结果信息包括：

根据设定的分类规则对所述日志信息添加分类标识，以获得所述错误标识数据；

对所述错误标识数据进行统计分析，以获得所述错误统计数据，

所述根据设定的分类规则对所述日志信息添加分类标识，以获得所述错误标识数据包括：

对所述日志信息进行解析，获得用于记载网站运行错误的描述关键词；

从所述描述关键词中去除设定的常用词表中所包括的常用关键词，以获得标识关键词；

利用语义分析模型将所述标识关键词转换成词向量，并根据所述词向量确定所述日志信息对应的分类标识，其中，所述语义分析模型通过对已添加分类标识的日志信息进行训练获得；

判断所述错误分析结果信息是否满足设定的报警条件，如果是，则进行报警处理。

2.根据权利要求1所述的方法，其特征在于，所述分类标识包括用于标识所述网站运行错误所属错误类型的类型标识、用于标识所述网站运行错误所属项目类别的项目标识、用于标识所述网站运行错误所属页面类别的页面标识中的至少其一；

所述对所述第一数据库中存储的所述日志信息进行文本分析处理，以获得错误分析结果信息包括：

根据设定的分类规则，对所述日志信息添加所述类型标识、所述项目标识、所述页面标识中的至少其一，以获得所述错误标识数据；

根据所述类型标识、所述项目标识、所述页面标识中的至少其一，对所述错误标识数据进行统计分析，以获得所述网站运行错误所属错误类型的统计值、所述网站运行错误所属项目类别的统计值、所述网站运行错误所属页面类别的统计值中的至少其一。

3.根据权利要求1所述的方法，其特征在于，所述判断所述错误分析结果信息是否满足设定的报警条件包括下述至少其一：

所述网站运行错误所属错误类型的统计值大于或者等于第一设定值；

所述网站运行错误所属项目类别的统计值大于或者等于第二设定值；

所述网站运行错误所属页面类别的统计值大于或者等于第三设定值。

4.根据权利要求1所述的方法，其特征在于，所述进行报警处理包括：根据所述错误分析结果信息和所述日志信息生成报警信息，并将所述报警信息发送至设定的维护人员，其中，所述报警信息可用于展示所述日志信息记录的网站运行错误具体代码所在位置、展示所述日志信息记录的网站运行错误发生次数、展示触发所述日志信息记录的网站运行错误所用的浏览器、场景重现所述日志信息中记录的网站运行错误的至少其一。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：根据日志信息对网站运行错误的记录规则，获得不影响用户正常使用的网站运行错误的标识关键词；

对应的，所述对所述第一数据库中存储的所述日志信息进行文本分析处理包括：

根据所述不影响用户正常使用的网站运行错误的标识关键词，对所述第一数据库中存储的所述日志信息进行筛选，将不包括所述标识关键词的所述日志信息进行文本分析处理。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

确定网站上可能出现的全部用户路径，并统计所述用户路径中的全部页面在预定时间段内的独立访客数量；

根据所述独立访客数量，计算存在跳转关系的两个页面之间的跳转率；

判断所述跳转率是否在对应预定时间段内的预设跳转率阈值范围内，如果否，则进行报警处理。

7.一种网站运行错误监控装置，其特征在于，包括：

接收模块，用于将实时接收的用于记录网站运行错误的日志信息传输至消息中间件，并以流数据的形式在所述消息中间件中进行临时存储；

获取模块，用于从所述消息中间件中获得所述日志信息，并将所述日志信息存储至第一数据库中，所述获取模块还用于当在所述消息中间件中对已被存储至所述第一数据库中的日志信息进行标识之后获得未被标识的日志信息，并将所述未被标识的日志信息存储至所述第一数据库中；

分析处理模块，用于对所述第一数据库中存储的所述日志信息进行文本分析处理，以获得错误分析结果信息，并将所述错误分析结果信息在所述第一数据库中进行存储；所述错误分析结果信息包括错误标识数据和错误统计数据；

其中，所述分析处理模块包括：

标识单元，用于根据设定的分类规则对日志信息添加分类标识，以获得错误标识数据；

统计分析单元，用于对错误标识数据进行统计分析，以获得错误统计数据；

其中，所述标识单元还用于：对所述日志信息进行解析，获得用于记载网站运行错误的描述关键词；从所述描述关键词中去除设定的常用词表中所包括的常用关键词，以获得标识关键词；利用语义分析模型将所述标识关键词转换成词向量，并根据所述词向量确定所述日志信息对应的分类标识，其中，所述语义分析模型通过对已添加分类标识的日志信息进行训练获得；

判断模块，用于判断所述错误分析结果信息是否满足设定的报警条件，如果是，则进行报警处理。

8.一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如权利要求1-6中任一项所述的方法。

Images