CN107545187A - 一种服务数据的处理方法及装置 - Google Patents

Abstract

本申请提供一种服务数据的处理方法及装置，所述方法包括：获取通过接口调用服务数据的调用时间；确定所述调用时间超过调用超时阈值的次数；如果所述次数超过次数阈值时，则确定调用所述服务数据和所述服务的组合为问题数据；禁止所述问题数据的调用。本申请中，对通过设置接口的调用服务数据进行拦截，并对拦截的调用服务数据的调用时间进行判断，并在判断该调用的服务数据和服务为问题数据时，禁止该问题数据的调用，以便于该问题数据不能为后续用户再提供服务，保障了系统运行的稳定性，提高了用户体验。

Description

一种服务数据的处理方法及装置

技术领域

本申请涉及网络技术，特别涉及一种服务数据的处理方法及装置。

背景技术

在系统的运行过程中，会遇到一些不合理的设计或是预料之外的数据量，或者一次性从数据库中取出与业务主体相关的多条数据，比如，以不翻页的形式一次取出客户的所有交易记录。此时，如果遭遇热点客户存在大量的数据，则需要耗费较长的时间和数据库交互，大幅降低了系统的吞吐量，导致单机数据库的连接数被占满，无法再为后续客户提供业务服务，还可能进一步导致和本数据库放在同一网络的其他数据库或应用带宽不足，后续客户会反复尝试，这将会对系统的稳定性带来雪崩式负面影响。

对于这种情况，常用的技术方案，就是将服务数据放在一个新起的线程中执行，如果在设定时间内执行完毕，则立即对外释放数据库连接，否则，在到达超时阈值时，强行中断线程。也就是说，现有方式中，虽然能够通过设定时间强行中断服务，减少对数据库连接的消耗，但是该问题数据被发现后无法被剔除，后续用户仍然会重试占用该数据库连接；而且设定时间很难精准把控，设定太短，则会有较大概率影响正常业务，设定太长则达不到减少对数据库连接消耗的效果。

因此，在保证系统稳定性的前提下，如何对发现的问题数据进行处理，是目前有待解决的问题。

发明内容

有鉴于此，本申请提供一种服务数据的处理方法及装置，以解决现有技术中不能对发现的问题数据进行有效处理，导致系统稳定性降低的问题。

具体地，本申请是通过如下技术方案实现的：

第一方面，提供一种服务数据的处理方法，所述方法包括：

获取通过接口调用服务数据的调用时间；

确定所述调用时间超过调用超时阈值的次数；

如果所述次数超过次数阈值时，则确定调用的所述服务数据和服务的组合为问题数据；

禁止所述问题数据的调用。

可选的，所述禁止所述问题数据的调用包括：

将所述问题数据添加到黑名单中。

可选的，所述方法还包括：

在将所述问题数据添加到黑名单后，发出报警信息；

或者

判断所述黑名单中是否记录有问题数据，如果有，则发出报警信息。

可选的，所述确定所述调用时间超过调用超时阈值的次数包括：

判断所述调用时间是否超过调用超时阈值，如果超过，则指示计数器加一；

统计所述计数器记录的所述调用时间超过所述调用超时阈值的次数。

可选的，所述方法还包括：

设定所述次数阈值，所述次数阈值为大于1，且小于等于N的整数，其中，N为应用群集中应用服务器的总数量减去应用出现压力拐点所需应用服务器的数量。

第二方面提供一种服务数据的处理装置，包括：

获取单元，用于获取通过接口调用服务数据的调用时间；

第一确定单元，用于确定所述调用时间超过调用超时阈值的次数；

第一判断单元，用于判断所述次数是否超过设定的次数阈值；

第二确定单元，用于在所述第一判断单元判断所述次数超过设定的次数阈值时，确定调用的所述服务数据和所述服务的组合为问题数据；

禁止单元，用于禁止所述问题数据调用。

可选的，所述禁止单元，具体用于将所述第二确定单元确定的所述问题数据添加到黑名单中。

可选的，所述装置还包括：

第一报警单元，用于在所述添加单元将所述问题数据添加到黑名单后，发出报警信息；

或者

第二判断单元，用于判断所述黑名单中是否记录有问题数据；

第二报警单元，用于在所述第二判断单元判断所述黑名单中记录有问题数据时，发出报警信息。

可选的，所述第一确单元包括：

第三判断单元，用于判断所述调用时间是否超过调用超时阈值；

指示单元，用于在所述第三判断单元判断所述调用时间超过调用超时阈值时，指示计数器加一；

统计单元，用于统计所述计数器记录的所述调用时间超过所述调用超时阈值的次数。

可选的，所述装置还包括：

设定单元，用于设定所述次数阈值，所述次数阈值为大于1，且小于等于N的整数，其中N为应用群集中应用服务器的总数量减去应用出现压力拐点所需应用服务器的数量。

本申请实施例中，对通过设置接口的调用服务数据进行拦截，并对拦截的调用服务数据的调用时间进行判断，并在确定调用的该服务数据和服务的组合为问题数据时，禁止该问题数据的调用，以便该问题数据不能为后续用户再提供服务，保障了系统运行的稳定性，提高了用户体验。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

图1是本申请实施例提供的一种服务数据的处理方法的流程图；

图2是本申请实施例提供的一种服务数据的处理方法的另一流程图；

图3是本申请实施例提供的一种服务数据的处理方法的另一流程图；

图4是本申请实施例提供的服务数据的处理装置所在设备的一种硬件结构图；

图5是本申请实施例提供的一种服务数据的处理装置的结构示意图；

图6是本申请实施例提供的一种服务数据的处理装置的另一结构示意图；

图7是本申请实施例提供的一种服务数据的处理装置的另一结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

请参阅图，图1是本申请实施例提供的一种服务数据的处理方法的流程图，所述方法包括：

步骤101：获取通过接口调用服务的调用时间；

该步骤中，预先将提供服务的接口(本文称为接口)放入拦截列表中，其中，服务器可以通过面向方面编程(spring AOP，Aspect Oriented Programming)将接口放入拦截列表中。其中，AOP是软件开发中的一个热点，也是Spring框架中的一个重要内容，是函数式编程的一种衍生范型，AOP主要实现的目的是针对业务处理过程中的切面进行提取，它所面对的是处理过程中的某个步骤或阶段，以获得逻辑过程中各部分之间低耦合性的隔离效果。

对于本领域技术人员来说，通过spring AOP将接口放入拦截列表中已是熟知技术，在此不再赘述。

然后，在服务器调用服务数据时，服务器中的前置拦截器拦截获取通过接口调用服务数据的调用时间。

步骤102：确定所述调用时间超过调用超时阈值的次数；

该步骤中一种确定方式为：首先，服务器判断所述调用时间是否超过调用超时阈值，如果超过，则指示计数器加一；计数器位于服务器中；调用超时阈值是指调用时间超时的阈值。

其中，对于一个应用集群来说，每一个服务数据的调用时间，只要超过调用超时阈值，则都会指示计时器加一；

然后，统计所述计数器记录的所述调用时间超过所述调用超时阈值的次数。其中，所述次数为每一个服务数据的调用时间超过调用超时阈值时的次数。

也就是说，在应用集群中，每一个服务数据的调用时间超出调用超时阈值一次，计数器都会加一，并将计数器记录的值放入分布式缓存中。需要说明的，该实施例中不能使用单机缓存，这时因为在极端情况下，一个结构化查询语言(SQL，Structured QueryLanguage)就可以拖垮单机应用。

步骤103：如果所述次数超过次数阈值时，则确定调用的所述服务数据和所述服务的组合为问题数据；

其中，该步骤中次数阈值是事先设定的，其设定的次数阈值为大于1，且小于等于N的整数，其中N为应用集群中应用服务器的总数量减去应用出现压力拐点所需应用服务器的数量。其中，应用服务器为应用集群中所有应用服务器的数量，应用出现压力拐点所需应用服务器的数量，即应用集群中备用应用服务器的数量，而备用应用服务器的数量会随着应用服务器的总数量的变化而变化。

比如：假如应用集群有100台服务器，当保留40台服务器时，应用出现压力拐点，性能开始下降，则次数阈值必须小于100-40台，该应用集群的次数值阈值最大阈值可以设置为60台；但这个差值就是理论上的最大极限值，事实上，次数阈值可以设置成2至5之间的任一整数即可，当然，最佳可以设置为2次或3次，也就是说，相同的事情发生一次有偶然的因素，发生2次或3次就是必然了。

该步骤中，先判断所述调用时间超过调用超时阈值的次数是否超过次数阈值，如果超过次数阈值时，则确定调用的所述服务数据和所述服务的组合为问题数据；如果没有超过次数阈值时，则说明该服务调用的调用时间正常或在允许的范围内。

需要说明的是，本实施例中，确定调用的是服务数据和服务的组合，并不是针对单个服务，比如查询用户A和用户B的历史交易订单，用户A有10条记录，平均响应耗时约为2ms，用户B有10000条记录，平均响应时间为10s，经过判断，确定查询用户B历史交易订单+用户B的组合为问题数据。

步骤104：禁止所述问题数据的调用。

一种禁止方式为：将所述问题数据添加到黑名单中。

在上述例子的基础上，在确定问题数据后，需要将该问题数据添加到黑名单中，比如，将查询用户B历史交易订单和用户B的组合放入黑名单。

本申请实施例中，对通过某一设置接口的调用服务数据进行拦截，并对拦截的调用服务数据的调用时间进行判断，并在判断该调用的服务数据和该服务的组合为问题数据时，禁止该问题数据的调用，以便于该问题数据不能为后续用户再提供服务，保障系统运行的稳定性，提高了用户体验。

还请参阅图2，为本申请实施例提供的一种服务数据的处理方法的另一流程图，所述方法包括：

步骤201至步骤203，与步骤101至步骤103同，具体详见上述，在此不再好赘述。

步骤204：将问题数据添加到黑名单中；

步骤205：发出报警信息。

该实施例中，可以将问题数据添加到黑名单后，直接发出报警信息，以提示操作员及时处理该问题数据，并在操作员处理之后，通过手动剔除黑名单中的问题数据，从而保证热点服务问题被有效解决。

还请参阅图3，为本申请实施例提供的一种服务数据的处理方法的另一流程图，所述方法包括：

步骤301至步骤304，与步骤201至步骤204同，具体详见上述，在此不再好赘述。

步骤305：判断所述黑名单中是否记录有问题数据，如果有，执行步骤306；否则，返回步骤305；

该步骤，可以实时判断，也可以定期判断，本实施例不作限制。

步骤306：发出报警信息。

以提示操作员处理该服务数据和服务的组合为问题数据，并在操作员处理之后，通过手动剔除黑名单中的问题数据，从而保证热点服务问题的被有效解决。

也就是说，该实施例中，为了督促操作人员尽快处理问题数据，可以在应用中设置一个高频定时任务，如：每分钟轮询一次，发现黑名单中有问题数据的记录，则发出报警信息。

本申请实施例中，将拦截的问题数据添加到黑名单中时，可以直接发出报警信息，也可以定期发出报警信息，而添加到黑名单中的问题数据不能为后续用户再提供服务，保障系统运行的稳定性；进一步，本实施例中通过设置阈值的形式，消除网络抖动，系统带来的噪音影响，譬如：在某服务数据和服务一次调用超时的情况下不将其添加到黑名单中，当出现两次时(当然，可以设置为三次等，具体可以根据实际需要来设置)才将其添加到黑名单中，极大程度消除了偶然性；从而提高了用户体验。

与前述服务数据的处理方法的实施例相对应，本申请还提供了服务数据的处理装置的实施例。

本申请服务数据的处理装置的实施例可以应用在设备上。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图4所示，为本申请提供的服务数据的处理装置所在设备的一种硬件结构图，除了图4所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的设备通常根据该设备的实际功能，还可以包括其他硬件，对此不再赘述。

请参考图5，为本申请实施例提供的一种服务数据的处理装置的结构示意图，所述装置包括：获取单元51，第一确定单元52，第一判断单元53，第二确定单元54和禁止单元55，其中，

获取单元51，用于获取通过接口调用服务数据的调用时间；

第一确定单元52，用于确定所述调用时间超过调用超时阈值的次数；

第一判断单元53，用于判断所述次数是否超过设定的次数阈值；

第二确定单元54，用于在所述第一判断单元53判断所述次数超过设定的次数阈值时，确定调用所述服务数据和所述服务的组合为问题数据；

禁止单元55，用于禁止所述第二确定单元54确定的所述问题数据的调用。其中，禁止单元55具体用于将所述问题数据添加到黑名单中。

可选的，在另一实施例中，所述装置还可以包括：第一报警单元62，其结构示意图如图6所示，其中，

第一报警单元61，用于在所述添加单元55将所述问题数据添加到黑名单后，发出报警信息。

本申请实施例中，通过拦截器拦截服务数据和服务的组合，有效的拦截问题数据(比如热点数据等)禁止问题数据的调用，使该问题数据后续不能再提供服务；进一步，还可以问题数据添加到黑名单中，发出报警信息，以提示操作员及时处理该问题数据；从而保障系统的其他功能正常使用，提高了用户体验。

可选的，在另一实施例中，所述装置还可以包括：第二判断单元71，其结构示意图如图7所示，其中，

第二判断单元71，用于判断所述黑名单中是否记录有问题数据；

所述第二报警单元72，还用于在所述第二判断单元71判断所述黑名单中记录有问题数据时，发出报警信息。

可选的，在另一实施例中，所述第一确单元52包括：第三判断单元、指示单元和统计单元(图中未示)，其中，

第三判断单元，用于判断所述调用时间是否超过调用超时阈值；

指示单元，用于在所述第三判断单元判断所述调用时间超过调用超时阈值时，指示计数器加一；

统计单元，用于统计所述计数器记录的所述调用时间超过所述调用超时阈值的次数。

可选的，在另一实施例中，所述装置还可以包括：设定单元(图中未示)，其中，

设定单元，用于设定所述次数阈值，所述次数阈值为大于1，且小于等于N的整数，其中N为应用服务器的总数量减去应用出现压力拐点所需应用服务器的数量。

可选的，所述设定单元设定的次数阈值为2至5中的任一整数。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

本申请实施例中，对通过设置接口的调用服务数据进行拦截，并对拦截调用的服务数据的调用时间进行判断，并在确定调用的该服务数据和服务是问题数据时，禁止该问题数据的调用。进一步，还可以将问题数据添加到黑名单中，以便于黑名单中的问题数据不能为后续用户再提供服务，保障了系统运行的稳定性，提高了用户体验。

需要说明的是，本申请上述实施例可以应用于企业间的电子商务(B2B，Business-to-Business)，当然并不限于此，比如，商业对消费者(B2C，Business-to-Customer)，消费者对消费者(C2C，Consumer to Consumer)、政府对企业(G2B，Government to Business)等。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (10)

1.一种服务数据的处理方法，其特征在于，包括：

获取通过接口调用服务数据的调用时间；

确定所述调用时间超过调用超时阈值的次数；

如果所述次数超过次数阈值时，则确定调用的所述服务数据和服务的组合为问题数据；

禁止所述问题数据的调用。

2.根据权利要求1所述的方法，其特征在于，所述禁止所述问题数据的调用，包括：

将所述问题数据添加到黑名单中。

3.根据权利要求2所述的方法，其特征在于，还包括：

在将所述问题数据添加到黑名单后，发出报警信息；

或者

判断所述黑名单中是否记录有问题数据，如果有，则发出报警信息。

4.根据权利要求1至3任一项所述的方法，其特征在于，所述确定所述调用时间超过调用超时阈值的次数包括：

判断所述调用时间是否超过调用超时阈值，如果超过，则指示计数器加一；

统计所述计数器记录的所述调用时间超过所述调用超时阈值的次数。

5.根据权利要求1至3任一项所述的方法，其特征在于，还包括：

设定所述次数阈值，所述次数阈值为大于1，且小于等于N的整数，其中，N为应用群集中应用服务器的总数量减去应用出现压力拐点所需应用服务器的数量。

6.一种服务数据的处理装置，其特征在于，包括：

获取单元，用于获取通过接口调用服务数据的调用时间；

第一确定单元，用于确定所述调用时间超过调用超时阈值的次数；

第一判断单元，用于判断所述次数是否超过设定的次数阈值；

第二确定单元，用于在所述第一判断单元判断所述次数超过设定的次数阈值时，确定调用的所述服务数据和所述服务的组合为问题数据；

禁止单元，用于禁止所述问题数据调用。

7.根据权利要求6所述的装置，其特征在于，所述禁止单元，具体用于将所述第二确定单元确定的所述问题数据添加到黑名单中。

8.根据权利要求6至7任一项所述的装置，其特征在于，还包括：

第一报警单元，用于在所述添加单元将所述问题数据添加到黑名单后，发出报警信息；

或者

第二判断单元，用于判断所述黑名单中是否记录有问题数据；

第二报警单元，用于在所述第二判断单元判断所述黑名单中记录有问题数据时，发出报警信息。

9.根据权利要求6至7任一项所述的装置，其特征在于，所述第一确单元包括：

第三判断单元，用于判断所述调用时间是否超过调用超时阈值；

指示单元，用于在所述第三判断单元判断所述调用时间超过调用超时阈值时，指示计数器加一；

统计单元，用于统计所述计数器记录的所述调用时间超过所述调用超时阈值的次数。

10.根据权利要求6至7任一项所述的装置，其特征在于，还包括：

设定单元，用于设定所述次数阈值，所述次数阈值为大于1，且小于等于N的整数，其中N为应用群集中应用服务器的总数量减去应用出现压力拐点所需应用服务器的数量。