CN112256482A - 数据处理方法、装置和服务器 - Google Patents
数据处理方法、装置和服务器 Download PDFInfo
- Publication number
- CN112256482A CN112256482A CN202011186399.9A CN202011186399A CN112256482A CN 112256482 A CN112256482 A CN 112256482A CN 202011186399 A CN202011186399 A CN 202011186399A CN 112256482 A CN112256482 A CN 112256482A
- Authority
- CN
- China
- Prior art keywords
- preset
- data
- data processing
- processing
- synchronization
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 15
- 238000012545 processing Methods 0.000 claims abstract description 293
- 238000012544 monitoring process Methods 0.000 claims abstract description 80
- 238000000034 method Methods 0.000 claims abstract description 71
- 230000002159 abnormal effect Effects 0.000 claims abstract description 41
- 230000008569 process Effects 0.000 claims abstract description 31
- 238000003860 storage Methods 0.000 claims description 44
- 238000004891 communication Methods 0.000 claims description 23
- 238000010276 construction Methods 0.000 claims description 19
- 230000000977 initiatory effect Effects 0.000 claims description 11
- 230000005856 abnormality Effects 0.000 claims description 7
- 230000026676 system process Effects 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 5
- 238000011161 development Methods 0.000 description 10
- 230000018109 developmental process Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 230000001360 synchronised effect Effects 0.000 description 7
- 239000010410 layer Substances 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 238000012795 verification Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000001976 improved effect Effects 0.000 description 3
- 230000032683 aging Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 239000012792 core layer Substances 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 108010001267 Protein Subunits Proteins 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1415—Saving, restoring, recovering or retrying at system level
- G06F11/142—Reconfiguring to eliminate the error
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3055—Monitoring arrangements for monitoring the status of the computing system or of the computing system component, e.g. monitoring if the computing system is on, off, available, not available
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Hardware Redundancy (AREA)
Abstract
本说明书提供了一种数据处理方法、装置和服务器。基于该方法，在应用并轨运行的第一系统和第二系统处理所接入的数据处理请求时，可以同时使用第一系统和第二系统根据预设的处理规则，并行处理所接入的数据处理请求；并且通过引入并利用预设的监测日志记录下诸如第二系统和第一系统在处理该数据处理请求时的各个处理阶段的处理耗时和处理结果，以及第二系统的状态特征参数和第一系统的状态特征参数等目标参数；进而可以根据该预设的监测日志，监测第二系统的运行状态；并在发现第二系统出现异常的情况下，及时地切换使用第一系统单独处理数据处理请求，从而可以对新构建的第二系统的运行进行长期、有效的监控，稳定地处理所接入的数据处理请求。
Description
技术领域
本说明书属于互联网技术领域，尤其涉及数据处理方法、装置和服务器。
背景技术
在许多数据处理场景(例如，银行的交易数据处理场景)中，由于业务需要，常常会在旧的处理系统之外，另外再构建一套新的处理系统。
由于新的处理系统是刚刚构建得到的，往往还会存在一些不稳定的因素，导致使用时很容易出现错误。
基于现有方法在利用上述系统处理数据时，往往存在数据处理不稳定，且无法对新的处理系统进行长期、有效监控的技术问题。
针对上述技术问题，目前尚未提出有效的解决方案。
发明内容
本说明书提供了一种数据处理方法、装置和服务器，以能够对新构建的第二系统的运行进行长期、有效的监控，稳定地处理所接入的数据处理请求。
本说明书提供的一种数据处理方法，所述方法应用于并轨运行的第一系统和第二系统中；其中，所述第二系统包括基于预设的构建规则构建得到的独立于第一系统的数据处理系统，且所述第二系统与所述第一系统根据预设的同步规则进行数据同步；所述方法包括：
使用所述第一系统和所述第二系统根据预设的处理规则，并行处理所接入的数据处理请求；并通过预设的监测日志记录目标参数；其中，所述目标参数包括：所述第二系统和所述第一系统在处理所述数据处理请求的各个处理阶段的处理耗时和处理结果，以及所述第二系统的状态特征参数和所述第一系统的状态特征参数；
根据所述预设的监测日志，监测所述第二系统的运行状态；
在监测到所述第二系统的运行状态出现异常的情况下，切换使用第一系统单独处理所接入的数据处理请求。
在一个实施例中，所述数据处理请求携带有用户的身份标识。
在一个实施例中，利用所述第一系统和所述第二系统根据预设的处理规则处理所接入的数据处理请求，包括：
从所述数据处理请求中提取出用户的身份标识；
根据预设的名单列表，以及所述用户的身份标识，确定所述数据处理请求的发起用户是否属于目标用户；其中，所述预设的名单列表存储有多个目标用户的身份标识；
在确定所述数据处理请求的发起用户属于目标用户的情况下，将所述数据处理请求发送至第二系统，进行相应处理。
在一个实施例中，所述第二系统包括独立于第一系统中的第一数据库的第二数据库、独立于第一系统中的第一存储区的第二存储区、独立于第一系统中的第一缓存的第二缓存。
在一个实施例中，所述第二数据库用于存储目标用户的用户数据；所述第二存储区用于存储目标索引数据；所述第二缓存用于存储使用频率大于预设的频率阈值的中间参数；其中，所述目标索引数据用于表征存储于第二数据库中的目标用户的用户数据与所对应的目标用户的身份标识之间的映射关系。
在一个实施例中，所述第二系统与所述第一系统根据预设的同步规则进行数据同步，包括：
根据第一同步规则，每间隔第一预设时间间隔，通过利用第二数据库与第一数据库之间的数据通道，对第二数据库与第一数据库中所存储的目标用户的用户数据进行数据同步。
在一个实施例中，所述第二系统与所述第一系统根据预设的同步规则进行数据同步，还包括：
根据第二同步规则，每间隔第二预设时间间隔，通过利用第二数据库中所存储的目标用户的用户数据，对第二缓存与第一缓存中所存储的中间参数进行数据同步。
在一个实施例中，所述第二系统与所述第一系统根据预设的同步规则进行数据同步，还包括：
根据第三同步规则，每间隔第三预设时间间隔，通过利用kafka消息，对所述第二存储区与第一存储区中所存储的目标索引数据进行数据同步。
在一个实施例中，所述第二系统的状态特征参数包括以下至少之一：与第二数据库关联的状态参数、与第二存储区关联的状态参数、与第二缓存关联的状态参数。
在一个实施例中，根据所述预设的监测日志，监测所述第二系统的运行状态，包括：
根据所述预设的监测日志，计算第二系统与第一系统处理数据处理请求时的同步率和准确度；
根据所述同步率和准确度，确定所述第二系统的运行状态。
在一个实施例中，在监测到所述第二系统的运行状态出现异常的情况下，切换使用第一系统单独处理所接入的数据处理请求之后，所述方法还包括：
根据所述预设的监测日志，确定出导致第二系统的运行状态出现异常的异常原因；其中，所述异常原因包括：第一系统与第二系统之间的通信异常，和/或，第二系统的内部异常；
根据所述异常原因，修复所述第二系统。
在一个实施例中，所述方法还包括：
根据所述预设的监测日志，调整第二系统的构建结构，和/或，运行配置参数。
本说明书还提供了一种数据处理装置，所述装置应用于并轨运行的第一系统和第二系统中；其中，所述第二系统包括基于预设的构建规则构建得到的独立于第一系统的数据处理系统，且所述第二系统与所述第一系统根据预设的同步规则进行数据同步；所述装置包括：
处理模块，用于使用所述第一系统和所述第二系统根据预设的处理规则，并行处理所接入的数据处理请求；并通过预设的监测日志记录目标参数；其中，所述目标参数包括：所述第二系统和所述第一系统在处理所述数据处理请求的各个处理阶段的处理耗时和处理结果，以及所述第二系统的状态特征参数和所述第一系统的状态特征参数；
监测模块，用于根据所述预设的监测日志，监测所述第二系统的运行状态；
切换模块，用于在监测到所述第二系统的运行状态出现异常的情况下，切换使用第一系统单独处理所接入的数据处理请求。
本说明书还提供了一种服务器，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现使用所述第一系统和所述第二系统根据预设的处理规则，并行处理所接入的数据处理请求；并通过预设的监测日志记录目标参数；其中，所述目标参数包括：所述第二系统和所述第一系统在处理所述数据处理请求的各个处理阶段的处理耗时和处理结果，以及所述第二系统的状态特征参数和所述第一系统的状态特征参数；根据所述预设的监测日志，监测所述第二系统的运行状态；在监测到所述第二系统的运行状态出现异常的情况下，切换使用第一系统单独处理所接入的数据处理请求。
本说明书还提供了一种计算机可读存储介质，其上存储有计算机指令，所述指令被执行时实现使用所述第一系统和所述第二系统根据预设的处理规则，并行处理所接入的数据处理请求；并通过预设的监测日志记录目标参数；其中，所述目标参数包括：所述第二系统和所述第一系统在处理所述数据处理请求的各个处理阶段的处理耗时和处理结果，以及所述第二系统的状态特征参数和所述第一系统的状态特征参数；根据所述预设的监测日志，监测所述第二系统的运行状态；在监测到所述第二系统的运行状态出现异常的情况下，切换使用第一系统单独处理所接入的数据处理请求。
本说明书提供的一种数据处理方法、装置和服务器，在应用并轨运行的第一系统和第二系统处理所接入的数据处理请求时，可以使用第一系统和第二系统根据预设的处理规则，并行处理所接入的数据处理请求；同时通过引入并利用预设的监测日志记录目标参数，例如，第二系统和第一系统在处理上述数据处理请求的各个处理阶段的处理耗时和处理结果，以及第二系统的状态特征参数和第一系统的状态特征参数等；进而，可以根据该预设的监测日志，准实时地监测第二系统的运行状态；并在发现第二系统出现异常的情况下，及时地切换使用第一系统单独处理数据处理请求，从而可以对新构建的第二系统的运行进行长期、有效的监控，并且能稳定地处理所接入的数据处理请求。
附图说明
为了更清楚地说明本说明书实施例，下面将对实施例中所需要使用的附图作简单地介绍，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本说明书的一个实施例提供的数据处理方法的流程示意图；
图2是在一个场景示例中，应用本说明书实施例提供的数据处理方法的一种实施例的示意图；
图3是本说明书的一个实施例提供的服务器的结构组成示意图；
图4是本说明书的一个实施例提供的数据处理装置的结构组成示意图；
图5是在一个场景示例中，应用本说明书实施例提供的数据处理方法的一种实施例的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。
考虑到基于现有方法，在引入并应用新系统来处理数据时，往往很难长期、有效地对新系统的运行状态进行监控。同时，由于新系统本身存在许多不稳定的因素，导致在使用新系统处理数据时容易出现问题，影响数据处理的稳定性。
针对产生上述问题的根本原因，本说明书考虑可以同时使用原本的第一系统和新引入的第二系统来根据预设的处理规则，并行处理所接入的数据处理请求。同时，还通过引入并利用预设的监测日志记录下诸如第二系统和第一系统在处理上述数据处理请求的各个处理阶段的处理耗时和处理结果，以及第二系统的状态特征参数和第一系统的状态特征参数等目标参数；进而可以根据预设的监测日志所记录的目标参数，准确地监测第二系统的运行状态；并在发现第二系统的运行状态出现异常的情况下，及时地切换使用第一系统单独处理数据处理请求，以正常地处理所接入的数据处理请求，从而可以对新构建的第二系统的运行进行长期、有效的监控，稳定地处理所接入的数据处理请求。
基于上述思路，本说明书提供了一种数据处理方法。具体可以参阅图1所示。其中，该方法具体可以应用于所述方法应用于并轨运行的第一系统和第二系统中。其中，所述第二系统包括基于预设的构建规则构建得到的独立于第一系统的数据处理系统，且所述第二系统与所述第一系统根据预设的同步规则进行数据同步。该方法具体实施时，可以包括以下内容。
S101：使用所述第一系统和所述第二系统根据预设的处理规则，并行处理所接入的数据处理请求；并通过预设的监测日志记录目标参数；其中，所述目标参数包括：所述第二系统和所述第一系统在处理所述数据处理请求的各个处理阶段的处理耗时和处理结果，以及所述第二系统的状态特征参数和所述第一系统的状态特征参数。
S102：根据所述预设的监测日志，监测所述第二系统的运行状态。
S103：在监测到所述第二系统的运行状态出现异常的情况下，切换使用第一系统单独处理所接入的数据处理请求。
在一个实施例中，上述第一系统具体可以理解为一种基于已有的构建规则所构建得到一套的旧的数据处理系统(或者称现有体系构架)。根据不同的应用场景，上述第一系统可以负责进行不同的数据处理。例如，在银行的交易数据处理场景中，上述第一系统具体可以是负责处理来自用户侧的交易数据处理请求的数据处理系统。
具体的，参阅图2所示，上述第一系统具体可以包括以下多个组成部分：服务器、应用服务器、操作系统、数据库、应用核心模块，以及应用开发平台等。
具体的，在第一系统中所使用的应用服务器可以包括X86物理机，所使用的数据库可以包括Oracle，所使用的操作系统可以包括RedHat Linux，所使用的应用服务器可以包括VM、VMWare、Intel X86 CPU，所使用的开发平台可以包括微服务框架、Weblogic、Coherence等。当然，上述所列举的第一系统只是一种示意性说明。具体实施时，根据不同的应用场景和处理需求，上述第一系统还可以是基于已有的构建规则使用其他的软硬件资源构建得到的。
在一个实施例中，上述第二系统具体可以理解为一种基于预设的构建规则所构建得到的一套独立于上述第一系统，且符合相关要求的新的数据处理系统(或称目标体系构架)。上述第二系统所负责的数据处理可以与第一系统完全相同，也可以只负责第一系统所负责的数据处理中的部分内容。例如，在银行的交易数据处理场景中，上述第二系统具体也可以是负责处理来自用户侧的交易数据处理请求的数据处理系统。
具体的，参阅图2所示，上述第二系统所包括的组成部分与第一系统相同，即，上述第二系统具体可以包括：服务器、应用服务器、操作系统、数据库、应用核心模块，以及应用开发平台等。但根据预设的构建规则，具体构建第二系统时所使用的软硬件资源，以及相关配置参数，可以是与第一系统不同的。
具体的，第二系统中所使用的应用服务器可以包括搭载了鲲鹏920芯片的泰山服务器(Taishan服务器)，所使用的数据库可以包括Gauss T数据库(Gauss DB)，所使用的操作系统可以包括中标麒麟系统，所使用的应用服务器可以包括VM、Fusionsphere(虚拟化)、KunPeng920 ARM CPU，所使用的开发平台可以是摒弃了Weblogic、Coherence等的自主研发组件。
例如，所使用的开发平台可以包括自主研发的微服务框架，消息组件使用kafka(消息)，路由和配置中心采用nginx和zookeeper，缓存可以使用Redis，NoSQL(非关系型的数据库)方案采用Cassandra，流式计算采用Storm，日志搜索组件采取ELK方案。此外，应用中间件采用tomcat，开发语言包使用OpenJDK。应用核心层还可以根据业务功能划分为几个微服务模块等。当然，上述所列举的第二系统也只是一种示意性说明。具体实施时，根据不同的应用场景和处理需求，上述第二系统还可以是基于其他合适的预设的构建规则使用其他的软硬件资源所构建得到的。
在一个实施例中，在按照上述方式构建得到相应第二系统后，考虑到第二系统作为一个新构建得到的新系统，本身还存在一些不确定的不稳定因素。为了保证处理数据处理请求的稳定性，可以同时并轨运行上述第一系统和第二系统两个系统来处理所接入的数据处理请求。
具体并行轨运行上述第一系统和第二系统时，可以使用第一系统和第二系统根据预设的处理规则，并同时利用两个系统并行处理所接入的数据处理请求。
在一个实施例中，具体实施时，可以接收用户通过终端设备所发起的待处理的数据处理请求。
在一个实施例中，所述数据处理请求具体可以携带有用户的身份标识。其中，上述用户具体可以理解为发起该数据处理请求的用户对象。上述身份标识具体可以理解为能够与用户对象一一对应的标识信息。具体的，上述身份标识具体可以包括：用户的姓名、用户的账户名、用户的注册手机号等等。当然，上述所列举的身份标识只是一种示意性说明。具体实施时，根据具体情况和处理需求，上述身份标识还可以包括其他类型的标识信息。
在一个实施例中，上述利用所述第一系统和所述第二系统根据预设的处理规则处理所接入的数据处理请求，具体实施时，可以包括以下内容。
S1：从所述数据处理请求中提取出用户的身份标识；
S2：根据预设的名单列表，以及所述用户的身份标识，确定所述数据处理请求的发起用户是否属于目标用户；其中，所述预设的名单列表存储有多个目标用户的身份标识；
S3：在确定所述数据处理请求的发起用户属于目标用户的情况下，将所述数据处理请求发送至第二系统，进行相应处理。
在一个实施例中，上述目标用户具体可以包括对数据处理过程中出现的误差的容忍度较高的一类用户。具体的，上述目标用户可以是愿意参与基于新构建的第二系统的数据处理测试的测试用户，或者内部用户等。
在一个实施例中，上述预设的名单列表(也可以称为白名单等)具体可以存储有上述目标用户的身份标识。
在一个实施例中，在接收到数据处理请求之后，可以先根据预设的处理规则，基于数据处理请求所携带的用户的身份标识，确定出该数据处理请求的发起用户是否属于目标用户。在确定该数据处理请求的发起用户属于目标用户的情况下，可以将该数据处理请求发送至第二系统，进而后续可以使用第二系统来处理该数据处理请求。在确定该数据处理请求的发起用户不属于目标用户的情况下，可以将该数据处理请求发送至第一系统，进而后续可以使用第一系统来处理该数据处理请求。
具体的，可以通过全局路由根据所接入的数据处理请求携带的身份标识和预设的名单列表，将该数据处理请求发送到所对应的第一系统，或第二系统进行具体处理。
在一个实施例中，为了保证第一系统和第二系统能够按照上述方式准确、高效地并行完成具体的数据处理，还会根据预设的同步规则，对第一系统和第二系统进行数据同步，以使得上述两个系统在数据处理中保持数据层面的统一，减少误差。
在一个实施例中，上述第一系统具体可以包括：第一数据库、第一存储区、独立于第一缓存等数据存储结构。
其中，上述第一数据库具体可以用于存储全量用户(包括目标用户和非目标用户)的用户数据。上述用户数据具体可以理解为在处理某个用户所发起的数据处理请求时会使用到的关联数据，例如，用户的账户信息、用户的身份验证信息、用户的资金数据等等。
上述第一存储区具体可以用于存储全量用户的索引数据。上述索引数据具体可以理解为用于存储在第一数据库的中的用户数据，与所对应的用户的身份标识之间的映射关系的数据。具体实施时，通过利用上述索引数据，可以根据数据处理请求中所携带的身份标识，从第一数据库中检索到对应的用户数据。上述索引数据具体可以包括基于NoSQL的索引数据。
上述第一缓存区具体可以用于存储使用频率较大的(例如，使用频率大于预设的频率阈值)的中间参数。具体的，上述中间参数具体可以包括一部分使用频率较大的用户数据。此外，上述中间参数进一步还可以包括一些对使用时效要求较高的参数数据。例如，在限时确认支付订单的场景中，上述中间参数可以是要求在短时间内使用的用户的身份验证信息等。
在一个实施例中，对应的，上述第二系统具体可以包括：独立于第一系统中的第一数据库的第二数据库、独立于第一系统中的第一存储区的第二存储区、独立于第一系统中的第一缓存的第二缓存。
其中，所述第二数据库具体可以用于存储目标用户的用户数据。所述第二存储区具体可以用于存储目标索引数据。其中，所述目标索引数据用于表征存储于第二数据库中的目标用户的用户数据与所对应的目标用户的身份标识之间的映射关系。所述第二缓存具体可以用于存储使用频率大于预设的频率阈值的中间参数。
需要指出的是，基于上述结构，可以使得第二系统持有与第一系统相对独立的异构数据源，以便第二系统能够独立地完成对目标用户发起的数据处理请求的数据处理。
在一个实施例中，在按照上述方式并轨运行第一系统和第二系统来共同处理所接入的数据处理请求的同时，可以根据对应不同的数据存储结构的预设的同步规则对第一系统和第二系统的相关数据进行数据同步。
在一个实施例中，所述第二系统与所述第一系统根据预设的同步规则进行数据同步，具体实施时，可以包括：根据第一同步规则，每间隔第一预设时间间隔，通过利用第二数据库与第一数据库之间的数据通道，对第二数据库与第一数据库中所存储的目标用户的用户数据进行数据同步。其中，上述第一同步规则具体可以理解为针对数据库的数据同步规则。
其中，上述第一预设时间间隔具体可以是1分钟，或者5分钟等。当然，上述所列举的第一预设时间间隔只是一种示意性说明。具体实施时，根据具体情况和时效要求，还可以设置其他的时长作为上述第一预设时间间隔。
具体的，在根据预设的构建规则构建第二系统时，可以在第二数据库与第一数据库之间构建一个数据(传输)通道，进而在并轨运行上述第一系统和第二系统时，第一数据库和第二数据库可以通过该数据通道交互双方最新的更新的目标用户的用户数据，以使得两个数据库中所保存的目标用户的用户数据保持同步。
具体的，例如，在第一系统一侧，第一系统可以每间隔第一预设的时间间隔，检测第一数据库中目标用户的用户数据是否发生了更新，在确定发生更新的情况下，获取更新数据作为第一更新数据，并确定出更新时间；再将携带有更新时间的第一更新数据通过数据通道发送至第二系统。
第二系统在通过数据通道接收到第一更新数据后，可以触发检测在第二系统一侧的第二数据库中目标用户的用户数据是否发生了更新，在确定发生更新的情况下，获取更新数据作为第二更新数据，并确定出更新时间。通过比较第一更新数据的更新时间和第二更新数据的更新，整合第一更新数据和第二更新数据，得到同步更新数据。
进而第二系统可以将同步更新数据通过数据通道发送至第一系统。同时，第二系统可以根据该同步更新数据，更新第二数据库中的相应的数据。第一系统可以根据所接收到的同步更新数据，更新第一数据库中的相应数据。从而可以实现第一数据库和第二数据库的数据同步。
当然上述所列举的针对数据库的同步方式只是一种示意性说明。具体实施时，上述第二数据库也可以存储有全量用户的用户数据。相应的，进行针对数据库的数据同步时，也可以是每间隔第一预设时间间隔，根据第一数据库中的非目标用户的用户数据，更新同步第二数据库所存储的非目标用户的用户数据；同时，每间隔第一预设时间间隔，根据第二数据库中的目标用户的用户数据，更新同步第一数据库所存储的目标用户的用户数据。从而可以对第一数据库和第二数据库实现数据同步。
在一个实施例中，所述第二系统与所述第一系统根据预设的同步规则进行数据同步，具体实施时，还可以包括：根据第二同步规则，每间隔第二预设时间间隔，通过利用第二数据库中所存储的目标用户的用户数据，对第二缓存与第一缓存中所存储的中间参数进行数据同步。其中，上述第二同步规则具体可以理解为针对缓存的数据同步规则。
在本实施例中，第二系统可以以已经同步好的第二数据库中的数据为准，每间隔第二预设时间间隔，根据第二数据库中数据对所持有的第二缓存中的中间参数进行对应更新。同样的，第一系统也可以以已经同步好的第一数据库中的数据为准，每间隔第二预设时间间隔，根据第一数据库中的数据对所持有的第一缓存中的中间参数进行对应更新。从而可以使得第一缓存中所存储的中间参数与第一数据库匹配，使得第二缓存中所存储的中间参数与第二数据库匹配，达到对第二缓存与第一缓存中所存储的中间参数的数据同步。
在一个实施例中，所述第二系统与所述第一系统根据预设的同步规则进行数据同步，具体实施时，还可以包括以下内容：根据第三同步规则，每间隔第三预设时间间隔，通过利用kafka消息，对所述第二存储区与第一存储区中所存储的目标索引数据进行数据同步。其中，上述第三同步规则具体可以理解为针对存储区的数据同步规则。
其中，上述kafka具体是由Apache软件基金会开发的一个开源流处理平台，是一种高吞吐量的分布式发布订阅消息系统，通常多用于处理消费者在网站中的所有动作流数据。
在本实施例中，可以通过利用kafka消息，高效、准确地对所述第二存储区所存储的目标索引数据进行数据更新和同步。
通过上述方式，根据预设的同步规则，可以对第一系统和第二系统中的数据库、缓存、存储区等多个存储结构分别进行数据同步，从而可以有效地保证两个系统所持有的数据的统一，减少并轨运行时存在处理误差，进而可以更加准确、稳定地处理所接入的数据处理请求。
在一个实施例中，在并轨运行第一系统和第二系统的同时，还可以通过利用预设的监测日志记录目标参数。其中，所记录的目标参数具体可以包括第一系统和第二系统在并行处理数据处理请求时各个处理阶段的处理耗时和处理结果。进一步，所记录的目标参数还可以包括第一系统的状态特征参数和第二系统的状态特征参数。其中，上述预设的监测日志具体可以理解为用于记录与并轨运行的第一系统和第二系统相关的目标参数的日志数据。
在一个实施例中，所述第一系统的状态特征参数具体可以包括以下至少之一：与第一数据库关联的状态参数、与第一存储区关联的状态参数、与第一缓存关联的状态参数等。
相应的，所述第二系统的状态特征参数具体可以包括以下至少之一：与第二数据库关联的状态参数、与第二存储区关联的状态参数、与第二缓存关联的状态参数等。
此外，上述第一系统的状态特征参数还可以包括与第一系统的NoSQL相关的关键信息，例如，相关的表、列、记录数，相关的序列，或相关的key的数量等。
相应的，上述第二系统的状态特征参数还可以包括与第二系统的NoSQL相关的关键信息，例如，相关的表、列、记录数，相关的序列，或相关的key的数量等。
当然，上述所列举的第一系统的状态特征参数、第二系统的状态特征参数只是一种示意性说明。具体实施时，根据具体情况和处理需求，上述第一系统的状态特征参数、第二系统的状态特征参数还可以包括其他类型的参数数据。对此，本说明书不作限定。
在一个实施例中，上述根据所述预设的监测日志，监测所述第二系统的运行状态，具体实施时，可以包括以下内容。
S1：根据所述预设的监测日志，计算第二系统与第一系统处理数据处理请求时的同步率和准确度；
S2：根据所述同步率和准确度，确定所述第二系统的运行状态。
在本实施例中，具体实施时，可以根据预设的监测日志中记录的目标参数，来计算第一系统和第二系统在并行处理数据处理请求时的同步率和准确度等评价参数。进而可以根据上述同步率和准确度，和预设的同步率阈值、预设的准确阈值进行比较，来评价第二系统的运行状态，从而可以对第二系统的运行情况进行长期、有效的监测。
其中，上述所列举的评价参数还可以包括处理效率、误差数等其他类型的用于评价第二系统的运行状态的参数数据。
在一个实施例中，在根据同步率和准确度，确定所计算出的同步率小于预设的同步率阈值，和/或，确定所计算出的准确度小于预设的准确度阈值的情况下，可以判断第二系统的运行状态出现了异常。例如，第二系统出现了大面积同步延迟等。
在一个实施例中，在确定第二系统出现异常的情况下，可以生成异常提示信息。根据该异常提示信息，可以及时触发切换使用第一系统单独处理所接入的数据处理请求，以保证对所接入的数据处理请求的数据处理准确、稳定。此外，根据该异常提示信息，还可以及时触发对第二系统进行修复，以及时地消除异常。
在一个实施例中，在监测到所述第二系统的运行状态出现异常的情况下，切换使用第一系统单独处理所接入的数据处理请求之后，所述方法具体实施时，还可以包括以下内容。
S1：根据所述预设的监测日志，确定出导致第二系统的运行状态出现异常的异常原因。其中，所述异常原因具体可以包括：第一系统与第二系统之间的通信异常(例如，第一数据库和第二数据库之前的数据通道出现中断，或者第一系统和第二系统之间的通讯网络出现延迟等)，和/或，第二系统的内部异常(例如，第二系统内部不同组成部分之间的数据传输出现中断，或者第二系统内部的服务器过载等)。
S2：根据所述异常原因，修复所述第二系统。
在本实施例中，具体可以根据预设的监测日志，获取同一时间段内第一系统的状态特征参数和第二系统的状态特征参数；通过对比同一时间段内第一系统的状态特征参数和第二系统的状态特征参数，来确定异常原因。
通过上述方式，可以根据预设的监测日志准确地确定导致第二系统的运行状态出现异常的异常原因；进而可以根据该异常原因，有针对性对第二系统进行修复，提高针对第二系统的修复效率。
在一个实施例中，在根据所述异常原因，修复所述第二系统之后，所述方法具体实施时，还可以包括以下内容：获取基于修复后的第二系统所得到的预设的监测日志；根据所述基于修复后的第二系统所得到的预设的监测日志，确定所述修复后的第二系统的运行状态是否满足要求；在确定所述修复后的第二系统的运行状态是否满足要求的情况下，切换使用所述第一系统和所述第二系统根据预设的处理规则，并行处理所接入的数据处理请求。
在一个实施例中，所述方法具体实施时，还可以包括以下内容：根据所述预设的监测日志，调整第二系统的构建结构，和/或，运行配置参数。
在本实施例中，在并轨运行第一系统和第二系统的过程中，还可以根据预设的监测日志所记录的目标参数，对第一系统和第二系统的运行状态进行对比，进而可以根据对比结果，以相对较成熟、稳定的第一系统作为参考，有针对性地对第二系统的构建结构(例如，所使用的服务器等软硬件资源)，和/或，运行配置参数进行调整，达到对第二系统的调试和优化，提升第二系统的相关性能，得到更加稳定、可靠的第二系统。
由上可见，本说明书实施例提供的数据处理方法，由于在应用并轨运行的第一系统和第二系统处理所接入的数据处理请求时，通过同时使用第一系统和第二系统根据预设的处理规则，并行处理所接入的数据处理请求；同时通过引入并利用预设的监测日志记录下诸如第二系统和第一系统在处理上述数据处理请求的各个处理阶段的处理耗时和处理结果，以及第二系统的状态特征参数和第一系统的状态特征参数等目标参数；进而可以根据该预设的监测日志，监测第二系统的运行状态；并在发现第二系统出现异常的情况下，及时地切换使用第一系统单独处理数据处理请求，从而可以对新构建的第二系统的运行进行长期、有效的监控，稳定地处理所接入的数据处理请求。还通过针对第二系统中的第二数据库、第二缓存区、第二存储区分别引入不同的同步规则，来与第一系统中的第一数据、第一缓存区、第一存储区进行数据同步，从而可以提高第一系统和第二系统并轨运行时的同步率，从而可以准确、高效地利用上述双系统处理所接入的数据处理请求。还通过利用预设的监测日志，分析第二系统的状态特征参数，以确定出导致第二系统的运行状态出现异常的异常原因，从而可以根据上述异常原因，更有针对性、更有效地对第二系统进行修复，消除异常。还通过根据预设的监测日志，比较第一系统和第二系统，以有针对性地对第二系统的构建结构，和/或，运行配置参数进行调整，从而可以有效地对第二系统进行优化，提升第二系统的相关性能，得到更加可靠、稳定的第二系统。
本说明书实施例还提供一种服务器，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器具体实施时可以根据指令执行以下步骤：使用所述第一系统和所述第二系统根据预设的处理规则，并行处理所接入的数据处理请求；并通过预设的监测日志记录目标参数；其中，所述目标参数包括：所述第二系统和所述第一系统在处理所述数据处理请求的各个处理阶段的处理耗时和处理结果，以及所述第二系统的状态特征参数和所述第一系统的状态特征参数；根据所述预设的监测日志，监测所述第二系统的运行状态；在监测到所述第二系统的运行状态出现异常的情况下，切换使用第一系统单独处理所接入的数据处理请求。其中，所述第二系统包括基于预设的构建规则构建得到的独立于第一系统的数据处理系统，且所述第二系统与所述第一系统根据预设的同步规则进行数据同步。
为了能够更加准确地完成上述指令，参阅图3所示，本说明书实施例还提供了另一种具体的服务器，其中，所述服务器包括网络通信端口301、处理器302以及存储器303，上述结构通过内部线缆相连，以便各个结构可以进行具体的数据交互。
其中，所述网络通信端口301，具体可以用于接收数据处理请求。
所述处理器302，具体可以用于使用所述第一系统和所述第二系统根据预设的处理规则，并行处理所接入的数据处理请求；并通过预设的监测日志记录目标参数；其中，所述目标参数包括：所述第二系统和所述第一系统在处理所述数据处理请求的各个处理阶段的处理耗时和处理结果，以及所述第二系统的状态特征参数和所述第一系统的状态特征参数；根据所述预设的监测日志，监测所述第二系统的运行状态；在监测到所述第二系统的运行状态出现异常的情况下，切换使用第一系统单独处理所接入的数据处理请求。
所述存储器303，具体可以用于存储相应的指令程序。
在本实施例中，所述网络通信端口301可以是与不同的通信协议进行绑定，从而可以发送或接收不同数据的虚拟端口。例如，所述网络通信端口可以是负责进行web数据通信的端口，也可以是负责进行FTP数据通信的端口，还可以是负责进行邮件数据通信的端口。此外，所述网络通信端口还可以是实体的通信接口或者通信芯片。例如，其可以为无线移动网络通信芯片，如GSM、CDMA等；其还可以为Wifi芯片；其还可以为蓝牙芯片。
在本实施例中，所述处理器302可以按任何适当的方式实现。例如，处理器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式等等。本说明书并不作限定。
在本实施例中，所述存储器303可以包括多个层次，在数字系统中，只要能保存二进制数据的都可以是存储器；在集成电路中，一个没有实物形式的具有存储功能的电路也叫存储器，如RAM、FIFO等；在系统中，具有实物形式的存储设备也叫存储器，如内存条、TF卡等。
本说明书实施例还提供了一种基于上述数据处理方法的计算机存储介质，所述计算机存储介质存储有计算机程序指令，在所述计算机程序指令被执行时实现：使用所述第一系统和所述第二系统根据预设的处理规则，并行处理所接入的数据处理请求；并通过预设的监测日志记录目标参数；其中，所述目标参数包括：所述第二系统和所述第一系统在处理所述数据处理请求的各个处理阶段的处理耗时和处理结果，以及所述第二系统的状态特征参数和所述第一系统的状态特征参数；根据所述预设的监测日志，监测所述第二系统的运行状态；在监测到所述第二系统的运行状态出现异常的情况下，切换使用第一系统单独处理所接入的数据处理请求。其中，所述第二系统包括基于预设的构建规则构建得到的独立于第一系统的数据处理系统，且所述第二系统与所述第一系统根据预设的同步规则进行数据同步。
在本实施例中，上述存储介质包括但不限于随机存取存储器(Random AccessMemory,RAM)、只读存储器(Read-Only Memory,ROM)、缓存(Cache)、硬盘(Hard DiskDrive,HDD)或者存储卡(Memory Card)。所述存储器可以用于存储计算机程序指令。网络通信单元可以是依照通信协议规定的标准设置的，用于进行网络连接通信的接口。
在本实施例中，该计算机存储介质存储的程序指令具体实现的功能和效果，可以与其它实施方式对照解释，在此不再赘述。
参阅图4所示，在软件层面上，本说明书实施例还提供了一种数据处理装置，所述装置应用于并轨运行的第一系统和第二系统中；其中，所述第二系统包括基于预设的构建规则构建得到的独立于第一系统的数据处理系统，且所述第二系统与所述第一系统根据预设的同步规则进行数据同步。该装置具体可以包括以下的结构模块。
处理模块401，具体可以用于使用所述第一系统和所述第二系统根据预设的处理规则，并行处理所接入的数据处理请求；并通过预设的监测日志记录目标参数；其中，所述目标参数包括：所述第二系统和所述第一系统在处理所述数据处理请求的各个处理阶段的处理耗时和处理结果，以及所述第二系统的状态特征参数和所述第一系统的状态特征参数；
监测模块402，具体可以用于根据所述预设的监测日志，监测所述第二系统的运行状态；
切换模块403，具体可以用于在监测到所述第二系统的运行状态出现异常的情况下，切换使用第一系统单独处理所接入的数据处理请求。
在一个实施例中，所述数据处理请求具体可以携带有用户的身份标识。
在一个实施例中，所述处理模块401具体实施时，可以用于从所述数据处理请求中提取出用户的身份标识；根据预设的名单列表，以及所述用户的身份标识，确定所述数据处理请求的发起用户是否属于目标用户；其中，所述预设的名单列表存储有多个目标用户的身份标识；在确定所述数据处理请求的发起用户属于目标用户的情况下，将所述数据处理请求发送至第二系统，进行相应处理。
在一个实施例中，所述第二系统具体可以包括独立于第一系统中的第一数据库的第二数据库、独立于第一系统中的第一存储区的第二存储区、独立于第一系统中的第一缓存的第二缓存。
在一个实施例中，所述第二数据库具体可以用于存储目标用户的用户数据；所述第二存储区具体可以用于存储目标索引数据；所述第二缓存具体可以用于存储使用频率大于预设的频率阈值的中间参数；其中，所述目标索引数据具体可以用于表征存储用于表征第二数据库中的目标用户的用户数据与目标用户的身份标识之间的映射关系。
在一个实施例中，所述装置具体还可以包括同步模块，用于根据预设的同步规则对所述第二系统与所述第一系统进行数据同步。具体实施时，上述同步模块具体可以用于根据第一同步规则，每间隔第一预设时间间隔，通过利用第二数据库与第一数据库之间的数据通道，对第二数据库与第一数据库中所存储的目标用户的用户数据进行数据同步。
在一个实施例中，具体实施时，上述同步模块还可以用于根据第二同步规则，每间隔第二预设时间间隔，通过利用第二数据库中所存储的目标用户的用户数据，对第二缓存与第一缓存中所存储的中间参数进行数据同步。
在一个实施例中，具体实施时，上述同步模块还可以用于根据第三同步规则，每间隔第三预设时间间隔，通过利用kafka消息，对所述第二存储区与第一存储区中所存储的目标索引数据进行数据同步。
在一个实施例中，所述第二系统的状态特征参数具体可以包括以下至少之一：与第二数据库关联的状态参数、与第二存储区关联的状态参数、与第二缓存关联的状态参数等。
在一个实施例中，所述监测模块402具体可以用于根据所述预设的监测日志，计算第二系统与第一系统处理数据处理请求时的同步率和准确度；根据所述同步率和准确度，确定所述第二系统的运行状态。
在一个实施例中，所述装置还包括修复模块。具体实施时，在监测到所述第二系统的运行状态出现异常的情况下，所述修复模块可以用于根据所述预设的监测日志，确定出导致第二系统的运行状态出现异常的异常原因；其中，所述异常原因包括：第一系统与第二系统之间的通信异常，和/或，第二系统的内部异常；根据所述异常原因，修复所述第二系统。
在一个实施例中，所述装置还包括优化模块，具体实施时，可以用于根据所述预设的监测日志，调整第二系统的构建结构，和/或，运行配置参数。
需要说明的是，上述实施例阐明的单元、装置或模块等，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本说明书时可以把各模块的功能在同一个或多个软件和/或硬件中实现，也可以将实现同一功能的模块由多个子模块或子单元的组合实现等。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
由上可见，本说明书实施例提供的数据处理装置，可以对新构建的第二系统的运行进行长期、有效的监控，稳定地处理所接入的数据处理请求。
在一个具体的场景示例中，可以应用本说明书提供的数据处理方法对国产化软硬件异构平台(对应第二系统)进行持续验证，同时也对异构平台间系统性能差异进行分析。具体的方法步骤如下所述。
针对现有系统(对应第一系统)，可以构建全尺寸国产化软硬件平台(即第二系统)。具体的，参阅图2所示，服务器层采用搭载了鲲鹏920芯片的泰山服务器。操作系统层采用中标麒麟操作系统。数据库层采用华为公司Gauss T数据库。应用服务器层由Fusionsphere替换传统的VMWare。应用开发平台层。去除Weblogic、Coherence等国外商用技术组件，应用开发主要采用自研微服务框架，消息组件使用kafka，路由和配置中心采用nginx和zookeeper，缓存采用redis，nosql方案采用Cassandra，流式计算采用Storm，日志搜索组件采取ELK方案。应用中间件采用tomcat，开发语言包使用OpenJDK。应用核心层根据业务功能划分为几个微服务模块。所采用的硬件及技术组件如下图所示。
请求(即数据处理请求)接入后，可以根据交易白名单策略(对应的预设的处理规则)以及白名单信息(对应预设的名单列表)确定分流策略，在白名单内的客户的请求会路由到国产化软硬件平台进行处理，其他客户保持现状路由。同时还会配合异构数据库进行数据同步，并支持客户无感交易回切。整体的数据处理过程可以参阅图5所示。
具体的，针对NoSQL索引数据，采用国产化ARM系统和X86系统使用不同消费组消费同一个kafka消息完成。
针对缓存类数据，首先依赖数据同步机制(即预设的同步规则)完成数据库的数据同步，通过自动任务完成从数据库到缓存的数据装载。
此外，还增加特定的请求性能分析日志(即预设的监测日志)，记录每次请求的路由策略及实际路由机器情况，各个模块的耗时，交易成功情况，发送该日志至es，以完成请求监控。并定时收集两套系统的数据库、NoSQL、缓存的关键信息，如表、列、记录数，序列，key的数量等。自动比对及评估整个数据同步机制的正确率和效率。
如果国产化软硬件平台的数据出现大面积同步延迟，可以首先自动触发告警机制，自动对路由进行回切现状系统；待数据同步恢复正常后，实现再次路由自动切换，恢复对国产化系统的持续验证。如遇严重情况，自动路由回切后不会进行自动路由恢复，需要手工解决数据同步后，再手工进行路由恢复。
在本场景示例中，注意到现有方法往往未考虑跨平台，数据同步，不能实时监控及路由自动切换问题。导致针对国产化异构平台验证，缺乏方案层支撑，不能形成完整的解决方案。
而在本场景示例中，所采用的方法不但考虑到了双屏天，数据库、缓存、NOSQL的数据同步问题；并对数据进行监控，结合自动路由切换机制，搭建了完整的国产化应用持续验证解决方案，便于国产化软硬件系统的持续验证。
进一步，还整合了国产化应用搭建技术选型，实际的交易路由控制，数据同步机制与监控体系，结合路由自动切换方案，提出了一整套切实可用的国产化软硬件方案；，并可以在保证生产系统安全的情况下降低双系统并轨运行时的人工干预成本。
此外，还通过利用日志记录并分析双系统运行情况，为进一步优化平台与系统提供依据。
通过上述场景示例，验证了采用本说明书提供的数据处理方法，确实可以对新构建的第二系统的运行进行长期、有效的监控，稳定地处理所接入的数据处理请求。
虽然本说明书提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的手段可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的装置或客户端产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境，甚至为分布式数据处理环境)。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、产品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、产品或者设备所固有的要素。在没有更多限制的情况下，并不排除在包括所述要素的过程、方法、产品或者设备中还存在另外的相同或等同要素。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内部包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构、类等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
通过以上的实施例的描述可知，本领域的技术人员可以清楚地了解到本说明书可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本说明书的技术方案本质上可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，移动终端，服务器，或者网络设备等)执行本说明书各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例采用递进的方式描述，各个实施例之间相同或相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。本说明书可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。
虽然通过实施例描绘了本说明书，本领域普通技术人员知道，本说明书有许多变形和变化而不脱离本说明书的精神，希望所附的权利要求包括这些变形和变化而不脱离本说明书的精神。
Claims (15)
1.一种数据处理方法，其特征在于，所述方法应用于并轨运行的第一系统和第二系统中；其中，所述第二系统包括基于预设的构建规则构建得到的独立于第一系统的数据处理系统，且所述第二系统与所述第一系统根据预设的同步规则进行数据同步；所述方法包括：
使用所述第一系统和所述第二系统根据预设的处理规则，并行处理所接入的数据处理请求；并通过预设的监测日志记录目标参数；其中，所述目标参数包括：所述第二系统和所述第一系统在处理所述数据处理请求的各个处理阶段的处理耗时和处理结果，以及所述第二系统的状态特征参数和所述第一系统的状态特征参数；
根据所述预设的监测日志，监测所述第二系统的运行状态；
在监测到所述第二系统的运行状态出现异常的情况下，切换使用第一系统单独处理所接入的数据处理请求。
2.根据权利要求1所述的方法，其特征在于，所述数据处理请求携带有用户的身份标识。
3.根据权利要求2所述的方法，其特征在于，利用所述第一系统和所述第二系统根据预设的处理规则处理所接入的数据处理请求，包括：
从所述数据处理请求中提取出用户的身份标识；
根据预设的名单列表，以及所述用户的身份标识，确定所述数据处理请求的发起用户是否属于目标用户；其中，所述预设的名单列表存储有多个目标用户的身份标识；
在确定所述数据处理请求的发起用户属于目标用户的情况下，将所述数据处理请求发送至第二系统，进行相应处理。
4.根据权利要求3所述的方法，其特征在于，所述第二系统包括独立于第一系统中的第一数据库的第二数据库、独立于第一系统中的第一存储区的第二存储区、独立于第一系统中的第一缓存的第二缓存。
5.根据权利要求4所述的方法，其特征在于，所述第二数据库用于存储目标用户的用户数据；所述第二存储区用于存储目标索引数据；所述第二缓存用于存储使用频率大于预设的频率阈值的中间参数；其中，所述目标索引数据用于表征存储于第二数据库中的目标用户的用户数据与所对应的目标用户的身份标识之间的映射关系。
6.根据权利要求5所述的方法，其特征在于，所述第二系统与所述第一系统根据预设的同步规则进行数据同步，包括：
根据第一同步规则，每间隔第一预设时间间隔，通过利用第二数据库与第一数据库之间的数据通道，对第二数据库与第一数据库中所存储的目标用户的用户数据进行数据同步。
7.根据权利要求6所述的方法，其特征在于，所述第二系统与所述第一系统根据预设的同步规则进行数据同步，还包括：
根据第二同步规则，每间隔第二预设时间间隔，通过利用第二数据库中所存储的目标用户的用户数据，对第二缓存与第一缓存中所存储的中间参数进行数据同步。
8.根据权利要求6所述的方法，其特征在于，所述第二系统与所述第一系统根据预设的同步规则进行数据同步，还包括：
根据第三同步规则，每间隔第三预设时间间隔，通过利用kafka消息，对所述第二存储区与第一存储区中所存储的目标索引数据进行数据同步。
9.根据权利要求4所述的方法，其特征在于，所述第二系统的状态特征参数包括以下至少之一：与第二数据库关联的状态参数、与第二存储区关联的状态参数、与第二缓存关联的状态参数。
10.根据权利要求9所述的方法，其特征在于，根据所述预设的监测日志，监测所述第二系统的运行状态，包括：
根据所述预设的监测日志，计算第二系统与第一系统处理数据处理请求时的同步率和准确度；
根据所述同步率和准确度，确定所述第二系统的运行状态。
11.根据权利要求10所述的方法，其特征在于，在监测到所述第二系统的运行状态出现异常的情况下，切换使用第一系统单独处理所接入的数据处理请求之后，所述方法还包括：
根据所述预设的监测日志，确定出导致第二系统的运行状态出现异常的异常原因；其中，所述异常原因包括：第一系统与第二系统之间的通信异常，和/或，第二系统的内部异常；
根据所述异常原因，修复所述第二系统。
12.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据所述预设的监测日志，调整第二系统的构建结构，和/或，运行配置参数。
13.一种数据处理装置，其特征在于，所述装置应用于并轨运行的第一系统和第二系统中；其中，所述第二系统包括基于预设的构建规则构建得到的独立于第一系统的数据处理系统，且所述第二系统与所述第一系统根据预设的同步规则进行数据同步；所述装置包括：
处理模块，用于使用所述第一系统和所述第二系统根据预设的处理规则，并行处理所接入的数据处理请求；并通过预设的监测日志记录目标参数；其中，所述目标参数包括：所述第二系统和所述第一系统在处理所述数据处理请求的各个处理阶段的处理耗时和处理结果，以及所述第二系统的状态特征参数和所述第一系统的状态特征参数；
监测模块，用于根据所述预设的监测日志，监测所述第二系统的运行状态；
切换模块，用于在监测到所述第二系统的运行状态出现异常的情况下，切换使用第一系统单独处理所接入的数据处理请求。
14.一种服务器，其特征在于，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现权利要求1至12中任一项所述方法的步骤。
15.一种计算机可读存储介质，其特征在于，其上存储有计算机指令，所述指令被执行时实现权利要求1至12中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011186399.9A CN112256482A (zh) | 2020-10-30 | 2020-10-30 | 数据处理方法、装置和服务器 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011186399.9A CN112256482A (zh) | 2020-10-30 | 2020-10-30 | 数据处理方法、装置和服务器 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112256482A true CN112256482A (zh) | 2021-01-22 |
Family
ID=74267797
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011186399.9A Pending CN112256482A (zh) | 2020-10-30 | 2020-10-30 | 数据处理方法、装置和服务器 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112256482A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113010607A (zh) * | 2021-04-06 | 2021-06-22 | 工银科技有限公司 | 系统间数据同步方法、装置、计算机系统、存储介质 |
| CN113032021A (zh) * | 2021-02-24 | 2021-06-25 | 广州虎牙科技有限公司 | 系统切换及其数据处理方法、装置、设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070011209A1 (en) * | 2005-07-06 | 2007-01-11 | Markus Wietlisbach | Technique for the migration of a host environment to a new system platform |
| CN103888281A (zh) * | 2012-12-21 | 2014-06-25 | 腾讯科技（北京）有限公司 | 服务器灰度升级方法、装置及相应的灰度升级服务器 |
| CN108111368A (zh) * | 2017-12-19 | 2018-06-01 | 中国银联股份有限公司 | 一种交易系统的功能测试方法及装置 |
| CN109462706A (zh) * | 2018-12-20 | 2019-03-12 | 中国银行股份有限公司 | 一种处理方法及装置 |
| CN109918235A (zh) * | 2019-05-16 | 2019-06-21 | 上海电气泰雷兹交通自动化系统有限公司 | 一种用于安全苛求系统软件升级的校验方法 |
-
2020
- 2020-10-30 CN CN202011186399.9A patent/CN112256482A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070011209A1 (en) * | 2005-07-06 | 2007-01-11 | Markus Wietlisbach | Technique for the migration of a host environment to a new system platform |
| CN103888281A (zh) * | 2012-12-21 | 2014-06-25 | 腾讯科技（北京）有限公司 | 服务器灰度升级方法、装置及相应的灰度升级服务器 |
| CN108111368A (zh) * | 2017-12-19 | 2018-06-01 | 中国银联股份有限公司 | 一种交易系统的功能测试方法及装置 |
| CN109462706A (zh) * | 2018-12-20 | 2019-03-12 | 中国银行股份有限公司 | 一种处理方法及装置 |
| CN109918235A (zh) * | 2019-05-16 | 2019-06-21 | 上海电气泰雷兹交通自动化系统有限公司 | 一种用于安全苛求系统软件升级的校验方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113032021A (zh) * | 2021-02-24 | 2021-06-25 | 广州虎牙科技有限公司 | 系统切换及其数据处理方法、装置、设备及存储介质 |
| CN113010607A (zh) * | 2021-04-06 | 2021-06-22 | 工银科技有限公司 | 系统间数据同步方法、装置、计算机系统、存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10048996B1 (en) | Predicting infrastructure failures in a data center for hosted service mitigation actions | |
| US11023355B2 (en) | Dynamic tracing using ranking and rating | |
| US9552249B1 (en) | Systems and methods for troubleshooting errors within computing tasks using models of log files | |
| US10198344B2 (en) | Build failure management in continuous integration environments for distributed systems | |
| US20220237162A1 (en) | System and method for cardinality estimation feedback loops in query processing | |
| US9684534B2 (en) | Monitoring and modifying allocated computing resources | |
| WO2019006654A1 (zh) | 金融自助设备维修派单生成方法、手持终端及电子设备 | |
| US20130086431A1 (en) | Multiple modeling paradigm for predictive analytics | |
| US10331383B2 (en) | Updating storage migration rates | |
| CN101321084A (zh) | 在计算机环境中利用关联规则挖掘为计算实体产生配置规则的方法和装置 | |
| US20210097431A1 (en) | Debugging and profiling of machine learning model training | |
| US11449798B2 (en) | Automated problem detection for machine learning models | |
| CN112256482A (zh) | 数据处理方法、装置和服务器 | |
| US11722371B2 (en) | Utilizing unstructured data in self-organized networks | |
| WO2014106431A1 (en) | Method and system for data migration | |
| US20210365762A1 (en) | Detecting behavior patterns utilizing machine learning model trained with multi-modal time series analysis of diagnostic data | |
| US11468365B2 (en) | GPU code injection to summarize machine learning training data | |
| CN111970151A (zh) | 虚拟及容器网络的流量故障定位方法及系统 | |
| US11410049B2 (en) | Cognitive methods and systems for responding to computing system incidents | |
| CN110599278B (zh) | 聚合设备标识符的方法、装置和计算机存储介质 | |
| CN102902804B (zh) | 一个高效的bpel服务动态更新方法 | |
| US20220335318A1 (en) | Dynamic anomaly forecasting from execution logs | |
| CN112654077B (zh) | 节能方法及装置、计算机可存储介质 | |
| US9830256B1 (en) | Block device workload analysis | |
| CN113254313A (zh) | 一种监控指标异常检测方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |