CN118152463A - 数据处理方法、装置、设备及存储介质 - Google Patents

数据处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN118152463A
CN118152463A CN202410369351.3A CN202410369351A CN118152463A CN 118152463 A CN118152463 A CN 118152463A CN 202410369351 A CN202410369351 A CN 202410369351A CN 118152463 A CN118152463 A CN 118152463A
Authority
CN
China
Prior art keywords
determining
data source
data
target
response
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410369351.3A
Other languages
English (en)
Inventor
邹秋艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Construction Bank Corp
CCB Finetech Co Ltd
Original Assignee
China Construction Bank Corp
CCB Finetech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Construction Bank Corp, CCB Finetech Co Ltd filed Critical China Construction Bank Corp
Priority to CN202410369351.3A priority Critical patent/CN118152463A/zh
Publication of CN118152463A publication Critical patent/CN118152463A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G06F11/3419—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment by assessing time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Computer Hardware Design (AREA)
  • Educational Administration (AREA)
  • Quality & Reliability (AREA)
  • Development Economics (AREA)
  • Data Mining & Analysis (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请提供一种数据处理方法、装置、设备及存储介质，涉及大数据的技术领域。该方法包括：通过获取目标业务的业务处理请求，确定目标业务对应的至少一个主数据源，判断主数据源的访问状态是否正常；若是，将主数据源确定为目标数据源；若否，从多个待选数据源中确定目标数据源，根据至少一个目标数据源，确定业务处理请求对应的业务处理结果。本申请的方法，以提高业务系统的稳定性。

Description

数据处理方法、装置、设备及存储介质
技术领域
本申请涉及大数据的技术领域，尤其涉及一种数据处理方法、装置、设备及存储介质。
背景技术
目前，越来越多的业务可以在线上进行办理，为用户提供更加便捷的服务。例如，办理公积金业务由传统的携带相关业务办理材料到公积金柜台办理，转变为线上办理，并且办理所需的材料由传统纸质证明材料，转变为线上的相关业务数据。
为了实现业务的线上办理，通过业务系统调用多个外部数据库，以获取相关业务数据。例如，办理公积金业务需要由民政、社保等相关部门提供多个业务数据，多个业务数据存储在多个外部数据库中，业务系统调用多个外部数据库，获取多个业务数据，进行公积金业务办理。
在上述调用外部数据库时，存在外部数据库状态不稳定的情况，导致业务系统的稳定性较低。
发明内容
本申请提供一种数据处理方法、装置、设备及存储介质，用以解决现有技术中存在外部数据库状态不稳定的情况，导致业务系统的稳定性较低的问题。
第一方面，本申请提供一种数据处理方法，包括：
获取目标业务的业务处理请求，所述业务处理请求用于请求对目标业务进行处理；
确定所述目标业务对应的至少一个主数据源；
判断所述主数据源的访问状态是否正常；若是，将所述主数据源确定为目标数据源；若否，从多个待选数据源中确定目标数据源；
根据至少一个目标数据源，确定业务处理请求对应的业务处理结果。
在一种可能的实施方式中，确定所述目标业务对应的至少一个主数据源，包括：
确定所述目标业务对应的至少一个数据类型；
根据所述数据类型，从历史访问数据中确定上一次访问的历史数据库；
将至少一个历史数据库确定为所述目标业务对应的至少一个主数据源。
在一种可能的实施方式中，从多个待选数据源中确定目标数据源，包括：
获取多个待选数据源对应的多个优先级；
将优先级最高的待选数据源确定为目标数据源。
在一种可能的实施方式中，在获取多个待选数据源对应的多个优先级之前，还包括：
检测所述多个待选数据源对应的当前响应时长；
获取所述多个待选数据源分别对应的多个历史响应数据，所述历史响应数据包括历史响应时长和历史响应结果；
根据所述当前响应时长和所述多个历史响应数据，确定多个待选数据源对应的多个优先级，并存储所述多个待选数据源对应的多个优先级。
在一种可能的实施方式中，根据所述当前响应时长和所述多个历史响应数据，确定多个待选数据源对应的多个优先级，包括：
根据所述当前响应时长和多个历史响应时长，确定所述多个待选数据源分别对应的第一质量权重；
根据多个历史响应结果，确定所述多个待选数据源分别对应的第二质量权重；
根据所述多个待选数据源分别对应的第一质量权重、以及所述多个待选数据源分别对应的第二质量权重，确定多个待选数据源对应的多个优先级。
在一种可能的实施方式中，根据多个历史响应结果，确定所述多个待选数据源分别对应的第二质量权重，包括：
针对任意一个待选数据源，在多个历史响应结果中，获取所述待选数据源对应的多个目标响应结果；
对所述多个目标响应结果进行质量检测处理，确定所述待选数据源对应的异常占比；
根据所述多个待选数据源分别对应的异常占比，确定所述多个待选数据源分别对应的第二质量权重。
在一种可能的实施方式中，对所述多个目标响应结果进行质量检测处理，确定所述待选数据源对应的异常占比，包括：
针对任意一个目标响应结果，获取所述目标响应结果对应的预设范围；
判断所述目标响应结果对应的数值是否在所述预设范围内；若是，则确定所述目标响应结果为正常结果；若否，则确定所述目标响应结果为异常结果；
确定所述多个目标响应结果中异常结果的异常数量；
将异常数量与所述多个目标响应结果对应数量的比值，确定为所述待选数据源对应的异常占比。
在一种可能的实施方式中，判断所述主数据源的访问状态是否正常，包括：
向所述主数据源发送访问请求；
在预设时长内，确定是否接收到所述主数据源的响应信息；
若是，确定所述主数据源的访问状态正常；
若否，则确定所述主数据源超时，并确定所述主数据源的超时次数，并根据所述超时次数，确定所述主数据源的访问状态。
在一种可能的实施方式中，根据所述超时次数，确定所述主数据源的访问状态，包括：
若所述超时次数大于或等于阈值时，确定所述主数据源的访问状态异常；
若所述超时次数小于所述阈值时，向所述主数据源发送至少一次访问请求，直至最新的超时次数大于或等于预设阈值时，确定所述主数据源的访问状态异常，或者，在预设时长内接收到所述主数据源的响应信息、且最新的超时次数小于预设阈值时，确定所述主数据源的访问状态正常。
在一种可能的实施方式中，所述业务处理请求还包括所述用户的用户标识，根据至少一个目标数据源，确定业务处理请求对应的业务处理结果，包括：
分别向所述至少一个目标数据源发送数据请求，所述数据请求包括所述用户标识；
接收所述至少一个目标数据源分别发送的响应数据，所述响应数据是所述用户标识对应的数据；
根据所述响应数据，确定业务处理请求对应的业务处理结果。
第二方面，本申请提供一种数据处理装置，包括：
获取模块，用于获取目标业务的业务处理请求，所述业务处理请求用于请求对目标业务进行处理；
第一确定模块，用于确定所述目标业务对应的至少一个主数据源；
第二确定模块，用于判断所述主数据源的访问状态是否正常；若是，将所述主数据源确定为目标数据源；若否，从多个待选数据源中确定目标数据源；
处理模块，用于根据至少一个目标数据源，确定业务处理请求对应的业务处理结果。
在一种可能的实施方式中，第一确定模块具体用于：
确定所述目标业务对应的至少一个数据类型；
根据所述数据类型，从历史访问数据中确定上一次访问的历史数据库；
将至少一个历史数据库确定为所述目标业务对应的至少一个主数据源。
在一种可能的实施方式中，第二确定模块具体用于：
获取多个待选数据源对应的多个优先级；
将优先级最高的待选数据源确定为目标数据源。
在一种可能的实施方式中，所述装置还包括第三确定模块，第三确定模块具体用于：
检测所述多个待选数据源对应的当前响应时长；
获取所述多个待选数据源分别对应的多个历史响应数据，所述历史响应数据包括历史响应时长和历史响应结果；
根据所述当前响应时长和所述多个历史响应数据，确定多个待选数据源对应的多个优先级，并存储所述多个待选数据源对应的多个优先级。
在一种可能的实施方式中，第三确定模块具体用于：
根据所述当前响应时长和多个历史响应时长，确定所述多个待选数据源分别对应的第一质量权重；
根据多个历史响应结果，确定所述多个待选数据源分别对应的第二质量权重；
根据所述多个待选数据源分别对应的第一质量权重、以及所述多个待选数据源分别对应的第二质量权重，确定多个待选数据源对应的多个优先级。
在一种可能的实施方式中，第三确定模块具体用于：
针对任意一个待选数据源，在多个历史响应结果中，获取所述待选数据源对应的多个目标响应结果；
对所述多个目标响应结果进行质量检测处理，确定所述待选数据源对应的异常占比；
根据所述多个待选数据源分别对应的异常占比，确定所述多个待选数据源分别对应的第二质量权重。
在一种可能的实施方式中，第三确定模块具体用于：
针对任意一个目标响应结果，获取所述目标响应结果对应的预设范围；
判断所述目标响应结果对应的数值是否在所述预设范围内；若是，则确定所述目标响应结果为正常结果；若否，则确定所述目标响应结果为异常结果；
确定所述多个目标响应结果中异常结果的异常数量；
将异常数量与所述多个目标响应结果对应数量的比值，确定为所述待选数据源对应的异常占比。
在一种可能的实施方式中，第二确定模块具体用于：
向所述主数据源发送访问请求；
在预设时长内，确定是否接收到所述主数据源的响应信息；
若是，确定所述主数据源的访问状态正常；
若否，则确定所述主数据源超时，并确定所述主数据源的超时次数，并根据所述超时次数，确定所述主数据源的访问状态。
在一种可能的实施方式中，第二确定模块具体用于：
若所述超时次数大于或等于阈值时，确定所述主数据源的访问状态异常；
若所述超时次数小于所述阈值时，向所述主数据源发送至少一次访问请求，直至最新的超时次数大于或等于预设阈值时，确定所述主数据源的访问状态异常，或者，在预设时长内接收到所述主数据源的响应信息、且最新的超时次数小于预设阈值时，确定所述主数据源的访问状态正常。
在一种可能的实施方式中，所述业务处理请求还包括所述用户的用户标识，处理模块具体用于：
分别向所述至少一个目标数据源发送数据请求，所述数据请求包括所述用户标识；
接收所述至少一个目标数据源分别发送的响应数据，所述响应数据是所述用户标识对应的数据；
根据所述响应数据，确定业务处理请求对应的业务处理结果。
第三方面，本申请实施例提供一种电子设备，包括：至少一个处理器和存储器；所述存储器存储计算机执行指令；所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如上第一方面以及第一方面各种可能的设计所述的数据处理方法。
第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上第一方面以及第一方面各种可能的设计所述的数据处理方法。
第五方面，本申请实施例提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时，实现如上第一方面以及第一方面各种可能的设计所述的数据处理方法。
本申请提供的数据处理方法、装置、设备及存储介质，通过获取目标业务的业务处理请求，确定目标业务对应的至少一个主数据源，判断主数据源的访问状态是否正常；若是，将主数据源确定为目标数据源；若否，从多个待选数据源中确定目标数据源，根据至少一个目标数据源，确定业务处理请求对应的业务处理结果。这样，可以在主数据源出现异常时，直接切换至备选的数据源，无需修改系统代码，以提高业务系统的稳定性。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1为本申请实施例提供的一种业务系统的结构示意图；
图2为本申请实施例提供的一种数据处理方法的流程示意图；
图3为本申请实施例提供的另一种数据处理方法的流程示意图；
图4为本申请实施例提供的又一种数据处理方法的流程示意图；
图5为本申请实施例提供的一种数据处理装置的结构示意图；
图6为本申请实施例提供的另一种数据处理装置的结构示意图；
图7为本申请实施例提供的电子设备的结构示意图。
通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
需要说明的是，本申请的技术方案中，所涉及的金融数据或用户数据等信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。需要说明的是，在本申请实施例中，可能提及某些软件、组件、模型等业界已有方案，应当将它们认为是示范性的，其目的仅仅是为了说明本申请技术方案实施中的可行性，但并不意味着申请人已经或者必然用到了该方案。
目前，越来越多的业务可以在线上进行办理，为用户提供更加便捷的服务。例如，办理公积金业务由传统的携带相关业务办理材料到公积金柜台办理，转变为线上办理，并且办理所需的材料由传统纸质证明材料，转变为线上的相关业务数据。
为了实现业务的线上办理，通过业务系统调用多个外部数据库，以获取相关业务数据。例如，办理公积金业务需要由民政、社保等相关部门提供多个业务数据，多个业务数据存储在多个外部数据库中，业务系统调用多个外部数据库，获取多个业务数据，进行公积金业务办理。
下面，结合图1，对业务系统的架构进行举例说明。
图1为本申请实施例提供的一种业务系统的结构示意图。请参见图1，图1可以包括业务处理系统，业务处理系统可以包括交互单元、数据获取单元和数据处理单元。
交互单元可以用于向用户展示交互界面和获取用户的输入信息等，以实现业务处理系统与用户的交互。
数据获取单元可以包括数据源切换子单元和外部数据获取子单元。外部数据可以包括多个数据类型，一个数据类型对应多个外部数据源。
数据源切换子单元可以用于切换不同的数据源，以确保数据获取过程稳定。
外部数据获取子单元可以用于向多个数据源发送数据请求，并获取数据源对应的外部数据。
数据处理单元可以用于根据交互单元获取的业务处理请求，向数据获取单元发送数据获取指令，并对获取的数据进行处理，确定对应的业务处理结果。
在上述调用外部数据库时，存在外部数据库状态不稳定的情况，导致业务系统的稳定性较低。
为了解决上述技术问题，本申请实施例提供了一种数据处理方法，通过获取业务处理请求，在主数据源访问状态异常时，从多个数据源中确定目标数据源，根据目标数据源，确定业务处理请求对应的业务处理结果。这样，可以在主数据源出现异常时，直接切换至备选数据源，无需修改系统代码，且备选数据源由系统定期更新，可靠性较高，以提高业务系统的稳定性。
下面，通过具体实施例对本申请所示的技术方案进行详细说明。需要说明的是，下面几个实施例可以独立存在，也可以相互结合，对于相同或相似的内容，在不同的实施例中不再重复说明。
图2为本申请实施例提供的一种数据处理方法的流程示意图。本申请实施例的执行主体可以为业务系统。业务系统可以通过软件实现。请参见图2，该方法包括：
S201、获取目标业务的业务处理请求。
目标业务可以是业务系统中的任意一个业务，在此不做限定。
例如，目标业务可以是公积金业务。
目标业务在被处理时，需要至少一类数据的支持。
该数据可以存储在多个外部数据源中，外部数据源可以包括主数据源和待选数据源。
业务处理请求可以用于请求对目标业务进行处理。
业务处理请求可以包括用户的用户标识等，在此不做限定。
响应于用户在业务请求页面输入的请求操作，确定目标业务的业务处理请求。
其中，请求操作包括用户输入信息的操作、以及用户选中请求控件等操作，在此不做限定。
S202、确定目标业务对应的至少一个主数据源。
主数据源可以用于存储目标业务所需的一类数据。
主数据源可以是预先设置的数据源，也可以是上一次访问的数据源，在此不做限定。
可以根据目标业务，确定目标业务对应的至少一个数据类型，根据至少一类数据类型，确定目标业务对应的至少一个主数据源。
可选地，可以通过如下的方式确定目标业务对应的至少一个主数据源：确定目标业务对应的至少一个数据类型；根据数据类型，从历史访问数据中确定上一次访问的历史数据库；将至少一个历史数据库确定为目标业务对应的至少一个主数据源。
其中，历史访问数据可以包括第一映射关系，第一映射关系可以包括多个数据类型、以及每个数据类型对应的历史数据库。历史数据库可以为数据类型对应的最近一次访问的数据库。
S203、判断主数据源的访问状态是否正常。
若是，则执行S204；
若否，则执行S205。
主数据源的访问状态可以通过向主数据源发送访问请求，并根据主数据源发送响应信息对应的时长判断。
其中，访问请求中可以包括访问主数据源对应的身份信息、用户标识等信息，在此不做限定。
可以向主数据源发送访问请求信息，若在预设时长内接收到主数据源发送的响应信息，确定主数据源的访问状态正常，否则，确定主数据源的访问状态异常。
S204、将主数据源确定为目标数据源。
在S204之后，执行S206。
目标数据源可以是本次需要进行访问的数据源。
目标数据源可以用于获取目标业务对应的数据。
若确定主数据源的访问状态正常，可以将主数据源确定为目标数据源。
S205、从多个待选数据源中确定目标数据源。
在S205之后，执行S206。
若确定主数据源的访问状态异常，可以根据多个待选数据源对应的数据源参数，从多个待选数据源中确定目标数据源。
可选地，可以通过如下的方式从多个待选数据源中确定目标数据源：获取多个待选数据源对应的多个优先级；将优先级最高的待选数据源确定为目标数据源。
其中，多个待选数据源对应的多个优先级可以是预先确定的，也可以是定期更新的，在此不做限定。
S206、根据至少一个目标数据源，确定业务处理请求对应的业务处理结果。
业务处理结果可以是根据业务处理请求处理的处理结果，在此不做限定。
例如，目标业务为办理公积金业务，业务处理结果可以是办理公积金业务对应的结果，可以是办理成功或办理失败。
可以根据至少一个目标数据源，确定业务处理请求对应的至少一个数据，根据至少一个数据，确定业务处理请求对应的业务处理结果。
可选地，可以通过如下的方式根据至少一个目标数据源，确定业务处理请求对应的业务处理结果：分别向至少一个目标数据源发送数据请求；接收至少一个目标数据源分别发送的响应数据；根据响应数据，确定业务处理请求对应的业务处理结果。
其中，数据请求可以包括用户标识，响应数据可以是用户标识对应的数据。响应数据可以用于处理业务处理请求。
本实施例提供的数据处理方法，通过获取目标业务的业务处理请求，确定目标业务对应的至少一个主数据源，判断主数据源的访问状态是否正常；若是，将主数据源确定为目标数据源；若否，从多个待选数据源中确定目标数据源，根据至少一个目标数据源，确定业务处理请求对应的业务处理结果。这样，可以在主数据源出现异常时，直接切换至备选的数据源，无需修改系统代码，以提高业务系统的稳定性。
在一种可能的实施方式中，在S205中，可以获取多个待选数据源对应的多个优先级。在获取多个待选数据源对应的多个优先级之前，可以确定多个待选数据源对应的多个优先级。
下面，结合图3，对确定多个待选数据源对应的多个优先级的过程进行进一步地解释说明。
图3为本申请实施例提供的另一种数据处理方法的流程示意图。在上述实施例的基础上，可参见图3，该方法包括：
S301、检测多个待选数据源对应的当前响应时长。
当前响应时长可以是从向待选数据源发送请求信息的时刻，到获取到待选数据源发送响应信息的时刻对应的时长。
可以在预设周期内分别向多个待选数据源发送请求信息，分别获取多个响应信息，根据多个响应信息，检测多个待选数据源对应的当前响应时长。
S302、获取多个待选数据源分别对应的多个历史响应数据。
历史响应数据可以包括历史响应时长和历史响应结果。
可以根据多个待选数据源发送的响应信息，确定多个待选数据源分别对应的多个历史响应数据。
S303、根据当前响应时长和多个历史响应时长，确定多个待选数据源分别对应的第一质量权重。
第一质量权重可以用于确定多个待选数据源对应的响应时长情况，响应时长越短，对应的第一质量权重越高；响应时长越长，对应的第一质量权重越低。
可以获取多个待选数据源分别对应的多个历史响应时长，根据多个历史响应时长，确定多个待选数据源分别对应的历史平均时长，根据当前响应时长和历史平均时长，确定多个待选数据源分别对应的第一质量权重。
可选地，可以通过如下的方式根据当前响应时长和历史平均时长，确定多个待选数据源分别对应的第一质量权重：根据多个待选数据源分别对应的当前响应时长，确定当前响应优先级顺序，根据多个待选数据源分别对应的历史平均时长，确定历史响应优先级顺序，根据当前响应优先级顺序和历史响应优先级顺序，确定多个待选数据源分别对应的第一质量权重。
S304、根据多个历史响应结果，确定多个待选数据源分别对应的第二质量权重。
第二质量权重可以用于确定多个待选数据源对应的数据有效性，若在多个历史响应结果中，存在的无效数据越多，数据有效性越低，若在多个历史响应结果中，存在的无效数据越少，数据有效性越高。无效数据可以包括乱码数据和空数据等，在此不做限定。
可以根据多个待选数据源分别对应的多个历史响应结果，确定多个待选数据源分别对应的数据有效性，根据多个待选数据源分别对应的数据有效性，确定多个待选数据源分别对应的第二质量权重。
其中，数据有效性可以通过无效数据占所有数据的百分比确定。
可选地，可以通过如下的方式根据多个历史响应结果，确定多个待选数据源分别对应的第二质量权重：针对任意一个待选数据源，在多个历史响应结果中，获取待选数据源对应的多个目标响应结果；对多个目标响应结果进行质量检测处理，确定待选数据源对应的异常占比；根据多个待选数据源分别对应的异常占比，确定多个待选数据源分别对应的第二质量权重。
其中，目标响应结果可以是待选数据源所提供的响应结果。
质量检测处理可以用于判断目标响应结果中的数据是否具有有效性。有效性的判断方式可以通过判断目标响应结果中的数据是否在预设范围内。
可选地，可以通过如下的方式确定对多个目标响应结果进行质量检测处理，确定待选数据源对应的异常占比：针对任意一个目标响应结果，获取目标响应结果对应的预设范围；判断目标响应结果对应的数值是否在预设范围内；若是，则确定目标响应结果为正常结果；若否，则确定目标响应结果为异常结果；确定多个目标响应结果中异常结果的异常数量；将异常数量与多个目标响应结果对应数量的比值，确定为待选数据源对应的异常占比。
例如，假设目标响应结果是关于年龄的数据，年龄的预设范围为0-120。若目标响应结果对应的数值为200，则确定目标响应结果为异常结果；若目标响应结果对应的数值为50，则确定目标响应结果为正常结果。
第二质量权重可以根据多个待选数据源分别对应的异常占比大小确定，异常占比越小，第二质量权重越大。
S305、根据多个待选数据源分别对应的第一质量权重、以及多个待选数据源分别对应的第二质量权重，确定多个待选数据源对应的多个优先级。
可以将多个待选数据源分别对应的第一质量权重和第二质量权重相加，确定多个待选数据源分别对应的目标质量权重，根据目标质量权重，确定多个待选数据源对应的多个优先级。
本申请实施例中各步骤的实施内容可参照上述方法实施例对应步骤或操作的描述，重复内容不再赘述。
本实施例提供的数据处理方法，通过检测多个待选数据源对应的当前响应时长，获取多个待选数据源分别对应的多个历史响应数据，历史响应数据包括历史响应时长和历史响应结果，根据当前响应时长和多个历史响应时长，确定多个待选数据源分别对应的第一质量权重，根据多个历史响应结果，确定多个待选数据源分别对应的第二质量权重，根据多个待选数据源分别对应的第一质量权重、以及多个待选数据源分别对应的第二质量权重，确定多个待选数据源对应的多个优先级。这样，多个待选数据源的优先级可以由系统定期更新，可靠性较高，在主数据源出现异常时，直接切换至多个待选数据源中优先级最高的数据源，以提高业务系统的稳定性。
下面，结合图4，对判断主数据源的访问状态是否正常的过程(S203)进行进一步地解释说明。
图4为本申请实施例提供的又一种数据处理方法的流程示意图。在上述实施例的基础上，可参见图3，该方法包括：
S401、向主数据源发送访问请求。
访问请求中可以包括系统对应的身份验证信息。
访问请求中也可以包括系统标识。
可以生成访问请求，向主数据源发送访问请求。
S402、在预设时长内，确定是否接收到主数据源的响应信息。
若是，则执行S403；
若否，则执行S404。
预设时长可以是预先设置的，在此不做限定。
可以通过计时器在向主数据源发送访问请求时开始计时，确定在预设时长内是否接收到主数据源的响应信息。
S403、确定主数据源的访问状态正常。
若在预设时长内接收到主数据源的响应信息，确定主数据源的访问状态正常。
S404、确定主数据源超时，并确定主数据源的超时次数。
若在预设时长内未接收到主数据源的响应信息，确定主数据源超时，并获取在第一时长内的历史超时次数，将历史超时次数加1确定为主数据源的超时次数。
S405、判断超时次数是否大于或等于阈值。
若是，则执行S406；
若否，则执行S407。
阈值是预先设置的，在此不做限定。
S406、确定主数据源的访问状态异常。
若超时次数大于或等于阈值，则确定主数据源的访问状态异常。
S407、向主数据源发送至少一次访问请求，直至最新的超时次数大于或等于预设阈值时，确定主数据源的访问状态异常，或者，在预设时长内接收到主数据源的响应信息、且最新的超时次数小于预设阈值时，确定主数据源的访问状态正常。
若超时次数小于阈值，则重复执行S401，直至最新的超时次数大于或等于预设阈值时，确定主数据源的访问状态异常，或者，在预设时长内接收到主数据源的响应信息、且最新的超时次数小于预设阈值时，确定主数据源的访问状态正常。
本申请实施例中各步骤的实施内容可参照上述方法实施例对应步骤或操作的描述，重复内容不再赘述。
本实施例提供的数据处理方法，通过向主数据源发送访问请求，在预设时长内，确定是否接收到主数据源的响应信息，若是，确定主数据源的访问状态正常；若否，则确定主数据源超时，并确定主数据源的超时次数，若超时次数大于或等于阈值时，确定主数据源的访问状态异常；若超时次数小于阈值时，向主数据源发送至少一次访问请求，直至最新的超时次数大于或等于预设阈值时，确定主数据源的访问状态异常，或者，在预设时长内接收到主数据源的响应信息、且最新的超时次数小于预设阈值时，确定主数据源的访问状态正常。
图5为本申请实施例提供的一种数据处理装置的结构示意图。请参见图5，该装置500包括获取模块501、第一确定模块502、第二确定模块503和处理模块504，其中，
获取模块501，用于获取目标业务的业务处理请求，所述业务处理请求用于请求对目标业务进行处理；
第一确定模块502，用于确定所述目标业务对应的至少一个主数据源；
第二确定模块503，用于判断所述主数据源的访问状态是否正常；若是，将所述主数据源确定为目标数据源；若否，从多个待选数据源中确定目标数据源；
处理模块504，用于根据至少一个目标数据源，确定业务处理请求对应的业务处理结果。
在一种可能的实施方式中，第一确定模块502具体用于：
确定所述目标业务对应的至少一个数据类型；
根据所述数据类型，从历史访问数据中确定上一次访问的历史数据库；
将至少一个历史数据库确定为所述目标业务对应的至少一个主数据源。
在一种可能的实施方式中，第二确定模块503具体用于：
获取多个待选数据源对应的多个优先级；
将优先级最高的待选数据源确定为目标数据源。
在一种可能的实施方式中，第二确定模块503具体用于：
向所述主数据源发送访问请求；
在预设时长内，确定是否接收到所述主数据源的响应信息；
若是，确定所述主数据源的访问状态正常；
若否，则确定所述主数据源超时，并确定所述主数据源的超时次数，并根据所述超时次数，确定所述主数据源的访问状态。
在一种可能的实施方式中，第二确定模块503具体用于：
若所述超时次数大于或等于阈值时，确定所述主数据源的访问状态异常；
若所述超时次数小于所述阈值时，向所述主数据源发送至少一次访问请求，直至最新的超时次数大于或等于预设阈值时，确定所述主数据源的访问状态异常，或者，在预设时长内接收到所述主数据源的响应信息、且最新的超时次数小于预设阈值时，确定所述主数据源的访问状态正常。
在一种可能的实施方式中，所述业务处理请求还包括所述用户的用户标识，处理模块504具体用于：
分别向所述至少一个目标数据源发送数据请求，所述数据请求包括所述用户标识；
接收所述至少一个目标数据源分别发送的响应数据，所述响应数据是所述用户标识对应的数据；
根据所述响应数据，确定业务处理请求对应的业务处理结果。
图6为本申请实施例提供的另一种数据处理装置的结构示意图。在图6所示实施例的基础上，请参见图6，数据处理装置500还包括第三确定模块505。
第三确定模块505具体用于：
检测所述多个待选数据源对应的当前响应时长；
获取所述多个待选数据源分别对应的多个历史响应数据，所述历史响应数据包括历史响应时长和历史响应结果；
根据所述当前响应时长和所述多个历史响应数据，确定多个待选数据源对应的多个优先级，并存储所述多个待选数据源对应的多个优先级。
在一种可能的实施方式中，第三确定模块505具体用于：
根据所述当前响应时长和多个历史响应时长，确定所述多个待选数据源分别对应的第一质量权重；
根据多个历史响应结果，确定所述多个待选数据源分别对应的第二质量权重；
根据所述多个待选数据源分别对应的第一质量权重、以及所述多个待选数据源分别对应的第二质量权重，确定多个待选数据源对应的多个优先级。
在一种可能的实施方式中，第三确定模块具体用于：
针对任意一个待选数据源，在多个历史响应结果中，获取所述待选数据源对应的多个目标响应结果；
对所述多个目标响应结果进行质量检测处理，确定所述待选数据源对应的异常占比；
根据所述多个待选数据源分别对应的异常占比，确定所述多个待选数据源分别对应的第二质量权重。
在一种可能的实施方式中，第三确定模块具体用于：
针对任意一个目标响应结果，获取所述目标响应结果对应的预设范围；
判断所述目标响应结果对应的数值是否在所述预设范围内；若是，则确定所述目标响应结果为正常结果；若否，则确定所述目标响应结果为异常结果；
确定所述多个目标响应结果中异常结果的异常数量；
将异常数量与所述多个目标响应结果对应数量的比值，确定为所述待选数据源对应的异常占比。
需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。各模块可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上各模块的功能。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
图7为本申请实施例提供的电子设备的结构示意图。如图7所示，该电子设备可以包括：收发器701、处理器702、存储器703。
处理器702执行存储器存储的计算机执行指令，使得处理器702执行上述实施例中的方案。处理器702可以是通用处理器，包括中央处理器CPU、网络处理器(networkprocessor，NP)等；还可以是数字信号处理器DSP、专用集成电路ASIC、现场可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
存储器703通过系统总线与处理器702连接并完成相互间的通信，存储器703用于存储计算机程序指令。
收发器701可以用于获取待运行任务和待运行任务的配置信息。
系统总线可以是外设部件互连标准(peripheral component interconnect，PCI)总线或扩展工业标准结构(extended industry standard architecture，EISA)总线等。系统总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。收发器用于实现数据库访问装置与其他计算机(例如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(randomaccess memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)。
本申请实施例提供的电子设备，可以是上述实施例的终端设备。
本申请实施例还提供一种运行指令的芯片，该芯片用于执行上述实施例中数据处理方法的技术方案。
本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机指令，当该计算机指令在计算机上运行时，使得计算机执行上述实施例数据处理方法的技术方案。
本申请实施例还提供一种计算机程序产品，该计算机程序产品包括计算机程序，其存储在计算机可读存储介质中，至少一个处理器可以从计算机可读存储介质读取计算机程序，至少一个处理器执行计算机程序时可实现上述实施例中数据处理方法的技术方案。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个单元中。上述模块成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能模块的形式实现的集成的模块，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器执行本申请各个实施例方法的部分步骤。
应理解，上述处理器可以是中央处理单元(Central Processing Unit，简称CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
存储器可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，还可以为U盘、移动硬盘、只读存储器、磁盘或光盘等。
总线可以是工业标准体系结构(Industry Standard Architecture，简称ISA)总线、外部设备互连(Peripheral Component Interconnect，简称PCI)总线或扩展工业标准体系结构(Extended Industry Standard Architecture，简称EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。
上述存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。存储介质可以是通用或专用计算机能够存取的任何可用介质。
一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于专用集成电路(Application Specific Integrated Circuits，简称ASIC)中。当然，处理器和存储介质也可以作为分立组件存在于电控单元或主控设备中。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (14)

1.一种数据处理方法，其特征在于，包括：
获取目标业务的业务处理请求，所述业务处理请求用于请求对目标业务进行处理；
确定所述目标业务对应的至少一个主数据源；
判断所述主数据源的访问状态是否正常；若是，将所述主数据源确定为目标数据源；若否，从多个待选数据源中确定目标数据源；
根据至少一个目标数据源，确定业务处理请求对应的业务处理结果。
2.根据权利要求1所述的方法，其特征在于，确定所述目标业务对应的至少一个主数据源，包括：
确定所述目标业务对应的至少一个数据类型；
根据所述数据类型，从历史访问数据中确定上一次访问的历史数据库；
将至少一个历史数据库确定为所述目标业务对应的至少一个主数据源。
3.根据权利要求1或2所述的方法，其特征在于，从多个待选数据源中确定目标数据源，包括：
获取多个待选数据源对应的多个优先级；
将优先级最高的待选数据源确定为目标数据源。
4.根据权利要求3所述的方法，其特征在于，在获取多个待选数据源对应的多个优先级之前，还包括：
检测所述多个待选数据源对应的当前响应时长；
获取所述多个待选数据源分别对应的多个历史响应数据，所述历史响应数据包括历史响应时长和历史响应结果；
根据所述当前响应时长和所述多个历史响应数据，确定多个待选数据源对应的多个优先级，并存储所述多个待选数据源对应的多个优先级。
5.根据权利要求4所述的方法，其特征在于，根据所述当前响应时长和所述多个历史响应数据，确定多个待选数据源对应的多个优先级，包括：
根据所述当前响应时长和多个历史响应时长，确定所述多个待选数据源分别对应的第一质量权重；
根据多个历史响应结果，确定所述多个待选数据源分别对应的第二质量权重；
根据所述多个待选数据源分别对应的第一质量权重、以及所述多个待选数据源分别对应的第二质量权重，确定多个待选数据源对应的多个优先级。
6.根据权利要求5所述的方法，其特征在于，根据多个历史响应结果，确定所述多个待选数据源分别对应的第二质量权重，包括：
针对任意一个待选数据源，在多个历史响应结果中，获取所述待选数据源对应的多个目标响应结果；
对所述多个目标响应结果进行质量检测处理，确定所述待选数据源对应的异常占比；
根据所述多个待选数据源分别对应的异常占比，确定所述多个待选数据源分别对应的第二质量权重。
7.根据权利要求6所述的方法，其特征在于，对所述多个目标响应结果进行质量检测处理，确定所述待选数据源对应的异常占比，包括：
针对任意一个目标响应结果，获取所述目标响应结果对应的预设范围；
判断所述目标响应结果对应的数值是否在所述预设范围内；若是，则确定所述目标响应结果为正常结果；若否，则确定所述目标响应结果为异常结果；
确定所述多个目标响应结果中异常结果的异常数量；
将异常数量与所述多个目标响应结果对应数量的比值，确定为所述待选数据源对应的异常占比。
8.根据权利要求1-7任一项所述的方法，其特征在于，判断所述主数据源的访问状态是否正常，包括：
向所述主数据源发送访问请求；
在预设时长内，确定是否接收到所述主数据源的响应信息；
若是，确定所述主数据源的访问状态正常；
若否，则确定所述主数据源超时，并确定所述主数据源的超时次数，并根据所述超时次数，确定所述主数据源的访问状态。
9.根据权利要求8所述的方法，其特征在于，根据所述超时次数，确定所述主数据源的访问状态，包括：
若所述超时次数大于或等于阈值时，确定所述主数据源的访问状态异常；
若所述超时次数小于所述阈值时，向所述主数据源发送至少一次访问请求，直至最新的超时次数大于或等于预设阈值时，确定所述主数据源的访问状态异常，或者，在预设时长内接收到所述主数据源的响应信息、且最新的超时次数小于预设阈值时，确定所述主数据源的访问状态正常。
10.根据权利要求1-9任一项所述的方法，其特征在于，所述业务处理请求还包括用户的用户标识，根据至少一个目标数据源，确定业务处理请求对应的业务处理结果，包括：
分别向所述至少一个目标数据源发送数据请求，所述数据请求包括所述用户标识；
接收所述至少一个目标数据源分别发送的响应数据，所述响应数据是所述用户标识对应的数据；
根据所述响应数据，确定业务处理请求对应的业务处理结果。
11.一种数据处理装置，其特征在于，包括：
获取模块，用于获取目标业务的业务处理请求，所述业务处理请求用于请求对目标业务进行处理；
第一确定模块，用于确定所述目标业务对应的至少一个主数据源；
第二确定模块，用于判断所述主数据源的访问状态是否正常；若是，将所述主数据源确定为目标数据源；若否，从多个待选数据源中确定目标数据源；
处理模块，用于根据至少一个目标数据源，确定业务处理请求对应的业务处理结果。
12.一种电子设备，其特征在于，包括：处理器，以及与所述处理器通信连接的存储器；
所述存储器存储计算机执行指令；
所述处理器执行所述存储器存储的计算机执行指令，以实现如权利要求1-10中任一项所述的方法。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1-10中任一项所述的方法。
14.一种计算机程序产品，其特征在于，包括计算机程序，该计算机程序被处理器执行时实现权利要求1-10中任一项所述的方法。
CN202410369351.3A 2024-03-28 2024-03-28 数据处理方法、装置、设备及存储介质 Pending CN118152463A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410369351.3A CN118152463A (zh) 2024-03-28 2024-03-28 数据处理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410369351.3A CN118152463A (zh) 2024-03-28 2024-03-28 数据处理方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN118152463A true CN118152463A (zh) 2024-06-07

Family

ID=91286494

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410369351.3A Pending CN118152463A (zh) 2024-03-28 2024-03-28 数据处理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN118152463A (zh)

Similar Documents

Publication Publication Date Title
CN109831494B (zh) 用户数据管理方法及设备
CN110806971A (zh) 一种版本测试方法、装置及电子设备
CN112988812A (zh) 库存数据的处理方法、装置、设备及存储介质
CN114268957A (zh) 异常业务数据处理方法、装置、服务器及存储介质
CN110069217B (zh) 一种数据存储方法及装置
CN111125240B (zh) 一种分布式事务实现方法、装置、电子设备及存储介质
CN112437155B (zh) 服务数据的处理方法、装置以及服务端设备
CN108280024B (zh) 流量分配策略测试方法、装置及电子设备
CN118152463A (zh) 数据处理方法、装置、设备及存储介质
CN111367694A (zh) 事件处理方法、服务器及计算机存储介质
US20210383469A1 (en) Currency trading method based on blockchain and electronic device
CN113079110B (zh) 消息处理方法、装置、设备及存储介质
CN117522099A (zh) 金融卡信息变更方法、装置、设备及存储介质
CN111639089B (zh) 事务处理方法、装置、电子设备和计算机可读存储介质
CN112182505B (zh) 一种账务合规处理方法和装置
CN112887448B (zh) 域名注册方法、装置和域名服务器
CN115834492A (zh) 授信业务数据处理方法、装置、设备及介质
CN112887446B (zh) 域名处理方法、装置和域名服务器
CN110737563B (zh) 一种应用程序信息上报、接收方法和装置
CN117217250A (zh) 二维码展示方法、装置、设备及存储介质
CN116245516A (zh) 外呼交易请求的处理方法、装置、设备及存储介质
CN111107037B (zh) 一种业务触发的方法及装置
CN117278641A (zh) 服务请求处理方法、装置、服务器及存储介质
CN115933979A (zh) 业务数据处理方法、装置、设备及介质
CN117472532A (zh) 任务处理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination