CN116308848A - 信息处理方法、装置、计算机设备和存储介质 - Google Patents

信息处理方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN116308848A
CN116308848A CN202310315410.4A CN202310315410A CN116308848A CN 116308848 A CN116308848 A CN 116308848A CN 202310315410 A CN202310315410 A CN 202310315410A CN 116308848 A CN116308848 A CN 116308848A
Authority
CN
China
Prior art keywords
information
resource processing
reconciliation
target
splitting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310315410.4A
Other languages
English (en)
Inventor
苏志康
孙韶
杨乐
孙敏茜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN202310315410.4A priority Critical patent/CN116308848A/zh
Publication of CN116308848A publication Critical patent/CN116308848A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/12—Accounting
    • G06Q40/125—Finance or payroll
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • G06F9/5016—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals the resource being the memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/02—Banking, e.g. interest calculation or account maintenance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5011—Pool
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Development Economics (AREA)
  • Technology Law (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请涉及信息处理方法、装置、计算机设备和存储介质，涉及金融科技领域或其他相关领域。所述方法包括：获取目标对账任务的N个资源处理信息集合，确定每个资源处理信息集合中每个资源处理事件的关键要素信息；根据预设的分片设备划分信息和每个资源处理事件的对账要素信息，确定每个资源处理事件对应的目标分片；针对所属同一目标分片的多个资源处理事件，根据目标对账任务的信息拆分方式进行拆分，得到所属目标分片的多个拆分要素信息集合；基于分布式系统中各节点的多线程，执行对N个资源处理信息集合中相同标识的拆分要素信息集合的对账操作，得到目标对账任务的对账结果。采用本方法能够解决大数据量对账缓慢问题，提升了对账处理效率。

Description

信息处理方法、装置、计算机设备和存储介质
技术领域
本申请涉及计算机技术领域，特别是涉及一种信息处理方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
针对金融场景下的资源处理信息对比过程，如对账处理，通常采用基于内存对账的方式，需要一次性将全部内容加载到内存中，对于大数据量的情况存在内存溢出的风险；或基于多场次对账的方式，其对上游文件提供方有严格要求，在未达到条件时无法进行对账处理，灵活性差，且也存在大数据量对账缓慢的情况，对账处理效率低。
发明内容
基于此，有必要针对上述技术问题，提供一种能够解决上述问题的信息处理方法、装置、计算机设备、存储介质和计算机程序产品。
第一方面，本申请提供了一种信息处理方法，所述方法包括：
获取目标对账任务的N个资源处理信息集合，针对每个资源处理信息集合，确定所述资源处理信息集合中每个资源处理事件的关键要素信息；其中，N≥2，所述关键要素信息为对所述资源处理事件执行记录操作得到的信息；所述关键要素信息包括对账要素信息；
根据预设的分片设备划分信息和每个资源处理事件的对账要素信息，确定每个资源处理事件对应的目标分片；
针对所属同一目标分片的多个资源处理事件，根据所述目标对账任务的信息拆分方式，拆分所述多个资源处理事件中每个资源处理事件的关键要素信息，得到所属目标分片的多个拆分要素信息集合；
基于分布式系统中各节点的多线程，执行对所述N个资源处理信息集合中相同标识的拆分要素信息集合的对账操作，得到所述目标对账任务的对账结果。
在其中一个实施例中，所述获取目标对账任务的N个资源处理信息集合，包括：
针对目标对账任务，从对账系统外部获取N个原始资源信息集合，针对每个原始资源信息集合，根据所述原始资源信息集合中资源处理明细信息和检查信息进行合法性校验；
在合法性校验通过的情况下，根据所述原始资源信息集合中资源处理明细信息得到所述资源处理信息集合，并存储至所述对账系统内部。
在其中一个实施例中，所述针对每个资源处理信息集合，确定所述资源处理信息集合中每个资源处理事件的关键要素信息，包括：
针对每个资源处理信息集合，校验所述资源处理信息集合中每个资源处理事件的关键要素信息；
在校验通过的情况下，将每个资源处理事件的关键要素信息的信息格式转换为与对账系统匹配的目标格式。
在其中一个实施例中，所述根据预设的分片设备划分信息和每个资源处理事件的对账要素信息，确定每个资源处理事件对应的目标分片，包括：
获取预设的分片设备划分信息；所述分片设备划分信息包括基于多个分片设备计算得到的划分特征值；
确定每个对账要素信息对应的要素特征值；
针对每个资源处理事件，通过对比所述要素特征值和所述划分特征值，从所述多个分片设备中确定所述资源处理事件对应的目标分片。
在其中一个实施例中，所述针对所属同一目标分片的多个资源处理事件，根据所述目标对账任务的信息拆分方式，拆分所述多个资源处理事件中每个资源处理事件的关键要素信息，得到所属目标分片的多个拆分要素信息集合，包括：
获取预设的拆分配置信息；所述拆分配置信息包括不同信息拆分方式以及每个信息拆分方式对应的方式标识；
将与所述目标对账任务的方式标识相匹配的信息拆分方式，作为所述目标对账任务的信息拆分方式；
按照所述信息拆分方式，拆分所述多个资源处理事件中每个资源处理事件的关键要素信息，得到所属目标分片的多个拆分要素信息集合。
在其中一个实施例中，所述按照所述信息拆分方式，拆分所述多个资源处理事件中每个资源处理事件的关键要素信息，得到所属目标分片的多个拆分要素信息集合，包括：
根据所述信息拆分方式对应的预设拆分操作信息，获取信息截取位置和信息截取长度；
按照所述信息截取位置和所述信息截取长度，拆分所述多个资源处理事件中每个资源处理事件的关键要素信息，得到所属目标分片的多个拆分要素信息集合；每个拆分要素信息集合具有对应的标识。
在其中一个实施例中，在所述执行对所述N个资源处理信息集合中相同标识的拆分要素信息集合的对账操作，得到所述目标对账任务的对账结果的步骤之前，所述方法还包括：
通过排序处理线程池，按照预设排序操作信息对应的排序方式，针对每个目标分片排序所述目标分片的多个拆分要素信息集合，得到所述目标分片中每个资源处理信息集合对应的不同标识的拆分要素信息集合。
在其中一个实施例中，所述执行对所述N个资源处理信息集合中相同标识的拆分要素信息集合的对账操作，得到所述目标对账任务的对账结果，包括：
将同一目标分片下相同标识的拆分要素信息集合作为一个对比组，构建针对所述N个资源处理信息集合的多个任务内容；
通过对账处理线程池对所述多个任务内容进行对账处理，得到每个目标分片的分片对账结果，作为所述目标对账任务的对账结果。
第二方面，本申请还提供了一种信息处理装置，所述装置包括：
对账信息获取模块，用于获取目标对账任务的N个资源处理信息集合，针对每个资源处理信息集合，确定所述资源处理信息集合中每个资源处理事件的关键要素信息；其中，N≥2，所述关键要素信息为对所述资源处理事件执行记录操作得到的信息；所述关键要素信息包括对账要素信息；
目标分片确定模块，用于根据预设的分片设备划分信息和每个资源处理事件的对账要素信息，确定每个资源处理事件对应的目标分片；
信息拆分模块，用于针对所属同一目标分片的多个资源处理事件，根据所述目标对账任务的信息拆分方式，拆分所述多个资源处理事件中每个资源处理事件的关键要素信息，得到所属目标分片的多个拆分要素信息集合；
对账处理模块，用于基于分布式系统中各节点的多线程，执行对所述N个资源处理信息集合中相同标识的拆分要素信息集合的对账操作，得到所述目标对账任务的对账结果。
第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如上所述的信息处理方法的步骤。
第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的信息处理方法的步骤。
第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上所述的信息处理方法的步骤。
上述一种信息处理方法、装置、计算机设备、存储介质和计算机程序产品，通过获取目标对账任务的N个资源处理信息集合，N≥2，针对每个资源处理信息集合，确定资源处理信息集合中每个资源处理事件的关键要素信息，该关键要素信息为对资源处理事件执行记录操作得到的信息，该关键要素信息包括对账要素信息，然后根据预设的分片设备划分信息和每个资源处理事件的对账要素信息，确定每个资源处理事件对应的目标分片，针对所属同一目标分片的多个资源处理事件，根据目标对账任务的信息拆分方式，拆分多个资源处理事件中每个资源处理事件的关键要素信息，得到所属目标分片的多个拆分要素信息集合，进而基于分布式系统中各节点的多线程，执行对N个资源处理信息集合中相同标识的拆分要素信息集合的对账操作，得到目标对账任务的对账结果，实现了基于分片划分、信息拆分和多线程处理的分布式系统快速对账，通过将资源处理信息集合划分至不同分片，进而对每个分片中信息进行拆分，采用分布式系统的多机器优势和多线程处理技术进行对账处理，能够解决大数据量对账缓慢和内存溢出的问题，提升了对账处理效率。
附图说明
图1为一个实施例中一种信息处理方法的流程示意图；
图2a为一个实施例中一种对账系统处理链路的示意图；
图2b为一个实施例中一种对账系统架构的示意图；
图3a为一个实施例中一种接收模块处理流程的示意图；
图3b为一个实施例中一种转换模块处理流程的示意图；
图4a为一个实施例中一种文件分割子模块处理流程的示意图；
图4b为一个实施例中一种文件排序子模块处理流程的示意图；
图4c为一个实施例中一种文件对账子模块处理流程的示意图；
图4d为一个实施例中一种对账线程池处理流程的示意图；
图5为一个实施例中另一种信息处理方法的流程示意图；
图6为一个实施例中一种信息处理装置的结构框图；
图7为一个实施例中一种计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于展示的数据、分析的数据等)，均为经用户授权或者经过各方充分授权的信息和数据；对应的，本申请还提供有相应的用户授权入口，供用户选择授权或者选择拒绝。
在一个实施例中，如图1所示，提供了一种信息处理方法，本实施例以该方法应用于包括终端和服务器的系统，如对账系统，并通过终端和服务器的交互实现。本实施例中，该方法包括以下步骤：
步骤101，获取目标对账任务的N个资源处理信息集合，针对每个资源处理信息集合，确定所述资源处理信息集合中每个资源处理事件的关键要素信息；其中，N≥2，所述关键要素信息为对所述资源处理事件执行记录操作得到的信息；所述关键要素信息包括对账要素信息；
其中，目标对账任务可以为根据设置的核对条件对N个账目文件(即资源处理信息集合)进行检查和核对的任务，每个账目文件中包含有多个交易事件(即资源处理事件)各自对应的记录内容(即关键要素信息)，如订单号、金额、日期等。
作为一示例，对账要素信息可以为确认对应的资源处理事件是否成功的字段，如确定记录对账是否成功的字段，其可以为订单号，也可以为其它记录要素，在本实施例中不作具体限制。
在实际应用中，可以基于对账系统处理对账任务，针对目标对账任务，可以从对账系统外部获取N个原始资源信息集合，针对每个原始资源信息集合，可以根据原始资源信息集合中资源处理明细信息和检查信息进行合法性校验，然后可以在合法性校验通过的情况下，根据原始资源信息集合中资源处理明细信息得到资源处理信息集合，并存储至对账系统内部，进而针对每个资源处理信息集合，可以校验资源处理信息集合中每个资源处理事件的关键要素信息，在校验通过的情况下，可以将每个资源处理事件的关键要素信息的信息格式转换为与对账系统匹配的目标格式。
具体地，如图2a所示的对账系统处理链路图，对账系统可以包括外联接收模块、转换模块、对账模块。其中，该外联接收模块可以用于接收针对目标对账任务的两方明细文件(即原始资源信息集合中资源处理明细信息)，通过对放置于外网文件服务器上的两方明细文件进行合法性校验，并在校验通过后将其重命名，并上传到内网文件服务器中供转换模块使用；该转换模块可以用于转换特定对账文件格式，通过将格式不同的两方明细文件转换为对账系统指定的文件格式(即目标格式)，可以得到与对账系统匹配的目标格式的记录内容(即关键要素信息)。
在一个可选实施例中，外联接收模块可以不断探测外网文件服务器上的两方明细文件是否已经到达，若到达可以对接收到的文件进行合法性校验，进而可以在校验通过后将其从外网文件服务器转移至内网文件服务器，并可以通知转换模块开始进一步处理。
步骤102，根据预设的分片设备划分信息和每个资源处理事件的对账要素信息，确定每个资源处理事件对应的目标分片；
在具体实现中，可以获取预设的分片设备划分信息，该分片设备划分信息可以包括基于多个分片设备计算得到的划分特征值，然后可以确定每个对账要素信息对应的要素特征值，进而针对每个资源处理事件，通过对比要素特征值和划分特征值，可以从多个分片设备中确定资源处理事件对应的目标分片。
例如，在转换模块读取明细文件中每行记录以进行格式转换后，基于采用目标格式的关键要素信息(如各行对应的记录内容)，可以根据设置的对账要素(即对账要素信息)计算hash值(即要素特征值)，进而可以根据hash值拆分各行记录至不同的分片文件(即每个资源处理事件对应的目标分片)中供对账模块使用。
在一示例中，转换模块可以在接收到文件到达通知后，对文件再次进行合法性校验，并可以在校验通过后根据文件中每条记录的对账要素计算hash值，以根据总分片数(如分片设备数量)计算出各记录的归属分片号(如目标分片的分片标识)；可以在将每条记录写到分片文件中时，按照预设的新文件格式(即与对账系统匹配的目标格式)编排字段的顺序和长度。
步骤103，针对所属同一目标分片的多个资源处理事件，根据所述目标对账任务的信息拆分方式，拆分所述多个资源处理事件中每个资源处理事件的关键要素信息，得到所属目标分片的多个拆分要素信息集合；
在实际应用中，可以根据预设的拆分配置信息，将与目标对账任务的方式标识相匹配的信息拆分方式，作为目标对账任务的信息拆分方式，进而可以按照该信息拆分方式，拆分多个资源处理事件中每个资源处理事件的关键要素信息，得到所属目标分片的多个拆分要素信息集合。
步骤104，基于分布式系统中各节点的多线程，执行对所述N个资源处理信息集合中相同标识的拆分要素信息集合的对账操作，得到所述目标对账任务的对账结果。
在具体实现中，对账模块可以用于进行对账处理，其通过将每个分片文件(即所属同一目标分片的多个资源处理事件)分割成多个小文件(即所属目标分片的多个拆分要素信息集合)，进而可以对该多个小文件进行排序处理、对账处理，并可以将对账结果记录至数据库中。
在一示例中，如图2b所示的对账系统架构图，其可以包括外网文件服务器组1、外联接收模块业务服务器组2、内网文件服务器组3、转换模块业务服务器组4、转换模块数据库服务器组5、分布式批量调度中心6、对账模块业务服务器组7～10、对账模块数据库服务器组11～14。
如图2b所示，外网文件服务器组可以部署在隔离区，其可以用于外部公司放置明细文件和外联接收模块业务服务器组的容器下载明细文件，由于该组服务器均部署在隔离区，外部公司需要开通防火墙以允许访问，可以起到隔离保护对账系统的作用。该外网文件服务器组可以为高可用的服务群组，该群组中可以具有一主一备两台服务器跨园区部署，以保证当任一园区发生异常问题时，另一园区可以正常对外使用。当主服务器不可访问时，外部公司可以放置文件至备机中，群组中至少保证一台服务器存在明细文件即可。
如图2b所示，外联接收模块业务服务器组、转换模块业务服务器组、对账模块业务服务器组可以为对账系统内完成对应业务模块功能的服务器群组。每个业务服务器组均可以包含一主一备两个容器，同一模块业务服务器组内的两个容器的功能一致，不同模块之间的容器的功能不相同。例如，对账模块业务服务器组7～10中8个容器功能均相同，但它们与外联接收模块业务服务器组内的两个容器的功能不相同。每个业务服务器组可以具备高可用能力，当主容器异常下线后，可以由备容器支持业务处理。每个容器可以接受分布式批量调度中心的调度，包括但不限于开始、暂停、结束、下线等命令。每个容器可以访问内网文件服务器组的所有服务器，但只有外联接收模块业务服务器组的容器可以访问外网文件服务器组。
如图2b所示，内网文件服务器组可以为部署在内网区的一组服务器，其可以用于对账系统内部的文件保存和处理。该内网文件服务器组也是一个高可用的服务群组，所有服务器均部署在内网区，群组中至少一台服务器可用即可保证业务稳定运行，文件服务器可以为Linux服务器，包括外网文件服务器组的服务器。
如图2b所示，转换模块数据库服务器组、对账模块数据库服务器组可以为一主三备的高可用数据库集群。在正常情况下，每个容器读和写操作均是在主数据库上进行；当发生异常时，系统可以进行主备切换，使得读写操作均在备库进行。主库与备库之间采用半同步的方式同步数据，以保障数据的实时性和最终一致性。数据库可以使用关系型数据库保存数据，如MYSQL、ORACLE、DB2等。
如图2b所示，分布式批量调度中心可以为调度控制批量作业运行的应用，该应用可以包含前端控制台、注册中心、数据库服务器群组、业务服务器群组等，其可以通过读取数据库中作业定义，按照依赖关系或定时启动编排出每天的作业运行顺序图，并通过在注册中心上变更目录路径的内容，使得订阅了该目录路径变化的容器可以接收到该应用发起的不同指令，如开始、暂停、结束、下线等指令。分布式批量调度中心可以为串联所有模块功能实现的控制器，通过该分布式批量调度中心可以依次调用外联接收任务、转换任务、对账任务。
在又一示例中，如图2b所示，对账系统内部的关系可以为：通过外联接收模块业务服务器组2下载外网文件服务器组1的文件，并将其上传到内网文件服务器组3，然后转换模块业务服务器组4、对账模块业务服务器组7～10可以基于不同的Linux命令访问内网文件服务器组3上的文件，以完成下载、分割、排序、上传等功能，并可以将处理结果分别存于转换模块数据库服务器组5、对账模块数据库服务器组11～14中。每个服务器均受分布式批量调度中心6的控制调度，以依次完成对应业务模块功能。
相较于传统方法，本实施例的技术方案，通过利用分布式系统的优势，采取分治的原理，将大文件拆分成小文件交由各个独立的容器去处理，可以提升对账处理效率；通过容器直接发起Linux命令到文件服务器，对文件进行分割、排序、对账等处理，能够减少频繁上传、下载文件所消耗的时间和带宽资源，且Linux命令执行效率高，可以进一步减少时间的开销；通过利用多线程技术进行对账，可以减少对账的时间消耗，并可以利用排序后结果每次只读一行记录的方式减少内存消耗。
在一个可选实施例中，本实施例的技术方案可以在多设备但设备性能不足的情况下，充分发挥每个设备的用处，提高了设备的利用率；对账系统中每个模块均可以独立重复运行，对于容器中途崩溃或网络异常等问题，可以在修复后重新运行中断的模块；通过将异常数据和对账结果存储于数据库中，可以供相关人员从数据库导出报表情况来判断、核对情况，有助于及时发现异常问题。
上述信息处理方法中，通过获取目标对账任务的N个资源处理信息集合，N≥2，针对每个资源处理信息集合，确定资源处理信息集合中每个资源处理事件的关键要素信息，然后根据预设的分片设备划分信息和每个资源处理事件的对账要素信息，确定每个资源处理事件对应的目标分片，针对所属同一目标分片的多个资源处理事件，根据目标对账任务的信息拆分方式，拆分多个资源处理事件中每个资源处理事件的关键要素信息，得到所属目标分片的多个拆分要素信息集合，进而基于分布式系统中各节点的多线程，执行对N个资源处理信息集合中相同标识的拆分要素信息集合的对账操作，得到目标对账任务的对账结果，实现了基于分片划分、信息拆分和多线程处理的分布式系统快速对账，通过将资源处理信息集合划分至不同分片，进而对每个分片中信息进行拆分，采用分布式系统的多机器优势和多线程处理技术进行对账处理，能够解决大数据量对账缓慢和内存溢出的问题，提升了对账处理效率。
在一个实施例中，所述获取目标对账任务的N个资源处理信息集合，可以包括如下步骤：
针对目标对账任务，从对账系统外部获取N个原始资源信息集合，针对每个原始资源信息集合，根据所述原始资源信息集合中资源处理明细信息和检查信息进行合法性校验；在合法性校验通过的情况下，根据所述原始资源信息集合中资源处理明细信息得到所述资源处理信息集合，并存储至所述对账系统内部。
在实际应用中，如图3a所示的接收模块中容器处理流程图，通过分布式批量调度中心发布外联接收任务，外联接收模块业务服务器组的主容器可以接收到任务，开启作业流程；容器可以分别读取外网文件服务器的A、B目录(即N个原始资源信息集合)，判断目录中是否已存在目标对账任务对应的A、B公司的明细文件和检查文件(即资源处理明细信息和检查信息)，若文件已全部到齐，可以从外网文件服务器下载明细文件和检查文件到容器中，进而核对明细文件的大小、文件名、最后修改日期等要素是否与检查文件中说明的一致，可以在校验核对通过的情况下，将明细文件重命名后(即N个资源处理信息集合)上传至内网文件服务器的C、D目录，并可以删除容器中下载的明细文件和检查文件，还可以通知分布式批量调度中心正常运行完成，继续后续作业运行。
在一示例中，若文件未到齐，可以判断当前时间是否已超过预设接收时间(如接收任务最晚等待时间，可通过参数化进行设置)，在超过接收任务最晚等待时间的情况下，可以发送接收任务文件未按时到达的告警信息，并可以通知分布式批量调度中心运行异常，后续作业停止运行；在未超过接收任务最晚等待时间的情况下，可以等待预设睡眠时间(如5分钟，可通过参数化进行设置)。在等待时间结束后，可以返回判断目录中文件是否到齐的步骤。
在又一示例中，在针对明细文件校验核对未通过的情况下，可以发送明细文件与校验文件不一致的告警信息，并可以通知分布式批量调度中心运行异常，后续作业停止运行。
本实施例中，通过针对目标对账任务，从对账系统外部获取N个原始资源信息集合，针对每个原始资源信息集合，根据原始资源信息集合中资源处理明细信息和检查信息进行合法性校验，进而在合法性校验通过的情况下，根据原始资源信息集合中资源处理明细信息得到资源处理信息集合，并存储至对账系统内部，可以通过预处理外部接收数据，为进一步执行对账任务提供了数据支持。
在一个实施例中，所述针对每个资源处理信息集合，确定所述资源处理信息集合中每个资源处理事件的关键要素信息，可以包括如下步骤：
针对每个资源处理信息集合，校验所述资源处理信息集合中每个资源处理事件的关键要素信息；在校验通过的情况下，将每个资源处理事件的关键要素信息的信息格式转换为与对账系统匹配的目标格式。
在一示例中，如图3b所示的转换模块中容器处理流程图，通过分布式批量调度中心发布转换任务，转换模块业务服务器组的主容器可以接收到任务，开启作业流程；可以从内网文件服务器的C、D目录下载重命名后的明细文件至容器中，通过开启两个线程，可以分别按行读取重命名后的两方明细文件，针对读取到的明细文件中每行记录，可以根据不同的明细文件格式解析每行记录内容，并检查订单号、金额、日期等关键要素是否完整、格式是否正确(即校验资源处理信息集合中每个资源处理事件的关键要素信息)，若校验通过，可以将记录内容按照对账系统指定的文件格式(即与对账系统匹配的目标格式)进行转换赋值，如可以使文件的格式顺序为订单号、日期、金额。
在又一示例中，若关键要素校验未通过，可以将未通过的记录内容登记至转换模块数据库服务器组的主数据库，并可以标注该记录对应的来源文件，进而可以通过异常表格导出数据，通知外部公司异常记录的情况。
本实施例中，通过针对每个资源处理信息集合，校验资源处理信息集合中每个资源处理事件的关键要素信息，进而在校验通过的情况下，将每个资源处理事件的关键要素信息的信息格式转换为与对账系统匹配的目标格式，可以屏蔽不同系统不同明细文件的差异，能够自定义对账文件的格式，提升了对账处理效率。
在一个实施例中，所述根据预设的分片设备划分信息和每个资源处理事件的对账要素信息，确定每个资源处理事件对应的目标分片，可以包括如下步骤：
获取预设的分片设备划分信息；所述分片设备划分信息包括基于多个分片设备计算得到的划分特征值；确定每个对账要素信息对应的要素特征值；针对每个资源处理事件，通过对比所述要素特征值和所述划分特征值，从所述多个分片设备中确定所述资源处理事件对应的目标分片。
在具体实现中，如图3b所示，在对账文件格式转换后，可以将每行记录中确定记录对账是否成功的字段作为对账要素以计算hash值(即确定每个对账要素信息对应的要素特征值)，如对账要素为订单号，可以根据订单号计算hash值；进而可以根据计算得到的hash值和对账模块业务服务器组总数(如分片设备数量)，计算该记录对应的分组(即目标分片)，并可以将记录写到对应的分片文件。
例如，对账系统架构图中对账模块业务服务器组总数为4，则分片总数为4，根据分片计算算法，可以将该算法默认值(即划分特征值)，如9223372036854775807(2^63-1)分成4份，然后可以根据计算出的hash值，依次与9223372036854775807的1/4、2/4、3/4、4/4进行比较，直至该hash值小于或等于其中一个，则可以将对应的分子作为目标分片号，如可以得到A公司对应的分片文件：A分片文件1、A分片文件2、A分片文件3、A分片文件4。
在一示例中，可以判断当前明细文件是否已读取完成，在完成读取时，可以分别将生成的分片文件重新上传到内网文件服务器的目录E、F，如A公司的所有分片文件上传到内网文件服务器的目录E，B公司的上传到目录F，并可以在上传完成后删除容器中的明细文件和分片文件，以及通知分布式批量调度中心正常运行完毕，继续后续作业运行。
在又一示例中，针对转换模块生成的分片文件格式，其可以基于实际业务需求增加字段和调整字段顺序；分片文件可以为一个定长文件，即每个字段的长度是固定的，当长度不足时可以按照补位规则补足长度。从而可以使得每行的大小固定，以便于文件读取时可以按照字节读取，还可以使得每个字段的位置是固定的，在文件分割模块进行文件分割时能够避免错位和乱序问题，并在解析每个字段的值时，也可以按照字节长度截取避免造成错位。例如，在读取文件时可以每次读取预设字节数(如44个字节的大小)以获取每行记录内容，进而可以按照每个字段的长度得到每个字段对应的内容。
本实施例中，通过获取预设的分片设备划分信息，确定每个对账要素信息对应的要素特征值，进而针对每个资源处理事件，通过对比要素特征值和划分特征值，从多个分片设备中确定资源处理事件对应的目标分片，可以只采用明细文件中对账要素进行分片，无需计算全部记录内容，不依赖明细文件，提升了对账处理效率。
在一个实施例中，所述针对所属同一目标分片的多个资源处理事件，根据所述目标对账任务的信息拆分方式，拆分所述多个资源处理事件中每个资源处理事件的关键要素信息，得到所属目标分片的多个拆分要素信息集合，可以包括如下步骤：
获取预设的拆分配置信息；所述拆分配置信息包括不同信息拆分方式以及每个信息拆分方式对应的方式标识；将与所述目标对账任务的方式标识相匹配的信息拆分方式，作为所述目标对账任务的信息拆分方式；按照所述信息拆分方式，拆分所述多个资源处理事件中每个资源处理事件的关键要素信息，得到所属目标分片的多个拆分要素信息集合。
在实际应用中，如图2a所示，对账模块可以包括文件分割子模块、文件排序子模块、文件对账子模块。其中，文件分割子模块可以用于将分片文件按照一定的规则拆分为多个小分片文件(即多个拆分要素信息集合)，该文件分割子模块具有独立的开始和结束，可以由分布式批量调度中心控制其与上下游模块的交互；文件排序子模块可以用于将小分片文件的内容按照升序排序后，生成多个排序文件；文件对账子模块可以用于根据排序后两两对应的排序文件进行对账，并可以将对账结果登记到数据库。
在一示例中，对账模块处理链路可以为：在转换模块完成后，分布式批量调度中心可以发起文件分割任务，在每个分片容器上，可以由文件分割子模块处理属于该分片的A、B分片文件，将其拆分成多个小分片文件，如以所属分片1的A分片文件1为例，可以拆分为A分片文件1-1、A分片文件1-2、A分片文件1-3等，并可以将拆分得到的小分片文件上传至内网文件服务器上。
在拆分完成后，可以由分布式批量调度中心发起文件排序任务，在每个分片容器上，可以由文件排序子模块处理属于该分片的A、B小分片文件，通过将全部小分片文件各自按照文件内容升序进行排序后，可以生成排序文件，如以所属分片1的A排序文件为例，可以得到A排序文件1-1、A排序文件1-2等；进而可以在排序完成后，由分布式批量调度中心发起文件对账处理任务，每个分片容器可以下载相同序号的A、B两两排序文件进行对账，如将A排序文件1-1与B排序文件1-1进行对账。
在又一示例中，如图4a所示的文件分割子模块中容器处理流程图，通过分布式批量调度中心发布文件分割任务，对账模块业务服务器组的主容器可以接收到任务，开启作业流程；可以从配置中读取拆分参数(即拆分配置信息)，其可以采用数字字典方式表示(即不同信息拆分方式以及每个信息拆分方式对应的方式标识)，如0可以表征不拆分、1可以表征按1位来拆分、2可以表征按2位来拆分，其他可以表征非可用参数，若拆分参数的值不为0、1、2中任一个，可以按照0不拆分进行处理；可以判断拆分参数的值，若值为1、2可以按照对应拆分方式进行处理，基于Linux命令拆分得到小分片文件，并可以通知分布式批量调度中心正常运行完成，继续后续作业运行。从而可以在分片完成后，按照实际对账效率确定是否对分片文件进行再拆分，可以选取记录内容的某几位字段作为拆分依据，如可以通过选取第一位或前两位作为拆分依据，既灵活又简单有效。
在一个可选实施例中，若值不为1、2，可以采用Linux的cp命令，将分别位于内网文件服务器目录E和F下且属于当前容器分片号的A、B分片文件，复制至内网文件服务器的G目录，并可以将文件分别命名为A分片文件分片号-0、B分片文件分片号-0，如以分片1中文件为例，可以得到A分片文件1-0、B分片文件1-0。
本实施例中，通过获取预设的拆分配置信息，将与目标对账任务的方式标识相匹配的信息拆分方式，作为目标对账任务的信息拆分方式，进而按照信息拆分方式，拆分多个资源处理事件中每个资源处理事件的关键要素信息，得到所属目标分片的多个拆分要素信息集合，可以对各分片大文件进行拆分，为进一步对分片小文件进行排序、对账提供数据支持。
在一个实施例中，所述按照所述信息拆分方式，拆分所述多个资源处理事件中每个资源处理事件的关键要素信息，得到所属目标分片的多个拆分要素信息集合，可以包括如下步骤：
根据所述信息拆分方式对应的预设拆分操作信息，获取信息截取位置和信息截取长度；按照所述信息截取位置和所述信息截取长度，拆分所述多个资源处理事件中每个资源处理事件的关键要素信息，得到所属目标分片的多个拆分要素信息集合；每个拆分要素信息集合具有对应的标识。
在具体实现中，可以通过Linux命令(即预设拆分操作信息)，获取待拆分的目标目录以及目标文件名，并可以确定拆分开始位置、拆分长度等参数(即信息截取位置和信息截取长度)，然后可以将分别位于内网文件服务器目录E和F目录下，且属于当前容器分片号的A、B分片文件的每一行，按照指定的分割位数输出到小分片文件中。
例如，Linux命令可以为文本和数据处理命令，通过该命令可以将每行记录中相同字段位置的内容均输出至同一文件中，并可以以此作为输出文件名的一部分，如可以将由行记录、拆分开始位置、拆分长度组成输出文件的序号。具体地，在选取序号时可以选取截取后的内容为数字或字母，从而可以确定拆分后的最大文件数量，也可以使得文件名不含有异常字符。
在一示例中，可以采取数字作为序号(即每个拆分要素信息集合具有对应的标识)，通过拆分长度1位可以拆分出最多10个文件，2位可以拆分出最多100个文件。此处的目标目录为内网文件服务器的G目录，最后文件的命名可以为A分片文件分片号-序号、B分片文件分片号-序号。如以分片1的文件名为例，可以为A分片文件1-0、B分片文件1-0、A分片文件1-1、B分片文件1-1。由于文件的内容是不确定的，每个分片不一定都能拆分出10个或100个文件，可能出现A、B分片文件序号不一致的情况，如A分片文件1只有序号0、1，B分片文件1只有序号0、2，则需要进一步的排序处理。
本实施例中，通过根据信息拆分方式对应的预设拆分操作信息，获取信息截取位置和信息截取长度，进而按照信息截取位置和信息截取长度，拆分多个资源处理事件中每个资源处理事件的关键要素信息，得到所属目标分片的多个拆分要素信息集合，能够利用Linux命令将分片大文件拆分为多个分片小文件，为进一步对分片小文件进行排序、对账提供了数据支持。
在一个实施例中，在所述执行对所述N个资源处理信息集合中相同标识的拆分要素信息集合的对账操作，得到所述目标对账任务的对账结果的步骤之前，可以包括如下步骤：
通过排序处理线程池，按照预设排序操作信息对应的排序方式，针对每个目标分片排序所述目标分片的多个拆分要素信息集合，得到所述目标分片中每个资源处理信息集合对应的不同标识的拆分要素信息集合。
在一示例中，如图4b所示的文件排序子模块中容器处理流程图，通过分布式批量调度中心发布文件排序任务，对账模块业务服务器组的主容器可以接收到任务，开启作业流程；然后可以创建一个固定大小的线程池(即排序处理线程池)，获取内网文件服务器的G目录下，且属于当前分片号的全部文件名，如针对分片1可以获取A、B分片文件1的全部序号文件；进而可以构建任务内容，如传入文件名和该文件所在目录，提交与文件总数相同的任务至线程池中，在判断线程池中不存在未执行任务时，可以通知分布式批量调度中心正常运行完成，继续后续作业运行。
具体地，当线程池内空闲的线程获取到一个任务，可以根据该任务传入的文件名和该文件所在目录，通过Linux的sort命令对该文件按照ASCII码进行升序排序(即预设排序操作信息对应的排序方式)，并可以将排序后的文件命名为X排序文件分片号-序号(如X表示A公司或B公司)，进而可以输出到内网文件服务器H目录。若当前线程池中暂无空闲线程，需要等待其他任务执行完成。
本实施例中，通过排序处理线程池，按照预设排序操作信息对应的排序方式，针对每个目标分片排序目标分片的多个拆分要素信息集合，得到目标分片中每个资源处理信息集合对应的不同标识的拆分要素信息集合，能够解决拆分后分片小文件序号不一致的问题，为进一步分片小文件进行对账提供了数据支持。
在一个实施例中，所述执行对所述N个资源处理信息集合中相同标识的拆分要素信息集合的对账操作，得到所述目标对账任务的对账结果，可以包括如下步骤：
将同一目标分片下相同标识的拆分要素信息集合作为一个对比组，构建针对所述N个资源处理信息集合的多个任务内容；通过对账处理线程池对所述多个任务内容进行对账处理，得到每个目标分片的分片对账结果，作为所述目标对账任务的对账结果。
在实际应用中，如图4c所示的文件对账子模块中容器处理流程图，通过分布式批量调度中心发布文件核心对账任务，对账模块业务服务器组的主容器可以接收到任务，开启作业流程；然后可以创建一个固定大小的线程池(即对账处理线程池)，获取内网文件服务器的H目录下的属于当前分片号的全部文件名，通过对文件名按照分片号-序号进行分类，可以将分片号-序号相同(即相同标识的拆分要素信息集合)的作为一组，以构建任务内容(如传入分片号、序号和文件所在目录)，并可以提交与组数相同的任务到线程池中；当线程池内空闲的线程获取到一个任务，可以根据该任务传入的分片号、序号，以及文件所在目录，将文件下载到容器上进行对账处理。若当前线程池中暂无空闲线程，需要等待其他任务执行完成，在判断线程池中不存在未执行任务时，可以通知分布式批量调度中心正常运行完成，继续后续作业运行。从而在分布式系统的基础上，每个容器节点均可使用多线程处理，能够在单个容器有限的资源中进一步加快处理效率，弥补了利用文件读写方式对账的不足。
在一示例中，如图4d所示的对账处理线程池的处理流程图，当空闲线程接收到任务，开始工作，可以根据传入的分片号、序号，以及文件所在目录，从内网文件服务器下载对应的分片号、序号文件至容器本地。
具体地，针对下载到文件的不同情况可以采用如下过程处理：
步骤1：可以判断是否有下载到指定分片号、序号的A分片文件，若下载到A分片文件可以继续步骤2，在未下载到A分片文件时可以继续步骤3；
步骤2：可以设置“是否读A文件”标志为是(该标志默认为否)，其可以用于表示下次是否读取A文件；
步骤3：可以判断是否有下载到指定分片号、序号的B分片文件，若下载到B分片文件可以继续步骤4，在未下载到B分片文件时可以继续步骤5；
步骤4：可以设置“是否读B文件”标志为是(该标志默认为否)，其可以用于表示下次是否读取B文件；
步骤5：可以判断“是否读A文件”标志的值，若为是可以继续步骤6，若为是否可以继续步骤7；
步骤6：可以按照对账文件格式读取A文件的一行记录，解析出每个字段的内容；
步骤7：可以判断“是否读B文件”标志的值，若为是可以继续步骤8，若为是否可以继续步骤9；
步骤8：可以按照对账文件格式读取B文件的一行记录，解析出每个字段的内容；
步骤9：可以判断A、B记录是否均可以读取到，若为是可以继续步骤10，若为是否可以继续步骤11；
步骤10：可以将读取到的A、B记录的对账要素进行比对，如可以为订单号、日期、金额等，若比对一致可以继续步骤15，不一致可以继续步骤12；
步骤11：因A、B记录中至少有一个读取不到，可以再判断A记录是否可以读取到，若是则表示A记录不为空、B记录为空，可以继续步骤13，若否可以继续步骤17；
步骤12：因A、B记录中对账要素比对不一致，而之前排序模块已对文件的内容进行升序排序处理，可以按照ASCII码比对大小，由于值小的无法再比对上，则若A记录的对账要素比B记录对账要素的值小，可以继续步骤13，若否可以继续步骤18；
步骤13：由于A记录无法再比对上，则表示该记录是A方多出来的记录内容，B方不具有该记录内容，可以将记录内容插入到数据库中，并可以登记状态为A方多，可以继续步骤14；
步骤14：当A记录已处理完成，B记录未处理，可以设置“是否读A文件”标志为是，“是否读B文件”标志为否，并可以返回步骤5；
步骤15：因A、B记录的对账要素比对一致，可以将其中一条的记录内容插入到数据库中，并可以登记状态为对账成功，可以继续步骤16；
步骤16：A、B记录已经处理完成，可以设置“是否读A文件”标志为是，“是否读B文件”标志为是，并可以返回步骤5；
步骤17：A记录为空，可以再判断B记录是否可以读取到，若是则表示A记录为空、B记录不为空，可以继续步骤18，若否则表示A、B记录均已读取完成，可以继续步骤20；
步骤18：B记录无法再比对上，则表示该记录是B方多出来的记录内容，A方不具有该记录内容，可以将记录内容插入到数据库中，并可以登记状态为B方多，可以继续步骤19；
步骤19：当A记录未进行处理，B记录处理完成，可以设置“是否读A文件”标志为否，“是否读B文件”标志为是，并可以返回步骤5；
步骤20：A、B文件全部已读取完成，结束对账处理。
本实施例中，通过将同一目标分片下相同标识的拆分要素信息集合作为一个对比组，构建针对N个资源处理信息集合的多个任务内容，进而通过对账处理线程池对多个任务内容进行对账处理，得到每个目标分片的分片对账结果，作为目标对账任务的对账结果，可以利用多线程技术进行对账，能够减少对账的时间消耗，提升了对账处理效率。
在一个实施例中，如图5所示，提供了另一种信息处理方法的流程示意图。本实施例中，该方法包括以下步骤：
在步骤501中，获取目标对账任务的N个资源处理信息集合，针对每个资源处理信息集合，校验资源处理信息集合中每个资源处理事件的关键要素信息。在步骤502中，在校验通过的情况下，将每个资源处理事件的关键要素信息的信息格式转换为与对账系统匹配的目标格式。在步骤503中，获取预设的分片设备划分信息；分片设备划分信息包括基于多个分片设备计算得到的划分特征值。在步骤504中，确定每个对账要素信息对应的要素特征值，针对每个资源处理事件，通过对比要素特征值和划分特征值，从多个分片设备中确定资源处理事件对应的目标分片。在步骤505中，针对所属同一目标分片的多个资源处理事件，根据目标对账任务的信息拆分方式，拆分多个资源处理事件中每个资源处理事件的关键要素信息，得到所属目标分片的多个拆分要素信息集合。在步骤506中，通过排序处理线程池，按照预设排序操作信息对应的排序方式，针对每个目标分片排序目标分片的多个拆分要素信息集合，得到目标分片中每个资源处理信息集合对应的不同标识的拆分要素信息集合。在步骤507中，将同一目标分片下相同标识的拆分要素信息集合作为一个对比组，构建针对N个资源处理信息集合的多个任务内容。在步骤508中，通过对账处理线程池对多个任务内容进行对账处理，得到每个目标分片的分片对账结果，作为目标对账任务的对账结果。需要说明的是，上述步骤的具体限定可以参见上文对一种信息处理方法的具体限定，在此不再赘述。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的信息处理方法的信息处理装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个信息处理装置实施例中的具体限定可以参见上文中对于信息处理方法的限定，在此不再赘述。
在一个实施例中，如图6所示，提供了一种信息处理装置，包括：
对账信息获取模块601，用于获取目标对账任务的N个资源处理信息集合，针对每个资源处理信息集合，确定所述资源处理信息集合中每个资源处理事件的关键要素信息；其中，N≥2，所述关键要素信息为对所述资源处理事件执行记录操作得到的信息；所述关键要素信息包括对账要素信息；
目标分片确定模块602，用于根据预设的分片设备划分信息和每个资源处理事件的对账要素信息，确定每个资源处理事件对应的目标分片；
信息拆分模块603，用于针对所属同一目标分片的多个资源处理事件，根据所述目标对账任务的信息拆分方式，拆分所述多个资源处理事件中每个资源处理事件的关键要素信息，得到所属目标分片的多个拆分要素信息集合；
对账处理模块604，用于基于分布式系统中各节点的多线程，执行对所述N个资源处理信息集合中相同标识的拆分要素信息集合的对账操作，得到所述目标对账任务的对账结果。
在一个实施例中，所述对账信息获取模块601包括：
第一校验子模块，用于针对目标对账任务，从对账系统外部获取N个原始资源信息集合，针对每个原始资源信息集合，根据所述原始资源信息集合中资源处理明细信息和检查信息进行合法性校验；
对账信息得到子模块，用于在合法性校验通过的情况下，根据所述原始资源信息集合中资源处理明细信息得到所述资源处理信息集合，并存储至所述对账系统内部。
在一个实施例中，所述对账信息获取模块601包括：
第二校验子模块，用于针对每个资源处理信息集合，校验所述资源处理信息集合中每个资源处理事件的关键要素信息；
格式转换子模块，用于在校验通过的情况下，将每个资源处理事件的关键要素信息的信息格式转换为与对账系统匹配的目标格式。
在一个实施例中，所述目标分片确定模块602包括：
划分信息获取子模块，用于获取预设的分片设备划分信息；所述分片设备划分信息包括基于多个分片设备计算得到的划分特征值；
要素特征值确定子模块，用于确定每个对账要素信息对应的要素特征值；
特征值对比子模块，用于针对每个资源处理事件，通过对比所述要素特征值和所述划分特征值，从所述多个分片设备中确定所述资源处理事件对应的目标分片。
在一个实施例中，所述信息拆分模块603包括：
拆分配置信息获取子模块，用于获取预设的拆分配置信息；所述拆分配置信息包括不同信息拆分方式以及每个信息拆分方式对应的方式标识；
拆分方式确定子模块，用于将与所述目标对账任务的方式标识相匹配的信息拆分方式，作为所述目标对账任务的信息拆分方式；
拆分信息得到子模块，用于按照所述信息拆分方式，拆分所述多个资源处理事件中每个资源处理事件的关键要素信息，得到所属目标分片的多个拆分要素信息集合。
在一个实施例中，所述拆分信息得到子模块包括：
截取参数获取单元，用于根据所述信息拆分方式对应的预设拆分操作信息，获取信息截取位置和信息截取长度；
拆分要素信息集合得到单元，用于按照所述信息截取位置和所述信息截取长度，拆分所述多个资源处理事件中每个资源处理事件的关键要素信息，得到所属目标分片的多个拆分要素信息集合；每个拆分要素信息集合具有对应的标识。
在一个实施例中，所述装置还包括：
排序模块，用于通过排序处理线程池，按照预设排序操作信息对应的排序方式，针对每个目标分片排序所述目标分片的多个拆分要素信息集合，得到所述目标分片中每个资源处理信息集合对应的不同标识的拆分要素信息集合。
在一个实施例中，所述对账处理模块604包括：
任务内容构建子模块，用于将同一目标分片下相同标识的拆分要素信息集合作为一个对比组，构建针对所述N个资源处理信息集合的多个任务内容；
对账结果得到子模块，用于通过对账处理线程池对所述多个任务内容进行对账处理，得到每个目标分片的分片对账结果，作为所述目标对账任务的对账结果。
上述信息处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储信息处理数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种信息处理方法。
本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取目标对账任务的N个资源处理信息集合，针对每个资源处理信息集合，确定所述资源处理信息集合中每个资源处理事件的关键要素信息；其中，N≥2，所述关键要素信息为对所述资源处理事件执行记录操作得到的信息；所述关键要素信息包括对账要素信息；
根据预设的分片设备划分信息和每个资源处理事件的对账要素信息，确定每个资源处理事件对应的目标分片；
针对所属同一目标分片的多个资源处理事件，根据所述目标对账任务的信息拆分方式，拆分所述多个资源处理事件中每个资源处理事件的关键要素信息，得到所属目标分片的多个拆分要素信息集合；
基于分布式系统中各节点的多线程，执行对所述N个资源处理信息集合中相同标识的拆分要素信息集合的对账操作，得到所述目标对账任务的对账结果。
在一个实施例中，处理器执行计算机程序时还实现上述其他实施例中的信息处理方法的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取目标对账任务的N个资源处理信息集合，针对每个资源处理信息集合，确定所述资源处理信息集合中每个资源处理事件的关键要素信息；其中，N≥2，所述关键要素信息为对所述资源处理事件执行记录操作得到的信息；所述关键要素信息包括对账要素信息；
根据预设的分片设备划分信息和每个资源处理事件的对账要素信息，确定每个资源处理事件对应的目标分片；
针对所属同一目标分片的多个资源处理事件，根据所述目标对账任务的信息拆分方式，拆分所述多个资源处理事件中每个资源处理事件的关键要素信息，得到所属目标分片的多个拆分要素信息集合；
基于分布式系统中各节点的多线程，执行对所述N个资源处理信息集合中相同标识的拆分要素信息集合的对账操作，得到所述目标对账任务的对账结果。
在一个实施例中，计算机程序被处理器执行时还实现上述其他实施例中的信息处理方法的步骤。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
获取目标对账任务的N个资源处理信息集合，针对每个资源处理信息集合，确定所述资源处理信息集合中每个资源处理事件的关键要素信息；其中，N≥2，所述关键要素信息为对所述资源处理事件执行记录操作得到的信息；所述关键要素信息包括对账要素信息；
根据预设的分片设备划分信息和每个资源处理事件的对账要素信息，确定每个资源处理事件对应的目标分片；
针对所属同一目标分片的多个资源处理事件，根据所述目标对账任务的信息拆分方式，拆分所述多个资源处理事件中每个资源处理事件的关键要素信息，得到所属目标分片的多个拆分要素信息集合；
基于分布式系统中各节点的多线程，执行对所述N个资源处理信息集合中相同标识的拆分要素信息集合的对账操作，得到所述目标对账任务的对账结果。
在一个实施例中，计算机程序被处理器执行时还实现上述其他实施例中的信息处理方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (12)

1.一种信息处理方法，其特征在于，所述方法包括：
获取目标对账任务的N个资源处理信息集合，针对每个资源处理信息集合，确定所述资源处理信息集合中每个资源处理事件的关键要素信息；其中，N≥2，所述关键要素信息为对所述资源处理事件执行记录操作得到的信息；所述关键要素信息包括对账要素信息；
根据预设的分片设备划分信息和每个资源处理事件的对账要素信息，确定每个资源处理事件对应的目标分片；
针对所属同一目标分片的多个资源处理事件，根据所述目标对账任务的信息拆分方式，拆分所述多个资源处理事件中每个资源处理事件的关键要素信息，得到所属目标分片的多个拆分要素信息集合；
基于分布式系统中各节点的多线程，执行对所述N个资源处理信息集合中相同标识的拆分要素信息集合的对账操作，得到所述目标对账任务的对账结果。
2.根据权利要求1所述的方法，其特征在于，所述获取目标对账任务的N个资源处理信息集合，包括：
针对目标对账任务，从对账系统外部获取N个原始资源信息集合，针对每个原始资源信息集合，根据所述原始资源信息集合中资源处理明细信息和检查信息进行合法性校验；
在合法性校验通过的情况下，根据所述原始资源信息集合中资源处理明细信息得到所述资源处理信息集合，并存储至所述对账系统内部。
3.根据权利要求1所述的方法，其特征在于，所述针对每个资源处理信息集合，确定所述资源处理信息集合中每个资源处理事件的关键要素信息，包括：
针对每个资源处理信息集合，校验所述资源处理信息集合中每个资源处理事件的关键要素信息；
在校验通过的情况下，将每个资源处理事件的关键要素信息的信息格式转换为与对账系统匹配的目标格式。
4.根据权利要求1所述的方法，其特征在于，所述根据预设的分片设备划分信息和每个资源处理事件的对账要素信息，确定每个资源处理事件对应的目标分片，包括：
获取预设的分片设备划分信息；所述分片设备划分信息包括基于多个分片设备计算得到的划分特征值；
确定每个对账要素信息对应的要素特征值；
针对每个资源处理事件，通过对比所述要素特征值和所述划分特征值，从所述多个分片设备中确定所述资源处理事件对应的目标分片。
5.根据权利要求1所述的方法，其特征在于，所述针对所属同一目标分片的多个资源处理事件，根据所述目标对账任务的信息拆分方式，拆分所述多个资源处理事件中每个资源处理事件的关键要素信息，得到所属目标分片的多个拆分要素信息集合，包括：
获取预设的拆分配置信息；所述拆分配置信息包括不同信息拆分方式以及每个信息拆分方式对应的方式标识；
将与所述目标对账任务的方式标识相匹配的信息拆分方式，作为所述目标对账任务的信息拆分方式；
按照所述信息拆分方式，拆分所述多个资源处理事件中每个资源处理事件的关键要素信息，得到所属目标分片的多个拆分要素信息集合。
6.根据权利要求5所述的方法，其特征在于，所述按照所述信息拆分方式，拆分所述多个资源处理事件中每个资源处理事件的关键要素信息，得到所属目标分片的多个拆分要素信息集合，包括：
根据所述信息拆分方式对应的预设拆分操作信息，获取信息截取位置和信息截取长度；
按照所述信息截取位置和所述信息截取长度，拆分所述多个资源处理事件中每个资源处理事件的关键要素信息，得到所属目标分片的多个拆分要素信息集合；每个拆分要素信息集合具有对应的标识。
7.根据权利要求1所述的方法，其特征在于，在所述执行对所述N个资源处理信息集合中相同标识的拆分要素信息集合的对账操作，得到所述目标对账任务的对账结果的步骤之前，所述方法还包括：
通过排序处理线程池，按照预设排序操作信息对应的排序方式，针对每个目标分片排序所述目标分片的多个拆分要素信息集合，得到所述目标分片中每个资源处理信息集合对应的不同标识的拆分要素信息集合。
8.根据权利要求1至7任一项所述的方法，其特征在于，所述执行对所述N个资源处理信息集合中相同标识的拆分要素信息集合的对账操作，得到所述目标对账任务的对账结果，包括：
将同一目标分片下相同标识的拆分要素信息集合作为一个对比组，构建针对所述N个资源处理信息集合的多个任务内容；
通过对账处理线程池对所述多个任务内容进行对账处理，得到每个目标分片的分片对账结果，作为所述目标对账任务的对账结果。
9.一种信息处理装置，其特征在于，所述装置包括：
对账信息获取模块，用于获取目标对账任务的N个资源处理信息集合，针对每个资源处理信息集合，确定所述资源处理信息集合中每个资源处理事件的关键要素信息；其中，N≥2，所述关键要素信息为对所述资源处理事件执行记录操作得到的信息；所述关键要素信息包括对账要素信息；
目标分片确定模块，用于根据预设的分片设备划分信息和每个资源处理事件的对账要素信息，确定每个资源处理事件对应的目标分片；
信息拆分模块，用于针对所属同一目标分片的多个资源处理事件，根据所述目标对账任务的信息拆分方式，拆分所述多个资源处理事件中每个资源处理事件的关键要素信息，得到所属目标分片的多个拆分要素信息集合；
对账处理模块，用于基于分布式系统中各节点的多线程，执行对所述N个资源处理信息集合中相同标识的拆分要素信息集合的对账操作，得到所述目标对账任务的对账结果。
10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法的步骤。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。
12.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。
CN202310315410.4A 2023-03-28 2023-03-28 信息处理方法、装置、计算机设备和存储介质 Pending CN116308848A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310315410.4A CN116308848A (zh) 2023-03-28 2023-03-28 信息处理方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310315410.4A CN116308848A (zh) 2023-03-28 2023-03-28 信息处理方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN116308848A true CN116308848A (zh) 2023-06-23

Family

ID=86799550

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310315410.4A Pending CN116308848A (zh) 2023-03-28 2023-03-28 信息处理方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN116308848A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116756247A (zh) * 2023-08-21 2023-09-15 腾讯科技（深圳）有限公司 数据修复方法、装置、计算机设备和存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116756247A (zh) * 2023-08-21 2023-09-15 腾讯科技（深圳）有限公司 数据修复方法、装置、计算机设备和存储介质
CN116756247B (zh) * 2023-08-21 2023-11-17 腾讯科技（深圳）有限公司 数据修复方法、装置、计算机设备和存储介质

Similar Documents

Publication Publication Date Title
CN109032824B (zh) 数据库校验方法、装置、计算机设备和存储介质
CN106817295B (zh) 一种消息处理装置和方法
CN108876122B (zh) 批量工单的处理方法、装置、计算机设备和存储介质
US9002777B1 (en) Systems and methods for handling data
CN110781231B (zh) 基于数据库的批量导入方法、装置、设备及存储介质
CN111400011B (zh) 一种实时任务调度方法、系统、设备及可读存储介质
CN107391635A (zh) 数据同步系统及方法
US20210065181A1 (en) System and method for updating and managing hosted catalogs in a procurement system
CN109344189B (zh) 一种基于NiFi的大数据计算方法及装置
CN116308848A (zh) 信息处理方法、装置、计算机设备和存储介质
CN111680017A (zh) 一种数据同步的方法及装置
CN113204598A (zh) 一种数据同步方法、系统及存储介质
CN111291051B (zh) 运价数据处理方法及装置、存储介质及电子设备
CN114416638A (zh) 一种电子文件自动归档方法及系统
CN108280355A (zh) 一种数据脱敏方法及装置
CN112948096A (zh) 一种批量调度方法、装置和设备
CN111858739A (zh) 一种基于Mapreduce的数据汇聚方法及系统
CN115617480A (zh) 一种任务调度方法、装置、系统及存储介质
EP3811227B1 (en) Methods, devices and systems for non-disruptive upgrades to a distributed coordination engine in a distributed computing environment
CN110011832B (zh) 一种计划任务的配置下发方法及装置
CN117931789B (zh) 数据回收任务的有序处理方法、系统、计算机设备
CN111078666B (zh) 基于跨中心多数据库的自动化卸数供数的方法
CN113127548B (zh) 一种文件合并的方法、装置、设备及存储介质
US10936571B1 (en) Undo based logical rewind in a multi-tenant system
US11650841B2 (en) Data mover

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination