CN111930744B - 数据下载方法、装置、设备及外汇敞口数据下载系统 - Google Patents

数据下载方法、装置、设备及外汇敞口数据下载系统 Download PDF

Info

Publication number
CN111930744B
CN111930744B CN202010757946.8A CN202010757946A CN111930744B CN 111930744 B CN111930744 B CN 111930744B CN 202010757946 A CN202010757946 A CN 202010757946A CN 111930744 B CN111930744 B CN 111930744B
Authority
CN
China
Prior art keywords
data
downloaded
classification
inflow
classifying
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010757946.8A
Other languages
English (en)
Other versions
CN111930744A (zh
Inventor
屈有政
颜世杰
扈白杨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN202010757946.8A priority Critical patent/CN111930744B/zh
Publication of CN111930744A publication Critical patent/CN111930744A/zh
Application granted granted Critical
Publication of CN111930744B publication Critical patent/CN111930744B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24552—Database cache management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/285—Clustering or classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/04—Trading; Exchange, e.g. stocks, commodities, derivatives or currency exchange
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/54—Indexing scheme relating to G06F9/54
    • G06F2209/548—Queue

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Business, Economics & Management (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Computational Linguistics (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Technology Law (AREA)
  • General Business, Economics & Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本说明书涉及分布式系统数据处理技术领域，特别涉及金融技术领域，具体提供了一种数据下载方法、装置、设备及外汇敞口数据下载系统，该方法可以在下游系统内预先配置好数据分类流入条件，并将数据分类流入条件同步到上游系统。上游系统基于下游系统配置的数据分类流入条件对采集到的数据进行分类汇总后发送至下游系统，下游系统即可以根据配置的数据分类流入条件将分类汇总后的数据加入到对应的数据目录中，以便对数据进行统一的管理。当有新的类型的数据时，只需要对下游系统内的数据分类流入条件进行修改，上游系统即可以同步修改分类条件，不再需要上下游同时调整分类脚本或汇总程序等，降低了上下游系统的耦合性。

Description

数据下载方法、装置、设备及外汇敞口数据下载系统
技术领域
本说明书属于分布式系统数据处理技术领域，特别涉及金融技术领域，尤其涉及一种数据下载方法、装置、设备及外汇敞口数据下载系统。
背景技术
随着计算机技术的发展，越来越多的业务是利用计算机进行数据处理的，业务数据一般也是保存在计算机系统中。有些业务场景，系统可能只能进行业务处理，对于业务数据无法进行管理，需要将业务数据下载到另外一个系统中进行管理。例如：外汇业务的敞口数据的下载管理，因敞口管理的专业性，大型化、国际化、综合化银行有丰富的金融市场交易行为，有多个交易系统提供IT(Internet Technology)支撑，这些交易系统的敞口均需要对接如上统一的敞口管理系统，由于敞口损益和时间存在高度敏感性，需要得到实时或者准实时处理。
对于需要从一个系统将数据下载到另一个系统进行数据管理的场景，一般上下游需要存在紧密耦合性，相互配合才能将数据下载到下游系统。因此，如何提出一种方案，能够提高数据下载管理的灵活性成为本领域亟需解决的技术问题。
发明内容
本说明书实施例的目的在于提供一种数据下载方法、装置、设备及外汇敞口数据下载系统，实现了数据分类下载管理的灵活配置，提高了数据处理的效率。
一方面，本说明书实施例提供了一种数据下载方法，所述方法包括：
采集待下载数据；
根据获取到的下游系统配置的数据分类流入条件，对所述待下载数据进行分类汇总，获得汇总数据；
将所述汇总数据发送到所述下游系统，以使得所述下游系统基于所述数据分类流入条件将所述汇总数据保存到对应的数据目录中。
进一步地，在采集到所述待下载数据之后，所述方法还包括：
将所述待下载数据按照消息队列的形式进行缓存；
所述根据获取到的下游系统配置的数据分类流入条件，对所述待下载数据进行分类汇总，包括：
依次从缓存中的消息队列中获取待下载数据，并按照所述数据分类流入条件，将获取到的待下载数据进行分类汇总。
进一步地，采用Kafka分布式消息系统对所述待下载数据进行缓存。
进一步地，所述根据获取到的下游系统配置的数据分类流入条件，对所述待下载数据进行分类汇总，包括：
获取所述数据分类流入条件的生效时间、有效时间；
根据所述数据分类流入条件的生效时间、有效时间和当前时间，获取所述当前时间处于有效期的数据分类流入条件作为当前数据分类条件；
根据所述当前数据分类条件，对所述待下载数据进行分类汇总。
进一步地，所述采集待下载数据，包括：
每隔指定时间采集一次待下载数据；
将采集到的待下载数据按照预设序列号进行编号。
进一步地，所述将所述待下载数据按照消息队列的形式进行缓存，包括：
每隔预设时间根据预设数据量和上一次缓存的最后一条待下载数据的编号，获取本次缓存的待下载数据，并将获取到的所述本次缓存的待下载数据按照消息序列进行缓存。
进一步地，所述将采集到的待下载数据按照预设序列号进行编号包括：
对采集到的待下载数据按照预设序列号进行编号，所述编号带有所述待下载数据的采集日期，并对编号后的待下载数据设置日期索引。
另一方面，本说明书提供了一种数据下载方法，所述方法包括：
根据业务属性配置数据分类流入条件；
将所述数据分类流入条件发送至上游系统，以使得上游系统根据所述数据分类流入条件对采集到的待下载数据进行分类汇总；
接收所述上游系统发送的对所述待下载数据分类汇总后的汇总数据，并根据所述数据分类流入条件将所述汇总数据保存到对应的数据目录中。
又一方面，本说明书提供了一种数据下载装置，包括：
数据采集模块，用于采集待下载数据；
分类汇总模块，用于根据获取到的下游系统配置的数据分类流入条件，对所述待下载数据进行分类汇总，获得汇总数据；
汇总数据下载模块，用于将所述汇总数据发送到所述下游系统，以使得所述下游系统基于所述数据分类流入条件将所述汇总数据保存到对应的数据目录中。
进一步地，所述装置还包括数据缓存模块用于：将所述待下载数据按照消息队列的形式进行缓存；
所述分类汇总模块具体用于：
依次从所述数据缓存模块的消息队列中获取待下载数据，并按照所述数据分类流入条件，将获取到的待下载数据进行分类汇总。
又一方面，本说明书提供了一种数据下载装置，包括：
流入条件配置模块，用于根据业务属性配置数据分类流入条件；
流入条件发送模块，用于将所述数据分类流入条件发送至上游系统，以使得上游系统根据所述数据分类流入条件对采集到的待下载数据进行分类汇总；
汇总数据保存模块，用于接收所述上游系统发送的对所述待下载数据分类汇总后的汇总数据，并根据所述数据分类流入条件将所述汇总数据保存到对应的数据目录中。
又一方面，本说明书实施例提供了一种数据下载设备，包括至少一个处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现上述数据下载方法。
再一方面，本说明书实施例提供了一种外汇敞口数据下载系统，包括交易系统、敞口管理系统，其中：
所述交易系统包括数据采集单元、分类汇总单元，所述敞口管理系统包括分类预设单元；
所述分类预设单元用于基于外汇交易数据的业务属性，配置数据分类流入条件，并将所述数据分类流入条件发送至所述分类汇总单元；
所述数据采集单元用于从所述交易系统内采集外汇交易数据；
所述分类汇总单元用于根据所述分类预设模块发送的数据分类流入条件将采集到的外汇交易数据进行分类汇总，并将获得的汇总数据发送至所述敞口管理系统；
所述敞口管理系统根据所述数据分类流入条件将所述汇总数据保存到对应的敞口目录下。
进一步地，所述交易系统还包括数据缓存单元用于将所述数据采集单元采集到的外汇交易数据按照消息队列的形式进行缓存；
所述分类汇总单元具体用于向所述数据缓存单元定期获取定量的外汇交易数据，并获取到的外汇交易数据进行分类汇总。
还一方面，本说明书实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现上述数据下载方法。
本说明书提供的数据下载方法、装置、设备及外汇敞口数据下载系统，在下游系统内预先配置好数据分类流入条件，并将数据分类流入条件同步到上游系统。上游系统采集数据，并基于下游系统配置的数据分类流入条件对采集到的数据进行分类汇总后发送至下游系统，下游系统即可以根据配置的数据分类流入条件将分类汇总后的数据加入到对应的数据目录中，以便对数据进行统一的管理。当有新的类型的数据时，只需要对下游系统内的数据分类流入条件进行修改，上游系统即可以同步修改分类条件，不再需要上下游同时调整分类脚本或汇总程序等，降低了上下游系统的耦合性。同时确保上下游系统的数据分类、流入条件一直，避免因上下游系统配置的数据分类规则、流入条件不一致而导致数据下载失败的问题。并且数据分类流入条件的调整方式简单快捷，调整后的数据分类流入条件可以灵活快速上线，避免了因技术原因导致数据下载延迟。实现了数据的灵活下载分类，进一步提高了数据处理的时效性。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本说明书实施例提供的数据下载方法实施例的流程示意图；
图2是本说明书又一个实施例中数据下载方法的流程示意图；
图3是本说明书另一个实施例中数据下载方法的流程示意图；
图4是本说明书一个实施例中外汇敞口数据下载系统的结构示意图；
图5是本说明书一个实施例中Folder流入条件的配置同步原理示意图；
图6是本说明书一些实施例中数据分类并存入对应目录下的原理示意图；
图7是本说明书一些实施例中数据下载装置的结构示意图；
图8是本说明书另一些实施例中数据下载装置的结构示意图；
图9是本说明书另一些实施例中数据下载装置的结构示意图；
图10是本说明书一个实施例中数据下载服务器的硬件结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。
随着计算机互联网技术的发展，越来越多的业务使用计算机进行数据处理，有些业务需要对数据处理系统内的数据进行下载后统一管理，例如：外汇业务的敞口数据的下载管理，一般需要将交易系统内的敞口数据下载到敞口管理系统进行统一的管理，实现对外汇业务进行及时、准时的处理。外汇敞口数据管理需要进行分类管理，当有一个新币种、一种新期限、一种新的特殊区分，或者调整存量敞口分类时，需要交易系统和敞口管理系统同时发布敞口Folder(目录)调整脚本以及修改明细分类汇总敞口程序，使得数据下载不够灵活，导致数据无法及时得到处理。敞口可以理解为外汇买卖之间的差额(表现位多头或空头)未及时平盘所产生的头寸，平盘是指通过向上级行或外汇市场平仓来规避外汇风险。敞口Folder可以理解是敞口分类所在的不同目录。
需要说明的是，本说明书实施例公开的数据下载方法、装置、设备可以应用在金融领域如：外汇金融领域等，也可用于除金融领域之外的任意领域如：可以用在一些需要一个系统从另一个系统中下载数据的分布式业务系统，本说明书实施例公开的数据下载方法、装置、设备的应用领域不做限定。
本说明书实施例提出一种数据下载方法，可以在下游需要下载数据的系统内预先配置好数据分类流入条件，并将数据分类流入条件发送至上游系统。上游系统可以采集待下载数据，并基于下游系统配置的数据分类流入条件对采集到的数据进行分类汇总后发送至下游系统，下游系统即可以根据配置的数据分类流入条件将分类汇总后的数据加入到对应的目录中，以便对数据进行统一的管理。当有新的类型的数据时，只需要对下游系统内的数据分类流入条件进行修改，上游系统即可以同步修改分类条件，不再需要上下游同时调整分类脚本或汇总程序等，避免了因技术原因导致数据下载延迟。降低了上下游系统的耦合性，实现了数据的灵活下载分类，进一步提高了数据处理的时效性。
图1是本说明书实施例提供的数据下载方法实施例的流程示意图。虽然本说明书提供了如下述实施例或附图所示的方法操作步骤或装置结构，但基于常规或者无需创造性的劳动在所述方法或装置中可以包括更多或者部分合并后更少的操作步骤或模块单元。在逻辑性上不存在必要因果关系的步骤或结构中，这些步骤的执行顺序或装置的模块结构不限于本说明书实施例或附图所示的执行顺序或模块结构。所述的方法或模块结构的在实际中的装置、服务器或终端产品应用时，可以按照实施例或者附图所示的方法或模块结构进行顺序执行或者并行执行(例如并行处理器或者多线程处理的环境、甚至包括分布式处理、服务器集群的实施环境)。
具体的一个实施例如图1所示，本说明书提供的数据下载方法的一个实施例中，所述方法可以应用在一些业务系统即上游系统中，具体可以为计算机、平板电脑、服务器、车载设备、智能穿戴设备等终端，所述方法可以包括如下步骤：
步骤102、采集待下载数据。
在具体的实施过程中，本说明书实施例的数据下载方法可以应用在一些业务系统和数据管理系统各自独立，数据管理系统需要从业务系统下载数据，并进行数据同一管理的场景，如：外汇交易业务中的外汇敞口下载。待下载数据可以理解为需要下载到下游系统进行统一管理的数据，具体数据类型可以依据实际的业务场景需要而定，如：在外汇敞口数据的管理业务中，待下载数据可以理解为外汇交易数据。可以定时从上游系统如：交易系统中下载系统内新增的数据即为待下载数据，当然，也可以在每产生一笔新的数据即下载该笔数据作为待下载数据，如：每一笔交易完成时即下载该笔交易数据的交易明细作为待下载数据。
步骤104、根据获取到的下游系统配置的数据分类流入条件，对所述待下载数据进行分类汇总，获得汇总数据。
在具体的实施过程中，下游系统一般为比较专业的数据管理系统，可以理解为对下载的数据进行统一管理的系统如：敞口管理系统，上游系统一般可以为进行业务处理的业务系统如：交易系统。下游系统一般需要从上游系统内下载上游系统的业务数据，并对下载的业务数据进行统一管理。下游系统可以预先配置好数据分类流入条件，并将配置好的数据分类流入条件同步到上游系统。当下游系统修改或更新或删除数据分类流入条件时，上游系统也会同步修改、更新、删除数据分类流入条件，上下游系统不再需要同时对分类规则和数据保存目录进行修改，同时，也可以避免因上下游配置的分类规则和数据保存目录不一致，导致数据下载失败的问题。数据分类流入条件可以理解为下游系统中存储下载数据的目录的流入条件，即什么样的数据存储到哪一个目录下的条件，对于上游系统来说，分类流入条件可以理解为上游系统对待下载数据的分类条件。
采集到待下载数据后，上游系统可以根据下游系统同步过来的配置好的数据分类流入条件，对采集到的待下载数据进行分类汇总，获得汇总数据。例如：下游系统配置的数据分类流入条件为：目录1中保存的数据需要满足条件1，目录2保存的数据需要满足条件2。上游系统可以根据下游系统配置的数据流入分类条件将满足条件1的待下载数据分为一类进行汇总，再将满足条件2的待下载数据分为一类进行汇总。上游系统对待下载数据分类汇总获得汇总数据即可以包括满足条件1的为一类，满足条件2的为一类数据，可以将满足不同条件的数据汇总到不同的表格中。
其中，待下载数据可以是多条，在对待下载数据进行分类汇总时，可以对当前时间所有的待下载数据进行分类汇总，还可以每次对指定数量的待下载数据进行分类汇总，或者每次将指定时间范围内的待下载数据进行分类汇总。此外，对于分类汇总后的待下载数据可以删除，也可以转移到其他地方进行保存，或者标记上已分类汇总的标记，以避免对同一个数据重复进行分类汇总、下载。
步骤106、将所述汇总数据发送到所述下游系统，以使得所述下游系统基于所述数据分类流入条件将所述汇总数据保存到对应的数据目录中。
在具体的实施过程中，上游系统对待下载数据分类汇总获得汇总数据后，可以将汇总数据发送给下游系统，下游系统接收到汇总数据后可以根据预先配置好的数据分类流入条件，获取汇总数据中不同类别数据对应的条件，将汇总数据保存到对应的数据目录中。例如：汇总数据包括汇总数据1满足条件1，汇总数据2满足条件2，与预先配置的数据分类流入条件进行匹配后，目录1需要数据满足条件1，则将汇总数据1存入到数据目录1中，目录2需要数据满足条件2，则将汇总数据2存入到数据目录2中。
本说明书实施例提供的数据下载方法，在下游系统内预先配置好数据分类流入条件，并将数据分类流入条件同步到上游系统。上游系统采集数据，并基于下游系统配置的数据分类流入条件对采集到的数据进行分类汇总后发送至下游系统，下游系统即可以根据配置的数据分类流入条件将分类汇总后的数据加入到对应的数据目录中，以便对数据进行统一的管理。当有新的类型的数据时，只需要对下游系统内的数据分类流入条件进行修改，上游系统即可以同步修改分类条件，不再需要上下游同时调整分类脚本或汇总程序等，降低了上下游系统的耦合性。同时确保上下游系统的数据分类、流入条件一直，避免因上下游系统配置的数据分类规则、流入条件不一致而导致数据下载失败的问题。并且数据分类流入条件的调整方式简单快捷，调整后的数据分类流入条件可以灵活快速上线，避免了因技术原因导致数据下载延迟。实现了数据的灵活下载分类，进一步提高了数据处理的时效性。
图2是本说明书又一个实施例中数据下载方法的流程示意图，如图2所示，在上述实施例的基础上，本说明书一些实施例中，所述方法还可以包括：
步骤202、采集待下载数据；
步骤204、将所述待下载数据按照消息队列的形式进行缓存；
步骤206、依次从缓存中的消息队列中获取待下载数据，并按照所述数据分类流入条件，将获取到的待下载数据进行分类汇总，获得汇总数据；
步骤208、将所述汇总数据发送到所述下游系统，以使得所述下游系统基于所述数据分类流入条件将所述汇总数据保存到对应的数据目录中。
在具体的实施过程中，上游系统采集到待下载数据后可以将采集到的待下载数据进行缓存，如：可以将待下载数据按照消息队列的形式依次排列缓存起来。缓存可以理解为上游系统和下游系统之间数据下载的一个缓冲组件，当上游系统需要将数据下载到下游系统时，可以依次从缓存的消息队列中获取待下载数据。如：按照消息队列依次从消息队列的头部开始每次获取一条或指定数量的待下载数据，再将获取到的待下载数据按照下游系统同步过来的数据分类流入条件进行分类汇总后发送至下游系统，下游系统根据上游系统对待下载数据的分类，按照数据分类流入条件将上游系统发送过来的汇总后的数据保存到对应的目录下。
其中，数据缓存可以采用Kafka分布式消息系统，Kafka是一个分布式、支持分区的(partition)、多副本的(replica)，基于zookeeper协调的分布式消息系统。Kafka分布式消息系统可以通过自身独特的设计将消息持久化到磁盘上，以此同时支持在线和离线消费，并且其天生为分布式而设计，本身就没有单机模式(或者说单机模式是分布式的特例)，能够很好的扩展，本说明书实施例中，可以利用Kafka做消息队列、流式处理，将采集到的待下载数据进行按照消息队列的方式进行缓存。Kafka分布式消息系统具备高吞吐量、低延迟的性能，每秒可以处理几十万条消息，它的延迟最低只有几毫秒，并且，Kafka支持热扩展，支持数千个客户端同时读写，具备可扩展、高并发的性能，同时，消息被持久化到本地磁盘，并且支持数据备份防止数据丢失。利用Kafka分布式消息系统对待下载数据进行数据缓存，可以提高数据下载的速率，具备高吞吐量的性能，避免了数据高峰时期，数据量突然增加，导致系统崩溃的问题。并且，待下载数据缓存到Kafka分布式消息系统中，数据得到了缓冲，可以根据下游系统的系统性能，依次将消息队列中的待下载数据进行分类汇总后下载到下游系统中，数据处理速度可以保持恒定，确保下游系统的稳定性。
例如：在一个场景示例中，共采集到10条待下载数据，将10条待下载数据按照采集时间的先后顺序按序缓存到消息队列中。再从缓存的消息队列的队头开始获取5条待下载数据，按照下游系统同步过来的数据分类流入条件对获取到的5条待下载数据进行分类汇总，如：假设5条待下载数据分为2类，一类中有2条待下载数据，另一类有3条待下载数据，将各个类别的待下载数据分别汇总到一起，获得汇总数据。再将汇总数据发送到下游系统，下游系统接收到2个类别的汇总数据后，可以根据预先设置的数据分类流入条件，分别确定2类汇总数据所属的数据目录，进而将汇总数据存入到对应的数据目录中。
本说明书实施例通过将下载的数据进行缓存，使得下游系统可以根据自身性能决定数据下载的速度，避免了在数据陡增时，数据量过大，系统下载速度跟不上，造成系统性能不稳定的问题，提高了系统的高并发性能，增大了业务吞吐量。同时，上游系统的数据采集效率不需要改变，确保数据采集的及时有效性。
在上述实施例的基础上，本说明书一些实施例中，所述根据获取到的下游系统配置的数据分类流入条件，对所述待下载数据进行分类汇总，包括：
获取所述数据分类流入条件的生效时间、有效时间；
根据所述数据分类流入条件的生效时间、有效时间和当前时间，获取所述当前时间处于有效期的数据分类流入条件作为当前数据分类条件；
根据所述当前数据分类条件，对所述待下载数据进行分类汇总。
在具体的实施过程中，下游系统在进行数据分类流入条件的配置定义时，可以配置不同时间使用的数据分类流入条件，即为各个数据分类流入条件配置生效时间和有效时间，如：下游系统为2020年7月10日-2020年7月20日配置一个数据分类条件1，则数据分类流入条件1的生效时间为2020年7月10日上午0点，有效时间为10天。在基于下游系统配置数据分类流入条件对待下载数据进行分类汇总时，可以获取数据分类流入条件的生效时间、有效时间，再基于各个数据分类流入条件的生效时间、有效时间以及当前时间，获取当前时间处于有效期的数据分类流入条件。例如：若当前时间为2020年7月15日上午12点，则可以确定上述数据分类流入条件1在当前时间是处于有效期的，可以将上述数据分类流入条件1作为当前数据分类条件，上游系统即可以根据当前数据分类条件，对待下载数据进行分类汇总。
当然，一般情况下，同一时间只会有一个处于有效期的数据分类流入条件，避免数据分类汇总混乱出错。
本说明书实施例可以通过设置数据分类流入条件的生效时间、有效时间，配置各个数据分类流入条件的有效期，实现不同时间能够采用不同的数据分类方式，实现了数据下载分类管理的灵活配置，并且数据分类流入条件可以由用户自由定义、修改，配置好后可以即时上线，不需要调整脚本、程序等，上线速度快，提高了业务处理的效率。
在上述实施例的基础上，本说明书一些实施例中，所述采集待下载数据，包括：
每隔指定时间采集一次待下载数据；
将采集到的待下载数据按照预设序列号进行编号。
在具体的实施过程中，在进行待下载数据的采集时，可以每隔指定时间采集一次上游系统内新增的数据作为待下载数据。同时，还可以按照预设序列号对采集到的待下载数据进行编号，以便后续对待下载数据进行分类汇总时方便查询。预设序列号可以为按天设置的序列号，或者按照指定规则设定的序列号，如：可以设置每周周一的预设序列号为从1开始到1000，周二的预设序列号为1-1000，周六为1-10000等。当然，预设序列号还可以根据实际需要设置为其他的方式，如：一个星期作为一个周期进行连续编号，或一个月作为一个周期进行连续编号，周期到达后重新编号，本说明书实施例不限定预设序列号的设置方式。
此外，本说明书一些实施例中，所述将所述待下载数据按照消息队列的形式进行缓存，包括：
每隔预设时间根据预设数据量和上一次缓存的最后一条待下载数据的编号，获取本次缓存的待下载数据，并将获取到的所述本次缓存的待下载数据按照消息序列进行缓存。
在具体的实施过程中，在将待下载数据保存到缓存中时，可以每隔预设时间定量进行数据缓存，如：每隔1分钟将10条待下载数据按照消息队列的形式进行缓存。在将待下载数据进行缓存时，可以依据各个待下载数据对应的编号，选取对应的待下载数据进行缓存。如：可以每隔预设时间，获取上一次缓存的最后一条待下载数据的编号，再基于预设数据量，获取本次缓存的待下载数据。例如：设预设时间为1分钟，预设数据量为10，可以每隔1分钟，获取10条采集到的待下载数据，在获取待下载数据时，可以先获取上一次缓存的待下载数据中的最后一条的编号，如：假设上一次缓存的10条待下载数据中最后一条数据的编号为30，则本次缓存的待下载数据即为编号为31-40的待下载数据。将编号为31-40的待下载数据作为本次缓存的待下载数据缓存消息队列中。
基于编号和预设数据量，可以快速准确的找到本次需要缓存的数据，避免数据重复缓存或数据遗漏的问题。同时，采用每次定量缓存数据的形式，每到达需要缓存数据的时间即将定量的数据进行缓存即可，不需要等待缓存的响应，可以避免实时缓存数据时，对缓存返回响应的依赖。
在上述实施例的基础上，本说明书一些实施例中，所述将采集到的待下载数据按照预设序列号进行编号包括：
对采集到的待下载数据按照预设序列号进行编号，所述编号带有所述待下载数据的采集日期，并对编号后的待下载数据设置日期索引。
在具体的是过程中，在对采集到的待下载数据进行编号时，可以将采集各个待下载数据的日期添加到待下载数据对应的编号中，例如：待下载数据a是7月15采集的第20个数据，则待下载数据a的编号可以为71520。同时，对编号后的待下载数据设置日期索引，以加快数据查询的效率。在对待下载数据进行分类汇总或将待下载数据缓存到数据缓存模块时，可以根据上一次分类汇总或上一次缓存的最后一条数据的日期和编号，利用日期索引，快速查询到本次应该分类汇总或缓存的数据。
此外，对于一些特殊的应用场景，每一条数据可能对应有两个方向，如：代客外汇业务，分为买入、卖出两个方向，则每一条需要下载的交易数据即待下载数据可以拆分为两条记录。
图3是本说明书另一个实施例中数据下载方法的流程示意图，如图3所示，该数据下载方法可以应用在对下载数据进行统一管理的下游系统中，该方法包括：
步骤302、根据业务属性配置数据分类流入条件。
在具体的实施过程中，下游系统一般为比较专业的数据管理系统，可以理解为对下载的数据进行统一管理的系统如：敞口管理系统，上游系统一般可以为进行业务处理的业务系统如：交易系统。下游系统一般需要从上游系统内下载上游系统的业务数据，并对下载的业务数据进行统一管理。下游系统可以预先配置好数据分类流入条件，数据分类流入条件可以理解为下游系统在对数据进行统一管理时，对数据的分类条件，即不同类别的数据保存在不同的目录下，每个目录允许什么样的数据流入进去，即为数据分类流入条件。在配置分类流入条件时可以根据业务属性进行配置，如：对于交易数据可以根据交易类型、交易金额、交易日期等设置数据分类流入条件。
例如：在对外汇交易敞口进行下载的业务场景中，待下载数据可以理解为外汇敞口即交易明细，交易明细中业务相关字段组成了业务属性集，可以在业务属性集抽取分类目录相关属性(如：敞口的业务类型、金额、损益金额等)并设置阈值组成了数据分类流入条件如：业务类型+币种满足什么条件时流入哪一个分类目录，或者金额+币种满足多少阈值时流入哪一个分类目录。数据分类流入条件的具体配置内容可以根据实际业务需要进行设置，本说明书实施例不作具体限定。
步骤304、将所述数据分类流入条件发送至上游系统，以使得上游系统根据所述数据分类流入条件对采集到的待下载数据进行分类汇总。
在具体的实施过程中，下游系统基于业务属性配置好数据分类流入条件后，可以将配置的数据分类流入条件同步到上游系统，上游系统可以根据下游系统同步过来的配置好的数据分类流入条件，对采集到的待下载数据进行分类汇总，获得汇总数据。例如：下游系统配置的数据分类流入条件为：目录1中保存的数据需要满足条件1，目录2保存的数据需要满足条件2。上游系统可以根据下游系统配置的数据流入分类条件将满足条件1的待下载数据分为一类进行汇总，再将满足条件2的待下载数据分为一类进行汇总。
步骤306、接收所述上游系统发送的对所述待下载数据分类汇总后的汇总数据，并根据所述数据分类流入条件将所述汇总数据保存到对应的数据目录中。
在具体的实施过程中，上游系统对待下载数据分类汇总获得汇总数据后，可以将汇总数据发送给下游系统，下游系统接收到汇总数据后可以根据预先配置好的数据分类流入条件，获取汇总数据中不同类别数据对应的条件，将汇总数据保存到对应的数据目录中。例如：汇总数据包括汇总数据1满足条件1，汇总数据2满足条件2，与预先配置的数据分类流入条件进行匹配后，目录1需要数据满足条件1，则将汇总数据1存入到数据目录1中，目录2需要数据满足条件2，则将汇总数据2存入到数据目录2中。
本说明书实施例提供的数据下载方法，在下游系统内预先配置好数据分类流入条件，并将数据分类流入条件同步到上游系统。上游系统采集数据，并基于下游系统配置的数据分类流入条件对采集到的数据进行分类汇总后发送至下游系统，下游系统即可以根据配置的数据分类流入条件将分类汇总后的数据加入到对应的数据目录中，以便对数据进行统一的管理。当有新的类型的数据时，只需要对下游系统内的数据分类流入条件进行修改，上游系统即可以同步修改分类条件，不再需要上下游同时调整分类脚本或汇总程序等。并且数据分类流入条件的调整方式简单快捷，调整后的数据分类流入条件可以灵活快速上线，避免了因技术原因导致数据下载延迟。降低了上下游系统的耦合性，实现了数据的灵活下载分类，进一步提高了数据处理的时效性。
图4是本说明书一个实施例中外汇敞口数据下载系统的结构示意图，如图4所示，本说明书一些实施例中的数据下载方法可以应用在外汇业务中，实现对外汇敞口的下载管理。其中，如图4所示，外汇敞口数据下载系统可以包括：交易系统、敞口管理系统，交易系统具体可以是代客外汇交易系统，代客外汇交易系统可以进行代客外汇业务，代客外汇业务可以理解为接受客户的委托，利用国际金融市场上即期、远期、掉期、择期等金融工具，对客户在对外经济贸易活动中所产生的汇率风险进行规避和管理，通过各种到期日不同外汇币种间的兑换，锁定汇率风险，并灵活调整交割日期的外汇买卖业务。代客外汇业务的敞口可以分为即期、远期等多个期限，涉及各国本币、纸黄金、实物贵金属等多个币种，同时有银行发起和客户发起等特殊区分。为支持业务层的多样性，代客外汇交易系统提供敞口管理组件，代客敞口经该组件下载到统一的金融市场交易管理系统即敞口管理系统。
如图4所示，交易系统可以包括数据采集单元、分类汇总单元，敞口管理系统可以包括分类预设单元。分类预设单元也可以理解为Folder预设单元可以设置敞口管理系统中代客外汇相关敞口的Folder流入条件即上述实施例中记载的数据分类流入条件，分类预设单元配置好敞口的Folder流入条件后，可以将敞口的Folder流入条件同步到分类汇总单元，分类汇总单元可以根据敞口的Folder流入条件对采集到的交易明细进行分类汇总，并将汇总结果推送到敞口管理系统的对应的Folder中。如图4所示，本说明书一些实施例中，交易系统还包括数据缓存单元，数据缓存单元可以采用Kafka分布式消息系统，也可以称为Kafka增量明细模块。数据采集单元采集代客金融市场交易系统中增量交易明细即待下载数据后，可以发布明细到Kafka增量明细模块，分类汇总单元可以向Kafka增量明细模块订阅增量明细，根据Folder流入条件将明细进行分类汇总，将汇总结果推送到敞口管理系统的对应Folder。下面逐一介绍交易系统和敞口管理系统中各个单元：
1、Folder预设单元即分类预设单元
交易明细中业务相关字段组成了业务属性集，在业务属性集抽取Folder相关属性(如：敞口的业务类型、金额、损益金额等)并设置阈值组成了Folder流入条件如：业务类型+币种满足什么条件时流入哪一个Folder，或者金额+币种满足多少阈值时流入哪一个Folder。Folder流入条件的具体配置内容可以根据实际业务需要进行设置，本说明书实施例不作具体限定。Folder预设单元实现设定所有Folder的流入条件以及生效日期、生效时间，图5是本说明书一个实施例中Folder流入条件的配置同步原理示意图，如图5所示，Folder预设单元基于交易明细、业务属性配置好Folder流入条件，如图5所示，可以设置Folder1-Folder4四个Folder目录的流入条件，并将配置的Folder流入条件同步到分类汇总单元，分类汇总单元可以将Folder预设单元配置的Folder流入条件作为自己的Folder分类条件。Folder预设单元建立在业务属性基础上，实现业务人员实时调整Folder设置，无需依赖技术发版Folder调整脚本，为高度自适应敞口分类奠定基础。
2、Kafka增量明细单元即数据缓存单元
数据采集单元扮演Producer(生产方)，分类汇总模块扮演Consumer(用户方)，实现了代客外汇交易系统和敞口管理系统的松耦合，上下游不再需要控制敞口下载频率和热点数据离散等方式来缓解热点问题，可以彻底克服高并发情况下上下游的热点问题。
当上游交易系统高并发时，需要短时间内发送大量消息到消息服务器，若按照同步模式直接调用很容易造成大量消息堆积到下游客户端，一般可能通过扩容下游客户端或限制上下游发送接收速度，来扩大消息的接收量或减少消息的发送了。本说明书实施例中的Kafka增量明细单元可以利用消息队列的方式实现让下游客户端根据自身能力处理完一条消息后再获取下一条消息。因此对下游客户端来说，消息处理速度可保持恒定，可以由消息服务器(如：Kafka增量明细单元)代替其承受流量的冲击，使下游客户端得到保护。
3、数据采集单元
数据采集单元可以定时获取增量明细，每次发布定量的明细到Kafka增量明细单元。可以预先配置序列号，本说明书实一些实施例中可以按照一周每天配置一组序列号，即配置7个序列号，分别用于登记周一到周日各天的外汇明细的编号。每周一初始化周日序列号，每周二初始化周一序列号，以此类推，避免编号重复。为防止极端情况下出现重复，这些序列号不可以循环使用，最大值可以设置为日明细最大量的100倍。同时可以新增明细表的日期索引，确保按日期查询的高效。系统登记上次增量下载最后一条明细的日期和序列号用于定位本次增量明细及本次缓存的待下载数据。考虑代客明细区分买入和卖出两个方向，每条增量明细可以拆分为两条记录。
4、分类汇总单元
图6是本说明书一些实施例中数据分类并存入对应目录下的原理示意图，如图6所示，分类汇总单元可以按照Folder预设单元推送的Folder流入条件作为自己的Folder分类条件进行敞口分类汇总，再根据各个目录即Folder对应的敞口信息，将汇总结果推送给敞口管理系统对应的Folder。
本说明书实施例，通过在敞口管理系统中设置Folder预设单元，预先配置Folder流入条件，并将配置的Folder流入条件同步到上游交易系统的分类汇总模块。当设置一个新币种、一种新期限、一种新的特殊区分或者调整存量敞口分类，尤其当因监管要求需要紧急新增或调整时，不再需要上下游同时发布Folder调整脚本以及修改明细分类汇总敞口程序，不存在技术原因导致上线延迟，预设Folder流入条件后即可灵活上线，实现了敞口数据的灵活下载管理，提高了数据处理效率。同时，设置Kafka增量明细单元当敞口高峰交易量出现陡增发生变化时，利用Kafka增量明细单元实现了数据缓冲的效果，提高了高并发性能，增大了业务吞吐量。
本说明书中上述方法的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参考即可，每个实施例重点说明的都是与其他实施例的不同之处。相关之处参考方法实施例的部分说明即可。
基于上述所述的数据下载方法，本说明书一个或多个实施例还提供一种用于数据下载的装置。所述系统可以包括使用了本说明书实施例所述方法的装置(包括分布式系统)、软件(应用)、模块、组件、服务器、客户端等并结合必要的实施硬件的装置。基于同一创新构思，本说明书实施例提供的一个或多个实施例中的装置如下面的实施例所述。由于装置解决问题的实现方案与方法相似，因此本说明书实施例具体的装置的实施可以参考前述方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的系统、装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图7是本说明书一些实施例中数据下载装置的结构示意图，如图7所示，本说明书中提供的数据下载装置可以应用在上述实施例中上游系统中，该装置可以包括：
数据采集模块71，用于采集待下载数据；
分类汇总模块72，用于根据获取到的下游系统配置的数据分类流入条件，对所述待下载数据进行分类汇总，获得汇总数据；
汇总数据下载模块73，用于将所述汇总数据发送到所述下游系统，以使得所述下游系统基于所述数据分类流入条件将所述汇总数据保存到对应的数据目录中。
本说明书实施例提供的数据下载装置，在下游系统内预先配置好数据分类流入条件，并将数据分类流入条件同步到上游系统。上游系统采集数据，并基于下游系统配置的数据分类流入条件对采集到的数据进行分类汇总后发送至下游系统，下游系统即可以根据配置的数据分类流入条件将分类汇总后的数据加入到对应的数据目录中，以便对数据进行统一的管理。当有新的类型的数据时，只需要对下游系统内的数据分类流入条件进行修改，上游系统即可以同步修改分类条件，不再需要上下游同时调整分类脚本或汇总程序等。并且数据分类流入条件的调整方式简单快捷，调整后的数据分类流入条件可以灵活快速上线，避免了因技术原因导致数据下载延迟。降低了上下游系统的耦合性，实现了数据的灵活下载分类，进一步提高了数据处理的时效性。
图8是本说明书另一些实施例中数据下载装置的结构示意图，如图8所示，本说明书一些实施例中，所述装置还包括数据缓存模块81，用于：将所述待下载数据按照消息队列的形式进行缓存；
所述分类汇总模块72具体用于：
依次从所述数据缓存模块的消息队列中获取待下载数据，并按照所述数据分类流入条件，将获取到的待下载数据进行分类汇总。
本说明书实施例通过将下载的数据进行缓存，使得下游系统可以根据自身性能决定数据下载的速度，避免了在数据陡增时，数据量过大，系统下载速度跟不上，造成系统性能不稳定的问题，提高了系统的高并发性能，增大了业务吞吐量。同时，上游系统的数据采集效率不需要改变，确保数据采集的及时有效性。
图9是本说明书另一些实施例中数据下载装置的结构示意图，如图9所示，本说明书中提供的数据下载装置可以应用在上述实施例中下游系统中，该装置可以包括：
流入条件配置模块91，用于根据业务属性配置数据分类流入条件；
流入条件发送模块92，用于将所述数据分类流入条件发送至上游系统，以使得上游系统根据所述数据分类流入条件对采集到的待下载数据进行分类汇总；
汇总数据保存模块93，用于接收所述上游系统发送的对所述待下载数据分类汇总后的汇总数据，并根据所述数据分类流入条件将所述汇总数据保存到对应的数据目录中。
本说明书实施例提供的数据下载装置，在下游系统内预先配置好数据分类流入条件，并将数据分类流入条件同步到上游系统。上游系统采集数据，并基于下游系统配置的数据分类流入条件对采集到的数据进行分类汇总后发送至下游系统，下游系统即可以根据配置的数据分类流入条件将分类汇总后的数据加入到对应的数据目录中，以便对数据进行统一的管理。当有新的类型的数据时，只需要对下游系统内的数据分类流入条件进行修改，上游系统即可以同步修改分类条件，不再需要上下游同时调整分类脚本或汇总程序等。并且数据分类流入条件的调整方式简单快捷，调整后的数据分类流入条件可以灵活快速上线，避免了因技术原因导致数据下载延迟。降低了上下游系统的耦合性，实现了数据的灵活下载分类，进一步提高了数据处理的时效性。
需要说明的，上述所述的装置根据对应方法实施例的描述还可以包括其他的实施方式。具体的实现方式可以参照上述对应的方法实施例的描述，在此不作一一赘述。
本说明书实施例还提供一种数据下载设备，包括：至少一个处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现上述实施例的信息推荐数据处理方法，如：
采集待下载数据；
根据获取到的下游系统配置的数据分类流入条件，对所述待下载数据进行分类汇总，获得汇总数据；
将所述汇总数据发送到所述下游系统，以使得所述下游系统基于所述数据分类流入条件将所述汇总数据保存到对应的数据目录中。
需要说明的，上述所述的设备根据方法实施例的描述还可以包括其他的实施方式。具体的实现方式可以参照相关方法实施例的描述，在此不作一一赘述。
本说明书提供的数据下载装置，也可以应用在多种数据分析处理系统中。所述系统或服务器或终端或设备可以为单独的服务器，也可以包括使用了本说明书的一个或多个所述方法或一个或多个实施例系统或服务器或终端或设备的服务器集群、系统(包括分布式系统)、软件(应用)、实际操作装置、逻辑门电路装置、量子计算机等并结合必要的实施硬件的终端装置。所述核对差异数据的检测系统可以包括至少一个处理器以及存储计算机可执行指令的存储器，所述处理器执行所述指令时实现上述任意一个或者多个实施例中所述方法的步骤。
本说明书实施例所提供的方法实施例可以在移动终端、计算机终端、服务器或者类似的运算装置中执行。以运行在服务器上为例，图10是本说明书一个实施例中数据下载服务器的硬件结构框图，该计算机终端可以是上述实施例中的数据下载服务器或数据下载装置。如图10所示服务器10可以包括一个或多个(图中仅示出一个)处理器100(处理器100可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的非易失性存储器200、以及用于通信功能的传输模块300。本领域普通技术人员可以理解，图10所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，服务器10还可包括比图10中所示更多或者更少的组件，例如还可以包括其他的处理硬件，如数据库或多级缓存、GPU，或者具有与图10所示不同的配置。
非易失性存储器200可用于存储应用软件的软件程序以及模块，如本说明书实施例中的数据下载方法对应的程序指令/模块，处理器100通过运行存储在非易失性存储器200内的软件程序以及模块，从而执行各种功能应用以及资源数据更新。非易失性存储器200可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，非易失性存储器200可进一步包括相对于处理器100远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端。上述网络的实例包括但不限于互联网、企业内部网、局与网、移动通信网及其组合。
传输模块300用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端的通信供应商提供的无线网络。在一个实例中，传输模块300包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输模块300可以为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书提供的上述实施例所述的方法或装置可以通过计算机程序实现业务逻辑并记录在存储介质上，所述的存储介质可以计算机读取并执行，实现本说明书实施例所描述方案的效果，如：
采集待下载数据；
根据获取到的下游系统配置的数据分类流入条件，对所述待下载数据进行分类汇总，获得汇总数据；
将所述汇总数据发送到所述下游系统，以使得所述下游系统基于所述数据分类流入条件将所述汇总数据保存到对应的数据目录中。
所述存储介质可以包括用于存储信息的物理装置，通常是将信息数字化后再以利用电、磁或者光学等方式的媒体加以存储。所述存储介质有可以包括：利用电能方式存储信息的装置如，各式存储器，如RAM、ROM等；利用磁能方式存储信息的装置如，硬盘、软盘、磁带、磁芯存储器、磁泡存储器、U盘；利用光学方式存储信息的装置如，CD或DVD。当然，还有其他方式的可读存储介质，例如量子存储器、石墨烯存储器等等。
本说明书实施例提供的上述数据下载方法或装置可以在计算机中由处理器执行相应的程序指令来实现，如使用windows操作系统的c++语言在PC端实现、linux系统实现，或其他例如使用android、iOS系统程序设计语言在智能终端实现，以及基于量子计算机的处理逻辑实现等。
需要说明的是说明书上述所述的装置、计算机存储介质、系统根据相关方法实施例的描述还可以包括其他的实施方式，具体的实现方式可以参照对应方法实施例的描述，在此不作一一赘述。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参考即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于硬件+程序类实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参考方法实施例的部分说明即可。
本说明书实施例并不局限于必须是符合行业通信标准、标准计算机资源数据更新和数据存储规则或本说明书一个或多个实施例所描述的情况。某些行业标准或者使用自定义方式或实施例描述的实施基础上略加修改后的实施方案也可以实现上述实施例相同、等同或相近、或变形后可预料的实施效果。应用这些修改或变形后的数据获取、存储、判断、处理方式等获取的实施例，仍然可以属于本说明书实施例的可选实施方案范围之内。
在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、车载人机交互设备、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
虽然本说明书一个或多个实施例提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的手段可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的装置或终端产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境，甚至为分布式资源数据更新环境)。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、产品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、产品或者设备所固有的要素。在没有更多限制的情况下，并不排除在包括所述要素的过程、方法、产品或者设备中还存在另外的相同或等同要素。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本说明书一个或多个时可以把各模块的功能在同一个或多个软件和/或硬件中实现，也可以将实现同一功能的模块由多个子模块或子单元的组合实现等。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
本发明是参照根据本发明实施例的方法、装置(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程资源数据更新设备的处理器以产生一个机器，使得通过计算机或其他可编程资源数据更新设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程资源数据更新设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程资源数据更新设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储、石墨烯存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
本领域技术人员应明白，本说明书一个或多个实施例可提供为方法、系统或计算机程序产品。因此，本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书一个或多个实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本本说明书一个或多个实施例，在这些分布式计算环境中，由通过通信网络而被连接的远程设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参考即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参考方法实施例的部分说明即可。在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本说明书的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
以上所述仅为本说明书一个或多个实施例的实施例而已，并不用于限制本说明书一个或多个实施例。对于本领域技术人员来说，本说明书一个或多个实施例可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在权利要求范围之内。

Claims (12)

1.一种数据下载方法，其特征在于，所述方法包括：
采集待下载数据；
将所述待下载数据按照消息队列的形式进行缓存；
根据获取到的下游系统配置的数据分类流入条件，对所述待下载数据进行分类汇总，获得汇总数据；
将所述汇总数据发送到所述下游系统，以使得所述下游系统基于所述数据分类流入条件将所述汇总数据保存到对应的数据目录中；
所述根据获取到的下游系统配置的数据分类流入条件，对所述待下载数据进行分类汇总，包括：
依次从缓存中的消息队列中获取待下载数据，并按照所述数据分类流入条件，将获取到的待下载数据进行分类汇总。
2.如权利要求1所述的方法，其特征在于，采用Kafka分布式消息系统对所述待下载数据进行缓存。
3.如权利要求1所述的方法，其特征在于，所述根据获取到的下游系统配置的数据分类流入条件，对所述待下载数据进行分类汇总，包括：
获取所述数据分类流入条件的生效时间、有效时间；
根据所述数据分类流入条件的生效时间、有效时间和当前时间，获取所述当前时间处于有效期的数据分类流入条件作为当前数据分类条件；
根据所述当前数据分类条件，对所述待下载数据进行分类汇总。
4.如权利要求1所述的方法，其特征在于，所述采集待下载数据，包括：
每隔指定时间采集一次待下载数据；
将采集到的待下载数据按照预设序列号进行编号。
5.如权利要求4所述的方法，其特征在于，所述将所述待下载数据按照消息队列的形式进行缓存，包括：
每隔预设时间根据预设数据量和上一次缓存的最后一条待下载数据的编号，获取本次缓存的待下载数据，并将获取到的所述本次缓存的待下载数据按照消息序列进行缓存。
6.如权利要求4所述的方法，其特征在于，所述将采集到的待下载数据按照预设序列号进行编号包括：
对采集到的待下载数据按照预设序列号进行编号，所述编号带有所述待下载数据的采集日期，并对编号后的待下载数据设置日期索引。
7.一种数据下载方法，其特征在于，所述方法包括：
根据业务属性配置数据分类流入条件；
将所述数据分类流入条件发送至上游系统，以使得上游系统根据所述数据分类流入条件对采集到的待下载数据进行分类汇总，所述待下载数据是按照消息队列的形式进行缓存的；
接收所述上游系统发送的对所述待下载数据分类汇总后的汇总数据，并根据所述数据分类流入条件将所述汇总数据保存到对应的数据目录中；
根据所述数据分类流入条件对采集到的待下载数据进行分类汇总，包括：
依次从缓存中的消息队列中获取待下载数据，并按照所述数据分类流入条件，将获取到的待下载数据进行分类汇总。
8.一种数据下载装置，其特征在于，包括：
数据采集模块，用于采集待下载数据；
数据缓存模块用于：将所述待下载数据按照消息队列的形式进行缓存；
分类汇总模块，用于根据获取到的下游系统配置的数据分类流入条件，对所述待下载数据进行分类汇总，获得汇总数据；
汇总数据下载模块，用于将所述汇总数据发送到所述下游系统，以使得所述下游系统基于所述数据分类流入条件将所述汇总数据保存到对应的数据目录中；
所述分类汇总模块具体用于：
依次从缓存中的消息队列中获取待下载数据，并按照所述数据分类流入条件，将获取到的待下载数据进行分类汇总。
9.一种数据下载装置，其特征在于，包括：
流入条件配置模块，用于根据业务属性配置数据分类流入条件；
流入条件发送模块，用于将所述数据分类流入条件发送至上游系统，以使得上游系统根据所述数据分类流入条件对采集到的待下载数据进行分类汇总，所述待下载数据是按照消息队列的形式进行缓存的；
汇总数据保存模块，用于接收所述上游系统发送的对所述待下载数据分类汇总后的汇总数据，并根据所述数据分类流入条件将所述汇总数据保存到对应的数据目录中；
根据所述数据分类流入条件对采集到的待下载数据进行分类汇总，包括：
依次从缓存中的消息队列中获取待下载数据，并按照所述数据分类流入条件，将获取到的待下载数据进行分类汇总。
10.一种数据下载处理设备，其特征在于，包括：至少一个处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现权利要求1-7任一项所述的方法。
11.一种外汇敞口数据下载系统，其特征在于，包括交易系统、敞口管理系统，其中：
所述交易系统包括数据采集单元、分类汇总单元，所述敞口管理系统包括分类预设单元；
所述分类预设单元用于基于外汇交易数据的业务属性，配置数据分类流入条件，并将所述数据分类流入条件发送至所述分类汇总单元；
所述数据采集单元用于从所述交易系统内采集外汇交易数据；
所述分类汇总单元用于根据所述分类预设单元发送的数据分类流入条件将采集到的外汇交易数据进行分类汇总，并将获得的汇总数据发送至所述敞口管理系统；
所述敞口管理系统根据所述数据分类流入条件将所述汇总数据保存到对应的敞口目录下；
所述交易系统还包括数据缓存单元用于将所述数据采集单元采集到的外汇交易数据按照消息队列的形式进行缓存；
所述分类汇总单元具体用于向所述数据缓存单元定期获取定量的外汇交易数据，并对获取到的外汇交易数据进行分类汇总。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如权利要求1-7任一项所述的方法。
CN202010757946.8A 2020-07-31 2020-07-31 数据下载方法、装置、设备及外汇敞口数据下载系统 Active CN111930744B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010757946.8A CN111930744B (zh) 2020-07-31 2020-07-31 数据下载方法、装置、设备及外汇敞口数据下载系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010757946.8A CN111930744B (zh) 2020-07-31 2020-07-31 数据下载方法、装置、设备及外汇敞口数据下载系统

Publications (2)

Publication Number Publication Date
CN111930744A CN111930744A (zh) 2020-11-13
CN111930744B true CN111930744B (zh) 2024-03-01

Family

ID=73316015

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010757946.8A Active CN111930744B (zh) 2020-07-31 2020-07-31 数据下载方法、装置、设备及外汇敞口数据下载系统

Country Status (1)

Country Link
CN (1) CN111930744B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112767139B (zh) * 2021-02-10 2024-02-13 中国工商银行股份有限公司 跨级敞口管理方法、装置、电子设备和介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101082976A (zh) * 2007-07-12 2007-12-05 中国工商银行股份有限公司 基于网络的结售汇敞口数据处理系统
CN106991087A (zh) * 2016-01-20 2017-07-28 阿里巴巴集团控股有限公司 一种分布式事物处理的方法、装置及系统
CN109947850A (zh) * 2019-03-12 2019-06-28 深圳灵图慧视科技有限公司 数据分发方法、装置和设备
CN110399345A (zh) * 2019-07-30 2019-11-01 山东浪潮通软信息科技有限公司 一种文件上传与管理方法
CN110704525A (zh) * 2019-09-12 2020-01-17 广联达科技股份有限公司 一种实现多系统间数据流转的方法、系统和介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101082976A (zh) * 2007-07-12 2007-12-05 中国工商银行股份有限公司 基于网络的结售汇敞口数据处理系统
CN106991087A (zh) * 2016-01-20 2017-07-28 阿里巴巴集团控股有限公司 一种分布式事物处理的方法、装置及系统
CN109947850A (zh) * 2019-03-12 2019-06-28 深圳灵图慧视科技有限公司 数据分发方法、装置和设备
CN110399345A (zh) * 2019-07-30 2019-11-01 山东浪潮通软信息科技有限公司 一种文件上传与管理方法
CN110704525A (zh) * 2019-09-12 2020-01-17 广联达科技股份有限公司 一种实现多系统间数据流转的方法、系统和介质

Also Published As

Publication number Publication date
CN111930744A (zh) 2020-11-13

Similar Documents

Publication Publication Date Title
CN110008018B (zh) 一种批量任务处理方法、装置及设备
CN107273266B (zh) 一种应用日志的处理方法及装置
CN107577420B (zh) 文件处理方法和装置、服务器
US20120035942A1 (en) Managing business relationships using a third-party service
CN105224445A (zh) 分布式跟踪系统
WO2013122964A1 (en) Providing configurable workflow capabilities
CN102999586A (zh) 一种网站推荐的方法和装置
CN110765165B (zh) 一种跨系统数据同步处理的方法、装置及系统
CN111177237B (zh) 一种数据处理系统、方法及装置
CN110389989B (zh) 一种数据处理方法、装置及设备
CN110610376A (zh) 行为数据的响应方法、装置、计算机设备及存储介质
CN109190025A (zh) 信息监控方法、装置、系统和计算机可读存储介质
CN111930744B (zh) 数据下载方法、装置、设备及外汇敞口数据下载系统
CN111179090A (zh) 一种交易数据处理方法、装置及设备
CN115114359A (zh) 用户数据处理方法及装置
CN110417869A (zh) 一种活动推送方法、装置及计算机设备
CN111240866B (zh) 一种业务数据处理方法及装置
CN111090974B (zh) 一种报表生成方法、装置及设备
CN112506887A (zh) 车辆终端can总线数据处理方法及装置
CN111177562A (zh) 一种目标对象的推荐排序处理方法、装置及服务器
CN112632168A (zh) 一种基于大数据技术架构的数据中台服务体系
US10348596B1 (en) Data integrity monitoring for a usage analysis system
US10706073B1 (en) Partitioned batch processing for a usage analysis system
Gupta Serverless Architectures with AWS: Discover how you can migrate from traditional deployments to serverless architectures with AWS
US20240311347A1 (en) Intelligent cloud portal integration

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant