CN111311404B - 一种基于分布式的流式金融交易风控系统及方法 - Google Patents

Abstract

本发明公开了一种基于分布式的流式金融交易风控系统及方法，能够充分发挥分布式的高吞吐特性和流式计算的低延时特性，解决当前场内金融衍生品市场交易量和交易延时带来的风控压力问题。其技术方案为：系统包括：数据订阅转换层模块，外部数据的订阅、转化以及作为消息中心层模块的数据生产者；消息中心层模块，数据的缓存和模块间的跨语言转化；分布式流式计算层模块，进行风控计算并将风控计算结果发回消息中心层模块进行缓存；风控展示层模块，实时监听消息中心层模块缓存的风控计算结果并展示。

Description

一种基于分布式的流式金融交易风控系统及方法

技术领域

本发明涉及一种金融交易软件，具体涉及基于流式的应用于分布式场内金融衍生品的风控系统及方法。

背景技术

金融衍生品是在货币、债券、股票等传统金融工具的基础上衍化和派生出来的，以杠杠和信用交易为主要的金融工具。我国金融衍生品交易市场主要分为场内市场和场外市场。场内市场主要交易标准化的期货合约和期权合约，以中国金融期货交易所、上海证券交易所、深圳证券交易所为主；场外市场交易的是非标准化的合约，包括远期、互换、场外期权等，以银行间市场和证券公司为主。

当前场内金融衍生品市场主要依托于中国金融期货交易所，简称中金所，市场的交易和结算职责均由中金所承担。整个场内衍生市场呈现出以下几个特征，其一、产品不断丰富，沪深300股指期货、十年期国债期货等产品相继上市。其二、市场不断开放，各类参与者逐步入市。其三、程序化和高频交易者占比扩大。整体的表现就是，整个市场的委托成交量稳步提升、交易延时逐步降低、实时交易风险更加难以监测，导致市场的风控压力在攀升。

发明内容

以下给出一个或多个方面的简要概述以提供对这些方面的基本理解。此概述不是所有构想到的方面的详尽综览，并且既非旨在指认出所有方面的关键性或决定性要素亦非试图界定任何或所有方面的范围。其唯一的目的是要以简化形式给出一个或多个方面的一些概念以为稍后给出的更加详细的描述之序。

本发明的目的在于解决上述问题，提供了一种基于分布式的流式金融交易风控系统及方法，能够充分发挥分布式的高吞吐特性和流式计算的低延时特性，解决当前场内金融衍生品市场交易量和交易延时带来的风控压力问题。

本发明的技术方案为：本发明揭示了一种基于分布式的流式金融交易风控系统，系统包括数据订阅转换层模块、消息中心层模块、分布式流式计算层模块、风控展示层模块，其中：

数据订阅转换层模块，用于外部数据的订阅、转化以及作为消息中心层模块的数据生产者；

消息中心层模块，用于数据的缓存和模块间的跨语言转化，数据的缓存包括数据订阅转换层模块和分布式流式计算层模块之间的数据缓存、分布式流式计算层模块和风控展示层模块之间的数据缓存，模块间的跨语言转化是通过消息中心层模块消除上下游编程语言的依赖；

分布式流式计算层模块，用于进行风控计算并将风控计算结果发回消息中心层模块进行缓存；

风控展示层模块，用于实时监听消息中心层模块缓存的风控计算结果并展示。

根据本发明的基于分布式的流式金融交易风控系统的一实施例，数据订阅转换层模块、消息中心层模块、分布式流式计算层模块、风控展示层模块之间的数据交互采用同一个数据格式协议，数据格式协议包块但不限于：Json、Parquet。

根据本发明的基于分布式的流式金融交易风控系统的一实施例，数据订阅转换层模块对金融交易系统的数据进行接收并对接收到的数据进行包括数据过滤、对齐、转换在内的数据预加工处理。

根据本发明的基于分布式的流式金融交易风控系统的一实施例，消息中心层模块采用分布式消息中心来实现，通过分布式消息中心与分布式流式计算层模块的配合实现数据消费的高并发，其中分布式消息中心的架构由多个消息节点构成，每个消息节点承接具体的数据缓存和消息节点间的数据备份。

根据本发明的基于分布式的流式金融交易风控系统的一实施例，分布式流式计算层模块采用分布式流式引擎实现，使用分布式流式引擎中的机制，机制包括但不限于：流式计算的业务时间、窗口机制、水印、广播、双流。

根据本发明的基于分布式的流式金融交易风控系统的一实施例，分布式流式计算层模块所采用的分布式架构由多个计算节点构成，每个计算节点承接具体的计算功能，分布式流式计算层模块通过多个计算节点来实现计算功能的高并发和高可靠。

根据本发明的基于分布式的流式金融交易风控系统的一实施例，风控展示层模块基于WebSocket监听的机制监听消息中心层模块的数据，并实时将分布式流式计算层模块的风控计算结果进行前端展示。

本发明还揭示了一种基于分布式的流式金融交易风控方法，在如上所述的系统上运行，方法包括：

步骤1：数据订阅转换层模块进行外部数据接收、预加工处理，再发送给消息中心层模块；

步骤2：消息中心层模块进行消息缓存；

步骤3：分布式流式计算层模块消费消息中心层模块的数据，进行风控计算，风控计算完成后将风控计算结果发回消息中心层模块进行缓存；

步骤4：风控展示层模块实时监听消息中心层模块缓存的风控计算结果。

根据本发明的基于分布式的流式金融交易风控方法的一实施例，步骤2中，消息中心层模块采用分布式的架构，分布式的架构由多个消息节点构成，其中每个消息节点承接具体的数据缓存和消息节点间的数据备份，消息中心层模块通过该多个消息节点来实现数据生产和消费的高并发以及数据的高可靠性。

根据本发明的基于分布式的流式金融交易风控方法的一实施例，步骤3中，分布式流式计算层模块采用分布式的架构，分布式的架构由多个计算节点构成，其中每个计算节点承接具体的计算功能，分布式流式计算层模块通过该多个计算节点实现计算功能的高并发。

本发明对比现有技术有如下的有益效果：本发明的系统涵盖了数据获取和预加工、数据缓存、分布式流式计算、风控展示的全生命周期流程。本发明提出了基于金融衍生品的数据特性对消息中心的主题和分区进行设计，提供分区有序的支持高并发的消息中心设计。此外，本发明提出了在分布式流式计算层使用业务时间(event time)、窗口(window)、水印(watermark)、广播(broadcast)、双流Join等多种手段综合解决复杂的金融风控业务场景问题。

附图说明

在结合以下附图阅读本公开的实施例的详细描述之后，能够更好地理解本发明的上述特征和优点。在附图中，各组件不一定是按比例绘制，并且具有类似的相关特性或特征的组件可能具有相同或相近的附图标记。

图1示出了本发明的基于分布式的流式金融交易风控系统的一实施例的系统架构示意图。

图2示出了本发明的基于分布式的流式金融交易风控系统的一实施例的风控流程示意图，即，本发明的基于分布式的流式金融交易风控方法的一实施例的流程图。

具体实施方式

以下结合附图和具体实施例对本发明作详细描述。注意，以下结合附图和具体实施例描述的诸方面仅是示例性的，而不应被理解为对本发明的保护范围进行任何限制。

图1示出了本发明的基于分布式的流式金融交易风控系统的一实施例的系统架构。本发明可具体应用在场内金融衍生品风控的场景中，本发明以场内金融衍生品(例如金融期货为例)风控为例进行说明。请参见图1，本实施例的系统包括：数据订阅转换层模块、消息中心层模块、分布式流式计算层模块、风控展示层模块。上述四个模块之间的数据交互均采用同一个数据格式协议，例如Json或者parquet等。

数据订阅转换层模块配置为：承担外部数据的订阅、转化以及作为消息中心层模块的数据生产者(即，发送数据给消息中心层模块)。数据订阅转换层模块涵盖金融交易系统各个数据接收模块，比如中金所交易系统的交易数据接收模块、上海证券交易所行情数据接收模块、深圳证券交易所行情数据接收模块、中央债券登记结算中心的债券数据接收模块等，同时涉及到上述数据的过滤、对齐、转换等数据预加工模块。

消息中心层模块配置为：承担数据的缓存和模块间的跨语言转化。数据的缓存包括数据订阅转换层模块和分布式流式计算层模块之间的数据缓存，分布式流式计算层模块和风控展示层模块之间的数据缓存。模块间的跨语言转化主要作用在于通过消息中心层模块来消除上下游编程语言的依赖(消息中心的上下游模块不再要求语言一致性)。消息中心层模块采用分布式消息中心来实现，通过分布式消息中心与分布式流式计算层模块的配合实现数据消费的高并发。具体实现方面，消息中心层模块采用Kafka、pulsar等分布式消息中心来实现。根据风控业务场景需要基于金融衍生产品、参与交易的会员和客户按照多个维度进行主题和分区的设计，通过数据冗余来实现高并发消费。

图1中所示的消息中心层模块采用分布式的架构，其由若干个消息节点(messagenode)构成，每个消息节点承接具体的数据缓存和消息节点间的数据备份，消息中心层模块通过多个消息节点来实现数据生产和消费的高并发以及数据的高可靠性。

分布式流式计算层模块是本发明的整个风控系统业务实现的核心模块，用于进行风控计算并将风控计算结果发回消息中心层模块进行缓存。分布式的特性可以有效解决未来新的金融衍生产品上市以及更多参与者带来的大流量的问题，流式计算的特性可以尽可能的提高风险预警的时效性，为市场监管者争分夺秒，及时防范整个市场的风险。

场内衍生品风控系统有几个业务特性：其一、业务时间(event time)导向的计算，所有的计算过程均以数据中的业务时间为准、不以系统处理的时间(process time)为准。其二、分布式流式计算层接收到的数据必须有序(order)。其三、数据量大，计算延迟要求必须尽可能的小。基于上述三个特性，分布式流式计算层模块采用Flink、StructuredStreaming或者Storm等分布式流式引擎实现，同时需要充分利用流式计算的业务时间(event time)、窗口机制(window)、水印(watermark)、广播(broadcast)、双流Join等技术手段。

图1中所示的分布式流式计算层模块采用分布式的架构，其由若干个计算节点(computing node)构成，每个计算节点承接具体的计算功能，分布式流式计算层模块通过多个计算节点来实现计算功能的高并发和高可靠。

风控展示层模块配置为用于实时监听消息中心层模块缓存的风控计算结果并展示，风控展示层模块是风控系统的可视化表现。基于WebSocket监听的机制实时监听消息中心层模块的数据，并实时将分布式流式计算层模块的风控计算结果进行前端展示。前端展示不限于使用Vue、React、Angular等框架。

图2示出了本发明的基于分布式的流式金融交易风控系统的一实施例的风控方法的流程，即，本发明的基于分布式的流式金融交易风控的方法的实施例的流程。请参见图2，本发明的系统后台流程如下：

步骤1：数据订阅转换层模块进行外部数据接收、预加工处理、发送给消息中心层模块。

步骤2：消息中心层模块进行消息缓存。

消息中心层模块采用分布式的架构，其由若干个消息节点(message node)构成，每个消息节点承接具体的数据缓存和消息节点间的数据备份，消息中心层模块通过多个消息节点来实现数据生产和消费的高并发以及数据的高可靠性。

步骤3：分布式流式计算层模块消费消息中心层模块的数据，进行风控计算，计算完成后将风控计算结果发回消息中心层模块进行缓存。

分布式流式计算层模块采用分布式的架构，其由若干个计算节点(computingnode)构成，每个计算节点承接具体的计算功能，分布式流式计算层模块通过多个计算节点来实现计算功能的高并发。

步骤4：风控展示层模块实时监听消息中心层模块缓存的风控计算结果。

尽管为使解释简单化将上述方法图示并描述为一系列动作，但是应理解并领会，这些方法不受动作的次序所限，因为根据一个或多个实施例，一些动作可按不同次序发生和/或与来自本文中图示和描述或本文中未图示和描述但本领域技术人员可以理解的其他动作并发地发生。

本领域技术人员将进一步领会，结合本文中所公开的实施例来描述的各种解说性逻辑板块、模块、电路、和算法步骤可实现为电子硬件、计算机软件、或这两者的组合。为清楚地解说硬件与软件的这一可互换性，各种解说性组件、框、模块、电路、和步骤在上面是以其功能性的形式作一般化描述的。此类功能性是被实现为硬件还是软件取决于具体应用和施加于整体系统的设计约束。技术人员对于每种特定应用可用不同的方式来实现所描述的功能性，但这样的实现决策不应被解读成导致脱离了本发明的范围。

结合本文所公开的实施例描述的各种解说性逻辑板块、模块、和电路可用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立的门或晶体管逻辑、分立的硬件组件、或其设计成执行本文所描述功能的任何组合来实现或执行。通用处理器可以是微处理器，但在替换方案中，该处理器可以是任何常规的处理器、控制器、微控制器、或状态机。处理器还可以被实现为计算设备的组合，例如DSP与微处理器的组合、多个微处理器、与DSP核心协作的一个或多个微处理器、或任何其他此类配置。

结合本文中公开的实施例描述的方法或算法的步骤可直接在硬件中、在由处理器执行的软件模块中、或在这两者的组合中体现。软件模块可驻留在RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动盘、CD-ROM、或本领域中所知的任何其他形式的存储介质中。示例性存储介质耦合到处理器以使得该处理器能从/向该存储介质读取和写入信息。在替换方案中，存储介质可以被整合到处理器。处理器和存储介质可驻留在ASIC中。ASIC可驻留在用户终端中。在替换方案中，处理器和存储介质可作为分立组件驻留在用户终端中。

在一个或多个示例性实施例中，所描述的功能可在硬件、软件、固件或其任何组合中实现。如果在软件中实现为计算机程序产品，则各功能可以作为一条或更多条指令或代码存储在计算机可读介质上或藉其进行传送。计算机可读介质包括计算机存储介质和通信介质两者，其包括促成计算机程序从一地向另一地转移的任何介质。存储介质可以是能被计算机访问的任何可用介质。作为示例而非限定，这样的计算机可读介质可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁存储设备、或能被用来携带或存储指令或数据结构形式的合意程序代码且能被计算机访问的任何其它介质。任何连接也被正当地称为计算机可读介质。例如，如果软件是使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)、或诸如红外、无线电、以及微波之类的无线技术从web网站、服务器、或其它远程源传送而来，则该同轴电缆、光纤电缆、双绞线、DSL、或诸如红外、无线电、以及微波之类的无线技术就被包括在介质的定义之中。如本文中所使用的盘(disk)和碟(disc)包括压缩碟(CD)、激光碟、光碟、数字多用碟(DVD)、软盘和蓝光碟，其中盘(disk)往往以磁的方式再现数据，而碟(disc)用激光以光学方式再现数据。上述的组合也应被包括在计算机可读介质的范围内。

提供对本公开的先前描述是为使得本领域任何技术人员皆能够制作或使用本公开。对本公开的各种修改对本领域技术人员来说都将是显而易见的，且本文中所定义的普适原理可被应用到其他变体而不会脱离本公开的精神或范围。由此，本公开并非旨在被限定于本文中所描述的示例和设计，而是应被授予与本文中所公开的原理和新颖性特征相一致的最广范围。

Claims (6)

1.一种基于分布式的流式金融交易风控系统，其特征在于，系统包括数据订阅转换层模块、消息中心层模块、分布式流式计算层模块、风控展示层模块，其中：

数据订阅转换层模块，用于外部数据的订阅、转化以及作为消息中心层模块的数据生产者；

消息中心层模块，用于数据的缓存和模块间的跨语言转化，数据的缓存包括数据订阅转换层模块和分布式流式计算层模块之间的数据缓存、分布式流式计算层模块和风控展示层模块之间的数据缓存，模块间的跨语言转化是通过消息中心层模块消除上下游编程语言的依赖；

分布式流式计算层模块，用于进行风控计算并将风控计算结果发回消息中心层模块进行缓存；

风控展示层模块，用于实时监听消息中心层模块缓存的风控计算结果并展示；

其中，消息中心层模块采用分布式消息中心来实现，通过分布式消息中心与分布式流式计算层模块的配合实现数据消费的高并发，其中分布式消息中心的架构由多个消息节点构成，每个消息节点承接具体的数据缓存和消息节点间的数据备份；

其中，分布式流式计算层模块采用分布式流式引擎实现，使用分布式流式引擎中的机制，机制包括但不限于：流式计算的业务时间、窗口机制、水印、广播、双流，分布式流式计算层模块所采用的分布式架构由多个计算节点构成，每个计算节点承接具体的计算功能，分布式流式计算层模块通过多个计算节点来实现计算功能的高并发和高可靠。

2.根据权利要求1所述的基于分布式的流式金融交易风控系统，其特征在于，数据订阅转换层模块、消息中心层模块、分布式流式计算层模块、风控展示层模块之间的数据交互采用同一个数据格式协议，数据格式协议包块但不限于：Json、Parquet。

3.根据权利要求1所述的基于分布式的流式金融交易风控系统，其特征在于，数据订阅转换层模块对金融交易系统的数据进行接收并对接收到的数据进行包括数据过滤、对齐、转换在内的数据预加工处理。

4.根据权利要求1所述的基于分布式的流式金融交易风控系统，其特征在于，风控展示层模块基于WebSocket监听的机制监听消息中心层模块的数据，并实时将分布式流式计算层模块的风控计算结果进行前端展示。

5.一种基于分布式的流式金融交易风控方法，在如权利要求1至4中任一项所述的系统上运行，其特征在于，方法包括：

步骤1：数据订阅转换层模块进行外部数据接收、预加工处理，再发送给消息中心层模块；

步骤2：消息中心层模块进行消息缓存，其中消息中心层模块采用分布式的架构，分布式的架构由多个消息节点构成，其中每个消息节点承接具体的数据缓存和消息节点间的数据备份，消息中心层模块通过该多个消息节点来实现数据生产和消费的高并发以及数据的高可靠性；

步骤3：分布式流式计算层模块消费消息中心层模块的数据，进行风控计算，风控计算完成后将风控计算结果发回消息中心层模块进行缓存；

步骤4：风控展示层模块实时监听消息中心层模块缓存的风控计算结果。

6.根据权利要求5所述的基于分布式的流式金融交易风控方法，其特征在于，步骤3中，分布式流式计算层模块采用分布式的架构，分布式的架构由多个计算节点构成，其中每个计算节点承接具体的计算功能，分布式流式计算层模块通过该多个计算节点实现计算功能的高并发。