CN109840844A - 一种基于fpga的金融大数据采集处理装置及系统 - Google Patents

Abstract

本发明涉及一种基于FPGA的金融大数据采集处理装置及系统，所述金融大数据采集处理装置包括FPGA板卡和存储器，所述FPGA板卡包括：控制中心，接收采集命令，并对采集数据进行处理；下载模块，响应控制中心的下载指令，进行页面下载；抽取模块，响应控制中心的抽取指令，对所述下载结果进行抽取；清洗模块，响应控制中心的清洗指令，对所述抽取结果进行清洗，根据所述清洗结果形成最终的采集数据，并将采集数据存入存储器；资源模块，存储有下载所需的资源；URL消重模块，响应控制中心的消重指令，基于清洗结果对所述资源模块存储的资源进行URL消重。与现有技术相比，本发明具有加速金融数据采集、提升数据价值等优点。

Description

一种基于FPGA的金融大数据采集处理装置及系统

技术领域

本发明涉及金融大数据处理技术领域，尤其是涉及一种基于FPGA的金融大数据采集处理装置及系统。

背景技术

随着信息化社会的发展，数据的量级呈现爆发式的增长，取得信息的渠道越来越多，获取信息的难度也越来越小。如何从海量信息中获取有价值的，需要的信息，逐渐成为一个重要的需求和技术方向。金融行业的数据由于其对于盈利模式、经营管理和客户服务带来的直接影响，越来越多的机构和从业者开始关注和探索金融大数据的分析和挖掘，通过对海量金融数据的创新应用，推动金融行业面向未来、更加智慧、可持续的发展模式。

金融大数据的数据来源主要包括互联网数据、政府大数据、行业大数据才及金融行业的数据积累。(1)互联网数据是目前大数据的主要来源。互联网数据的时效性往往高于传统统计数据。使用数据采集技术对社交网站、新闻、论坛、搜索引擎结果等信息的分析，往往能够消息正式发布之前看出蛛丝马迹。从互联网上搜集来的数据，一个很重要的特点是非结构化，不像传统的数据那样，每个变量定义清晰，一条一条地存储在数据库中。(2)政府大数据、行业大数据是金融大数据的重要来源。2013年6月，八国集团首脑在北爱尔兰峰会上签署了《开放数据宪章》，进一步向公众开放政府数据，其中，优先开放的高价值数据有：企业类、司法类、地球观测累、教育类、能源环境类、金融和合约、地理空间、全球发展、政府责任和民生、医疗卫生、科研、统计、社会流动性和福利、交通和基础设施。我国政府也在2015年5月印发了《2015年政府信息公开工作要点》，推进重点领域信息公开。目前，北京、上海的政府数据开放走在全国前列。(3)金融行业的数据积累可以作为金融大数据的有效补充。随着我国金融行业展业时间增长，产品、业务维度的拓宽，当今的交易过程产生的数据量已经变得非常大。中国金融交易市场经过近30年的发展，已经沉淀了大量数据，且近些年的产品创新、业务创新增加，使得当下交易过程中产生了大量的数据，这些数据是金融大数据有益的补充。

金融大数据主要特点是实时性和大规模，目前沪深两市每天4个小时的交易时间会产生几亿条以上逐笔成交数据，随着时间的积累数据规模非常可观，与一般日志数据不同的是这些数据在金融工程领域有较高的分析价值，金融投资研究机构需要经常对历史和实时数据进行挖掘创新，以创造和改进数量化交易模型，并将之应用在基于计算机模型的实时证券交易过程中，因此一般的数据库系统无法满足如此大规模和实时性，灵活性的要求。应用复杂性(包括高可用性、高性能，低延迟实时数据呈现、任意历史盘中实时数据挖掘和支持用户自定义脚本实现数据提取与运算)和数据规模(包括财务，金融+历史汇总交易数据、新闻资讯及研报以及每个交易日数据增量等)是数据存储方案面临的挑战。

随着金融市场的不断扩大发展，市场的交易品种不断丰富，从而产生的市场数据越来越多，这对金融大数据的关联性分析提出了一定的挑战。人们一般试图通过长期观察图表而对金融数据的运行规律形成定的理解。虽然在很多时候，有不少人能够通过自己的洞察力形成一些天才的见解，但是人脑在处理这些复杂信息时会有一些天生的缺陷，导致我们大部分时候还是处在懵懵懂懂的混沌之中。尤其是当数据曾显现出某种高维的状态时，人脑的天生结构使得我们的直觉随之无能为力。大数据挖掘和人工智能算法在最近的兴起，使得很多关联性分析策略中都加入了相关算法，而人工智能算法需要消耗大量的计算资源，而现有的基于CPU量化策略机运行起来都非常吃力，从而影响了策略的响应时间。如何对金融大数据进行高效采集、有效处理是本领域技术人员亟待解决的问题。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于FPGA的金融大数据采集处理装置及系统。

本发明的目的可以通过以下技术方案来实现：

一种基于FPGA的金融大数据采集处理装置，包括FPGA板卡和存储器，所述FPGA板卡包括：

控制中心，接收采集命令，并对所述采集数据进行处理；

下载模块，与所述控制中心连接，响应控制中心的下载指令，进行页面下载，并将下载结果反馈给控制中心；

抽取模块，与所述控制中心连接，响应控制中心的抽取指令，对所述下载结果进行抽取，并将抽取结果反馈给控制中心；

清洗模块，与所述控制中心连接，响应控制中心的清洗指令，对所述抽取结果进行清洗，并将清洗结果反馈给控制中心，根据所述清洗结果形成最终的采集数据，并将采集数据存入存储器；

资源模块，与所述控制中心连接，存储有下载所需的资源；

URL消重模块，与所述控制中心连接，响应控制中心的消重指令，基于清洗结果对所述资源模块存储的资源进行URL消重。

进一步地，所述控制中心包括依次连接的采集命令接收单元、下载调度策略单元、抽取调度策略单元、清洗调度策略单元和URL消重调度策略单元，其中，

所述下载调度策略单元，根据采集命令分配下载资源，并在接收到下载模块的下载结果后激活抽取调度策略单元；

所述抽取调度策略单元，根据当前的下载结果，调用抽取模块以设定抽取模式对下载结果进行抽取，并在接收到抽取模块的抽取结果后清洗调度策略单元；

所述清洗调度策略单元，根据抽取结果，调用清洗模块以设定清洗优先度对抽取结果进行清洗；

所述URL消重调度策略单元，根据资源模块存储的URL队列定时调用URL消重模块。

进一步地，所述抽取模块包括文本提取单元和URL提取单元。

进一步地，所述清洗模块包括文本清洗单元和URL清洗单元。

进一步地，所述资源模块存储有IP队列、COOKIE队列和URL队列。

进一步地，所述控制中心还包括：

数据处理单元，基于人工智能方法对存储器存储的采集数据进行分析。

进一步地，所述人工智能方法包括神经网络算法。

进一步地，所述采集数据包括舆情数据、行业新闻和黑天鹅事件数据。

本发明还提供一种基于FPGA的金融大数据系统，包括所述的金融大数据采集处理装置、对象交换机、配置客户端和应用客户端，其中，

所述对象交换机，作为所述金融大数据采集处理装置进行数据采集的通道；

所述配置客户端，对所述金融大数据采集处理装置进行配置，并发送采集命令；

所述应用客户端，接收所述金融大数据采集处理装置的采集数据及处理结果，并显示。

与现有技术相比，本发明具有以下有益效果：

1、本发明基于FPGA实现金融大数据的采集和解码，利用FPGA的并行运算能力，加速金融数据的采集，尤其是解决传统CPU对网络数据进行采集时遇到的资源占用率过高，速度慢的问题，同时解决了传统的金融数据采集存在的延时长，数据没有针对性，有效数据率低等问题。

2、本发明FPGA采用深度聚焦数据采集方式，可实现对所需特定方向的网络数据采集程序，抓取需要的信息。

3、本发明基于人工智能策略实现对金融大数据的建模分析，提升金融大数据的价值。通过人工智能策略，可以实现对数据进行建模、分析、挖掘，形成有价值的模型，助力金融交易策略。

附图说明

图1为本发明金融大数据采集处理装置的结构示意图；

图2为本发明实施例中采用的人工智能方法示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

本发明提供一种基于FPGA的金融大数据采集处理装置，包括FPGA板卡和存储器，FPGA板卡采用深度聚焦数据采集方式进行数据采集，采集数据包括舆情数据、行业新闻以及黑天鹅事件数据等。如图1所示，所述FPGA板卡包括：

控制中心1，接收采集命令，并对采集数据进行处理；

下载模块2，与控制中心连接，响应控制中心的下载指令，进行页面下载，并将下载结果反馈给控制中心；

抽取模块3，与控制中心连接，响应控制中心的抽取指令，对下载结果进行抽取，并将抽取结果反馈给控制中心；

清洗模块4，与控制中心连接，响应控制中心的清洗指令，对抽取结果进行清洗，并将清洗结果反馈给控制中心，根据清洗结果形成最终的采集数据，并将采集数据存入存储器；

资源模块5，与控制中心连接，存储有下载所需的资源；

URL消重模块6，与控制中心连接，响应控制中心的消重指令，基于清洗结果对资源模块存储的资源进行URL消重。

控制中心1包括依次连接的采集命令接收单元101、下载调度策略单元102、抽取调度策略单元103、清洗调度策略单元104和URL消重调度策略单元105，其中，下载调度策略单元102根据采集命令分配下载资源，接收下载模块2的反馈(失败或成功)，并在接收到下载模块2的下载结果后激活抽取调度策略单元103；抽取调度策略单元103根据当前的下载结果，调用抽取模块3以设定抽取模式对下载结果进行抽取，抽取模式包括文本抽取和URL抽取，并在接收到抽取模块的抽取结果后清洗调度策略单元104；清洗调度策略单元104根据抽取结果，调用清洗模块4以设定清洗优先度对抽取结果进行序的清洗；URL消重调度策略单元105根据资源模块5存储的URL队列定时调用URL消重模块6，避免内存中存储过多的URL。

抽取模块3包括文本提取单元301和URL提取单元302。抽取模块3根据控制中心1下发的抽取命令进行相应抽取操作，所述抽取命令包括页面源代码和抽取指标。抽取模块3根据抽取指标对源代码进行抽取。

清洗模块4包括文本清洗单元401和URL清洗单元402。文本清洗是根据预设的主题以及相对应的主题相关度算法，决定是舍弃文本，还是将文本保存入库。URL清洗是根据URL分析结果，预测当前URL所链接的页面是否与主题相关，若相关则将URL返回控制中心，反之丢弃此URL。

资源模块5存储有IP队列、COOKIE队列和URL队列等。

针对有些主题突出的页面被许多页面链接，从而导致大量重复下载此页面造成资源浪费和数据质量低下的情况，本装置调用URL消重模块6将重复的URL丢弃，将不重复的URL返回到资源模块的URL队列中。

控制中心1还包括数据处理单元，基于人工智能方法对存储器存储的采集数据进行分析。人工智能方法包括神经网络算法。神经网络技术因其具有的非线性映射，对于样本的自适应能力等优点，一经面世就受到了学术界很大程度的关注，随着其在模式识别、智能控制等工程领域所取得的一系列的成功，人们逐渐发现，神经网络擅于揭示数据间复杂的非线性映射关系的特性，为揭开金融市场中变量间的相互关系提供了有效的途径。

本实施例以BP神经网络为例，如图2所示为BP神经网络在FPGA中的运算过程。在FPGA中对BP神经网络进行设计，首先对其运算过程进行模块化的划分，并进行逐步一一实现，三层结构的神经网络可以实现一般的通用函数逼近和分类问题。在FPGA硬件实现神经网络中，主要对神经网络的硬件关键部分进行设计和实现，包括构成单个神经元模块、数据位的标识、激励函数的选择和实现，并且对网络的各个阶段计算流程进行分析研究以及仿真实现。

在我国股票市场发展的近二十多年历史中，行业间的轮动现象始终是投资者关注的热点，通过本发明的数据采集及处理过程，能够把握市场中行业间不断此消彼长的结构，从行业配对交易策略入手，准确预测相对表现强势的行业，不仅能在一定程度上揭示股票市场的运行规律，更能在实践中对投资起到良好的指导作用。

基于上述金融大数据采集处理装置可以实现一种基于FPGA的金融大数据系统，在具体部署应用过程中，对于金融行业从业技术工作人员来说，是比较便利的，主要包括金融大数据采集处理装置、对象交换机、配置客户端和应用客户端，其中，对象交换机，作为金融大数据采集处理装置进行数据采集的通道，可为金融公司对接交易所的交换机；配置客户端，对金融大数据采集处理装置进行配置，并发送采集命令，进行深度聚焦处理和人工智能数据处理应用；应用客户端，接收金融大数据采集处理装置的采集数据及处理结果，并显示。配置客户端和应用客户端可在一交易柜机或一服务器上实现，金融大数据采集处理装置通过PCIe接口连接交易柜机或者服务器。

极速硬件是金融大数据处理能力的保障。面对金融行业的海量大数据，人工智能算法和强大的计算能力对数据的处理是其中的核心技术。本发明使用人工智能算法和极速硬件FPGA为金融大数据处理提供了强大的计算能力，为数据相关性分析算法和金融风险预警算法提供了保障。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (9)

1.一种基于FPGA的金融大数据采集处理装置，其特征在于，包括FPGA板卡和存储器，所述FPGA板卡包括：

控制中心，接收采集命令，并对采集数据进行处理；

下载模块，与所述控制中心连接，响应控制中心的下载指令，进行页面下载，并将下载结果反馈给控制中心；

抽取模块，与所述控制中心连接，响应控制中心的抽取指令，对所述下载结果进行抽取，并将抽取结果反馈给控制中心；

清洗模块，与所述控制中心连接，响应控制中心的清洗指令，对所述抽取结果进行清洗，并将清洗结果反馈给控制中心，根据所述清洗结果形成最终的采集数据，并将采集数据存入存储器；

资源模块，与所述控制中心连接，存储有下载所需的资源；

URL消重模块，与所述控制中心连接，响应控制中心的消重指令，基于清洗结果对所述资源模块存储的资源进行URL消重。

2.根据权利要求1所述的基于FPGA的金融大数据采集处理装置，其特征在于，所述控制中心包括依次连接的采集命令接收单元、下载调度策略单元、抽取调度策略单元、清洗调度策略单元和URL消重调度策略单元，其中，

所述下载调度策略单元，根据采集命令分配下载资源，并在接收到下载模块的下载结果后激活抽取调度策略单元；

所述抽取调度策略单元，根据当前的下载结果，调用抽取模块以设定抽取模式对下载结果进行抽取，并在接收到抽取模块的抽取结果后清洗调度策略单元；

所述清洗调度策略单元，根据抽取结果，调用清洗模块以设定清洗优先度对抽取结果进行清洗；

所述URL消重调度策略单元，根据资源模块存储的URL队列定时调用URL消重模块。

3.根据权利要求1所述的基于FPGA的金融大数据采集处理装置，其特征在于，所述抽取模块包括文本提取单元和URL提取单元。

4.根据权利要求1所述的基于FPGA的金融大数据采集处理装置，其特征在于，所述清洗模块包括文本清洗单元和URL清洗单元。

5.根据权利要求1所述的基于FPGA的金融大数据采集处理装置，其特征在于，所述资源模块存储有IP队列、COOKIE队列和URL队列。

6.根据权利要求1所述的基于FPGA的金融大数据采集处理装置，其特征在于，所述控制中心还包括：

数据处理单元，基于人工智能方法对存储器存储的采集数据进行分析。

7.根据权利要求6所述的基于FPGA的金融大数据采集处理装置，其特征在于，所述人工智能方法包括神经网络算法。

8.根据权利要求1所述的基于FPGA的金融大数据采集处理装置，其特征在于，所述采集数据包括舆情数据、行业新闻和黑天鹅事件数据。

9.一种基于FPGA的金融大数据系统，其特征在于，包括如权利要求1所述的金融大数据采集处理装置、对象交换机、配置客户端和应用客户端，其中，

所述对象交换机，作为所述金融大数据采集处理装置进行数据采集的通道；

所述配置客户端，对所述金融大数据采集处理装置进行配置，并发送采集命令；

所述应用客户端，接收所述金融大数据采集处理装置的采集数据及处理结果，并显示。