CN111899106A - 一种期货大数据可视分析系统 - Google Patents

Abstract

本发明公开一种期货大数据可视分析系统，包括期货时空事件筛选模块、期货时空事件概览模块、期货时间序列可视化模块、期货时间序列事件抽取模块和共现模式挖掘模块；期货时空事件筛选模块中，用户能够根据期货商品数据的更新频率，以及期货商品数据所属的种类；期货时空事件概览模块用于实现对期货数据进行聚类并可视化；期货时间序列可视化模块用于实现将选中期货数据按时间轴进行可视化；期货时间序列事件抽取模块用于实现由使用者设置期货数据变化的高、中、低范围；共现模式挖掘模块用于实现挖掘出与选中期货数据变化相近的期货，并将这些与选中期货变化相似的期货按相似程度由高到低进行排序。

Description

一种期货大数据可视分析系统

技术领域

本发明涉及时间序列分析，时空数据挖掘，数据可视化领域，特别是涉及一种期货大数据可视分析系统。

背景技术

期货，通常指的是期货合约，是一份合约。由期货交易所统一制定的、在将来某一特定时间和地点交割一定数量标的物的标准化合约。这个标的物，又叫基础资产，是期货合约所对应的现货，可以是某种商品，如铜或原油，也可以是某个金融工具，如外汇、债券，还可以是某个金融指标，如三个月同业拆借利率或股票指数。期货交易是市场经济发展到一定阶段的必然产物。

期货市场是按达成的协议交易并按预定日期交割的交易场所或领域。现货与期货的显著区别是，期货的交割期放在未来，而价格、交货及付款的数量、方式、地点和其他条件是在即期由买卖双方在合同中规定的，商品及证券均可在期货市场上交易。虽然合同已经签订，但双方买卖的商品可能正在运输途中，也可能正在生产中，甚至可能还没有投入生产过程，卖者手中可能有商品或证券，也可能没有商品或证券。

期货市场是一个高风险与高收益并存的市场，因此亟需一种对各种期货商品进行数据分析的软件，以更好地了解期货市场风险。

一图胜过千言。人类从外界获得的信息约有80％以上来自于视觉系统，当大数据以直观的图形形式展示在分析者面前时，分析者往往能够一眼洞悉数据背后隐藏的信息并将其转化为知识，而机器却很难理解其涵义。因此，大数据可视分析是大数据分析不可或缺的重要手段和工具。事实上，在科学计算可视化领域以及传统的商业智能领域，可视化一直是重要的方法和手段。然而，这些研究领域并未深入地结合人机交互的理论和技术，因此难以全面地支持可视分析的人机交互过程。

关于D3.JS：D3(Data-Driven Document)是用于构建自定义数据可视化的JavaScript库，借助HTML,CSS和SVG展示数据，兼容主流浏览器，具有良好的可移植性。允许绑定任意数据到DOM，以数据驱动转换应用到文档中。它为编程人员提供了丰富实用的工具(或组件)。

D3.js的技术原理是通过预先建立好嵌入网页中的JavaScript函数来选择网页元素、建立SVG元素、调整CSS来呈现资料，并且也可以设定动画、动态改变组件状态或加入工具提示来完成使用者互动的功能。使用简单的D3.js函数就能够将大型的数据资料与SVG物件进行绑定，并且能生成格式化文本和各种图表。其数据资料的格式可以是JSON、CSV(以逗号分隔的资料)或GeoJSON，也可以通过自己写JavaScript函数来读取其他或自定义格式的资料，例如Shapefile。

关于Vue.js：Vue是用于构建交互式Web界面的工具库，是一个构建数据驱动的Web界面渐进式框架，该框架遵循CMD规范，并且提供的设计模式为MVVM模式(Model->View->View-Model)和一个可组合的组合型组件系统，具有简单的、灵活的API(接口)。该框架继承了React的虚拟DOM技术和Angular的双向数据绑定技术，是一款较新的功能性框架。

空间时间序列是许多领域(如经济统计和环境科学)处理的常见数据类型。已有许多研究着眼于发现和分析时间序列中的各种事件。“事件”一词是指由连续属性值形成的特定模式。将重点放在事件分析的进一步步骤上：发现事件位置之间的时间关系模式，即在两个位置发生的事件之间存在特定时间关系(相同时间，之前或之后)的重复情况。这可以为理解事件的形成和传播机制以及空间位置之间的相互依赖性提供重要线索。

发明内容

本发明的目的是为了克服现有技术中的不足，提供一种期货大数据可视分析系统。

本发明的目的是通过以下技术方案实现的：

一种期货大数据可视分析系统，包括应用程序端和网页应用端，所述网页应用端包括后端和前端，所述后端为数据处理模块，前端基于D3.js和Vue.js技术制作，包括期货时空事件筛选模块、期货时空事件概览模块、期货时间序列可视化模块、期货时间序列事件抽取模块和共现模式挖掘模块；

所述期货时空事件筛选模块中，用户能够根据期货商品数据的更新频率，以及期货商品数据所属的种类，筛选出想要进行投影比较的期货商品数据；

所述期货时空事件概览模块用于实现对期货数据进行聚类并可视化；

所述期货时间序列可视化模块用于实现将选中期货数据按时间轴进行可视化，通过折线图形式展现期货数据随时间的变化情况；

所述期货时间序列事件抽取模块用于实现由使用者设置期货数据变化的高、中、低范围，用可视化方式显示出在同一时间段内，变化属于该范围的期货数占整个选定期货总数的百分比；

所述共现模式挖掘模块用于实现挖掘出与选中期货数据变化相近的期货，并将这些与选中期货变化相似的期货按相似程度由高到低进行排序。

与现有技术相比，本发明的技术方案所带来的有益效果是：

1.数据中蕴含着各种类型的知识，这些潜在知识只有通过深入分析才能得到。未来人们的决策将日益依赖于数据分析的结果，而非单纯的经验和直觉。本系统通过对数据源进行预处理，并将数据以可视化的方法进行呈现，方便用户多角度、直观地观察大宗商品的各项情况。

2.该系统专门为期货数据设计，并设计了符合人类认知规律的各种图形。通过数据收集、清洗，以及降维、聚类等算法对数据进行计算，方便用户更好地了解期货市场风险。通过共现挖掘算法，开展期货指标预测，为企业的投资、融资等金融决策提供重要参考。

3.该系统提出了一种探索期货时间序列中共现模式的分析框架，该框架具有灵活的事件提取方式和数据展示形式。该系统首先将共现期货商品建模为两个事件集之间的时间关系，并提出了一种量化关系强度的方法。该系统集成了多个新颖的可视化组件，并允许分析人员在事件提取和共现探索两个阶段间无缝切换。

附图说明

图1是本发明系统总体设计图，包括应用程序端和网页应用端，所述网页应用端包括后端和前端；

图2是期货时空事件概览模块的整体，数据会被投影到右侧的散点图上。

图3是期货时间序列可视化模块，在期货时空事件概览模块中选中的点会在这个模块被投影成折线图。

图4是期货时间序列事件抽取模块，根据左侧的滑动条，折线图中的柱状图会显示出在特定时间段，属于特定范围的期货数量占所选期货总数的百分比。

图5是共现模式挖掘模块，每个卡片上代表一条与时间序列抽取模块中拖动条范围和贡献模式探索模块中选定数据变化范围相符的期货数据。

图6是系统整体流程，展示了从数据源，经过数据接口和数据处理层到数据展示层的系统工作流程。

图7是商品数据库关系图，使用SQL Server关系数据库管理系统。

图8是系统交互设计图，使用缩略图的形式展示用户操作系统的过程。

图9是共现模式分析框架，包括事件视图、候选视图和共现模式探索3部分。

图10是链路生成算法示意图。使用该算法可以查询在一个时间周期内与目标事件相关的事件。

具体实施方式

以下结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

一种期货大数据可视分析系统，见图1，包括应用程序端和网页应用端，网页应用端包括后端和前端，所述后端为数据处理模块，前端基于D3.js和Vue.js技术制作，包括期货时空事件筛选模块、期货时空事件概览模块、期货时间序列可视化模块、期货时间序列事件抽取模块和共现模式挖掘模块；

关于期货时空事件概览模块，见图2；

通过抽取技术来定义数据中的不同事件，进而探索数据集中的子模式。事件抽取技术是从非结构化信息中抽取出用户感兴趣的事件，并以结构化的形式呈现给用户，在进行抽取之前，预先定义好目标事件的类型以及每种类型的具体结构。

关联模式挖掘的目标是确定不同期货商品组之间的关联，可以直观地将其视为商品之间的k-路相关性，通过对数据进行降维聚类等操作，对项目集合的频率进行关联级别的量化。该系统需要发现不同商品对象之间最高的相关性组合，以便后续对数据进行联合探索。

系统需要将聚类数据组中的每个数据替换为平面上一个的点来传达空间信息，组中的对象根据它们的实际空间坐标被绘制在相应的区间内，同一组内的对象在平面上距离近，不同组的对象在平面上距离远，通过对数据进行概览可视化直观地展示全体数据的变化趋势

关于期货时间序列可视化模块，见图3；

期货商品的详细数据格式为时间序列数据，时间序列(或称动态数列)是指将同一统计指标的数值按其发生的时间先后顺序排列而成的数列，时间序列分析的主要目的是根据已有的历史数据对未来进行预测。本系统需要在整体数据进行概览展示之后，展示每个期货商品的详细数据。

关于期货时间序列事件抽取模块，见图4；

为了增加系统的交互性，方便用户按照自己的需要对数据进行分析，将事件抽取系统设计为可以由用户自由拖动的滑动条，并且使用不同颜色来对拖动条进行标识。当用户改变拖动条的值范围，可以实时改变系统事件抽取范围。

关于共现模式挖掘模块，见图5；

为了更好地展示事件抽取的效果，使用事件概览模块展示事件抽取作用于全体数据的实时效果，当用户确定事件范围后，实时改变概览模块不同对象的投影位置，以达到良好的交互效果。

选择某个商品对象，再通过事件抽取范围条，确定不同事件值域。在直角坐标轴上可视化展示每个数据对象的分类属性以及相互之间的距离关系，方便用户直观便捷的进行交互式共现模式分析。

具体的，本发明的整体设计思路如下：

1.1总体设计；系统整体流程如图6所示。首先从数据库中读取原始商品的时间序列数据，经过数据清洗和归一化处理之后，对数据进行降维、聚类等操作得到用于分析的数据，再由前端系统进行数据可视化展示。

1.2数据库设计；商品数据库实体关系设计如图7所示。使用索引表存储全部数据对象的描述信息，包括地点、商品名，起始时间、结束时间，并且记录该商品对象存储在哪个详细表中。每个商品对象的详细数据用另一张表记录，该表记录该对象的详细数值，不同的商品对象的更新频率不同，包括日、周、月、季度等。不同商品的数值类型不同，包括价格、存量、交易量等。

1.3界面设计

1.3.1期货时空事件概览模块

使用散点图的形式展示投影的空间模式，便于分别将日期和不同事件范围的数据对象进行统一对比。使用散点图中不同的点的距离表示矩阵中每个商品的相似程度，并可以根据事件范围拖动条实时调整概览模式，增强系统交互性。用户可以在散点图中圈选靠近的点群作为基础数据，在系统的其他模块中分析这个点群包含的数据模式。

1.3.2期货时间序列可视化模块

使用折线图在直角坐标系中对时间序列数据进行展示，直观地为用户传达不同商品的值域变化范围，以及其随时间的走势情况。将不同商品的折线图展示在同一个坐标系，方便用户对不同的商品变化情况进行交互式比较。使用条形图展示事件抽取作用于不同商品的效果，与时间序列展示模块共用一套坐标轴，可以直观地显示每一周的事件变化情况，方便用户的交互式探索。

1.3.3共现模式挖掘模块

当用户选择目标商品和目标事件后，在系统上显示与其最相关的多个商品对象卡片，并且显示不同范围内的关联强度。排在最左侧的卡片表示与目标对象最接近的商品，从左至右关联强度依次降低。卡片设置为可以拖动的效果，便于用户查看关联效果的变化情况。

1.4交互设计

如图8所示，第一部分散点图表示全部商品的投影概览视图，每个点代表一个商品对象，任意两点之间的距离表示其代表的对象之间的相关性。圈选部分点，会在中间坐标轴中展示这些商品的时间序列数据，点击某个商品的时间序列，会在最下方显示与其共现次数最多的商品，以及共现强度关系，从左至右共现强度下降。

对大宗商品进行分析时，需要从多个维度进行综合分析。由于维度种类繁多，大宗商品的分析需要全面考虑各个维度的具体情况，由此提出对于大宗商品的多维数据可视化框架。该过程主要由数据预处理，数据计算和界面展示等三个步骤组成。

具体的，本发明系统的整体实现步骤如下：

2.1接口实现

在数据源中选择与大宗商品期现货价格有关的多个属性，并在每个交易时间节点上建立数据矩阵，数据矩阵中包含在该时间节点下大宗商品多个属性值。

假设一个空间对象为O＝(o_1，o_2，...，o_m)，一个时间间隔为T＝(t_1，t_2，...，t_n)，将观测数据集τ建模为矢量集Γ＝{A_ij|o_i∈O，t_j∈T}，其中，o_1代表一个对象固定的空间坐标，t_j代表一个对象的时间点。A_ij＝(a_1，a_2，...，a_k)是在时间点t_j由观测属性的实例组成的属性向量o_i，也就是在时间点t_j观察到的由不同属性坐标O＝(o_1，o_2，...，o_m)组成的属性向量A_ij。

在实际数据中，每一种大宗商品为一个对象o_n，所有大宗商品的集合构成了空间对象O。对象的空间坐标为经纬度，每种大宗商品中包含现货价格、期货价格等方面的信息称为属性a_k，在某一时间点下，该种商品的所有属性信息构成A_ij，所有对象的时间序列构成了一个结构化的数据立方体O×T×A。在数据源中选择与大宗商品期现货价格有关的多个属性，将以日、周、月、季度更新的期货现货价格数据，全部归一化为以周更新。为每周期货对象建立数据矩阵，矩阵内容包括，该周数据均值和该周价格相较于上一周价格涨跌变化率。

2.2数据处理实现

2.2.1降维

这里采用Shadoan等人提出的一种分析不同维度下数据关系的降维方式,将大宗商品中每个交易时间节点的数据立方体O×T×A转换为平面A×T。应用t-SNE算法和欧几里得距离

来计算维度投影。假设要利用t-SNE算法将大宗商品的m维数据(D＝(x^((1))，x^((2))，...，x^((m))))下降到2维。首先将n维样本集合进行中心化，然后计算协方差矩阵并对其进行特征值分解，从结果中取出最大的n个特征值对应的特征向量(w_1，w_1，...，w_(n^′))，将特征向量标准化，得到特征矩阵W，用特征矩阵将每对每个样本x^((i))进行转换，最终得到n维的数据集D²＝W^Tx^((1))，W^Tx^((2))，...，W^Tx^((m)))。t-SNE算法可能因为波动导致投影坐标的主导符号的随机变化，因此，利用Jackle提出的算法来调整主导符号，从而使对象的坐标变化连续。

2.2.2聚类

对降维后的具有相似投影坐标的对象聚集在一个组中，将垂直轴分成几个区间，并将位于一个区间的对象聚类为一个组，从而形成一个表格结构，这将A×T转换为G×T，G×T＝{G_ij|i∈[1，K]，t_i∈T}，其中K是组的数量。垂直和水平索引i和j分别表示每个组的值范围和时间点，显然，组中的对象具有相似的属性。

2.2.3空间映射

将数据中的每个组替换为地图上一个具体的点来传达空间信息，组中的空间对象根据它们的实际空间坐标被绘制在相应的地图上，不同的对象被定位在地图中的不同地方。的方法是利用地图作为具体的可视化组件来表示一个组，G×T可以用公式M×T＝{M_ij|i∈[1，K]，t_i∈T}代替，其中i，j和K已经在降维过程中定义过，这里不再赘述。G×T和M×T具有相同的表结构，组G_ij的对象可以根据它们的空间坐标直接绘制在地图M_ij位置上。

2.3模块实现

2.3.1期货时空事件概览模块

期货时空事件概览模块是一幅散点图，每个点表示一条商品数据，任意两点距离越近表示此两点代表的商品价格变化规律越相近。通过对原始商品数据，应用t-SNE算法进行降维处理，之后投影到二维平面，会形成许多簇，用户可以使用圈选工具，选择自己感兴趣的聚类簇，进而在其他模块中进一步分析这些数据。本部分数据通过降维和聚类完成，使用技术包括Python3和SKLearn机器学习库。界面由D3.js库完成，包括使用line线段组件绘制表格和选中商品连线操作，使用circle组件完成对散点图的绘制，以及axis坐标轴组件对点位的映射操作。

2.3.2期货时间序列可视化模块

使用折线图展示了全部商品的时间序列数据，横坐标表示日期，纵坐标表示商品每周的变化率。使用D3的axis坐标轴组件，和多条line线段组件绘制时间序列折线图。

2.3.3期货时间序列事件抽取模块

为每周的变化率定义了“高”、“中”、“低”三种事件。使用拖动条可以调节变化率的三种事件定义范围。在拖动条确定“高”“中”“低”三种事件后，坐标轴上会自动为每周添加两个柱状图，分别是从下向上，和从下向上展示数据，柱状图的高度分别表示在对应周，有多少商品属于低变化率范围和高变化率范围。由于根据用户的设定值，实时计算柱状图的高度需要较长时间，因此提前将不同“高”“中”“低”范围值各种组合的柱状图高度计算好，存储在文件中。

本模块与期货时间序列可视化模块共用同一套坐标轴，并使用D3的Bar组件对每个事件进行绘制。由于需要用户对事件范围进行定义，需要设计每一个Bar监听拖动条的响应事件，若根据用户定义的事件范围进行实时计算，会造成系统的卡顿，为了使得系统具有流畅的视觉效果，应该对全部事件范围组合进行预计算，预计算部分由Python3完成。

2.3.4共现模式挖掘模块

共现探索视图包含一个可以展示抽取模式C*j的共现列表，模式C*j用于说明目标位置l*和其他任意位置lj之间的关系。共现探索视图还包括一系列可用于控制模式提取和浏览过程的子组件，其中一个控件允许分析人员指定第二个相关谓词Q。因此，分析人员只需要选择属性值的高，中或低子范围，此时，属于这组相关事件的E(Q)会被突出显示。

共现列表包含一组水平排列的图形，每个图形代表位置lj(i＜j＜m)的共现模式C*j。标志符号涉及条形图、比例符号，图形中圆圈的大小表示s*，即模式C*j相对于l*位置的关联强度。附着在圆上的环段的角度大小显示为sj＝|C*j|/E*(P)|，即模式C*j相对于lj的强度，同时显示s*和sj可以更好地表示共现模式。因此，较大的s*和较小的sj意味着|Ej(Q)|＞＞|E*(Q)|，即较高的s*可能偶尔由Ej(Q)的频繁出现而产生，而较大的s*和sj反映了lj和l*之间更强的共现关系。圆圈的灰度阴影编码位置lj和目标位置l*之间的距离；较深的阴影表示较小的距离。在条形图中，垂直轴表示时间，每个条形对应一个时间步长。条的长度表示在相应的时间步长处在位置lj处获得的属性值，该设计提供了有关每个位置lj的更详细的上下文信息。

具体的，关于共现探索模块的设计

3.1共现模式分析框架

共现探索模块中共现(co-occurrence)探索模式的技术方案为：共现模式分析框架、共现模式范式、链路生成算法。共现探索模式框架如图9所示，共现模式分析框架包括事件视图和候选视图，事件视图和候选视图独立生成，二者结合可以有效地探索共现模式。事件视图为原始数据集的时空概览，在二维平面内，用户可以看到与目标事件有关的属性，分析与目标事件可能存在相关关系的候选对象视图。

3.2共现模式范式

假定目标事件为E_t,即Target Event的缩写，共现事件为E_co，即Co-occuranceEvent的缩写。从本质上来讲，当设定的发生目标事件是E_t时，其他相关E_co的应产生相关的关联模式因子，通过这样的研究，可以探索E_co和E_t之间可能出现的共现模式。

3.3共现事件E_co

E_co可以是一系列可以共享共同属性的对象，这些对象在E_t发生时同时发生，可以是不同范围内的一系列属性值，当E_t发生时，这些属性值可能总是发生在分配的对象上。也就是说，属性和对象都可以被查询到。该查询机制允许用户预先分配属性或对象。例如，用户可以查询任何对象上发生的属性(除了E_t对象外)，或查询与E_t属性值相同或不同的对象。查询是在预先选定的候选项(属性或对象)上执行的，因此在缩小的搜索范围内，依旧支持实时分析。用户设置E_t和E_co之间的“时间间隔”，以允许候选项在视图上连接它们，用户也可以设定他们在同一时间点发生。此外，查询中的时间间隔可以是正数或负数，负时间间隔意味着查询的E_co可能触发了E_t的发生，正时间间隔意味着E_t可能触发了E_co的发生。因此，时间间隔可能意味着E_t在E_co之后发生，也可能是E_t在E_co之前发生。

3.4链路生成算法

若选定目标事件e，共现探索模式可以自动查询在一个时间周期内与目标事件相关的事件，从而得到集合E_t。该过程的具体算法如图10所示。

本发明并不限于上文描述的实施方式。以上对具体实施方式的描述旨在描述和说明本发明的技术方案，上述的具体实施方式仅仅是示意性的，并不是限制性的。在不脱离本发明宗旨和权利要求所保护的范围情况下，本领域的普通技术人员在本发明的启示下还可做出很多形式的具体变换，这些均属于本发明的保护范围之内。

Claims (1)

1.一种期货大数据可视分析系统，其特征在于，包括应用程序端和网页应用端，所述网页应用端包括后端和前端，所述后端为数据处理模块，前端基于D3.js和Vue.js技术制作，包括期货时空事件筛选模块、期货时空事件概览模块、期货时间序列可视化模块、期货时间序列事件抽取模块和共现模式挖掘模块；

所述期货时空事件筛选模块中，用户能够根据期货商品数据的更新频率，以及期货商品数据所属的种类，筛选出想要进行投影比较的期货商品数据；

所述期货时空事件概览模块用于实现对期货数据进行聚类并可视化；

所述期货时间序列可视化模块用于实现将选中期货数据按时间轴进行可视化，通过折线图形式展现期货数据随时间的变化情况；

所述期货时间序列事件抽取模块用于实现由使用者设置期货数据变化的高、中、低范围，用可视化方式显示出在同一时间段内，变化属于该范围的期货数占整个选定期货总数的百分比；

所述共现模式挖掘模块用于实现挖掘出与选中期货数据变化相近的期货，并将这些与选中期货变化相似的期货按相似程度由高到低进行排序。

Images