CN106293891A - 多维投资指标监督方法 - Google Patents

Abstract

本发明提供了一种多维投资指标监督方法，所述多维投资指标监督方法包含：获取指标涉及的因子，根据所述因子匹配指标计算公式并配置所述因子的限定属性；根据指标定义保存的配置信息、因子数值类型和限定属性生成指标计算公式中每个因子的取数SQL；执行指标的各取数SQL，将获得的执行结果代入所述指标计算公式中得到计算结果后存储。以此，提供使用人员自定义指标的功能，符合投资监督指标的多样性、易变性特点，提高了技术预见性，降低了项目投入成本；利用数据库SQL的拼接运行，规范了应用语言，提高了应用的正确性，高效性；依靠数据库自身优化能力，提高了程序运行效率，相同工作在新方案的应用下性能提高300％。

Description

多维投资指标监督方法

技术领域

本发明涉及数据处理领域，尤指一种多维投资指标监督方法。

背景技术

投资监督主要是实现银行对托管的资产在由管理人(主要是基金管理公司)管理运作时的投资行为进行事前把关和事后监督的功能，而具体监督哪些维度和方面是根据法律法规、基金合同、基金契约等具体规定。

投资监督的核心业务逻辑主要体现在由相关规定和相关合同，结合相关来源数据衍生出来的监控指标里面。监控指标逻辑主要是对各种来源的信息数据进行判断、过滤、合并、计算等操作，得出监控结果，与相关合同法律规定的阀值进行比对，进而确定投资行为的合法合规性，在违规时及时提醒管理人调整投资策略和行为。

传统实现由于各类指标都是逐步完善,因此主要依赖手工独立重复开发，针对每一个合同规定和法律条文，都由开发人员从头开发出一段逻辑，根据预先设定的调用参数逐个匹配调用,并将处理数据产生监控结果保存到数据库中，请参考图1所示。每个指标都独立开发，主要实现当前的业务需求，由于缺乏预见性很难考虑将来可能的扩展和变化，也无法考虑该指标与之前指标的关系。这种方式主要存在如下的问题：

(1)指标没有分门别类，在指标很多时不好查找和使用；

(2)每个指标的逻辑都写死，没有变化；

(3)指标之间重叠的逻辑也重复开发，逻辑复用基本没有；

(4)指标的开发工作量大，维护成本高。

发明内容

本发明目的在于提供一种投资监督领域方法，分解监督指标涉及的因素，并进行可视化定义，以扩大模型的适应性，节约系统运维成本，提高系统适应资本市场快速变化的需要。

为达上述目的，本发明具体提供一种多维投资指标监督方法，所述方法包含：获取指标涉及的因子，根据所述因子匹配指标计算公式并配置所述因子的限定属性；根据指标定义保存的配置信息、因子数值类型和限定属性生成指标计算公式中每个因子的取数SQL；执行指标的各取数SQL，将获得的执行结果代入所述计算公式中得到计算结果后存储。

在上述多维投资指标监督方法的一实施例中，所述获取指标涉及的因子之前还包含：根据托管投资监督的监控主体和监控指标建立所述因子。

在上述多维投资指标监督方法的一实施例中，所述获得的执行结果代入所述计算公式中得到计算结果后存储还包含：将存储的计算结果与预定阀值作比较，根据比较结果判断所述指标是否合规。

在上述多维投资指标监督方法的一实施例中，所述根据指标定义保存的配置信息、因子数值类型和限定属性生成指标计算公式中每个因子的取数SQL包含：根据因子的数值类型，获取主SQL；根据限定属性，获得拼接JOIN的配置，将所述JOIN的配置代入所述主SQL中；根据限定属性，替换WHERE信息中的控制符和控制值，将替换后的WHERE信息代入所述主SQL中；根据数值类型和限定属性，替换所述主SQL中公共变量。

在上述多维投资指标监督方法的一实施例中，所述执行指标的各取数SQL，将获得的执行结果代入所述计算公式中得到计算结果后存储包含：如果是事后监控，获取取数SQL中的变量，用获取的指标中的值替换变量，执行所述取数SQL，获取执行结果；将所述执行结果代入指标计算公式中计算，得到指标的计算结果；将存储的计算结果与预定阀值作比较，根据比较结果判断所述指标是否合规，并将所述合规情况写入指标的监控结果。

在上述多维投资指标监督方法的一实施例中，所述执行指标的各取数SQL，将获得的执行结果代入所述计算公式中得到计算结果后存储包含：如果是事前监控，获取因子的相关性检测SQL，用获取的指标中的值代入所述检测SQL中，执行所述检测SQL，如果有结果表示交易和指标相关，指标需要运算，否则指标不需要运算；如果相关性检测通过，将指标中的值代入取数SQL中，执行所述取数SQL，获取执行结果；将所述执行结果代入指标计算公式中计算，得到指标的计算结果；将存储的计算结果与预定阀值作比较，根据比较结果判断所述指标是否合规，并将所述合规情况写入指标的监控结果。

在上述多维投资指标监督方法的一实施例中，所述将所述合规情况写入指标的监控结果包含：根据所述计算结果，将任务号写入一个阻塞队列；根据所述任务号，取出结存储的监控结果；根据所述监控结果信息，赋值给所述监控结果批次，同时删除上一批次的监控结果；将结果配置表与所述指标结果匹配，获得结果写入的结果表字段值；将所述监控结果存储入数据库。

在上述多维投资指标监督方法的一实施例中，所述将所述合规情况写入指标的监控结果包含：根据所述计算结果，将任务号写入一个阻塞队列；根据所述任务号，取出结存储的监控结果；根据所述监控结果信息，赋值给所述监控结果批次，同时删除上一批次的监控结果；将结果配置表与所述指标结果匹配，获得结果写入的结果表字段值；判断所述监控结果对应的指标是否有共同账号的交易，当所有共同账号的交易都计算后，将所述共同帐号的监控结果与所述指标的监控结果合并后存储入数据库。

本发明的有益技术效果在于：

1、将涉及领域模型出发制定领域概念与数据库的映射关系，产生可供配置的自动拼接SQL语句的实践，为今后类似统计比较类系统设计上提供了可行技术方案。

2、提供使用人员自定义指标的功能，符合投资监督指标的多样性、易变性特点，提高了技术预见性，降低了项目投入成本。

3、利用数据库SQL的拼接运行，规范了应用语言，提高了应用的正确性，高效性。

4、依靠数据库自身优化能力，提高了程序运行效率，相同工作在新方案的应用下性能提高300％。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。在附图中：

图1为现有技术领域中指标监督示意图；

图2为本发明所提供的多维投资指标监督方法的流程示意图；

图3为本发明所提供的多维投资指标监督方法的整体流程示意图；

图4为本发明所提供的多维投资指标监督方法的指标SQL生成流程示意图；

图5为本发明所提供的多维投资指标监督方法的指标计算流程示意图；

图6为本发明所提供的多维投资指标监督方法的指标写入流程示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。

每个监控指标就是一段特定逻辑，可以说是监督系统的逻辑单位，除了少数指标需要进行特别复杂的公式计算外，其他大部分指标都是根据各种限定、各种条件从依赖数据中抓取所需数据再进行简单的业务逻辑处理，其本身的复杂度在于从纷繁复杂的各类数据中按照不同层次、不同角度、不同维度去过滤指标业务处理范围的数据。

通过对托管投资监督行业大量真实的监控指标的系统分析，在对托管投资监督的监控主体和监控指标都做了分门别类后定义了覆盖投资监督领域的两大类共个26因子，具体如下表1：

表1

自定义指标的关键在于把指标的业务限定转换为SQL中的限定条件(包括连接表和子查询等)从数据库中获取所需数据，然后参与简单的加减乘除公式计算。因此，从设计角度，本发明提供如下概念：

(1)预定义的基础因子：每个由业务定义出来的因子都能够根据证券、所属资产、日期等特性准确定义并获取某一个值或者进一步按照某个条件分组的一组值，当转换为SQL时，因子数据来自的这个表或视图称之为因子主表。

(2)因子属性：对于每一个因子，可以从不同层面、角度和维度去限定，这其中的每一个限定就称为一个属性，当转换为因子的取数SQL时，这些属性对应where条件，如果这些限定条件来自于因子主表之外的表，还得指定属性限定表与因子主表之间的连接条件。

根据上述原理，本发明具体提供一种多维投资指标监督方法，请参考图2所示，所述方法包含：S201获取指标涉及的因子，根据所述因子匹配指标计算公式并配置所述因子的限定属性；S202根据指标定义保存的配置信息、因子数值类型和限定属性生成指标计算公式中每个因子的取数SQL；S203执行指标的各取数SQL，将获得的执行结果代入所述计算公式中得到计算结果后存储。

在上述多维投资指标监督方法的一实施例中，所述获取指标涉及的因子之前还包含：根据托管投资监督的监控主体和监控指标建立所述因子。

将上述实施例运用到实际工作中，可参考图3所示，用户通过界面选择指标涉及的因子并设置成公式，配置各因子的限定属性；SQL生成模块根据指标定义保存的配置信息、因子数值类型配置、属性配置来生成指标计算公式中每个因子的取数SQL；指标计算模块按指标建立线程池，对各指标的SQL进行执行并将结果批量记录数据库。相比与传统处理模式，自定义指标处理有以下优势：

(1)指标类别层次清晰，搜索和使用都很方便；

(2)在限定的因子及其属性范围内，可以自由定义指标；

(3)监控指标中占比最大的一类通过自定义实现，减少了开发量，在一定程度上提高了指标逻辑的复用性；

(4)自定义指标中因子的取数SQL按照统一的因子数值类型配置和因子属性配置生成，格式规范，利于调优；

(5)自定义指标可以在不修改代码的基础上，通过扩充更多因子或因子的更多属性来支持定义更多的指标；

在上述多维投资指标监督方法的一实施例中，所述获得的执行结果代入所述计算公式中得到计算结果后存储还包含：将存储的计算结果与预定阀值作比较，根据比较结果判断所述指标是否合规。其中所述预定阀值为根据当前环境的法律法规或其他给定指标的内容确定的指标合规值，例如某项标准要求指标不得高于10，那么阀值就设置为10，当前指标小于或等于10时为合规，反之违规。

根据对投资指标范围的分析，设计了指标分类、指标代码、指标名称、指标描述、适用监控主体、公式、因子及属性、分组条件、计算精度等维度，来定义一个完整的指标，并研制符合设计标准的设置画面将指标定义后续各模块需要使用的信息保存下来供生成SQL模块调用。

在上述多维投资指标监督方法的一实施例中，所述根据指标定义保存的配置信息、因子数值类型和限定属性生成指标计算公式中每个因子的取数SQL包含：根据因子的数值类型，获取主SQL；根据限定属性，获得拼接JOIN的配置，将所述JOIN的配置代入所述主SQL中；根据限定属性，替换WHERE信息中的控制符和控制值，将替换后的WHERE信息代入所述主SQL中；根据数值类型和限定属性，替换所述主SQL中公共变量。

将上述实施例运用到实际工作中，可如下操作，请参考图4所示，生成SQL模块根据指标定义保存的配置信息、因子数值类型配置、属性配置来生成指标计算公式并按照属性配置中的连接条件去join各属性限定表，根据定义的各属性值去构造where条件，对于SQL中包含的一些表变量，根据映射配置替换成对应的一段SQL逻辑，如果有分组最后再处理分组。具体包括集中监控SQL、实时预测SQL、相关性检测SQL、交易明细SQL、持仓明细SQL，这些SQL都属于结构完整的SQL，只有一些占位参数需要在指标真正计算时进行替换。其中，图3中指标SQL生成流程具体如下：

拼接主SQL：根据因子的数值类型设置，获取到对应的数值类型配置，获取主SQL，作为SQL的开始。后面迭代取出因子的所有属性，重复拼接JOIN和WHERE的逻辑。

拼接JOIN部分：针对一个属性，获取属性的设置，根据设置，获取到对应的属性配置，获取JOIN的配置，并添加到已有的SQL上。如果原有的SQL已经JOIN过该表，那么跳过该逻辑。

拼接WHERE部分：获取属性配置的WHERE配置，并根据属性的设置替换WHERE信息中的控制符和控制值，替换完成后添加到已有SQL上。

替换SQL变量：在数值类型和属性的配置中，有很多逻辑是公共的，系统把这些公共的逻辑封装成变量(见附件变量配置)，这里需要把这些变量替换为真正的SQL。

处理分组条件：针对事后监控的集中监控SQL，需要在SQL的最后根据分组条件加上GROUP语句。针对事前监控的持仓SQL和交易SQL，需要在SELECT后面加上分组字段列，在最后加上当前交易所属的分组条件。

在本发明所提供的多维投资指标监督方法中，一可选实施例包括，所述执行指标的各取数SQL，将获得的执行结果代入所述计算公式中得到计算结果后存储包含：如果是事后监控，获取取数SQL中的变量，用获取的指标中的值替换变量，执行所述取数SQL，获取执行结果；将所述执行结果代入指标计算公式中计算，得到指标的计算结果；将存储的计算结果与预定阀值作比较，根据比较结果判断所述指标是否合规，并将所述合规情况写入指标的监控结果。

在本发明所提供的多维投资指标监督方法中，一可选实施例包括，所述执行指标的各取数SQL，将获得的执行结果代入所述计算公式中得到计算结果后存储包含：如果是事前监控，获取因子的相关性检测SQL，用获取的指标中的值代入所述检测SQL中，执行所述检测SQL，如果有结果表示交易和指标相关，指标需要运算，否则指标不需要运算；如果相关性检测通过，将指标中的值代入取数SQL中，执行所述取数SQL，获取执行结果；将所述执行结果代入指标计算公式中计算，得到指标的计算结果；将存储的计算结果与预定阀值作比较，根据比较结果判断所述指标是否合规，并将所述合规情况写入指标的监控结果。

将上述实施例运用到实际工作中，具体可如下操作：当指标计算模块在接到某个监控主体某一天的集中监控任务或某笔交易的实时预测任务后，构造线程池根据监控主体和日期找到该主体关联的有效指标集合封装一个公用的请求对象，对每个指标都构造一个子任务并传入请求对象放入线程池，指标子任务线程取出该指标各因子的SQL，用请求对象中的属性替换SQL中的占位参数然后执行SQL，把不同因子SQL执行出来的结果代入指标公式进行合并计算得到监控结果，与阀值比较，做监控特性处理后把最终结果放入缓存。上述实施例中具体流程可参考图5所示，其中相关流程具体如下：

指标加载：在接收到计算请求后，根据请求的信息获取需要计算的指标，从数据库获取指标相关数据，包括因子、监控特性、阀值等相关数据，封装成相关对象。

请求对象封装：针对每个指标，把请求的相关信息封装起来，构成一个请求对象。例如组合代码、证券代码、监控日期等。

指标计算：针对每个指标对象，获取出所属的所有因子。

因子计算：如果是事后监控，获取因子的集中监控的SQL，并获取SQL中的变量，用请求对象中的值替换变量，然后执行SQL，获取结果；如果指标不分组，最后得到的是一个数值；如果是分组，得到的是一个key为分组值，value是结果数据的一个MAP对象。如果是事前监控，先获取因子的相关性检测SQL，并把请求对象中的值代入SQL中，执行SQL，如果有结果表示交易和指标相关，指标需要运算，否则指标不需要运算；如果相关性检测通过，那么把请求对象中的值代入持仓SQL和交易SQL中，执行SQL，获取的结果封装成和事后监控一样的结构。

因子合并：把因子的结果按照指标定义中公式的操作符进行合并，得到指标的结果。如果需要分组，那么每个分组进行一次运算，最后有多条结果。

阀值比较：得到指标的结果或结果集后，调用指标的阀值对象，调用阀值对象的比较方法，得到指标的违规状态，并写入指标的监控结果。

监控特性处理：把指标的结果代入指标的监控特性处理方法，得到指标的监控特性信息，例如联系违规天数、主被动等信息，并把这些信息写入指标的监控结果。

结果缓存：在每个指标计算完成后，把指标的结果写入结果缓存。

在本发明所提供的多维投资指标监督方法中，一可选实施例包括，所述将所述合规情况写入指标的监控结果包含：根据所述计算结果，将任务号写入一个阻塞队列；根据所述任务号，取出结存储的监控结果；根据所述监控结果信息，赋值给所述监控结果批次，同时删除上一批次的监控结果；将结果配置表与所述指标结果匹配，获得结果写入的结果表字段值；将所述监控结果存储入数据库。

本发明一可选实施例包括，所述将所述合规情况写入指标的监控结果包含：根据所述计算结果，将任务号写入一个阻塞队列；根据所述任务号，取出结存储的监控结果；根据所述监控结果信息，赋值给所述监控结果批次，同时删除上一批次的监控结果；将结果配置表与所述指标结果匹配，获得结果写入的结果表字段值；判断所述监控结果对应的指标是否有共同账号的交易，当所有共同账号的交易都计算后，将所述共同帐号的监控结果与所述指标的监控结果合并后存储入数据库。

将上述实施例运用到实际工作中，具体可如下操作：为提高处理效率，采用批量入库的方式提供系统的并行性能。在指标计算请求完成后，会把任务的任务号写入一个阻塞队列，同时会把任务号作为KEY，把运算结果作为VALUE放入一个线程安全的MAP对象。批量将指标运算结果保存到数据库。上述实施例中具体流程可参考图6所示，其中相关流程具体如下：

扫描未完成任务队列：指标计算请求完成后，会把任务的任务号写入一个阻塞队列。系统有一个扫描线程，一直在扫描该队列，一旦发现队列有值，取出任务号。

根据任务号获取结果信息：根据取出的任务号，取出结果缓存MAP中的监控结果。

根据结果信息获取批次号：根据监控结果信息，如果是手工，删除最近一个批次的结果，同时赋值给本次结果批次；如果是自动任务，批次号为原有批次加1。

获取指标的结果配置：每个指标的监控结果，除了公共的属性，还有特殊的属性，这些属性是配置在指标的结果配置表中，取出结果配置表的内容和指标结果匹配，决定结果写入的结果表字段值。

共同账号判断：如果是事前监控，那么需要判断当前交易有否有共同账号的交易，只有所有共同账号的交易都计算后才能作为一个整体提交。

结果入库：根据上面流程生成的监控结果，批量写入数据库。

本发明在实际工作具有较好的使用效果，具体情况如下：对于指标：剩余期限超过397天的浮动利率债券摊余成本占净资产比。

该指标由债券、净资产两个因子计算比例，每个因子具体的取数，根据其属性配置，从相应的表中指定相应的限定条件来获取，可以简单认为最终每个因子都会生成一段取数SQL(这里不考虑指标可能有的实时预测及与交易相关性检测、得出最后结果所依赖的明细数据的取数SQL以及这些SQL之间的关系)。

每个因子底层都对应一个数值类型配置，比如上面的“债券摊余成本”，对应如下表2的数值类型配置：

表2

债券因子隐含“证券大类”属性为债券，另外还有显式配置的“利率类型”、“债券剩余期”两个属性，根据属性配置，在集中监控主SQL后join相关表并指定连接条件，对应上述拼接JOIN部分：

根据设定的属性值和属性配置，拼接WHERE条件，比如债券大类为债券，对应上述拼接WHERE部分：

为提高脚本复用性，建立表映射配置替换上面SQL中的#...#标记的表变量，对应上述替换SQL变量：

由于该指标没配置分组，所以该因子的集中监控的SQL就完成了，其中的以:开头的变量为占位参数，需要在指标计算时用请求对象中的属性进行替换。该因子用于实时预测的相关性检测SQL、持仓SQL、交易SQL也是类似的逻辑。

本发明通过上述实施例，具有以下有益效果：

1、从设计思想上看，本发明将涉及领域模型出发制定领域概念与数据库的映射关系，产生可供配置的自动拼接SQL语句的实践，为今后类似统计比较类系统设计上提供了可行技术方案。

2、从技术方案上看，本发明提供使用人员自定义指标的功能，符合投资监督指标的多样性、易变性特点，提高了技术预见性，降低了项目投入成本。

3、从应用实践上看，本发明利用数据库SQL的拼接运行，规范了应用语言，提高了应用的正确性，高效性。

4、从运行效果上看，本发明依靠数据库自身优化能力，提高了程序运行效率，相同工作在新方案的应用下性能提高300％

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种多维投资指标监督方法，其特征在于，所述方法包含：

获取指标涉及的因子，根据所述因子匹配指标计算公式并配置所述因子的限定属性；

根据指标定义保存的配置信息、因子数值类型和限定属性生成指标计算公式中每个因子的取数SQL；

执行指标的各取数SQL，将获得的执行结果代入所述指标计算公式中得到计算结果后存储。

2.根据权利要求1所述的多维投资指标监督方法，其特征在于，所述获取指标涉及的因子之前还包含：根据托管投资监督的监控主体和监控指标建立所述因子。

3.根据权利要求1所述的多维投资指标监督方法，其特征在于，所述获得的执行结果代入所述指标计算公式中得到计算结果后存储还包含：将存储的计算结果与预定阀值作比较，根据比较结果判断所述指标是否合规。

4.根据权利要求1所述的多维投资指标监督方法，其特征在于，所述根据指标定义保存的配置信息、因子数值类型和限定属性生成指标计算公式中每个因子的取数SQL包含：

根据因子的数值类型，获取主SQL；

根据限定属性，获得拼接JOIN的配置，将所述JOIN的配置代入所述主SQL中；

根据限定属性，替换WHERE信息中的控制符和控制值，将替换后的WHERE信息代入所述主SQL中；

根据数值类型和限定属性，替换所述主SQL中公共变量。

5.根据权利要求3所述的多维投资指标监督方法，其特征在于，所述执行指标的各取数SQL，将获得的执行结果代入所述指标计算公式中得到计算结果后存储包含：

如果是事后监控，获取取数SQL中的变量，用获取的指标中的值替换变量，执行所述取数SQL，获取执行结果；

将所述执行结果代入指标计算公式中计算，得到指标的计算结果；

将存储的计算结果与预定阀值作比较，根据比较结果判断所述指标是否合规，并将所述合规情况写入指标的监控结果。

6.根据权利要求3所述的多维投资指标监督方法，其特征在于，所述执行指标的各取数SQL，将获得的执行结果代入所述指标计算公式中得到计算结果后存储包含：

如果是事前监控，获取因子的相关性检测SQL，用获取的指标中的值代入所述检测SQL中，执行所述检测SQL，当检测结果与所述因子相关，则将指标中的值代入取数SQL中，执行所述取数SQL，获取执行结果；将所述执行结果代入指标计算公式中计算，得到指标的计算结果；将存储的计算结果与预定阀值作比较，根据比较结果判断所述指标是否合规，并将所述合规情况写入指标的监控结果；

否则指标不需要计算。

7.根据权利要求5所述的多维投资指标监督方法，其特征在于，所述将所述合规情况写入指标的监控结果包含：

根据所述计算结果，将任务号写入一个阻塞队列；

根据所述任务号，取出结存储的监控结果；

根据所述监控结果信息，赋值给所述监控结果批次，同时删除上一批次的监控结果；

将结果配置表与所述指标结果匹配，获得结果写入的结果表字段值；

将所述监控结果存储入数据库。

8.根据权利要求6所述的多维投资指标监督方法，其特征在于，所述将所述合规情况写入指标的监控结果包含：

根据所述计算结果，将任务号写入一个阻塞队列；

根据所述任务号，取出结存储的监控结果；

根据所述监控结果信息，赋值给所述监控结果批次，同时删除上一批次的监控结果；

将结果配置表与所述指标结果匹配，获得结果写入的结果表字段值；

判断所述监控结果对应的指标是否有共同账号的交易，当所有共同账号的交易都计算后，将所述共同帐号的监控结果与所述指标的监控结果合并后存储入数据库。