CN110400207A - 一种基于大数据的财务在线监督系统及其方法 - Google Patents
一种基于大数据的财务在线监督系统及其方法 Download PDFInfo
- Publication number
- CN110400207A CN110400207A CN201910698184.6A CN201910698184A CN110400207A CN 110400207 A CN110400207 A CN 110400207A CN 201910698184 A CN201910698184 A CN 201910698184A CN 110400207 A CN110400207 A CN 110400207A
- Authority
- CN
- China
- Prior art keywords
- data
- financial
- risk
- big data
- monitor terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 100
- 238000007689 inspection Methods 0.000 claims abstract description 23
- 238000004458 analytical method Methods 0.000 claims abstract description 21
- 238000004886 process control Methods 0.000 claims abstract description 19
- 230000008901 benefit Effects 0.000 claims abstract description 17
- 238000007726 management method Methods 0.000 claims description 32
- 230000008569 process Effects 0.000 claims description 24
- 230000006870 function Effects 0.000 claims description 19
- 238000012795 verification Methods 0.000 claims description 19
- 238000012544 monitoring process Methods 0.000 claims description 15
- 230000000007 visual effect Effects 0.000 claims description 15
- 238000012550 audit Methods 0.000 claims description 12
- 238000012216 screening Methods 0.000 claims description 11
- 239000000470 constituent Substances 0.000 claims description 9
- 238000013139 quantization Methods 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 230000007246 mechanism Effects 0.000 claims description 7
- 239000000463 material Substances 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000012800 visualization Methods 0.000 claims description 5
- 241001269238 Data Species 0.000 claims description 4
- 230000015556 catabolic process Effects 0.000 claims description 4
- 230000002452 interceptive effect Effects 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 4
- 241000512668 Eunectes Species 0.000 claims description 3
- 235000013399 edible fruits Nutrition 0.000 claims description 3
- 238000005194 fractionation Methods 0.000 claims description 3
- 230000008676 import Effects 0.000 claims description 3
- 230000035515 penetration Effects 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 claims description 2
- 238000001727 in vivo Methods 0.000 claims 1
- 238000000465 moulding Methods 0.000 claims 1
- 238000011835 investigation Methods 0.000 abstract description 3
- 230000007547 defect Effects 0.000 abstract description 2
- 230000002950 deficient Effects 0.000 abstract description 2
- 230000018109 developmental process Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 11
- 238000011161 development Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 9
- 238000010276 construction Methods 0.000 description 8
- 238000005259 measurement Methods 0.000 description 6
- 238000013461 design Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000010354 integration Effects 0.000 description 4
- 244000035744 Hura crepitans Species 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 230000006378 damage Effects 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 230000002265 prevention Effects 0.000 description 3
- 238000011002 quantification Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000012954 risk control Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 208000027418 Wounds and injury Diseases 0.000 description 2
- 241000607479 Yersinia pestis Species 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 238000002955 isolation Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 238000012502 risk assessment Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012384 transportation and delivery Methods 0.000 description 2
- VYZAMTAEIAYCRO-UHFFFAOYSA-N Chromium Chemical compound [Cr] VYZAMTAEIAYCRO-UHFFFAOYSA-N 0.000 description 1
- 244000166124 Eucalyptus globulus Species 0.000 description 1
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 1
- 238000012356 Product development Methods 0.000 description 1
- 241001425718 Vagrans egista Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000013481 data capture Methods 0.000 description 1
- 238000013079 data visualisation Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 230000033001 locomotion Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000005086 pumping Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000007711 solidification Methods 0.000 description 1
- 230000008023 solidification Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000002195 synergetic effect Effects 0.000 description 1
- 230000033772 system development Effects 0.000 description 1
- 230000007474 system interaction Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 230000029305 taxis Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000007794 visualization technique Methods 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0635—Risk analysis of enterprise or organisation activities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/12—Accounting
- G06Q40/125—Finance or payroll
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Finance (AREA)
- Accounting & Taxation (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- Entrepreneurship & Innovation (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Development Economics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Educational Administration (AREA)
- Tourism & Hospitality (AREA)
- Quality & Reliability (AREA)
- Operations Research (AREA)
- Game Theory and Decision Science (AREA)
- Technology Law (AREA)
- Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)
Abstract
一种基于大数据的财务在线监督系统及其方法，包括监督终端；所述监督终端中包括风险预警模块、过程控制模块、结果合规模块以及风控绩效模块这样的四大模块；所述风险预警模块用于提示风险发生的可能性；所述过程控制模块用于检查程序规范性；所述结果合规模块用于检查内容正确性；所述风控绩效模块用于检查结果的效益性；大数据系统，所述大数据系统与监督终端通信连接，所述大数据系统中存储有用于所述四大模块财务在线监督分析用的数据。有效避免了现有技术中针对财务监督的数据调研存在的程序调用接口和文档匮乏、系统间的数据调用困难、数据维度低、非结构化数据利用较少、缺乏标注、专业数据和风险管理尚未关联、缺乏风险损失数据的缺陷。
Description
技术领域
本发明涉及财务监督技术领域，也属于大数据技术领域，具体涉及一种基于大数据的财务在线监督系统及其方法。
背景技术
财务监督是运用单一或系统的财务指标对企业的生产经营活动或业务活动进行的观察、判断、建议和督促。它通常具有较明确的目的性，能督促企业各方面的活动合乎程序与合乎要求，促进企业各项活动的合法化管理行为的科学化。
而对财务的实时监督是利用信息系统，通过系统集成和功能设置，运用设定的监督规则和方法由系统判定疑点，得出监督结论；部分监督内容根据系统判定的疑点范围，由专业人员通过系统进行穿透查询，追查至记账凭证和原始凭证，或由专业人员通过现场监督，最终得出监督结论。体现了以重要为原则、以风险为导向，通过设定的监督规则，由系统判定出疑点，根据疑点确定监督范围，有效地把握企业存在的风险和薄弱环节，有重点地针对风险和薄弱环节进行监督，进而有效地防范了风险。
传统的监督工作需要下达监督计划，然后带领监督团队，到监督对象单位现场,翻看一大堆的纸质报表，这样使得监督人员常常出差，耗时，耗力，效率还不高，而随着财务集约化建设成果的落地及实时监督工作的实施，各业务系统之间已实现了数据的实时或限时交互，实时监督工作目前已由简单的账、证、表核对，发展到对业务系统数据的全面监督检查。这样就有了对财务的实时监督通过建立监督规则库并固化入信息系统，借助一体化信息平台，由系统自动监督，监督人员可以不在现场就能及时自由地获得监督所需要的各种数据和资料，完成大部分在现场所做的工作，实现实时监督。
获得针对财务监督所需要的各种数据和资料也就是数据调研的过程，目前针对财务监督的数据调研存在的问题由：程序调用接口和文档匮乏，系统间的数据调用困难；数据维度低，非结构化数据利用较少，缺乏标注；专业数据和风险管理尚未关联，缺乏风险损失数据。
发明内容
为解决上述问题，本发明提供了一种基于大数据的财务在线监督系统及其方法，有效避免了现有技术中针对财务监督的数据调研存在的程序调用接口和文档匮乏、系统间的数据调用困难、数据维度低、非结构化数据利用较少、缺乏标注、专业数据和风险管理尚未关联、缺乏风险损失数据的缺陷。
为了克服现有技术中的不足，本发明提供了一种基于大数据的财务在线监督系统及其方法的解决方案，具体如下：
一种基于大数据的财务在线监督系统，包括：
监督终端，所述监督终端中包括风险预警模块、过程控制模块、结果合规模块以及风控绩效模块这样的四大模块；所述风险预警模块用于提示风险发生的可能性；所述过程控制模块用于检查程序规范性；所述结果合规模块用于检查内容正确性；所述风控绩效模块用于检查结果的效益性；
大数据系统，所述大数据系统与监督终端通信连接，所述大数据系统中存储有用于所述四大模块财务在线监督分析用的数据。
所述大数据系统中包括有资金归集率、收取的承兑汇票、财务关键指标、重要事件、敏感数据波动情况、账务数据和财务凭证。
所述基于大数据的财务在线监督系统的方法，包括如下方式：
（1）进行风险预警，所述风险预警包括提示风险发生的可能性；
（2）进行过程控制，所述过程控制包括检查程序规范性；
（3）进行风控绩效检查，所述风控绩效检查包括检查结果的效益性；
（4）进行结果合规，所述结果合规包括用于检查内容正确性。
所述提示风险发生的可能性的方法包括临界值预警与参数状态预警；
所述临界值预警的方式是通过设定相应的风险预警临界值，如果检查出从所述大数据系统中获取的数据超过了该风险预警临界值的允许范围便触发预警；
所述参数状态预警的方式是指通过监督终端来检查所述大数据系统中的需要被财务监督的企业或单位的现有的财务系统的控制状态、该财务系统系统配置的参数状态或该财务系统系统配置的参数的动态变动情况，以此提示风险发生的可能性。
能够利用VaR值作为阈值的所述风险预警临界值的辅助标准，所述VaR值的量化方法采用历史数据法。
所述检查程序规范性的方法是以各业务主题所涉及的制度规范及流程执行要求为依据，以流程实际执行步骤的完整性、岗位正确性和执行内容合规性为切入点，确定过程控制可行的监督规则范围，作为流程监控系统优化方向，通过流程监控系统功能优化，实现过程控制的线上监控。
在所述监督终端中设立API接口，所述监督终端采用HTTP协议和所述大数据系统之间传输数据。
所述检查结果的效益性的方法为结合资产经营管理对标、实时控制考核指标这样的相关评价体系，运用重要事件与财务关键指标，对绩效进行综合评价，展示经营管理成果；该方法的具体内容包括在监督终端中展示从大数据系统中获得的融资综合成本率这样的财务关键指标、罚款或滞纳金缴纳情况这样的重要事件以及展示三年货币资金平均余额与业务规模匹配程度这样的敏感数据波动情况三方面，并把这三方面的数据进行经营管理成果的展示。
所述进行经营管理成果的展示的方式是在监督终端通过把从大数据系统中得到的大数据图形化、图像化以及动画化这样的展现方式，完成报告、查询、分析、预警、搜索、数据开放和服务这样的接口形式为公司大数据应用提供服务；这样的接口包括原非结构化数据中心服务接口，数据化展现方面，是基于GIS、Flash、Echart或者HTML5这样的工具构建可视化展示模式。
针对各种大数据，可视化展示模式也有区别对待的如下方式：
针对于运行数据，采取信息可视化与可视分析结合的方法进行处理；
针对客户数据，所述客户数据来自信息采集系统，将用户信息与用户地理区域对应起来，可实现用户行为分析与负荷特性的可视分析；另外还可以结合地理信息系统绘制地区客户地图，并按照一定的权限向公众开放该全景分析图，实现用户的互动服务，实时反馈购买和花费信息；
针对企业管理数据，可根据其不同业务部门的特点进行不同的可视化分析，由于三维模型数据量较大，需要尽可能减小三维模型数据量，从纹理与几何两个方面对模型进行压缩，生成多种细节层次模型，以支持三维模型的动态可视化。
所述用于检查内容正确性的方法指沿正向梳理和反向梳理两条线梳理监督规则；
所述正向梳理是梳理外部监管机构、公司通用制度、信息化管理提升要求这样的内容；
所述反向梳理是梳理审计发现问题、在线稽核检查问题这样的内容。
在所述大数据系统中的大数据开源结构包括:
OpenStack云计算管理平台；
Docker应用容器引擎；
ECharts图表库；
sgccRiskControl开源包。
所述sgccRiskControl开源包用于进行数据预处理；
所述数据预处理包括数据筛选：所述数据筛选在监督终端实时监督人工审核的过程中，需要按一定的规则将无用、重复的信息进行标注；进行标注后，在人工审核的过程中，可以减轻一大部分的工作量，原本人工需要看两行数据，在有标注的信息条中就只需要看一行。
所述数据预处理包括数据拆分：所述数据拆分是监督终端在人工审核后，需要将每月平均的信息量进行分类汇总，其是将疑点按照需要被财务监督的企业或单位的类别分类，将每个需要被财务监督的企业或单位存在的疑点发回各个需要被财务监督的企业或单位，由各个需要被财务监督的企业或单位提供佐证材料；
所述数据预处理包括信息匹配：当需要被财务监督的企业或单位完成信息核对时，要将信息显示在监督终端上来反馈给监督小组。
所述sgccRiskControl开源包在进行数据预处理时的运用方式，包括如下步骤：
步骤1-1：在监督终端上安装Anaconda python3.5；
步骤1-2：在监控终端的开始菜单中搜索cmd并回车，cmd窗口出现后按以下格式输入命令：
pip install sgccRiskControl
from sgccRiskControl import DataProcess
d=DataProcess()
步骤1-3：在实现数据筛选功能时就输入命令：
d.split_table(文件夹路径)
在实现数据拆分功能时则输入命令：
d.drop_absEqual(文件夹路径)
在实现信息匹配功能时则输入命令：
d.paste_feedback(文件夹路径)
步骤1-4：由此完成了数据预处理工作。
所述数据预处理时的数据的文件规范为：
1.原始扫描中，每一个监督规则为一个Excel表格，一个表格只有一个工作表Sheet；
2.表格的A列为结果‘明细ID’，作为数据标识具备唯一性；
3.表格第21列（含）以后为空白列，不允许手工填充，只允许程序写入；
4.固定常用字段名称及位置，常用字段包括被稽核单位在B列，稽核对象在C列，单位名称在D列，科目编码在E列，科目名称在F列以及凭证摘要在G列；
5.将各单位反馈的字段名固定为初步判断，最终结论以及反馈结论。
所述监控终端还能够评估风险，所述评估风险的方法包括如下步骤：
步骤2-1：采集故障损失分布数据；
步骤2-2：设定置信水平；
步骤2-3：计算VaR值矩阵；
步骤2-4：绘制风险热力图。
使用OCR方式完成对财务凭证的读取有两种实现方式，其中：方式一是直接提供用于OCR的软件，安装在监督终端，让监督终端获取大数据系统中的财务凭证的图像数据来进行读取；
方式二是把财务凭证的图像数据传到大数据系统，在大数据系统中运用用于OCR的软件来读取后并对监督终端返回字段。
所述方式一的方法，包括如下步骤：
步骤A-1：将图像形式的财务凭证转化为文本形式；
步骤A-2：按设定的监督规则对转化后的文本进行提取核对；
步骤A-3：取得核对结果，将核对结果反馈至设定的反馈表中。
本发明的有益效果为：
本发明引入所述sgccRiskControl风控量化管理开源软件包，内含数据预处理、影像识别、风险量化的方法。通过数据预处理技术，使用程序替代人工数据、文件处理工作，大大减轻财务人员工作负荷，提升数据文件处理准确程度，让专业人员摆脱繁重的文案工作，集中于应用专业知识的创造价值，提升实时监督审核自动化程度。VaR的引入使得非专业人员也能够管理专业风险，厘清了风险管理界面；通过将不同业务领域的风险度量转换成特定的VaR值计算，统一了风险描述语言；通过在给定置信度条件下，观察一定时期内VaR值的变动情况来判断风险损失量，界定了风险阈值水平。而VaR值量化具有很多优点,主要表现在:
1.能够事前来预算风险大小,以此来降低风险。
2.VaR量化方法不但能够计算单个项目的风险,也可以计算多个项目联合风险。
3.可以用它来简单易懂地刻画风险值的大小,不再需要添加很多技术因素,对于那些没有特殊数理专业背景的管理人员都能够通过VaR值针对风险进行度量。再次,VaR风险度量模型是以数理统计原理的基础上建立即很强的理论基础,又在应用上非常便捷。VaR值模型给出了风险的度量一个一致的度量原则,它得到了广发的认可和应用,具有统一的标准认识。再就是在此标准之下,管理人员就可以以此来定期度量VaR值并发布其数值大小,大大地提高市场的透明度和有效性。
附图说明
图1为本发明的基于大数据的财务在线监督系统的结构图。
图2为本发明的实施方式中的损失概率密度图。
图3为本发明的数据预处理的数据筛选的示例图。
图4为本发明的数据预处理的数据拆分前的示例图。
图5为本发明的数据预处理的数据拆分后的示例图。
图6为本发明的信息匹配的文件夹的示例图。
图7为本发明的信息匹配的结果的示例图。
图8为本发明的把财务凭证转化为文本的示例图，其左半部分为合同图像，右为转化为文本形式的合同。
图9为本发明的步骤A-2中的监督规则的示例图。
图10为本发明的步骤A-3中的代码示意图。
图11为本发明的反馈表的格式图。
图12为本发明的风险热力图的示例图。
具体实施方式
本发明基于全面覆盖与重点监督原则用实例方式提出了覆盖电网行业财务核心业务的基于大数据的财务在线监督系统及其方法的规则体系。监督方式从结果合规向风险预警与过程控制方向转变发展，完善了数据质量监督，场景应用设计与系统性风险揭示三方面的能力。实施实时监督体系，在业务系统植入风险控制策略，将风险控制在业务发生最前端，是信息化风险防控的新尝试。这样实施监督的整体框架涵盖财务专业标准流程、通用制度、科目体系与相衔接的其他专业末级流程，框架体系对被监督内容实现了全面覆盖。整体框架与主题规则框架相互搭建，其中实例中的主题规则框架分为财税管理、资金管理、项目资产、电价管理、预算管理、产权管理、会计信息质量七个方面。业务规则分为用于提示风险发生的可能性的风险预警、用于检查程序规范性的过程控制、 用于检查内容正确性的结果合规以及用于检查结果效益性的风控绩效四类，并可按场景组合应用，强化了系统风险揭示。
下面将结合附图和实施例对本发明做进一步地说明。
如图1-图12所示，基于大数据的财务在线监督系统，包括：
监督终端，监督终端能够是计算机或者笔记本电脑，监督终端的硬盘中包括风险预警模块、过程控制模块、结果合规模块以及风控绩效模块这样的四大模块；风险预警模块用于提示风险发生的可能性；过程控制模块用于检查程序规范性；结果合规模块用于检查内容正确性；风控绩效模块用于检查结果的效益性；大数据系统，大数据系统与监督终端通信连接，大数据系统中存储有用于四大模块财务在线监督分析用的数据。大数据系统能够是需要被财务监督的企业或单位的现有的财务系统和信息系统。财务系统包括财务预算系统和用于财务的ERP管理系统。大数据系统中包括有资金归集率、收取的承兑汇票、财务关键指标、重要事件、敏感数据波动情况、账务数据和财务凭证。
基于大数据的财务在线监督系统的方法，包括如下方式：
（1）进行风险预警，风险预警包括提示风险发生的可能性；
（2）进行过程控制，过程控制包括检查程序规范性；
（3）进行风控绩效检查，风控绩效检查包括检查结果的效益性；
（4）进行结果合规，结果合规包括用于检查内容正确性。
提示风险发生的可能性的方法包括临界值预警与参数状态预警；
临界值预警的方式是通过设定相应的风险预警临界值，如果检查出从大数据系统中获取的如资金归集率、承兑汇票上的承兑日期这样的数据超过了该风险预警临界值的允许范围便触发预警，触发预警的方式能够是在监督终端上显示该数据超过该风险预警临界值的允许范围的信息；举例说明：检查资金归集率是否超过了风险预警临界值，如果超过了风险预警临界值就触发预警，该风险预警临界值能够设定为95%；检查收取的承兑汇票上的承兑日期是否超过了作为及时承兑日期的风险预警临界值，该风险预警临界值能够是该承兑汇票的票据到期的前7天的某一天的日期，如果超过了风险预警临界值就触发预警。
参数状态预警的方式是指通过监督终端来检查大数据系统中的需要被财务监督的企业或单位的现有的财务系统的控制状态、该财务系统系统配置的参数状态或该财务系统系统配置的参数的动态变动情况，以此提示风险发生的可能性。举例说明：监督终端检查财务系统中作为其控制状态的预算系统是否严格控制项目发生的费用超过预算金额不允许记账，如果出现了超过预算金额而记账的情况，就在监督终端上以显示的方式发出超过预算金额而记账的预警信息；监督终端检查财务系统的ERP系统的配置，其配置中是否对采购订单上的合同号字段设置成必输项，如果未设置成必输项，那么就在监督终端上以显示的方式发出采购订单上的合同号字段未设置成必输项的风险信息，是否对采购订单上的合同号字段设置成必输项就是配置的参数状态；作为采购订单是否挂接合同编号的预警类规则，如果采购订单没有挂接合同编号，那么就在监督终端上以显示的方式发出采购订单没有挂接合同编号的风险信息，采购订单是否挂接合同编号作为配置的参数的动态变动情况。
而各公司或各单位由于规模、体量影响，对风险的承受能力存在较大差异，管理活动中没有明确具体的相应的风险预警临界值，因此各公司或各单位对预警类规则所划定的作为限额阈值的风险预警临界值存在较大分歧。能够利用VaR值作为阈值的风险预警临界值的辅助标准，VaR值的量化方法采用历史数据法。VaR（Value at Risk）一般被称为“在险价值”，指在一定的置信水平下，某一资产或组合在未来特定的一段时间内的最大可能损失。假定某公司在2004年置信水平为95%的日VaR值为960万美元，其含义指该公司可以以95%的把握保证，2004年某一特定时点上的金融资产在未来24小时内，由于市场价格变动带来的损失不会超过960万美元。或者说，只有5%的可能损失超过960万美元。
VaR值的量化方法为：VaR值量化风险得到广泛应用的原因在于将风险量化中最重要的两个维度，即风险发生的概率和风险发生的危害程度，用VaR值统一表述。VaR值计算方法较多，包括历史数据法、delta-normal法、蒙特卡洛模拟法等，其中历史数据法最为直观易懂，也是本VaR值的量化方法的主要计算方法。以下以历史数据法为例，说明VaR值计算步骤：
步骤1：监督终端从大数据系统中获取风险损失的历史数据。假定获取风险损失的历史数据为某公司在过去的1000日内日电网故障损失数据。
步骤2：绘制损失密度分布图。损失密度分布图的横轴能够是电网安全风险的危害程度，即电网事故损失金额；纵轴是电网安全风险的发生概率，即各类损失额度下的电网事故发生次数和总次数的比值。
步骤3：确定置信度水平。风险管理关心的主要问题是：一定发生概率下对应的最大可能损失有多少，发生概率指的就是统计学上的置信度水平。一般在计算VaR值时置信度水平取99%或95%。这里把置信度水平设为95%，记作VaR（95%），意味着有95%的把握保证，未来24小时内电网安全事故损失不会超过VaR（95%）值，或者说只有5%的可能损失超过VaR（95%）值。
步骤4：计算VaR值。在直接使用历史数据作为损失分布的情况下，VaR（95%）值是风险损失的历史数据从小到大排序后，这里损失值是负数，第95分位对应的分位值，也就是图2中曲线所对应的横轴坐标）。这说明，未来一天内损失超过这一分位值，即落到曲线右侧区域的概率只有5%。而巴塞尔委员会将风险分为市场风险、信用风险、操作风险和流动性风险，这些风险都能统一采用VaR值描述。围绕这四种风险， VaR值代表的已经不仅仅是一个指标，而是系统的方法体系，涉及风险评估、阈值确定、风险预算、风险监控以及量化考核等风控管理全过程。
基于VaR值的风险量化需要大量历史数据。市场风险、信用风险、流动性风险的数据主要来源于企业外部，基于VaR值管理数据量充裕。操作风险是基于不完善的内部操作导致的损失，数据主要来源于企业内部。
VaR值量化具有很多优点,主要表现在:
1.能够事前来预算风险大小,以此来降低风险。这样就不再像以往传统风险管理方法那样一般都是在事后再来衡量风险的大小。
2.VaR方法不但能够计算单个项目的风险,也可以计算多个项目联合风险。
3.可以用VaR值来简单易懂地描述风险值的大小,不再需要添加很多技术因素,对于那些没有特殊数理专业背景的管理人员都能够通过VaR值针对风险进行度量。再次,VaR风险度量模型是以数理统计原理的基础上建立即很强的理论基础,又在应用上非常便捷。VaR值模型给出了风险的度量一个一致的度量原则,它得到了广发的认可和应用,具有统一的标准认识。再就是在此标准之下,管理人员就可以以此来定期度量VaR值并发布其数值大小,大大地提高市场的透明度和有效性。
检查程序规范性的方法是以各业务主题所涉及的制度规范及流程执行要求为依据，以流程实际执行步骤的完整性、岗位正确性和执行内容合规性为切入点，确定过程控制可行的监督规则范围，作为流程监控系统优化方向，通过流程监控系统功能优化，实现过程控制的线上监控。就像：检查步骤的完整性需要检查各层级资金主管是否在财务管控系统对融资预算进行审核；检查岗位正确性需要检查资金支付终级审批权限是否授予会计主管。
需要被财务监督的企业或单位的信息系统建设多由各单位二级开发部署，或者总部仅做典型设计原则要求，各单位根据情况自定义落实。因此各单位在系统开发、应用、集成和主数据上均存在较大差异，导致监督规则获取数据难以实现或获取数据的路径不一致。可以发现数据集成产生差异的原因是单位数据集成方式与路径不同，导致数据获取路径不一致。
对于大数据在对财务的实时监督中常需要随时调用数据，并且难以确定需要调用何种类型的数据。为解决数据调用问题在监督终端中设立API接口，并且由于数据量较大，监督终端采用HTTP协议和大数据系统之间传输数据。使用 API接口并没有直接与大数据系统的数据相连，具有良好的保密性，可实现对数据的灵活调用。
API 接口是一种操作系统或程序接口，属于直接用户接口。可将 API 作为其公共开放系统。也就是说，使用者可以制定自己的系统接口标准，当需要执行系统整合、自定义和程序应用等操作时，使用者可以通过该接口标准调用源代码，该接口标准被称之为开放式API。
HTTP协议（HyperText Transfer Protocol，超文本传输协议）是用于从WWW服务器传输超文本到本地浏览器的传输协议。它可以使浏览器更加高效，使网络传输减少。它不仅保证监督终端和大数据系统之间正确快速地传输超文本文档，还确定传输文档中的哪一部分，以及哪部分内容首先显示(如文本先于图形)等。HTTP是客户端浏览器或其他程序与大数据系统中的Web服务器之间的应用层通信协议。在Internet上的Web服务器上存放的都是超文本信息，客户机需要通过HTTP协议传输所要访问的超文本信息。HTTP包含命令和传输信息，不仅可用于Web访问，也可以用于其他因特网/内联网应用系统之间的通信，从而实现各类应用资源超媒体访问的集成。
检查结果的效益性的方法为结合资产经营管理对标、实时控制考核指标这样的相关评价体系，运用重要事件与财务关键指标，对绩效进行综合评价，展示经营管理成果；该方法的具体内容包括在监督终端中展示从大数据系统中获得的融资综合成本率这样的财务关键指标、罚款或滞纳金缴纳情况这样的重要事件以及展示三年货币资金平均余额与业务规模匹配程度这样的敏感数据波动情况三方面，并把这三方面的数据能够从横向比较和纵向趋势两方面进行经营管理成果的展示。
在传统的成果展示方面，主要以文字型、列表型与图示型为主。但由于如电力信息平台这样的信息平台中信息体量大、且随时间不断变化，传统的表现形式难以将所有信息一次性呈现给用户，所以要切实通过可视化技术对这些数据进行处理，使得异常数据在屏幕上较为清晰的呈现出来。
进行经营管理成果的展示的方式是在监督终端通过把从大数据系统中得到的大数据图形化、图像化以及动画化这样的展现方式，完成报告、查询、分析、预警、搜索、数据开放和服务这样的接口形式为公司大数据应用提供服务；这样的接口包括原非结构化数据中心服务接口，数据化展现方面，是基于GIS、Flash、Echart或者HTML5这样的工具构建可视化展示模式。
针对各种的电力大数据，可视化展示模式也有区别对待的如下方式：
针对于电网运行数据，根据其高维、时序、快速的特点，应采取信息可视化与可视分析结合的方法进行处理；
针对客户数据，客户数据主要来自用电终端信息采集系统，将用户电量信息与用户地理区域对应起来，可实现用户用电行为分析与负荷特性的可视分析；另外还可以结合地理信息系统绘制地区电力客户地图，并按照一定的权限向公众开放该全景分析图，实现用户的用电互动服务，实时反馈购、用电信息；
针对企业管理数据，可根据其不同业务部门的特点进行不同的可视化分析，由于三维模型数据量较大，需要尽可能减小三维模型数据量，研究表明从纹理与几何两个方面对模型进行压缩，生成多种细节层次模型，以支持三维模型的动态可视化。而多细节层次技术需要解决的问题之一是如何快速地对多边形网格进行简化，以生成多分辨率模型，采用简化网格模型的算法，针对实时的虚拟场景中，保证了简化模型的连续性、实时性、保持外观特征性，使得原有的数据存储结构得以重复利用。提出基于模型组件化动态以EB 3D 虚拟现实场景的搭建方法及系统，模型可以在虚拟现实项目中进行复用，减少在场景搭建中模型使用的冗余，并提高用户体验。
用于检查内容正确性的方法指依托需要被财务监督的企业或单位的总部的顶层设计，沿正向梳理和反向梳理两条线梳理监督规则；
正向梳理是梳理外部监管机构、公司通用制度、信息化管理提升要求这样的内容；
反向梳理是梳理审计发现问题、在线稽核检查问题这样的内容。由此能给出思路为建立业务管控要求与风险、制度、规则、稽核规则、常见问题的横向对应关系，以此来识别监督内容和业务规则。
现有技术进行对财务的实时监督的具体过程是先由机器扫描所有凭证，再将机器扫描、核对出来的结果交由财务专业人员进行核对筛选。由财务专业人员核对筛选出来的存在疑点的项目，将统一返回给各个公司进行检查与核对，最后由财务专业人员再次进行核对得出最终存在问题的地方。
机器扫描后的结果必须由专业财务人员人工处理（月人工处理约20万条），难以实施程序自动化审核，原因有以下三点：
1.核算规范差异。部分单位会计科目使用不规范，核算期间与要求不符，另外《2014年公司会计核算办法》中对会计科目基本明确到二级，重要科目细化到三至五级，没有明细科目的核算业务各单位存在较大差异 ，主要包括科目应用差异与核算期间差异两部分。
2.政策影响差异。由于地方税务机关个性化监管要求，各地税务征收政策不一致，影响了课税期间、课税基数等税务活动。
3.业务执行差异。由于制度未明确业务执行或具体操作相关内容，没有统一标准，导致公司执行相关业务时，存在差异。在人工审核的过程中，将面对巨大的信息量。不仅需要对疑点进行一一筛选，还需将筛选结果分类打包至各公司，由各公司提交作证材料后将公司反馈的结果匹配到原信息条中。
在上述人工审核的过程中，一部分工作可以通过开源软件包sgccRiskControl中的功能进行实现，减少大量人工工作量。
（1）开源软件要解决的问题：
开放源码软件(open-source)是一个新名词，它被定义为描述其源码可以被公众使用的软件。源代码开放是信息技术发展引发网络革命所带来的面向未来以开放创新、共同创新为特点的、以人为本的创新2.0模式在软件行业的典型体现和生动注解。开放源码软件在历史上曾经与UNIX，Internet联系的非常紧密。在这些系统中许多不同的硬件需要支持，而且源码分发是实现交叉平台可移植性的唯一实际可行的办法。
开放源码软件的优点：1.花费很少（有的需要少量许可费）、易于管理（可以在尽可能多的地方安装开源软件。无需为许可证合规性计数、跟踪或监视）、可连续，实时改进、使用便捷节约时间
2.质量可靠，一些研究已经显示了open-source软件与别的可比商业软件具有可靠性上的极大优势。更加有效的开发模式，更多的独立同行对代码和设计的双重审查，以及大部分作者对自己作品的极大荣誉感，都对其优良的质量有所贡献。一些公司甚至给予发现Bug者以物质奖励。
3.可塑性高，开放源码给用户极大自由，使他们能够按照自己的业务需求定制软件。大型组织能从即使很小的定制行为中削减大量开支和人力成本。用户的挑错和改进反过来对标准开放源码软件包也是个贡献。这在传统的私有软件开发中是不可能得到的。
有利的版权许可和价格：定义为开放源码使得软件在版权许可方面比私有软件具有更大的灵活性。这可以大大削减更多安装带来的花费和时间，对那些采购过程费时费力的机构更加有利。它也能给用户安装软件以更大的自由度。
4.可用平台广，大部分open-source软件主要是支持UNⅨ和Linux系统的，有时也支持Windows NT。另一些平台，例如大型机，对于移植开放源码软件是个巨大挑战。移植软件从UNⅨ到Windows NT上要付出很大代价。然而。开放源码的优点几乎可以使平台转换显得更划算。
5.使用方便、灵活，使用者不必知道开源包中的各个功能是如何实现的，需要实现该功能调用函数便可实现。
在大数据系统中的大数据开源结构包括:
OpenStack云计算管理平台；OpenStack是由几个主要的组件组合起来完成具体工作。OpenStack支持几乎所有类型的云环境，项目目标是提供实施简单、可大规模扩展、丰富、标准统一的云计算管理平台。OpenStack通过各种互补的服务提供了基础设施即服务（IaaS）的解决方案，每个服务提供API以进行集成。
OpenStack是一个旨在为公共及私有云的建设与管理提供软件的开源项目。它的社区拥有超过130家企业及1350位开发者，这些机构与个人都将OpenStack作为基础设施即服务（IaaS）资源的通用前端。OpenStack项目的首要任务是简化云的部署过程并为其带来良好的可扩展性。
OpenStack云计算管理平台，帮助服务商和企业内部实现类似于 Amazon EC2 和S3的云基础架构服务(Infrastructure as a Service, IaaS)。OpenStack包含两个主要模块：Nova 和 Swift，前者是 NASA 开发的虚拟服务器部署和业务计算模块；后者是Rackspace开发的分布式云存储模块，两者可以一起用，也可以分开单独用。OpenStack除了有Rackspace和NASA的大力支持外，还有包括 Dell、Citrix、 Cisco、Canonical等重量级公司的贡献和支持，发展速度非常快，有取代另一个业界领先开源云平台Eucalyptus的态势。
Docker应用容器引擎； Docker让开发者可以打包他们的应用以及依赖包到一个可移植的容器中，然后发布到任何流行的 Linux 机器上，也可以实现虚拟化。容器是完全使用沙箱机制，相互之间不会有任何接口。
Docker应用在Sandbox（沙盒），作为sandbox大概是container的最基本想法了 -轻量级的隔离机制, 快速重建和销毁, 占用资源少。用Docker在开发者的单机环境下模拟分布式软件部署和调试，可谓又快又好。
同时docker提供的版本控制和image机制以及远程image管理，可以构建类似git的分布式开发环境。可以看到用于构建多平台image的packer以及同一作者的vagrant已经在这方面有所尝试了，笔者会后续的blog中介绍这两款来自同一geek的精致小巧的工具。
Docker已经不仅仅是DevOps人员手中的神器了，每一个开发者都应该学会如何使用Docker。
Docker解决的问题：云计算、大数据，移动技术的快速发展，加之企业业务需求的不断变化，导致企业架构要随时更改以适合业务需求，跟上技术更新的步伐。毫无疑问，这些重担都将压在企业开发人员身上；团队之间如何高效协调，快速交付产品，快速部署应用，以及满足企业业务需求，是开发人员亟需解决的问题。Docker技术恰好可以帮助开发人员解决这些问题。
为了解决开发人员和运维人员之间的协作关系，加快应用交付速度，越来越多的企业引入了DevOps这一概念。但是，传统的开发过程中，开发、测试、运维是三个独立运作的团队，团队之间沟通不畅，开发运维之间冲突时有发生，导致协作效率低下，产品交付延迟，影响了企业的业务运行。Docker技术将应用以集装箱的方式打包交付，使应用在不同的团队中共享，通过镜像的方式应用可以部署于任何环境中。这样避免了各团队之间的协作问题的出现，成为企业实现DevOps目标的重要工具。以容器方式交付的Docker技术支持不断地开发迭代，大大提升了产品开发和交付速度。
此外，与通过Hypervisor把底层设备虚拟化的虚拟机不同，Docker直接移植于Linux内核之上，通过运行Linux进程将底层设备虚拟隔离，这样系统性能的损耗也要比虚拟机低的多，几乎可以忽略。同时，Docker应用容器的启停非常高效，可以支持大规模的分布系统的水平扩展，真正给企业开发带来福音。
ECharts图表库；一个纯Javascript 的图表库，可以流畅的运行在 PC 和移动设备上，兼容当前绝大部分浏览器（IE8/9/10/11，Chrome，Firefox，Safari等），底层依赖轻量级的 Canvas 类库 ZRender，提供直观，生动，可交互，可高度个性化定制的数据可视化图表。ECharts 3 中更是加入了更多丰富的交互功能以及更多的可视化效果，并且对移动端做了深度的优化。其特点为：
1.免费、开源。
2.基于HTML5，兼容性好，渲染、动画、效果棒。
3.对开发者友好，使用简单，无需canvas基础，精简的接口方法，易学易用。
4.种类多，除一般统计图表外，还支持散点图（气泡图）、地图（世界地图和中国地图，中国地图具有全国34个省市级下钻功能）、力导向布局图，支持任意维度的堆积和多图表混合展现。
其使用教程为：
在百度ECharts官网上有5分钟上手ECharts的教程，用户只需要登陆官网页面便可免费查看并学习使用。其首页地址为： http://echarts.baidu.com/index.html：
sgccRiskControl开源包。
sgccRiskControl开源包用于进行数据预处理；
数据预处理包括数据筛选：数据筛选在监督终端实时监督人工审核的过程中，需要按一定的规则将无用、重复的信息进行标注；进行标注后，在人工审核的过程中，可以减轻一大部分的工作量，原本人工需要看两行数据，在有标注的信息条中就只需要看一行。比如如图3所示，在检查是否存在虚拟挂账的往来款时，需要标注同时满足以下两个条件的信息。条件一是款项单位名称相同，条件二是期末余额绝对值相同，并且符号相反。sgccRiskControl开源包可实现自动对该类信息的标注。
数据预处理包括数据拆分：数据拆分是监督终端在人工审核后，需要将每月平均如5万条的信息量进行分类汇总，其主要工作是将疑点按照需要被财务监督的企业或单位的类别分类，将每个需要被财务监督的企业或单位存在的疑点发回各个需要被财务监督的企业或单位，由各个需要被财务监督的企业或单位提供佐证材料；在不使用sgccRiskControl开源包的情况下，该项工作必须由人工来完成，工作量较大。使用sgccRiskControl开源包，可直接将如下图4的文件转化成图5的形式，完成该项工作。
数据预处理包括信息匹配：当需要被财务监督的企业或单位完成信息核对时，要将信息显示在监督终端上来反馈给监督小组，此时监督小组需要将反馈信息匹配到原工作表中，信息匹配的文件夹和信息匹配的最终结果如图6和图7所示,以往只能靠人工一一进行匹配。在使用sgccRiskControl开源包后，此项工作将变得非常简单。
sgccRiskControl开源包在进行数据预处理时的运用方式，包括如下步骤：
sgccRiskControl开源包构造时充分考虑了使用者的使用需求，注重项目实用性。对使用者编程能力要求极低，只需要简短几行代码便可实现开源包功能。具体运用方式如下：
步骤1-1：在监督终端上安装Anaconda python3.5；
安装地址能够是：
https://www.continuum.io/downloads
步骤1-2：在监控终端的开始菜单中搜索cmd并回车，cmd窗口出现后按以下格式输入命令：
pip install sgccRiskControl
from sgccRiskControl import DataProcess
d=DataProcess()
步骤1-3：在实现数据筛选功能时就输入命令：
d.split_table(文件夹路径)
在实现数据拆分功能时则输入命令：
d.drop_absEqual(文件夹路径)
在实现信息匹配功能时则输入命令：
d.paste_feedback(文件夹路径)
其中所有括号中文件夹路径输入样例能够为：
‘E:\\大数据北京\\实时监督资料\\具体问题\\匹配反馈’，文件夹的路径为要预处理的数据的路径。
步骤1-4：按以上步骤便可由此完成了数据预处理工作。
数据预处理时的数据的文件规范为：
为了更容易程序化处理以及更简易的API调用，必须做出以下规范。并且希望规范能越少越好，这样可以给予财务人员更多的灵活性。
1.原始扫描中，每一个监督规则为一个Excel表格，一个表格只有一个工作表Sheet；
2.表格的A列为结果‘明细ID’，作为数据标识具备唯一性；
3.表格第21列（含）以后为空白列，不允许手工填充，只允许程序写入；
4.固定常用字段名称及位置，常用字段包括被稽核单位在B列，稽核对象在C列，单位名称在D列，科目编码在E列，科目名称在F列以及凭证摘要在G列；
5.将各单位反馈的字段名固定为初步判断，最终结论以及反馈结论。
若需要被财务监督的企业或单位要对如2013年的某年以来电网故障进行风险评估，需要从事故原因、技术故障、电压等级多个维度，细化评估电网故障风险，并要求风险评估能够回答以下问题：
如何确定各个电压等级、各条线路、各个区域电网安全风险的高低；
如何定位风险主要发生原因；
如何对性制定风险防范措施。
监控终端还能够评估风险，评估风险的方法就以以下以电压等级、事故原因、技术故障为维度求取VaR值矩阵，绘制风险热力图的方式来说明包括如下步骤：
步骤2-1：采集故障损失分布数据；例如：取2013年以来电网故障记录数据，按电压等级（35KV、10KV、6KV、0.4KV），事故原因（大风、异物搭挂、鸟害、导线质量），技术故障（操作失压、单相接地、间隙放电、相间短路）分类。在故障损失数据缺失情况下，以故障发生频率代替损失数据。
步骤2-2：设定置信水平；例如：当置信水平设定为90%时，步骤2-3中VaR值代表的意义是有90%把握，特定类型风险的最大发生次数/损失。
步骤2-3：计算VaR值矩阵；例如：以电压等级为纵轴，事故原因和技术故障分别为横轴，计算VaR值矩阵。
步骤2-4：绘制风险热力图。VaR值以大小关系映射色彩上，可以用冷色调代表低VaR值（风险较低），暖色调代表高VaR值（风险较高），绘制风险热力图。
这样的风险评估的效果为：
一是细化了评估，满足业务部门对风险管理提出的要求。图12颜色最深的深色区域代表风险比较严重的区域，事故原因结合电压等级分析，35千伏、10千伏线路由导线质量引发的问题比较严重；6千伏、0.4千伏线路故障鸟害是主要原因。技术故障结合电压等级分析类似。在细化评估的基础上，可以制定有针对性的防范措施。二是方法灵活，可按照任意维度拓展。对于上述风险的评估，同样可以按照技术故障结合事故原因维度展开，完全取决于管理的需要以及数据的充裕程度。三基于VaR值，可跨风险类型比较。在VaR值计算基于损失分布的情况下，不同类型的风险具备可比性，由此就能够在公司层面决策重大风险，安排防范控制投入。四是理论体系完备，方法应用成熟。使用VaR值矩阵绘制风险热力图是操作风险评估中广泛应用的方法，因此也积累了众多方法应对实践中经常出现的问题。如在故障损失数据较少时，有众多可以选择的分布模型，或采用Bootstrap抽样技术（即可放回的抽样），反复计算VaR值，直至VaR值收敛，以达到在小样本条件下较好的效果。
而对财务的实时监督体系，基于主题规则，通过程序扫描大数据中的账务数据，尚不能实现会计凭证扫描和审核的自动化。其财务系统数据来源于现有的系统数据，并没有审核到财务凭证。本发明结合实时监督和凭证电子化，研究应用OCR（光学字符识别）技术，扩展现有主题规则，实现对财务系统数据和凭证影像数据的全扫描，提高监控实时化水平，扩大稽核广度和深度，并大大提升内控审计人员的工作效率。
为完成上述工作，提出以下三步走方式：
1.实现现有业务领域主题规则建设，扫描现有账务数据。（基本已经完成）
2.凭证电子化，扫描账户数据及其相关凭证。探索制定电子凭证实施监督主题规则建设并利用脚本程序实现建成的主题规则。凭证电子化是实时全扫描的基础条件，只有满足这一条件才能最终实现自动审核。
3.积累主题规则，固化系统。实施监督的主题规则建设涉及大量的财务设计内控，是一个长期积累的过程。所以在实现全扫描的过程中需要不断积累主题规则及相应的脚本实现程序，而后选取成熟的规则及程序。对于主题规则扫描实现的脚本程序由于需求层面变动多，需求复杂，要求比较灵活的开发方式，一步固化不可行。
使用OCR技术不仅可以提高监控实时化水平，还在部门协同、机器学习等方面具有积极作用。财务审计方面：将实现从账户数据向财务凭证的结合。实时监督方面：目前实时监督的过程是半自动化的过程，且人工占比较大。机器学习可以大量降低人工工作量，现有特征较少比如仅有摘要、账户名称、账户金额等。如果可以使用OCR技术扫描财务凭证，将丰富机器学习的特征维度并积累特征标注。部门协同方面：实时监督可以通过两方面加强部门之间的协同作用，一是建立API接口，可调用不同部门间数据。但由于涉及大量技术和信息安全问题，调用API接口很难实现。二是通过OCR技术实现深挖财务部门自身数据，并可以通过对财务凭证的要求达到规范其他部门。
用于OCR的软件能够是：
1.Abbyy FineReader：是一家俄罗斯软件公司，在文档识别，数据捕获和语言技术的开发中居世界领先地位。其获奖产品 FineReader OCR 软件可以把静态纸文件和 PDF 文件转换成可管理的电子数据，可以大大节省时间和精力。在用OCR进行文本扫描时，ABBYYFineReader软件提供了有效的文字识别系统，可以高速、简便地把扫描图像转变成文本文件格式。内置强大的Abbyy FineReader OCR文字识别引擎，可以将丰富的文字精确的转换成可编辑的Word电子文档。该软件非开源项目，需付费使用。
2.Tesseract，该软件是一个开源、可免费使用的OCR引擎，可以识别多种格式的图像文件并将其转换成文本，目前已支持包括中文在内的60多种语言。 Tesseract最初由HP公司开发，后来由Google维护，目前发布在Googel Project上。Tesseract的OCR引擎最先由HP实验室于1985年开始研发，至1995年时已经成为OCR业内最准确的三款识别引擎之一。1995年至2006年间，它几乎没有做任何工作，但自那时以来，它已被谷歌广泛地改进。它是根据Apache许可证2.0发行的。选取该包的原因：开源，本地，不涉及信息建立。
用以上方法实施实时监督审计预处理，并不能保证得到最终结论百分之百正确，其一是因为OCR识别率没法达到100%。其二并非所有审计程序都可以做到程序化，审计专业性要求高。但是实施预处理可以大面积筛选数据，减轻大量工作。
运用用于OCR的软件来使用OCR方式完成对财务凭证的读取有两种实现方式，其中：方式一是直接提供用于OCR的软件，安装在监督终端，让监督终端获取大数据系统中的财务凭证的图像数据来进行读取；
方式二是把财务凭证的图像数据传到大数据系统，在大数据系统中运用用于OCR的软件来读取后并对监督终端返回字段。
方式一的方法，包括如下步骤：
步骤A-1：将图像形式的如合同般的财务凭证转化为文本形式；
步骤A-2：按设定的监督规则对转化后的文本进行提取核对，其中所用的提取核对的代码在sgccRiskControl开源包中已经写好，可直接调用。代码如图10所示；
步骤A-3：取得核对结果，将核对结果反馈至设定的反馈表中。
以上以用实施例说明的方式对本发明作了描述，本领域的技术人员应当理解，本公开不限于以上描述的实施例，在不偏离本发明的范围的情况下，可以做出各种变化、改变和替换。
Claims (10)
1.一种基于大数据的财务在线监督系统，包括监督终端；
其特征在于，所述监督终端中包括风险预警模块、过程控制模块、结果合规模块以及风控绩效模块这样的四大模块；所述风险预警模块用于提示风险发生的可能性；所述过程控制模块用于检查程序规范性；所述结果合规模块用于检查内容正确性；所述风控绩效模块用于检查结果的效益性；
大数据系统，所述大数据系统与监督终端通信连接，所述大数据系统中存储有用于所述四大模块财务在线监督分析用的数据。
2.根据权利要求1所述的基于大数据的财务在线监督系统，其特征在于，所述大数据系统中包括有资金归集率、收取的承兑汇票、财务关键指标、重要事件、敏感数据波动情况、账务数据和财务凭证。
3.一种基于大数据的财务在线监督系统的方法，其特征在于，包括如下方式：
(1)进行风险预警，所述风险预警包括提示风险发生的可能性；
(2)进行过程控制，所述过程控制包括检查程序规范性；
(3)进行风控绩效检查，所述风控绩效检查包括检查结果的效益性；
(4)进行结果合规，所述结果合规包括用于检查内容正确性。
4.根据权利要求3所述的基于大数据的财务在线监督系统的方法，其特征在于，所述提示风险发生的可能性的方法包括临界值预警与参数状态预警；
所述临界值预警的方式是通过设定相应的风险预警临界值，如果检查出从所述大数据系统中获取的数据超过了该风险预警临界值的允许范围便触发预警；
所述参数状态预警的方式是指通过监督终端来检查所述大数据系统中的需要被财务监督的企业或单位的现有的财务系统的控制状态、该财务系统系统配置的参数状态或该财务系统系统配置的参数的动态变动情况，以此提示风险发生的可能性。
5.根据权利要求4所述的基于大数据的财务在线监督系统的方法，其特征在于，能够利用VaR值作为阈值的所述风险预警临界值的辅助标准，所述VaR值的量化方法采用历史数据法。
6.根据权利要求3所述的基于大数据的财务在线监督系统的方法，其特征在于，所述检查程序规范性的方法是以各业务主题所涉及的制度规范及流程执行要求为依据，以流程实际执行步骤的完整性、岗位正确性和执行内容合规性为切入点，确定过程控制可行的监督规则范围，作为流程监控系统优化方向，通过流程监控系统功能优化，实现过程控制的线上监控。
7.根据权利要求3所述的基于大数据的财务在线监督系统的方法，其特征在于，所述检查结果的效益性的方法为结合资产经营管理对标、实时控制考核指标这样的相关评价体系，运用重要事件与财务关键指标，对绩效进行综合评价，展示经营管理成果；该方法的具体内容包括在监督终端中展示从大数据系统中获得的融资综合成本率这样的财务关键指标、罚款或滞纳金缴纳情况这样的重要事件以及展示三年货币资金平均余额与业务规模匹配程度这样的敏感数据波动情况三方面，并把这三方面的数据进行经营管理成果的展示。
8.根据权利要求7所述的基于大数据的财务在线监督系统的方法，其特征在于，所述进行经营管理成果的展示的方式是在监督终端通过把从大数据系统中得到的大数据图形化、图像化以及动画化这样的展现方式，完成报告、查询、分析、预警、搜索、数据开放和服务这样的接口形式为公司大数据应用提供服务；这样的接口包括原非结构化数据中心服务接口，数据化展现方面，是基于GIS、Flash、Echart或者HTML5这样的工具构建可视化展示模式；
针对各种大数据，可视化展示模式也有区别对待的如下方式：
针对于运行数据，采取信息可视化与可视分析结合的方法进行处理；
针对客户数据，所述客户数据来自信息采集系统，将用户信息与用户地理区域对应起来，可实现用户行为分析与负荷特性的可视分析；另外还可以结合地理信息系统绘制地区客户地图，并按照一定的权限向公众开放该全景分析图，实现用户的互动服务，实时反馈购买和花费信息；
针对企业管理数据，可根据其不同业务部门的特点进行不同的可视化分析，由于三维模型数据量较大，需要尽可能减小三维模型数据量，从纹理与几何两个方面对模型进行压缩，生成多种细节层次模型，以支持三维模型的动态可视化。
9.根据权利要求3所述的基于大数据的财务在线监督系统的方法，其特征在于，所述用于检查内容正确性的方法指沿正向梳理和反向梳理两条线梳理监督规则；
所述正向梳理是梳理外部监管机构、公司通用制度、信息化管理提升要求这样的内容；
所述反向梳理是梳理审计发现问题、在线稽核检查问题这样的内容。
10.根据权利要求3所述的基于大数据的财务在线监督系统的方法，其特征在于，在所述大数据系统中的大数据开源结构包括:
OpenStack云计算管理平台；
Docker应用容器引擎；
ECharts图表库；
sgccRiskControl开源包；
所述sgccRiskControl开源包用于进行数据预处理；
所述数据预处理包括数据筛选：所述数据筛选在监督终端实时监督人工审核的过程中，需要按一定的规则将无用、重复的信息进行标注；进行标注后，在人工审核的过程中，可以减轻一大部分的工作量，原本人工需要看两行数据，在有标注的信息条中就只需要看一行；
所述数据预处理包括数据拆分：所述数据拆分是监督终端在人工审核后，需要将每月平均的信息量进行分类汇总，其是将疑点按照需要被财务监督的企业或单位的类别分类，将每个需要被财务监督的企业或单位存在的疑点发回各个需要被财务监督的企业或单位，由各个需要被财务监督的企业或单位提供佐证材料；
所述数据预处理包括信息匹配：当需要被财务监督的企业或单位完成信息核对时，要将信息显示在监督终端上来反馈给监督小组；
所述sgccRiskControl开源包在进行数据预处理时的运用方式，包括如下步骤：
步骤1-1：在监督终端上安装Anaconda python3.5；
步骤1-2：在监控终端的开始菜单中搜索cmd并回车，cmd窗口出现后按以下格式输入命令：
pip install sgccRiskControl
from sgccRiskControl import DataProcess
d＝DataProcess()
步骤1-3：在实现数据筛选功能时就输入命令：
d.split_table(文件夹路径)
在实现数据拆分功能时则输入命令：
d.drop_absEqual(文件夹路径)
在实现信息匹配功能时则输入命令：
d.paste_feedback(文件夹路径)
步骤1-4：由此完成了数据预处理工作；
所述数据预处理时的数据的文件规范为：
1.原始扫描中，每一个监督规则为一个Excel表格，一个表格只有一个工作表Sheet；
2.表格的A列为结果‘明细ID’，作为数据标识具备唯一性；
3.表格第21列(含)以后为空白列，不允许手工填充，只允许程序写入；
4.固定常用字段名称及位置，常用字段包括被稽核单位在B列，稽核对象在C列，单位名称在D列，科目编码在E列，科目名称在F列以及凭证摘要在G列；
5.将各单位反馈的字段名固定为初步判断，最终结论以及反馈结论；
所述监控终端还能够评估风险，所述评估风险的方法包括如下步骤：
步骤2-1：采集故障损失分布数据；
步骤2-2：设定置信水平；
步骤2-3：计算VaR值矩阵；
步骤2-4：绘制风险热力图；
使用OCR方式完成对财务凭证的读取有两种实现方式，其中：方式一是直接提供用于OCR的软件，安装在监督终端，让监督终端获取大数据系统中的财务凭证的图像数据来进行读取；
方式二是把财务凭证的图像数据传到大数据系统，在大数据系统中运用用于OCR的软件来读取后并对监督终端返回字段；
所述方式一的方法，包括如下步骤：
步骤A-1：将图像形式的财务凭证转化为文本形式；
步骤A-2：按设定的监督规则对转化后的文本进行提取核对；
步骤A-3：取得核对结果，将核对结果反馈至设定的反馈表中。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910698184.6A CN110400207A (zh) | 2019-07-31 | 2019-07-31 | 一种基于大数据的财务在线监督系统及其方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910698184.6A CN110400207A (zh) | 2019-07-31 | 2019-07-31 | 一种基于大数据的财务在线监督系统及其方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110400207A true CN110400207A (zh) | 2019-11-01 |
Family
ID=68326773
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910698184.6A Pending CN110400207A (zh) | 2019-07-31 | 2019-07-31 | 一种基于大数据的财务在线监督系统及其方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110400207A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111062719A (zh) * | 2019-12-13 | 2020-04-24 | 深圳迅策科技有限公司 | 一种金融交易集成方法 |
| CN111324357A (zh) * | 2020-02-11 | 2020-06-23 | 支付宝(杭州)信息技术有限公司 | 应用程序接入风控平台的方法及相关设备 |
| CN111428969A (zh) * | 2020-02-12 | 2020-07-17 | 浙江知夫子信息科技有限公司 | 一种基于规则引擎的销售提成计算系统及其计算方法 |
| CN112364228A (zh) * | 2020-11-26 | 2021-02-12 | 深圳前瞻资讯股份有限公司 | 一种基于物理位置的企业大数据系统的构建方法、系统、应用方法、终端设备及存储介质 |
| CN112966890A (zh) * | 2020-11-09 | 2021-06-15 | 深圳供电局有限公司 | 一种用于企业员工监督的智能分析系统及方法 |
| CN117151902A (zh) * | 2023-10-25 | 2023-12-01 | 北京创智和宇科技有限公司 | 一种大数据分析对drg及dip医保支付风险监控和预警的方法 |
| CN117436709A (zh) * | 2023-12-20 | 2024-01-23 | 四川宽窄智慧物流有限责任公司 | 一种跨区域订单数据统筹预警方法 |
| WO2024062459A1 (en) * | 2022-09-23 | 2024-03-28 | Deeptranslate Limited | Compliance document auto-generation |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101714273A (zh) * | 2009-05-26 | 2010-05-26 | 北京银丰新融科技开发有限公司 | 一种基于规则引擎的银行异常业务监控方法和系统 |
| US20150088783A1 (en) * | 2009-02-11 | 2015-03-26 | Johnathan Mun | System and method for modeling and quantifying regulatory capital, key risk indicators, probability of default, exposure at default, loss given default, liquidity ratios, and value at risk, within the areas of asset liability management, credit risk, market risk, operational risk, and liquidity risk for banks |
| CN105205715A (zh) * | 2015-09-24 | 2015-12-30 | 北京银丰新融科技开发有限公司 | 一种在线银行异常业务监控系统 |
| CN105761010A (zh) * | 2016-02-24 | 2016-07-13 | 国网山东省电力公司 | 基于实时数据采集的集团企业稽核实时监控方法及系统 |
| CN106407216A (zh) * | 2015-07-31 | 2017-02-15 | 国网能源研究院 | 基于语义网构建路径开发的线索追溯稽核系统及其构建方法 |
| CN107368951A (zh) * | 2017-06-28 | 2017-11-21 | 国网江苏省电力公司检修分公司 | 一种电网企业技改大修质量管控廉洁风险预警系统及其运行方法 |
| CN107609784A (zh) * | 2017-09-25 | 2018-01-19 | 四川长虹电器股份有限公司 | 利用大数据量化分析外汇投资风险的系统及方法 |
| CN108470228A (zh) * | 2017-02-22 | 2018-08-31 | 国网能源研究院 | 财务数据稽核方法及稽核系统 |
| CN109004747A (zh) * | 2018-07-09 | 2018-12-14 | 国网江苏省电力有限公司常州供电分公司 | 基于电网实时状态的重要用户停电风险预警系统及方法 |
-
2019
- 2019-07-31 CN CN201910698184.6A patent/CN110400207A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150088783A1 (en) * | 2009-02-11 | 2015-03-26 | Johnathan Mun | System and method for modeling and quantifying regulatory capital, key risk indicators, probability of default, exposure at default, loss given default, liquidity ratios, and value at risk, within the areas of asset liability management, credit risk, market risk, operational risk, and liquidity risk for banks |
| CN101714273A (zh) * | 2009-05-26 | 2010-05-26 | 北京银丰新融科技开发有限公司 | 一种基于规则引擎的银行异常业务监控方法和系统 |
| CN106407216A (zh) * | 2015-07-31 | 2017-02-15 | 国网能源研究院 | 基于语义网构建路径开发的线索追溯稽核系统及其构建方法 |
| CN105205715A (zh) * | 2015-09-24 | 2015-12-30 | 北京银丰新融科技开发有限公司 | 一种在线银行异常业务监控系统 |
| CN105761010A (zh) * | 2016-02-24 | 2016-07-13 | 国网山东省电力公司 | 基于实时数据采集的集团企业稽核实时监控方法及系统 |
| CN108470228A (zh) * | 2017-02-22 | 2018-08-31 | 国网能源研究院 | 财务数据稽核方法及稽核系统 |
| CN107368951A (zh) * | 2017-06-28 | 2017-11-21 | 国网江苏省电力公司检修分公司 | 一种电网企业技改大修质量管控廉洁风险预警系统及其运行方法 |
| CN107609784A (zh) * | 2017-09-25 | 2018-01-19 | 四川长虹电器股份有限公司 | 利用大数据量化分析外汇投资风险的系统及方法 |
| CN109004747A (zh) * | 2018-07-09 | 2018-12-14 | 国网江苏省电力有限公司常州供电分公司 | 基于电网实时状态的重要用户停电风险预警系统及方法 |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111062719A (zh) * | 2019-12-13 | 2020-04-24 | 深圳迅策科技有限公司 | 一种金融交易集成方法 |
| CN111324357A (zh) * | 2020-02-11 | 2020-06-23 | 支付宝(杭州)信息技术有限公司 | 应用程序接入风控平台的方法及相关设备 |
| CN111324357B (zh) * | 2020-02-11 | 2022-06-28 | 支付宝(杭州)信息技术有限公司 | 应用程序接入风控平台的方法及相关设备 |
| CN111428969A (zh) * | 2020-02-12 | 2020-07-17 | 浙江知夫子信息科技有限公司 | 一种基于规则引擎的销售提成计算系统及其计算方法 |
| CN112966890A (zh) * | 2020-11-09 | 2021-06-15 | 深圳供电局有限公司 | 一种用于企业员工监督的智能分析系统及方法 |
| CN112966890B (zh) * | 2020-11-09 | 2023-11-14 | 深圳供电局有限公司 | 一种用于企业员工监督的智能分析系统及方法 |
| CN112364228A (zh) * | 2020-11-26 | 2021-02-12 | 深圳前瞻资讯股份有限公司 | 一种基于物理位置的企业大数据系统的构建方法、系统、应用方法、终端设备及存储介质 |
| WO2024062459A1 (en) * | 2022-09-23 | 2024-03-28 | Deeptranslate Limited | Compliance document auto-generation |
| CN117151902A (zh) * | 2023-10-25 | 2023-12-01 | 北京创智和宇科技有限公司 | 一种大数据分析对drg及dip医保支付风险监控和预警的方法 |
| CN117151902B (zh) * | 2023-10-25 | 2024-01-23 | 北京创智和宇科技有限公司 | 一种大数据分析对drg及dip医保支付风险监控和预警的方法 |
| CN117436709A (zh) * | 2023-12-20 | 2024-01-23 | 四川宽窄智慧物流有限责任公司 | 一种跨区域订单数据统筹预警方法 |
| CN117436709B (zh) * | 2023-12-20 | 2024-03-19 | 四川宽窄智慧物流有限责任公司 | 一种跨区域订单数据统筹预警方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110400207A (zh) | 一种基于大数据的财务在线监督系统及其方法 | |
| Yu et al. | Circular economy in the construction industry: A review of decision support tools based on Information & Communication Technologies | |
| de Oca et al. | A systematic literature review of studies on business process modeling quality | |
| Shen et al. | Critical indicators for assessing the contribution of infrastructure projects to coordinated urban–rural development in China | |
| CN103678109B (zh) | 一种转储文件分析方法、装置和系统 | |
| CN108446972A (zh) | 银行头寸监控方法、装置及资金头寸管理系统 | |
| Shafi et al. | Measuring performance through enterprise resource planning system implementation | |
| Salvador-García et al. | Integrating HBIM models in the management of the public use of heritage buildings | |
| CN112231386B (zh) | 铁路科研数据可视化交互方法及系统、设备及存储介质 | |
| Nardello et al. | Incorporating process and data heterogeneity in enterprise architecture: Extended AMA4EA in an international manufacturing company | |
| Liu et al. | Robots and protest: does increased protest among Chinese workers result in more automation? | |
| Korman et al. | Technology management through architecture reference models: A smart metering case | |
| Siqueira | Sucupira-A Platform for the Evaluation of Graduate Education in Brazil | |
| Rita et al. | Best regional practices for digital transformation in industry: The case of the industry 4.0 program in Portugal | |
| CN111933228B (zh) | 用于临床研究中的项目分发与管理系统的实现方法和装置 | |
| Guo | Design of University Financial Information System Based on Data Mining Technology and IoT | |
| CN114140004A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
| CN112381509A (zh) | 重大新药创制国家科技重大专项课题管理系统 | |
| CN112528606A (zh) | 基于报告编辑器的桥梁定期检查报告生成方法及系统 | |
| Wissner et al. | Ensuring safeguards and assessing sustainable development impacts in the voluntary carbon market | |
| Shirvani et al. | Employing the model based systems engineering methodologies to develop a domain specific language for contracting of infrastructure projects | |
| Pham et al. | Investigating Enterprise Resource Planning (ERP) Effect on Work Environment | |
| Manganelli et al. | Automatic estimate of depreciated reproduction cost for optimizing the real estate management through BIM | |
| Eufemia et al. | Governing landscapes: An agenda for the assessment of grasslands and savannahs | |
| Ferreira et al. | MCRMiner: a Tool to Support Empirical Studies on Modern Code Review |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191101 |