CN103970851B - 海量凭证数据直接出具大型企业集团总部财务报表的方法 - Google Patents
海量凭证数据直接出具大型企业集团总部财务报表的方法 Download PDFInfo
- Publication number
- CN103970851B CN103970851B CN201410186416.7A CN201410186416A CN103970851B CN 103970851 B CN103970851 B CN 103970851B CN 201410186416 A CN201410186416 A CN 201410186416A CN 103970851 B CN103970851 B CN 103970851B
- Authority
- CN
- China
- Prior art keywords
- data
- node
- report data
- computer
- report
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/248—Presentation of query results
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)
Abstract
一种海量凭证数据直接出具大型企业集团总部财务报表的方法。将凭证数据切分为多个数据片段,利用与数据对应的计算规则计算多个数据片段得到多个临时结果集;汇总多个临时结果集以获得报表数据;从日志表中发现有变化的凭证数据和/或计算规则,利用最新的凭证数据和对应的计算规则重复上述步骤以得到更新的报表数据;对更新的报表数据进行数据校验和模型校验,剔除未通过数据校验和模型校验的报表数据,数据校验包括对不符合合并抵消规则的报表数据进行修正,模型校验包括:根据大型企业各层级间往来财务模型确定更新的报表数据可用;利用经过数据校验和模型校验的报表数据出具财务报表。该方法能根据海量明细凭证数据出具总部财务报表。
Description
技术领域
本发明涉及数据处理领域,具体地,涉及一种海量凭证数据直接出具大型企业集团总部财务报表的方法。
背景技术
作为信息载体的财务合并报表,在企业信息化过程中起到主导作用,通过信息化手段有效改善数据,成为高层决策的有力依据和支撑,为了使得财务信息能够准确、规范、快速、有效地进行整合与合并,及时、真实反映大型企业整体财务状况、经营成果和关键绩效指标,需基于账的合并抵销,以便统一、标准、规范的报表合并规则,可视化、透明化、自动化的合并流程,以支持大型企业各层真实、准确、高效地完成合并抵销并出具全级次的财务报表。
现有技术提出的大型企业合并报表系统信息化方案中,通用的解决方案是以SAPECC作为业务与账务处理系统,报表系统基于ECC的明细凭证数据,但由于处理逻辑的复杂性,在技术上无法直接由海量的明细数据直接出具大型企业集团总部报表、在报表出具过程中对数据的进行校验修正以及快速智能对数据进行加工处理,所以采用手工或者半自动方式出具总部财务合并报表,造成了无法杜绝手工干预,进一步保证帐表一致,从而实现财务管理、财务报表出具和财务分析的一体化。
为了实现总部可不依赖下级单位而直接基于账务数据来出具整个大型企业集团总部报表,反映备抵后的真实财务状况,规范合并抵消的操作,满足总部和企业的分级财务合并需求,需从技术上实现了大型企业从上而下的“一本帐”,就必须要实现由海量明细数据直接出具大型企业集团总部财务报表,实现在出具过程中能智能进行数据清洗修与数据自动校正功能,并对差异数据进行跟踪、分析和更正。
目前,在我国大型企业的财务合并报表系统中,由于会计准则的复杂性和企业业务的多样性,都采用手工或半自动方式出具大型企业集团总部报表。
手工方式即根据下属单位上报的单体报表一层一层往上手工编制合并报表,在实际操作中存在大量的手工干预,编制效率底,而且报表数据的准确性、真实性有待提高。
半自动方式从ECC获取账务明细数据直接出具单体报表,单体报表结果数据校验通过后,才能出具二级单位的合并报表,二级单位合并报表的结果数据校验通过后,才出具大型企业集团总部报表,在实际应用中,如果采用传统的分布式计算,无法一次性从ECC系统收集海量的明细数据到报表系统中,只能按合并组织架构从低往高分层收集数据,减少并发数据量;由于大型企业的合并组织层级多,在月结期间,如果有多数合并单位的清洗规则发现变化,为了保证历史数据按最新的清洗规则进行转换,总部如果直接收集数据,需要重新全量加载或者人工干预挑选特定的明细数据上载,这样会浪费大量的系统资源或等待时间,而且有人工的干预容易错误并且效率低下;此外,对于目前合并报表系统实施方法,只能在出具一套完整的报表,然后根据报表数据结果进行校验,才能检查数据质量是否到达出具上级合并报表的要求,所以只能一层一层往上出具财务合并报表,而无法直接在企业总部基于明细凭证数据直接出具大型企业的总体报表。
由于以上的内容技术瓶颈,现有财务合并报表系统从SAP ECC获取明细数据出具总体合并报表是通过手工或半自动方式实现,而无法直接出具总部的财务合并报表。
针对上述问题,现有技术中尚无良好解决方案。
发明内容
本发明的目的是提供一种方法,通过该方法能够实现从SAP ECC获取明细数据直接出具总部的财务报表。
为了实现上述目的,本发明提供一种海量凭证数据直接出具大型企业集团总部财务报表的方法,包括:将所述凭证数据切分为多个数据片段,以及利用与数据对应的计算规则计算所述多个数据片段得到多个临时结果集;汇总所述多个临时结果集以获得报表数据;从日志表中发现有变化的凭证数据和/或计算规则,利用最新的凭证数据和对应的计算规则重复上述步骤以得到更新的报表数据;对所述更新的报表数据进行数据校验和模型校验,将未通过数据校验和模型校验的报表数据剔除,其中,所述数据校验包括对不符合合并抵消规则的报表数据进行修正,以及所述模型校验包括:根据大型企业各层级间往来财务模型确定所述更新的报表数据可用;以及利用经过所述数据校验和所述模型校验的报表数据出具财务报表。
进一步地,汇总所述多个临时结果集以获得报表数据的步骤可以包括:将所述多个临时结果集划分为多个临时结果集组;汇总每个临时结果集组;以及收集每个临时结果集组的汇总数据进行再汇总以获得所述报表数据。
进一步地,所述数据校验包括:根据财务合并抵消规则建立财务项目编码和合并事物的规则矩阵,根据所述规则矩阵发现并记录不符合所述合并抵消规则的报表数据,以及基于差异特征对不符合所述合并抵消规则的报表数据进行修正;以及所述模型校验包括:建立大型企业各层级间往来财务模型,通过所述往来财务模型计算差异特征绝对值累计值,以及根据累计值-时间曲线确定所述更新的报表数据可用。
进一步地,该方法还包括:从日志表中发现有变化的计算规则,根据变化前的计算规则反向推导定位出凭证数据并清除与变化前的计算规则相关的报表数据;以及使用变化后的计算规则和对应的凭证数据得到更新的报表数据。
进一步地,该方法还包括:将每个步骤划分为多个子任务节点;分配完成子任务节点所需的运算到所述计算机集群中的多个计算机节点进行运算处理;保存所述多个计算机节点运算处理的状态快照;以及当所述子任务节点中断时,根据所述状态快照恢复中断前的子任务节点状态,以及继续执行中断的子任务节点。
进一步地,该方法还包括:对所述多个计算机节点进行心跳检测;以及将分配到心跳检测无响应的计算机节点的运算再分配到其他计算机节点。
进一步地,该方法还包括:将所述多个计算机节点的运算处理结果保存到与所述计算机集群中的所有计算机节点连接的共享存储器。
进一步地,该方法还包括:当执行当前子任务节点的所有计算机节点运算处理完成后,对完成下一个子任务节点所需的运算进行分配。
进一步地,该方法还包括:根据贪婪算法分配所述完成子任务节点所需的运算。
进一步地,该方法还包括:在完成最后一个任务节点的运算后,输出运算结果。
进一步地,所述计算机集群由部署云计算平台的计算机节点组成。
进一步地,所述云计算平台为HADOOP云计算平台。
进一步地,所述计算机节点为LINUX系统服务器。
通过上述技术方案,将初始的海量明细凭证数据切分并分别计算处理,具有较高的计算处理效率,实现了对海量明细凭证数据的快速处理;将计算处理后的结果汇总为报表数据,而后利用经过更新和校正的报表数据能够出具企业总部级财务报表。
本发明的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本发明的进一步理解,并且构成说明书的一部分,与下面的具体实施方式一起用于解释本发明,但并不构成对本发明的限制。在附图中:
图1是根据本发明实施方式的海量凭证数据直接出具大型企业集团总部财务报表的方法流程图;
图2是根据本发明示例性实施方式的海量凭证数据直接出具大型企业集团总部财务报表的方法流程图;
图3是根据本发明示例性实施方式的海量凭证数据直接出具大型企业集团总部财务报表的方法流程图;以及
图4是根据本发明示例性实施方式的海量凭证数据直接出具大型企业集团总部财务报表的方法流程图。
具体实施方式
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是,此处所描述的具体实施方式仅用于说明和解释本发明,并不用于限制本发明。
图1是根据本发明实施方式的海量凭证数据直接出具大型企业集团总部财务报表的方法流程图。如图1所示,根据本发明实施方式的海量凭证数据直接出具大型企业集团总部财务报表的方法可以包括:S101,将所述凭证数据切分为多个数据片段,以及利用与数据对应的计算规则计算所述多个数据片段得到多个临时结果集;S102,汇总所述多个临时结果集以获得报表数据;S103,从日志表中发现有变化的凭证数据和/或计算规则,利用最新的凭证数据和对应的计算规则重复上述步骤以得到更新的报表数据;S104,对所述更新的报表数据进行数据校验和模型校验,将未通过数据校验和模型校验的报表数据剔除,其中,所述数据校验包括对不符合合并抵消规则的报表数据进行修正,以及所述模型校验包括:根据大型企业各层级间往来财务模型确定所述更新的报表数据可用;以及S105,利用经过所述数据校验和所述模型校验的报表数据出具财务报表。
通过上述技术方案,将初始的海量明细凭证数据切分并分别计算处理,具有较高的计算处理效率,实现了对海量明细凭证数据的快速处理;将计算处理后的结果汇总为报表数据,而后利用经过更新和校正的报表数据能够出具企业总部级财务报表。
将所述凭证数据切分为多个数据片段,能够利用分布式或云技术实现海量凭证数据的快速计算处理。可想而知,海量的凭证数据经过计算处理后,将得到同样为海量的结果集。因此,对于结果集的汇总运算同样可以采用切片或任务分配的方式。在优选的实施方式中,汇总所述多个临时结果集以获得报表数据的步骤可以包括:将所述多个临时结果集划分为多个临时结果集组;汇总每个临时结果集组;以及收集每个临时结果集组的汇总数据进行再汇总以获得所述报表数据。
在财务计算中,通过数据校验和模型校验能够保证报表数据的准确性,进而保证利用报表数据所生成的报表的准确性。在由海量凭证数据出具报表的过程中,是否能够准确且快速的进行数据校验和模型校验是制约总部报表准确度和出具速度的关键因素。
在根据本发明的方法的实施方式中,可以通过以下方式进行数据校验和模型校验。其中,所述数据校验可以包括:根据财务合并抵消规则建立财务项目编码和合并事物的规则矩阵,根据所述规则矩阵发现并记录不符合所述合并抵消规则的报表数据,以及基于差异特征对不符合所述合并抵消规则的报表数据进行修正。在上述数据校验过程中,利用规则矩阵可以发现不符合合并抵消规则的报表数据,然后利用反馈到系统的差异特征可以对不符合合并抵消规则的报表数据进行修正。
对于模型校验。模型校验可以包括:建立大型企业各层级间往来财务模型,通过所述往来财务模型计算差异特征绝对值累计值,以及根据累计值-时间曲线确定所述更新的报表数据可用。在上述模型校验过程中,当累计值-时间曲线有异常波动(例如,曲线上出现脉冲部分)时,可以进一步分析各级公司之间的差异,为修正原始凭证数据提供依据。校验模型是为了校验往来差异,并监控数据差异走势,自动分析并提供原始凭证数据的依据,到达提供出具合并报表数据质量。校验模型的数据要素可以包括:时间特性(会计年度/期间、记账期间、会计年度、会计年度变式),组织特性(合并组、公司代码、贸易伙伴),差异特征(差异明细项、差异事项),关键特征值(本方记账金额、对方金额、差异绝对值)等。
以下结合图2对根据本发明的一个示例性实施方式进行说明。图2是根据本发明示例性实施方式的海量凭证数据直接出具大型企业集团总部财务报表的方法流程图。如图2所示,根据本发明的一个实施方式的海量凭证数据直接出具大型企业集团总部财务报表的方法可以实现如下:
需要提前说明的是,在方法的实施中,为了实现从海量数据快速出具财务合并报表,作为可选的实施方式,采用了基于HADOOP的云计算系统,以在短时间内高效地处理数据,例如进行数据抽取清洗及数据合并计算。为了使明细数据符合财务合并抵消规则的数据质量要求,设定了以下数据处理步骤,包括:智能自动增量清洗与加载、数据质量矩阵跟踪与分析、数据规则匹配智能校验、建立对账分析模型和预警对账过程异常。
方法步骤开始后需要对大量甚至是海量数据进行处理。首先,对需要处理的数据进行评估,计算所需的资源;根据分布式集群中计算能力,将需要处理的数据切分为多个数据片段。然后,把每个数据片段推送到分布式集群中的每个计算节点上。计算系统启动任务调度程序,在集群中的各个计算节点中,运行并行计算程序。集群中的各个计算节点会同时对各自分配的数据片段进行计算处理,并且输出利用分配到的数据片段计算出的临时结果集。然后,计算系统可以启动任务调度程序,收集各个临时结果集进行汇总。海量的凭证数据经过计算处理后,可能将得到同样为海量的结果集。因此,在优选的实施方式中,可以将临时结果集(例如划分为组)再次分配给集群中的多个计算节点,由多个计算节点同时对各个临时结果集进行汇总处理。最后,收集、合并每个汇总计算的结果,产生一个最终的输出数据(例如报表数据)作为最终汇总结果。并将最终的输出数据统一的推送至目标应用,例如智能自动增量清洗与加载应用。
智能自动增量清洗与加载可以是系统自动进行的判别和计算,并且只对有变化的业务数据进行最小量的、高效快速的清洗。智能自动增量清洗与加载过程可以利用清洗表(业务清洗规则)或主数据(如客户、供应商、集团科目)。根据财务业务需要,当所维护的数据内容发生变化时,为了保持按最新的业务逻辑出具报表,需要数据重新做全量加载或者人工干预挑选特定的明细数据上载,这样会浪费大量的系统资源和等待时间,而且有人工的干预容易错误并且效率低下。自动增量清洗与加载是系统根据变化了的清洗逻辑反向推导出需要重新增量加载的业务数据,这样,能对业务数据进行最小量的、高效快速的清洗;具体地,系统可以对记录有清洗规则的清洗表或主数据的变化情况进行分析,将变化过程记录在日志历史表中,根据变化前的规则(或计算规则)反向推导定位出业务数据(例如,凭证数据),新生成这小撮数据的关键指标值为方向负数,再根据变化后的规则反向推导定位出业务数据,按新的业务规则增量清洗出这小撮数据的结果项(例如,报表数据),从而实现快速、简单且无需人工干预的数据清洗。因此,在实施方式中,该方法还可以包括:从日志表中发现有变化的计算规则,根据变化前的计算规则反向推导定位出凭证数据并清除与变化前的计算规则相关的报表数据;以及使用变化后的计算规则和对应的凭证数据得到更新的报表数据。对于智能自动增量清洗与加载后得到的报表数据,可以继续进行数据校验和模型校验,并且对于没有通过数据校验和/或模型校验的报表数据,可以返回智能自动增量清洗与加载重新处理。其中,数据校验可以包括数据质量矩阵跟踪与分析过程和数据规则匹配智能校验过程。
数据质量矩阵跟踪与分析过程,能够通过权益相关移动类型的检查确保总部投资合并准确的执行,减少企业账后的反复调整。方法步骤中,首先系统可以根据财务的合并抵消规则,捕捉项目编码和合并事务类型按会计年度、分子公司列示的规则矩阵;然后,根据以上的规则矩阵,系统可以触发寻找不符合上述规则(即合并抵消规则)的明细数据,记录到权益移动类型使用检查表,最后将含有项目编码、项目描述、合并事务类型的可使用范围、年初余额、本期增资、本期减资、其他综合收益的差异特征反馈到系统中,以便进行数据修正。
数据规则匹配智能校验过程是一种解决贸易伙伴、往来单位性质及企业组织架构之间的三维交叉关系的规则智能校验方法,在通用的合并报表出具过程中,只能通过不同组织架构出具整套的合并报表,然后根据表间的数据结果才能判别以上三者的规则是否匹配,在本发明的实施方式中,可以对三维交叉关系进行拆解,并根据返回代码进行进一步的分析,以实现在凭证明细基础上就能对数据规则进行匹配智能校验,以下引入一个具体实例,详细描述具体的数据规则匹配智能校验步骤如下:
1、当往来单位性质为“本公司内部”,判断贸易伙伴是否属于需校验合并组下的所有公司,如果是返回代码“NB101”,如果贸易伙伴不属于需校验合并组下的所有公司且属于股份公司内的,返回代码“GF101”;如果贸易伙伴不属需校验合并组下的所有公司和股份公司内,但属于集团内的,返回代码“JT101”;如果贸易伙伴属于集团外部的或者为空值,返回代码“WB101”;
2、当往来单位性质为“集团内上市公司”,判断贸易伙伴是否属于需校验合并组下的所有公司,如果是返回代码“NB102”;如果贸易伙伴不属于需校验合并组下的所有公司且属于股份公司内的,返回代码“GF102”;如果贸易伙伴不属需校验合并组下的所有公司和股份公司内,但属于集团内的,返回代码“JT102”;如果贸易伙伴属于集团外部的或者为空值,返回代码“WB102”;
3、当往来单位性质为“集团内非上市公司”,判断贸易伙伴是否属于需校验合并组下的所有公司,如果是返回代码“NB103”;如果贸易伙伴不属于需校验合并组下的所有公司且属于股份公司内的,返回代码“GF103”;如果贸易伙伴不属需校验合并组下的所有公司和股份公司内,但属于集团内的,返回代码“JT103”;如果贸易伙伴属于集团外部的或者为空值,返回代码“WB103”;
4、当往来单位性质为“其他关联方”,判断贸易伙伴是否属于需校验合并组下的所有公司,如果是返回代码“NB104”;如果贸易伙伴不属于需校验合并组下的所有公司且属于股份公司内的,返回代码“GF104”;如果贸易伙伴不属需校验合并组下的所有公司和股份公司内,但属于集团内的,返回代码“JT104”;如果贸易伙伴属于集团外部的或者为空值,返回代码“WB104”;
5、当往来单位性质为“第三方”,判断贸易伙伴是否属于需校验合并组下的所有公司,如果是返回代码“NB105”;如果贸易伙伴不属于需校验合并组下的所有公司且属于股份公司内的,返回代码“GF105”;如果贸易伙伴不属需校验合并组下的所有公司和股份公司内,但属于集团内的,返回代码“JT105”;如果贸易伙伴属于集团外部的或者为空值,返回代码“WB105”;
6、对返回码进行处理,当返回码为“NB101”、“GF102”、“JT103”、“WB104”、“WB105”时,在系统生成通过校验信息,当返回码为其他编码(例如,GF101、JT101、WB101、NB102、JT102、WB102、NB103、GF103、WB103、NB104、GF104、JT104、NB105、GF105、JT105)时,根据不同的种类情况,自动生成含义有科目、合并组、往来单位性质、贸易伙伴维度的明细对账差异矩阵信息,反馈到SAP业务系统,更正业务做账凭证信息。
进行往来对账交易异常监控与修复,这样是为了提高公司间往来挂账数据质量,逐步减小总部层级往来抵消差异,提高往来类报表出具的准确性,同时提升对总部下属单位往来账款的监管力度,指导企业进行业务核算整改提供数据抓手。上述过程可以通过建立数据分析模型来实现,即进行模型校验。例如,根据企业往来对账合并业务规则,建立差异分析模型,该模型可以包含总部下属单位的公司代码、贸易伙伴、记账科目、差异特征值以及差异原因代码。
建立该数据分析模型后,可以取差异特征绝对值之和,按时间(如日、月、年)监控整个集团往来差异走势曲线,如果对走势有异常的(例如,曲线中是否存在突变)。对于走势曲线中的异常位置,可以进行穿透,直接分析各个公司两两之间的差异,并能进一步跟踪进行数据穿透,分析差异引起的具体原因,如是由哪家公司与哪家公司的某个具体往来挂账有差异等,并可以将具体原因进行系统记录,从而为修正原始凭证数据提供追踪线索。
在实施方式中,本发明提供的海量凭证数据直接出具大型企业集团总部财务报表的方法可以按照任务链形式按步骤顺序进行。对总部海量明细凭证数据进行处理的运算量是海量级别的。这样的运算量,普通的系统和硬件难以完成,一般需要高性能的硬件支持,而高性能的硬件势必需要高昂的成本投入。为此,本发明的实施方式中提供以下方法解决大数据量与性能不高的硬件系统之间的矛盾。
图3是根据本发明示例性实施方式的海量凭证数据直接出具大型企业集团总部财务报表的方法流程图。如图3所示,本发明实施方式提供的海量凭证数据直接出具大型企业集团总部财务报表的方法,可以包括:S301,将每个步骤划分为多个子任务节点;S302,分配完成子任务节点所需的运算到所述计算机集群中的多个计算机节点进行运算处理;S303,保存所述多个计算机节点运算处理的状态快照;以及S304,当所述子任务节点中断时,根据所述状态快照恢复中断前的子任务节点状态,以及继续执行中断的子任务节点。
通过上述技术方案,将完成一个任务链步骤所需的运算(例如,将凭证数据转化为报表数据的过程所需运算)分配到多个计算机节点进行运算处理(例如,将待运算的凭证数据分为数据片段),能够将运算量化整为零,提高任务运行速度;通过保存运算处理的状态快照,在任务链步骤因故中断时,能够将任务链步骤恢复到中断前状态,从而从中断前状态开始继续执行任务链。因此,通过上述技术方案,当任务链步骤或节点失败时,能够从失败的步骤或节点继续执行任务链,而无需从初始状态重复执行,提高任务处理效率、降低资源浪费。
在优选的实施方式中,上述方法还可以包括:对多个计算机节点进行心跳检测;以及将分配到心跳检测无响应的计算机节点的运算再分配到其他计算机节点。通过心跳检测可以确定进行运算的计算机节点的工作状态。为了确保分配到每个计算机节点的运算都能够完成,当出现心跳检测无响应的计算机时,可以将分配到该计算机节点的运算重新分配到其他心跳检测正常的计算机节点。优选地,重新分配到的计算机节点可以是已完成被分配的运算的计算机节点,这样可以充分利用空闲计算资源完成运算。
为了使完成任务链中每个任务节点或子任务节点的运算的计算机节点能够获取运算所需的数据,在实施方式中,方法还可以包括:将所述多个计算机节点的运算处理结果保存到与所述计算机集群中的所有计算机节点连接的共享存储器。这样所有计算机节点可以在运算开始时从共享存储器获取运算数据,以及在运算完成时向共享存储器中存储运算结果。这里需要说明的是,计算机节点运算处理的状态快照也可以保存在共享存储器中,或者也可以单独设置快照存储器。存储器的实例包括但不局限于只读存储器(ROM)、随机存取存储器(RAM)、寄存器、缓冲存储器、半导体存储设备等。
在不同的实施方式中,该方法还可以包括:当执行当前子任务节点的所有计算机节点运算处理完成后,对完成下一个子任务节点所需的运算进行分配。在实施方式中,存在多种情况需要执行上述步骤。例如,对于大量运算,需要使用计算机集群中的所有计算机节点参与的子任务节点的运算,只有当所有计算机节点都完成运算处理后才能继续分配下一子任务节点的运算。再如,对于需要得到上一子任务节点的全部运算结果后才能分配下一子任务节点的运算的情况,方法中也需要包含这样的步骤。当然,在实施方式中,也可以将不同子任务节点的运算同时分配到计算机集群中的不同计算机节点组进行处理。
下面结合图4对海量凭证数据直接出具大型企业集团总部财务报表的方法的实现过程进行说明。如图4所示,在一个任务链从开始到结束之间可以有多个任务节点(或网状处理节点),每个任务节点中可以包括(例如具有网状拓扑结构的)多个子任务节点,每个子任务节点的运算可以被分配到计算机集群中的一个或多个计算机节点(图中未示出)进行处理。每个计算机节点所要进行的运算可以由统一的总控单元进行,该总控单元可以是计算机集群中的一个计算机节点,同时负责计算机集群中其他所有计算机节点的心跳检测。与运算相关的上下文共享数据(例如,计算机节点的运算处理结果)可以被保存到与所述计算机集群中的所有计算机节点连接的共享存储器。在完成最后一个网状处理节点的运算后,可以输出运算结果,例如输出到目标应用。需要说明的是,图4中示出了包括三个网状处理节点的任务链,然而附图仅出于示例性目的,并不对任务链的长度进行限制。例如根据本发明的海量凭证数据直接出具大型企业集团总部财务报表的方法可以使用5个网状处理节点,分别对图1中所示的各个步骤进行处理。
在优选的实施方式中,可以根据贪婪算法分配所述完成子任务节点所需的运算。即,可以将最复杂的运算交给计算能力最强的计算机节点进行处理,进而确保整个运算的处理速度。
在优选的实施方式中,计算机集群可以由部署云计算平台的计算机节点组成,从而可以利用云计算平台的资源优势,降低大量运算对计算机节点的硬件要求。例如,可以使用HADOOP云计算平台,而计算机节点可以为部署了云计算平台(例如HADOOP的)LINUX系统服务器。以下,结合HADOOP云计算平台对根据本发明的海量凭证数据直接出具大型企业集团总部财务报表的方法的实现方式进行说明(以上已经具体分析了方法的每个步骤的实现及作用,这里仅从普遍适用角度对任务链的执行过程进行描述)。
在一个实施方式中,可以使用任务链开发模式以及命令模式搭配HADOOP云计算平台来实现任务链执行过程。其具体的实施方式如下:
(1)根据业务需求(处理顺序)把任务处理链进行功能切分;
(2)确定任务链中任务先后顺序以及依赖关系;
(3)注册统一接口,继承接口对每个任务进行具体实现;
(4)选取多台(例如,5至10台)普通服务器(LINUX操作系统),作为报表数据计算处理的节点;
(5)在这些普通的服务器上部署HADOOP平台,将这些机器组合成一个分布式计算集群;
(6)在分布式计算集群上初始化分布式文件系统(HDFS);
(7)将处理链所需数据文件推送至HADOOP分布式文件系统(HDFS);
(8)在节点进行计算的时候,系统会自动对输入文件进行切分,分发至HADOOP集群进行分布式并行计算;
(9)系统会对HADOOP集群进行计算的节点进行心跳检测,实时监测网状任务节点的计算运行状态,及时移除无响应节点,并将无响应节点计算数据分发至其他节点继续进行计算;
(10)所有节点进行计算完成后,数据被发送至链式节点上下文共享数据区域内,可供其他节点使用;
(11)在链式节点运行过程中,系统自动生成当前计算状态快照,并能够在处理链发生错误的时候提供足够的数据可供任务链继续进行数据处理;以及
(12)将最终数据结果统一输出给目标应用,任务链结束。
为了在短时间内高效处理数据合并计算,本发明设计了基于HADOOP理论的分布式云计算系统,将需要进行的计算化整为零,同时处理,使得处理系统可以利用较低的硬件配置资源,较大的提升大数据量下应用程序的计算效率,并且具有极强的线性扩展性;而现有的各种技术无法在同等硬件资源基础上获得类似的计算效率,同时现有技术在资源增加、进行横向扩展时,也无法使得应用程序的计算效率有显著的提升;所以本发明能最大限度的提升处理的性能和资源利用率。
以上结合附图详细描述了本发明的优选实施方式,但是,本发明并不限于上述实施方式中的具体细节,在本发明的技术构思范围内,可以对本发明的技术方案进行多种简单变型,这些简单变型均属于本发明的保护范围。例如,可以将计算机节点改变为计算节点或计算单元。
另外需要说明的是,在上述具体实施方式中所描述的各个具体技术特征,在不矛盾的情况下,可以通过任何合适的方式进行组合。为了避免不必要的重复,本发明对各种可能的组合方式不再另行说明。
此外,本发明的各种不同的实施方式之间也可以进行任意组合,只要其不违背本发明的思想,其同样应当视为本发明所公开的内容。
Claims (13)
1.一种海量凭证数据直接出具大型企业集团总部财务报表的方法,其特征在于,该方法包括:
将所述凭证数据切分为多个数据片段,以及利用与数据对应的计算规则计算所述多个数据片段得到多个临时结果集;
汇总所述多个临时结果集以获得报表数据;
对更新的报表数据进行数据校验和模型校验,将未通过数据校验和模型校验的报表数据剔除,其中,所述数据校验包括对不符合合并抵消规则的报表数据进行修正,以及所述模型校验包括:建立大型企业各层级间往来财务模型,通过所述往来财务模型计算差异特征绝对值累计值,以及根据累计值-时间曲线确定所述更新的报表数据可用;以及
利用经过所述数据校验和所述模型校验的报表数据出具财务报表。
2.根据权利要求1所述的方法,其特征在于,所述汇总所述多个临时结果集以获得报表数据的步骤包括:
将所述多个临时结果集划分为多个临时结果集组;
汇总每个临时结果集组;以及
收集每个临时结果集组的汇总数据进行再汇总以获得所述报表数据。
3.根据权利要求1所述的方法,其特征在于,
所述数据校验包括:根据财务合并抵消规则建立财务项目编码和合并事物的规则矩阵,根据所述规则矩阵发现并记录不符合所述合并抵消规则的报表数据,以及基于差异特征对不符合所述合并抵消规则的报表数据进行修正。
4.根据权利要求1所述的方法,其特征在于,该方法还包括:
从日志表中发现有变化的计算规则,根据变化前的计算规则反向推导定位出凭证数据并清除与变化前的计算规则相关的报表数据;以及
使用变化后的计算规则和对应的凭证数据得到更新的报表数据。
5.根据权利要求1-4中任一项权利要求所述的方法,其特征在于,该方法还包括:
将每个步骤划分为多个子任务节点;
分配完成子任务节点所需的运算到计算机集群中的多个计算机节点进行运算处理;
保存所述多个计算机节点运算处理的状态快照;以及
当所述子任务节点中断时,根据所述状态快照恢复中断前的子任务节点状态,以及继续执行中断的子任务节点。
6.根据权利要求5所述的方法,其特征在于,该方法还包括:
对所述多个计算机节点进行心跳检测;以及
将分配到心跳检测无响应的计算机节点的运算再分配到其他计算机节点。
7.根据权利要求5所述的方法,其特征在于,该方法还包括:
将所述多个计算机节点的运算处理结果保存到与所述计算机集群中的所有计算机节点连接的共享存储器。
8.根据权利要求5所述的方法,其特征在于,该方法还包括:
当执行当前子任务节点的所有计算机节点运算处理完成后,对完成下一个子任务节点所需的运算进行分配。
9.根据权利要求5所述的方法,其特征在于,该方法还包括:
根据贪婪算法分配所述完成子任务节点所需的运算。
10.根据权利要求5所述的方法,其特征在于,该方法还包括:
在完成最后一个任务节点的运算后,输出运算结果。
11.根据权利要求5所述的方法,其特征在于,所述计算机集群由部署云计算平台的计算机节点组成。
12.根据权利要求11所述的方法,其特征在于,所述云计算平台为HADOOP云计算平台。
13.根据权利要求11所述的方法,其特征在于,所述计算机节点为LINUX系统服务器。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410186416.7A CN103970851B (zh) | 2014-05-05 | 2014-05-05 | 海量凭证数据直接出具大型企业集团总部财务报表的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410186416.7A CN103970851B (zh) | 2014-05-05 | 2014-05-05 | 海量凭证数据直接出具大型企业集团总部财务报表的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103970851A CN103970851A (zh) | 2014-08-06 |
CN103970851B true CN103970851B (zh) | 2017-07-04 |
Family
ID=51240348
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410186416.7A Active CN103970851B (zh) | 2014-05-05 | 2014-05-05 | 海量凭证数据直接出具大型企业集团总部财务报表的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103970851B (zh) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105447069B (zh) * | 2014-11-18 | 2017-10-13 | 国网山东省电力公司 | 基于bw平台的对账平台数据同步方法及系统 |
CN104699974A (zh) * | 2015-03-19 | 2015-06-10 | 神华集团有限责任公司 | 基于sap的数据抽取方法 |
CN106557359B (zh) * | 2015-09-30 | 2021-02-05 | 腾讯科技(深圳)有限公司 | 一种任务调度方法及系统 |
CN106228440A (zh) * | 2016-08-02 | 2016-12-14 | 南京坦道信息科技有限公司 | 一种基于维度映射匹配的收入指标高效出账方法 |
CN106326424A (zh) * | 2016-08-24 | 2017-01-11 | 明算科技(北京)股份有限公司 | 报表处理方法、装置和系统 |
CN109101509A (zh) * | 2017-06-20 | 2018-12-28 | 中兴通讯股份有限公司 | 数据准确性检测方法、装置、服务器及计算机存储介质 |
CN107798057B (zh) * | 2017-09-05 | 2019-02-01 | 平安科技(深圳)有限公司 | 交易数据处理方法、装置、存储介质和计算机设备 |
CN108647935B (zh) * | 2018-05-07 | 2021-11-09 | 浪潮通用软件有限公司 | 一种财务凭证生成规则更新方法及装置 |
CN108647936B (zh) * | 2018-05-08 | 2022-07-08 | 中国平安人寿保险股份有限公司 | 佣金发放方法、装置、计算机设备及存储介质 |
CN109034988B (zh) * | 2018-07-26 | 2021-01-26 | 北京京东金融科技控股有限公司 | 一种会计分录生成方法和装置 |
CN111125243A (zh) * | 2019-11-12 | 2020-05-08 | 望海康信(北京)科技股份公司 | 数据一致性校验系统及方法 |
CN111598674B (zh) * | 2020-05-14 | 2023-05-09 | 长沙华山信息技术有限公司 | 一种会计报表生成方法、装置及电子设备 |
CN112015727A (zh) * | 2020-09-01 | 2020-12-01 | 民生科技有限责任公司 | 财务报表数据自动校验修正系统、方法及可读存储装置 |
CN117435630B (zh) * | 2023-12-21 | 2024-03-29 | 杭银消费金融股份有限公司 | 一种基于规则前置的数据校验方法与系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101149821A (zh) * | 2007-05-15 | 2008-03-26 | 佟辛 | 基于完整信息的动态交互式企业财务模型构建及运行方法 |
CN102254248A (zh) * | 2011-06-24 | 2011-11-23 | 上海宝钢浦东国际贸易有限公司 | 企业财务费用核算模型构建方法 |
CN103473342A (zh) * | 2013-09-23 | 2013-12-25 | 北京久其软件股份有限公司 | 一种报表数据生成方法及系统 |
CN103559275A (zh) * | 2013-11-05 | 2014-02-05 | 中铁二十二局集团有限公司 | 内部交易业务识别及抵消方法及系统 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7792732B2 (en) * | 2004-10-29 | 2010-09-07 | American Express Travel Related Services Company, Inc. | Using commercial share of wallet to rate investments |
US8131614B2 (en) * | 2004-10-29 | 2012-03-06 | American Express Travel Related Services Company, Inc. | Using commercial share of wallet to compile marketing company lists |
-
2014
- 2014-05-05 CN CN201410186416.7A patent/CN103970851B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101149821A (zh) * | 2007-05-15 | 2008-03-26 | 佟辛 | 基于完整信息的动态交互式企业财务模型构建及运行方法 |
CN102254248A (zh) * | 2011-06-24 | 2011-11-23 | 上海宝钢浦东国际贸易有限公司 | 企业财务费用核算模型构建方法 |
CN103473342A (zh) * | 2013-09-23 | 2013-12-25 | 北京久其软件股份有限公司 | 一种报表数据生成方法及系统 |
CN103559275A (zh) * | 2013-11-05 | 2014-02-05 | 中铁二十二局集团有限公司 | 内部交易业务识别及抵消方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN103970851A (zh) | 2014-08-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103970851B (zh) | 海量凭证数据直接出具大型企业集团总部财务报表的方法 | |
CN105205052B (zh) | 一种数据挖掘方法及装置 | |
CN106209482A (zh) | 一种数据中心监控方法及系统 | |
CN104751359A (zh) | 用于支付清算的系统及方法 | |
CN108369675A (zh) | 用于案例分配的技术 | |
CN106293891A (zh) | 多维投资指标监督方法 | |
CN108270805A (zh) | 用于数据处理的资源分配方法及装置 | |
Ding et al. | A two-individual based evolutionary algorithm for the flexible job shop scheduling problem | |
CN105872061A (zh) | 一种服务器集群管理方法、装置及系统 | |
CN109086291A (zh) | 一种基于MapReduce的并行异常检测方法及系统 | |
CN106156170B (zh) | 舆情分析方法及装置 | |
CN107330128A (zh) | 认证异常判断方法及装置 | |
CN105678395A (zh) | 神经网络的建立方法及系统和神经网络的应用方法及系统 | |
CN108304975A (zh) | 一种数据预测系统及方法 | |
KR102414823B1 (ko) | 금융 서비스를 위한 금융 세그먼트 분화 방법 및 이러한 방법을 수행하는 장치 | |
CN110019070A (zh) | 一种基于Hadoop的安全日志聚类方法与追责系统 | |
CN109460299B (zh) | 一种分布式并行多源社交网络数据采集系统和方法 | |
Dhayal et al. | Can green finance facilitate Industry 5.0 transition to achieve sustainability? A systematic review with future research directions | |
CN111612415B (zh) | 一种项目管理方法及装置 | |
CN104933411A (zh) | 指纹识别处理方法及系统 | |
CN104239520B (zh) | 一种基于历史信息的hdfs数据块放置策略 | |
CN108255703A (zh) | 一种sql脚本的故障修复方法及其终端 | |
CN116827950A (zh) | 云资源的处理方法、装置、设备及存储介质 | |
CN106708624A (zh) | 一种多工作域计算资源的自适应调整方法 | |
Li et al. | Dycrem: Dynamic credit risk management using edge-based blockchain |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |