CN117196851A - 基于参数配置的估值表自动化解析校验的数据转换方法及系统 - Google Patents

Abstract

本发明提供了一种基于参数配置的估值表自动化解析校验的数据转换方法及系统，包括：设置资产负债参数表和合计参数表；对估值表进行验证，包括：文件名称验证、通用解析模式验证以及兼容解析模式验证；对估值表进行解析得到资产负债参数和合计参数，并分别对资产负债参数和合计参数进行预处理；基于预处理后的资产负债参数和合计参数对估值表中的资产负债数据和合计数据分别进行解析；对估值表解析数据进行校验，实现了资产管理行业的估值表数据的标准化数据转换。利用本发明开发的估值表自动化解析校验系统，将多管理人不同样式的估值表进行了标准化数据转换，提升了整个资管行业的机构在估值表数据转换的效率。

Description

基于参数配置的估值表自动化解析校验的数据转换方法及 系统

技术领域

本发明涉及数据处理技术领域，具体地，涉及基于参数配置的估值表自动化解析校验的数据转换方法及系统。

背景技术

现有技术已公开了一种基于NLP的资管产品估值表智能统一化方法，通过对原始估值表数据进行预处理，提取底层会计科目代码的全文本信息作为NLP模型的输入，训练出一个bert分类模型，从而建立了原始估值表会计科目体系与标准会计科目体系的对应关系，用于完成估值表的清洗。该技术方案虽然能够支持估值表的数据解析，但存在以下三个缺陷：缺陷一：需要大量的训练数据来构建模型。在数据样本小的情况下，构建的NLP模型是存在瑕疵的。缺陷二：存在原始估值表业务数据处理遗漏项。方法仅公布了管理人、会计科目代码、会计科目名称的解析和分类方法，未对估值表中的成本原币、成本本币、市值原币、市值本币等其他原始业务数据解析进行完整说明。缺陷三：清洗后未对数据进行业务校验。未校验的数据可能存在数据冗余或数据丢失，数据的完整性和准确性没有保障。

专利文献CN107274291B(申请号：201710473348.6)公开了一种跨平台的估值表解析方法、存储介质及应用服务器，通过读取各平台对应的产品估值表，对已读取的所述产品估值表的表头进行提取；根据提取出的表头特征，对所述产品估值表进行校验，并保留校验通过的产品估值表；同时，识别校验通过的所述产品估值表对应的估值系统及版本号；基于预设的估值科目全量表，根据识别出的所述产品估值表对应的估值系统及版本号，对所述产品估值表进行分类解析并生成可供分析的估值数据；具有将不同平台、不同格式的产品估值表进行分类解析并生成可供分析的估值数据的有益效果，节省了数据处理时间，提高了数据处理效率；同时，也提高了数据处理的准确率。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于参数配置的估值表自动化解析校验的数据转换方法及系统。

根据本发明提供的一种基于参数配置的估值表自动化解析校验的数据转换方法，包括：

步骤S1：设置资产负债参数表和合计参数表；

步骤S2：对估值表进行验证，包括：文件名称验证、通用解析模式验证以及兼容解析模式验证；

步骤S3：对估值表进行解析得到资产负债参数和合计参数，并分别对资产负债参数和合计参数进行预处理；

步骤S4：基于预处理后的资产负债参数和合计参数对估值表中的资产负债数据和合计数据分别进行解析；

步骤S5：对估值表解析数据进行校验，实现了资产管理行业的估值表数据的标准化数据转换。

优选地，所述步骤S1采用：

步骤S1.1：对全市场的管理人的估值表业务进行提取，合并相似或相近的业务，抽象出估值表资产负债业务表；

步骤S1.2：定义面向资产负债的参数名称、参数类型、参数业务以及参数值；

步骤S1.3：基于估值表资产负债业务表以及定义的面向资产负债的参数名称、参数类型、参数业务以及参数值设置资产负债参数表和合计参数表。

优选地，所述步骤S2采用：

步骤S2.1：解析估值表文件名字符串，提取估值表名称以及估值日期；

步骤S2.2：使用POI工具集，判断估值表文件是否为通用模式；如果返回值为true，则通过通用模式解析；如果返回值为false，则通用模式解析异常，则进入兼容模式判断；使用JXL工具集，判断估值表文件是否为兼容模式；如果返回值为true，则通过兼容模式解析；如果返回值为false，则兼容模式解析异常。

优选地，所述步骤S3采用：

步骤S3.1：读取资产负债数据基础参数配置，获取资产负债基础业务参数；

步骤S3.2：读取合计数据基础参数配置，获取合计数据基础业务参数；

步骤S3.3：判断估值表表头所在行和所在跨列，解析表头数据并保存；

步骤S3.4：判断估值日期所在行和所在跨列，解析估值日期并保存。

优选地，所述步骤S4采用：

步骤S4.1：判断估值表资产负债数据解析初始行，对资产负债数据进行解析；

步骤S4.2：判断估值表合计数据解析初始行，对合计数据进行解析。

优选地，所述步骤S5采用：估值表解析数据校验包括：新增估值增值数据过滤参数、新增公允价值变动损益过滤参数、新增特殊标签参数、判断每条解析记录的数据字典包含关系、资产逻辑判断、负债逻辑判断、底层数据逻辑判断、市值法校验以及成本法校验。

根据本发明提供的一种基于参数配置的估值表自动化解析校验的数据转换系统，包括：

模块M1：设置资产负债参数表和合计参数表；

模块M2：对估值表进行验证，包括：文件名称验证、通用解析模式验证以及兼容解析模式验证；

模块M3：对估值表进行解析得到资产负债参数和合计参数，并分别对资产负债参数和合计参数进行预处理；

模块M4：基于预处理后的资产负债参数和合计参数对估值表中的资产负债数据和合计数据分别进行解析；

模块M5：对估值表解析数据进行校验，实现了资产管理行业的估值表数据的标准化数据转换。

优选地，所述模块M1采用：

模块M1.1：对全市场的管理人的估值表业务进行提取，合并相似或相近的业务，抽象出估值表资产负债业务表；

模块M1.2：定义面向资产负债的参数名称、参数类型、参数业务以及参数值；

模块M1.3：基于估值表资产负债业务表以及定义的面向资产负债的参数名称、参数类型、参数业务以及参数值设置资产负债参数表和合计参数表。

优选地，所述模块M2采用：

模块M2.1：解析估值表文件名字符串，提取估值表名称以及估值日期；

模块M2.2：使用POI工具集，判断估值表文件是否为通用模式；如果返回值为true，则通过通用模式解析；如果返回值为false，则通用模式解析异常，则进入兼容模式判断；使用JXL工具集，判断估值表文件是否为兼容模式；如果返回值为true，则通过兼容模式解析；如果返回值为false，则兼容模式解析异常。

优选地，所述模块M3采用：

模块M3.1：读取资产负债数据基础参数配置，获取资产负债基础业务参数；

模块M3.2：读取合计数据基础参数配置，获取合计数据基础业务参数；

模块M3.3：判断估值表表头所在行和所在跨列，解析表头数据并保存；

模块M3.4：判断估值日期所在行和所在跨列，解析估值日期并保存；

所述模块M4采用：

模块M4.1：判断估值表资产负债数据解析初始行，对资产负债数据进行解析；

模块M4.2：判断估值表合计数据解析初始行，对合计数据进行解析；

所述模块M5采用：估值表解析数据校验包括：新增估值增值数据过滤参数、新增公允价值变动损益过滤参数、新增特殊标签参数、判断每条解析记录的数据字典包含关系、资产逻辑判断、负债逻辑判断、底层数据逻辑判断、市值法校验以及成本法校验。

与现有技术相比，本发明具有如下的有益效果：

1、本发明通过将管理人估值表的业务抽象成计算机的可配置化参数，并在数据解析前进行估值表文件的参数化配置，实现了原始估值表的表头数据、资产负债数据和合计数据的自动化解析，同时实现了原估值表资产负债数据与合计数据的自动化校验，从而建立了一套完整的估值表数据转换的技术处理方法；

2、本发明可用于基金公司、券商资管、保险资管、信托公司等资产管理人的委外资管产品估值表数据处理，可大大降低估值表数据清洗和预处理等数据转换过程的时间成本，且数据的完整性和准确性有了极大的提高；

3、本发明通过开发Java程序，进行统一的估值表参数配置技术特征，对不同管理人的非统一格式估值表进行数据清洗和数据转换，实现了在不依赖训练模型的情况下，对不同管理人多样式估值表的底层资产和负债的所有属性进行自动解析和校验的技术效果；

4、利用本发明开发的估值表自动化解析校验系统，将多管理人不同样式的估值表进行了标准化数据转换，提升了整个资管行业的机构在估值表数据转换的效率。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为基于参数配置的估值表自动化解析校验方法。

图2为某基金投资1号委托资产估值表部分截图。

图3为某基金投资1号委托资产估值表部分截图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

实施例1

根据本发明提供的一种基于参数配置的估值表自动化解析校验的数据转换方法，如图1所示，包括：通过Java编程语言，编写一个参数配置的可视化程序，定义程序中的参数，并覆盖估值表中的所有业务。程序在运行状态下，通过参数识别多管理人不同样式估值表，逐行扫描解析EXCEL格式估值表中的记录，识别资产负债数据和合计数据后保存在指定数据库中，并进行资产合计、负债合计数据校验。

具体地，所述基于参数配置的多管理人估值表自动化解析方法，包括：

步骤S1：设置资产负债参数表和合计参数表；

步骤S2：对估值表进行验证，包括：文件名称验证、通用解析模式验证以及兼容解析模式验证；

步骤S3：对估值表进行解析得到资产负债参数和合计参数，并分别对资产负债参数和合计参数进行预处理；

步骤S4：基于预处理后的资产负债参数和合计参数对估值表中的资产负债数据和合计数据分别进行解析；

步骤S5：对估值表解析数据进行校验，实现了资产管理行业的估值表数据的标准化数据转换。

具体地，所述步骤S1采用：

步骤S1.1业务抽象：对全市场的管理人的估值表业务进行提取，合并相似或相近的业务，抽象出估值表资产负债业务表。

步骤S1.2：定义面向资产负债的参数名称、参数类型、参数业务、参数值，并保存基础配置表，该基础配置表是基于估值表业务，通过数据库设计器进行设计的；

步骤S1.3：基于估值表资产负债业务表以及定义的面向资产负债的参数名称、参数类型、参数业务以及参数值设置资产负债参数表和合计参数表。

具体地，所述步骤S2采用：

步骤S2.1：解析估值表EXCEL文件名字符串并保存。

具体地，处理字符串，从字符串中提取估值表名称。

处理字符串，从字符串中提取估值日期。日期表达式兼容“-”、“—”、“——”、“年”、“月”、“日”、“_”等字符。

步骤S2.2：使用POI工具集，判断估值表文件是否为通用模式。如果返回值为true，则系统通过通用模式解析；如果返回值为false，则通用模式解析异常，则进入兼容模式判断。使用JXL工具集，判断估值表文件是否为兼容模式。如果返回值为true，则通过兼容模式解析；如果返回值为false，则兼容模式解析异常。

具体地，所述步骤S3：

步骤S3.1：资产负债参数预处理：读取资产负债数据基础参数配置，获取资产负债基础业务参数；

步骤S3.2：合计参数预处理：读取合计数据基础参数配置，获取合计数据基础业务参数；

步骤S3.3：判断估值表表头所在行和所在跨列，解析表头数据并保存；

步骤S3.4：判断估值日期所在行和所在跨列，解析估值日期并保存。

步骤S4采用：

步骤S4.1：估值表解析-资产负债数据

步骤S4.1.1：判断估值表资产负债数据解析初始行：通过程序定位科目代码(科目编码/科目号)所在行，以下一行作为数据解析的起始行。

步骤S4.1.2：资产负债数据解析开始：按照一定规则逐行扫描EXCEL中sheet表中的记录，同时按照一定规则进行分类和存储；

步骤S4.1.2.1：找到根节点，解析根节点业务数据，并基于业务配置进行数据落库。

步骤S4.1.2.2：循环至下一条记录，解析节点业务数据，并基于业务配置进行数据落库。

步骤S4.1.2.3：顺序保存科目代码、科目名称、币种、汇率、数量、单位成本、成本、市值、估值增值等业务数据。

步骤S4.1.2.4：增加字段分类补全，截取科目名称数据并使用“科目名称+‘/’“拼接而成。

步骤S4.1.2.5：保存底层资产的父节点科目代码。

步骤S4.1.2.6：顺序循环至估值表科目代码下一个根节点，重复第一步。

资产负债数据解析结束。

步骤S4.2：估值表解析-合计数据

步骤S4.2.1：判断估值表合计数据解析初始行：包含非1-6开头的数字或者包含中文。

步骤S4.2.2：合计数据解析开始：

步骤S4.2.2.1：逐行顺序解析业务数据，并基于业务配置进行数据落库；

步骤S4.2.2.2：循环至下一条数据，直到数据结束。

合计数据解析结束。

具体地，所述步骤S5采用：

步骤S5.1采用：

新增估值增值数据过滤参数，参数字典设置为：“估值”、“增值(“增值税”除外)”、“估增”。

新增公允价值变动损益过滤参数，参与字典设置为：“公允价值变动”。

步骤S5.2：新增特殊标签参数，参数字典设置为：面额、折溢价、溢折价、减值、利息、股利、分红。

步骤S5.3：判断每条解析记录的数据字典包含关系：如果分类补全字符串包含估值增值参数或公允价值变动参数的某一项字典值，则该解析后的记录在校验流程中将被过滤掉。判断每条解析记录的数据字典包含关系：如果分类补全字符串包含特殊标签参数的某一项字典值，则该解析后的记录使用该项字典在特殊标签属性进行标记。

步骤S5.4：进行资产逻辑判断：科目代码1开头且市值本币大于0的记录；或者，科目代码3开头且科目代码补全包含“清算款”或者“清算资金”且市值本币大于0的记录；或者，科目代码5开头且科目代码补全包含“清算款”或者“清算资金”且市值本币大于0的记录。进行负债逻辑判断：科目代码1开头且市值本币小于0的记录；或者，科目代码2开头的记录；或者，科目代码3开头且科目代码补全包含“清算款”或者“清算资金”且市值本币小于0的记录；或者，科目代码5开头且科目代码补全包含“清算款”或者“清算资金”且市值本币小于0的记录；

步骤S5.5：进行底层数据逻辑判断：判断该记录是否为叶子节点，如果返回值为true，标记为底层；如果返回值为false，标记为非底层。

步骤S5.6：进行市值法校验：计算Σ底层资产的市值_本币，计算Σ底层资产的特殊标签的市值_本币(利息、分红、股利)，如果(Σ底层资产的市值_本币+Σ底层资产的特殊标签的市值_本币)＝资产合计的市值_本币，则市值法＝true；如果不相等，则市值法＝false。如果市值法校验＝false，且分类补全中且含有“摊余成本”，进行成本法校验：计算Σ底层资产的成本_本币，计算Σ底层资产的特殊标签的成本_本币(折溢价、溢折价、减值)，如果(Σ底层资产的成本_本币+Σ底层资产的特殊标签的成本_本币)＝资产合计的成本_本币，则成本法＝true；如果不相等，则成本法＝false。

实施例2

实施例2是实施例1的优选例

某基金投资1号委托资产估值表清洗案例

如图2所示，是一张EXCEL文件估值表，文件名称是“XX基金投资1号委托资产-资产估值表20220531.xlsx”。通过Java程序开发估值表管理系统，在系统中配置估值表资产负债参数，涉及的业务字段包括：“估值日期”、“科目代码”、“科目名称”、“科目层级”、“ISIN码”、“Ticker”、“币种”、“汇率”、“数量”、“单位成本”、“成本-原币”、“成本-本币”、“成本占比”、“行情”、“市值-原币”、“市值-本币”、“市值占比”、“资产占比”、“估值增值-原币”、“估值增值-本币”。

如图3所示，在系统中配置估值表合计参数，涉及的业务字段包括：“证券投资合计”、“基金投资合计”、“股票投资合计”、“今日可用头寸”、“实收资本”、“资产合计”、“负债合计”、“资产净值”、“期初单位净值”、“今日单位净值”、“昨日单位净值”、“累计派现金额”、“累计单位净值”、“日净值增长率”、“本期净值增长率(当月)”、“本期净值增长率”、“单位净值周净值率”、“累计净值增长率”、“实现收益”、“可分配收益”、“单位可分配收益”、“现金类占净值比”。

程序通过逐行扫描，读取估值表EXCEL中的数据，并通过以上参数建立的映射关系，将EXCEL中的数据存储到数据库对应表字段中，最终完成估值表数据解析。

程序在进行逐行扫描的过程中，会按照会计准则对数据进行分类定义：

“科目代码”以1开头的定义为资产类；

“科目代码”以2开头的定义为负债类；

“科目代码”以3开头的定义为共同类。在共同类中如果市值或成本为正则记为资产；如果市值或成本为负则记为负债。

估值表中的“科目代码”都具有树形结构，对于数据结构为树型结构的叶子节点，程序在解析的同时会自动对数据标记为底层。

在完成解析后，程序自动进行底层资产累计与资产合计校验、底层负债累计与负债合计校验。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种基于参数配置的估值表自动化解析校验的数据转换方法，其特征在于，包括：

步骤S1：设置资产负债参数表和合计参数表；

步骤S2：对估值表进行验证，包括：文件名称验证、通用解析模式验证以及兼容解析模式验证；

步骤S3：对估值表进行解析得到资产负债参数和合计参数，并分别对资产负债参数和合计参数进行预处理；

步骤S4：基于预处理后的资产负债参数和合计参数对估值表中的资产负债数据和合计数据分别进行解析；

步骤S5：对估值表解析数据进行校验，实现了资产管理行业的估值表数据的标准化数据转换。

2.根据权利要求1所述的基于参数配置的估值表自动化解析校验的数据转换方法，其特征在于，所述步骤S1采用：

步骤S1.1：对全市场的管理人的估值表业务进行提取，合并相似或相近的业务，抽象出估值表资产负债业务表；

步骤S1.2：定义面向资产负债的参数名称、参数类型、参数业务以及参数值；

步骤S1.3：基于估值表资产负债业务表以及定义的面向资产负债的参数名称、参数类型、参数业务以及参数值设置资产负债参数表和合计参数表。

3.根据权利要求1所述的基于参数配置的估值表自动化解析校验的数据转换方法，其特征在于，所述步骤S2采用：

步骤S2.1：解析估值表文件名字符串，提取估值表名称以及估值日期；

步骤S2.2：使用POI工具集，判断估值表文件是否为通用模式；如果返回值为true，则通过通用模式解析；如果返回值为false，则通用模式解析异常，则进入兼容模式判断；使用JXL工具集，判断估值表文件是否为兼容模式；如果返回值为true，则通过兼容模式解析；如果返回值为false，则兼容模式解析异常。

4.根据权利要求1所述的基于参数配置的估值表自动化解析校验的数据转换方法，其特征在于，所述步骤S3采用：

步骤S3.1：读取资产负债数据基础参数配置，获取资产负债基础业务参数；

步骤S3.2：读取合计数据基础参数配置，获取合计数据基础业务参数；

步骤S3.3：判断估值表表头所在行和所在跨列，解析表头数据并保存；

步骤S3.4：判断估值日期所在行和所在跨列，解析估值日期并保存。

5.根据权利要求1所述的基于参数配置的估值表自动化解析校验的数据转换方法，其特征在于，所述步骤S4采用：

步骤S4.1：判断估值表资产负债数据解析初始行，对资产负债数据进行解析；

步骤S4.2：判断估值表合计数据解析初始行，对合计数据进行解析。

6.根据权利要求1所述的基于参数配置的估值表自动化解析校验的数据转换方法，其特征在于，所述步骤S5采用：估值表解析数据校验包括：新增估值增值数据过滤参数、新增公允价值变动损益过滤参数、新增特殊标签参数、判断每条解析记录的数据字典包含关系、资产逻辑判断、负债逻辑判断、底层数据逻辑判断、市值法校验以及成本法校验。

7.一种基于参数配置的估值表自动化解析校验的数据转换系统，其特征在于，包括：

模块M1：设置资产负债参数表和合计参数表；

模块M2：对估值表进行验证，包括：文件名称验证、通用解析模式验证以及兼容解析模式验证；

模块M3：对估值表进行解析得到资产负债参数和合计参数，并分别对资产负债参数和合计参数进行预处理；

模块M4：基于预处理后的资产负债参数和合计参数对估值表中的资产负债数据和合计数据分别进行解析；

模块M5：对估值表解析数据进行校验，实现了资产管理行业的估值表数据的标准化数据转换。

8.根据权利要求7所述的基于参数配置的估值表自动化解析校验的数据转换系统，其特征在于，所述模块M1采用：

模块M1.1：对全市场的管理人的估值表业务进行提取，合并相似或相近的业务，抽象出估值表资产负债业务表；

模块M1.2：定义面向资产负债的参数名称、参数类型、参数业务以及参数值；

模块M1.3：基于估值表资产负债业务表以及定义的面向资产负债的参数名称、参数类型、参数业务以及参数值设置资产负债参数表和合计参数表。

9.根据权利要求7所述的基于参数配置的估值表自动化解析校验的数据转换系统，其特征在于，所述模块M2采用：

模块M2.1：解析估值表文件名字符串，提取估值表名称以及估值日期；

模块M2.2：使用POI工具集，判断估值表文件是否为通用模式；如果返回值为true，则通过通用模式解析；如果返回值为false，则通用模式解析异常，则进入兼容模式判断；使用JXL工具集，判断估值表文件是否为兼容模式；如果返回值为true，则通过兼容模式解析；如果返回值为false，则兼容模式解析异常。

10.根据权利要求7所述的基于参数配置的估值表自动化解析校验的数据转换系统，其特征在于，所述模块M3采用：

模块M3.1：读取资产负债数据基础参数配置，获取资产负债基础业务参数；

模块M3.2：读取合计数据基础参数配置，获取合计数据基础业务参数；

模块M3.3：判断估值表表头所在行和所在跨列，解析表头数据并保存；

模块M3.4：判断估值日期所在行和所在跨列，解析估值日期并保存；

所述模块M4采用：

模块M4.1：判断估值表资产负债数据解析初始行，对资产负债数据进行解析；

模块M4.2：判断估值表合计数据解析初始行，对合计数据进行解析；

所述模块M5采用：估值表解析数据校验包括：新增估值增值数据过滤参数、新增公允价值变动损益过滤参数、新增特殊标签参数、判断每条解析记录的数据字典包含关系、资产逻辑判断、负债逻辑判断、底层数据逻辑判断、市值法校验以及成本法校验。