CN105930325B - 一种文件报表比对差异的逆向分析方法及装置 - Google Patents

一种文件报表比对差异的逆向分析方法及装置 Download PDF

Info

Publication number
CN105930325B
CN105930325B CN201510801507.1A CN201510801507A CN105930325B CN 105930325 B CN105930325 B CN 105930325B CN 201510801507 A CN201510801507 A CN 201510801507A CN 105930325 B CN105930325 B CN 105930325B
Authority
CN
China
Prior art keywords
field
file
report
transaction
record
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510801507.1A
Other languages
English (en)
Other versions
CN105930325A (zh
Inventor
高建斌
李�瑞
李旭东
申世恒
姜金凤
蔡佳迪
刘铁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Unionpay Co Ltd
Original Assignee
China Unionpay Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Unionpay Co Ltd filed Critical China Unionpay Co Ltd
Priority to CN201510801507.1A priority Critical patent/CN105930325B/zh
Publication of CN105930325A publication Critical patent/CN105930325A/zh
Application granted granted Critical
Publication of CN105930325B publication Critical patent/CN105930325B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2457Query processing with adaptation to user needs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2455Query execution

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供了一种文件报表比对差异的逆向分析方法及装置,涉及数据分析技术领域。方法包括:获取文件报表应用系统升级前后的文件报表及交易源数据,并格式转换为预设的内部格式;生成文件报表及交易源数据各自的字段拓扑关系和记录拓扑关系;确定待比较的文件字段或报表字段的最小集合;确定差异文件字段和差异报表字段,并确定差异交易字段;逆向确定差异交易字段所对应的差异交易记录,并确定差异文件记录和差异报表记录;之后根据分析特征树,进行特征树匹配,确定文件报表应用系统升级前后的文件报表及交易源数据存在差异的原因特征。本发明解决了当前人工定位分析差异,工作量较大,分析效率低下且不准确的问题。

Description

一种文件报表比对差异的逆向分析方法及装置
技术领域
本发明涉及数据分析技术领域,尤其涉及一种文件报表比对差异的逆向分析方法及装置。
背景技术
当前,随着电子技术与金融业的发展。银行卡已经在商业领域中得到了广泛的应用。因此,在银行卡领域中,一般通过文件报表记录银行卡的大量交易数据等。为了更好的保存大量交易数据,一般会对文件报表进行应用系统升级更新。而在更新前后,文件报表一般会存在差异。
目前,为了分析文件报表中的差异,一般是针对每个报表栏位或文件字段的差异,人工来定位引起差异的交易记录,人工分析工作量较大,且分析效率低下,并且难以准确确定更新前后文件报表所存在的差异。
发明内容
本发明的实施例提供一种文件报表比对差异的逆向分析方法及装置,以解决当前由人工来定位分析文件报表中的差异,工作量较大,效率低下,且难以准确确定更新前后文件报表所存在的差异的问题。
为达到上述目的,本发明采用如下技术方案:
一种文件报表比对差异的逆向分析方法,包括:
获取文件报表应用系统升级之前的第一文件报表及交易源数据,以及文件报表应用系统升级之后的第二文件报表及交易源数据;
将第一文件报表及交易源数据和第二文件报表及交易源数据的数据格式转换为预先设置的内部格式;其中,进行格式转换后的第一文件报表及交易源数据包括第一交易字段、第一文件字段、第一报表字段、第一交易记录、第一文件记录以及第一报表记录;进行格式转换后的第二文件报表及交易源数据包括第二交易字段、第二文件字段、第二报表字段、第二交易记录、第二文件记录以及第二报表记录;
生成第一交易字段、第一文件字段、第一报表字段的第一字段拓扑关系,并生成第二交易字段、第二文件字段、第二报表字段的第二文件字段拓扑关系;
根据预先设置的交易记录生成到文件记录和报表记录的配置关系,生成第一交易记录、第一文件记录以及第一报表记录的第一记录拓扑关系,并生成第二交易记录、第二文件记录以及第二报表记录的第二记录拓扑关系;
根据所述第一字段拓扑关系和所述第二字段拓扑关系,确定待比较的文件字段或报表字段,并生成待比较文件字段或报表字段的最小集合;
根据所述第一字段拓扑关系、所述第二字段拓扑关系以及所述最小集合进行字段比较,确定第一文件报表及交易源数据与第二文件报表及交易源数据的所存在的差异文件字段和差异报表字段,并定位所述差异文件字段和字段差异报表在第一字段拓扑关系以及第二字段拓扑关系中所对应的差异交易字段;
根据所述第一记录拓扑关系和第二记录拓扑关系逆向确定所述差异交易字段所对应的差异交易记录,并确定所述差异交易记录所对应的差异文件记录和差异报表记录;
根据所述差异交易记录、差异文件记录和差异报表记录以及预先设置的分析特征树,进行特征树匹配,确定第一文件报表及交易源数据和第二文件报表及交易源数据存在差异的原因特征。
具体的,将第一文件报表及交易源数据和第二文件报表及交易源数据的数据格式转换为预先设置的内部格式,包括:
配置第一文件报表及交易源数据中的第一文件记录和第二文件报表及交易源数据中的第二文件记录中的第一关键要素;所述第一关键要素包括第一字段名称、第一字段长度、第一偏移量、第一字段取值、第一交易记录字段名称;根据所述第一关键要素将所述第一文件记录和所述第二文件记录转换为所述内部格式,生成第一文件内部格式数据和第二文件内部格式数据;
配置第一文件报表及交易源数据中的第一报表记录和第二文件报表及交易源数据中的第二报表记录中的第二关键要素;所述第二关键要素包括第二字段名称、第二字段长度、第二偏移量,第二字段取值,字段生成的SQL语句和报表对应的交易记录字段集合;根据所述第二关键要素将所述第一报表记录和所述第二报表记录转换为所述内部格式,生成第一报表内部格式数据和第二报表内部格式数据;
配置第一文件报表及交易源数据中的第一交易记录和第二文件报表及交易源数据中的第二交易记录中的第三关键要素;所述第三关键要素包括第三字段名称、第三字段长度、第三字段取值;根据所述第三关键要素将所述第一交易记录和所述第二交易记录转换为所述内部格式,生成第一交易内部格式数据和第二交易内部格式数据。
具体的,所述生成第一交易字段、第一文件字段、第一报表字段的第一字段拓扑关系,并生成第二交易字段、第二文件字段、第二报表字段的第二文件字段拓扑关系,包括:
遍历第一文件内部格式数据和第二文件内部格式数据的记录主键,在第一文件内部格式数据和第二文件内部格式数据中找到各自对应的记录主键;
根据第一文件内部格式数据和第二文件内部格式数据的交易记录字段名称,在第一文件内部格式数据和第二文件内部格式数据中分别获取各自对应的字段名称,以建立第一文件内部格式数据与第一交易内部格式数据的拓扑关系,并建立第二文件内部格式数据与第二交易内部格式数据的拓扑关系;
遍历第一报表内部格式数据和第二报表内部格式数据,根据所述字段生成的SQL语句,获取第一报表字段和第二报表字段各自对应的交易记录主键集合;
根据所述交易记录主键集合,获取到第一报表内部格式数据和第二报表内部格式数据分别对应的第一交易内部格式数据和第二交易内部格式数据;
根据第一报表内部格式数据和第二报表内部格式数据对应的交易记录字段名称,获取各自对应的第一交易内部格式数据和第二交易内部格式数据中的字段名称,以建立第一报表内部格式数据与第一交易内部格式数据的拓扑关系,并建立第二报表内部格式数据与第二交易内部格式数据的拓扑关系;
根据第一文件内部格式数据与第一交易内部格式数据的拓扑关系、第一报表内部格式数据与第一交易内部格式数据的拓扑关系,将交易主键一致,生成第一交易字段、第一文件字段、第一报表字段的第一字段拓扑关系;
根据第二文件内部格式数据与第二交易内部格式数据的拓扑关系、第二报表内部格式数据与第二交易内部格式数据的拓扑关系,将交易主键一致,生成第二交易字段、第二文件字段、第二报表字段的第二字段拓扑关系。
具体的,根据所述第一字段拓扑关系和所述第二字段拓扑关系,确定待比较的文件字段或报表字段,并生成待比较文件字段或报表字段的最小集合,包括:
根据预先设置的待比较的文件字段的文件名称,从所述第一字段拓扑关系和所述第二字段拓扑关系中确定待比较的文件字段,并排除无需比较的文件字段;
根据预先设置的待比较的报表字段的报表名称,从所述第一字段拓扑关系和所述第二字段拓扑关系中确定待比较的报表字段,并排除无需比较的报表字段;
若在第一字段拓扑关系和所述第二字段拓扑关系中存在同一个交易字段对应多个文件字段或者多个报表字段,则仅将多个文件字段中的一个文件字段作为待比较的文件字段,或者仅将多个报表字段中的一个报表字段作为待比较的报表字段。
具体的,所述预先设置的分析特征树包括多个已知差异原因的特征匹配脚本;
根据所述差异交易记录、差异文件记录和差异报表记录以及预先设置的分析特征树,进行特征树匹配,确定第一文件报表及交易源数据和第二文件报表及交易源数据存在差异的原因特征,包括:
根据差异交易记录的主键、差异文件记录的主键、差异报表记录的主键以及差异文件字段和差异报表字段,遍历所需调用的特征匹配脚本;
与所需调用的特征匹配脚本进行匹配,判断当前差异交易记录、差异文件记录和差异报表记录中的相关信息是否不一致;
若所述相关信息不一致,则进行特征树匹配完成,确定第一文件报表及交易源数据和第二文件报表及交易源数据存在差异的原因特征。
一种文件报表比对差异的逆向分析装置,包括:
文件报表及交易源数据获取单元,用于获取文件报表应用系统升级之前的第一文件报表及交易源数据,以及文件报表应用系统升级之后的第二文件报表及交易源数据;
数据格式转换单元,用于将第一文件报表及交易源数据和第二文件报表及交易源数据的数据格式转换为预先设置的内部格式;其中,进行格式转换后的第一文件报表及交易源数据包括第一交易字段、第一文件字段、第一报表字段、第一交易记录、第一文件记录以及第一报表记录;进行格式转换后的第二文件报表及交易源数据包括第二交易字段、第二文件字段、第二报表字段、第二交易记录、第二文件记录以及第二报表记录;
字段拓扑关系生成单元,用于生成第一交易字段、第一文件字段、第一报表字段的第一字段拓扑关系,并生成第二交易字段、第二文件字段、第二报表字段的第二文件字段拓扑关系;
记录拓扑关系生成单元,用于根据预先设置的交易记录生成到文件记录和报表记录的配置关系,生成第一交易记录、第一文件记录以及第一报表记录的第一记录拓扑关系,并生成第二交易记录、第二文件记录以及第二报表记录的第二记录拓扑关系;
待比较内容确定单元,用于根据所述第一字段拓扑关系和所述第二字段拓扑关系,确定待比较的文件字段或报表字段,并生成待比较文件字段或报表字段的最小集合;
差异比较单元,用于根据所述第一字段拓扑关系、所述第二字段拓扑关系以及所述最小集合进行字段比较,确定第一文件报表及交易源数据与第二文件报表及交易源数据的所存在的差异文件字段和差异报表字段,并定位所述差异文件字段和字段差异报表在第一字段拓扑关系以及第二字段拓扑关系中所对应的差异交易字段;
逆向确定单元,用于根据所述第一记录拓扑关系和第二记录拓扑关系逆向确定所述差异交易字段所对应的差异交易记录,并确定所述差异交易记录所对应的差异文件记录和差异报表记录;
特征树匹配分析单元,用于根据所述差异交易记录、差异文件记录和差异报表记录以及预先设置的分析特征树,进行特征树匹配,确定第一文件报表及交易源数据和第二文件报表及交易源数据存在差异的原因特征。
具体的,所述数据格式转换单元,包括:
文件记录转换模块,用于配置第一文件报表及交易源数据中的第一文件记录和第二文件报表及交易源数据中的第二文件记录中的第一关键要素;所述第一关键要素包括第一字段名称、第一字段长度、第一偏移量、第一字段取值、第一交易记录字段名称;根据所述第一关键要素将所述第一文件记录和所述第二文件记录转换为所述内部格式,生成第一文件内部格式数据和第二文件内部格式数据;
报表记录转换模块,用于配置第一文件报表及交易源数据中的第一报表记录和第二文件报表及交易源数据中的第二报表记录中的第二关键要素;所述第二关键要素包括第二字段名称、第二字段长度、第二偏移量,第二字段取值,字段生成的SQL语句和报表对应的交易记录字段集合;根据所述第二关键要素将所述第一报表记录和所述第二报表记录转换为所述内部格式,生成第一报表内部格式数据和第二报表内部格式数据;
交易记录转换模块,用于配置第一文件报表及交易源数据中的第一交易记录和第二文件报表及交易源数据中的第二交易记录中的第三关键要素;所述第三关键要素包括第三字段名称、第三字段长度、第三字段取值;根据所述第三关键要素将所述第一交易记录和所述第二交易记录转换为所述内部格式,生成第一交易内部格式数据和第二交易内部格式数据。
具体的,所述字段拓扑关系生成单元,包括:
记录主键获取模块,用于遍历第一文件内部格式数据和第二文件内部格式数据的记录主键,在第一文件内部格式数据和第二文件内部格式数据中找到各自对应的记录主键;
第一字段拓扑关系生成模块,用于根据第一文件内部格式数据和第二文件内部格式数据的交易记录字段名称,在第一文件内部格式数据和第二文件内部格式数据中分别获取各自对应的字段名称,以建立第一文件内部格式数据与第一交易内部格式数据的拓扑关系,并建立第二文件内部格式数据与第二交易内部格式数据的拓扑关系;
交易记录主键集合获取模块,用于遍历第一报表内部格式数据和第二报表内部格式数据,根据所述字段生成的SQL语句,获取第一报表字段和第二报表字段各自对应的交易记录主键集合;
第二字段拓扑关系生成模块,用于根据所述交易记录主键集合,获取到第一报表内部格式数据和第二报表内部格式数据分别对应的第一交易内部格式数据和第二交易内部格式数据;根据第一报表内部格式数据和第二报表内部格式数据对应的交易记录字段名称,获取各自对应的第一交易内部格式数据和第二交易内部格式数据中的字段名称,以建立第一报表内部格式数据与第一交易内部格式数据的拓扑关系,并建立第二报表内部格式数据与第二交易内部格式数据的拓扑关系;
第三字段拓扑关系生成模块,用于根据第一文件内部格式数据与第一交易内部格式数据的拓扑关系、第一报表内部格式数据与第一交易内部格式数据的拓扑关系,将交易主键一致,生成第一交易字段、第一文件字段、第一报表字段的第一字段拓扑关系;
第四字段拓扑关系生成模块,用于根据第二文件内部格式数据与第二交易内部格式数据的拓扑关系、第二报表内部格式数据与第二交易内部格式数据的拓扑关系,将交易主键一致,生成第二交易字段、第二文件字段、第二报表字段的第二字段拓扑关系。
具体的,所述待比较内容确定单元,包括:
待比较文件字段确定模块,用于根据预先设置的待比较的文件字段的文件名称,从所述第一字段拓扑关系和所述第二字段拓扑关系中确定待比较的文件字段,并排除无需比较的文件字段;
待比较报表字段确定模块,用于根据预先设置的待比较的报表字段的报表名称,从所述第一字段拓扑关系和所述第二字段拓扑关系中确定待比较的报表字段,并排除无需比较的报表字段;
最小集合确定模块,用于在第一字段拓扑关系和所述第二字段拓扑关系中存在同一个交易字段对应多个文件字段或者多个报表字段时,仅将多个文件字段中的一个文件字段作为待比较的文件字段,或者仅将多个报表字段中的一个报表字段作为待比较的报表字段。
具体的,所述特征树匹配分析单元中的预先设置的分析特征树包括多个已知差异原因的特征匹配脚本;
所述特征树匹配分析单元,包括:
特征匹配脚本遍历模块,用于根据差异交易记录的主键、差异文件记录的主键、差异报表记录的主键以及差异文件字段和差异报表字段,遍历所需调用的特征匹配脚本;
判断模块,用于与所需调用的特征匹配脚本进行匹配,判断当前差异交易记录、差异文件记录和差异报表记录中的相关信息是否不一致;
差异原因特征确定模块,用于在所述相关信息不一致时,进行特征树匹配完成,确定第一文件报表及交易源数据和第二文件报表及交易源数据存在差异的原因特征。
本发明实施例提供的一种文件报表比对差异的逆向分析方法及装置,能够将文件报表应用系统升级前后的文件报表及交易源数据转换为统一的预设内部格式,并生成字段拓扑关系和记录拓扑关系;从而能够根据段拓扑关系和记录拓扑关系逆向定位差异交易记录、差异文件记录以及差异报表记录;进而通过预设的分析特征数,进行特征树匹配,自动获取到文件报表应用系统升级前后的文件报表及交易源数据存在差异的原因特征。可见,本申请避免了不同格式的文件报表的格式差异,并且能够自动逆向确定差异交易记录、差异文件记录以及差异报表记录,并能自动获知存在差异的原因特征,从而避免了当前由人工来定位分析文件报表中的差异,工作量较大,效率低下,且难以准确确定更新前后文件报表所存在的差异的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种文件报表比对差异的逆向分析方法的流程图一;
图2为本发明实施例提供的一种文件报表比对差异的逆向分析方法的流程图二的A部分;
图3为本发明实施例提供的一种文件报表比对差异的逆向分析方法的流程图二的B部分;
图4为本发明实施例中的一种文件报表的字段拓扑图;
图5为本发明实施例中的一种交易字段拓扑图;
图6为本发明实施例中的一种记录拓扑图;
图7为本发明实施例提供的一种文件报表比对差异的逆向分析装置的结构示意图一;
图8为本发明实施例提供的一种文件报表比对差异的逆向分析装置的结构示意图二。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,本发明实施例提供的一种文件报表比对差异的逆向分析方法,包括:
步骤101、获取文件报表应用系统升级之前的第一文件报表及交易源数据,以及文件报表应用系统升级之后的第二文件报表及交易源数据。
步骤102、将第一文件报表及交易源数据和第二文件报表及交易源数据的数据格式转换为预先设置的内部格式。
其中,进行格式转换后的第一文件报表及交易源数据包括第一交易字段、第一文件字段、第一报表字段、第一交易记录、第一文件记录以及第一报表记录;进行格式转换后的第二文件报表及交易源数据包括第二交易字段、第二文件字段、第二报表字段、第二交易记录、第二文件记录以及第二报表记录。
步骤103、生成第一交易字段、第一文件字段、第一报表字段的第一字段拓扑关系,并生成第二交易字段、第二文件字段、第二报表字段的第二文件字段拓扑关系。
步骤104、根据预先设置的交易记录生成到文件记录和报表记录的配置关系,生成第一交易记录、第一文件记录以及第一报表记录的第一记录拓扑关系,并生成第二交易记录、第二文件记录以及第二报表记录的第二记录拓扑关系。
步骤105、根据第一字段拓扑关系和第二字段拓扑关系,确定待比较的文件字段或报表字段,并生成待比较文件字段或报表字段的最小集合。
步骤106、根据第一字段拓扑关系、第二字段拓扑关系以及最小集合进行字段比较,确定第一文件报表及交易源数据与第二文件报表及交易源数据的所存在的差异文件字段和差异报表字段,并定位差异文件字段和字段差异报表在第一字段拓扑关系以及第二字段拓扑关系中所对应的差异交易字段。
步骤107、根据第一记录拓扑关系和第二记录拓扑关系逆向确定差异交易字段所对应的差异交易记录,并确定差异交易记录所对应的差异文件记录和差异报表记录。
步骤108、根据差异交易记录、差异文件记录和差异报表记录以及预先设置的分析特征树,进行特征树匹配,确定第一文件报表及交易源数据和第二文件报表及交易源数据存在差异的原因特征。
本发明实施例提供的一种文件报表比对差异的逆向分析方法,能够将文件报表应用系统升级前后的文件报表及交易源数据转换为统一的预设内部格式,并生成字段拓扑关系和记录拓扑关系;从而能够根据段拓扑关系和记录拓扑关系逆向定位差异交易记录、差异文件记录以及差异报表记录;进而通过预设的分析特征数,进行特征树匹配,自动获取到文件报表应用系统升级前后的文件报表及交易源数据存在差异的原因特征。可见,本申请避免了不同格式的文件报表的格式差异,并且能够自动逆向确定差异交易记录、差异文件记录以及差异报表记录,并能自动获知存在差异的原因特征,从而避免了当前由人工来定位分析文件报表中的差异,工作量较大,效率低下,且难以准确确定更新前后文件报表所存在的差异的问题。
为了使本领域的技术人员更好的了解本发明,下面列举一个更为详细的实施例,如图2和图3所示(其中图2为一种文件报表比对差异的逆向分析方法的A部分,即步骤201至步骤210;图3为一种文件报表比对差异的逆向分析方法的的B部分,即步骤211至步骤220。需要说明的是,A部分和B部分的作用仅为使图示清晰,描述便捷,并不属于对本发明实施例的方法的限定),本发明实施例提供一种文件报表比对差异的逆向分析方法,包括:
步骤201、获取文件报表应用系统升级之前的第一文件报表及交易源数据,以及文件报表应用系统升级之后的第二文件报表及交易源数据。
步骤202、配置第一文件报表及交易源数据中的第一文件记录和第二文件报表及交易源数据中的第二文件记录中的第一关键要素,并根据所述第一关键要素将所述第一文件记录和所述第二文件记录转换为所述内部格式,生成第一文件内部格式数据和第二文件内部格式数据。
其中,所述第一关键要素包括第一字段名称、第一字段长度、第一偏移量、第一字段取值、第一交易记录字段名称。
此处将第一文件记录和所述第二文件记录转换为所述内部格式的示例可以为:
步骤203、配置第一文件报表及交易源数据中的第一报表记录和第二文件报表及交易源数据中的第二报表记录中的第二关键要素,并根据所述第二关键要素将所述第一报表记录和所述第二报表记录转换为所述内部格式,生成第一报表内部格式数据和第二报表内部格式数据。
其中,所述第二关键要素包括第二字段名称、第二字段长度、第二偏移量,第二字段取值,字段生成的SQL语句和报表对应的交易记录字段集合。
此处,将第一报表记录和所述第二报表记录转换为所述内部格式,可以是例如:
步骤204、配置第一文件报表及交易源数据中的第一交易记录和第二文件报表及交易源数据中的第二交易记录中的第三关键要素,并根据所述第三关键要素将所述第一交易记录和所述第二交易记录转换为所述内部格式,生成第一交易内部格式数据和第二交易内部格式数据。
其中,所述第三关键要素包括第三字段名称、第三字段长度、第三字段取值。
此处,将所述第一交易记录和所述第二交易记录转换为所述内部格式,可以是例如:
此处,进行格式转换后的第一文件报表及交易源数据包括第一交易字段、第一文件字段、第一报表字段、第一交易记录、第一文件记录以及第一报表记录;进行格式转换后的第二文件报表及交易源数据包括第二交易字段、第二文件字段、第二报表字段、第二交易记录、第二文件记录以及第二报表记录。
步骤205、遍历第一文件内部格式数据和第二文件内部格式数据的记录主键,在第一文件内部格式数据和第二文件内部格式数据中找到各自对应的记录主键。
步骤206、根据第一文件内部格式数据和第二文件内部格式数据的交易记录字段名称,在第一文件内部格式数据和第二文件内部格式数据中分别获取各自对应的字段名称,以建立第一文件内部格式数据与第一交易内部格式数据的拓扑关系,并建立第二文件内部格式数据与第二交易内部格式数据的拓扑关系。
步骤207、遍历第一报表内部格式数据和第二报表内部格式数据,根据所述字段生成的SQL语句,获取第一报表字段和第二报表字段各自对应的交易记录主键集合。
步骤208、根据所述交易记录主键集合,获取到第一报表内部格式数据和第二报表内部格式数据分别对应的第一交易内部格式数据和第二交易内部格式数据。
步骤209、根据第一报表内部格式数据和第二报表内部格式数据对应的交易记录字段名称,获取各自对应的第一交易内部格式数据和第二交易内部格式数据中的字段名称,以建立第一报表内部格式数据与第一交易内部格式数据的拓扑关系,并建立第二报表内部格式数据与第二交易内部格式数据的拓扑关系。
步骤210、根据第一文件内部格式数据与第一交易内部格式数据的拓扑关系、第一报表内部格式数据与第一交易内部格式数据的拓扑关系,将交易主键一致,生成第一交易字段、第一文件字段、第一报表字段的第一字段拓扑关系。
步骤211、根据第二文件内部格式数据与第二交易内部格式数据的拓扑关系、第二报表内部格式数据与第二交易内部格式数据的拓扑关系,将交易主键一致,生成第二交易字段、第二文件字段、第二报表字段的第二字段拓扑关系。
步骤212、根据预先设置的交易记录生成到文件记录和报表记录的配置关系,生成第一交易记录、第一文件记录以及第一报表记录的第一记录拓扑关系,并生成第二交易记录、第二文件记录以及第二报表记录的第二记录拓扑关系。
步骤213、根据预先设置的待比较的文件字段的文件名称,从所述第一字段拓扑关系和所述第二字段拓扑关系中确定待比较的文件字段,并排除无需比较的文件字段。
步骤214、根据预先设置的待比较的报表字段的报表名称,从所述第一字段拓扑关系和所述第二字段拓扑关系中确定待比较的报表字段,并排除无需比较的报表字段。
在步骤213和步骤214中可以分别默认比对全部的文件字段和报表字段。然而,也可以根据预先设置的待比较的文件字段和报表字段来排除无需比较的报表字段。
例如,预先配置的示例可以如下:
其中<include>表示需要比较的字段集合,<exclude>表示需要排除比较的字段集合。待比较的文件字段和报表字段只能配置在<include>或<exclude>,不能同时配置在<include>和<exclude>。若没有上述配置,则默认比较所有字段。
步骤215、若在第一字段拓扑关系和所述第二字段拓扑关系中存在同一个交易字段对应多个文件字段或者多个报表字段,则仅将多个文件字段中的一个文件字段作为待比较的文件字段,或者仅将多个报表字段中的一个报表字段作为待比较的报表字段,从而生成待比较文件字段或报表字段的最小集合。
此处,依据文件报表的字段拓扑关系,生成文件报表的字段拓扑图,如图4所示,得到起始字段集合、等值字段集合和孤立字段集合;字段最小集合有起始字段和孤立字段组成。
起始字段与等值字段:表示字段之间的取值来源完全一致,故这些字段的某个字段定位起始字段,其余为等值字段.孤立字段:表示没有其它字段的取值来源与其完全一致。
之后,依据最小集合的字段和交易字段的关系,生成字段拓扑图,如图5所示,通过此字段拓扑图,能够得到最小集合中每个字段的交易字段来源;再结合最小集合字段与等值字段的关系,可以得出文件报表中每个字段的交易字段来源。
另外,依据交易生成到文件和报表的配置,分析每笔交易与文件报表的关系,生成交易明细记录和文件关系拓扑图,这样可以得出每个文件记录的交易记录来源,以及每个报表记录的交易记录来源,如图6所示。其中,明细类文件报表是指各交易记录的明细,例如张三在一商店刷卡消费,够买了剃须刀;李四在同一商店刷卡消费,够买了饮料;王五在同一商店刷卡消费,够买了办公用品。而汇总类文件报表是指将各交易记录进行汇总,例如上述的张三、李四、王五均是在同一商店够买了商品,则可以以该商店为目标进行汇总。
步骤216、根据第一字段拓扑关系、第二字段拓扑关系以及最小集合进行字段比较,确定第一文件报表及交易源数据与第二文件报表及交易源数据的所存在的差异文件字段和差异报表字段,并定位差异文件字段和字段差异报表在第一字段拓扑关系以及第二字段拓扑关系中所对应的差异交易字段。
步骤217、根据第一记录拓扑关系和第二记录拓扑关系逆向确定差异交易字段所对应的差异交易记录,并确定差异交易记录所对应的差异文件记录和差异报表记录。
步骤218、根据差异交易记录的主键、差异文件记录的主键、差异报表记录的主键以及差异文件字段和差异报表字段,遍历所需调用的特征匹配脚本。
其中,该特征匹配脚本存在于预先设置的分析特征树中,该分析特征树可以是例如:
当某文件字段A存在差异时,遍历已知差异原因的特征匹配分析脚本,通过差异交易记录的主键、差异文件记录的主键、差异报表记录的主键以及差异文件字段和差异报表字段。如某金额字段不一致,A_feature1脚本将分析汇率日期是否一致,若汇率日期不一致,表示是由于汇率日期不一致引起的金额差异,则匹配成功,完成该字段的差异分析;若汇率日期一致,则继续遍历下一个特征匹配脚本。若全部遍历后,仍未找到造成差异的原因特征,则表示需要人工分析。待人工完成其特征分析后,可以将所确定的原因特征累积到分析特征树中,这样便于后续自动分析差异。
步骤219、与所需调用的特征匹配脚本进行匹配,判断当前差异交易记录、差异文件记录和差异报表记录中的相关信息是否不一致。
步骤220、若所述相关信息不一致,则进行特征树匹配完成,确定第一文件报表及交易源数据和第二文件报表及交易源数据存在差异的原因特征。
此处的原因特征可以有很多种,例如不同汇率日期可能导致文件报表的差异,文件报表应用系统升级前后文件报表的格式可能导致文件报表的差异。
本发明实施例提供的一种文件报表比对差异的逆向分析方法,能够将文件报表应用系统升级前后的文件报表及交易源数据转换为统一的预设内部格式,并生成字段拓扑关系和记录拓扑关系;从而能够根据段拓扑关系和记录拓扑关系逆向定位差异交易记录、差异文件记录以及差异报表记录;进而通过预设的分析特征数,进行特征树匹配,自动获取到文件报表应用系统升级前后的文件报表及交易源数据存在差异的原因特征。可见,本申请避免了不同格式的文件报表的格式差异,并且能够自动逆向确定差异交易记录、差异文件记录以及差异报表记录,并能自动获知存在差异的原因特征,从而避免了当前由人工来定位分析文件报表中的差异,工作量较大,效率低下,且难以准确确定更新前后文件报表所存在的差异的问题。
对应于上述图1、图2、图3的方法实施例,如图7所示,本发明实施例提供一种文件报表比对差异的逆向分析装置,包括:
文件报表及交易源数据获取单元31,可以获取文件报表应用系统升级之前的第一文件报表及交易源数据,以及文件报表应用系统升级之后的第二文件报表及交易源数据。
数据格式转换单元32,可以将第一文件报表及交易源数据和第二文件报表及交易源数据的数据格式转换为预先设置的内部格式。
其中,进行格式转换后的第一文件报表及交易源数据包括第一交易字段、第一文件字段、第一报表字段、第一交易记录、第一文件记录以及第一报表记录;进行格式转换后的第二文件报表及交易源数据包括第二交易字段、第二文件字段、第二报表字段、第二交易记录、第二文件记录以及第二报表记录。
字段拓扑关系生成单元33,可以生成第一交易字段、第一文件字段、第一报表字段的第一字段拓扑关系,并生成第二交易字段、第二文件字段、第二报表字段的第二文件字段拓扑关系。
记录拓扑关系生成单元34,可以根据预先设置的交易记录生成到文件记录和报表记录的配置关系,生成第一交易记录、第一文件记录以及第一报表记录的第一记录拓扑关系,并生成第二交易记录、第二文件记录以及第二报表记录的第二记录拓扑关系。
待比较内容确定单元35,可以根据第一字段拓扑关系和第二字段拓扑关系,确定待比较的文件字段或报表字段,并生成待比较文件字段或报表字段的最小集合。
差异比较单元36,可以根据第一字段拓扑关系、第二字段拓扑关系以及最小集合进行字段比较,确定第一文件报表及交易源数据与第二文件报表及交易源数据的所存在的差异文件字段和差异报表字段,并定位差异文件字段和字段差异报表在第一字段拓扑关系以及第二字段拓扑关系中所对应的差异交易字段。
逆向确定单元37,可以根据第一记录拓扑关系和第二记录拓扑关系逆向确定差异交易字段所对应的差异交易记录,并确定差异交易记录所对应的差异文件记录和差异报表记录。
特征树匹配分析单元38,可以根据差异交易记录、差异文件记录和差异报表记录以及预先设置的分析特征树,进行特征树匹配,确定第一文件报表及交易源数据和第二文件报表及交易源数据存在差异的原因特征。
具体的,如图8所示,该数据格式转换单元32,包括:
文件记录转换模块321,可以配置第一文件报表及交易源数据中的第一文件记录和第二文件报表及交易源数据中的第二文件记录中的第一关键要素;第一关键要素包括第一字段名称、第一字段长度、第一偏移量、第一字段取值、第一交易记录字段名称;根据第一关键要素将第一文件记录和第二文件记录转换为内部格式,生成第一文件内部格式数据和第二文件内部格式数据。
报表记录转换模块322,可以配置第一文件报表及交易源数据中的第一报表记录和第二文件报表及交易源数据中的第二报表记录中的第二关键要素;第二关键要素包括第二字段名称、第二字段长度、第二偏移量,第二字段取值,字段生成的SQL语句和报表对应的交易记录字段集合;根据第二关键要素将第一报表记录和第二报表记录转换为内部格式,生成第一报表内部格式数据和第二报表内部格式数据。
交易记录转换模块323,可以配置第一文件报表及交易源数据中的第一交易记录和第二文件报表及交易源数据中的第二交易记录中的第三关键要素;第三关键要素包括第三字段名称、第三字段长度、第三字段取值;根据第三关键要素将第一交易记录和第二交易记录转换为内部格式,生成第一交易内部格式数据和第二交易内部格式数据。
具体的,如图8所示,该字段拓扑关系生成单元33,可以包括:
记录主键获取模块331,可以遍历第一文件内部格式数据和第二文件内部格式数据的记录主键,在第一文件内部格式数据和第二文件内部格式数据中找到各自对应的记录主键。
第一字段拓扑关系生成模块332,可以根据第一文件内部格式数据和第二文件内部格式数据的交易记录字段名称,在第一文件内部格式数据和第二文件内部格式数据中分别获取各自对应的字段名称,以建立第一文件内部格式数据与第一交易内部格式数据的拓扑关系,并建立第二文件内部格式数据与第二交易内部格式数据的拓扑关系。
交易记录主键集合获取模块333,可以遍历第一报表内部格式数据和第二报表内部格式数据,根据字段生成的SQL语句,获取第一报表字段和第二报表字段各自对应的交易记录主键集合。
第二字段拓扑关系生成模块334,可以根据交易记录主键集合,获取到第一报表内部格式数据和第二报表内部格式数据分别对应的第一交易内部格式数据和第二交易内部格式数据;根据第一报表内部格式数据和第二报表内部格式数据对应的交易记录字段名称,获取各自对应的第一交易内部格式数据和第二交易内部格式数据中的字段名称,以建立第一报表内部格式数据与第一交易内部格式数据的拓扑关系,并建立第二报表内部格式数据与第二交易内部格式数据的拓扑关系。
第三字段拓扑关系生成模块335,可以根据第一文件内部格式数据与第一交易内部格式数据的拓扑关系、第一报表内部格式数据与第一交易内部格式数据的拓扑关系,将交易主键一致,生成第一交易字段、第一文件字段、第一报表字段的第一字段拓扑关系。
第四字段拓扑关系生成模块336,可以根据第二文件内部格式数据与第二交易内部格式数据的拓扑关系、第二报表内部格式数据与第二交易内部格式数据的拓扑关系,将交易主键一致,生成第二交易字段、第二文件字段、第二报表字段的第二字段拓扑关系。
具体的,如图8所示,该待比较内容确定单元35,可以包括:
待比较文件字段确定模块351,可以根据预先设置的待比较的文件字段的文件名称,从第一字段拓扑关系和第二字段拓扑关系中确定待比较的文件字段,并排除无需比较的文件字段。
待比较报表字段确定模块352,可以根据预先设置的待比较的报表字段的报表名称,从第一字段拓扑关系和第二字段拓扑关系中确定待比较的报表字段,并排除无需比较的报表字段。
最小集合确定模块353,可以在第一字段拓扑关系和第二字段拓扑关系中存在同一个交易字段对应多个文件字段或者多个报表字段时,仅将多个文件字段中的一个文件字段作为待比较的文件字段,或者仅将多个报表字段中的一个报表字段作为待比较的报表字段。
具体的,如图8所示,特征树匹配分析单元38中的预先设置的分析特征树可以包括多个已知差异原因的特征匹配脚本。
该特征树匹配分析单元38,可以包括:
特征匹配脚本遍历模块381,可以根据差异交易记录的主键、差异文件记录的主键、差异报表记录的主键以及差异文件字段和差异报表字段,遍历所需调用的特征匹配脚本。
判断模块382,可以与所需调用的特征匹配脚本进行匹配,判断当前差异交易记录、差异文件记录和差异报表记录中的相关信息是否不一致。
差异原因特征确定模块383,可以在相关信息不一致时,进行特征树匹配完成,确定第一文件报表及交易源数据和第二文件报表及交易源数据存在差异的原因特征。
值得说明的是,本发明实施例提供的一种文件报表比对差异的逆向分析装置的具体实现方式可以参见上述的方法实施例,此处不再赘述。
本发明实施例提供的一种文件报表比对差异的逆向分析装置,能够将文件报表应用系统升级前后的文件报表及交易源数据转换为统一的预设内部格式,并生成字段拓扑关系和记录拓扑关系;从而能够根据段拓扑关系和记录拓扑关系逆向定位差异交易记录、差异文件记录以及差异报表记录;进而通过预设的分析特征数,进行特征树匹配,自动获取到文件报表应用系统升级前后的文件报表及交易源数据存在差异的原因特征。可见,本申请避免了不同格式的文件报表的格式差异,并且能够自动逆向确定差异交易记录、差异文件记录以及差异报表记录,并能自动获知存在差异的原因特征,从而避免了当前由人工来定位分析文件报表中的差异,工作量较大,效率低下,且难以准确确定更新前后文件报表所存在的差异的问题。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种文件报表比对差异的逆向分析方法,其特征在于,包括:
获取文件报表应用系统升级之前的第一文件报表及交易源数据,以及文件报表应用系统升级之后的第二文件报表及交易源数据;
将第一文件报表及交易源数据和第二文件报表及交易源数据的数据格式转换为预先设置的内部格式;其中,进行格式转换后的第一文件报表及交易源数据包括第一交易字段、第一文件字段、第一报表字段、第一交易记录、第一文件记录以及第一报表记录;进行格式转换后的第二文件报表及交易源数据包括第二交易字段、第二文件字段、第二报表字段、第二交易记录、第二文件记录以及第二报表记录;
生成第一交易字段、第一文件字段、第一报表字段的第一字段拓扑关系,并生成第二交易字段、第二文件字段、第二报表字段的第二字段拓扑关系;
根据预先设置的交易记录生成到文件记录和报表记录的配置关系,生成第一交易记录、第一文件记录以及第一报表记录的第一记录拓扑关系,并生成第二交易记录、第二文件记录以及第二报表记录的第二记录拓扑关系;
根据所述第一字段拓扑关系和所述第二字段拓扑关系,确定待比较的文件字段或报表字段,并生成待比较文件字段或报表字段的最小集合;
根据所述第一字段拓扑关系、所述第二字段拓扑关系以及所述最小集合进行字段比较,确定第一文件报表及交易源数据与第二文件报表及交易源数据的所存在的差异文件字段和差异报表字段,并定位所述差异文件字段和字段差异报表在第一字段拓扑关系以及第二字段拓扑关系中所对应的差异交易字段;
根据所述第一记录拓扑关系和第二记录拓扑关系逆向确定所述差异交易字段所对应的差异交易记录,并确定所述差异交易记录所对应的差异文件记录和差异报表记录;
根据所述差异交易记录、差异文件记录和差异报表记录以及预先设置的分析特征树,进行特征树匹配,确定第一文件报表及交易源数据和第二文件报表及交易源数据存在差异的原因特征。
2.根据权利要求1所述的文件报表比对差异的逆向分析方法,其特征在于,将第一文件报表及交易源数据和第二文件报表及交易源数据的数据格式转换为预先设置的内部格式,包括:
配置第一文件报表及交易源数据中的第一文件记录和第二文件报表及交易源数据中的第二文件记录中的第一关键要素;所述第一关键要素包括第一字段名称、第一字段长度、第一偏移量、第一字段取值、第一交易记录字段名称;根据所述第一关键要素将所述第一文件记录和所述第二文件记录转换为所述内部格式,生成第一文件内部格式数据和第二文件内部格式数据;
配置第一文件报表及交易源数据中的第一报表记录和第二文件报表及交易源数据中的第二报表记录中的第二关键要素;所述第二关键要素包括第二字段名称、第二字段长度、第二偏移量,第二字段取值,字段生成的SQL语句和报表对应的交易记录字段集合;根据所述第二关键要素将所述第一报表记录和所述第二报表记录转换为所述内部格式,生成第一报表内部格式数据和第二报表内部格式数据;
配置第一文件报表及交易源数据中的第一交易记录和第二文件报表及交易源数据中的第二交易记录中的第三关键要素;所述第三关键要素包括第三字段名称、第三字段长度、第三字段取值;根据所述第三关键要素将所述第一交易记录和所述第二交易记录转换为所述内部格式,生成第一交易内部格式数据和第二交易内部格式数据。
3.根据权利要求2所述的文件报表比对差异的逆向分析方法,其特征在于,所述生成第一交易字段、第一文件字段、第一报表字段的第一字段拓扑关系,并生成第二交易字段、第二文件字段、第二报表字段的第二文件字段拓扑关系,包括:
遍历第一文件内部格式数据和第二文件内部格式数据的记录主键,在第一文件内部格式数据和第二文件内部格式数据中找到各自对应的记录主键;
根据第一文件内部格式数据和第二文件内部格式数据的交易记录字段名称,在第一文件内部格式数据和第二文件内部格式数据中分别获取各自对应的字段名称,以建立第一文件内部格式数据与第一交易内部格式数据的拓扑关系,并建立第二文件内部格式数据与第二交易内部格式数据的拓扑关系;
遍历第一报表内部格式数据和第二报表内部格式数据,根据所述字段生成的SQL语句,获取第一报表字段和第二报表字段各自对应的交易记录主键集合;
根据所述交易记录主键集合,获取到第一报表内部格式数据和第二报表内部格式数据分别对应的第一交易内部格式数据和第二交易内部格式数据;
根据第一报表内部格式数据和第二报表内部格式数据对应的交易记录字段名称,获取各自对应的第一交易内部格式数据和第二交易内部格式数据中的字段名称,以建立第一报表内部格式数据与第一交易内部格式数据的拓扑关系,并建立第二报表内部格式数据与第二交易内部格式数据的拓扑关系;
根据第一文件内部格式数据与第一交易内部格式数据的拓扑关系、第一报表内部格式数据与第一交易内部格式数据的拓扑关系,将交易主键一致,生成第一交易字段、第一文件字段、第一报表字段的第一字段拓扑关系;
根据第二文件内部格式数据与第二交易内部格式数据的拓扑关系、第二报表内部格式数据与第二交易内部格式数据的拓扑关系,将交易主键一致,生成第二交易字段、第二文件字段、第二报表字段的第二字段拓扑关系。
4.根据权利要求3所述的文件报表比对差异的逆向分析方法,其特征在于,根据所述第一字段拓扑关系和所述第二字段拓扑关系,确定待比较的文件字段或报表字段,并生成待比较文件字段或报表字段的最小集合,包括:
根据预先设置的待比较的文件字段的文件名称,从所述第一字段拓扑关系和所述第二字段拓扑关系中确定待比较的文件字段,并排除无需比较的文件字段;
根据预先设置的待比较的报表字段的报表名称,从所述第一字段拓扑关系和所述第二字段拓扑关系中确定待比较的报表字段,并排除无需比较的报表字段;
若在第一字段拓扑关系和所述第二字段拓扑关系中存在同一个交易字段对应多个文件字段或者多个报表字段,则仅将多个文件字段中的一个文件字段作为待比较的文件字段,或者仅将多个报表字段中的一个报表字段作为待比较的报表字段。
5.根据权利要求4所述的文件报表比对差异的逆向分析方法,其特征在于,所述预先设置的分析特征树包括多个已知差异原因的特征匹配脚本;
根据所述差异交易记录、差异文件记录和差异报表记录以及预先设置的分析特征树,进行特征树匹配,确定第一文件报表及交易源数据和第二文件报表及交易源数据存在差异的原因特征,包括:
根据差异交易记录的主键、差异文件记录的主键、差异报表记录的主键以及差异文件字段和差异报表字段,遍历所需调用的特征匹配脚本;
与所需调用的特征匹配脚本进行匹配,判断当前差异交易记录、差异文件记录和差异报表记录中的相关信息是否不一致;
若所述相关信息不一致,则进行特征树匹配完成,确定第一文件报表及交易源数据和第二文件报表及交易源数据存在差异的原因特征。
6.一种文件报表比对差异的逆向分析装置,其特征在于,包括:
文件报表及交易源数据获取单元,用于获取文件报表应用系统升级之前的第一文件报表及交易源数据,以及文件报表应用系统升级之后的第二文件报表及交易源数据;
数据格式转换单元,用于将第一文件报表及交易源数据和第二文件报表及交易源数据的数据格式转换为预先设置的内部格式;其中,进行格式转换后的第一文件报表及交易源数据包括第一交易字段、第一文件字段、第一报表字段、第一交易记录、第一文件记录以及第一报表记录;进行格式转换后的第二文件报表及交易源数据包括第二交易字段、第二文件字段、第二报表字段、第二交易记录、第二文件记录以及第二报表记录;
字段拓扑关系生成单元,用于生成第一交易字段、第一文件字段、第一报表字段的第一字段拓扑关系,并生成第二交易字段、第二文件字段、第二报表字段的第二字段拓扑关系;
记录拓扑关系生成单元,用于根据预先设置的交易记录生成到文件记录和报表记录的配置关系,生成第一交易记录、第一文件记录以及第一报表记录的第一记录拓扑关系,并生成第二交易记录、第二文件记录以及第二报表记录的第二记录拓扑关系;
待比较内容确定单元,用于根据所述第一字段拓扑关系和所述第二字段拓扑关系,确定待比较的文件字段或报表字段,并生成待比较文件字段或报表字段的最小集合;
差异比较单元,用于根据所述第一字段拓扑关系、所述第二字段拓扑关系以及所述最小集合进行字段比较,确定第一文件报表及交易源数据与第二文件报表及交易源数据的所存在的差异文件字段和差异报表字段,并定位所述差异文件字段和字段差异报表在第一字段拓扑关系以及第二字段拓扑关系中所对应的差异交易字段;
逆向确定单元,用于根据所述第一记录拓扑关系和第二记录拓扑关系逆向确定所述差异交易字段所对应的差异交易记录,并确定所述差异交易记录所对应的差异文件记录和差异报表记录;
特征树匹配分析单元,用于根据所述差异交易记录、差异文件记录和差异报表记录以及预先设置的分析特征树,进行特征树匹配,确定第一文件报表及交易源数据和第二文件报表及交易源数据存在差异的原因特征。
7.根据权利要求6所述的文件报表比对差异的逆向分析装置,其特征在于,所述数据格式转换单元,包括:
文件记录转换模块,用于配置第一文件报表及交易源数据中的第一文件记录和第二文件报表及交易源数据中的第二文件记录中的第一关键要素;所述第一关键要素包括第一字段名称、第一字段长度、第一偏移量、第一字段取值、第一交易记录字段名称;根据所述第一关键要素将所述第一文件记录和所述第二文件记录转换为所述内部格式,生成第一文件内部格式数据和第二文件内部格式数据;
报表记录转换模块,用于配置第一文件报表及交易源数据中的第一报表记录和第二文件报表及交易源数据中的第二报表记录中的第二关键要素;所述第二关键要素包括第二字段名称、第二字段长度、第二偏移量,第二字段取值,字段生成的SQL语句和报表对应的交易记录字段集合;根据所述第二关键要素将所述第一报表记录和所述第二报表记录转换为所述内部格式,生成第一报表内部格式数据和第二报表内部格式数据;
交易记录转换模块,用于配置第一文件报表及交易源数据中的第一交易记录和第二文件报表及交易源数据中的第二交易记录中的第三关键要素;所述第三关键要素包括第三字段名称、第三字段长度、第三字段取值;根据所述第三关键要素将所述第一交易记录和所述第二交易记录转换为所述内部格式,生成第一交易内部格式数据和第二交易内部格式数据。
8.根据权利要求7所述的文件报表比对差异的逆向分析装置,其特征在于,所述字段拓扑关系生成单元,包括:
记录主键获取模块,用于遍历第一文件内部格式数据和第二文件内部格式数据的记录主键,在第一文件内部格式数据和第二文件内部格式数据中找到各自对应的记录主键;
第一字段拓扑关系生成模块,用于根据第一文件内部格式数据和第二文件内部格式数据的交易记录字段名称,在第一文件内部格式数据和第二文件内部格式数据中分别获取各自对应的字段名称,以建立第一文件内部格式数据与第一交易内部格式数据的拓扑关系,并建立第二文件内部格式数据与第二交易内部格式数据的拓扑关系;
交易记录主键集合获取模块,用于遍历第一报表内部格式数据和第二报表内部格式数据,根据所述字段生成的SQL语句,获取第一报表字段和第二报表字段各自对应的交易记录主键集合;
第二字段拓扑关系生成模块,用于根据所述交易记录主键集合,获取到第一报表内部格式数据和第二报表内部格式数据分别对应的第一交易内部格式数据和第二交易内部格式数据;根据第一报表内部格式数据和第二报表内部格式数据对应的交易记录字段名称,获取各自对应的第一交易内部格式数据和第二交易内部格式数据中的字段名称,以建立第一报表内部格式数据与第一交易内部格式数据的拓扑关系,并建立第二报表内部格式数据与第二交易内部格式数据的拓扑关系;
第三字段拓扑关系生成模块,用于根据第一文件内部格式数据与第一交易内部格式数据的拓扑关系、第一报表内部格式数据与第一交易内部格式数据的拓扑关系,将交易主键一致,生成第一交易字段、第一文件字段、第一报表字段的第一字段拓扑关系;
第四字段拓扑关系生成模块,用于根据第二文件内部格式数据与第二交易内部格式数据的拓扑关系、第二报表内部格式数据与第二交易内部格式数据的拓扑关系,将交易主键一致,生成第二交易字段、第二文件字段、第二报表字段的第二字段拓扑关系。
9.根据权利要求8所述的文件报表比对差异的逆向分析装置,其特征在于,所述待比较内容确定单元,包括:
待比较文件字段确定模块,用于根据预先设置的待比较的文件字段的文件名称,从所述第一字段拓扑关系和所述第二字段拓扑关系中确定待比较的文件字段,并排除无需比较的文件字段;
待比较报表字段确定模块,用于根据预先设置的待比较的报表字段的报表名称,从所述第一字段拓扑关系和所述第二字段拓扑关系中确定待比较的报表字段,并排除无需比较的报表字段;
最小集合确定模块,用于在第一字段拓扑关系和所述第二字段拓扑关系中存在同一个交易字段对应多个文件字段或者多个报表字段时,仅将多个文件字段中的一个文件字段作为待比较的文件字段,或者仅将多个报表字段中的一个报表字段作为待比较的报表字段。
10.根据权利要求9所述的文件报表比对差异的逆向分析装置,其特征在于,所述特征树匹配分析单元中的预先设置的分析特征树包括多个已知差异原因的特征匹配脚本;
所述特征树匹配分析单元,包括:
特征匹配脚本遍历模块,用于根据差异交易记录的主键、差异文件记录的主键、差异报表记录的主键以及差异文件字段和差异报表字段,遍历所需调用的特征匹配脚本;
判断模块,用于与所需调用的特征匹配脚本进行匹配,判断当前差异交易记录、差异文件记录和差异报表记录中的相关信息是否不一致;
差异原因特征确定模块,用于在所述相关信息不一致时,进行特征树匹配完成,确定第一文件报表及交易源数据和第二文件报表及交易源数据存在差异的原因特征。
CN201510801507.1A 2015-11-19 2015-11-19 一种文件报表比对差异的逆向分析方法及装置 Active CN105930325B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510801507.1A CN105930325B (zh) 2015-11-19 2015-11-19 一种文件报表比对差异的逆向分析方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510801507.1A CN105930325B (zh) 2015-11-19 2015-11-19 一种文件报表比对差异的逆向分析方法及装置

Publications (2)

Publication Number Publication Date
CN105930325A CN105930325A (zh) 2016-09-07
CN105930325B true CN105930325B (zh) 2019-05-24

Family

ID=56839932

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510801507.1A Active CN105930325B (zh) 2015-11-19 2015-11-19 一种文件报表比对差异的逆向分析方法及装置

Country Status (1)

Country Link
CN (1) CN105930325B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108733689B (zh) * 2017-04-18 2020-12-22 北京京东尚科信息技术有限公司 一种json文本的比对方法和装置
CN108038156A (zh) * 2017-12-05 2018-05-15 山东浪潮通软信息科技有限公司 一种xbrl报表更新方法及装置
CN109614607B (zh) * 2018-10-25 2023-09-22 平安科技(深圳)有限公司 报表数据处理方法、装置、计算机设备及存储介质
CN109522290B (zh) * 2018-11-14 2021-10-29 中国刑事警察学院 一种HBase数据块恢复及数据记录提取方法
CN111078738B (zh) * 2019-11-25 2023-08-15 泰康保险集团股份有限公司 数据处理方法、装置、电子设备和存储介质
CN113688616B (zh) * 2021-10-27 2022-02-25 深圳市明源云科技有限公司 图表报告差异检测方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1588369A (zh) * 2004-09-06 2005-03-02 杭州恒生电子股份有限公司 一种关系型数据库系统及其查询和报表方法
US7526487B1 (en) * 1999-10-29 2009-04-28 Computer Sciences Corporation Business transaction processing systems and methods
CN102117293A (zh) * 2009-12-30 2011-07-06 中国银联股份有限公司 文件动态定位及查询方法
CN103345484A (zh) * 2013-06-21 2013-10-09 中国工商银行股份有限公司 基于动态域的报表处理系统及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7526487B1 (en) * 1999-10-29 2009-04-28 Computer Sciences Corporation Business transaction processing systems and methods
CN1588369A (zh) * 2004-09-06 2005-03-02 杭州恒生电子股份有限公司 一种关系型数据库系统及其查询和报表方法
CN102117293A (zh) * 2009-12-30 2011-07-06 中国银联股份有限公司 文件动态定位及查询方法
CN103345484A (zh) * 2013-06-21 2013-10-09 中国工商银行股份有限公司 基于动态域的报表处理系统及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
自动报表系统的设计与实现;林毅奇;《中国优秀硕士学位论文全文数据库信息科技辑》;20090815(第8期);第I138-521页
钢贸交易数据的数据仓库建模及多维分析研究;赵辰;《中国优秀硕士学位论文全文数据库信息科技辑》;20130615(第6期);第I138-817页

Also Published As

Publication number Publication date
CN105930325A (zh) 2016-09-07

Similar Documents

Publication Publication Date Title
CN105930325B (zh) 一种文件报表比对差异的逆向分析方法及装置
CN106910501B (zh) 文本实体提取方法及装置
CN105446966B (zh) 生成关系数据转换为rdf格式数据的映射规则的方法和装置
CN105243067B (zh) 一种实现实时增量同步数据的方法及装置
CN105354036B (zh) 数据库操作代码生成方法及装置
MY195917A (en) Blockchain-Based Data Processing Method And Device
US20200012720A1 (en) Hierarchical annotation of dialog acts
US20210279257A1 (en) Identity Mapping For Cloud Migrations
CN108133007A (zh) 一种数据同步方法和系统
CN105653559A (zh) 用于在数据库中进行搜索的方法和装置
WO2018094777A1 (zh) 一种证券实时交易关联分析的方法
US20140095549A1 (en) Method and Apparatus for Generating Schema of Non-Relational Database
CN103714004A (zh) Jvm在线内存泄露分析方法及系统
US20220253710A1 (en) Human-Machine Multi-Turn Conversation Method and System for Human-Machine Interaction, and Intelligent Apparatus
CN105741835A (zh) 一种音频信息处理方法及终端
CN103810152A (zh) 可视化公式编辑器
CN105556533B (zh) 用于自动生成证书文档的方法和计算设备
TWI673617B (zh) 使用者背景資訊的收集方法及裝置
CN109145003B (zh) 一种构建知识图谱的方法及装置
CN109902117A (zh) 业务系统分析方法和装置
CN108984744A (zh) 一种非主链区块自增长方法
CN109241174A (zh) 数据同步方法、装置、可读存储介质和电子设备
WO2014206182A1 (zh) 一种企业数据匹配方法和装置
CN105678118B (zh) 一种含数字证书的软件版本生成方法及装置
CN108665244A (zh) 基于61850模型的定值单自动生成方法及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant