CN104424596B - 基于通信日志的报文分析方法以及生产报文分析工具 - Google Patents

基于通信日志的报文分析方法以及生产报文分析工具 Download PDF

Info

Publication number
CN104424596B
CN104424596B CN201310408520.1A CN201310408520A CN104424596B CN 104424596 B CN104424596 B CN 104424596B CN 201310408520 A CN201310408520 A CN 201310408520A CN 104424596 B CN104424596 B CN 104424596B
Authority
CN
China
Prior art keywords
message
messages
communication log
log
file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310408520.1A
Other languages
English (en)
Other versions
CN104424596A (zh
Inventor
赵根苗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Unionpay Co Ltd
Original Assignee
China Unionpay Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Unionpay Co Ltd filed Critical China Unionpay Co Ltd
Priority to CN201310408520.1A priority Critical patent/CN104424596B/zh
Publication of CN104424596A publication Critical patent/CN104424596A/zh
Application granted granted Critical
Publication of CN104424596B publication Critical patent/CN104424596B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种基于通信日志的报文分析方法，包括：将金融交易系统中来往的通信日志文件装载到日志缓存中；从所述日志缓存中读取所述通信日志文件中的一笔或多笔报文，并按照经验库中定义的规则对所述一笔或多笔报文进行检查；以及对检查出的问题进行统计汇总并生成分析报告；其中，在对所述一笔或多笔报文进行检查的过程中使用交易主键生成对应报文的哈希值和指向该笔报文的指针，从而在后续检查过程中需要查找原交易时，实现所要匹配的报文的快速定位。本发明还公开了一种生产报文分析工具。

Description

基于通信日志的报文分析方法以及生产报文分析工具
技术领域
本发明涉及金融交易系统间报文分析领域，更具体来说，涉及基于通信日志的报文分析方法以及生产报文分析工具。
背景技术
交易成功率是衡量银行卡跨行交易系统运行质量的重要指标，通常在生产运营分析中通过报文分析可以发现一些共性的问题。
一般而言，生产上的通信日志文件记录了银联系统和成员机构间动态交互的完整报文信息，非常适合用于报文分析。但由于通信日志本身记录的是未经处理的TCP流，可读性差、通常都不能直接拿来分析。首先，通信日志是顺序记录的数据流，只能按长度一笔、一笔地读取，处理上并发性较差。其次，联机交易一般都有关联交易，比如一笔完整的消费包括受理方请求、发卡方请求、发卡方应答和受理方应答四笔报文，再比如消费交易可能会有消费撤销/冲正/撤销冲正/退货等一系列后续交易，报文分析的时候必须查找上下文（即找到匹配的原始交易），才能完成报文检查的全部处理流程。这样，就意味着必须再次遍历通信日志文件并拆解成iso8583格式才能匹配得到，对于每天有几千万交易量、通信日志文件达几十G的银联系统来说显然是灾难性的。
对于这一点，目前本领域技术人员常用的解决办法是把通信日志按iso8583格式拆包以后保存到数据库里，需要匹配的时候查数据库。这就需要有一套容量和性能跟生产系统匹配的数据库才行，且系统实现起来必须考虑对数据库的支持，无疑极大增加了系统的开销和复杂度。
发明内容
为解决上述问题，本发明的发明人提出了一种基于通信日志的生产问题报文分析系统和方法，其特点在于通过装载金融交易系统间来往的通信日志，对交易现场进行还原和模拟。所提出的报文分析系统和方法较好地解决了通信日志可读性差及查找不方便的问题，根据技术规范以及暴露的生产问题形成经验库来分析通信报文，达到举一反三的目的。
根据本发明的一个方面，提供了一种基于通信日志的报文分析方法，包括：将金融交易系统中来往的通信日志文件装载到日志缓存中；从所述日志缓存中读取所述通信日志文件中的一笔或多笔报文，并按照经验库中定义的规则对所述一笔或多笔报文进行检查；以及对检查出的问题进行统计汇总并生成分析报告；其中，在对所述一笔或多笔报文进行检查的过程中使用交易主键生成对应报文的哈希值和指向该笔报文的指针，从而在后续检查过程中需要查找原交易时，实现所要匹配的报文的快速定位。
在上述报文分析方法中，所述将金融交易系统中来往的通信日志文件装载到日志缓存中包括：按机构代码找到待分析的通信日志文件，所述通信日志文件包括一笔或多笔报文；以及将某个机构通信日志中的报文读取到日志缓存中。
在上述报文分析方法中，所述从所述日志缓存中读取所述通信日志文件中的一笔或多笔报文，并按照经验库中定义的规则对所述一笔或多笔报文进行检查包括：从所述日志缓存中读取所述通信日志文件中的一笔或多笔报文；对所述一笔或多笔报文设置标记；按iso8583格式对所述报文进行解包；使用交易主键生成对应报文的哈希值和指向该笔报文的指针，并将它们保存在所述日志缓存中；以及通过依次执行转接判断交易、条件域检查以及交易处理这些流程，按照经验库中定义的规则对所述一笔或多笔报文进行检查。
在上述报文分析方法中，所述经验库中定义的规则包括：技术规范对报文格式、取值的定义以及由运维人员输入的其它经验检查规则。
根据本发明的另一方面，提供了一种生产报文分析工具，包括：通信日志装载装置，用于将金融交易系统中来往的通信日志文件装载到日志缓存中；报文检查装置，用于从所述日志缓存中读取所述通信日志文件中的一笔或多笔报文，并按照经验库中定义的规则对所述一笔或多笔报文进行检查；以及统计报告装置，用于对检查出的问题进行统计汇总并生成分析报告；其中，报文检查装置还配置成在对所述一笔或多笔报文进行检查的过程中使用交易主键生成对应报文的哈希值和指向该笔报文的指针，从而在后续检查过程中需要查找原交易时，实现所要匹配的报文的快速定位。
在上述生产报文分析工具中，所述通信日志装载装置进一步配置成：按机构代码找到待分析的通信日志文件，所述通信日志文件包括一笔或多笔报文；以及将某个机构通信日志中的报文读取到日志缓存中。
在上述生产报文分析工具中，所述报文检查装置进一步配置成：从所述日志缓存中读取所述通信日志文件中的一笔或多笔报文；对所述一笔或多笔报文设置标记；按iso8583格式对所述报文进行解包；使用交易主键生成对应报文的哈希值和指向该笔报文的指针，并将它们保存在所述日志缓存中；以及通过依次执行转接判断交易、条件域检查以及交易处理这些流程，按照经验库中定义的规则对所述一笔或多笔报文进行检查。
在上述生产报文分析工具中，所述经验库中定义的规则包括：技术规范对报文格式、取值的定义以及由运维人员输入的其它经验检查规则。
通过分析金融交易系统中来往的通信日志文件，对交易现场进行模拟，应用规则进行检查，可以有效地发现各机构交易处理过程中不规范的地方，达到举一反三，防患于未然的目的，属于事前的报文分析方法。通过本发明所述的报文分析方法和报文分析工具，可把一家机构的通信日志文件装载到内存，通过主键的组合建立索引，一笔报文仅从日志文件读取一次、拆包一次，解决了背景技术中所提到的问题，大大降低了系统开销和设计复杂度。
附图说明
在参照附图阅读了本发明的具体实施方式以后，本领域技术人员将会更清楚地了解本发明的各个方面。本领域技术人员应当理解的是：这些附图仅仅用于配合具体实施方式说明本发明的技术方案，而并非意在对本发明的保护范围构成限制。
图1是根据本发明的一个实施例的生产报文分析工具与生产系统的关系示意图；
图2是根据本发明的一个实施例的生产报文分析工具的示意图；
图3是根据本发明的一个实施例的报文分析方法的流程示意图。
具体实施方式
下面介绍的是本发明的多个可能实施例中的一些，旨在提供对本发明的基本了解，并不旨在确认本发明的关键或决定性的要素或限定所要保护的范围。容易理解，根据本发明的技术方案，在不变更本发明的实质精神下，本领域的一般技术人员可以提出可相互替换的其它实现方式。因此，以下具体实施方式以及附图仅是对本发明的技术方案的示例性说明，而不应当视为本发明的全部或者视为对本发明技术方案的限定或限制。
本发明提出的报文分析工具和方法基于生产通信日志文件进行分析，根据经验库定义的规则逐笔检查，提早发现各个机构存在的共性问题。
图1示出了根据本发明的一个实施例、生产报文分析工具与生产系统的关系示意图。如图1所示，生产系统产生的通信日志，作为报文分析工具的输入。报文分析工具经过对每一笔报文的检查和统计分析，最终输出报告供运维人员和成员机构参考。检查的依据是基于经验库定义的规则，检查的时候需要针对每一个规则，检查输入的每一笔通信日志报文是否存在问题。
生产上每天有几千万交易量，每笔交易对应受理请求/应答和发卡请求/应答四笔报文，它们可能被记在不同的日志文件当中。为了快速分析这些通信报文，并准确匹配找到关联交易，本发明提供了一种生产报文分析工具，具体如图2所示。该生产报文分析工具可包括通信日志装载、报文检查以及统计报告三个主要装置，其中通信日志装载装置用于将金融交易系统中来往的通信日志文件装载到日志缓存中，报文检查装置用于从所述日志缓存中读取所述通信日志文件中的一笔或多笔报文，并按照经验库中定义的规则对所述一笔或多笔报文进行检查，而统计报告装置用于对检查出的问题进行统计汇总并生成分析报告。
在一个具体的实施例中，该生产报文分析工具中的报文检查装置还配置成在对所述一笔或多笔报文进行检查的过程中使用交易主键生成对应报文的哈希值和指向该笔报文的指针，从而在后续检查过程中需要查找原交易时，实现所要匹配的报文的快速定位。
在一个具体的实施例中，所述通信日志装载装置进一步配置成：按机构代码找到待分析的通信日志文件，所述通信日志文件包括一笔或多笔报文；以及将某个机构通信日志中的报文读取到日志缓存中。
在一个具体的实施例中，所述报文检查装置进一步配置成：从所述日志缓存中读取所述通信日志文件中的一笔或多笔报文；对所述一笔或多笔报文设置标记；按iso8583格式对所述报文进行解包；使用交易主键生成对应报文的哈希值和指向该笔报文的指针，并将它们保存在所述日志缓存中；以及通过依次执行转接判断交易、条件域检查以及交易处理这些流程，按照经验库中定义的规则对所述一笔或多笔报文进行检查。
在一个具体的实施例中，所述经验库中定义的规则包括：技术规范对报文格式、取值的定义以及由运维人员输入的其它经验检查规则。
图3示出根据本发明的一个实施例、报文分析方法的流程示意图。具体来说，报文分析方法可分为如下四个步骤：
第一步，日志文件装载，按机构代码找到待分析的日志文件，把一个机构通信日志的报文读到日志缓存里，缓存的大小可以设置。读文件的时候按tcp包头的长度，一笔一笔顺序地读。通常一天交易量不大的机构，可以全部都读进来。
第二步，检查服务从缓存里取一笔报文，打上标志防止被其他检查服务再次读到。在取到一笔报文以后，检查服务首先是按iso8583格式进行拆包，根据交易主键调用哈希函数，生成对应报文的哈希值和指向该笔报文的指针，保存在日志缓存空间里。
有必要指出的是，对不同的交易而言，其主键是不相同的，因此不同交易生成的哈希值基本不会冲突。对于一笔交易的请求/应答由于主键是相同的，可采用链表方式处理冲突。因此在需要查找原请求/原交易的时候，根据原始交易的主键计算哈希值，就可以快速定位到所要匹配的报文。
第三步，在取到一笔报文以后，检查服务接下来要对这笔报文进行交易现场的还原和模拟，通过依次执行转接判断交易、条件域检查以及交易处理这些流程，模拟交易在转接系统走了一圈。
检查的依据是经验库定义的规则，对这些规则逐个地检查，一旦发现问题就记录下来，直到所有的规则都检查完毕。经验库当中包括了许多分类的规则，这些规则来源于两个地方：一是技术规范对报文格式、取值的定义，属于系统的基础库；二是发现的生产问题，分析清楚以后由运维人员按要素输入到系统，选择分类以后生成检查规则，这个是系统在使用过程中学习积累得到的经验库。
第四步，对输出的问题进行统计汇总，生成分析报告。
通过分析金融交易系统中来往的通信日志文件，对交易现场进行模拟，应用规则进行检查，可以有效地发现各机构交易处理过程中不规范的地方，达到举一反三，防患于未然的目的，属于事前的报文分析方法。通过本发明所述的报文分析方法和报文分析工具，可把一家机构的通信日志文件装载到内存，通过主键的组合建立索引，一笔报文仅从日志文件读取一次、拆包一次，解决了背景技术中所提到的问题，大大降低了系统开销和设计复杂度。
上文中，参照附图描述了本发明的具体实施方式。但是，本领域中的普通技术人员能够理解，在不偏离本发明的精神和范围的情况下，还可以对本发明的具体实施方式作各种变更和替换。这些变更和替换都落在本发明权利要求书所限定的范围内。

Claims (8)

1.一种基于通信日志的报文分析方法，包括：
将金融交易系统中来往的通信日志文件装载到日志缓存中；
从所述日志缓存中读取所述通信日志文件中的一笔或多笔报文，并按照经验库中定义的规则对所述一笔或多笔报文进行检查；以及
对检查出的问题进行统计汇总并生成分析报告；
其中，在对所述一笔或多笔报文进行检查的过程中使用交易主键生成对应报文的哈希值和指向该笔报文的指针，从而在后续检查过程中需要查找原交易时，实现所要匹配的报文的快速定位。
2. 如权利要求1所述的报文分析方法，其中，所述将金融交易系统中来往的通信日志文件装载到日志缓存中包括：
按机构代码找到待分析的通信日志文件，所述通信日志文件包括一笔或多笔报文；以及
将某个机构通信日志中的报文读取到日志缓存中。
3.如权利要求1所述的报文分析方法，其中，所述从所述日志缓存中读取所述通信日志文件中的一笔或多笔报文，并按照经验库中定义的规则对所述一笔或多笔报文进行检查包括：
从所述日志缓存中读取所述通信日志文件中的一笔或多笔报文；
对所述一笔或多笔报文设置标记；
按iso8583格式对所述报文进行解包；
使用交易主键生成对应报文的哈希值和指向该笔报文的指针，并将它们保存在所述日志缓存中；以及
通过依次执行转接判断交易、条件域检查以及交易处理这些流程，按照经验库中定义的规则对所述一笔或多笔报文进行检查。
4.如权利要求3所述的报文分析方法，其中，所述经验库中定义的规则包括：技术规范对报文格式、取值的定义以及由运维人员输入的其它经验检查规则。
5.一种生产报文分析工具，包括：
通信日志装载装置，用于将金融交易系统中来往的通信日志文件装载到日志缓存中；
报文检查装置，用于从所述日志缓存中读取所述通信日志文件中的一笔或多笔报文，并按照经验库中定义的规则对所述一笔或多笔报文进行检查；以及
统计报告装置，用于对检查出的问题进行统计汇总并生成分析报告；
其中，报文检查装置还配置成在对所述一笔或多笔报文进行检查的过程中使用交易主键生成对应报文的哈希值和指向该笔报文的指针，从而在后续检查过程中需要查找原交易时，实现所要匹配的报文的快速定位。
6.如权利要求5所述的生产报文分析工具，其中，所述通信日志装载装置进一步配置成：按机构代码找到待分析的通信日志文件，所述通信日志文件包括一笔或多笔报文；以及将某个机构通信日志中的报文读取到日志缓存中。
7.如权利要求5所述的生产报文分析工具，其中，所述报文检查装置进一步配置成：从所述日志缓存中读取所述通信日志文件中的一笔或多笔报文；对所述一笔或多笔报文设置标记；按iso8583格式对所述报文进行解包；使用交易主键生成对应报文的哈希值和指向该笔报文的指针，并将它们保存在所述日志缓存中；以及通过依次执行转接判断交易、条件域检查以及交易处理这些流程，按照经验库中定义的规则对所述一笔或多笔报文进行检查。
8.如权利要求7所述的生产报文分析工具，其中，所述经验库中定义的规则包括：技术规范对报文格式、取值的定义以及由运维人员输入的其它经验检查规则。
CN201310408520.1A 2013-09-10 2013-09-10 基于通信日志的报文分析方法以及生产报文分析工具 Active CN104424596B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310408520.1A CN104424596B (zh) 2013-09-10 2013-09-10 基于通信日志的报文分析方法以及生产报文分析工具

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310408520.1A CN104424596B (zh) 2013-09-10 2013-09-10 基于通信日志的报文分析方法以及生产报文分析工具

Publications (2)

Publication Number Publication Date
CN104424596A CN104424596A (zh) 2015-03-18
CN104424596B true CN104424596B (zh) 2017-12-29

Family

ID=52973491

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310408520.1A Active CN104424596B (zh) 2013-09-10 2013-09-10 基于通信日志的报文分析方法以及生产报文分析工具

Country Status (1)

Country Link
CN (1) CN104424596B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105590259A (zh) * 2015-11-04 2016-05-18 中国银联股份有限公司 交易系统的诊断装置和方法
CN111459753B (zh) * 2020-03-26 2022-09-30 平安科技（深圳）有限公司 销售点终端数据处理方法、装置、计算机设备和存储介质
CN111753148B (zh) * 2020-06-28 2023-08-22 中国银行股份有限公司 一种交易类型匹配方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101110783A (zh) * 2007-09-03 2008-01-23 中国工商银行股份有限公司 一种对银行报文进行匹配的方法
CN101211345A (zh) * 2006-12-27 2008-07-02 中国银联股份有限公司 一种历史交易的查询方法、装置及一种差错处理平台
CN103428080A (zh) * 2012-05-17 2013-12-04 中国银联股份有限公司 一种数据的解包及组包方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6975595B2 (en) * 2001-04-24 2005-12-13 Atttania Ltd. Method and apparatus for monitoring and logging the operation of a distributed processing system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101211345A (zh) * 2006-12-27 2008-07-02 中国银联股份有限公司 一种历史交易的查询方法、装置及一种差错处理平台
CN101110783A (zh) * 2007-09-03 2008-01-23 中国工商银行股份有限公司 一种对银行报文进行匹配的方法
CN103428080A (zh) * 2012-05-17 2013-12-04 中国银联股份有限公司 一种数据的解包及组包方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
银行卡综合应用处理平台的实现;张武刚;《中国优秀硕士学位论文全文数据库 信息科技辑》;20051115(第7期);全文 *

Also Published As

Publication number Publication date
CN104424596A (zh) 2015-03-18

Similar Documents

Publication Publication Date Title
US20210173711A1 (en) Integrated value chain risk-based profiling and optimization
CN107909274B (zh) 企业投资风险评估方法、装置及存储介质
US11720615B2 (en) Self-executing protocol generation from natural language text
US20240152558A1 (en) Search activity prediction
US20200175403A1 (en) Systems and methods for expediting rule-based data processing
CN107037978A (zh) 数据迁移校正方法及系统
CN111291125B (zh) 一种数据处理方法及相关设备
CN102591855A (zh) 一种数据标识方法及系统
CN107391532B (zh) 数据过滤的方法和装置
CN109542956A (zh) 报表生成方法、装置、计算机设备和存储介质
CN104424596B (zh) 基于通信日志的报文分析方法以及生产报文分析工具
Braun et al. Improving card fraud detection through suspicious pattern discovery
CN111651442A (zh) 一种数据报送方法、装置、电子设备及存储介质
US11650972B1 (en) Semantic compliance validation for blockchain
CN108874814A (zh) 法律文书的处理方法及装置
US11308130B1 (en) Constructing ground truth when classifying data
CN112837149A (zh) 一种企业信贷风险的识别方法和装置
CN116775575A (zh) 一种文件合并方法、装置、电子设备及存储介质
WO2016119508A1 (zh) 基于Spark系统的大规模对象识别方法
CN111858658B (zh) 数据采集方法、装置、设备及存储介质
CN115203339A (zh) 多数据源整合方法、装置、计算机设备及存储介质
CN114385722A (zh) 接口属性的一致性校验方法、装置、电子设备和存储介质
CN110309313B (zh) 生成事件转移图谱的方法及装置
CN112651660A (zh) 企业风险预警方法及装置
CN108510071B (zh) 数据的特征提取方法、装置及计算机可读存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant