CN105956036A - 一种交易质量分析装置以及交易质量分析方法 - Google Patents

一种交易质量分析装置以及交易质量分析方法 Download PDF

Info

Publication number
CN105956036A
CN105956036A CN201610262928.6A CN201610262928A CN105956036A CN 105956036 A CN105956036 A CN 105956036A CN 201610262928 A CN201610262928 A CN 201610262928A CN 105956036 A CN105956036 A CN 105956036A
Authority
CN
China
Prior art keywords
transaction
quality analysis
module
business
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610262928.6A
Other languages
English (en)
Inventor
陈林
张晓明
徐立伟
张峻浩
杨森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Unionpay Co Ltd
Original Assignee
China Unionpay Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Unionpay Co Ltd filed Critical China Unionpay Co Ltd
Priority to CN201610262928.6A priority Critical patent/CN105956036A/zh
Publication of CN105956036A publication Critical patent/CN105956036A/zh
Priority to PCT/CN2017/080089 priority patent/WO2017185977A1/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2462—Approximate or statistical queries

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Probability & Statistics with Applications (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明涉及一种交易质量分析装置以及交易质量分析系统。该装置具备：交易抓取模块，用于从数据库抓取交易数据并且加以缓存；交易监控模块，用于对所述交易抓取模块抓取的交易数据进行监控；交易过滤模块，用于对所述交易监控模块的监控结果进行过滤；以及质量分析模块，用于对所述交易过滤模块过滤后的结果进行质量分析并将计算结果输出。根据本发明能够有效避免对联机交易核心数据库的干扰。

Description

一种交易质量分析装置以及交易质量分析方法
技术领域
本发明涉及一种数据处理装置以及数据处理方法，具体地涉及一种交易质量分析装置以及交易质量分析方法。
背景技术
常见的联机交易质量统计分析依赖于数据库的性能，会将统计时段的交易笔数，交易成功笔数等搜索出来再计算，在大并发情况下，一笔交易可能存在于多个周期，这样会被多次搜索，同时基于数据库频繁功能扫描交易笔数在大并发情况下，对于性能是极大的挑战。
发明内容
鉴于上述问题， 本发明旨在提供一种能够减少对数据库的操作并能够对交易质量实时进行分析的交易质量分析装置以及交易质量分析方法。
本发明的交易质量分析装置，其特征在于，具备：
交易抓取模块，用于从数据库抓取交易数据并且加以缓存；
交易监控模块，用于对所述交易抓取模块抓取的交易数据进行监控；
交易过滤模块，用于对所述交易监控模块的监控结果进行过滤；以及
质量分析模块，用于对所述交易过滤模块过滤后的结果进行质量分析并将计算结果输出。
优选地，所述交易抓取模块从数据库抓取交易数据并且以时间戳构建缓存链表加以缓存。
优选地，所述缓存链表为先进先出链表。
优选地，所述交易监控模块通过对所述链表进行读取并且加工成表示交易成功/失败率的树形。
优选地，所述树形为二叉树，其中，所述二叉树的根节点存储单位时间的交易总量，一侧叶子存储单位时间的成功交易数量，另一侧叶子存储单位时间的失败交易数量。
优选地，所述交易过滤模块根据交易数据中的交易时间和应答码要素判定交易是否成功，在判定成功的情况下，在所述一侧叶子的节点计数器加一，否则在所述另一侧叶子的节点计数器加一。
优选地，所述质量分析模块对所述交易过滤模块过滤后的结果每隔一定时间读取N个节点数据进行成功率计算并且将计算结果输出，其中N为自然数。
本发明的交易质量分析方法，其特征在于，该方法包括下述步骤：
交易抓取步骤，从数据库抓取交易数据并且加以缓存；
交易监控步骤，对所述交易抓取步骤抓取的交易数据进行监控；
交易过滤步骤，对所述交易监控步骤获取的监控结果进行过滤；以及
质量分析步骤，对所述交易过滤步骤过滤后的结果进行质量分析并将计算结果输出。
优选地，在所述交易抓取步骤中，从数据库抓取交易数据并且以时间戳构建先进先出缓存链表加以缓存。
优选地，在所述交易监控步骤中，通过对所述链表进行读取并且加工成表示交易成功/失败率的二叉树。
优选地，设置所述二叉树的根节点存储单位时间的交易总量，一侧叶子存储单位时间的成功交易数量，另一侧叶子存储单位时间的失败交易数量。
优选地，在所述交易过滤步骤中，根据交易数据中的交易时间和应答码要素判定交易是否成功，在判定成功的情况下，在所述一侧叶子的节点计数器加一，否则在所述另一侧叶子的节点计数器加一。
优选地，在所述质量分析步骤中，对所述交易过滤步骤过滤后的结果每隔一定时间读取N个节点数据进行成功率计算并且将计算结果输出，其中N为自然数。
根据本发明的质量分析装置以及质量分析方法，通过从数据库中抓取数据，然后对抓取的数据进行操作，这样，替代直接操作数据库而是对缓存数据进行操作，能够有效避免对联机交易核心数据库的干扰。
附图说明
图1是本发明的交易质量分析装置的构造框架图。
图2表示由本发明的交易质量分析装置实现的交易质量判断、分析的一个具体方式的示意图。
图3示例了二叉树的构造。
图4是本发明的交易质量分析方法的流程图。
具体实施方式
下面介绍的是本发明的多个实施例中的一些，旨在提供对本发明的基本了解。并不旨在确认本发明的关键或决定性的要素或限定所要保护的范围。
下面对于本发明的交易质量分析装置进行说明。
图1是本发明的交易质量分析装置的构造框架图。
具体地，如图1所示，交易质量分析装置具备用于从数据库抓取交易数据并且以时间戳构建先进先出链表缓存于缓存内存块的交易抓取模块100；通过对所述链表进行读取并且加工成表示交易成功/失败率的树形的交易监控模块200；对所述交易监控模块200加工结果进行过滤的交易过滤模块300；以及每隔一定时间读取N个节点数据以进行成功率计算并且将计算结果输出的质量分析模块400。
作为交易质量判断、分析的具体方式可以列举如图2所示的一个示例。
图2表示由本发明的交易质量分析装置实现的交易质量判断、分析的一个具体方式的示意图。
如图3所示，交易抓取模块100从数据库500中抓取数据，准实时（例如，可以在交易进行入数据库的规定时间后才进行抓取，该规定时间可以自由配置，例如配置为5秒）将交易数据同步到高速缓存（未图示）中，在高速缓存中以交易时间戳构建先进先出缓存链101，通过对缓存链表101的操作而不是直接操作数据库，能够避免对联机交易核心数据库产生干扰。
接着，交易监控模块200通过对缓存链表101的循环读取，加工出例如以秒为根节点的60个二叉树（在这里示例以秒为单位的情况，当然本发明不限于秒的单位，也可以采用其他单位，例如5秒一个单位或者分钟为单位）。在图3中示例了了二叉树的构造。如图3所示，二叉树的根节点存放当前秒下的交易总量，左叶子表示成功交易数量，右叶子表示失败交易数量。交易过滤模块300每分析一笔交易根据交易中的交易时间和应答码要素判定交易成功与否（例如，通过应答码来判定的情况下，应答码是由规定的技术规范确定的，这样的技术规范包括规定某些应答码可以判定系统处理成功，当收到这些应应答码的情况下，判定为交易成功，否则，判定为交易失败），进而在对应时间点二叉树的叶子节点计数器加一，该类二叉树用于交易成功率分析。具体地，交易过滤模块300对每一笔交易进行处理，处理后得到是在哪个时间点（秒）上应该增加一个成功计数还是失败计数。
接着，质量分析模块400每隔一定时间（可以按照需求设定间隔事件，例如，3秒）读取连续N个（N与间隔时间匹配）节点数据，进行成功率的计算，并将计算结果输出。这样，如此推移、反复工作。
如上所述，在本发明中，采用内存缓存并以缓存链表过渡，能够减少对数据库的操作。统计一个时间段的成功率，而往往时间段是平移的，比如发生在第2秒的交易在第二个统计周期还是需要去筛选的，传统的基于数据库操作，对于一笔交易就会被多次搜索或者说捕捉。而在本发明中，将交易抓取到内存里面，构建一个缓存链表，数据库操作只有在抓交易的那一次。因此，能够明显减少对数据库的操作。
而且，二次加工后存放在二叉树内再统计分析，将统计成功率的计算由现有技术中的交易笔数敏感转变成固定次数。例如，在现有技术中，统计成功率是利用数据库的语句直接完成的，比如利用数据库的 count 或者 sum 类似的，这个消耗的是数据库服务器的计算力，一旦统计周期内交易笔数多，数据库的查询和计算效率会显著降低。
而与此相对，本发明中采用二叉树的算法，对于成功率计算不依赖于数据库的select 而是N等于3的情况下的对于树的3次和5次加法、1次除法【(节点1成功+节点2成功+节点3成功 = 分子值)/（分子值+节点1失败+节点2失败+节点3失败）】。这样即使瞬时交易笔数（即所谓TPS，每秒交易笔数）无论怎么增加，计算力需求是一样的，而不会消耗数据库的计算力。
根据本发明的质量分析装置，通过从数据库中抓取数据，然后对抓取的数据进行操作，这样，替代直接操作数据库而是对缓存数据进行操作，能够有效避免对联机交易核心数据库的干扰，能够进一步提高数据处理能力。
以上对于本发明的交易质量分析装置进行了说明。接着，对于本发明的交易分析方法进行简单说明。
图4是本发明的交易质量分析方法的流程图。如图4所示，本发明的交易质量分析方法，包括下述步骤：
交易抓取步骤S100：从数据库抓取交易数据并且以时间戳构建先进先出缓存链表加以缓存；
交易监控步骤S200：对所述交易抓取步骤抓取的交易数据进行监控，通过对所述链表进行读取并且加工成表示交易成功/失败率的二叉树，设置所述二叉树的根节点存储单位时间的交易总量，一侧叶子存储单位时间的成功交易数量，另一侧叶子存储单位时间的失败交易数量；
交易过滤步骤S300：对所述交易监控步骤获取的监控结果进行过滤，其中，根据交易数据中的交易时间和应答码要素判定交易是否成功，在判定成功的情况下，在所述一侧叶子的节点计数器加一，否则在所述另一侧叶子的节点计数器加一；以及
质量分析步骤S400：对所述交易过滤步骤过滤后的结果进行质量分析并将计算结果输出，其中，对所述交易过滤步骤过滤后的结果每隔一定时间读取N个节点数据进行成功率计算并且将计算结果输出，其中N为自然数。
以上例子主要说明了本发明的交易质量分析装置以及交易质量分析方法。尽管只对其中一些本发明的具体实施方式进行了描述，但是本领域普通技术人员应当了解，本发明可以在不偏离其主旨与范围内以许多其他的形式实施。因此，所展示的例子与实施方式被视为示意性的而非限制性的，在不脱离如所附各权利要求所定义的本发明精神及范围的情况下，本发明可能涵盖各种的修改与替换。

Claims (13)

1.一种交易质量分析装置，其特征在于，具备：
交易抓取模块，用于从数据库抓取交易数据并且加以缓存；
交易监控模块，用于对所述交易抓取模块抓取的交易数据进行监控；
交易过滤模块，用于对所述交易监控模块的监控结果进行过滤；以及
质量分析模块，用于对所述交易过滤模块过滤后的结果进行质量分析并将计算结果输出。
2.如权利要求1所述的交易质量分析装置，其特征在于，
所述交易抓取模块从数据库抓取交易数据并且以时间戳构建缓存链表加以缓存。
3.如权利要求2所述的交易质量分析装置，其特征在于，
所述缓存链表为先进先出链表。
4.如权利要求3所述的交易质量分析装置，其特征在于，
所述交易监控模块通过对所述链表进行读取并且加工成表示交易成功/失败率的树形。
5.如权利要求4所述的交易质量分析装置，其特征在于，
所述树形为二叉树，其中，所述二叉树的根节点存储单位时间的交易总量，一侧叶子存储单位时间的成功交易数量，另一侧叶子存储单位时间的失败交易数量。
6.如权利要求5所述的交易质量分析装置，其特征在于，
所述交易过滤模块根据交易数据中的交易时间和应答码要素判定交易是否成功，在判定成功的情况下，在所述一侧叶子的节点计数器加一，否则在所述另一侧叶子的节点计数器加一。
7.如权利要求6所述的交易质量分析装置，其特征在于，
所述质量分析模块对所述交易过滤模块过滤后的结果每隔一定时间读取N个节点数据进行成功率计算并且将计算结果输出，其中N为自然数。
8.一种交易质量分析方法，其特征在于，该方法包括下述步骤：
交易抓取步骤，从数据库抓取交易数据并且加以缓存；
交易监控步骤，对所述交易抓取步骤抓取的交易数据进行监控；
交易过滤步骤，对所述交易监控步骤获取的监控结果进行过滤；以及
质量分析步骤，对所述交易过滤步骤过滤后的结果进行质量分析并将计算结果输出。
9.如权利要求8所述的交易质量分析方法，其特征在于，
在所述交易抓取步骤中，从数据库抓取交易数据并且以时间戳构建先进先出缓存链表加以缓存。
10.如权利要求9所述的交易质量分析方法，其特征在于，
在所述交易监控步骤中，通过对所述链表进行读取并且加工成表示交易成功/失败率的二叉树。
11.如权利要求10所述的交易质量分析方法，其特征在于，
设置所述二叉树的根节点存储单位时间的交易总量，一侧叶子存储单位时间的成功交易数量，另一侧叶子存储单位时间的失败交易数量。
12.如权利要求11所述的交易质量分析方法，其特征在于，
在所述交易过滤步骤中，根据交易数据中的交易时间和应答码要素判定交易是否成功，在判定成功的情况下，在所述一侧叶子的节点计数器加一，否则在所述另一侧叶子的节点计数器加一。
13.如权利要求12所述的交易质量分析步骤，其特征在于，
在所述质量分析步骤中，对所述交易过滤步骤过滤后的结果每隔一定时间读取N个节点数据进行成功率计算并且将计算结果输出，其中N为自然数。
CN201610262928.6A 2016-04-26 2016-04-26 一种交易质量分析装置以及交易质量分析方法 Pending CN105956036A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201610262928.6A CN105956036A (zh) 2016-04-26 2016-04-26 一种交易质量分析装置以及交易质量分析方法
PCT/CN2017/080089 WO2017185977A1 (zh) 2016-04-26 2017-04-11 一种交易质量分析装置以及交易质量分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610262928.6A CN105956036A (zh) 2016-04-26 2016-04-26 一种交易质量分析装置以及交易质量分析方法

Publications (1)

Publication Number Publication Date
CN105956036A true CN105956036A (zh) 2016-09-21

Family

ID=56915635

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610262928.6A Pending CN105956036A (zh) 2016-04-26 2016-04-26 一种交易质量分析装置以及交易质量分析方法

Country Status (2)

Country Link
CN (1) CN105956036A (zh)
WO (1) WO2017185977A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017185977A1 (zh) * 2016-04-26 2017-11-02 中国银联股份有限公司 一种交易质量分析装置以及交易质量分析方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109672450B (zh) * 2018-12-13 2023-01-17 武汉中元华电软件有限公司 一种采用硬件动态分片实现最优huffman编码的装置及方法
CN113553320B (zh) * 2021-07-29 2022-09-02 上海哔哩哔哩科技有限公司 数据质量监控方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101576893A (zh) * 2008-05-09 2009-11-11 北京世纪拓远软件科技发展有限公司 数据质量分析方法及系统
CN104036088A (zh) * 2014-06-23 2014-09-10 国网山东省电力公司 用于集团企业资金曲线实时生成的方法及系统
CN104766151A (zh) * 2014-12-29 2015-07-08 国家电网公司 一种用于电力交易数据仓库的质量管控方法及其管控系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105956036A (zh) * 2016-04-26 2016-09-21 中国银联股份有限公司 一种交易质量分析装置以及交易质量分析方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101576893A (zh) * 2008-05-09 2009-11-11 北京世纪拓远软件科技发展有限公司 数据质量分析方法及系统
CN104036088A (zh) * 2014-06-23 2014-09-10 国网山东省电力公司 用于集团企业资金曲线实时生成的方法及系统
CN104766151A (zh) * 2014-12-29 2015-07-08 国家电网公司 一种用于电力交易数据仓库的质量管控方法及其管控系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017185977A1 (zh) * 2016-04-26 2017-11-02 中国银联股份有限公司 一种交易质量分析装置以及交易质量分析方法

Also Published As

Publication number Publication date
WO2017185977A1 (zh) 2017-11-02

Similar Documents

Publication Publication Date Title
CN111221702B (zh) 基于日志分析的异常处理方法、系统、终端及介质
KR102548217B1 (ko) 데이터 스트림의 실시간 처리를 위한 시스템 및 방법
US10733149B2 (en) Template based data reduction for security related information flow data
CN112035404B (zh) 医疗数据监控与预警方法、装置、设备及存储介质
CN103942210A (zh) 海量日志信息的处理方法、装置与系统
CN112732785A (zh) 时序数据异常检测方法、装置、设备及存储介质
WO2012020456A1 (ja) 時系列データ処理装置及びその方法
Roschke et al. A flexible and efficient alert correlation platform for distributed ids
CN105956036A (zh) 一种交易质量分析装置以及交易质量分析方法
US20190197140A1 (en) Automation of sql tuning method and system using statistic sql pattern analysis
CN102999528A (zh) 一种数据仓库中etl任务离线和数据清理的方法及装置
KR20190022434A (ko) 데이터베이스 시스템의 최적화 방법, 시스템, 전자장치 및 저장매체
CN110389840B (zh) 负载消耗预警方法、装置、计算机设备和存储介质
CN108985559A (zh) 风控数据处理方法、装置、计算机设备及存储介质
CN105589785A (zh) 监控存储设备的io性能的装置和方法
Iqbal et al. Real-time data center's telemetry reduction and reconstruction using markov chain models
CN104954351B (zh) 数据检测方法和装置
CN110008049A (zh) 一种基于互联网平台的数据修正方法、终端设备及介质
CN116644136A (zh) 一种增量和全量数据的数据采集方法、装置、设备及介质
WO2019161931A1 (en) Stream processing device and method of processing a stream of data
CN115470279A (zh) 基于企业数据的数源转换方法、装置、设备及介质
CN113885803A (zh) 数据存储方法、装置、电子设备及存储介质
CN111737242A (zh) 一种监控海量数据处理过程的方法
CN110837459A (zh) 一种基于大数据的运行绩效分析方法及系统
CN111224823A (zh) 一种基于异网日志分析的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20160921