CN101505267A - 二级缓冲在大并发量实时信用控制中的应用方法 - Google Patents
二级缓冲在大并发量实时信用控制中的应用方法 Download PDFInfo
- Publication number
- CN101505267A CN101505267A CNA2009100244819A CN200910024481A CN101505267A CN 101505267 A CN101505267 A CN 101505267A CN A2009100244819 A CNA2009100244819 A CN A2009100244819A CN 200910024481 A CN200910024481 A CN 200910024481A CN 101505267 A CN101505267 A CN 101505267A
- Authority
- CN
- China
- Prior art keywords
- real
- time
- credit control
- buffering
- level
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 12
- 238000004364 calculation method Methods 0.000 claims abstract description 6
- 230000003139 buffering effect Effects 0.000 claims description 35
- 230000000903 blocking effect Effects 0.000 claims description 4
- 238000013144 data compression Methods 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 5
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 235000012054 meals Nutrition 0.000 description 2
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000002559 palpation Methods 0.000 description 1
- 238000012958 reprocessing Methods 0.000 description 1
- 238000012954 risk control Methods 0.000 description 1
- 238000013517 stratification Methods 0.000 description 1
- 238000005308 sum rule Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)
Abstract
二级缓冲在大并发量实时信用控制中的应用方法，在大并发量实时信控中引入了二级缓冲的方法，1)减少磁盘I/O，从实时的磁盘访问优化为每半个小时做一次异步的磁盘访问，使得计算内存化且有效提高速度；2)对需要处理的数据进行压缩，使得余额数据压缩掉约20％；3)减少单位时间内的重复计算量，使计算量减少约5％；4)判断逻辑简化，不进行余额的有效判断，直接按内存中顺序进行处理，通过这样的处理，判断出了大部分不需要触发实时信控的话单，减少实时信控的压力，进行一个高速的初步的判断，筛选掉大部分不需要触发信用控制的话单，留下导致限制呼叫可能性高的话单来触发信用控制操作。
Description
一、技术领域
本发明属于电信运营商大规模准确数据处理应用技术范畴。
二、背景技术
随着我国通信网规模的不断扩大，多运营商使得市场竞争日益激烈。提高服务水准，提供多样化、智能化、层次化的业务成为提高竞争力的重要手段。近年来，预付费业务在世界各地得到了长足的发展，是各种智能业务中发展最为迅速、应用最为广泛的业务。对于运营商，该业务可以避免后付费方式带来的欠费和欺诈现象，降低运营费用，获得更多的流动资金，逐步消除呆坏账问题；对于用户，该业务具有免入网费、免月租费、即买即用的灵活特点，得到了用户的普遍欢迎，取得了良好的社会效益。
预付费的实现有多种技术手段：早期，电信运营商都采用了智能网技术开展预付费业务，该方案部署快，能实现实时计费；后来，为了市场竞争的需要，运营商需要根据情况，应时地推出各种各样的套餐来吸引客户，这时智能网技术的就显得力不从心，往往一个新的类型的套餐需求需要半年才能实现，完全跟不上市场的发展，于是运营商开始使用HotBilling来开展预付费业务，这种方式是准实时计费，在业务发展和欠费风险控制上取得了平衡。目前，国内运营商大多采用这种方式实现预付费，这就需要HotBilling具备实时信用控制的能力。
实时信用控制包含两层含义：一层是“实时”，系统每批价完一条话单后，如果该话单产生费用，就需要对用户进行信用控制操作；另外一层是“信用控制”，简单的说，是拿客户的余额和客户的消费就行比较，检查客户的余额是否足够，如果余额不够，则要对客户进行提醒、限制呼叫等操作。目前的业务多种多样，客户的余额也不是单纯的一个数字，可能分语音能使用的余额、数据能使用的余额、账户的余额、用户的余额等，并且余额还有有效期，不同类型的余额之间有使用的优先级。
现在电信运营商都以省为单位来建设计费系统，计费系统需要处理的数据量非常巨大，以某省移动公司为例，预付费用户达到1000万，每月各种业务的话单量达到30亿，平均每秒就产生1158条话单；也就是说，每秒至少要进行1000多次信用控制处理；
1000万用户的余额记录能达到3000万条，月消费汇总数据记录能达到1.8亿条，这么大的数据量，需要放到磁盘数据库中，在一台配置56个1.1GHZ的CPU，100G内存的HP主机上，使用oracle9i，一个信用控制的进程，每秒只能做20条；随着进程的增加，总处理条数的增长会逐渐放慢，要达到每秒1158次信用控制处理，在这样一台配置很好的机器上无法靠增加进程数量来实现；需要找出一种技术手段来提高整体的处理性能。
三、发明内容
本发明目的是对改进大并发量实时信用控制性能的方法提出的新的技术方案。现在的CPU普遍具备二级Cache，这是为了提高CPU的使用效率，现在CPU的速度已经达到一个前所未有的程度，而内存的访问速度要慢很多，在这两者中间增加2级的缓冲，就能避免对内存的频繁访问从而提高效率；受CPU的启发，本发明在实时信用控制中引入了二级缓冲的技术解决了实时信用控制处理的性能问题。
本发明的技术方案：二级缓冲在大并发量实时信用控制中的应用方法，其特征是在大并发量实时信控中引入了二级缓冲的方法，经过二级缓冲的初步判断，即在实时信控之前，引入二级缓冲模块，对于批价完后的话单，先通过二级缓冲处理，二级缓冲把处理后认为触发呼叫限制可能性大的话单再传给实时信控进行处理；二级缓冲处理的步骤：第一是减少磁盘I/O，从实时的磁盘访问优化为每半个小时做一次异步的磁盘访问，使得计算内存化且有效提高速度；第二是对需要处理的数据(余额、消费信息)进行压缩，使得余额数据压缩掉约20％，消费信息数据压缩掉约80％，减少数据量，这样才能使得数据内存化成为现实，也能减少计算量，提高速度；第三是减少单位时间内的重复计算量，使计算量减少约5％；第四是判断逻辑简化，不进行余额的有效判断，直接按内存中顺序(不再按优先级排序)进行处理。通过这样的处理，相当于做了一次粗略实时信控，判断出了大部分不需要触发实时信控的话单，减少实时信控的压力，像CPU的二级缓冲在高速的CPU计算部件和相对低速的内存间做了一个缓冲那样，在这1100多次和3次之间建立一个缓冲，进行一个高速的初步的判断，筛选掉大部分不需要触发信用控制的话单，留下导致限制呼叫可能性高的话单来触发信用控制操作，从而减少真正触发信用控制的次数，降低实时信控的压力，那么就能使实时信控能够正常运行；
解决实时信控的性能问题。减少计算的数据量、简化判断逻辑，从而在一定的精度范围内(识别出99％的不需要做实时信控处理的话单)，高速地进行数据处理。减少计算数据量为：不加载无效数据、不加载对准确性影响小的数据、合并相似的数据；所述的简化判断逻辑为：在达到精度要求的基础上，去掉对准确性影响小的逻辑。
根据实际运营情况的统计，在实时信控处理中，虽然每秒有1100多次触发，但是真正能触发呼叫限制的事件大约只有2—3条每秒，这里面绝大部分的话单都不会引起呼叫限制，基本做的是“无用功”。
本发明的有益效果是：测试环境：HP SuperDone56*1.1G CPU，100G RAM，Oracle9i，1000万预付费用户的数据；
测试对象：一个省的5天的计费话单，待处理文件数为：98102个，共有498779011条记录。
测试方法：将文件放置于系统输入目录；使用计费流程对文件进行批价合账处理，把批价后事件传给二级缓冲，二级缓冲判断后把可能需要触发信用控制操作的话单再传给信用控制；二级缓冲记录相应的处理日志：包括单位每分钟的输入量、输出量；根据日志来判断效果；信用控制记录相应的处理日志：包括单位每分钟的输入处理量；根据日志来判断效果；这种测试方式，因为话单是已经准备好的，数据源充足，可以测试出系统的最大处理能力；二级缓冲部署一个进程，信用控制部署一个进程。
测试结果：二级缓冲启动后60分钟到70分钟的日志记录：
| 时间 | 接收输入量 | 实际处理量 | 输出量 |
| 2008-11-2516:32:00 | 217167 | 208480 | 2501 |
| 2008-11-25 | 217702 | 208509 | 2789 |
| 16:33:00 | |||
| 2008-11-2516:34:00 | 217001 | 208497 | 2429 |
| 2008-11-2516:35:00 | 217103 | 208458 | 1747 |
| 2008-11-2516:36:00 | 217707 | 208463 | 2114 |
| 2008-11-2516:37:00 | 216915 | 208476 | 1888 |
| 2008-11-2516:38:00 | 217583 | 208452 | 2354 |
| 2008-11-2516:39:00 | 217347 | 208474 | 2273 |
| 2008-11-2516:40:00 | 217700 | 208490 | 1729 |
| 2008-11-2516:41:00 | 216421 | 208465 | 1816 |
其中时间代表某分钟；接收输入量代表共接收多少话单；实际处理量代表经过话单缓冲后，实际触发初步判断的话单量；输出量代表经过初步判断后认为可能需要进行信用控制操作的话单。信用控制启动后60分钟到70分钟的日志记录如下：
| 时间 | 接收输入量 | 实际处理量 | 输出量 |
| 2008-11-2516:32:00 | 1003 | 1003 | 251 |
| 2008-11-2516:33:00 | 1192 | 1192 | 300 |
| 2008-11-2516:34:00 | 1078 | 1078 | 280 |
| 2008-11-2516:35:00 | 1103 | 1103 | 289 |
| 2008-11-2516:36:00 | 998 | 998 | 278 |
| 2008-11-2516:37:00 | 1107 | 1107 | 255 |
| 2008-11-2516:38:00 | 1077 | 1077 | 298 |
| 2008-11-2516:39:00 | 1022 | 1022 | 287 |
| 2008-11-2516:40:00 | 998 | 998 | 303 |
| 2008-11-2516:41:00 | 1089 | 1089 | 312 |
其中实际代表某分钟；接收输入量代表共接收多少话单；实际处理量在本进程里和输入量一致；输出量代表生成的信用控制工单；输出量一般小于等于实际处理量，越靠近实际处理量，说明二级缓冲的精度越高。
测试结果表明：信用控制每秒的处理能力大约为16—20条；二级缓冲每秒处理能力为3500条左右，二级缓冲能过滤掉近99％的话单；可以有效缓解实时信用控制的压力。
四、具体实施方式
本发明基于如下技术方式实现：
1、减少磁盘I/O
这个二级缓冲要能高效快速地进行初步判断，过滤掉大部分不需要信控的数据，首先要减少磁盘的I/O，我们把初步判断所需要的数据上载到内存：包括余额数据，历史消费记录，当月消费，客户信用度等参考因素；
随着用户的一些充值操作，数据库中的余额数据可能会发生变化，我们采用定时的方式，如每半个小时同步到内存一次；这是一个关键点，同步越频繁，这个二级缓冲的判断精度就越高，但是数据库、系统的压力就越大，按照实践经验来看，对1000万预付费用户的数据量，每半个小时是精度和压力的平衡点；设置数据库数据和内存数据的同步时间间隔；通常为半个小时；
2、按照业务规则进行参考数据压缩
由于数据量大，全部上载到内存需要很大的空间。我们采用如下业务规则来进行数据压缩：
余额数据只上载有效内的，未生效余额和已失效余额不进行上载；如果是专款专用的余额，小于一定的阈值的不上载，阈值的大小根据经验设定；这样可以把余额这块的数据量压缩到数据库中的75％到85％。根据经验设置余额上载时，专款专用余额的阈值；通常为5元；
历史消费记录按照余额专款专用的类型进行归并后，再上载到内存，可以有效地减少数据量，按照目前的业务，每个用户平均每月有18条消费记录，按照余额专款专用的类型归并后，平均可以减少到5条，数据量缩小到原来的28％；
3、对触发的话单进行缓冲
按1000万用户的例子，二级缓冲中，每秒要进行1158次的初步判断处理，实际处理中发现，每10000次处理中，平均只涉及到9500个不同的用户；由于缓冲之前的合账处理速度相对快，这就造成了这里面的500个用户进行了重复处理；所以，我们在二级缓冲中，首先对话单按照用户进行缓冲，一条话单进入系统时，首先判断是不是当前10000条之内已经处理过了，如果处理过了，则直接忽略，这样，可以把处理再缩小5％。在流程中部署二级缓冲模块，该模块从批价进程接收数据；
4、判断逻辑适当简化
加载到内存中的余额只有有效的余额，并且已经按照优先级排好顺序，所以判断逻辑上可以省略掉对有效期的判断，对优先级的排序计算；
Claims (2)
1、二级缓冲在大并发量实时信用控制中的应用方法，其特征是在大并发量实时信控中引入了二级缓冲的方法，经过二级缓冲的初步判断，即在实时信控之前，引入二级缓冲模块，对于批价完后的话单，先通过二级缓冲处理，二级缓冲把处理后认为触发呼叫限制可能性大的话单再传给实时信控进行处理；二级缓冲处理步骤：1)减少磁盘I/O，从实时的磁盘访问优化为每半个小时做一次异步的磁盘访问，使得计算内存化且有效提高速度；2)对需要处理的数据进行压缩，使得余额数据压缩掉约20％，消费信息数据压缩掉约80％；3)减少单位时间内的重复计算量，使计算量减少约5％；4)判断逻辑简化，不进行余额的有效判断，直接按内存中顺序进行处理，通过这样的处理，判断出了大部分不需要触发实时信控的话单，减少实时信控的压力，进行一个高速的初步的判断，筛选掉大部分不需要触发信用控制的话单，留下导致限制呼叫可能性高的话单来触发信用控制操作。
2、根据权利要求1所述的二级缓冲在大并发量实时信用控制中的应用方法，其特征是减少计算数据量的方法为：不加载无效数据、不加载对准确性影响小的数据、合并相似的数据；所述的简化判断逻辑为：在达到精度要求的基础上，去掉对准确性影响小的逻辑。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2009100244819A CN101505267B (zh) | 2009-02-24 | 2009-02-24 | 二级缓冲在大并发量实时信用控制中的应用方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2009100244819A CN101505267B (zh) | 2009-02-24 | 2009-02-24 | 二级缓冲在大并发量实时信用控制中的应用方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101505267A true CN101505267A (zh) | 2009-08-12 |
| CN101505267B CN101505267B (zh) | 2013-03-20 |
Family
ID=40977341
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2009100244819A Expired - Fee Related CN101505267B (zh) | 2009-02-24 | 2009-02-24 | 二级缓冲在大并发量实时信用控制中的应用方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101505267B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102622198A (zh) * | 2012-02-29 | 2012-08-01 | 中山大学 | 一种对数据进行可视化处理的方法及系统 |
| CN108132757A (zh) * | 2016-12-01 | 2018-06-08 | 阿里巴巴集团控股有限公司 | 数据的存储方法、装置及电子设备 |
| CN114861574A (zh) * | 2022-04-24 | 2022-08-05 | 东科半导体(安徽)股份有限公司 | 一种应用于层次化物理设计的逻辑简化方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| ES2103744T3 (es) * | 1989-08-14 | 1997-10-01 | Centillion Data Systems Inc | Sistema de facturacion. |
| CN100346655C (zh) * | 2005-08-30 | 2007-10-31 | 中国移动通信集团公司 | 一种计费信息处理的方法 |
| CN101163135A (zh) * | 2006-10-13 | 2008-04-16 | 华为技术有限公司 | 一种业务控制单元预处理方法、装置及系统 |
| CN101136758A (zh) * | 2007-07-20 | 2008-03-05 | 南京联创科技股份有限公司 | 在线计费系统在欠费风险控制系统中的应用方法 |
-
2009
- 2009-02-24 CN CN2009100244819A patent/CN101505267B/zh not_active Expired - Fee Related
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102622198A (zh) * | 2012-02-29 | 2012-08-01 | 中山大学 | 一种对数据进行可视化处理的方法及系统 |
| CN108132757A (zh) * | 2016-12-01 | 2018-06-08 | 阿里巴巴集团控股有限公司 | 数据的存储方法、装置及电子设备 |
| CN108132757B (zh) * | 2016-12-01 | 2021-10-19 | 阿里巴巴集团控股有限公司 | 数据的存储方法、装置及电子设备 |
| CN114861574A (zh) * | 2022-04-24 | 2022-08-05 | 东科半导体(安徽)股份有限公司 | 一种应用于层次化物理设计的逻辑简化方法 |
| CN114861574B (zh) * | 2022-04-24 | 2024-01-12 | 东科半导体(安徽)股份有限公司 | 一种应用于层次化物理设计的逻辑简化方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN101505267B (zh) | 2013-03-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103426070B (zh) | 一种集团合并财务报表的编制方法及装置 | |
| CN107944738A (zh) | 一种税务信用积分计算方法及装置 | |
| CN107240013A (zh) | 一种信用卡催收还款的方法和装置 | |
| CN101350869A (zh) | 基于索引和散列的电信计费去重方法及设备 | |
| CN104731649A (zh) | 一种多任务处理方法及装置 | |
| CN107832132A (zh) | 应用控制方法、装置、存储介质及电子设备 | |
| CN101505267B (zh) | 二级缓冲在大并发量实时信用控制中的应用方法 | |
| Zhang | Optimal advance payment scheme involving fixed per-payment costs | |
| CN110766404A (zh) | 一种etc多业务多支付场景的自动对账方法与系统 | |
| CN106447485A (zh) | 一种会计数据处理方法及系统 | |
| US20210233027A1 (en) | Method for conducting statistics on insurance type state information of policy, terminal device and storage medium | |
| CN111506876B (zh) | 一种数据预测分析方法、系统、设备及可读存储介质 | |
| CN101751397B (zh) | 一种将文件导入数据库的方法及装置 | |
| CN103167460A (zh) | 一种计费话单处理方法和装置 | |
| CN102026138A (zh) | 一种通信费账单输出方法及系统 | |
| CN108875029A (zh) | 数据处理方法及装置、存储介质和处理器 | |
| CN107679926A (zh) | 一种发票批量智能拆分和组合算法 | |
| CN103761573A (zh) | 实现内部交易业务进行对账关联的方法及装置 | |
| CN101377864B (zh) | 在银行卡上进行多种类型数据处理的系统及处理方法 | |
| CN106296384A (zh) | 一种临时接电费处理方法 | |
| CN101072275A (zh) | 一种动态折线式通信收费的计费工程方法 | |
| CN112614005A (zh) | 企业复工状态的处理方法和装置 | |
| CN112418600A (zh) | 一种基于指标集的企业政策评分方法及系统 | |
| CN110033168A (zh) | 一种基于数据处理的订单分配方法及相关设备 | |
| Wong | The equity and fixed income characteristics of Asian REITs: Evidence from Japan, Singapore and Hong Kong |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| C41 | Transfer of patent application or patent right or utility model | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20160314 Address after: 210036, LIAN building, 18 Hui Hui Road, Gulou District, Jiangsu, Nanjing, 16 Patentee after: NANJING XINTONG TECHNOLOGY CO.,LTD. Address before: 210013, No. 12, Huai gate, 16 floor, Nanjing, Jiangsu Patentee before: LINKAGE TECHNOLOGY GROUP Co.,Ltd. |
|
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20130320 |