CN108289043B - 一种数据一致性检测方法和装置 - Google Patents

一种数据一致性检测方法和装置 Download PDF

Info

Publication number
CN108289043B
CN108289043B CN201710016676.3A CN201710016676A CN108289043B CN 108289043 B CN108289043 B CN 108289043B CN 201710016676 A CN201710016676 A CN 201710016676A CN 108289043 B CN108289043 B CN 108289043B
Authority
CN
China
Prior art keywords
data
value
data packet
mapping
level value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710016676.3A
Other languages
English (en)
Other versions
CN108289043A (zh
Inventor
韩涵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Academy of Information and Communications Technology CAICT
Original Assignee
China Academy of Telecommunications Research CATR
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Academy of Telecommunications Research CATR filed Critical China Academy of Telecommunications Research CATR
Priority to CN201710016676.3A priority Critical patent/CN108289043B/zh
Publication of CN108289043A publication Critical patent/CN108289043A/zh
Application granted granted Critical
Publication of CN108289043B publication Critical patent/CN108289043B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/02—Capturing of monitoring data
    • H04L43/022—Capturing of monitoring data by sampling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/16—Threshold monitoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/12—Applying verification of the received information
    • H04L63/123—Applying verification of the received information received data contents, e.g. message integrity

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请提供了一种数据一致性检测方法和装置，通过对系统传输的数据的一致性的重要级别进行评估，根据评估结果将部分数据包抽样到样本检测池中进行检验，不影响数据传输过程，且实现了差异性的数据一致性检测，可以有效降低系统的资源消耗。

Description

一种数据一致性检测方法和装置
技术领域
本发明涉及数据传输技术领域，特别涉及一种数据一致性检测方法和装置。
背景技术
传统的数据一致性测试需要针对所有的接收数据进行逐一检测。在大数据时代，数据传输/交换的规模和频率都已经大大增加，使得系统需要耗费大量的资源来实现数据一致性检测，这样的负担已经使得大量系统不堪重负。
与此同时，随着底层数据传输技术的不断发展，数据在传输过程中由于物理噪音等原因造成的误码错误已经被大大降低，在这种情况下，对所有的数据逐一检测实际造成了对资源的巨大浪费。
发明内容
有鉴于此，本申请提供一种数据一致性检测方法和装置，能有效降低系统的资源消耗。
为解决上述技术问题，本申请的技术方案是这样实现的：
一种数据一致性检测方法，该方法包括：
配置映射表，所述映射表包括：按照承载业务的不同，为数据分配从1到M的连续的M个业务重要性值；按照数据吞吐量的大小，为数据分配从1到N的连续的N个数据负载值；按照发生异常和告警的数据量，为系统分配从1到P的连续的P个安全等级值；
检测周期开始时，根据当前承载业务的类型在映射表中查找到对应的业务重要性值S1；根据系统当前的吞吐量的大小，在映射表中查找到对应的数据负载值S2；根据在预设时间内发生异常和告警的数据量，在映射表中查找到对应的安全等级值S3；
确定当前检测数据一致性的重要级别值I为S1、S2和S3的和；
将I/(M+N+P)作为抽样比例在数据接收端接收到的数据包中抽取数据包，并存储到检验样本池中；
将数据包的大小映射为从1到Q的Q个连续映射值，并按照数据包的大小为检验样本池中每个数据包分配映射值；
以IQ/(M+N+P)为数学期望，以随机整数分布函数生成随机数序列，在检验样本池中选取映射值与该序列中的随机数值相同的数据包，并对选取出的数据包进行验证；
若第二预设时间内验证失败的数据包的个数小于预设阈值，则结束当前检测周期，确定数据一致；其中，M、N、P、Q、S1、S2、S3为大于0的整数。
一种数据一致性检测装置，该装置包括：配置单元、确定单元、和检测单元；
所述配置单元，用于配置映射表，所述映射表包括，按照承载业务的不同，为数据分配从1到M的连续的M个业务重要性值；按照数据吞吐量的大小，为数据分配从1到N的连续的N个数据负载值；按照发生异常和告警的数据量，为系统分配从1到P的连续的P个安全等级值；将数据包的大小映射为从1到Q的Q个连续映射值；
所述确定单元，用于检测周期开始时，根据当前承载业务的类型在所述配置单元中的映射表中查找到对应的业务重要性值S1；根据系统当前的吞吐量的大小，在映射表中查找到对应的数据负载值S2；根据在预设时间内发生异常和告警的数据量，在映射表中查找到对应的安全等级值S3；并确定当前检测数据一致性的重要级别值I为S1、S2和S3的和；
所述检测单元，用于根据确定单元确定的I，将I/(M+N+P)作为抽样比例在数据接收端接收到的数据包中抽取数据包，并存储到检验样本池中；根据所述配置单元配置的映射值，按照数据包的大小为检验样本池中每个数据包分配映射值；以IQ/(M+N+P)为数学期望，以随机整数分布函数生成随机数序列，在检验样本池中选取映射值与该序列中的随机数值相同的数据包，并对选取出的数据包进行验证；若第二预设时间内验证失败的数据包的个数小于预设阈值，则结束当前检测周期；其中，M、N、P、Q、S1、S2、S3为大于0的整数。
由上面的技术方案可知，本申请中通过对系统传输的数据的一致性的重要级别进行评估，根据评估结果将部分数据包抽样到样本检测池中进行检验，不影响数据传输过程，且实现了差异性的数据一致性检测，可以有效降低系统的资源消耗。
附图说明
图1为本申请实施例中数据一致性检测流程示意图；
图2为本申请实施例中应用于上述技术的装置结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，下面结合附图并举实施例，对本发明的技术方案进行详细说明。
本申请实施例中提供一种数据一致性检测方案，通过对系统传输的数据的一致性的重要级别进行评估，根据评估结果将部分数据包抽样到样本检测池中进行检验，不影响数据传输过程，且实现了差异性的数据一致性检测，可以有效降低系统的资源消耗。
本申请实施例中的数据一致性检测基于数据的重要性、网络繁忙程度，以及传输过程历时故障情况来自适应实现数据完整性检测的过程。具体实现时通过以下三方面来衡量测试数据一致性的重要级别：
承载业务、数据吞吐量，以及发生异常和告警的数据量。
预先按照承载业务的不同，为数据分配从1到M的连续的M个业务重要性值；承载的业务越多，分配的业务重要性值越大；按照数据吞吐量的大小，为数据分配从1到N的连续的N个数据负载值；数据吞吐量越大，分配的数据负载值越大；按照发生异常和告警的数据量，为系统分配从1到P的连续的P个安全等级值；发生异常和告警的数据量越大，分配的安全等级值越大。
下面结合附图，详细说明本申请实施例中实现数据一致性检测的过程。为了描述方便，将实现数据一致性检测的设备称为测试设备。
参见图1，图1为本申请实施例中数据一致性检测流程示意图。具体步骤为：
步骤101，检测周期开始时，测试设备根据当前承载业务的类型在映射表中查找到对应的业务重要性值S1；根据系统当前的吞吐量的大小，在映射表中查找到对应的数据负载值S2；根据第一预设时间内发生异常和告警的数据量，在映射表中查找到对应的安全等级值S3。
第一预设时间可以为24个小时，也可以为根据实际应用进行配置的具体时间。
确定第一预设时间内发生异常和告警的数据量可以通过日志相关信息获取。
步骤102，该测试设备确定当前检测数据一致性的重要级别值I为S1、S2和S3的和。
以M＝5，N＝10，P＝5为例，则分配1到5的业务重要性值，如普通视频传输为2，语音传输为4，网页传输为5，加密文本传输为8；1到10的数据负载值，如对于带宽为200Mbps的网络，流量为40Mbps以下为1，40Mbps-80Mbps为2，以此类推，160-200Mbps为5，1到5的安全等级值，如第一预设时间内发生5次以内告警为1，5-10次为2，以此类推，发生20次以上为5，假设当前业务承载的类型对应的业务重要性值为2，系统当前的吞吐量的大小对应的数据负载值为6，第一预设时间内日志发生异常和告警的数据量对应的安全等级值为1。
则I为2、6、1的和9。
步骤103，该测试设备将I/(M+N+P)作为抽样比例在数据接收端接收到的数据包中抽取数据包，并存储到检验样本池中。
根据上述假设，该设备将9/20作为抽样比例进行抽样。
步骤104，该测试设备将数据包的大小映射为从1到Q的Q个连续映射值，并按照数据包的大小为检验样本池中每个数据包分配映射值。
为数据包大的数据包分配值大的映射值。
假设Q＝5，则为检验样本池中的每个数据包分配1到5的值中的一个值。
步骤105，该测试设备以IQ/(M+N+P)为数学期望，以随机整数分布函数生成随机数序列，在检验样本池中选取映射值与该序列中的随机数值相同的数据包，并对选取出的数据包进行验证。
以上述具体举例，则以9/4位数据期望，生成随机数序列。
步骤106，若第二预设时间内验证失败的数据包的个数小于预设阈值，则结束当前检测周期。
结束当前检测周期，即当前周期内不再进行数据一致性检测。
若第二预设时间内验证失败的数据包的个数不小于预设阈值，则将重要级别值加1作为当前重要级别值，进行数据包抽取和验证，直到第二预设时间内验证失败的数据包的个数小于预设阈值，或当前检测周期结束。
本申请实施例中，M、N、P、Q、S1、S2、S3为大于0的整数。
这里的第二预设时间可以为1个小时，也可以根据具体应用进行配置。
若将重要级别值加1后值大于M+N+P，则使M+N+P作为重要级别值，进行数据包抽取和验证，即再次执行步骤103。
基于同样的发明构思，本申请还提出一种数据一致性检测装置。参见图2，图2为本申请实施例中应用于上述技术的装置结构示意图。该装置包括：配置单元201、确定单元202、和检测单元203；
配置单元201，用于配置映射表，所述映射表包括，按照承载业务的不同，为数据分配从1到M的连续的M个业务重要性值；按照数据吞吐量的大小，为数据分配从1到N的连续的N个数据负载值；按照发生异常和告警的数据量，为系统分配从1到P的连续的P个安全等级值；将数据包的大小映射为从1到Q的Q个连续映射值；
确定单元202，用于检测周期开始时，根据当前承载业务的类型在配置单元201中的映射表中查找到对应的业务重要性值S1；根据系统当前的吞吐量的大小，在映射表中查找到对应的数据负载值S2；根据在预设时间内发生异常和告警的数据量，在映射表中查找到对应的安全等级值S3；并确定当前检测数据一致性的重要级别值I为S1、S2和S3的和；
检测单元203，用于根据确定单元确定的I，将I/(M+N+P)作为抽样比例在数据接收端接收到的数据包中抽取数据包，并存储到检验样本池中；根据配置单元201配置的映射值，按照数据包的大小为检验样本池中每个数据包分配映射值；以IQ/(M+N+P)为数学期望，以随机整数分布函数生成随机数序列，在检验样本池中选取映射值与该序列中的随机数值相同的数据包，并对选取出的数据包进行验证；若第二预设时间内验证失败的数据包的个数小于预设阈值，则结束当前检测周期；其中，M、N、P、Q、S1、S2、S3为大于0的整数。
较佳地，
检测单元203，进一步用于若第二预设时间内验证失败的数据包的个数不小于预设阈值，则将重要级别值加1作为当前重要级别值，进行数据包抽取和验证，直到预设时间内验证失败的数据包的个数小于预设阈值，或当前检测周期结束。
较佳地，
检测单元203，进一步用于确定若将重要级别值加1后值大于M+N+P，则使M+N+P作为重要级别值，进行数据包抽取和验证。
上述实施例的单元可以集成于一体，也可以分离部署；可以合并为一个单元，也可以进一步拆分成多个子单元。
综上所述，本申请通过对系统传输的数据的一致性的重要级别进行评估，根据评估结果将部分数据包抽样到样本检测池中进行检验，不影响数据传输过程，且实现了差异性的数据一致性检测，可以有效降低系统的资源消耗。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (6)

1.一种数据一致性检测方法，其特征在于，该方法包括：
配置映射表，所述映射表包括：按照承载业务的不同，为数据分配从1到M的连续的M个业务重要性值；按照数据吞吐量的大小，为数据分配从1到N的连续的N个数据负载值；按照发生异常和告警的数据量，为系统分配从1到P的连续的P个安全等级值；
检测周期开始时，根据当前承载业务的类型在映射表中查找到对应的业务重要性值S1；根据系统当前的吞吐量的大小，在映射表中查找到对应的数据负载值S2；根据在第一预设时间内发生异常和告警的数据量，在映射表中查找到对应的安全等级值S3；
确定当前检测数据一致性的重要级别值I为S1、S2和S3的和；
将I/(M+N+P)作为抽样比例在数据接收端接收到的数据包中抽取数据包，并存储到检验样本池中；
将数据包的大小映射为从1到Q的Q个连续映射值，并按照数据包的大小为检验样本池中每个数据包分配映射值；
以IQ/(M+N+P)为数学期望，以随机整数分布函数生成随机数序列，在检验样本池中选取映射值与该序列中的随机数值相同的数据包，并对选取出的数据包进行验证；
若第二预设时间内验证失败的数据包的个数小于预设阈值，则结束当前检测周期，确定数据一致；其中，M、N、P、Q、S1、S2、S3为大于0的整数。
2.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：
若第二预设时间内验证失败的数据包的个数不小于预设阈值，则将重要级别值加1作为当前重要级别值，进行数据包抽取和验证，直到第二预设时间内验证失败的数据包的个数小于预设阈值，或当前检测周期结束。
3.根据权利要求2所述的方法，其特征在于，所述方法进一步包括：
若将重要级别值加1后值大于M+N+P，则使M+N+P作为重要级别值，进行数据包抽取和验证。
4.一种数据一致性检测装置，其特征在于，该装置包括：配置单元、确定单元、和检测单元；
所述配置单元，用于配置映射表，所述映射表包括，按照承载业务的不同，为数据分配从1到M的连续的M个业务重要性值；按照数据吞吐量的大小，为数据分配从1到N的连续的N个数据负载值；按照发生异常和告警的数据量，为系统分配从1到P的连续的P个安全等级值；将数据包的大小映射为从1到Q的Q个连续映射值；
所述确定单元，用于检测周期开始时，根据当前承载业务的类型在所述配置单元中的映射表中查找到对应的业务重要性值S1；根据系统当前的吞吐量的大小，在映射表中查找到对应的数据负载值S2；根据在第一预设时间内发生异常和告警的数据量，在映射表中查找到对应的安全等级值S3；并确定当前检测数据一致性的重要级别值I为S1、S2和S3的和；
所述检测单元，用于根据确定单元确定的I，将I/(M+N+P)作为抽样比例在数据接收端接收到的数据包中抽取数据包，并存储到检验样本池中；根据所述配置单元配置的映射值，按照数据包的大小为检验样本池中每个数据包分配映射值；以IQ/(M+N+P)为数学期望，以随机整数分布函数生成随机数序列，在检验样本池中选取映射值与该序列中的随机数值相同的数据包，并对选取出的数据包进行验证；若第二预设时间内验证失败的数据包的个数小于预设阈值，则结束当前检测周期；其中，M、N、P、Q、S1、S2、S3为大于0的整数。
5.根据权利要求4所述的装置，其特征在于，
所述检测单元，进一步用于若第二预设时间内验证失败的数据包的个数不小于预设阈值，则将重要级别值加1作为当前重要级别值，进行数据包抽取和验证，直到第二预设时间内验证失败的数据包的个数小于预设阈值，或当前检测周期结束。
6.根据权利要求5所述的装置，其特征在于，
所述检测单元，进一步用于确定若将重要级别值加1后值大于M+N+P，则使M+N+P作为重要级别值，进行数据包抽取和验证。
CN201710016676.3A 2017-01-10 2017-01-10 一种数据一致性检测方法和装置 Active CN108289043B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710016676.3A CN108289043B (zh) 2017-01-10 2017-01-10 一种数据一致性检测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710016676.3A CN108289043B (zh) 2017-01-10 2017-01-10 一种数据一致性检测方法和装置

Publications (2)

Publication Number Publication Date
CN108289043A CN108289043A (zh) 2018-07-17
CN108289043B true CN108289043B (zh) 2020-06-05

Family

ID=62819925

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710016676.3A Active CN108289043B (zh) 2017-01-10 2017-01-10 一种数据一致性检测方法和装置

Country Status (1)

Country Link
CN (1) CN108289043B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109669989A (zh) * 2018-12-29 2019-04-23 江苏满运软件科技有限公司 数据校验方法、系统、设备以及介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101083474B (zh) * 2006-05-30 2010-11-03 富士通株式会社 使用滤波模式对施加给信号的补偿进行调节的系统及方法
CN101286787A (zh) * 2007-04-11 2008-10-15 北京三星通信技术研究有限公司 传输同步信道的设备和方法
CN101848393B (zh) * 2010-06-08 2011-08-31 上海交通大学 可伸缩视频稀疏信息处理系统
US9785848B2 (en) * 2015-04-30 2017-10-10 Ge Healthcare Bio-Sciences Corp. Automated staining and segmentation quality control

Also Published As

Publication number Publication date
CN108289043A (zh) 2018-07-17

Similar Documents

Publication Publication Date Title
US6996500B2 (en) Method for communicating diagnostic data
CN105871947B (zh) 跨域请求数据的方法及装置
CN108075934A (zh) 一种网络质量监控方法、装置及系统
CN103716251A (zh) 用于内容分发网络的负载均衡方法及设备
HUE033374T2 (en) Distinction of installed devices from mobile devices in mobile broadband networks
CN108924005B (zh) 网络检测方法、网络检测装置、介质和设备
CN104050054B (zh) 安装包安装失败的处理方法及原因确定方法及装置
CN112491654A (zh) 一种性能测试方法、装置、电子设备及存储介质
CN108289043B (zh) 一种数据一致性检测方法和装置
CN107948022B (zh) 一种对等网络流量的识别方法及识别装置
CN114124773B (zh) 一种端口块地址转换的测试系统及方法
JP2007243459A (ja) トラヒック状態抽出装置及び方法ならびにコンピュータプログラム
CN104348815B (zh) 一种对验证码进行校验的方法及装置
CN112732560B (zh) 文件描述符泄露风险的检测方法及装置
CN103995901A (zh) 一种确定数据节点失效的方法
CN107124357A (zh) 一种云计算智能网关
CN103441894A (zh) 一种l2tp并发连接性能测试的方法及系统
CN108512698B (zh) 一种网络容灾方法、装置及电子设备
Akhtar et al. DBit: Assessing statistically significant differences in CDN performance
CN104518985A (zh) 一种分布式网络环境下服务节点的选择方法及终端
KR20140108378A (ko) 압축파일 악성코드 감염 여부 검사 시스템 및 압축파일 악성코드 감염 여부 검사 방법
CN109981386B (zh) 网络质量的测试方法、测试服务器和测试系统
CN109962820B (zh) 一种云平台的检测方法和检测平台
CN101702642A (zh) Sdh帧头的检测方法
CN107786357B (zh) 一种接口性能测试方法、装置及网络设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20211230

Address after: 100191 No. 40, Haidian District, Beijing, Xueyuan Road

Patentee after: CHINA ACADEMY OF INFORMATION AND COMMUNICATIONS

Address before: 100191 No. 52 Garden North Road, Beijing, Haidian District

Patentee before: CHINA ACADEME OF TELECOMMUNICATION RESEARCH OF MIIT