CN102457519A - 自适应协议采样方法及装置 - Google Patents

自适应协议采样方法及装置 Download PDF

Info

Publication number
CN102457519A
CN102457519A CN201110322152XA CN201110322152A CN102457519A CN 102457519 A CN102457519 A CN 102457519A CN 201110322152X A CN201110322152X A CN 201110322152XA CN 201110322152 A CN201110322152 A CN 201110322152A CN 102457519 A CN102457519 A CN 102457519A
Authority
CN
China
Prior art keywords
width
sampling
priority
data
host
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201110322152XA
Other languages
English (en)
Other versions
CN102457519B (zh
Inventor
邱勇良
刘静
肖新光
杨祖明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ahtech network Safe Technology Ltd
Original Assignee
Beijing Antiy Electronic Equipment Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Antiy Electronic Equipment Co Ltd filed Critical Beijing Antiy Electronic Equipment Co Ltd
Priority to CN201110322152.XA priority Critical patent/CN102457519B/zh
Publication of CN102457519A publication Critical patent/CN102457519A/zh
Application granted granted Critical
Publication of CN102457519B publication Critical patent/CN102457519B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Computer And Data Communications (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提供了一种自适应协议采样方法及装置，所述的方法为：根据病毒传播使用的传输协议类型分布，预设传输协议优先级，每一优先级对应一优先级列表；检测采样设备性能参数，确定采样宽度；接收并解析数据包，获取数据包的传输协议类型；确定数据包优先级，根据对应的优先级列表及采样宽度，确定数据包采样率；根据采样率采集数据包中的数据；将采集到的数据发送到数据处理部分。所述的装置包括：配置单元、检测单元、数据接收单元、分析单元、数据采集单元和发送单元。本发明在处理海量数据时，通过协议类型确定的优先级，丢弃重要程度低的数据，在保证了设备性能的同时，又保证了处理的结果。

Description

自适应协议采样方法及装置
技术领域
本发明涉及数据传输领域，特别涉及一种自适应协议采样方法及装置。
背景技术
随着互联网的高速发展，通过互联网传输的数据也成指数级增长，网络数据处理设备对数据的处理速度依赖于设备的性能，数据处理结果更同样受设备性能、处理性能和网络数据的影响。目前，网络数据处理设备不可避免的问题是海量数据的处理，对所接收到的数据进行全部处理，无一遗漏可以保证获得精确的处理结果，但需要较高的硬件投入，否则设备将面临无法正常工作的情况。
发明内容
本发明提供了一种自适应协议采样方法及装置，解决了在数据处理设备遇到海量数据时，设备不能正常工作的难题。
一种自适应协议采样方法，包括：
根据病毒传播使用的传输协议类型分布，预设传输协议的优先级，每一优先级对应一优先级列表，用于标识传输协议的采样宽度；
检测采样设备性能参数，确定采样宽度；
接收并解析数据包，获取数据包的传输协议类型；
确定数据包传输协议的优先级，根据对应的优先级列表及采样宽度，确定数据包采样率；
根据采样率采集数据包中的数据；
将采集到的数据发送到数据处理部分。
所述的方法中，所述的优先级列表的宽度与预设的优先级数量一致。
所述的方法中，所述的优先级列表宽度中，每一宽度对应一采样标识位，用于标识当前优先级传输协议是否被采样。
所述的方法中，所述的采样设备性能参数至少包括：CPU使用率或网卡数据丢包率；
所述的检测采样设备性能参数，确定采样宽度为，预设固定检测间隔时间，检测采样设备性能参数，根据预设的设备性能参数与采样宽度的对应关系，确定采样宽度。
所述的方法中，所述的数据包采集率为采集标识位中标识被采样的宽度与采样宽度的比值。
一种自适应协议采样装置，包括：
配置单元，用于存储根据病毒传播使用的传输协议类型分布，预设的传输协议的优先级，每一优先级对应一优先级列表，用于标识传输协议的采样宽度；
检测单元，用于检测采样设备性能参数，确定采样宽度；
数据接收单元，用于接收并解析数据包，获取数据包的传输协议类型；
分析单元，用于根据数据接收单元获取的传输协议类型，确定数据包传输协议的优先级，根据对应的优先级列表及采样宽度，确定数据包采样率；
数据采集单元，用于根据采样率采集数据包中的数据；
发送单元，用于将采集到的数据发送到数据处理部分。
所述的装置中，所述的优先级列表的宽度与预设的优先级数量一致。
所述的装置中，所述的优先级列表宽度中，每一宽度对应一采样标识位，用于标识当前优先级传输协议是否被采样。
所述的装置中，所述的采样设备性能参数至少包括：CPU使用率或网卡数据丢包率；
所述的检测采样设备性能参数，确定采样宽度为，预设固定检测间隔时间，检测采样设备性能参数，根据预设的设备性能参数与采样宽度的对应关系，确定采样宽度。
所述的装置中，所述的数据包采集率为采集标识位中标识被采样的宽度与采样宽度的比值。
本发明提供了一种自适应协议采样方法及装置，所述的方法为：根据病毒传播使用的传输协议类型分布，预设传输协议优先级，每一优先级对应一优先级列表；检测采样设备性能参数，确定采样宽度；接收并解析数据包，获取数据包的传输协议类型；确定数据包优先级，根据对应的优先级列表及采样宽度，确定数据包采样率；根据采样率采集数据包中的数据；将采集到的数据发送到数据处理部分。所述的装置包括：配置单元、检测单元、数据接收单元、分析单元、数据采集单元和发送单元。本发明在处理海量数据时，通过协议类型确定的优先级，能够在不影响数据处理整体结果的前提下，根据采样设备性能，自动调节采样率，丢弃重要程度低的数据，在保证了设备性能的同时，又保证了处理的结果。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为自适应协议采样方法流程图；
图2为自适应协议采样方法示例优先级列表；
图3为自适应协议采样装置结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明实施例中的技术方案，并使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明中技术方案作进一步详细的说明。
本发明提供了一种自适应协议采样方法及装置，解决了在数据处理设备遇到海量数据时，设备不能正常工作的难题。
一种自适应协议采样方法，如图1所示，包括：
S101：根据病毒传播使用的传输协议类型分布，预设传输协议的优先级，每一优先级对应一优先级列表，用于标识传输协议的采样宽度；
S102：检测采样设备性能参数，确定采样宽度；
S103：接收并解析数据包，获取数据包的传输协议类型；
S104：确定数据包传输协议的优先级，根据对应的优先级列表及采样宽度，确定数据包采样率；
S105：根据采样率采集数据包中的数据；
S106：将采集到的数据发送到数据处理部分。
所述的方法中，所述的优先级列表的宽度与预设的优先级数量一致。例如当优先级共分为10级时，优先级列表宽度为10。
所述的方法中，所述的优先级列表宽度中，每一宽度对应一采样标识位，用于标识当前优先级传输协议是否被采样。例如，用1表示当前优先级传输协议被采样，0表示当前优先级传输协议不被采样，采样标识位为1的个数与优先级别数相同，优先级10为最高优先级，则优先级为10的优先级列表为1111111111，或优先级为9的优先级列表为1111111110，以此类推。
所述的方法中，所述的采样设备性能参数至少包括：CPU使用率或网卡数据丢包率；
所述的检测采样设备性能参数，确定采样宽度为，预设固定检测间隔时间，检测采样设备性能参数，根据预设的设备性能参数与采样宽度的对应关系，确定采样宽度。例如，预设每隔1分钟检测一次设备性能参数，当设备性能高时，采样宽度减小，否则采样宽度增大。
所述的方法中，所述的数据包采集率为采集标识位中标识被采样的宽度与采样宽度的比值。
为更好的理解优先级、优先级列表、采样宽度与设备性能参数之间的关系，列举实例进行说明，但该实例并不限制本方法的使用范围。
假定根据病毒传输所使用的传输协议类型分布，将不同协议类型的优先级共分为10级，优先级由高到低一次为10~1,10级具有最高优先级；
根据优先级数量，优先级列表宽度为10，由于最高优先级的传输协议类型被病毒传输所使用的频率最高，因此优先级列表中，采样标识位标记当前优先级被采样的标记越多；预设标识为1表示被采样，标识为0表示不被采样，因此，优先级列表如图2所示；
检测采样设备性能参数，如CPU使用率，当CPU使用率为20%时，根据预设的设备性能参数与采样宽度的对应关系，确定采样宽度为2，即优先级列表的前两位；
接收数据包后，判断数据包的优先级，若优先级为10，计算采样率，采集标识位中标识当前优先级传输协议被采样的宽度为2，采样宽度为2，因此采样率为100%；若优先级为1，计算采样率，采集标识位中标识被采样的宽度为1，采样宽度为2，因此采样率为50%；
如果CPU的使用率过高，如80%，则根据预设的设备性能参数与采样宽度的对应关系，确定采样宽度为8，即优先级列表的前8位；
接收数据包后，判断数据包的优先级，若优先级为10，计算采样率，采集标识位中标识被采样的宽度为8，采样宽度为8，因此采样率为100%；若优先级为5，计算采样率，采集标识位中标识被采样的宽度为5，采样宽度为8，因此采样率为62.5%；若优先级为1，计算采样率，采集标识位中标识被采样的宽度为1，采样宽度为8，因此采样率为12.5%；由此可看出，本实施例中采样设备性能越低，采样宽度越宽，采集到的数据越少；
根据不同情况下的采样率采集数据包中的数据，并将数据发送给后续数据处理部分。
通过对设备性能的检测，在设备性能达到上限之前，应用本发明的自适应协议采样方法及时对需要处理的数据量做调整，及时缓解了设备性能达到上限造成的处理能力不足甚至假死，在保持设备稳定可用的同时，保证了后续处理结果的可靠性。
一种自适应协议采样装置，如图3所示，包括：
配置单元301，用于存储根据病毒传播使用的传输协议类型分布，预设的传输协议的优先级，每一优先级对应一优先级列表，用于标识传输协议的采样宽度；
检测单元302，用于检测采样设备性能参数，确定采样宽度；
数据接收单元303，用于接收并解析数据包，获取数据包的传输协议类型；
分析单元304，用于根据数据接收单元303获取的传输协议类型，确定数据包传输协议的优先级，根据对应的优先级列表及采样宽度，确定数据包采样率；
数据采集单元305，用于根据采样率采集数据包中的数据；
发送单元306，用于将采集到的数据发送到数据处理部分。
所述的装置中，所述的优先级列表的宽度与预设的优先级数量一致。
所述的装置中，所述的优先级列表的宽度中，每一宽度对应一采样标识位，用于标识当前优先级传输协议是否被采样。
所述的装置中，所述的采样设备性能参数至少包括：CPU使用率或网卡数据丢包率；
所述的检测采样设备性能参数，确定采样宽度为，预设固定检测间隔时间，检测采样设备性能参数，根据预设的设备性能参数与采样宽度的对应关系，确定采样宽度。
所述的装置中，所述的数据包采集率为采集标识位中标识被采样的宽度与采样宽度的比值。
本发明提供了一种自适应协议采样方法及装置，所述的方法为：根据病毒传播使用的传输协议类型分布，预设传输协议优先级，每一优先级对应一优先级列表；检测采样设备性能参数，确定采样宽度；接收并解析数据包，获取数据包的传输协议类型；确定数据包优先级，根据对应的优先级列表及采样宽度，确定数据包采样率；根据采样率采集数据包中的数据；将采集到的数据发送到数据处理部分。所述的装置包括：配置单元、检测单元、数据接收单元、分析单元、数据采集单元和发送单元。本发明在处理海量数据时，通过协议类型确定的优先级，能够在不影响数据处理整体结果的前提下，根据采样设备性能，自动调节采样率，丢弃重要程度低的数据，在保证了设备性能的同时，又保证了处理的结果。
虽然通过实施例描绘了本发明，本领域普通技术人员知道，本发明有许多变形和变化而不脱离本发明的精神，希望所附的权利要求包括这些变形和变化而不脱离本发明的精神。

Claims (10)

1.一种自适应协议采样方法，其特征在于，包括：
根据病毒传播使用的传输协议类型分布，预设传输协议的优先级，每一优先级对应一优先级列表，用于标识传输协议的采样宽度；
检测采样设备性能参数，确定采样宽度；
接收并解析数据包，获取数据包的传输协议类型；
确定数据包传输协议的优先级，根据对应的优先级列表及采样宽度，确定数据包采样率；
根据采样率采集数据包中的数据；
将采集到的数据发送到数据处理部分。
2.如权利要求1所述的方法，其特征在于，所述的优先级列表的宽度与预设的优先级数量一致。
3.如权利要求2所述的方法，其特征在于，所述的优先级列表的宽度中，每一宽度对应一采样标识位，用于标识当前优先级传输协议是否被采样。
4.如权利要求1所述的方法，其特征在于，所述的采样设备性能参数至少包括：CPU使用率或网卡数据丢包率；
所述的检测采样设备性能参数，确定采样宽度为，预设固定检测间隔时间，检测采样设备性能参数，根据预设的设备性能参数与采样宽度的对应关系，确定采样宽度。
5.如权利要求1或3所述的方法，其特征在于，所述的数据包采集率为采集标识位中标识被采样的宽度与采样宽度的比值。
6.一种自适应协议采样装置，其特征在于，包括：
配置单元，用于存储根据病毒传播使用的传输协议类型分布，预设的传输协议的优先级，每一优先级对应一优先级列表，用于标识传输协议的采样宽度；
检测单元，用于检测采样设备性能参数，确定采样宽度；
数据接收单元，用于接收并解析数据包，获取数据包的传输协议类型；
分析单元，用于根据数据接收单元获取的传输协议类型，确定数据包传输协议的优先级，根据对应的优先级列表及采样宽度，确定数据包采样率；
数据采集单元，用于根据采样率采集数据包中的数据；
发送单元，用于将采集到的数据发送到数据处理部分。
7.如权利要求6所述的装置，其特征在于，所述的优先级列表的宽度与预设的优先级数量一致。
8.如权利要求7所述的装置，其特征在于，所述的优先级列表宽度中，每一宽度对应一采样标识位，用于标识当前优先级传输协议是否被采样。
9.如权利要求6所述的装置，其特征在于，所述的采样设备性能参数至少包括：CPU使用率或网卡数据丢包率；
所述的检测采样设备性能参数，确定采样宽度为，预设固定检测间隔时间，检测采样设备性能参数，根据预设的设备性能参数与采样宽度的对应关系，确定采样宽度。
10.如权利要求6或8所述的装置，其特征在于，所述的数据包采集率为采集标识位中标识被采样的宽度与采样宽度的比值。
CN201110322152.XA 2011-10-21 2011-10-21 自适应协议采样方法及装置 Active CN102457519B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201110322152.XA CN102457519B (zh) 2011-10-21 2011-10-21 自适应协议采样方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110322152.XA CN102457519B (zh) 2011-10-21 2011-10-21 自适应协议采样方法及装置

Publications (2)

Publication Number Publication Date
CN102457519A true CN102457519A (zh) 2012-05-16
CN102457519B CN102457519B (zh) 2015-07-29

Family

ID=46040178

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110322152.XA Active CN102457519B (zh) 2011-10-21 2011-10-21 自适应协议采样方法及装置

Country Status (1)

Country Link
CN (1) CN102457519B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102929961A (zh) * 2012-10-10 2013-02-13 北京锐安科技有限公司 基于构建快速数据分级通道的数据处理方法及其装置
CN115150174A (zh) * 2022-07-06 2022-10-04 北京神州慧安科技有限公司 一种工业安全隔离交换方法和系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101247327A (zh) * 2007-12-07 2008-08-20 中国人民解放军理工大学 利用长流检测实现无线自组织网络的动态资源预留的方法
US20100124182A1 (en) * 2008-11-17 2010-05-20 Icu Research And Industrial Cooperation Group Method and Apparatus for Classifying Traffic at Transport Layer

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101247327A (zh) * 2007-12-07 2008-08-20 中国人民解放军理工大学 利用长流检测实现无线自组织网络的动态资源预留的方法
US20100124182A1 (en) * 2008-11-17 2010-05-20 Icu Research And Industrial Cooperation Group Method and Apparatus for Classifying Traffic at Transport Layer

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102929961A (zh) * 2012-10-10 2013-02-13 北京锐安科技有限公司 基于构建快速数据分级通道的数据处理方法及其装置
CN102929961B (zh) * 2012-10-10 2016-12-21 北京锐安科技有限公司 基于构建快速数据分级通道的数据处理方法及其装置
CN115150174A (zh) * 2022-07-06 2022-10-04 北京神州慧安科技有限公司 一种工业安全隔离交换方法和系统

Also Published As

Publication number Publication date
CN102457519B (zh) 2015-07-29

Similar Documents

Publication Publication Date Title
CN104488231B (zh) 用于有选择地监视流量的方法、设备和系统
EP2755416B1 (en) Method and apparatus for remotely locating wireless network fault
EP2042960A3 (en) Adjustment of data collection rate based on anomaly detection
CN103326893A (zh) 一种极限测速的方法
CN102083009A (zh) 数据信息发送方法及装置
CN103780663A (zh) 一种终端外设的远程管理方法、装置和系统
CN102497297A (zh) 基于多核多线程的深度报文检测技术的实现系统和方法
CN102457519A (zh) 自适应协议采样方法及装置
MX2013012303A (es) Control de amplitud en entorno de carga variable.
CN104113467A (zh) 虚拟桌面系统及其消息数据的发送方法
CN103312540A (zh) 用户业务需求参数确定方法和装置
CN102685155B (zh) 内容传送的方法、内容传送服务器及内容传送代理服务器
CN108289165B (zh) 一种基于手机控制相机的实现方法、装置及终端设备
CN102664773A (zh) 一种网络流量的探测方法和探测装置
CN103581158A (zh) 一种语音数据的处理方法及系统
CN102519859B (zh) 基于单片机在线检测系统的打孔水松纸透气度的显示方法
CN209803613U (zh) 一种塑料机械设备监控装置和系统
JP6418638B2 (ja) 通信識別方法および装置
CN204423419U (zh) 一种多功能信息管理系统
CN105141930A (zh) 一种优化桌面监控图像质量的监控方法和系统
CN107395441A (zh) 一种检测网络丢包状况的方法
CN105099742A (zh) 一种采集数据的方法、装置、系统及终端
CN108107782A (zh) 一种用于电力能源采集设备的自控并发数据采集方法
CN114363209B (zh) 基于tcp网络的性能探测方法、装置、设备和存储介质
CN105337784A (zh) 一种丢包测试方法，测试装置和系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C53 Correction of patent of invention or patent application
CB02 Change of applicant information

Address after: 100190 Haidian District City, Zhongguancun, the main street, No. 1 Hailong building, room 1415, room 14

Applicant after: Beijing Antiy Electronic Installation Co., Ltd.

Address before: 100084, 2B-521, bright city, No. 1, Nongda South Road, Beijing, Haidian District

Applicant before: Beijing Antiy Electronic Installation Co., Ltd.

C14 Grant of patent or utility model
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: 100190 Beijing city Haidian District minzhuang Road No. 3, Tsinghua Science Park Building 1 Yuquan Huigu a

Patentee after: Beijing ahtech network Safe Technology Ltd

Address before: 100190 Haidian District City, Zhongguancun, the main street, No. 1 Hailong building, room 1415, room 14

Patentee before: Beijing Antiy Electronic Installation Co., Ltd.

PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Adaptive protocol sampling method and device

Effective date of registration: 20170821

Granted publication date: 20150729

Pledgee: CITIC Bank Harbin branch

Pledgor: Beijing ahtech network Safe Technology Ltd

Registration number: 2017990000776

PE01 Entry into force of the registration of the contract for pledge of patent right
PC01 Cancellation of the registration of the contract for pledge of patent right

Date of cancellation: 20180817

Granted publication date: 20150729

Pledgee: CITIC Bank Harbin branch

Pledgor: Beijing ahtech network Safe Technology Ltd

Registration number: 2017990000776

PC01 Cancellation of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Adaptive protocol sampling method and device

Effective date of registration: 20180817

Granted publication date: 20150729

Pledgee: CITIC Bank Harbin branch

Pledgor: Beijing ahtech network Safe Technology Ltd

Registration number: 2018990000700

PE01 Entry into force of the registration of the contract for pledge of patent right
PC01 Cancellation of the registration of the contract for pledge of patent right

Date of cancellation: 20191021

Granted publication date: 20150729

Pledgee: CITIC Bank Harbin branch

Pledgor: Beijing ahtech network Safe Technology Ltd

Registration number: 2018990000700

PC01 Cancellation of the registration of the contract for pledge of patent right