CN113055402B - 数据传输管控方法、装置、计算机设备及存储介质 - Google Patents

数据传输管控方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN113055402B
CN113055402B CN202110354601.2A CN202110354601A CN113055402B CN 113055402 B CN113055402 B CN 113055402B CN 202110354601 A CN202110354601 A CN 202110354601A CN 113055402 B CN113055402 B CN 113055402B
Authority
CN
China
Prior art keywords
data
strategy
transmission
management
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110354601.2A
Other languages
English (en)
Other versions
CN113055402A (zh
Inventor
刘新凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Hongtu Technology Co ltd
Original Assignee
Shenzhen Hongtu Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Hongtu Technology Co ltd filed Critical Shenzhen Hongtu Technology Co ltd
Priority to CN202110354601.2A priority Critical patent/CN113055402B/zh
Publication of CN113055402A publication Critical patent/CN113055402A/zh
Application granted granted Critical
Publication of CN113055402B publication Critical patent/CN113055402B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/30Network architectures or network communication protocols for network security for supporting lawful interception, monitoring or retaining of communications or communication related information
    • H04L63/306Network architectures or network communication protocols for network security for supporting lawful interception, monitoring or retaining of communications or communication related information intercepting packet switched data communications, e.g. Web, Internet or IMS communications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/04Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/20Network architectures or network communication protocols for network security for managing network security; network security policies in general

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Technology Law (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明涉及数据传输管控方法、装置、计算机设备及存储介质,该方法包括获取来自管理端的采集策略;根据采集策略采用开关模式设定实际采集策略;采用字节增强技术对访问数据进行拦截,以得到拦截的数据;根据实际采集策略对拦截的数据采集用户行为数据和应用传输数据,以得到目标数据;缓存目标数据;获取来自管理端的动态管理策略以及安全传输策略;根据动态管理策略以及安全传输策略传输目标数据。本发明实现可管控地采集用户行为数据和应用传输数据,且采集更全面、简单和灵活,效率高,维护成本低;采用基于网络状况的动态管理策略以及对通道和数据进行加密的安全传输策略对数据传输进行管控,实现保障数据传输过程的网络可用性以及避免信息泄露。

Description

数据传输管控方法、装置、计算机设备及存储介质
技术领域
本发明涉及计算机,更具体地说是指数据传输管控方法、装置、计算机设备及存储介质。
背景技术
在进行网络安全和数据安全管控时,需要对用户行为数据、应用传输数据进行大数据实时分析、安全分析、溯源分析以及取证等,因此,终端上传的用户行为数据和应用传输数据所采集的场景逐渐增多,需求也越发增大,除数据采集本身,如何将采集的大量数据通过网络传输并保障传输过程中网络的可用性及数据的安全性是一个挑战。
目前对于终端上传的用户行为数据和应用传输数据的采集以及通过网络传输包括三种方式,一种是使用预置的应用程序埋点或二次开发定点采集方案采集用户行为数据和应用传输数据,但这种方式需要针对每个指定的采集点都进行二次开发,开发及维护成本极高,因每次采集均需要涉及二次开发,修改代码并运行,对原有的业务存在入侵性;对数据采集的开关需要在代码上进行维护,且无法对数据采集的对象进行可交互式的动态配置和调节,如只采集指定用户、指定接口、指定应用服务的用户行为数据和应用传输数据,对于大规模采集的用户行为数据和应用传输数据,并无针对网络可用性及数据传输安全的技术手段和解决方案;第二种方式是通过解析网络流量采集用户行为数据和应用传输数据,这种方式对某些私有协议的流量和数据内容无法解析,网络流量分析因私有协议字段和标准未公开,因此无法进行流量解析和数据解析,也就无法解析出应用系统的应用接口和还原传输数据,对加密流量无法进行解析,因部署模式对可采集的应用传输数据范围受限,只能对用户访问的数据进行部分采集,对终端之间数据调用无法进行采集,使用部署的设备及部署模式即旁路部署和网络代理部署将提高网络架构的复杂度、提升网络运维的难度、降低故障排除的效率,并使整体网络的可靠性和可用性降低,且无法通过可交互式的数据采集策略对数据采集的对象进行管理和控制,如通过采集频率、数据内容等;还有一种方式是通过架设应用安全网关采集应用传输数据,这种方式对未纳入应用网关范围的应用无法进行采集,对纳入应用网关范围的也只能采集用户访问数据,对应用之间数据传输无法进行采集,需要对现有的应用系统架构进行调整,影响非常大,无法通过可交互式的数据采集策略对数据采集的对象进行管理和控制,如通过采集频率、数据内容等;第二种方式和第三种方式在终端的传输数据采集处理和传输时,因采集到的大量数据需要通过网络进行传输,此时网络可能会因大量数据的传输造成网络拥堵,轻则导致整个网络延迟抖动,重则造成网络瘫痪从而导致网络上延迟或不可用;数据在远程传输过程中,没有进行安全相关措施如加密处理,可能被劫持和获取,继而造成的后果是数据信息泄露。
综上所述,目前对用户行为数据和应用传输数据的采集和传输方式存在无法管控,采集复杂和不够灵活,效率低以及维护成本高,且在进行大量数据传输时容易出现网络延迟或不可用,且易发生信息泄露。
因此,有必要设计一种新的方法,实现可管控地采集用户行为数据和应用传输数据,且采集更全面、简单和灵活,效率高,维护成本低,保障数据传输过程的网络可用性以及避免信息泄露。
发明内容
本发明的目的在于克服现有技术的缺陷,提供数据传输管控方法、装置、计算机设备及存储介质。
为实现上述目的,本发明采用以下技术方案:数据传输管控方法,包括:
获取来自管理端的采集策略;
根据所述采集策略采用开关模式设定实际采集策略;
采用字节码增强技术对访问数据进行拦截,以得到拦截的数据;
根据所述实际采集策略对拦截的数据采集用户行为数据和应用传输数据,以得到目标数据;
缓存所述目标数据;
获取来自管理端的动态管理策略以及安全传输策略;
根据所述动态管理策略以及安全传输策略传输所述目标数据。
其进一步技术方案为:所述动态管理策略是指管理端根据不同的网络状态基线值设定数据的不同处理方式的规则。
其进一步技术方案为:所述获取来自管理端的动态管理策略以及安全传输策略,包括:
由管理端制定动态管理策略以及安全传输策略;
获取所述动态管理策略以及安全传输策略。
其进一步技术方案为:所述由管理端制定动态管理策略以及安全传输策略,包括:
由管理端获取网络状况,并计算网络状态基线值,利用所述网络状态基线值进行动态管理策略的制定;
由管理端设置安全传输策略的开关、通道加密策略以及数据加密策略,以形成安全传输策略。
其进一步技术方案为:所述由管理端获取网络状况,并计算网络状态基线值,利用所述网络状态基线值进行动态管理策略的制定,包括:
由管理端获取应用客户端的网络状态,以统计往返时延的相关数值;
由管理端设定动态管理策略的开关;
由管理端根据往返时延的相关数值进行网络状态基线的自学习,并对自学习的结果进行调整,以得到网络状态基线值;
由管理端利用所述网络状态基线值以及设定的动态管理策略的开关进行动态管理策略的制定。
其进一步技术方案为:所述根据所述动态管理策略以及安全传输策略传输所述目标数据,包括:
获取网络基线实时值;
根据所述网络基线实时值与所述动态管理策略确定传输方案;
根据所述安全传输策略以及传输方案对所述目标数据进行传输处理。
其进一步技术方案为:所述根据所述网络基线实时值与所述动态管理策略确定传输方案,包括:
将所述网络基线实时值与所述动态管理策略内的网络状态基线值进行比对,以得到比对结果;
根据所述比对结果确定所述动态管理策略内对应的处理方式,以得到传输方案。
本发明还提供了数据传输管控装置,包括:
策略获取单元,用于获取来自管理端的采集策略;
实际策略设定单元,用于根据所述采集策略采用开关模式设定实际采集策略;
拦截单元,用于采用字节码增强技术对访问数据进行拦截,以得到拦截的数据;
采集单元,用于根据所述实际采集策略对拦截的数据采集用户行为数据和应用传输数据,以得到目标数据;
缓存单元,用于缓存所述目标数据;
管控策略获取单元,用于获取来自管理端的动态管理策略以及安全传输策略;
传输单元,用于根据所述动态管理策略以及安全传输策略传输所述目标数据。
本发明还提供了一种计算机设备,所述计算机设备包括存储器及处理器,所述存储器上存储有计算机程序,所述处理器执行所述计算机程序时实现上述的方法。
本发明还提供了一种存储介质,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时可实现上述的方法。
本发明与现有技术相比的有益效果是:本发明通过在管理端设定数据的采集策略,并更新至应用客户端,由部署在应用服务器上的应用客户端采用开关模式结合采集策略生成实际采集策略,对特定接口的数据采用字节码增强技术进行拦截,并结合实际采集策略进行对应数据的采集,实现可管控地采集用户行为数据和应用传输数据,且采集更全面、简单和灵活,效率高,维护成本低;另外,在进行数据传输时,采用基于网络状况的动态管理策略以及对通道和数据进行加密的安全传输策略对数据传输进行管控,实现保障数据传输过程的网络可用性以及避免信息泄露。
下面结合附图和具体实施例对本发明作进一步描述。
附图说明
为了更清楚地说明本发明实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的数据传输管控方法的应用场景示意图;
图2为本发明实施例提供的数据传输管控方法的流程示意图;
图3为本发明实施例提供的数据传输管控方法的子流程示意图;
图4为本发明实施例提供的数据传输管控方法的子流程示意图;
图5为本发明实施例提供的数据传输管控装置的示意性框图;
图6为本发明实施例提供的数据传输管控装置的传输单元的示意性框图;
图7为本发明实施例提供的数据传输管控装置的方案确定子单元的示意性框图;
图8为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应当理解,当在本说明书和所附权利要求书中使用时,术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解,在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
请参阅图1和图2,图1为本发明实施例提供的数据传输管控方法的应用场景示意图。图2为本发明实施例提供的数据传输管控方法的示意性流程图。该数据传输管控在应用服务器上安装有agent,即应用客户端,应用客户端与管理端进行通讯,管理端使用专门的服务器,管理端与应用客户端会进行通讯和交互管理及进行数据交互,通过管理端内设置的采集策略,实时推给应用客户端,部署在应用服务器上的应用客户端结合内置的采集开关进行实际采集策略的设定,当有用户通过用户终端发起访问应用服务器的数据经过应用客户端的指定接口时,应用客户端采用字节码增强技术对数据进行拦截,并采用实际采集策略对拦截的数据进行采集,并对采集到的数据进行缓存,在进行目标数据传输时,由管理端下发动态管理策略以及安全传输策略给到应用客户端,管控数据传输,以确保传输时网络的可用性以及信息的防泄漏,其中,数据接收方可以为另一服务器或者终端等。
图2是本发明实施例提供的数据传输管控方法的流程示意图。如图2所示,该方法包括以下步骤S110至S170。
S110、获取来自管理端的采集策略。
采集策略包括基于用户标识配置进行数据采集、基于应用服务配置进行数据采集、基于应用接口进行数据采集、根据应用接口的字段进行数据采集、基于所配置的频率进行数据采集以及基于配置的单次数据采集量进行数据采集中至少一种数据采集方式。
相对于网络流量采集和应用网关部署采集受限于特定的网络区域和部署位置,采集范围受限,本实施例在部署时以客户端即应用客户端的方式在应用服务主机上进行部署,部署简单,采集范围不受限制,有统一管理的管理端对应用客户端进行统一的配置管理;在管理端可以基于应用服务、用户标识、应用接口、应用接口字段、采集频率、数据内容配置单个或组合数据采集策略进行用户行为数据和应用传输数据的采集,实现数据采集的可管控性,通过在管理端更改采集策略,便可更改应用客户端对数据采集的策略,以达到数据采集的可控性。可以快速的配置数据采集策略,无需进行定点数据采集开发,节约了人力,大大缩短开发周期,提升了工作和项目效率;无需埋点和二开的用户行为和应用传输数据采集,减少了应用的运行维护和对应用系统的影响,从而可以更多的保障应用的正常运行。在部署时以客户端的方式在应用服务主机上进行部署,有统一管理的管理端对应用客户端进行统一的配置管理;对应用系统架构无影响,对现有的网络架构无任何影响。
具体地,上述的基于用户标识配置进行数据采集的数据采集方式是指基于用户标识配置是否采集用户行为数据和应用传输数据,指定单个或多个或全部用户可以或不可以采集用户行为数据和应用传输数据,其中用户标识包括访问的用户账号、访问IP、访问mac、访问浏览器等。
基于应用服务配置进行数据采集的数据采集方式是指基于应用服务配置是否采集用户行为数据和应用传输数据,指定单个或多个或全部应用服务可以或不可以采集用户行为数据和应用传输数据。
基于应用接口进行数据采集的数据采集方式是指基于应用接口是否采集应用传输数据,指定单个或多个或全部应用接口可以或不可以采集用户行为数据和应用传输数据。
根据应用接口的字段进行数据采集的数据采集方式是指应用接口的字段配置是否采集用户行为数据和应用传输数据,主要通过接口名称上的接口字段进行控制,指定单个或多个或全部的应用接口字段可以或不可以采集用户行为数据和应用传输数据。
基于所配置的频率进行数据采集的数据采集方式是通过采集数据的时间周期进行控制。
基于配置的单次数据采集量进行数据采集的数据采集方式主要通过需要采集的数据条数进行控制。
以上的数据采集方式任意组合配置是否采集用户行为数据和应用传输数据,比如允许采集某个用户访问某个接口的行为数据或不允许采集指定或全部用户访问指定的某个应用服务的行为数据;由此形成采集策略。
S120、根据所述采集策略采用开关模式设定实际采集策略。
在本实施例中,实际采集策略是指实际用于采集数据的策略,结合了客户端所传输的采集策略以及设定的开关模式,由此组成的多种数据采集策略,且这些数据采集策略按照设定的优先级依序执行。
在本实施例中,所述开关模式包括基于应用服务设置数据采集的开关、基于用户标识设置数据采集的开关、基于应用接口设置数据采集的开关、基于应用接口的字段设置数据采集的开关中至少一种模式;所述开关模式还包括数据采集的周期阀值以及基于单次数据的采集量的过滤规则。
具体地,基于应用服务设置数据采集的开关的模式是指当状态为启用时,应用客户端将打开应用服务的数据采集功能,这是采集功能可以正常工作的前置条件;当状态为关闭时,应用客户端将关闭应用服务的采集功能,此应用服务下所有采集功能将全部被关闭。
基于用户标识设置数据采集的开关的模式是指当状态为启用时,应用客户端打开基于用户标识的数据采集功能;当状态为关闭时,应用客户端关闭基于用户标识的数据采集功能,但其它采集开关和数据采集不受影响,只是不再基于用户标识采集用户行为数据和应用传输数据。
基于应用接口设置数据采集的开关的模式是指当状态为启用时,默认对所有应用接口执行数据采集,也可以对指定接口的数据定义采集或不采集,其中指定接口可以是单个或多个或全部接口名称结合采集或不采集的标示;当状态为关闭时,默认将关闭基于此应用服务下的应用接口的数据采集功能,但可对指定接口如单个或多个或全部接口名称结合采集的标示的数据进行采集,此时其它采集开关和数据采集不受影响。
基于应用接口的字段设置数据采集的开关的模式指当状态为启用时,默认对所有接口和所有字段执行数据采集,对指定接口和指定字段如单个或多个或全部接口名称加上对应接口的字段名称以及不采集的标示的数据不进行采集;当状态为关闭时,将关闭基于应用接口字段的数据采集功能,但其它采集开关和数据采集不受影响,只是不再基于应用接口字段采集用户行为数据和应用传输数据,但对指定接口和指定字段如单个或多个或全部接口名称加上对应接口的字段名称以及采集的标示的数据进行采集,此时其它采集开关和数据采集不受影响。
数据采集的周期阀值是通过采集数据的时间周期计数对需要采集的数据进行控制,针对采集的数据主体为单个的应用服务、服务中的应用接口及接口字段;基于单次数据的采集量的过滤规则是针对单个的应用服务、服务中的应用接口及接口字段的数据条数抽取进行过滤,过滤时将采取前置数据抽取、后置数据抽取、随机抽取、从某个特定数据点进行数据抽取等方式进行过滤。
管理端与应用客户端建立双向的通讯通道,可以随时发送指令给应用客户端,应用客户端亦可根据指令执行并返回执行结果,应用客户端也可通过这个双向的通讯通道主动发送应用客户端的状态等信息给管理端。初始安装时,应用客户端与管理端建立通讯后,管理端可按照应用客户端群组或按照单个的应用客户端进行采集策略的推送,当数据采集策略有进行更新时,亦会实时进行策略推送,应用客户端针对接收到的数据策略,根据采集策略中的不同采集指令执行不同的数据采集逻辑,从而达到可管可控数据采集的功能。
S130、采用字节码增强技术对访问数据进行拦截,以得到拦截的数据。
在本实施例中,拦截的数据是指经过应用客户端的指定接口的数据。
具体地,在Java字节码生成之后,根据Java字节码中定义的规则,对已经生成的Java字节码在JVM加载时进行动态修改,增加增强功能的内容,以根据所述增强功能的内容对访问数据进行拦截,以得到拦截的数据。
使用字节码增强技术,在Java字节码生成之后,根据Java字节码中定义的规则,对已经生成的Java字节码在JVM(Java虚拟机,Java Virtual Machine)加载的时候,进行动态修改,增加需要的字段或者是方法函数、或者继承实现新的类和接口等。这些动态增加的字段、或者方法函数、或者继承实现新的类和接口,都是增强的功能,增强的功能主要是指对方法函数的请求参数和返回结果进行自动提取的功能。
在提取相关数据之前,首先确定所关心的数据在用户一次访问得过程中必定会经过类的方法函数。确定这些方法函数之后,通过字节码增强技术在这些方法函数的调用前和调用后采集数据的逻辑,此时可以根据实际的需求采集到所需要采集到的应用系统,上述的方法函数包括Object first=methond(String paramer)和/或Object second=first.methond(String paramer);
首先会将methond(String paramer)方法的主体内容抽取为一个方法名随机字符串的名称的函数中,比如sdfsdfsd(paramer);接着将methond(String paramer)方法修改为:
Figure GDA0003502983330000091
Figure GDA0003502983330000092
最后在bef或()和after()里面采集到的数据会存储在first对象中的某个变量中,这个变量是增强进去的。这样这个变量中的值就可以传递到first.methond(Stringparamer)中的bef或和after方法中,这样就能将用户的数据在一次访问的整个生命周期中串联起来。
在提取得数据中,有不同类型的数据、用户标识信息比如用户账号、IP、mac、浏览器等,用户访问时间、访问接口、访问结果、访问数据以及访问次数等,有协议字段及内容数据,如http和RPC(远程过程调用,Remote Procedure Call))协议字段名称、字段中对应的信息;有应用传输中访问时间、访问接口、访问协议、协议中所有字段、协议中所有字段所对应的内容、传输的所有请求数据以及传输的所有响应数据、数据库名称、数据库IP、数据库端口、数据库类别等,这些数据都是分散在用户访问过程中的不同地方,通过上述的方法函数,可以将这些数据汇聚在一起并汇聚到任何的数据接入方,也就是采用字节码增强技术将所有的数据进行拦截汇集。
当用户访问和任务调度的访问数据流和接口调用经过应用客户端的Agent时,应用客户端将使用字节码增强技术对流经的数据进行拦截,基于字节码增强技术中获取的也是应用层协议解析后的传输数据,因此无需对协议进行解析和进行内容还原,所以在采集数据时不受加密协议和私有协议的影响。无需埋点和二开的用户行为数据和应用传输数据采集,减少了应用的运行维护和对应用系统的影响,从而可以更多的保障应用的正常运行;对应用系统架构无影响,对现有的网络架构无任何影响。
S140、根据所述实际采集策略对拦截的数据采集用户行为数据和应用传输数据,以得到目标数据。
在本实施例中,目标数据是指采用特定的策略对拦截的数据进行用户行为数据和应用传输数据的筛选和提取所得到的结果。
在本实施例中,根据所述实际采集策略内不同的数据采集逻辑以及预设的联动机制对拦截的数据采集用户行为数据和应用传输数据;其中,不同的数据采集逻辑按照设定的优先级执行数据采集。
上述的用户行为数据包括用户标识(如用户账号、访问IP、访问mac、访问浏览器等)、采集时间、用户的访问行为、访问接口、访问次数数据条数以及访问数据量等。上述的传输数据包括用户标识、访问时间、访问接口、访问协议、协议中所有字段、协议中所有字段所对应的内容、传输的所有请求数据以及传输的所有响应数据、数据库名称、数据库IP、数据库端口、数据库类别等。
所能采集的用户行为数据范围为所有基于JVM运行的应用,可采集的用户行为数据为用户标识;采集时间;用户的访问行为如访问那个服务、访问那个应用接口、其它自定义用户行为事件;访问次数;访问数据量等;可采集的传输数据为用户标识、数据传输的时间、访问接口、协议字段及内容如提取的http和RPC(远程过程调用,Remote ProcedureCall)协议字段名称和对应的字段内容、传输的请求数据、传输的响应数据等。
在本实施例中,上述的优先级为:
当多条策略执行时按照优先级由高到低进行处理,从高到低按照基于应用服务配置进行数据采集的数据采集方式、基于所配置的频率进行数据采集的数据采集方式、基于配置的单次数据采集量进行数据采集的数据采集方式、基于应用接口进行数据采集的数据采集方式、根据应用接口的字段进行数据采集的数据采集方式、基于用户标识配置进行数据采集的数据采集方式进行处理。
当多条策略发生冲突时,按照高优先级处理,从高到低按照基于应用服务配置进行数据采集的数据采集方式、基于所配置的频率进行数据采集的数据采集方式、基于配置的单次数据采集量进行数据采集的数据采集方式、基于应用接口进行数据采集的数据采集方式、根据应用接口的字段进行数据采集的数据采集方式、基于用户标识配置进行数据采集的数据采集方式进行处理。
当执行的数据采集策略逻辑出现问题时,应用客户端将不执行数据采集指令,返回失败结果至管理端。
相对预置埋点和定点二开,本实施例可采集的数据更全面,采集时只需简单配置,因而使得用户行为数据和应用传输数据的采集变得更简单和更灵活。
S150、缓存所述目标数据。
在本实施例中,序列化后的数据即目标数据在传输前写入到数据缓存区,从而对目标数据进行缓存,
S160、获取来自管理端的动态管理策略以及安全传输策略。
在本实施例中,所述动态管理策略是指管理端根据不同的网络状态基线值设定数据的不同处理方式的规则。
安全传输策略是指在进行数据传输时对传输通道进行加密以及所需要传输的数据进行加密,且这些加密过程可通过开关设定是否执行的规则。
具体地,由管理端制定动态管理策略以及安全传输策略;获取所述动态管理策略以及安全传输策略。
由管理端制定动态管理策略以及安全传输策略,可包括以下步骤:
由管理端获取网络状况,并计算网络状态基线值,利用所述网络状态基线值进行动态管理策略的制定;由管理端设置安全传输策略的开关、通道加密策略以及数据加密策略,以形成安全传输策略。
其中,由管理端获取网络状况,并计算网络状态基线值,利用所述网络状态基线值进行动态管理策略的制定,可包括以下步骤一至步骤四。
步骤一、由管理端获取应用客户端的网络状态,以统计往返时延的相关数值;
在数据传输前,管理端将通过PING(因特网包探索器,Packet Internet Groper)技术对网络状况进行探测,包括探测主机选择,管理端按照应用客户端所属网段,自动在每个/24的网段中随机选择5-10台应用客户端;PING机制自动设置,对其发送ICMP ECHO_REQUEST,发送周期为1秒一次,连续5次。PING命令会向指定的网络主机发送特殊网络数据报IMCP ECHO_REQUEST。多数网络设备收到该数据包后会做出回应,通过此法即可验证网络连接是否正常;数据采集,对所有PING返回的RRT(往返时延,Round-Trip Time)的最小值/最大值/平均值进行采集,并区分网段;数据统计:按天并以每半个小时统计出每个网段的RRT的最小值/最大值/平均值,由此形成往返时延的相关数值。
步骤二、由管理端设定动态管理策略的开关;设置保障网络可用性的动态管理策略的开关,可以根据需要进行开启和关闭,默认动态管理策略的开关将被打开。
步骤三、由管理端根据往返时延的相关数值进行网络状态基线的自学习,并对自学习的结果进行调整,以得到网络状态基线值。
在本实施例中,网络状态基线值是指网络状态的相关数值,包括用于表征网络状况的使用正常值、安全值、可用值、风险值;网络状态基线是指网络状态的所有阈值。
对于网络状态基线的自学习,是根据返回RRT统计的数据,不断学习到每个网段的每个时间段的RRT的最小值/最大值/平均值,其RRT的最小值和最大值均在不断调整,平均值亦在发生变化,由此确定趋于平均值稳定的RRT的最小值和最大值。
根据一直学习到的RRT的最小值/最大值/平均值,定义网络状态基线值,基于网络和时间维度定义网络状态基线值,其中,网络可以是单个网段或者整个网络。当基于单个网段和时间维度定义网络状态基线值时,可基于单个网段和每半个小时进行时间维度设定网络状态基线值,网络状态基线值包括使用正常值、安全值、可用值、风险值,这些数值可并按照下算法进行动态值范围调整,对于使用正常值而言,获取前一天同一时间段按照半小时的时间周期正常值的基线范围值,如前一天同一时间段正常值的基线范围值为(2ms,10ms);计算当天时间段的正常值范围=当天单个网段单次的RRT最小值之和/RRT的统计次数,如上述例子计算出来的范围值为(3ms,15ms);定义正常值基线范围,正常值的基线范围定为(取前一天范围值的最小值和实时计算的最低范围值中的最小值,取前一天范围值的最大值和实时计算的最大范围值的平均值),以上示例,则此时的正常值基线范围为(2ms,12.5ms),按照上述算法反复循环计算使用正常值。计算安全值时,按照半小时的时间周期,获取前一天同一时间段的安全值的基线范围值,如前一天同一时间段安全值的基线范围值为(11ms,20ms),计算当天时间段的安全值范围=(当天单个网段单次的RRT平均值之和)/RRT的统计次数,如计算出来的范围值为(10ms,15ms);定义安全值基线范围,安全值的基线范围定为(取正常值的最大值,取前一天范围值的最大值和实时计算的最大范围值的平均值),以上示例,则此时的安全值基线范围为(12.5ms,17.5ms);按照此步骤和算法反复循环计算安全值。计算可用值时,按照半小时的时间周期,获取前一天同一时间段可用值的基线范围值,如前一天同一时间段实时可用值的基线范围值为(20ms,40ms);计算当天时间段的可用值范围=(当天单个网段单次的RRT最高值之和)/RRT的统计次数,如计算出来的范围值为(30ms,40ms);定义可用值基线范围,可用值的基线范围定为(取安全值的最大值,取前一天可用值范围值的最大值和实时计算的最大范围值的平均值),以上示例,则此时的可用值基线范围为(17.5ms,40ms),按照此步骤和算法反复循环计算可用值。在计算风险值时,主要是计算风险阀值,第一种为人工指定风险值阀值,如直接指定风险值阀值为150ms;第二种为动态计算,取前一天的风险值阀值和实时计算的可用值范围中的最高值的平均值,由此确定风险阀值。
当基于整个网段和时间维度定义网络状态基线值时,具体是基于整个网络和每半个小时进行时间维度设定网络状态基线值,网络状态基线值包括使用正常值、安全值、可用值、风险值,这些数值可并按照下算法进行动态值范围调整,对于使用正常值而言,按照半小时的时间周期,获取前一天同一时间段正常值的基线范围值,如前一天同一时间段正常值的基线范围值为(2ms,10ms);计算当天时间段的正常值范围=(当天整个网络单次的RRT最小值之和)/RRT的统计次数,如计算出来的范围值为(3ms,15ms),定义正常值基线范围,正常值的基线范围定为(取前一天范围值的最小值和实时计算的最低范围值中的最小值,取前一天范围值的最大值和实时计算的最大范围值的平均值),以上示例,则此时的正常值基线范围为(2ms,12.5ms),由此循环计算使用正常值。对于安全值而言,按照半小时的时间周期获取前一天同一时间段安全值的基线范围值,如前一天同一时间段安全值的基线范围值为(11ms,20ms);计算当天时间段的安全值范围=(当天整个网络单次的RRT平均值之和)/RRT的统计次数,如计算出来的范围值为(10ms,15ms);定义安全值基线范围,安全值的基线范围定为(取正常值的最大值,取前一天范围值的最大值和实时计算的最大范围值的平均值),以上示例,则此时的安全值基线范围为(12.5ms,17.5ms),由此循环计算安全值。对于可用值而言,按照半小时的时间周期,获取前一天同一时间段可用值的基线范围值,如前一天同一时间段实时可用值的基线范围值为(20ms,40ms);计算当天时间段的可用值范围=(当天整个网络单次的RRT最高值之和)/RRT的统计次数,如计算出来的范围值为(30ms,40ms);定义可用值基线范围,安全值的基线范围定为(取安全值的最大值,取前一天可用值范围值的最大值和实时计算的最大范围值的平均值),以上示例,则此时的可用值基线范围为(17.5ms,40ms),由此循环计算可用值。对于风险值而言,实则是计算风险阀值,第一种为人工指定风险值阀值,如直接指定风险值阀值为150ms;第二种为动态计算,取前一天的风险值阀值和实时计算的可用值范围中的最高值的平均值,由此动态计算风险值。
步骤四、由管理端利用所述网络状态基线值以及设定的动态管理策略的开关进行动态管理策略的制定。
当网络基线实时值计算完成后,管理端将自动加载到动态管理策略中,并按照已经定义的策略下发机制进行推送,动态管理策略如下:
网络基线实时值为动态管理策略的正常值和安全值范围,不执行数据压缩操作;
网络基线实时值为动态管理策略的可用值范围,执行数据压缩操作;
网络基线实时值为动态管理策略的风险阀值之上,丢弃数据。
动态管理策略在下发后如果没有更新,则不再实时下发,但会针对实时的网络基线值进行实时下发。具体地,动态管理策略可基于单个网段或全网下发:
单个网段下发是指针对单个网段中的应用客户端实时下发网络状态基线值。
全网下发是是指针对整个网络中的应用客户端实时下发网络状态基线值。
设置动态管理策略是为了保障数据传输时网络可用性,具体是为了采集的数据在传输时尽可能的不对网络造成拥堵,不会因为大量数据在网络中传输造成网络延迟严重从而导致网络中的应用延迟增大或不可用,以实现数据传输时网络可用性的保障机制,进而防止网络拥堵。
设置安全传输策略是为了数据传输时安全性保障,以确保数据在传输过程中数据不被劫持和获取,避免造成信息泄露。
对于由管理端设置安全传输策略的开关、通道加密策略以及数据加密策略,以形成安全传输策略,在设置安全传输策略的开关时,可以根据需要进行开启和关闭,默认策略管理的开关将被打开。通道加密策略的设置时,使用https协议和TLS1.2进行数据传输通道的加密,其中密钥交换使用RSA(RSA加密算法,RSA algorithm)非对称加密算法,信息加密使用3DES(三重数据加密算法,Triple DES)或AES(高级加密标准,Advanced EncryptionStandard)对称加密算法,验证数据完整性使用HMAC-SHA1、HMAC-SHA256等哈希算法。如公司已有CA证书,则使用已有的CA证书,如尚无CA证书,则签发证书使用。对于数据加密策略的配置而言,针对指定的应用接口或指定应用接口上的接口字段传输的数据进行加密,默认情况下不针对特定数据进行加密,具体的配置项如下:指定的应用接口则可指定需要加密的应用接口名称,可选多个;指定的应用接口字段,则可指定需要加密的应用接口字段,需首先指定应用接口,然后再指定应用接口下的具体字段名称,可选多个应用接口字段,包括一个应用接口下的多个接口字段,多个应用接口下的多个接口字段;选择加密算法,一般选择对称加密算法,可选项为3DES,AES128,AES256;根据指定应用客户端推送安全传输策略,或者,对所有应用客户端推送安全传输策略。
S170、根据所述动态管理策略以及安全传输策略传输所述目标数据。
在一实施例中,请参阅图3,上述的步骤S170可包括步骤S171~S173。
S171、获取网络基线实时值。
在本实施例中,网络基线实时值是指表征应用客户端的网络状况的往返时延值。
S172、根据所述网络基线实时值与所述动态管理策略确定传输方案。
在本实施例中,传输方案是指网络基线实时值与动态管理策略内的规则相匹配的数据处理方案。
在一实施例中,请参阅图4,上述的步骤S172可包括步骤S1721~S1722。
S1721、将所述网络基线实时值与所述动态管理策略内的网络状态基线值进行比对,以得到比对结果。
在本实施例中,比对结果是指网络基线实时值落入在动态管理策略内的网络状态基线值的哪一范围内。
S1722、根据所述比对结果确定所述动态管理策略内对应的处理方式,以得到传输方案。
当网络基线实时值在正常值和安全值范围内,直接发送目标数据,不执行目标数据压缩操作。
当网络基线实时值在可用值范围内,发送数据前先执行目标数据压缩,目标数据压缩采用的压缩技术为市场上通用且成熟的压缩技术,如Gzip、lzo等压缩技术,此处不再赘述。
当网络基线实时值在风险值之上,执行目标数据丢失处理或其它的处理机制。
S173、根据所述安全传输策略以及传输方案对所述目标数据进行传输处理。
当应用客户端获取安全传输策略后,将确认安全传输策略的开关是否为打开,并确认使用传输通道加密还是数据内容加密,再根据安全传输策略中具体的策略配置进行匹配,匹配成功即执行安全传输策略,并利用传输方案对目标数据的传输;数据传输控制将从数据缓存中抽取目标数据,经过防网络拥堵的机制、数据传输过滤规则及安全传输的机制后将数据传输给数据接收方。保障数据传输时网络的可用性,保障了网络中的应用可用,保障数据安全传输的安全性。
上述的数据传输管控方法,通过在管理端设定数据的采集策略,并更新至应用客户端,由应用客户端采用开关模式结合采集策略生成实际采集策略,对特定接口的数据采用字节码增强技术进行拦截,并结合实际采集策略进行对应数据的采集,实现可管控地采集用户行为数据和应用传输数据,且采集更全面、简单和灵活,效率高,维护成本低;另外,在进行数据传输时,采用基于网络状况的动态管理策略以及对通道和数据进行加密的安全传输策略对数据传输进行管控,实现保障数据传输过程的网络可用性以及避免信息泄露。
图5是本发明实施例提供的一种数据传输管控装置300的示意性框图。如图5所示,对应于以上数据传输管控方法,本发明还提供一种数据传输管控装置300。该数据传输管控装置300包括用于执行上述数据传输管控方法的单元,该装置可以被配置于服务器中。具体地,请参阅图5,该数据传输管控装置300包括策略获取单元301、实际策略设定单元302、拦截单元303、采集单元304、缓存单元305、管控策略获取单元306以及传输单元307。
策略获取单元301,用于获取来自管理端的采集策略;实际策略设定单元302,用于根据所述采集策略采用开关模式设定实际采集策略;拦截单元303,用于采用字节码增强技术对访问数据进行拦截,以得到拦截的数据;采集单元304,用于根据所述实际采集策略对拦截的数据采集用户行为数据和应用传输数据,以得到目标数据;缓存单元305,用于缓存所述目标数据;管控策略获取单元306,用于获取来自管理端的动态管理策略以及安全传输策略;传输单元307,用于根据所述动态管理策略以及安全传输策略传输所述目标数据。
具体地,管控策略获取单元306,用于由管理端制定动态管理策略以及安全传输策略;获取所述动态管理策略以及安全传输策略。
其中,由管理端制定动态管理策略以及安全传输策略,包括:由管理端获取网络状况,并计算网络状态基线值,利用所述网络状态基线值进行动态管理策略的制定;由管理端设置安全传输策略的开关、通道加密策略以及数据加密策略,以形成安全传输策略。
所述由管理端获取网络状况,并计算网络状态基线值,利用所述网络状态基线值进行动态管理策略的制定,包括:由管理端获取应用客户端的网络状态,以统计往返时延的相关数值;由管理端设定动态管理策略的开关;由管理端根据往返时延的相关数值进行网络状态基线的自学习,并对自学习的结果进行调整,以得到网络状态基线值;由管理端利用所述网络状态基线值以及设定的动态管理策略的开关进行动态管理策略的制定。
在一实施例中,如图6所示,所述传输单元307包括实时值获取子单元3071、方案确定子单元3072以及处理单子元3073。
实时值获取子单元3071,用于获取网络基线实时值;方案确定子单元3072,用于根据所述网络基线实时值与所述动态管理策略确定传输方案;处理单子元3073,用于根据所述安全传输策略以及传输方案对所述目标数据进行传输处理。
在一实施例中,如图7所示,所述方案确定子单元3072包括比对模块30721以及方式确定模块30722。
比对模块30721,用于将所述网络基线实时值与所述动态管理策略内的网络状态基线值进行比对,以得到比对结果;方式确定模块30722,用于根据所述比对结果确定所述动态管理策略内对应的处理方式,以得到传输方案。
需要说明的是,所属领域的技术人员可以清楚地了解到,上述数据传输管控装置300和各单元的具体实现过程,可以参考前述方法实施例中的相应描述,为了描述的方便和简洁,在此不再赘述。
上述数据传输管控装置300可以实现为一种计算机程序的形式,该计算机程序可以在如图8所示的计算机设备上运行。
请参阅图8,图8是本申请实施例提供的一种计算机设备的示意性框图。该计算机设备500可以是服务器。
参阅图8,该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505,其中,存储器可以包括非易失性存储介质503和内存储器504。
该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032包括程序指令,该程序指令被执行时,可使得处理器502执行一种数据传输管控方法。
该处理器502用于提供计算和控制能力,以支撑整个计算机设备500的运行。
该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境,该计算机程序5032被处理器502执行时,可使得处理器502执行一种数据传输管控方法。
该网络接口505用于与其它设备进行网络通信。本领域技术人员可以理解,图8中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备500的限定,具体的计算机设备500可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
其中,所述处理器502用于运行存储在存储器中的计算机程序5032,以实现如下步骤:
获取来自管理端的采集策略;根据所述采集策略采用开关模式设定实际采集策略;采用字节码增强技术对访问数据进行拦截,以得到拦截的数据;根据所述实际采集策略对拦截的数据采集用户行为数据和应用传输数据,以得到目标数据;缓存所述目标数据;获取来自管理端的动态管理策略以及安全传输策略;根据所述动态管理策略以及安全传输策略传输所述目标数据。
其中,所述动态管理策略是指管理端根据不同的网络状态基线值设定数据的不同处理方式的规则。
在一实施例中,处理器502在实现所述获取来自管理端的动态管理策略以及安全传输策略步骤时,具体实现如下步骤:
由管理端制定动态管理策略以及安全传输策略;获取所述动态管理策略以及安全传输策略。
在一实施例中,处理器502在实现所述由管理端制定动态管理策略以及安全传输策略步骤时,具体实现如下步骤:
由管理端获取网络状况,并计算网络状态基线值,利用所述网络状态基线值进行动态管理策略的制定;由管理端设置安全传输策略的开关、通道加密策略以及数据加密策略,以形成安全传输策略。
在一实施例中,处理器502在实现所述由管理端获取网络状况,并计算网络状态基线值,利用所述网络状态基线值进行动态管理策略的制定步骤时,具体实现如下步骤:
由管理端获取应用客户端的网络状态,以统计往返时延的相关数值;由管理端设定动态管理策略的开关;由管理端根据往返时延的相关数值进行网络状态基线的自学习,并对自学习的结果进行调整,以得到网络状态基线值;由管理端利用所述网络状态基线值以及设定的动态管理策略的开关进行动态管理策略的制定。
在一实施例中,处理器502在实现所述根据所述动态管理策略以及安全传输策略传输所述目标数据步骤时,具体实现如下步骤:
获取网络基线实时值;根据所述网络基线实时值与所述动态管理策略确定传输方案;根据所述安全传输策略以及传输方案对所述目标数据进行传输处理。
在一实施例中,处理器502在实现所述根据所述网络基线实时值与所述动态管理策略确定传输方案步骤时,具体实现如下步骤:
将所述网络基线实时值与所述动态管理策略内的网络状态基线值进行比对,以得到比对结果;根据所述比对结果确定所述动态管理策略内对应的处理方式,以得到传输方案。
应当理解,在本申请实施例中,处理器502可以是中央处理单元(CentralProcessing Unit,CPU),该处理器502还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中,通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令,计算机程序可存储于一存储介质中,该存储介质为计算机可读存储介质。该程序指令被该计算机系统中的至少一个处理器执行,以实现上述方法的实施例的流程步骤。
因此,本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序,其中该计算机程序被处理器执行时使处理器执行如下步骤:
获取来自管理端的采集策略;根据所述采集策略采用开关模式设定实际采集策略;采用字节码增强技术对访问数据进行拦截,以得到拦截的数据;根据所述实际采集策略对拦截的数据采集用户行为数据和应用传输数据,以得到目标数据;缓存所述目标数据;获取来自管理端的动态管理策略以及安全传输策略;根据所述动态管理策略以及安全传输策略传输所述目标数据。
其中,所述动态管理策略是指管理端根据不同的网络状态基线值设定数据的不同处理方式的规则。
在一实施例中,所述处理器在执行所述计算机程序而实现所述获取来自管理端的动态管理策略以及安全传输策略步骤时,具体实现如下步骤:
由管理端制定动态管理策略以及安全传输策略;获取所述动态管理策略以及安全传输策略。
在一实施例中,所述处理器在执行所述计算机程序而实现所述由管理端制定动态管理策略以及安全传输策略步骤时,具体实现如下步骤:
由管理端获取网络状况,并计算网络状态基线值,利用所述网络状态基线值进行动态管理策略的制定;由管理端设置安全传输策略的开关、通道加密策略以及数据加密策略,以形成安全传输策略。
在一实施例中,所述处理器在执行所述计算机程序而实现所述由管理端获取网络状况,并计算网络状态基线值,利用所述网络状态基线值进行动态管理策略的制定步骤时,具体实现如下步骤:
由管理端获取应用客户端的网络状态,以统计往返时延的相关数值;由管理端设定动态管理策略的开关;由管理端根据往返时延的相关数值进行网络状态基线的自学习,并对自学习的结果进行调整,以得到网络状态基线值;由管理端利用所述网络状态基线值以及设定的动态管理策略的开关进行动态管理策略的制定。
在一实施例中,所述处理器在执行所述计算机程序而实现所述根据所述动态管理策略以及安全传输策略传输所述目标数据步骤时,具体实现如下步骤:
获取网络基线实时值;根据所述网络基线实时值与所述动态管理策略确定传输方案;根据所述安全传输策略以及传输方案对所述目标数据进行传输处理。
在一实施例中,所述处理器在执行所述计算机程序而实现所述根据所述网络基线实时值与所述动态管理策略确定传输方案步骤时,具体实现如下步骤:
将所述网络基线实时值与所述动态管理策略内的网络状态基线值进行比对,以得到比对结果;根据所述比对结果确定所述动态管理策略内对应的处理方式,以得到传输方案。
所述存储介质可以是U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的。例如,各个单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以是两个或两个以上单元集成在一个单元中。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分,或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,终端,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。

Claims (9)

1.数据传输管控方法,其特征在于,包括:
获取来自管理端的采集策略;通过部署在服务主机上的应用客户端获取来自管理端的采集策略;
根据所述采集策略采用开关模式设定实际采集策略;
采用字节码增强技术对访问数据进行拦截,以得到拦截的数据;
根据所述实际采集策略对拦截的数据采集用户行为数据和应用传输数据,以得到目标数据;
缓存所述目标数据;
获取来自管理端的动态管理策略以及安全传输策略;所述动态管理策略是指管理端根据不同的网络状态基线值设定数据的不同处理方式的规则;
根据所述动态管理策略以及安全传输策略传输所述目标数据。
2.根据权利要求1所述的数据传输管控方法,其特征在于,所述获取来自管理端的动态管理策略以及安全传输策略,包括:
由管理端制定动态管理策略以及安全传输策略;
获取所述动态管理策略以及安全传输策略。
3.根据权利要求2所述的数据传输管控方法,其特征在于,所述由管理端制定动态管理策略以及安全传输策略,包括:
由管理端获取网络状况,并计算网络状态基线值,利用所述网络状态基线值进行动态管理策略的制定;
由管理端设置安全传输策略的开关、通道加密策略以及数据加密策略,以形成安全传输策略。
4.根据权利要求3所述的数据传输管控方法,其特征在于,所述由管理端获取网络状况,并计算网络状态基线值,利用所述网络状态基线值进行动态管理策略的制定,包括:
由管理端获取应用客户端的网络状态,以统计往返时延的相关数值;
由管理端设定动态管理策略的开关;
由管理端根据往返时延的相关数值进行网络状态基线的自学习,并对自学习的结果进行调整,以得到网络状态基线值;
由管理端利用所述网络状态基线值以及设定的动态管理策略的开关进行动态管理策略的制定。
5.根据权利要求4所述的数据传输管控方法,其特征在于,所述根据所述动态管理策略以及安全传输策略传输所述目标数据,包括:
获取网络基线实时值;
根据所述网络基线实时值与所述动态管理策略确定传输方案;
根据所述安全传输策略以及传输方案对所述目标数据进行传输处理。
6.根据权利要求5所述的数据传输管控方法,其特征在于,所述根据所述网络基线实时值与所述动态管理策略确定传输方案,包括:
将所述网络基线实时值与所述动态管理策略内的网络状态基线值进行比对,以得到比对结果;
根据所述比对结果确定所述动态管理策略内对应的处理方式,以得到传输方案。
7.数据传输管控装置,其特征在于,包括:
策略获取单元,用于获取来自管理端的采集策略;通过部署在服务主机上的应用客户端获取来自管理端的采集策略;
实际策略设定单元,用于根据所述采集策略采用开关模式设定实际采集策略;
拦截单元,用于采用字节码增强技术对访问数据进行拦截,以得到拦截的数据;
采集单元,用于根据所述实际采集策略对拦截的数据采集用户行为数据和应用传输数据,以得到目标数据;
缓存单元,用于缓存所述目标数据;
管控策略获取单元,用于获取来自管理端的动态管理策略以及安全传输策略;所述动态管理策略是指管理端根据不同的网络状态基线值设定数据的不同处理方式的规则;
传输单元,用于根据所述动态管理策略以及安全传输策略传输所述目标数据。
8.一种计算机设备,其特征在于,所述计算机设备包括存储器及处理器,所述存储器上存储有计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至6中任一项所述的方法。
9.一种存储介质,其特征在于,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时可实现如权利要求1至6中任一项所述的方法。
CN202110354601.2A 2021-03-30 2021-03-30 数据传输管控方法、装置、计算机设备及存储介质 Active CN113055402B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110354601.2A CN113055402B (zh) 2021-03-30 2021-03-30 数据传输管控方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110354601.2A CN113055402B (zh) 2021-03-30 2021-03-30 数据传输管控方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN113055402A CN113055402A (zh) 2021-06-29
CN113055402B true CN113055402B (zh) 2022-04-12

Family

ID=76517060

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110354601.2A Active CN113055402B (zh) 2021-03-30 2021-03-30 数据传输管控方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN113055402B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116561825B (zh) * 2023-07-12 2023-09-26 北京亿赛通科技发展有限责任公司 数据安全管控方法、装置及计算机设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105871520A (zh) * 2015-12-31 2016-08-17 乐视网信息技术(北京)股份有限公司 数据传输方法及装置
CN111447170A (zh) * 2019-01-17 2020-07-24 北京京东尚科信息技术有限公司 数据处理方法及其系统、计算机系统及计算机可读介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107888550B (zh) * 2016-09-30 2021-06-01 腾讯科技(深圳)有限公司 性能指标数据采集方法和装置、策略发送方法和装置
CN110073301A (zh) * 2017-08-02 2019-07-30 强力物联网投资组合2016有限公司 工业物联网中具有大数据集的数据收集环境下的检测方法和系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105871520A (zh) * 2015-12-31 2016-08-17 乐视网信息技术(北京)股份有限公司 数据传输方法及装置
CN111447170A (zh) * 2019-01-17 2020-07-24 北京京东尚科信息技术有限公司 数据处理方法及其系统、计算机系统及计算机可读介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"无限传感网中基于时变多旅行商和遗传算法的多目标数据采集策略";俸皓等;《通信学报》;20170325;第38卷(第3期);第113-122页 *

Also Published As

Publication number Publication date
CN113055402A (zh) 2021-06-29

Similar Documents

Publication Publication Date Title
US10355949B2 (en) Behavioral network intelligence system and method thereof
US20110019574A1 (en) Technique for classifying network traffic and for validating a mechanism for classifying network traffic
Jansen et al. Throttling tor bandwidth parasites
CN107645478B (zh) 网络攻击防御系统、方法及装置
US8826437B2 (en) Intelligent system and method for mitigating cyber attacks in critical systems through controlling latency of messages in a communications network
CN105939350B (zh) 网络访问控制方法和系统
JP2019134484A (ja) アクセス要求を規制するシステムおよび方法
CN111628967A (zh) 日志数据的传输方法、装置、计算机设备和存储介质
KR101250899B1 (ko) 응용계층 분산 서비스 거부 공격 탐지 및 차단 장치 및 그 방법
CA3159619A1 (en) Packet processing method and apparatus, device, and computer-readable storage medium
CN113055402B (zh) 数据传输管控方法、装置、计算机设备及存储介质
CN114826754A (zh) 一种不同网络间的通信方法及系统、存储介质、电子装置
US8463921B2 (en) Method and system for controlling a computer application program
CN107528837B (zh) 加密视频识别方法及装置、计算机装置、可读存储介质
CN113079048A (zh) 数据采集方法、装置、计算机设备及存储介质
CN114205169B (zh) 网络安全防御方法、装置及系统
US11184407B2 (en) Lawful interception security
US20120210125A1 (en) Encrypted traffic test system
CN112995049B (zh) 应用加速方法、用户侧网络设备和系统
Beitollahi et al. A four-steptechnique fortackling ddos attacks
CN115280724A (zh) 用于处理数据异常的方法,特别是在机动车辆中
CN115398429A (zh) 用于处理数据异常的方法,特别是在机动车辆中
Sabzi et al. NetShaper: A Differentially Private Network Side-Channel Mitigation System
CN113032221A (zh) 数据采集和传输方法、装置、计算机设备及存储介质
JP6101525B2 (ja) 通信制御装置、通信制御方法、通信制御プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Room 1706, 17 / F, Saixi science and technology building, No. 3398, Binhai Avenue, Binhai community, Yuehai street, Nanshan District, Shenzhen, Guangdong 518000

Applicant after: Shenzhen Hongtu Technology Co.,Ltd.

Address before: Room 1706, 17 / F, Saixi science and technology building, No. 3398, Binhai Avenue, Binhai community, Yuehai street, Nanshan District, Shenzhen, Guangdong 518000

Applicant before: Shenzhen Hongtu chuangcheng Technology Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant