CN110365633B - 通信流量控制方法、装置、计算机设备及存储介质 - Google Patents
通信流量控制方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN110365633B CN110365633B CN201910432184.1A CN201910432184A CN110365633B CN 110365633 B CN110365633 B CN 110365633B CN 201910432184 A CN201910432184 A CN 201910432184A CN 110365633 B CN110365633 B CN 110365633B
- Authority
- CN
- China
- Prior art keywords
- communication data
- proxy server
- communication
- editing
- editing result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/08—Protocols for interworking; Protocol conversion
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Information Transfer Between Computers (AREA)
- Computer And Data Communications (AREA)
Abstract
本申请实施例属于软件研发领域,涉及一种通信流量控制方法、装置、计算机设备及存储介质,方法包括:通过代理服务器获取通信数据,所述通信数据包括HTTP或HTTPS数据包;通过预置的规则模块对所述通信数据进行解析,得到所有的特征字段,并显示到预置的可编辑网页上以供编辑人员进行编辑;获取所述可编辑网页返回的编辑结果,根据所述编辑结果对所述通信数据进行重新构造,其中,所述编辑结果包括有效性和/或安全性的编辑;对重新构造后的通信数据进行放行。通过代理服务器获取通信数据,解析通信数据并通过可编辑的网页进行显示和编辑,可以避免安装配置抓包工具带来的问题并方便多人同时查看和编辑通信数据,从而控制通信流量。
Description
技术领域
本申请涉及软件研发技术领域,尤其涉及通信流量控制方法、装置、计算机设备及存储介质。
背景技术
近年来,基于HTTP或HTTPS协议的Web应用在所有网络应用中所占的比例越来越高,各个公司、组织和个人都会开发自己的网站。在网站开发的过程中,需要大量的数据来测试网站的各个功能模块和接口,特别是今天大多数人都使用移动设备如手机等来访问网站,因此移动端的通信数据的获取尤为重要。但现有技术中,手机端HTTP或HTTPS通信流量捕获需要把抓包工具如fiddler、Charles等安装到PC电脑上,整个抓包过程需要手机端和电脑进行配合;并且由于PC电脑操作系统和抓包工具版本等差异,需要做特殊配置和改动,非常麻烦,也容易出现抓包问题;而且,抓包工具抓到的数据,只能在该装有抓包工具的电脑上查看,不便于多人协作和控制通信流量。
发明内容
本申请实施例的目的在于提出一种通信流量控制方法、装置、计算机设备及存储介质,以方便控制通信流量。
为了解决上述技术问题,本申请实施例提供一种通信流量控制方法,包括下述步骤:
通过代理服务器获取通信数据,所述通信数据包括HTTP超文本传输协议数据包或HTTPS超文本传输安全协议数据包;
通过预置的规则模块对所述通信数据进行解析,得到所有的特征字段,并显示到预置的可编辑网页上以供编辑人员进行编辑;
获取所述可编辑网页返回的编辑结果,根据所述编辑结果对所述通信数据进行重新构造,其中,所述编辑结果包括有效性和/或安全性的编辑;
对重新构造后的通信数据进行放行。
为了解决上述技术问题,本申请实施例还提供一种通信流量控制装置,采用了如下所述的技术方案:
所述通信流量控制装置,包括:
获取模块,用于通过代理服务器获取通信数据,所述通信数据包括HTTP超文本传输协议数据包或HTTPS超文本传输安全协议数据包;
解析模块,用于通过预置的规则模块对所述通信数据进行解析,得到所有的特征字段,并显示到预置的可编辑网页上以供编辑人员进行编辑;
重构模块,用于获取所述可编辑网页返回的编辑结果,根据所述编辑结果对所述通信数据进行重新构造,其中,所述编辑结果包括有效性和/或安全性的编辑;
放行模块,用于对重新构造后的通信数据进行放行。
为了解决上述技术问题,本申请实施例还提供一种计算机设备,采用了如下所述的技术方案:
所述计算机设备,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器执行所述计算机程序时实现本申请实施例中提出的任一项所述的通信流量控制方法的步骤。
为了解决上述技术问题,本申请实施例还提供一种计算机可读存储介质,采用了如下所述的技术方案:
所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现本申请实施例中提出的任一项所述的通信流量控制方法的步骤。
与现有技术相比,本申请实施例主要有以下有益效果:通过代理服务器获取通信数据,所述通信数据包括HTTP超文本传输协议数据包或HTTPS超文本传输安全协议数据包;通过预置的规则模块对所述通信数据进行解析,得到所有的特征字段,并显示到预置的可编辑网页上以供编辑人员进行编辑;获取所述可编辑网页返回的编辑结果,根据所述编辑结果对所述通信数据进行重新构造,其中,所述编辑结果包括有效性和/或安全性的编辑;对重新构造后的通信数据进行放行。通过代理服务器获取通信数据,使用预置的规则模块解析通信数据并通过可编辑的网页进行显示和编辑,可以避免安装配置抓包工具带来的问题并方便多人同时查看和编辑通信数据,从而控制通信流量。
附图说明
为了更清楚地说明本申请中的方案,下面将对本申请实施例描述中所需要使用的附图作一个简单介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请可以应用于其中的示例性系统架构图;
图2根据本申请的通信流量控制方法的一个实施例的流程图;
图3是图2中步骤201之前还可以执行的步骤的一种具体实施方式的流程图;
图4是图2中步骤202的一种具体实施方式的流程图;
图5是图4中步骤403的一种具体实施方式的流程图;
图6是图2中步骤203的一种具体实施方式的流程图;
图7是图2中步骤203的另一种具体实施方式的流程图;
图8是图2中步骤204的一种具体实施方式的流程图;
图9是根据本申请的通信流量控制装置的一个实施例的结构示意图;
图10是图9所示解析模块902一种具体实施方式的结构示意图;
图11是图10所示显示子模块9023一种具体实施方式的结构示意图;
图12是图9所示重构模块903一种具体实施方式的结构示意图;
图13是图9所示放行模块904一种具体实施方式的结构示意图;
图14是根据本申请的计算机设备的一个实施例的结构示意图。
具体实施方式
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同;本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本申请;本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形,意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
为了使本技术领域的人员更好地理解本申请方案,下面将结合附图,对本申请实施例中的技术方案进行清楚、完整地描述。
如图1所示,系统架构100可以包括终端设备101、102、103,网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互,以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用,例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture ExpertsGroup Audio Layer III,动态影像专家压缩标准音频层面3)、MP4(Moving PictureExperts Group Audio Layer IV,动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器,例如对终端设备101、102、103上显示的页面提供支持的后台服务器。
需要说明的是,本申请实施例所提供的通信流量控制方法一般由服务器执行,相应地,通信流量控制装置一般设置于服务器中。
应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
继续参考图2,示出了根据本申请的通信流量控制的方法的一个实施例的流程图。所述的通信流量控制方法,包括以下步骤:
步骤201,通过代理服务器获取通信数据,所述通信数据包括HTTP超文本传输协议数据包或HTTPS超文本传输安全协议数据包。
在本实施例中,通信流量控制方法运行于其上的电子设备(例如图1所示的服务器)可以通过有线连接方式或者无线连接方式接收如图1所示的终端设备的请求数据或来自另一台服务器的响应数据。需要指出的是,上述无线连接方式可以包括但不限于3G/4G连接、WiFi连接、蓝牙连接、WiMAX连接、Zigbee连接、UWB(ultra wideband)连接、以及其他现在已知或将来开发的无线连接方式。
其中,上述代理服务器是介于客户端(上述系统架构中的各种终端设备的web应用程序)和Web服务器之间的另一台服务器,通过它,客户端浏览器不是直接到Web服务器去请求网页而是向代理服务器发出请求,请求信息会先送到代理服务器,然后由代理服务器去向后台Web服务器请求浏览器所需要的信息并传送给浏览器。
例如,要访问的目的网站是A,由于某种原因不能直接访问到网站A或者不想让其直接访问目的网站A,又或者想要拦截通信数据,此时就可以使用代理服务器,但是需要先在客户端浏览器(手机、电脑或者其他电子设备)上做相应的配置(写入代理服务器的IP地址和端口),指向代理服务器;在实际访问网站A的时候,在客户端浏览器的地址栏内输入和以前一样的网址,浏览器会自动先访问代理服务器,然后代理服务器会自动转接到目标网站A。
步骤202,通过预置的规则模块对所述通信数据进行解析,得到所有的特征字段,并显示到预置的可编辑网页上以供编辑人员进行编辑。
在本实施例中,可以先将上述获取到的数据缓存下来,然后开启一个或多个进程或线程,调用上述的预置的规则模块程序去同步解析上述通信数据。例如,可以根据HTTP超文本传输协议或HTTPS超文本传输安全协议报文的格式来分析,一个HTTP或HTTPS报文的数据部分(报文负载)一般包括通用(general)部分和报文头(request headers或者responseheaders),通用部分又包括Request URL(请求的统一资源定位符)、Request Method(请求方式)、Status Code(状态码)、Remote Address(远程地址)等字段,例如,如果解析报文的通用部分的请求方式method字段得到对应的值如果是GET、POST等,则该数据为HTTP或HTTPS请求数据,报文头则为request headers;然后将通用部分和报文头的所有字段提取出来并显示到预置的可编辑网页上,以供多个开发测试人员同时进行查看或者编辑上述特征字段。
步骤203,获取所述可编辑网页返回的编辑结果,根据所述编辑结果对所述通信数据进行重新构造,其中,所述编辑结果包括有效性和/或安全性的编辑。
上述代理服务器获取到的通信数据(请求或响应数据)可能无效或不安全,如请求的资源不存在或请求方式不对,又或者请求或回应的数据有一定威胁性,需要做进一步的分析和编辑修改,以符合一定的规则或需求,进而达到控制通信过程的目的。
在本实施例中,开发测试人员可依据一定的规则或需求,例如对通信数据的安全性要求较高和/或需要检查请求数据的有效性,可以在上述可编辑的预先编写好的前端网页页面上编辑上述通信数据的特征字段以及对应的值以满足需求,然后通过相应的后端程序可以获取到上述编辑后的特征字段及对应的值,也就是上述编辑结果;最后基于上述编辑结果构造新的通信数据,即根据HTTP或HTTPS的报文格式重新组织上述编辑后的特征字段,再加上上述代理服务器的一些配置信息(如网络地址和端口等)构成新的通信数据。
步骤204,对重新构造后的通信数据进行放行。
在本实施例中,在步骤203中,对上述通信数据进行有效性和/或安全性编辑后,并加上上述代理服务器的配置信息,得到新的满足需求的通信数据,然后调用上述代理服务器的网络接口程序将上述重新构造后的通信数据发送到上述通信数据报文中的目的地址,可以包括上述系统架构中的终端设备或后台web服务器。
需要说明的是,本申请实施例提供的通信流量控制方法可以应用于通信流量控制设备,例如:计算机、服务器、工作站等可以进行通信流量控制的设备。
在本实施例中,通过代理服务器获取通信数据,所述通信数据包括HTTP超文本传输协议数据包或HTTPS超文本传输安全协议数据包;通过预置的规则模块对所述通信数据进行解析,得到所有的特征字段,并显示到预置的可编辑网页上以供编辑人员进行编辑;获取所述可编辑网页返回的编辑结果,根据所述编辑结果对所述通信数据进行重新构造,其中,所述编辑结果包括有效性和/或安全性的编辑;对重新构造后的通信数据进行放行。通过代理服务器获取通信数据,使用预置的规则模块解析通信数据并通过可编辑的网页进行显示和编辑,可以避免安装配置抓包工具带来的问题并方便多人同时查看和编辑通信数据,从而控制通信流量。
在本实施例的一些可选的实现方式中,如图3所示,在步骤201之前,上述电子设备还可以执行以下步骤:
步骤301,从本地服务器或网络服务器获取预先设置的所述代理服务器的配置文件,所述配置文件包括所述代理服务器的网络地址信息和端口信息。
其中,上述配置文件为上述代理服务器的配置文件,包括代理服务器的网络地址(IP)信息和端口(PORT)信息;该配置文件可以以文件的形式存放于代理服务器本地的文件系统或数据库中,还可以存放于与代理服务器处于同一网络中的其他服务器或电子设备上,然后由代理服务器通过网络去获取该配置文件。
通过从本地服务器或网络服务器获取代理服务器的配置文件,在移动服务器后可以只修改上述配置文件即可对应地修改上述代理服务器的配置。
步骤302,通过所述配置文件配置所述代理服务器。
在本实施例中,需要先静态配置上述代理服务器(上述系统架构中的服务器105),即使服务器有一个固定的网络地址(IP)和端口(PORT),以便上述系统架构中的各种终端设备通过这个网络地址和端口可以访问到上述服务器,请求到相应的数据。配置的方式可以是预先将服务器固定的网络地址和端口写入文件,然后上述步骤301中,上述代理服务器自动读取该文件并进行相应的配置,即将上述网络地址和端口的值写入网络功能模块对应的位置。在另外一些可能的情况下可以手动点开网络功能模块进行人工设置。
通过从本地服务器或网络服务器获取代理服务器的配置文件并写入相应的模块,可以方便地自动配置上述代理服务器。
进一步的,如图4所示,上述步骤202可以包括:
步骤401,将获取到的通信数据转存到所述代理服务器的缓冲区。
在本实施例中,可选的,如果通过上述代理服务器访问后台web服务器的流量过大,会有可能造成堵塞、延迟等情况,可以先将获取到的请求或响应数据缓存到代理服务器的数据缓冲区以提高处理速度;进一步的还可以保存到数据库中,以便作为历史数据进行查询和对比。
步骤402,调用预置的规则模块程序来解析所述通信数据,得到所述特征字段。
其中,预先设置的规则模块可以是开启的一个或多个进程或线程,去同步分析上述请求或响应数据。
如果数据以method(GET/POST等)开始则该数据为http请求数据,调用预先封装的规则模块的beforeSendRequest方法来解析该请求数据,获取相关的特征字段及其对应的值,如host、url、connectiong、cookie、method、User-Agent等。
在一些可能的情况下,代理服务器收到的是https请求数据时,代理服务器可以先替换证书,然后调用预先封装的规则模块的beforeDealHttpsRequest方法,如果该方法返回true,会明文解析这个请求,其他返回值则不明文解析该请求;被明文解析后的https请求,处理流程同上述http一致,未明文解析的请求不会再进入上述规则模块做下一步处理。
如果数据以HTTP/1.1 200 OK开始则该数据为http响应数据,调用预先封装的规则模块的beforeSendResponse方法来解析该响应数据,获取相关的特征字段及其对应的值,如status code、server、Content-Encoding、Content-Length、Content-Type、Expires等。
步骤403,将所述特征字段同步显示到预置的网页上以供编辑。
在本实施例中,将上述代理服务器获取到的通信数据经过上述步骤解析后得到的特征字段及其对应的值,如字段host、url、connectiong、cookie、method、User-Agent、Content-Length、Content-Type等以瀑布流的方式显示到预先编写好的网页页面上,并对外提供统一的URL接口来获取这些字段和数值,便于多人通过该URL接口同时查看和根据需要编辑字段。进一步的,还可以将上述获取到的字段及其对应的值存储到数据库中,以便作为历史数据随时取出和重新显示。
通过预置的规则模块从所述通信数据中提取出特征字段并同步显示到所述预先设置的可编辑的网页页面上,便于多人同时查看和编辑字段,从而高效控制通信过程。
更进一步的,如图5所示,上述步骤403可以包括:
步骤501,预先设置一个统一资源定位符以及相应的可编辑网页页面。
其中,统一资源定位符(Uniform Resource Locator,URL)是对可以从互联网上得到的资源的位置和访问方法的一种简洁的表示,是互联网上标准资源的地址。互联网上的每个资源都有一个唯一的URL,它包含的信息指出资源的位置以及浏览器应该怎么处理它。基本URL包含协议类型、服务器名称(域名或IP地址)、路径和文件名,如“协议://授权访问路径?查询字符串”,例如https://www.patenthub.cn/s?p=5&q=%28tscd%3A%28。
在本实施例中,需要提前使用超文本标记语言HTML来编写用于显示上述提取的特征字段的网页,该网页显示特征字段及对应数值的区域设置为可以编辑,可以使用如带有默认值的输入框来实现;然后将这些网页存放到上述预先设置的统一资源定位符指定的路径下以便访问得到。
步骤502,将所述特征字段通过所述统一资源定位符同步显示到所述网页页面。
在本实施例中,可以编写一个单独的后端接口程序来处理通过上述统一资源定位符获取网页及相应数据的请求,具体而言,可以开启一个线程或进程去读取上述特征字段及对应的数值,然后返回给上述网页页面进行渲染后通过所述统一资源定位符实时地以特定的样式显示出来,如瀑布流图、气泡等,便于多人通过该统一资源定位符接口同时查看和编辑,提高效率。
进一步的,如图6所示,上述步骤203可以包括:
步骤601,获取所述可编辑网页返回的有效性编辑结果。和/或
在本实施例中,可以在上述可编辑前端网页页面上编辑上述通信数据的特征字段以及对应的值以满足有效性需求,然后通过相应的后端程序可以获取到上述编辑后的特征字段及对应的值,也就是上述有效性编辑结果,可以包括但不限于:
对于请求数据,编辑请求方法method、URL和查询参数、请求的host以及携带的cookie等以符合HTTP协议;
对于响应数据,编辑Connection连接方式、返回的文本类型、内容长度Content-Length、过期时间、设置的cookie或token等以符合HTTP协议。
步骤602,获取所述可编辑网页返回的安全性编辑结果。
在本实施例中,可以在上述可编辑前端网页页面上编辑上述通信数据的特征字段以及对应的值以满足安全性需求,然后通过相应的后端程序可以获取到上述编辑后的特征字段及对应的值,也就是上述安全性编辑结果,可以包括但不限于:
对于请求数据,分析在短时间内是否有来自同一主机的大量请求的攻击、请求的URL和查询参数是否包含特殊的或敏感的字符等恶意请求,对于存在问题的请求,可以将其过滤掉。
对于响应数据,分析设置的cookie或token、检测响应的数据体body等是否包含恶意代码、病毒植入(如js脚本)等。
通过在上述可编辑前端网页页面上对通信数据进行有效性和安全性编辑,可以控制通信的安全可靠。
更进一步的,如图7所示,上述步骤203还可以包括:
步骤701,根据有效性编辑结果对所述通信数据进行重新构造。和/或
在本实施例中,可以基于在步骤601中获得的经过有效性编辑后的特征字段,再根据HTTP或HTTPS的报文格式重新组织上述编辑后的特征字段,构成新的有效的通信数据。
步骤702,根据安全性编辑结果对所述通信数据进行重新构造。
在本实施例中,可以基于在步骤602中获得的经过安全性编辑后的特征字段,再根据HTTP或HTTPS的报文格式重新组织上述编辑后的特征字段,构成新的安全的通信数据。
通过重新构造通信数据,可以在控制通信过程的安全有效。
进一步的,如图8所示,上述步骤204具体包括:
步骤801,将所述代理服务器的配置信息加入所述通信数据后放行。
在本实施例中,将上述代理服务器的配置信息(如网络地址和端口等)加入上述经过有效性和/或安全性编辑后的通信数据,得到新的满足需求的通信数据,然后调用上述代理服务器的网络接口程序将上述重新构造后的通信数据发送到上述通信数据报文中的目的地址,该目的地址可以包括上述系统架构中的终端设备或后台web服务器。通过在重新构造后的通信数据中加入代理服务器的配置信息,可以在客户端无感知的情况下控制通信过程。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,该计算机程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)等非易失性存储介质,或随机存储记忆体(Random Access Memory,RAM)等。
应该理解的是,虽然附图的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,其可以以其他的顺序执行。而且,附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,其执行顺序也不必然是依次进行,而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
进一步参考图9,作为对上述图2所示方法的实现,本申请提供了一种通信流量控制装置的一个实施例,该装置实施例与图2所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。
如图9所示,本实施例所述的通信流量控制装置900包括:第一获取模块901、解析模块902、重构模块903以及放行模块904。其中:
第一获取模块901用于通过代理服务器获取通信数据,所述通信数据包括HTTP超文本传输协议数据包或HTTPS超文本传输安全协议数据包。
解析模块902用于通过预置的规则模块对所述通信数据进行解析,得到所有的特征字段,并显示到预置的可编辑网页上以供编辑人员进行编辑。
重构模块903用于获取所述可编辑网页返回的编辑结果,根据所述编辑结果对所述通信数据进行重新构造,其中,所述编辑结果包括有效性和/或安全性的编辑。
放行模块904用于对重新构造后的通信数据进行放行。
参阅图10,为解析模块902的一种具体实施方式的结构示意图,解析模块902进一步包括:转存子模块9021、解析子模块9022、显示子模块9023。
转存子模块9021用于将获取到的通信数据转存到所述代理服务器的缓冲区。
解析子模块9022用于调用预置的规则模块程序来解析所述通信数据,得到所述特征字段。
显示子模块9023用于将所述特征字段同步显示到预置的网页上以供编辑。
参阅图11,为显示子模块9023的一种具体实施方式的结构示意图,显示子模块9023更进一步包括:预置单元90231和显示单元90232。
预置单元90231用于预先设置一个统一资源定位符以及相应的可编辑网页页面。
显示单元90232用于将所述特征字段通过所述统一资源定位符同步显示到所述网页页面。
参阅图12,为重构模块903的一种具体实施方式的结构示意图,重构模块903进一步包括:第一获取子模块9031、第二获取子模块9032、第一重构子模块9033、第二重构子模块9034。
第一获取子模块9031用于获取所述可编辑网页返回的有效性编辑结果。
第二获取子模块9032用于获取所述可编辑网页返回的安全性编辑结果。
第一重构子模块9033用于根据有效性编辑结果对所述通信数据进行重新构造。
第二重构子模块9034用于根据安全性编辑结果对所述通信数据进行重新构造。
参阅图13,为放行模块904的一种具体实施方式的结构示意图,放行模块904进一步包括:放行子模块9041。
放行子模块9041用于将所述代理服务器的配置信息加入所述通信数据后放行。
在本实施例的一些可选的实现方式中,上述装置900还包括:第二获取模块905和配置模块906。
第二获取模块905,用于从本地服务器或网络服务器获取预先设置的所述代理服务器的配置文件,所述配置文件包括所述代理服务器的网络地址信息和端口信息。
配置模块906,用于通过所述配置文件配置所述代理服务器。
本申请实施例提供的通信流量控制装置能够实现图2至图8的方法实施例中的各个实施方式,以及相应有益效果,为避免重复,这里不再赘述。
为解决上述技术问题,本申请实施例还提供计算机设备。具体请参阅图14,图14为本实施例计算机设备基本结构框图。
所述计算机设备14包括通过系统总线相互通信连接存储器141、处理器142、网络接口143。需要指出的是,图中仅示出了具有组件141-143的计算机设备14,但是应理解的是,并不要求实施所有示出的组件,可以替代的实施更多或者更少的组件。其中,本技术领域技术人员可以理解,这里的计算机设备是一种能够按照事先设定或存储的指令,自动进行数值计算和/或信息处理的设备,其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit,ASIC)、可编程门阵列(Field-Programmable Gate Array,FPGA)、数字处理器(Digital Signal Processor,DSP)、嵌入式设备等。
所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
所述存储器141至少包括一种类型的可读存储介质,所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中,所述存储器141可以是所述计算机设备14的内部存储单元,例如该计算机设备14的硬盘或内存。在另一些实施例中,所述存储器141也可以是所述计算机设备14的外部存储设备,例如该计算机设备14上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。当然,所述存储器141还可以既包括所述计算机设备14的内部存储单元也包括其外部存储设备。本实施例中,所述存储器141通常用于存储安装于所述计算机设备14的操作系统和各类应用软件,例如通信流量控制方法的程序代码等。此外,所述存储器141还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器142在一些实施例中可以是中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器142通常用于控制所述计算机设备14的总体操作。本实施例中,所述处理器142用于运行所述存储器141中存储的程序代码或者处理数据,例如运行所述通信流量控制方法的程序代码。
所述网络接口143可包括无线网络接口或有线网络接口,该网络接口143通常用于在所述计算机设备14与其他电子设备之间建立通信连接。
本申请还提供了另一种实施方式,即提供一种计算机可读存储介质,所述计算机可读存储介质存储有通信流量控制程序,所述通信流量控制程序可被至少一个处理器执行,以使所述至少一个处理器执行如上述的通信流量控制方法的步骤。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本申请各个实施例所述的方法。
显然,以上所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例,附图中给出了本申请的较佳实施例,但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现,相反地,提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明,对于本领域的技术人员来而言,其依然可以对前述各具体实施方式所记载的技术方案进行修改,或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构,直接或间接运用在其他相关的技术领域,均同理在本申请专利保护范围之内。
Claims (10)
1.一种通信流量控制方法,其特征在于,包括下述步骤:
通过代理服务器获取通信数据,所述通信数据包括HTTP超文本传输协议数据包或HTTPS超文本传输安全协议数据包;
通过预置的规则模块对所述通信数据进行解析,得到所有的特征字段,并显示到预置的可编辑网页上以供编辑人员进行编辑;
获取所述可编辑网页返回的编辑结果,根据所述编辑结果对所述通信数据进行重新构造,其中,所述编辑结果包括有效性和/或安全性的编辑;
对重新构造后的通信数据进行放行;
所述通过预置的规则模块对所述通信数据进行解析包括:
若通信数据以method开始,则该通信数据为http请求数据,调用所述规则模块的beforeSendRequest方法来进行解析;
若通信数据以HTTP/1.1 200OK开始,则该通信数据为http响应数据,调用所述规则模块中的beforeSendResponse方法来进行解析;
所述根据所述编辑结果对所述通信数据进行重新构造包括:
获取编辑后的特征字段和所述代理服务器的配置信息;
组合编辑后的特征字段和所述代理服务器的配置信息,得到重新构造后的通信数据。
2.如权利要求1所述方法,其特征在于,在所述通过代理服务器获取通信数据这一步骤之前还包括以下步骤:
从本地服务器或网络服务器获取预先设置的所述代理服务器的配置文件,所述配置文件包括所述代理服务器的网络地址信息和端口信息;
通过所述配置文件配置所述代理服务器。
3.如权利要求2所述方法,其特征在于,所述通过预置的规则模块对所述通信数据进行解析,得到所有的特征字段,并显示到预置的可编辑网页上以供编辑人员进行编辑的步骤具体包括:
将获取到的通信数据转存到所述代理服务器的缓冲区;
调用预置的规则模块程序来解析所述通信数据,得到所述特征字段;
将所述特征字段同步显示到预置的网页上以供编辑。
4.如权利要求3所述方法,其特征在于,所述将所述特征字段同步显示到预置的网页上以供编辑的步骤具体包括:
预先设置一个统一资源定位符以及相应的可编辑网页页面;
将所述特征字段通过所述统一资源定位符同步显示到所述网页页面。
5.如权利要求1至4任一项所述方法,其特征在于,所述获取所述可编辑网页返回的编辑结果的步骤具体包括:
获取所述可编辑网页返回的有效性编辑结果;和/或
获取所述可编辑网页返回的安全性编辑结果。
6.如权利要求1至4任一项所述方法,其特征在于,所述根据所述编辑结果对所述通信数据进行重新构造的步骤具体包括:
根据有效性编辑结果对所述通信数据进行重新构造;和/或
根据安全性编辑结果对所述通信数据进行重新构造。
7.如权利要求1至4任一项所述方法,其特征在于,所述对重新构造后的通信数据进行放行的步骤具体包括:
将所述代理服务器的配置信息加入所述通信数据后放行。
8.一种通信流量控制装置,其特征在于,包括:
获取模块,用于通过代理服务器获取通信数据,所述通信数据包括HTTP超文本传输协议数据包或HTTPS超文本传输安全协议数据包;
解析模块,用于通过预置的规则模块对所述通信数据进行解析,得到所有的特征字段,并显示到预置的可编辑网页上以供编辑人员进行编辑;
重构模块,用于获取所述可编辑网页返回的编辑结果,根据所述编辑结果对所述通信数据进行重新构造,其中,所述编辑结果包括有效性和/或安全性的编辑;
放行模块,用于对重新构造后的通信数据进行放行。
9.一种计算机设备,其特征在于,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的通信流量控制方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的通信流量控制方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910432184.1A CN110365633B (zh) | 2019-05-23 | 2019-05-23 | 通信流量控制方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910432184.1A CN110365633B (zh) | 2019-05-23 | 2019-05-23 | 通信流量控制方法、装置、计算机设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110365633A CN110365633A (zh) | 2019-10-22 |
CN110365633B true CN110365633B (zh) | 2022-11-22 |
Family
ID=68215316
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910432184.1A Active CN110365633B (zh) | 2019-05-23 | 2019-05-23 | 通信流量控制方法、装置、计算机设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110365633B (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103020088A (zh) * | 2011-09-27 | 2013-04-03 | 腾讯科技(深圳)有限公司 | 一种数据处理装置及方法 |
CN109299422A (zh) * | 2018-09-20 | 2019-02-01 | 江苏满运软件科技有限公司 | 可视化网页编辑方法、系统、设备及存储介质 |
CN109710908A (zh) * | 2018-12-24 | 2019-05-03 | 成都四方伟业软件股份有限公司 | 页面编辑方法、系统及装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9330196B2 (en) * | 2010-11-01 | 2016-05-03 | Seven Networks, Llc | Wireless traffic management system cache optimization using http headers |
CN102457565B (zh) * | 2010-11-03 | 2015-12-16 | 中国电信股份有限公司 | 移动终端访问网络的方法及代理服务器 |
CN108694215A (zh) * | 2017-04-12 | 2018-10-23 | 北京京东尚科信息技术有限公司 | 网页缓存预热的方法、装置、电子设备和计算机可读介质 |
-
2019
- 2019-05-23 CN CN201910432184.1A patent/CN110365633B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103020088A (zh) * | 2011-09-27 | 2013-04-03 | 腾讯科技(深圳)有限公司 | 一种数据处理装置及方法 |
CN109299422A (zh) * | 2018-09-20 | 2019-02-01 | 江苏满运软件科技有限公司 | 可视化网页编辑方法、系统、设备及存储介质 |
CN109710908A (zh) * | 2018-12-24 | 2019-05-03 | 成都四方伟业软件股份有限公司 | 页面编辑方法、系统及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN110365633A (zh) | 2019-10-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8935798B1 (en) | Automatically enabling private browsing of a web page, and applications thereof | |
US10567407B2 (en) | Method and system for detecting malicious web addresses | |
US20180302492A1 (en) | Key resource prefetching using front-end optimization (FEO) configuration | |
US8413044B2 (en) | Method and system of retrieving Ajax web page content | |
CN110808868B (zh) | 测试数据获取方法、装置、计算机设备及存储介质 | |
CN110493030B (zh) | 网络优化方法、装置、计算机设备及存储介质 | |
US20150058407A1 (en) | Systems, methods, and apparatuses for implementing the simultaneous display of multiple browser client cursors at each browser client common to a shared browsing session | |
CN109936621B (zh) | 信息安全的多页面消息推送方法、装置、设备及存储介质 | |
CN104426985B (zh) | 显示网页的方法、装置及系统 | |
CN108415804B (zh) | 获取信息的方法、终端设备及计算机可读存储介质 | |
CN110798445B (zh) | 公共网关接口测试方法、装置、计算机设备及存储介质 | |
US20060259898A1 (en) | System, methods and apparatus for markup language debugging | |
WO2013117157A1 (zh) | 多账号登录方法及装置 | |
EP2605155A1 (en) | Processing method and device for world wide web page | |
WO2017124692A1 (zh) | 查找表单页面和目标页面转化关系的方法和装置 | |
CN104023046B (zh) | 移动终端识别方法和装置 | |
CN112286815A (zh) | 一种接口测试脚本的生成方法及其相关设备 | |
CN112650905A (zh) | 基于标签的反爬虫方法、装置、计算机设备及存储介质 | |
JP5112401B2 (ja) | Web行動履歴取得システム、Web行動履歴取得方法、ゲートウェイ装置、及びプログラム | |
CN102681996B (zh) | 预读方法和装置 | |
KR101184809B1 (ko) | 웹 페이지를 제공하는 방법 및 서버 | |
CN110365633B (zh) | 通信流量控制方法、装置、计算机设备及存储介质 | |
EP3502925B1 (en) | Computer system and method for extracting dynamic content from websites | |
CN110633432A (zh) | 一种获取数据的方法、装置、终端设备及介质 | |
CN111797297B (zh) | 页面数据处理方法、装置、计算机设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |