CN111600944B - 一种数据处理方法、装置、设备和存储介质 - Google Patents

一种数据处理方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN111600944B
CN111600944B CN202010397794.5A CN202010397794A CN111600944B CN 111600944 B CN111600944 B CN 111600944B CN 202010397794 A CN202010397794 A CN 202010397794A CN 111600944 B CN111600944 B CN 111600944B
Authority
CN
China
Prior art keywords
data
data stream
information
output
connection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010397794.5A
Other languages
English (en)
Other versions
CN111600944A (zh
Inventor
宋同珍
谢永恒
万月亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Ruian Technology Co Ltd
Original Assignee
Beijing Ruian Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Ruian Technology Co Ltd filed Critical Beijing Ruian Technology Co Ltd
Priority to CN202010397794.5A priority Critical patent/CN111600944B/zh
Publication of CN111600944A publication Critical patent/CN111600944A/zh
Application granted granted Critical
Publication of CN111600944B publication Critical patent/CN111600944B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/14Session management
    • H04L67/141Setup of application sessions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/02Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/14Session management
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/16Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]
    • H04L69/161Implementation details of TCP/IP or UDP/IP stack architecture; Specification of modified or new header fields
    • H04L69/162Implementation details of TCP/IP or UDP/IP stack architecture; Specification of modified or new header fields involving adaptations of sockets based mechanisms

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明实施例公开了一种数据处理方法、装置、设备和存储介质。该数据处理方法包括:将属于同一连接的候选数据流添加到该连接的数据流集合中;从所述数据流集合的至少一个数据流中提取关注信息;根据所述关注信息,确定所述数据流集合中各数据流的输出数据。保证了数据流集合中无此关注信息的数据流输出时可以携带该关注信息,从而实现数据流中的关注信息的价值最大化。

Description

一种数据处理方法、装置、设备和存储介质
技术领域
本发明实施例涉及互联网技术领域,尤其涉及一种数据处理方法、装置、设备和存储介质。
背景技术
客户端需要获取服务器中的资源时,需要建立客户端与服务器之间的连接,目前常用的建立连接是基于HTTP协议(hypertext transfer protocol,超文本传输协议),对于HTTP协议数据在很多情况下存在一条连接中有多个请求数据和响应数据。
通常,对于一条连接中有多个请求数据和响应数据的处理方法是对每一个数据进行单独处理并输出,即对每个请求响应的数据流是分开处理的。然而,当多个请求响应中任一请求响应中存在关注信息,该信息只存在于该条请求响应的数据流中,但该关注信息对于其他请求响应数据也有很重要的意义,按照现有的处理方法其他请求响应将获取不到该关注信息,无法实现请求响应中的关注信息的价值最大化。
发明内容
本发明实施例提供一种数据处理方法、装置、设备和存储介质,以实现数据流中的关注信息的价值最大化。
第一方面,本发明实施例提供了一种数据处理方法,包括:
将属于同一连接的候选数据流添加到该连接的数据流集合中;
从所述数据流集合的至少一个数据流中提取关注信息;
根据所述关注信息,确定所述数据流集合中各数据流的输出数据。
第二方面,本发明实施例还提供了一种数据处理装置,包括:
数据流确定模块,用于将属于同一连接的候选数据流添加到该连接的数据流集合中;
关注信息提取模块,用于从所述数据流集合的至少一个数据流中提取关注信息;
输出数据确定模块,用于根据所述关注信息,确定所述数据流集合中各数据流的输出数据。
第三方面,本发明实施例还提供了一种设备,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如本发明任一实施例所述的数据处理方法。
第四方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本发明任一实施例所述的数据处理方法。
本发明实施例从候选数据流中确定数据流集合,并保证数据流集合中的所有数据流均属于同一连接,并对该数据流集合中的至少一个数据流提取关注信息,以保证数据流集合中的关注信息被挖掘;并且基于该关注信息确定数据流集合中各数据流的输出,保证了数据流集合中无此关注信息的数据流输出时可以携带该关注信息,避免关注信息的遗漏,从而实现数据流中的关注信息的价值最大化。
附图说明
图1是本发明实施例一中的数据处理方法的流程图;
图2是本发明实施例二中的数据处理方法的流程图;
图3A是本发明实施例三中根据四元组判断不同数据流是否属于同一连接的方法流程图;
图3B是本发明实施例三中对数据流中的关注信息进行提取并完成数据输出的方法流程图;
图4是本发明实施例四中的数据处理装置的结构示意图;
图5是本发明实施例五中的设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1是本发明实施例一中的数据处理方法的流程图,本实施例可适用于对连接中的数据流进行响应的情况。该方法可以由数据处理装置来执行,该装置可以采用软件和/或硬件的方式实现,并可配置在设备中,例如设备可以是后台服务器等具有通信和计算能力的设备。如图1所示,该方法具体包括:
步骤101、将属于同一连接的候选数据流添加到该连接的数据流集合中。
其中,候选数据流是由不同客户端和服务端之间产生的HTTP通信数据。同一连接是指一个客户端和服务端之间产生的一次通信过程,示例性的,客户端与服务端每进行一次通信,就建立一次连接,在一次连接过程中客户端会向服务端发送至少一个请求数据,服务端根据客户端发送的请求会返回响应数据。数据流集合表示了客户端和服务端之间所有候选数据流中属于同一连接的数据流进行分组的结果。
具体的,对于服务器中待处理的候选数据流判断其所属连接,若属于同一连接则将该候选数据流添加到该连接的数据流集合中。示例性的,若某一候选数据流的所属连接无数据流集合,则创建一个该连接的数据流集合,并将该候选数据流添加到该数据流集合中。并且可以根据候选数据流的结束标识判断该连接的数据流集合是否完整,若出现某一候选数据流的结束标识为预设结束标识,则标识该候选数据流为该连接的结束数据流,则数据流集合完整执行后续步骤。例如,设置该连接的结束标识为true。
步骤102、从所述数据流集合的至少一个数据流中提取关注信息。
其中,关注信息是指对于该连接的数据输出具有价值的信息。例如对于用户请求登录账号这一连接来说,用户的身份信息对于登录账号的数据输出具有重要意义,则可以将用户的身份信息设置为关注信息。关注信息可以根据预设规则进行设置。
对于属于同一连接的数据流集合中的数据流,每一个数据流包含的信息不完全相同,尤其对于关注信息,可能只存在与特定的数据流中,不是包含在所以数据流中,即关注信息不为数据流集合中所有数据流所共享。因此,对于不包含关注信息的数据流将无法获取该关注信息。从数据流集合中包含了关注信息的数据流中提取出相应的关注信息,对于关注信息的数量并不作限制,可以根据连接的本身信息进行确定。提取出的关注信息表征了该连接中具有价值的信息。
步骤103、根据所述关注信息,确定所述数据流集合中各数据流的输出数据。
根据提取出的关注信息确定该连接的所有输出数据,即在数据流集合中的各数据流输出时在其自身输出数据的基础上携带该关注信息。即示例性的,建立提取出的关注信息与所有数据流的关联关系,在各数据流输出时均可携带该关注信息,使得关注信息的价值利用最大化。
可选的,根据所述关注信息,确定所述数据流集合中各数据流的输出数据之前,还包括:
对所述数据流集合中各数据流的结束标识进行判断;
若所述结束标识为预设结束标识,则执行根据所述关注信息确定所述数据流集合中各数据流的输出数据。
其中,结束标识是对连接的状态进行表征,若结束标识为预设结束标识,则表示对应的数据流为该连接的结束数据流,客户端和服务端之间的属于该连接的所有数据传输完毕;若结束标识不是预设结束标识,则表示对应的数据流不是该连接的结束数据流,在此数据流后仍有属于该连接的数据流。
对数据流集合中各数据流的结束标识进行判断,可以保证该连接的所有关注信息均被提取,在对所有关注信息进行提取后,再执行基于关注信息确定数据流集合中各数据流的输出数据操作。以保证关注信息提取的完整性,避免遗漏关注信息造成信息缺失。
本发明实施例从候选数据流中确定数据流集合,并保证数据流集合中的所有数据流均属于同一连接,并对该数据流集合中的至少一个数据流提取关注信息,以保证数据流集合中的关注信息被挖掘;并且基于该关注信息确定数据流集合中各数据流的输出,保证了数据流集合中无此关注信息的数据流输出时可以携带该关注信息,避免关注信息的遗漏,从而实现数据流中的关注信息的价值最大化。
实施例二
图2是本发明实施例二中的数据处理方法的流程图,本实施例二在实施例一的基础上进行进一步地优化。如图2所示,所述方法包括:
步骤201、将属于同一连接的候选数据流添加到该连接的数据流集合中。
对于服务器中的候选数据流可以通过其标识信息判断其所属连接,标识信息至少包括四元组信息。
在一个可选的实施例中,可选的,将属于同一连接的候选数据流添加到该连接的数据流集合中,包括:
根据候选数据流的标识信息,将标识信息相同的候选数据流添加到该连接的数据流集合中;其中,候选数据流的标识信息至少包括四元组,所述四元组包括源IP信息、目的IP信息、源端口信息以及目的端口信息。
具体的,对于服务器中待处理的候选数据流,根据TCP/IP协议识别提取数据流的四元组信息,四元组包括源IP地址、目的IP地址、源端口地址以及目的端口地址。根据四元组判断是否属于同一连接,示例性的,根据四元组查找是否已经存在该四元组对应连接的数据流集合,如果已经存在对应的数据流集合,则表示该连接已经建立,则直接将该数据流加入至该数据流集合中;若该四元组对应连接的数据流集合不存在,则创建一个新的连接对应的数据流集合,即创建一个该四元组对应的新的连接,并将该数据流加入至该数据流集合中。
在对候选数据流的标识信息进行确定的同时,对候选数据流的结束标识进行判断,若出现某候选数据流的结束标识为预设结束标识,则表示该数据流为结束数据流,则该连接对应的数据流集合确定完成,若未出现标识信息相同的候选数据流的结束标识为预设结束标识,则继续处理服务器中下一条候选数据流,直至出现结束标识为预设结束标识的候选数据流。
步骤202、从所述数据流集合的至少一个数据流中提取关注信息;将提取的关注信息与该连接的关联关系写入缓存中。
将同一连接的数据流中的关注信息提取出来,并写入缓存中,该缓存可供数据流集合中的任一数据流访问。
可选的,从所述数据流集合的至少一个数据流中提取关注信息,包括:
获取关注信息的提取标识;
提取所述数据流集合的至少一个数据流的请求数据和响应数据;
根据所述提取标识,从该数据流中的请求数据和响应数据中提取所述关注信息。
其中,提取标识是指预先设置的关注信息的标识信息,可以根据标识信息确定关注信息。
具体的,确定数据流集合后,获取与该数据流集合所属连接对应的关注信息的提取标识,提取标识可以通过预先配置。并且对于同一条连接的数据流,根据HTTP协议识别和提取请求数据和响应数据并缓存到内存中;在请求数据和响应数据中查找预先配置的关注信息的提取标识,如果存在关注信息提取标识,则将对应的关注信息提取出来,缓存到该连接对应的公共缓存中,如果不存在提取标识,则进行结束标识判断,若该连接结束,则停止关注信息提取,若该连接未结束,则继续查找提取标识,以确定关注信息确定的完整性。
步骤203、确定所述数据流集合中各数据流的输出内容。
各数据流的输出内容是指各数据流中该输出的请求数据和响应数据本身。示例性的,在确定该连接的结束标识为预设结束标识后,则确定该连接所有缓存中的请求数据和响应数据。在上述示例的基础上,各数据流的输出内容被缓存在内存中。
步骤204、根据该连接标识,从缓存中获取该连接的关注信息。
根据待输出的连接,确定与该连接匹配的写入在缓存中的关注信息。根据连接标识确定关注信息以保证关注信息确定的准确性。
步骤205、根据所述数据流的输出内容和该连接的关注信息,确定所述数据流的输出数据。
具体的,在对根据数据流集合确定的请求数据和响应数据进行输出时,携带该连接缓存在公共缓存中的关注信息,完成输出内容和关注信息的一起输出。实现了该连接的任一数据输出时均携带关注信息,保证了关注信息的利用价值最大化。在数据输出前对结束标识进行判断,当结束标识为预设结束标识时,完成该连接的所有数据输出。
示例性的,当某用户发起登录账号请求时,该登录通信数据为一条连接,该连接中包括至少两条数据流,一条数据流包括用户身份信息,一条数据流包括图片显示请求数据;对于包括图片显示请求数据的数据流中并不包含用户身份信息,则对于该条数据流输出时缺少该条连接中的关注信息;根据本发明实施例的方法,将用户身份信息设置为关注信息,并为其设置提取标识,根据提取标识将对应的身份信息内容写入缓存中,在登录连接输出时,每条数据流中输出时均携带该身份信息,保证了用户身份信息的价值利用最大化。可选的,关注信息可以根据连接的不同或者场景的不同进行配置。
本发明实施例从候选数据流中确定数据流集合,并保证数据流集合中的所有数据流均属于同一连接,并对该数据流集合中的至少一个数据流提取关注信息,并将关注信息写入缓存中;并且基于该关注信息确定数据流集合中各数据流的输出,保证了数据流集合中无此关注信息的数据流输出时可以携带该关注信息,避免关注信息的遗漏,从而实现数据流中的关注信息的价值最大化。
实施例三
本发明实施例作为本发明的一个优选实施例,实现了基于HTTP的一条连接中存在多个请求数据和响应数据完成数据提取处理和关注信息关联输出。能够把一条连接中的某一请求响应中存在的关注信息提取出来并关联到其他请求响应中进行输出,这样该连接中所有请求响应数据都带有关注的信息,提高了数据价值。具体的技术方案如下所示:
对待处理的数据流,根据TCP/IP协议识别和提取四元组,根据四元组建立一条连接,凡是四元组一致的认为是同一条连接的数据流。根据四元组判断不同数据流是否属于同一连接的流程图如图3A所示。对于待处理的数据流,根据TCP/IP协议识别提取数据流的四元组。根据四元组查找是否已经存在该四元组对应的连接,如果已经存在对应的连接,则直接把数据流加入到该连接中,如果该四元组不存在对应的连接,则创建一个新的连接并将数据流加入到该连接中去。判断该数据流是否是结束的数据流,如果是则设置该连接的结束标识为true,如果不是结束数据流,则处理下一个数据流即重复上述操作。
如图3B所示为对数据流中的关注信息进行提取并完成数据输出的流程图。如图3B所示对同一条连接的数据流,进行HTTP协议识别和提取请求响应的数据并缓存到内存中。在请求响应数据中查找预先配置的重点关注信息的提取标识。如果存在关注信息提取标识,则将关注的信息提取出来,缓存到该连接对应的公共缓存中去,用于该连接的请求响应数据输出使用。如果不存在提取标识,则进行下一步连接结束标识判断。判断连接的结束标识是否为true,如果为true,则将该连接所有缓存的请求响应数据依次输出,在每个请求响应数据输出的同时带上该连接缓存在公共缓存中的关注信息一起输出。如果连接的结束标识不为true,则处理下一个数据流即重复上述步骤。
本发明能够把HTTP协议一条连接中的某一请求响应中存在的关注信息提取出来并关联到其他请求响应中输出,这样该连接中所有请求响应的数据都带有关注的信息,提高了数据价值。
实施例四
图4是本发明实施例四中的数据处理装置的结构示意图,本实施例可适用于对连接中的数据流进行响应的情况。如图4所示,该装置包括:
数据流确定模块410,用于将属于同一连接的候选数据流添加到该连接的数据流集合中;
关注信息提取模块420,用于从所述数据流集合的至少一个数据流中提取关注信息;
输出数据确定模块430,用于根据所述关注信息,确定所述数据流集合中各数据流的输出数据。
可选的,对于本发明实施例中的模块可以部署在同一台服务器上,或者不同的服务器上。
本发明实施例从候选数据流中确定数据流集合,并保证数据流集合中的所有数据流均属于同一连接,并对该数据流集合中的至少一个数据流提取关注信息,以保证数据流集合中的关注信息被挖掘;并且基于该关注信息确定数据流集合中各数据流的输出,保证了数据流集合中无此关注信息的数据流输出时可以携带该关注信息,避免关注信息的遗漏,从而实现数据流中的关注信息的价值最大化。
可选的,输出数据确定模块,包括:
输出内容确定单元,用于确定所述数据流集合中各数据流的输出内容;
输出数据确定单元,用于根据所述数据流的输出内容和所述关注信息,确定所述数据流的输出数据。
可选的,所述装置还包括:缓存写入模块,用于将提取的关注信息与该连接的关联关系写入缓存中;
相应地,输出数据确定单元,具体用于:
根据该连接标识,从缓存中获取该连接的关注信息;
根据所述数据流的输出内容和该连接的关注信息,确定所述数据流的输出数据。
可选的,关注信息提取模块,包括:
提取标识获取单元,用于获取关注信息的提取标识;
数据流数据提取单元,用于提取所述数据流集合的至少一个数据流的请求数据和响应数据;
关注信息提取单元,用于根据所述提取标识,从该数据流中的请求数据和响应数据中提取所述关注信息。
可选的,数据流确定模块,具体用于:
根据候选数据流的标识信息,将标识信息相同的候选数据流添加到该连接的数据流集合中;其中,候选数据流的标识信息至少包括四元组,所述四元组包括源IP信息、目的IP信息、源端口信息以及目的端口信息。
可选的,所述装置还包括:
结束标识判断单元,用于对所述数据流集合中各数据流的结束标识进行判断;
数据输出执行单元,用于若所述结束标识为预设结束标识,则执行根据所述关注信息确定所述数据流集合中各数据流的输出数据。
本发明实施例所提供的数据处理装置可执行本发明任意实施例所提供的数据处理方法,具备执行数据处理方法相应的功能模块和有益效果。
实施例五
图5是本发明实施例五提供的一种设备的结构示意图。图5示出了适于用来实现本发明实施方式的示例性设备12的框图。图5显示的设备12仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示,设备12以通用计算设备的形式表现。设备12的组件可以包括但不限于:一个或者多个处理器或者处理单元16,系统存储装置28,连接不同系统组件(包括系统存储装置28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种,包括存储装置总线或者存储装置控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(ISA)总线,微通道体系结构(MAC)总线,增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被设备12访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
系统存储装置28可以包括易失性存储装置形式的计算机系统可读介质,例如随机存取存储装置(RAM)30和/或高速缓存存储装置32。设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统34可以用于读写不可移动的、非易失性磁介质(图5未显示,通常称为“硬盘驱动器”)。尽管图5中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储装置28可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40,可以存储在例如存储装置28中,这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信,还可与一个或者多个使得用户能与该设备12交互的设备通信,和/或与使得该设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且,设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图5所示,网络适配器20通过总线18与设备12的其它模块通信。应当明白,尽管图5中未示出,可以结合设备12使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储装置28中的程序,从而执行各种功能应用以及数据处理,例如实现本发明实施例所提供的数据处理方法,包括:
将属于同一连接的候选数据流添加到该连接的数据流集合中;
从所述数据流集合的至少一个数据流中提取关注信息;
根据所述关注信息,确定所述数据流集合中各数据流的输出数据。
实施例六
本发明实施例六还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本发明实施例所提供的数据处理方法,包括:
将属于同一连接的候选数据流添加到该连接的数据流集合中;
从所述数据流集合的至少一个数据流中提取关注信息;
根据所述关注信息,确定所述数据流集合中各数据流的输出数据。
本发明实施例的计算机存储介质,可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括——但不限于无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。

Claims (9)

1.一种数据处理方法,其特征在于,包括:
将属于同一连接的候选数据流添加到该连接的数据流集合中;
从所述数据流集合的至少一个数据流中提取关注信息;根据所述关注信息,确定所述数据流集合中各数据流的输出数据;
其中,所述根据所述关注信息,确定所述数据流集合中各数据流的输出数据之前,还包括:
对所述数据流集合中各数据流的结束标识进行判断;
若所述结束标识为预设结束标识,则执行根据所述关注信息确定所述数据流集合中各数据流的输出数据。
2.根据权利要求1所述的方法,其特征在于,根据所述关注信息,确定所述数据流集合中各数据流的输出数据,包括:
确定所述数据流集合中各数据流的输出内容;
根据所述数据流的输出内容和所述关注信息,确定所述数据流的输出数据。
3.根据权利要求2所述的方法,其特征在于,从所述数据流集合的至少一个数据流中提取关注信息之后,还包括:将提取的关注信息与该连接的关联关系写入缓存中;
相应地,根据所述数据流的输出内容和所述关注信息,确定所述数据流的输出数据,包括:
根据该连接标识,从缓存中获取该连接的关注信息;
根据所述数据流的输出内容和该连接的关注信息,确定所述数据流的输出数据。
4.根据权利要求1所述的方法,其特征在于,从所述数据流集合的至少一个数据流中提取关注信息,包括:
获取关注信息的提取标识;
提取所述数据流集合的至少一个数据流的请求数据和响应数据;
根据所述提取标识,从该数据流中的请求数据和响应数据中提取所述关注信息。
5.根据权利要求1所述的方法,其特征在于,将属于同一连接的候选数据流添加到该连接的数据流集合中,包括:
根据候选数据流的标识信息,将标识信息相同的候选数据流添加到该连接的数据流集合中;其中,候选数据流的标识信息至少包括四元组,所述四元组包括源IP信息、目的IP信息、源端口信息以及目的端口信息。
6.一种数据处理装置,其特征在于,包括:
数据流确定模块,用于将属于同一连接的候选数据流添加到该连接的数据流集合中;
关注信息提取模块,用于从所述数据流集合的至少一个数据流中提取关注信息;
输出数据确定模块,用于根据所述关注信息,确定所述数据流集合中各数据流的输出数据;
结束标识判断模块,用于对所述数据流集合中各数据流的结束标识进行判断;
数据输出执行模块,用于若所述结束标识为预设结束标识,则执行根据所述关注信息确定所述数据流集合中各数据流的输出数据。
7.根据权利要求6所述的装置,其特征在于,输出数据确定模块,包括:
输出内容确定单元,用于确定所述数据流集合中各数据流的输出内容;
输出数据确定单元,用于根据所述数据流的输出内容和所述关注信息,确定所述数据流的输出数据。
8.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-5中任一所述的数据处理方法。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-5中任一所述的数据处理方法。
CN202010397794.5A 2020-05-12 2020-05-12 一种数据处理方法、装置、设备和存储介质 Active CN111600944B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010397794.5A CN111600944B (zh) 2020-05-12 2020-05-12 一种数据处理方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010397794.5A CN111600944B (zh) 2020-05-12 2020-05-12 一种数据处理方法、装置、设备和存储介质

Publications (2)

Publication Number Publication Date
CN111600944A CN111600944A (zh) 2020-08-28
CN111600944B true CN111600944B (zh) 2023-02-28

Family

ID=72191249

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010397794.5A Active CN111600944B (zh) 2020-05-12 2020-05-12 一种数据处理方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN111600944B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104753804A (zh) * 2013-12-31 2015-07-01 中国移动通信集团公司 一种数据流传输控制方法、装置及系统
CN104933325A (zh) * 2015-07-22 2015-09-23 安徽理工大学 基于行为包含的业务流程变化域融合分析方法
CN108012290A (zh) * 2017-12-08 2018-05-08 锐捷网络股份有限公司 一种无线局域网下大数据的处理方法及设备
CN109474616A (zh) * 2018-12-17 2019-03-15 秒针信息技术有限公司 多平台数据共享方法和装置及计算机可读存储介质
CN109522312A (zh) * 2018-11-27 2019-03-26 北京锐安科技有限公司 一种数据处理方法、装置、服务器和存储介质
CN109792444A (zh) * 2016-09-30 2019-05-21 网络洞察力知识产权公司 实况内容分发系统中的播出缓冲
CN110073301A (zh) * 2017-08-02 2019-07-30 强力物联网投资组合2016有限公司 工业物联网中具有大数据集的数据收集环境下的检测方法和系统
CN110134702A (zh) * 2019-05-17 2019-08-16 北京百度网讯科技有限公司 数据流拼接方法、装置、设备和存储介质
CN110489452A (zh) * 2019-08-21 2019-11-22 中国科学院深圳先进技术研究院 多路数据流θ连接优化方法及系统
CN110704286A (zh) * 2019-08-30 2020-01-17 中国人民财产保险股份有限公司 一种日志处理方法、装置及电子设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080056192A1 (en) * 2006-08-31 2008-03-06 Piping Hot Networks Limited Latency reduction by adaptive packet fragmentation
US9942122B2 (en) * 2016-02-29 2018-04-10 Airmagnet, Inc. Fast packet retrieval based on flow ID and metadata
US10346756B2 (en) * 2017-01-25 2019-07-09 Centurylink Intellectual Property Llc Machine discovery and rapid agglomeration of similar states
CN107959687A (zh) * 2017-12-13 2018-04-24 上海曼恒数字技术股份有限公司 一种数据处理方法、系统、设备及存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104753804A (zh) * 2013-12-31 2015-07-01 中国移动通信集团公司 一种数据流传输控制方法、装置及系统
CN104933325A (zh) * 2015-07-22 2015-09-23 安徽理工大学 基于行为包含的业务流程变化域融合分析方法
CN109792444A (zh) * 2016-09-30 2019-05-21 网络洞察力知识产权公司 实况内容分发系统中的播出缓冲
CN110073301A (zh) * 2017-08-02 2019-07-30 强力物联网投资组合2016有限公司 工业物联网中具有大数据集的数据收集环境下的检测方法和系统
CN108012290A (zh) * 2017-12-08 2018-05-08 锐捷网络股份有限公司 一种无线局域网下大数据的处理方法及设备
CN109522312A (zh) * 2018-11-27 2019-03-26 北京锐安科技有限公司 一种数据处理方法、装置、服务器和存储介质
CN109474616A (zh) * 2018-12-17 2019-03-15 秒针信息技术有限公司 多平台数据共享方法和装置及计算机可读存储介质
CN110134702A (zh) * 2019-05-17 2019-08-16 北京百度网讯科技有限公司 数据流拼接方法、装置、设备和存储介质
CN110489452A (zh) * 2019-08-21 2019-11-22 中国科学院深圳先进技术研究院 多路数据流θ连接优化方法及系统
CN110704286A (zh) * 2019-08-30 2020-01-17 中国人民财产保险股份有限公司 一种日志处理方法、装置及电子设备

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
50123需求分析;weixin_30478757;《CSDN》;20190627;全文 *
基于数据流的移动数据挖掘研究综述;邓维维等;《计算机应用研究》;20070110(第01期);全文 *
基于脚本注入的HTTPS会话劫持研究;阳风帆等;《信息网络安全》;20150310(第03期);全文 *
网络空间大数据实时感知与快速分发关键技术及应用;万月亮;《科技成果》;20180206;全文 *

Also Published As

Publication number Publication date
CN111600944A (zh) 2020-08-28

Similar Documents

Publication Publication Date Title
CN109213611B (zh) 跨进程通讯方法、装置、终端及存储介质
CN110134869B (zh) 一种信息推送方法、装置、设备和存储介质
CN109672722B (zh) 数据部署方法及装置、计算机存储介质和电子设备
CN110958127B (zh) 一种异常处理方法、装置、设备和计算机存储介质
US10067862B2 (en) Tracking asynchronous entry points for an application
CN112448969A (zh) 链路追踪方法、装置、系统、设备及可读存储介质
CN112040312A (zh) 一种分屏渲染方法、装置、设备和存储介质
CN111625422B (zh) 线程监控方法、装置、电子设备及计算机可读存储介质
CN110110236B (zh) 一种信息推送方法、装置、设备和存储介质
CN109086097B (zh) 一种小程序的启动方法、装置、服务器及存储介质
CN113992382B (zh) 业务数据处理方法、装置、电子设备及存储介质
CN109286684B (zh) 一种通信连接的处理方法、装置、代理服务器及存储介质
CN107862035B (zh) 会议记录的网络读取方法、装置、智能平板和存储介质
CN111600944B (zh) 一种数据处理方法、装置、设备和存储介质
CN113763008A (zh) 一种应用推广跟踪方法、装置、服务器、设备和介质
CN111930385A (zh) 数据采集方法、装置、设备及存储介质
CN107992457B (zh) 一种信息转换方法、装置、终端设备及存储介质
CN112818204B (zh) 一种业务的处理方法、装置、设备及存储介质
CN112866005B (zh) 一种用户访问日志的处理方法、装置、设备及存储介质
CN110753136B (zh) 域名解析方法、装置、设备及存储介质
CN113986995A (zh) 请求分发方法、装置、存储介质及电子设备
CN114722004A (zh) 消息检索方法、装置、电子设备及存储介质
US20160188362A1 (en) Library apparatus for real-time process, and transmitting and receiving method thereof
CN112364268A (zh) 资源获取方法、装置、电子设备及存储介质
CN113765972A (zh) 数据请求响应方法、装置、系统、服务器和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant