CN107154968A - 一种数据处理方法及设备 - Google Patents
一种数据处理方法及设备 Download PDFInfo
- Publication number
- CN107154968A CN107154968A CN201710282096.9A CN201710282096A CN107154968A CN 107154968 A CN107154968 A CN 107154968A CN 201710282096 A CN201710282096 A CN 201710282096A CN 107154968 A CN107154968 A CN 107154968A
- Authority
- CN
- China
- Prior art keywords
- data
- file
- thread
- parsing
- filename
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
- H04L67/5683—Storage of data provided by user terminals, i.e. reverse caching
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本申请提供了一种数据处理方法,包括:实时扫描服务器中的数据文件;触发流读取线程,从已扫描数据文件中读取预设的数据缓存区大小的数据流,并将所述数据流存放到本地缓存区中;触发解析线程从所述本地缓存区中,读取数据进行解析;所述解析线程的数量至少为一个,所述解析线程与所述读取线程为预先创建的独立线程。本申请实施例中,对于扫描到的数据文件,分块进行读取,并且在读取到文件数据时,开始对读取的文件数据进行解析,文件的读取与解析同步进行,互不干扰,提升了数据处理的效率。
Description
技术领域
本申请涉及网络数据处理领域,特别涉及一种数据处理方法及设备。
背景技术
随着移动互联网的迅速发展,移动互联网用户不断增加,从而使网络互联中的网络数据呈指数倍数增加。面对如此庞大的网络数据,运营商在要求保证网络优化质量的前提下,对网络数据的实时性,准确性也提出了更高的要求。
网络数据一般存储在网络服务器中,网络服务器是指一个管理资源并为用户提供服务的计算机软件和硬件的集合,用于接收数据请求并对所述数据请求进行响应。
现有技术中,从厂家的网络服务器中获取网络数据进行分析,一般采用整体下载的方式,即将网络服务器中的数据文件全部下载,然后再进行数据分析,数据处理效率低。
发明内容
本申请所要解决的技术问题是提供一种数据处理方法,提升对服务器中网络数据的处理效率。
一种数据处理方法,包括:
实时扫描服务器中的数据文件;
触发流读取线程,从已扫描数据文件中读取预设的数据缓存区大小的数据流,并将所述数据流存放到本地缓存区中;
触发解析线程从所述本地缓存区中,读取数据进行解析;所述解析线程的数量至少为一个,所述解析线程与所述读取线程为预先创建的独立线程。
上述的方法,优选的,还包括:
缓存已完成解析的数据文件的文件名;
将再次扫描获得的数据文件的文件名与所述缓存的文件名进行比较;当比较相同时,对所述再次扫描获得的数据文件进行舍弃;
当比较不相同时,触发流读取线程对所述再次扫描获得的数据文件进行读取。
上述的方法,优选的,还包括:
将经过解析的文件数据缓存到内存或缓存文件中;
当缓存的文件数据的数量到达预设量值时,将缓存的文件数据作为一个数据块,将所述数据块缓存到本地缓存文件中;
当所述本地缓存文件中的文件数据达到所述本地缓存文件的容量临界值时,新建本地缓存文件。
上述的方法,优选的,还包括:
触发多个分发线程从所述本地缓存文件中读取文件数据;并按预设的分发方式进行分发。
上述的方法,优选的,所述实时扫描服务器中的数据文件,触发流读取线程,从已扫描数据文件中读取预设的数据缓存区大小的数据流,包括:
当同时扫描到多个数据文件时,依据各个数据文件的文件名对各个数据文件进行筛选;
按扫描顺序对经过筛选的数据文件进行排序;
触发流读取线程,依序从各个已扫描数据文件中读取预设的数据缓存区大小的数据流。
一种数据处理设备,包括:
扫描单元,用于实时扫描服务器中的数据文件;
第一触发单元,用于触发流读取线程,从已扫描数据文件中读取预设的数据缓存区大小的数据流,并将所述数据流存放到本地缓存区中;;
第二触发单元,用于触发解析线程从所述本地缓存区中,读取数据进行解析;所述解析线程的数量至少为一个,所述解析线程与所述读取线程为预先创建的独立线程。
上述的设备,优选的,还包括:
第一缓存单元,用于缓存已完成解析的数据文件的文件名;
比较单元,用于将再次扫描获得的数据文件的文件名与所述缓存的文件名进行比较。
上述的设备,优选的,还包括:
第二缓存单元,用于将经过解析的文件数据缓存到内存或缓存文件中。
上述的设备,优选的,还包括:
第三触发单元,用于触发多个分发线程按预设的分发方式对缓存的文件数据进行分发。
上述的设备,优选的,还包括:
筛选单元,用于当同时扫描到多个数据文件时,依据各个数据文件的文件名对各个数据文件进行筛选。
本申请实施例提供了一种数据处理方法,实时扫描服务器中的数据文件,对于扫描到的数据文件,触发流读取线程,从已扫描数据文件中读取预设的数据缓存区大小的数据流,并将所述数据流存放到本地缓存区中;触发解析线程从所述本地缓存区中,读取数据进行解析。本申请实施例中,对于扫描到的数据文件,分块进行读取,并且在读取到文件数据时,开始对读取的文件数据进行解析,文件的读取与解析同步进行,互不干扰,提升了数据处理的效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附+图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本申请的一种数据处理方法的方法流程图;
图2是本申请的一种数据处理方法的又一方法流程图;
图3是本申请的一种数据处理设备的结构示意图;
图4是本申请的一种数据处理设备的又一结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请可用于众多通用或专用的计算装置环境或配置中。例如:个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器装置、包括以上任何装置或设备的分布式计算环境等等。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本申请实施例提供了一种数据处理方法,该方法应用于本地客户端,其方法流程图如图1所示,可以包括以下步骤:
步骤S101:实时扫描服务器中的数据文件;
本申请实施例中,当需要获取厂家网络服务器上的数据文件时,与服务器建立连接,实时扫描服务器中的数据文件。
步骤S102:触发流读取线程,从已扫描数据文件中读取预设的数据缓存区大小的数据流,并将所述数据流存放到本地缓存区中;
本申请实施例中,预先创建有至少一个解析线程,以及与所述解析线程独立的流读取线程;当扫描到网络服务器中的数据文件时,对于每一个扫描到的数据文件,触发流读取线程依据读取指令中的数据缓存区的大小,顺序读取该数据文件中的文件数据。
步骤S103:触发解析线程从所述本地缓存区中,读取数据进行解析;所述解析线程的数量至少为一个,所述解析线程与所述读取线程为预先创建的独立线程。
在流读取线程读取文件数据的同时,触发解析线程对每一次读取到的文件数据进行解析。
本申请实施例提供的数据处理方法,对于扫描到的数据文件,不采用整体下载的方式,而是按预设数据缓存区的大小,每次读取一定的文件数据,并在读取到文件数据的同时,并行进行数据解析过程,同时文件数据的读取过程依然继续,形成读取与解析的并行操作,在很大程度上,提升了数据处理的效率。
本申请提供了一种数据处理方法,实时扫描服务器中的数据文件,对于扫描到的数据文件或新增文件,对于已经处理的文件名会缓存到本地缓存,针对服务器上的新增文件,触发流读取线程,依据预设的数据缓存区大小,顺序读取放入缓存区,且触发解析线程,对于每一次从缓存区中读取到的数据进行解析,解析出的数据,按照预设记录大小进行组装成一个数据块,当数据块达到预设个数时,将这批数据放到缓存区或缓存文件中,同时触发分发线程,从缓存区或缓存文件中读取数据按照分发策略进行数据分发,在整个数据的接入,解析,分发,都是异步的,互补干扰,极大的提升了整体的数据处理的效率。本申请实施例中,就是按照上述描述的数据处理方法进行处理的。
本申请实施例中,所述数据缓存区大小设定可以根据数据文件的大小进行设定,例如当数据文件为10M时,可以将所述数据缓存区的大小设定为2M,这样可以分5次对数据文件中的文件数据进行读取。
本申请实施例中,以流式数据的方式对数据文件进行读取,同时以流式数据的方式对读取的数据进行解析并存储,实现了数据实时性的读取与解析。
参考图2,示出了本申请实施例一种数据处理方法的一个完整的执行示意图,在图2中:
本申请实施例提供的处理方法,对于已经解析完成的数据文件,对该数据文件的文件名进行缓存,当再次扫描服务器中的数据文件时,将缓存的文件名与再次扫描到的数据文件的文件名进行比较,如果文件名相同,则不再对该扫描到的文件数据进行读取,以避免重复。如果文件名不相同,再触发读取线程对该扫描到的数据文件进行读取,文件数据读取的过程与图1中记载的方法相同。
本申请实施例提供的处理方法,对于已经解析完成的文件数据,将经过解析的文件数据缓存到内存或缓存文件中;
当缓存的文件数据的数量到达预设量值时,将缓存的文件数据作为一个数据块,将所述数据块缓存到本地缓存文件中;
当所述本地缓存文件中的文件数据达到所述本地缓存文件的容量临界值时,新建本地缓存文件。
本申请实施例提供的处理方法,通过多线程的方式,触发多个分发线程从所述本地缓存文件中读取文件数据;并按预设的分发方式进行分发。
由图2所记载的技术方案可以看出,本申请实施例提供的数据处理方法中,通过采集程序与厂家服务器建立连接,并指定数据缓存区大小,采集程序实时扫描厂家服务器的数据文件,并将扫描到的数据文件进行数据流数据接入,采集程序每次从厂家服务器上读取一定的缓冲数据,并实时性的针对接入回来的数据进行数据解析,实时性的断点记录,直到本次接入的数据接入完成。对于已经解析完成的数据文件名,并缓存到本地。当再次扫描厂家服务器上的文件或新增文件,并和本地的缓存记录进行比对,对于已经采集过的文件不再采集,对于未采集的文件,再按照流数据接入,解析,缓存,分发。对于解析出来的数据,会将一定数量的数据成批缓存到内存中,当达到指定的缓存个数时,会缓存到本地文件中,当缓存数据文件达到一定大小时,再新建一个本地缓存文件进行缓存,并开启多个分发线程从缓存文件中获取数据,按照预先指定的分发模板进行分发。在此过程中,数据的接入解析,和数据的存储分发是异步的,不会干扰,大大提高了采集的时效性,提高了用户的感知。
本申请实施例提供的数据处理方法中,从厂家服务器上接入指定大小的缓冲区数据流大小后,并对数据流进行数据解析,形成结构化数据或非结构化数据,将数据缓存到内存和本地映射文件,大大减少IO。
本申请实施例中,通过多线程的方式,实时从本地缓存数据文件或内存中获取数据,并利用预先定义好的规则进行数据分发,例如输出文件方式,FTP方式,数据库方式,Hadoop中的Hbase等输出策略。
当对本地缓存区的文件数据处理完成之后,再次从厂家服务器上获取指定缓存区大小的数据流,重新执行上述流程进行处理。
上述方法的执行过程中,对于扫描服务器的过程中,每次扫描到一个数据文件时,即对该数据文件进行流式读取,读取完成后,再进行扫描,对于已经读取过的文件不再进行重复读取,对于未读取的,重新进行流式读取。
本申请实施例中,还提供了另外一种实现方式,对于服务器的扫描,一次性扫描全部的数据文件,扫描到这些数据文件之后,进行筛选,对于重复的数据文件进行舍弃,然后按扫描顺序,对数据文件进行排序,读取线程,按所述顺序,依次流式读取各个数据文件。具体执行过程如下:
当同时扫描到多个数据文件时,依据各个数据文件的文件名对各个数据文件进行筛选;
按扫描顺序对经过筛选的数据文件进行排序;
触发流读取线程,依序从各个已扫描数据文件中读取预设的数据缓存区大小的数据流。。
综上,本申请实施例提供的数据处理方法,采用流式读取的方式,对于读取与解析过程同步进行,提升了数据处理的效率,保证了数据的实时性。。
对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
与上述本申请一种数据处理方法相对应,参见图3,本申请还提供了一种数据处理设备,在本实施例中,该设备可以包括:
扫描单元201,用于实时扫描服务器中的数据文件;
第一触发单元202,用于触发流读取线程,从已扫描数据文件中读取预设的数据缓存区大小的数据流,并将所述数据流存放到本地缓存区中;
第二触发单元203,用于触发解析线程从所述本地缓存区中,读取数据进行解析;所述解析线程的数量至少为一个,所述解析线程与所述读取线程为预先创建的独立线程。
本申请实施例提供的数据处理设备,对于扫描到的数据文件,不采用整体下载的方式,而是按预设数据缓存区的大小,每次读取一定的文件数据,并在读取到文件数据的同时,并行进行数据解析过程,同时文件数据的读取过程依然继续,形成读取与解析的并行操作,在很大程度上,提升了数据处理的效率。
参见图4,示出了本申请实施例一种数据处理设备的又一详细结构示意图,具体还包括:
第一缓存单元204,用于缓存已完成解析的数据文件的文件名;
比较单元205,用于将再次扫描获得的数据文件的文件名与所述缓存的文件名进行比较。
本申请实施例中,对于已经解析完成的数据文件,对该数据文件的文件名进行缓存,当再次扫描服务器中的数据文件时,将缓存的文件名与再次扫描到的数据文件的文件名进行比较,如果文件名相同,则不再对该扫描到的文件数据进行读取,以避免重复。如果文件名不相同,再触发读取线程对该扫描到的数据文件进行读取,文件数据读取的过程与图1中记载的方法相同。
第二缓存单元206,用于将经过解析的文件数据缓存到内存或缓存文件中。
第三触发单元207,用于触发多个分发线程按预设的分发方式对缓存的文件数据进行分发。
本申请实施例中,对于已经解析完成的文件数据,将所述解析完成的文件数据缓存到内存中,当缓存到内存中的文件数据的数量到达预设量值的时候,将所述内存中的文件数据缓存到本地的缓存文件中,当本地缓存文件的缓存空间满时,新建一个本地缓存文件。
通过多线程的方式,触发多个分发线程从所述本地缓存文件中读取文件数据;并按预设的分发方式进行分发。
筛选单元208,用于当同时扫描到多个数据文件时,依据各个数据文件的文件名对各个数据文件进行筛选。
对于服务器的扫描,一次性扫描全部的数据文件,扫描到这些数据文件之后,进行筛选,对于重复的数据文件进行舍弃,然后按扫描顺序,对数据文件进行排序,读取线程,按所述顺序,依次流式读取各个数据文件。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。
以上对本申请所提供的一种数据处理方法及设备进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种数据处理方法,其特征在于,包括:
实时扫描服务器中的数据文件;
触发流读取线程,从已扫描数据文件中读取预设的数据缓存区大小的数据流,并将所述数据流存放到本地缓存区中;
触发解析线程从所述本地缓存区中,读取数据进行解析;所述解析线程的数量至少为一个,所述解析线程与所述读取线程为预先创建的独立线程。
2.根据权利要求1所述的方法,其特征在于,还包括:
缓存已完成解析的数据文件的文件名;
将再次扫描获得的数据文件的文件名与所述缓存的文件名进行比较;当比较相同时,对所述再次扫描获得的数据文件进行舍弃;
当比较不相同时,触发流读取线程对所述再次扫描获得的数据文件进行读取。
3.根据权利要求1所述的方法,其特征在于,还包括:
将经过解析的文件数据缓存到内存或缓存文件中;
当缓存的文件数据的数量到达预设量值时,将缓存的文件数据作为一个数据块,将所述数据块缓存到本地缓存文件中;
当所述本地缓存文件中的文件数据达到所述本地缓存文件的容量临界值时,新建本地缓存文件。
4.根据权利要求3所述的方法,其特征在于,还包括:
触发多个分发线程从所述本地缓存文件中读取文件数据;并按预设的分发方式进行分发。
5.根据权利要求1所述的方法,其特征在于,所述实时扫描服务器中的数据文件,触发流读取线程,从已扫描数据文件中读取预设的数据缓存区大小的数据流,包括:
当同时扫描到多个数据文件时,依据各个数据文件的文件名对各个数据文件进行筛选;
按扫描顺序对经过筛选的数据文件进行排序;
触发流读取线程,依序从各个已扫描数据文件中读取预设的数据缓存区大小的数据流。
6.一种数据处理设备,其特征在于,包括:
扫描单元,用于实时扫描服务器中的数据文件;
第一触发单元,用于触发流读取线程,从已扫描数据文件中读取预设的数据缓存区大小的数据流,并将所述数据流存放到本地缓存区中;
第二触发单元,用于触发解析线程从所述本地缓存区中,读取数据进行解析;所述解析线程的数量至少为一个,所述解析线程与所述读取线程为预先创建的独立线程。
7.根据权利要求6所述的设备,其特征在于,还包括:
第一缓存单元,用于缓存已完成解析的数据文件的文件名;
比较单元,用于将再次扫描获得的数据文件的文件名与所述缓存的文件名进行比较。
8.根据权利要求6所述的设备,其特征在于,还包括:
第二缓存单元,用于将经过解析的文件数据缓存到内存或缓存文件中。
9.根据权利要求8所述的设备,其特征在于,还包括:
第三触发单元,用于触发多个分发线程按预设的分发方式对缓存的文件数据进行分发。
10.根据权利要求6所述的设备,其特征在于,还包括:
筛选单元,用于当同时扫描到多个数据文件时,依据各个数据文件的文件名对各个数据文件进行筛选。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710282096.9A CN107154968A (zh) | 2017-04-26 | 2017-04-26 | 一种数据处理方法及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710282096.9A CN107154968A (zh) | 2017-04-26 | 2017-04-26 | 一种数据处理方法及设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN107154968A true CN107154968A (zh) | 2017-09-12 |
Family
ID=59792560
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710282096.9A Pending CN107154968A (zh) | 2017-04-26 | 2017-04-26 | 一种数据处理方法及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107154968A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108959456A (zh) * | 2018-06-15 | 2018-12-07 | 珠海格力电器股份有限公司 | 一种自动恢复补全数据的方法 |
CN109683984A (zh) * | 2018-12-14 | 2019-04-26 | 拉扎斯网络科技(上海)有限公司 | 数据热加载方法、装置、电子设备及计算机可读存储介质 |
CN111414337A (zh) * | 2019-01-08 | 2020-07-14 | 阿里巴巴集团控股有限公司 | 一种文件读取方法、装置、计算设备及存储介质 |
CN112486592A (zh) * | 2020-11-30 | 2021-03-12 | 成都新希望金融信息有限公司 | 分布式数据处理方法、装置、服务器及可读存储介质 |
CN113885811A (zh) * | 2021-10-19 | 2022-01-04 | 展讯通信(天津)有限公司 | 一种数据接收方法、装置、芯片和电子设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103164538A (zh) * | 2013-04-11 | 2013-06-19 | 深圳市华力特电气股份有限公司 | 一种数据解析方法和装置 |
CN103631565A (zh) * | 2013-11-13 | 2014-03-12 | 北京像素软件科技股份有限公司 | 场景资源的加载方法和加载装置 |
CN104090891A (zh) * | 2013-12-12 | 2014-10-08 | 深圳市腾讯计算机系统有限公司 | 数据处理方法、装置、数据处理服务器及系统 |
US20150227565A1 (en) * | 2014-02-11 | 2015-08-13 | International Business Machines Corporation | Efficient caching of huffman dictionaries |
CN105869048A (zh) * | 2016-03-28 | 2016-08-17 | 中国建设银行股份有限公司 | 一种数据处理方法及系统 |
-
2017
- 2017-04-26 CN CN201710282096.9A patent/CN107154968A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103164538A (zh) * | 2013-04-11 | 2013-06-19 | 深圳市华力特电气股份有限公司 | 一种数据解析方法和装置 |
CN103631565A (zh) * | 2013-11-13 | 2014-03-12 | 北京像素软件科技股份有限公司 | 场景资源的加载方法和加载装置 |
CN104090891A (zh) * | 2013-12-12 | 2014-10-08 | 深圳市腾讯计算机系统有限公司 | 数据处理方法、装置、数据处理服务器及系统 |
US20150227565A1 (en) * | 2014-02-11 | 2015-08-13 | International Business Machines Corporation | Efficient caching of huffman dictionaries |
CN105869048A (zh) * | 2016-03-28 | 2016-08-17 | 中国建设银行股份有限公司 | 一种数据处理方法及系统 |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108959456A (zh) * | 2018-06-15 | 2018-12-07 | 珠海格力电器股份有限公司 | 一种自动恢复补全数据的方法 |
CN109683984A (zh) * | 2018-12-14 | 2019-04-26 | 拉扎斯网络科技(上海)有限公司 | 数据热加载方法、装置、电子设备及计算机可读存储介质 |
CN109683984B (zh) * | 2018-12-14 | 2022-01-28 | 拉扎斯网络科技(上海)有限公司 | 数据热加载方法、装置、电子设备及计算机可读存储介质 |
CN111414337A (zh) * | 2019-01-08 | 2020-07-14 | 阿里巴巴集团控股有限公司 | 一种文件读取方法、装置、计算设备及存储介质 |
CN111414337B (zh) * | 2019-01-08 | 2023-05-26 | 阿里巴巴集团控股有限公司 | 一种文件读取方法、装置、计算设备及存储介质 |
CN112486592A (zh) * | 2020-11-30 | 2021-03-12 | 成都新希望金融信息有限公司 | 分布式数据处理方法、装置、服务器及可读存储介质 |
CN112486592B (zh) * | 2020-11-30 | 2024-04-02 | 成都新希望金融信息有限公司 | 分布式数据处理方法、装置、服务器及可读存储介质 |
CN113885811A (zh) * | 2021-10-19 | 2022-01-04 | 展讯通信(天津)有限公司 | 一种数据接收方法、装置、芯片和电子设备 |
CN113885811B (zh) * | 2021-10-19 | 2023-09-19 | 展讯通信(天津)有限公司 | 一种数据接收方法、装置、芯片和电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107154968A (zh) | 一种数据处理方法及设备 | |
CN110428127B (zh) | 自动化分析方法、用户设备、存储介质及装置 | |
US20190102351A1 (en) | Generating configuration information for obtaining web resources | |
US8739024B2 (en) | Method and apparatus for processing world wide web page | |
CN108039959A (zh) | 一种数据的态势感知方法、系统及相关装置 | |
CN106027595A (zh) | 用于cdn节点的访问日志处理方法及系统 | |
CN104699529B (zh) | 一种信息获取方法及装置 | |
CN104331328A (zh) | 虚拟资源调度方法和虚拟资源调度装置 | |
CN102833111A (zh) | 一种可视化http数据监管方法及装置 | |
CN109448075A (zh) | 一种图片处理方法和服务器 | |
CN103605736B (zh) | 转化数据的处理方法及装置 | |
Liu et al. | Request dependency graph: A model for web usage mining in large-scale web of things | |
CN105426407A (zh) | 一种基于内容分析的web数据采集方法 | |
CN110020310A (zh) | 资源加载的方法、装置、终端及存储介质 | |
CN104735063B (zh) | 一种用于云基础设施的安全评测方法 | |
CN109063040A (zh) | 客户端程序数据采集方法及系统 | |
WO2020211351A1 (zh) | 使用爬虫获取外部数据的方法及装置 | |
CN103678312B (zh) | 一种推荐网址的方法与客户端 | |
CN107046581A (zh) | 一种服务运行状态的监测方法、装置及服务器 | |
CN116028192A (zh) | 一种多源异构数据采集方法、装置和存储介质 | |
CN115952050A (zh) | 机构服务埋点数据的上报方法和装置 | |
CN112929237B (zh) | 网站细分流量的分析方法、系统、设备和介质 | |
DE102021129862A1 (de) | Verfahren und Einrichtung zum Identifizieren von Hardwareperformanzzählereignissen zum Detektieren und Klassifizieren von Malware oder Arbeitslast unter Verwendung künstlicher Intelligenz | |
Xu et al. | The application of web crawler in city image research | |
CN114765599A (zh) | 子域名采集方法、装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170912 |