CN103747048A - 一种信息处理方法和装置 - Google Patents

一种信息处理方法和装置 Download PDF

Info

Publication number
CN103747048A
CN103747048A CN201310723585.5A CN201310723585A CN103747048A CN 103747048 A CN103747048 A CN 103747048A CN 201310723585 A CN201310723585 A CN 201310723585A CN 103747048 A CN103747048 A CN 103747048A
Authority
CN
China
Prior art keywords
daily record
record data
journal file
data format
electric terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201310723585.5A
Other languages
English (en)
Inventor
张海波
张建蕊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LeTV Cloud Computing Co Ltd
Original Assignee
LeTV Information Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LeTV Information Technology Beijing Co Ltd filed Critical LeTV Information Technology Beijing Co Ltd
Priority to CN201310723585.5A priority Critical patent/CN103747048A/zh
Publication of CN103747048A publication Critical patent/CN103747048A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明的实施例提供一种信息处理方法和装置,涉及电子信息技术领域,解决了现有的日志数据的采集和分析处理方案对机器的要求高、实时性差、得到的分析结果不准确的问题,极大的提高了对数据分析的实时性,保证了得到的分析结果的准确性。同时,极大的减少了操作复杂度,降低了成本。该方法具体包括:选择与其连接的部分电子终端,并从所述部分电子终端获取日志文件;从所述日志文件中获取日志数据;通过计算节点对获取到的所述日志数据进行分析;其中,所述计算节点是所述服务器预先设置的;根据对所述日志数据的分析结果,对所述电子终端中的各个资源进行重新排布。本发明应用于分布式计算日志分析中。

Description

一种信息处理方法和装置
技术领域
本发明涉及电子信息技术领域,尤其涉及一种信息处理方法和装置。
背景技术
随着科技的不断发展和更新,人们对电子产品的使用越来越多,电子产品在人们的生活中占据了越来越重要的作用。很多电子产品例如电脑在运行的过程中会有专门的日志文件来记录电脑中的各种操作,终端一般是通过服务器来进行统一管理的。一个服务器可能会负责管理好几个终端,因此服务器可以通过对日志文件中数据的采集和分析来统一管理各个终端,达到各个终端中的资源的最优利用。
现有技术中通常采用的方案通常是采用分布式系统基础架构hadoop来实现对数据的采集和处理的,但是这种方案需要搭建hadoop群集,需要将日志文件导入hadoop系统,操作起来比较麻烦,对机器的要求和后期维护的要求较高。同时hadoop是一种批处理的计算模式,因此得到的日志文件的实时性较差,这样导致得到的分析结果也不准确,导致依据该分析结果进行的终端操作不及时、不准确。
发明内容
本发明的实施例提供一种信息处理方法和装置,解决了现有的日志数据的采集和分析处理方案对硬件配置要求高、数据获取实时性差、得到的分析结果不准确,从而导致依据该分析结果进行的终端操作不及时、不准确问题。在不需要较高的硬件配置的前提下,极大的提高了对数据分析的实时性,准确性,以便于依据该分析结果对电子终端进行及时、准确的操作。
为达到上述目的,本发明的实施例采用如下技术方案:
第一方面,提供一种信息处理方法,应用于服务器,所述方法包括:
所述服务器选择与其连接的部分电子终端,并从所述部分电子终端获取日志文件;
从所述日志文件中获取日志数据;其中,所述日志数据中包括所述电子终端的资源使用情况;
通过计算节点对获取到的所述日志数据进行分析;其中,所述计算节点是所述服务器预先设置的;
根据对所述日志数据的分析结果,对所述电子终端中的各个资源进行重新排布。
在第一种可能的实现方式中,结合第一方面,所述从所述日志文件中获取日志数据之后,还包括:
获取所述日志数据的数据格式;
查找在所述日志数据的数据格式中占比例最大的数据格式,并将所述在所述日志数据的数据格式中占比例最大的数据格式作为标准数据格式;
将获取到的所述日志数据进行格式转换,获得所述标准数据格式的日志数据。
在第二种可能的实现方式中,结合第一方面,所述从所述日志文件中获取日志数据之后,还包括:
获取标准数据格式;其中,所述标准数据格式是所述服务器优选识别的数据格式或者所述服务器广泛使用的数据格式;
将获取到的所述日志数据的数据进行格式转换,获得所述标准数据格式的日志数据。
在第三种可能的实现方式中,结合第一方面,所述日志文件中包括维度信息和资源指标信息,所述从所述日志文件中获取日志数据包括:
获取所述日志文件的维度;其中,所述维度包括:时间和位置;
根据所述日志文件的维度,从所述日志文件中获取日志数据集合;
获取所述日志文件中资源指标;其中,所述指标包括:所述电子终端的带宽、用户对所述电子终端的访问次数、所述电子终端中的文件数和所述电子终端中的用户数;
根据所述日志文件中的指标,从获取到的所述日志数据集合中获取所述日志文件的日志数据。
在第四种可能的实现方式中,结合第一方面,所述通过计算节点对获取到的所述日志数据进行分析之前,还包括:
获取所述日志数据的业务量;
根据获取到的所述日志数据的业务量,设置相应数量的所述计算节点。
第二方面,提供一种信息处理装置,其特征在于,所述装置包括:
获取单元,用于选择与其连接的部分电子终端,并从所述部分电子终端获取日志文件;
所述获取单元,还用于从所述日志文件中获取日志数据;其中,所述日志数据中包括所述电子终端的资源使用情况;
分析单元,用于通过计算节点对获取到的所述日志数据进行分析;其中,所述计算节点是所述服务器预先设置的;
处理单元,用于根据对所述日志数据的分析结果,对所述电子终端中的各个资源进行重新排布。
在第一种可能的实现方式中,结合第二方面,所述装置还包括:
所述获取单元,还用于获取所述日志数据的数据格式;
查找单元,用于查找在所述日志数据的数据格式中占比例最大的数据格式,并将所述在所述日志数据的数据格式中占比例最大的数据格式作为标准数据格式;
转换单元,用于将获取到的所述日志数据进行格式转换,获得所述标准数据格式的日志数据。
在第二种可能的实现方式中,结合第二方面,
所述获取单元,还用于获取标准数据格式;其中,所述标准数据格式是所述服务器优选识别的数据格式或者所述服务器广泛使用的数据格式;
所述转换单元,还用于将获取到的所述日志数据进行格式转换,获得所述标准数据格式的日志数据。
在第三种可能的实现方式中,结合第二方面,所述获取单元包括:
第一获取模块,用于获取所述日志文件的维度;其中,所述维度包括:时间和位置;
第二获取模块,用于根据所述日志文件的维度,从所述日志文件中获取日志数据集合;
所述第一获取模块,还用于获取所述日志文件中的资源指标;其中,所述资源指标包括:所述电子终端的带宽、用户对所述电子终端的访问次数、所述电子终端中的文件数和所述电子终端中的用户数;
所述第二获取模块,还用于根据所述日志文件的指标,从获取到的所述日志数据集合中获取所述日志文件的日志数据。
在第四种可能的实现方式中,结合第二方面,所述装置还包括:
所述获取单元,还用于获取所述日志数据的业务量;
设置单元,用于根据获取到的所述日志数据的业务量,设置相应数量的所述计算节点。
本发明的实施例提供的信息处理方法和装置,通过从电子终端获取需要采集的电子终端的日志文件;从日志文件中获取日志数据;通过计算节点对获取到的日志数据进行分析;根据对日志数据的分析结果,对终端中的各个资源进行重新排布,解决了现有的日志数据的采集和分析处理方案对机器的要求高、实时性差、得到的分析结果不准确的问题,极大的提高了对数据分析的实时性,保证了得到的分析结果的准确性。同时,极大的减少了操作复杂度,降低了成本。以便于依据该分析结果对电子终端进行及时、准确的操作。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明的实施例提供的一种信息处理方法的流程示意图;
图2为本发明的实施例提供的另一种信息处理方法的流程示意图;
图3为本发明的实施例提供的又一种信息处理方法的流程示意图;
图4为本发明的实施例提供的一种信息处理装置的结构示意图;
图5为本发明的实施例提供的另一种信息处理装置的结构示意图;
图6为本发明的实施例提供的又一种信息处理装置的结构示意图;
图7为本发明的实施例提供的再一种信息处理装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的实施例提供一种信息处理方法,应用于服务器,参照图1所示,该方法包括以下步骤:
101、服务器选择与其连接的部分电子终端,并从该部分电子终端获取日志文件。
其中,多个电子终端可以具有一个服务器,本实施例中的服务器可以只获取需要采集的电子终端的日志文件,而不是获取所有的电子终端的日志文件。
102、服务器从日志文件中获取日志数据。
其中,该日志数据中包括电子终端的资源使用情况。
具体的,服务器可以检测获取到的日志文件,从日志文件中获取电子终端中各个不同的资源对应的日志数据。
103、服务器通过计算节点对获取到的日志数据进行分析。
其中,计算节点是服务器预先设置的。
具体的,服务器对获取到的日志数据进行分析可以为:分析各个电子终端中的相同资源在对应电子终端中的使用频率,可以将资源量多但是使用频率小的电子终端中的资源量减小,可以将资源量少但使用频率大的电子终端中的资源量增大,使得所有的资源可以分散的分布。
104、服务器根据对日志数据的分析结果,对终端中的各个资源进行重新排布。
本实施例中提供的信息处理方法,只要是获取到日志数据之后,就对该日志数据进行分析,可以实现实时处理数据。
本发明的实施例提供的信息处理方法,通过从电子终端获取需要采集的电子终端的日志文件;从日志文件中获取日志数据;通过计算节点对获取到的日志数据进行分析;根据对日志数据的分析结果,对终端中的各个资源进行重新排布,解决了现有的日志数据的采集和分析处理方案对机器的要求高、实时性差、得到的分析结果不准确的问题,极大的提高了对数据分析的实时性,保证了得到的分析结果的准确性。同时,极大的减少了操作复杂度,降低了成本。也便于依据该分析结果对电子终端进行及时、准确的操作。
本发明的实施例提供一种信息处理方法,应用于服务器,参照图2所示,该方法包括以下步骤:
201、服务器选择与其连接的部分电子终端,并从该部分电子终端获取日志文件。
多个电子终端可以具有一个服务器,各个电子终端的日志文件存储在相应的电子终端中。服务器可以通过向需要采集日志文件的电子终端发送采集指令,各个对应的电子终端接收到服务器发送的采集指令后发送各自的日志文件给服务器。
当然此处只是举例说明一种服务器获取电子终端的日志文件的方法,并不局限于此,现有的技术方案中任何一种可行的可以获取电子终端的日志文件的方案都可以。
202、服务器获取日志文件的维度。
其中,维度可以包括:时间、位置等类似的信息。
服务器可以先根据日志文件的维度例如:时间,将需要获取的日志文件划分为几个大的范围,根据日志文件的维度划分的范围获取日志数据集合。日志文件的位置可以为日志文件所在的电子终端的Ip地址、MAC地址等能够区别电子终端的信息,或者是电子终端所属的服务器的标识或者是电子终端所属的局域网络标识。
203、服务器根据日志文件的维度,从日志文件中获取日志数据集合。
每一个日志文件都包含大量日志数据。根据日志文件的维度选择合适的日志文件,将所选择的日志文件组成日志数据集合,该日志数据集合中包括了该维度例如时间段内需要采集的所有日志文件的日志数据。
204、服务器获取日志文件中的资源指标。
其中,资源指标可以包括:电子终端的带宽、用户对电子终端的访问次数、电子终端中的文件数、电子终端中的用户数等与此类似的信息。
在一个日志文件中,记录了电子终端的不同资源指标。
205、服务器根据日志文件中的指标,从获取到的日志数据集合中获取日志文件的日志数据。
具体的,根据之前按照日志文件的维度划分获取日志数据集合后,再按照日志文件的指标进一步细化日志文件,根据日志文件的指标进一步在日志数据集合中获取选择的日志文件包含的日志数据。此时,获取到的日志数据可以为不同的电子终端的同一资源的不同信息,例如:在某一时间段内的需要采集的各个电子终端的带宽的大小和访问次数。
206、服务器获取日志数据的数据格式。
207、服务器查找在日志数据的数据格式中占比例最大的数据格式,并将在日志数据的数据格式中占比例最大的数据格式作为标准数据格式。
208、服务器将获取到的日志数据进行格式转换,获得标准数据格式的日志数据。
具体的,具有同一服务器的不同电子终端的日志文件中的日志数据的格式可以不同,每个电子终端都具有自己的数据格式,本实施例中可以先在所有日志数据的数据格式中查找在所有的数据格式中占比例最高的数据格式,并将该数据格式作为标准数据格式。之后,将获取到的日志数据的数据格式全部转换为该标准数据格式。这样,服务器在识别这些日志数据时的速度更快。
209、服务器通过计算节点对获取到的日志数据进行分析。
其中,计算节点是服务器预先设置的。
计算节点的个数可以是不止一个,可以让各个计算节点同时分析不同的日志数据,可以再最短时间内,较快速的完成对日志数据的分析,可以极大地提高服务器的工作效率。
210、服务器根据对日志数据的分析结果,对电子终端中的各个资源进行重新排布。
具体的,服务器对得到的日志数据进行分析,具体判断同一资源在不同电子终端中的使用率或者占用率,根据实际的使用情况合理的分配各个资源在不同电子终端中的分布,是的同一资源在不同电子终端中可以分散的分布。例如:在同一时间段内,第一电子终端的带宽较大,需要传输的文件数很少;而第二电子终端的带宽较小,需要传输的文件数却很多。此时,服务器可以减小第一电子终端的带宽,增大第二电子终端的带宽,避免对带宽的不必要的浪费,合理的分配各个电子终端的带宽。同时,服务器可以获取下一时间段内第一电子终端和第二电子终端的带宽和需要传输的文件数,若此时第一电子终端对带宽较小,需要传输的文件数却很多;第二电子终端的带宽较大,需要传输的文件数很少;则服务器可以继续合理的分配第一电子终端和第二电子终端中的带宽分布。实时的对电子终端进行中的资源进行监控,对其进行处理达到合理分配的目的。
本发明的实施例提供的信息处理方法,通过从电子终端获取需要采集的电子终端的日志文件;从日志文件中获取日志数据;通过计算节点对获取到的日志数据进行分析;根据对日志数据的分析结果,对终端中的各个资源进行重新排布,解决了现有的日志数据的采集和分析处理方案对机器的要求高、实时性差、得到的分析结果不准确的问题,极大的提高了对数据分析的实时性,保证了得到的分析结果的准确性。同时,极大的减少了操作复杂度,降低了成本。进而,可以提高工作效率。依据该分析结果对电子终端进行及时、准确的资源重排操作,也可以更好地提高网络稳定性,合理利用网络资源。
本发明的实施例提供一种信息处理方法,应用于服务器,参照图3所示,该方法包括以下步骤:
301、服务器选择与其连接的部分电子终端,并从该部分电子终端获取日志文件。
302、服务器获取日志文件的维度。
其中,维度可以包括:时间、位置等类似的信息。
303、服务器根据日志文件的维度,从日志文件中获取日志数据集合。
304、服务器获取日志文件中的资源指标。
其中,资源指标可以包括:电子终端的带宽、用户对电子终端的访问次数、电子终端中的文件数、电子终端中的用户数等与此类似的信息。
305、服务器根据日志文件中的指标,从获取到的日志数据集合中获取日志文件的日志数据。
306、服务器获取标准数据格式。
其中,该标准数据格式是服务器优选识别的数据格式或者服务器广泛使用的数据格式。
307、服务器将获取到的日志数据进行格式转换,获得标准数据格式的日志数据。
具体的,本实施例中获取标准数据格式的方法与上述实施中不同。本实施例中是根据服务器识别不同的数据格式耗费的时间,选服务器最容易识别的数据格式,并将最容易识别的数据格式作为标准数据格式。其中,一种可行的方案是判断服务器识别哪种数据格式耗费的时间最短,则认为耗费时间最短的数据格式为服务器最优先识别的格式。或者,选取服务器广泛使用的数据格式作为标准数据格式。一种可行的方法为在服务器使用的所有数据格式中选取使用频率最多的数据格式,则认识该数据格式为服务器广泛使用的数据格式。
308、服务器获取日志数据的业务量。
309、服务器根据获取到的日志数据的业务量,设置相应数量的计算节点。
具体的,计算节点的个数可以根据日志数据的业务量进行随意的修改。当需要分析的日志数据业务量增大时可以增大计算节点的数量;当需要分析的日志数据的业务量减小时,可以减少计算节点的数量,对日志数据进行最快、最优的分析。
310、服务器通过计算节点对获取到的日志数据进行分析。
其中,计算节点是服务器预先设置的。
311、服务器根据对日志数据的分析结果,对电子终端中的各个资源进行重新排布。
需要说明的是本实施例中与上述实施例中相同的步骤,对相关步骤的描述参照上述实施例中的描述,此处不再赘述。
本实施例中提供的信息处理方法,在图2对应的实施例的基础上采用不同的方法获取标准数据格式,并可以根据日志数据的业务量设置计算节点的个数,使得日式数据可以以最快的速度在最短的时间内分析完成,可以减少对计算节点的不必要的浪费,合理的设置计算节点的个数。更大程度的提高了服务器的工作效率。
本发明的实施例提供的信息处理方法,通过从电子终端获取需要采集的电子终端的日志文件;从日志文件中获取日志数据;通过计算节点对获取到的日志数据进行分析;根据对日志数据的分析结果,对终端中的各个资源进行重新排布,解决了现有的日志数据的采集和分析处理方案对机器的要求高、实时性差、得到的分析结果不准确的问题,极大的提高了对数据分析的实时性,保证了得到的分析结果的准确性。同时,极大的减少了操作复杂度,降低了成本。进而,可以提高服务器的工作效率。依据该分析结果对电子终端进行及时、准确的资源重排操作,也可以更好地提高网络稳定性,合理利用网络资源。
本发明的实施例提供一种信息处理装置4,该装置4用于实现图1~图3中的任一对应的方法实施例所提供的信息处理方法,参照4所示,该装置包括:获取单元41、分析单元42和处理单元43,其中:
获取单元41,用于选择与其连接的部分电子终端,并从该部分电子终端获取日志文件。
获取单元41,还用于从日志文件中获取日志数据。
其中,日志数据中包括电子终端的资源使用情况。
分析单元42,用于通过计算节点对获取到的日志数据进行分析。
其中,计算节点是服务器预先设置的。
处理单元43,用于根据对日志数据的分析结果,对电子终端中的各个资源进行重新排布。
本发明的实施例提供的信息处理装置,通过从电子终端获取需要采集的电子终端的日志文件;从日志文件中获取日志数据;通过计算节点对获取到的日志数据进行分析;根据对日志数据的分析结果,对终端中的各个资源进行重新排布,解决了现有的日志数据的采集和分析处理方案对机器的要求高、实时性差、得到的分析结果不准确的问题,极大的提高了对数据分析的实时性,保证了得到的分析结果的准确性。同时,极大的减少了操作复杂度,降低了成本。
进一步,参照图5所示,该装置还包括:查找单元44和转换单元45,其中:
获取单元41,还用于获取日志数据的数据格式。
查找单元44,用于查找在日志数据的数据格式中占比例最大的数据格式,并将在日志数据的数据格式中占比例最大的数据格式作为标准数据格式。
转换单元45,用于将获取到的日志数据进行格式转换,获得标准数据格式的日志数据。
该获取单元41,还用于获取标准数据格式。
其中,该标准数据格式是服务器优选识别的数据格式或者服务器广泛使用的数据格式。
转换单元45,还用于将获取到的日志数据进行格式转换,获得标准数据格式的日志数据。
具体的,参照图6所示,获取单元41包括:第一获取模块411和第二获取模块412,其中:
第一获取模块411,用于获取日志文件的维度。
其中,维度可以包括:时间和位置。
第二获取模块412,用于根据志文件的维度,从日志文件中获取日志数据集合。
第一获取模块411,还用于获取日志文件中的资源指标。
其中,资源指标可以包括:电子终端的带宽、用户对电子终端的访问次数、电子终端中的文件数和电子终端中的用户数。
第二获取模块412,还用于根据日志文件的指标,从获取到的日志数据集合中获取日志文件的日志数据。
进一步,参照图7所示,该装置还包括:设置单元46,其中:
获取单元41,还用于获取日志数据的业务量。
设置单元46,用于根据获取到的日志数据的业务量,设置相应数量的计算节点。
需要说明的是,本实施例中的信息处理的装置中的各单元和各模块的实现方式和交互过程可以参考相应方法实施例中的相关描述。
本发明的实施例提供的信息处理装置,通过从电子终端获取需要采集的电子终端的日志文件;从日志文件中获取日志数据;通过计算节点对获取到的日志数据进行分析;根据对日志数据的分析结果,对终端中的各个资源进行重新排布,解决了现有的日志数据的采集和分析处理方案对机器的要求高、实时性差、得到的分析结果不准确的问题,极大的提高了对数据分析的实时性,保证了得到的分析结果的准确性。同时,极大的减少了操作复杂度,降低了成本。进而,可以提高服务器的工作效率。依据该分析结果对电子终端进行及时、准确的资源重排操作,也可以更好地提高网络稳定性,合理利用网络资源。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种信息处理方法,应用于服务器,其特征在于,所述方法包括:
所述服务器选择与其连接的部分电子终端,并从所述部分电子终端获取日志文件;
从所述日志文件中获取日志数据;其中,所述日志数据中包括所述电子终端的资源使用情况;
通过计算节点对获取到的所述日志数据进行分析;其中,所述计算节点是所述服务器预先设置的;
根据对所述日志数据的分析结果,对所述电子终端中的各个资源进行重新排布。
2.根据权利要求1所述的方法,其特征在于,所述从所述日志文件中获取日志数据之后,还包括:
获取所述日志数据的数据格式;
查找在所述日志数据的数据格式中占比例最大的数据格式,并将所述在所述日志数据的数据格式中占比例最大的数据格式作为标准数据格式;
将获取到的所述日志数据进行格式转换,获得所述标准数据格式的日志数据。
3.根据权利要求1所述的方法,其特征在于,所述从所述日志文件中获取日志数据之后,还包括:
获取标准数据格式;其中,所述标准数据格式是所述服务器优选识别的数据格式或者所述服务器广泛使用的数据格式;
将获取到的所述日志数据进行格式转换,获得所述标准数据格式的日志数据。
4.根据权利要求1所述的方法,其特征在于,所述日志文件中包括维度信息和指标信息,所述从所述日志文件中获取日志数据包括:
获取所述日志文件的维度;其中,所述维度包括:时间和位置;
根据所述日志文件的维度,从所述日志文件中获取日志数据集合;
获取所述日志文件中的资源指标;其中,所述指标包括:所述电子终端的带宽、用户对所述电子终端的访问次数、所述电子终端中的文件数和所述电子终端中的用户数;
根据所述日志文件中的指标,从获取到的所述日志数据集合中获取所述日志文件的日志数据。
5.根据权利要求1所述的方法,其特征在于,所述通过计算节点对获取到的所述日志数据进行分析之前,还包括:
获取所述日志数据的业务量;
根据获取到的所述日志数据的业务量,设置相应数量的所述计算节点。
6.一种信息处理装置,其特征在于,所述装置包括:
获取单元,用于选择与其连接的部分电子终端,并从所述部分电子终端获取日志文件;
所述获取单元,还用于从所述日志文件中获取日志数据;其中,所述日志数据中包括所述电子终端的资源使用情况;
分析单元,用于通过计算节点对获取到的所述日志数据进行分析;其中,所述计算节点是所述服务器预先设置的;
处理单元,用于根据对所述日志数据的分析结果,对所述电子终端中的各个资源进行重新排布。
7.根据权利要求6所述的装置,其特征在于,所述装置还包括:
所述获取单元,还用于获取所述日志数据的数据格式;
查找单元,用于查找在所述日志数据的数据格式中占比例最大的数据格式,并将所述在所述日志数据的数据格式中占比例最大的数据格式作为标准数据格式;
转换单元,用于将获取到的所述日志数据进行格式转换,获得所述标准数据格式的日志数据。
8.根据权利要求6所述的装置,其特征在于,
所述获取单元,还用于获取标准数据格式;其中,所述标准数据格式是所述服务器优选识别的数据格式或者所述服务器广泛使用的数据格式;
所述转换单元,还用于将获取到的所述日志数据进行格式转换,获得所述标准数据格式的日志数据。
9.根据权利要求6所述的装置,其特征在于,所述获取单元包括:
第一获取模块,用于获取所述日志文件的维度;其中,所述维度包括:时间和位置;
第二获取模块,用于根据所述日志文件的维度,从所述日志文件中获取日志数据集合;
所述第一获取模块,还用于获取所述日志文件中的资源指标;其中,所述指标包括:所述电子终端的带宽、用户对所述电子终端的访问次数、所述电子终端中的文件数和所述电子终端中的用户数;
所述第二获取模块,还用于根据所述日志文件的指标,从获取到的所述日志数据集合中获取所述日志文件的日志数据。
10.根据权利要求6所述的装置,其特征在于,所述装置还包括:
所述获取单元,还用于获取所述日志数据的业务量;
设置单元,用于根据获取到的所述日志数据的业务量,设置相应数量的所述计算节点。
CN201310723585.5A 2013-12-24 2013-12-24 一种信息处理方法和装置 Pending CN103747048A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310723585.5A CN103747048A (zh) 2013-12-24 2013-12-24 一种信息处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310723585.5A CN103747048A (zh) 2013-12-24 2013-12-24 一种信息处理方法和装置

Publications (1)

Publication Number Publication Date
CN103747048A true CN103747048A (zh) 2014-04-23

Family

ID=50504035

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310723585.5A Pending CN103747048A (zh) 2013-12-24 2013-12-24 一种信息处理方法和装置

Country Status (1)

Country Link
CN (1) CN103747048A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106936652A (zh) * 2015-12-29 2017-07-07 北京喜乐航科技股份有限公司 多终端设备的数据传输方法、装置及系统
US9917758B2 (en) 2015-03-25 2018-03-13 International Business Machines Corporation Optimizing log analysis in SaaS environments

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080133733A1 (en) * 2006-11-13 2008-06-05 Abb Technology Ag Realtime process history server
CN101662648A (zh) * 2008-08-29 2010-03-03 松下电器产业株式会社 用户视听率信息收集方法、用户终端和系统
CN102426575A (zh) * 2011-07-28 2012-04-25 中兴通讯股份有限公司 Iptv数据采集方法及系统
CN102790686A (zh) * 2011-05-17 2012-11-21 浙江核新同花顺网络信息股份有限公司 日志数据采集方法、系统及服务器
CN103051956A (zh) * 2012-12-24 2013-04-17 乐视致新电子科技(天津)有限公司 一种实现日志上报和故障诊断的机顶盒及其方法
CN103425568A (zh) * 2013-08-23 2013-12-04 新浪网技术(中国)有限公司 日志信息处理方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080133733A1 (en) * 2006-11-13 2008-06-05 Abb Technology Ag Realtime process history server
CN101662648A (zh) * 2008-08-29 2010-03-03 松下电器产业株式会社 用户视听率信息收集方法、用户终端和系统
CN102790686A (zh) * 2011-05-17 2012-11-21 浙江核新同花顺网络信息股份有限公司 日志数据采集方法、系统及服务器
CN102426575A (zh) * 2011-07-28 2012-04-25 中兴通讯股份有限公司 Iptv数据采集方法及系统
CN103051956A (zh) * 2012-12-24 2013-04-17 乐视致新电子科技(天津)有限公司 一种实现日志上报和故障诊断的机顶盒及其方法
CN103425568A (zh) * 2013-08-23 2013-12-04 新浪网技术(中国)有限公司 日志信息处理方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9917758B2 (en) 2015-03-25 2018-03-13 International Business Machines Corporation Optimizing log analysis in SaaS environments
US10171329B2 (en) 2015-03-25 2019-01-01 International Business Machines Corporation Optimizing log analysis in SaaS environments
CN106936652A (zh) * 2015-12-29 2017-07-07 北京喜乐航科技股份有限公司 多终端设备的数据传输方法、装置及系统

Similar Documents

Publication Publication Date Title
CN102208991A (zh) 一种日志处理方法、设备和系统
CN103023693B (zh) 一种行为日志数据管理系统及方法
CN107306355B (zh) 一种内容推荐方法及服务器
CN103838867A (zh) 日志处理方法和装置
CN111258978B (zh) 一种数据存储的方法
CN102750326A (zh) 一种基于精简策略的集群系统的日志管理优化方法
CN103747042A (zh) 一种信息获取方法和装置
CN110381151A (zh) 一种异常设备检测方法及装置
CN1859224A (zh) 一种业务行为异常处理方法及系统
CN102521706A (zh) Kpi 数据的分析方法及装置
CN103702177A (zh) 一种视频文件的存储方法及播放器
CN110222795A (zh) 基于卷积神经网络的p2p流量的识别方法及相关装置
CN103200269A (zh) 互联网信息统计方法及系统
CN104270654A (zh) 互联网视频播放监测方法和装置
CN104462096A (zh) 舆情监测分析方法和装置
CN103746851A (zh) 一种实现独立用户数统计的方法及装置
CN111859127A (zh) 消费数据的订阅方法、装置及存储介质
CN103747048A (zh) 一种信息处理方法和装置
CN107332681A (zh) 一种故障维度分析方法及网络设备
CN112232290B (zh) 数据聚类方法、服务器、系统以及计算机可读存储介质
CN109033188A (zh) 一种元数据采集方法、装置、服务器和计算机可读介质
CN103902614A (zh) 一种数据处理方法、设备和系统
CN103746870A (zh) Cdn分发网络的分析方法、文件分发控制中心及系统
KR102331347B1 (ko) 클라우드 기반 분산 딥러닝 정보 분석관리를 이용한 객체추출 시스템
CN104750752A (zh) 一种上网偏好用户群体的确定方法和设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20160108

Address after: 100081 Beijing, Zhongguancun, South Street, No. 1, building 689, building 1153, No., No. 5

Applicant after: LETV CLOUD COMPUTING CO., LTD.

Address before: Room six, building 19, building 68, No. 100089 South Road, Haidian District, Beijing

Applicant before: LeTV Information Technology (Beijing) Co., Ltd.

RJ01 Rejection of invention patent application after publication

Application publication date: 20140423

RJ01 Rejection of invention patent application after publication