CN106897149A - 处理大数据的方法及系统 - Google Patents
处理大数据的方法及系统 Download PDFInfo
- Publication number
- CN106897149A CN106897149A CN201710117148.7A CN201710117148A CN106897149A CN 106897149 A CN106897149 A CN 106897149A CN 201710117148 A CN201710117148 A CN 201710117148A CN 106897149 A CN106897149 A CN 106897149A
- Authority
- CN
- China
- Prior art keywords
- big data
- processing equipment
- treatment
- collecting device
- load
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
- H04L67/1031—Controlling of the operation of servers by a load balancer, e.g. adding or removing servers that serve requests
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/50—Indexing scheme relating to G06F9/50
- G06F2209/5013—Request control
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/50—Indexing scheme relating to G06F9/50
- G06F2209/5022—Workload threshold
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer And Data Communications (AREA)
Abstract
本发明公开了一种处理大数据的方法，所述方法包括如下步骤：服务器获取待处理的大数据；服务器依据大数据的采集设备的类型将该大数据分配给该采集设备对应的处理设备处理；服务器建立处理列表，该处理列表包括：处理设备的标识以及负载量。本发明提供的技术方案具有处理效率低的优点。
Description
技术领域
本发明涉及数据处理领域，尤其涉及一种处理大数据的方法及系统。
背景技术
大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换而言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘。但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。随着云时代的来临，大数据(Big data)也吸引了越来越多的关注。《著云台》的分析师团队认为，大数据(Big data)通常用来形容一个公司创造的大量非结构化数据和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。
现有的大数据处理限于负载均衡的处理，无法将同类采集设备的处理分类处理，处理效率低。
发明内容
本申请提供一种处理大数据的方法。其解决现有技术的技术方案处理效率低的缺点。
一方面，提供一种处理大数据的方法，所述方法包括如下步骤：处理大数据的方法，所述方法包括如下步骤：
服务器获取待处理的大数据；
服务器依据大数据的采集设备的类型将该大数据分配给该采集设备对应的处理设备处理；
服务器建立处理列表，该处理列表包括：处理设备的标识以及负载量。
可选的，所述方法还包括：
服务器依据负载均衡原则对该处理设备的负载进行分配。
可选的，所述方法还包括：
服务器如处理设备的负载超过设定阈值，则停止接收该处理设备对应的采集设备的数据。
第二方面，提供一种处理大数据的系统，所述系统包括：
获取单元，用于获取待处理的大数据；
处理单元，用于依据大数据的采集设备的类型将该大数据分配给该采集设备对应的处理设备处理，建立处理列表，该处理列表包括：处理设备的标识以及负载量。
可选的，所述系统还包括：
处理单元，用于服务器依据负载均衡原则对该处理设备的负载进行分配。
可选的，所述系统还包括：
处理单元，用于如处理设备的负载超过设定阈值，则停止接收该处理设备对应的采集设备的数据。
第三方面，提供一种服务器，包括：处理器、无线收发器、存储器和总线，所述处理器、无线收发器、存储器通过总线连接，所述无线收发器，用于获取待处理的大数据；
所述处理器，用于依据大数据的采集设备的类型将该大数据分配给该采集设备对应的处理设备处理，建立处理列表，该处理列表包括：处理设备的标识以及负载量。
可选的，所述处理器，用于服务器依据负载均衡原则对该处理设备的负载进行分配。
可选的，所述处理器，用于如处理设备的负载超过设定阈值，则停止接收该处理设备对应的采集设备的数据。
本发明提供的技术方案将处理的数据按采集设备的类别进行分类处理，所以其具有处理效率高的优点。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明第一较佳实施方式提供的一种处理大数据的方法的流程图；
图2为本发明第二较佳实施方式提供的一种处理大数据的系统的结构图。
图3为本发明第二较佳实施方式提供的一种服务器的硬件结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参考图1，图1是本发明第一较佳实施方式提出的一种处理大数据的方法，该方法如图1所示，包括如下步骤：
步骤S101、服务器获取待处理的大数据。
步骤S102、服务器依据大数据的采集设备的类型将该大数据分配给该采集设备对应的处理设备处理。
步骤S103、服务器建立处理列表，该处理列表包括：处理设备的标识以及负载量。
本发明提供的技术方案将处理的数据按采集设备的类别进行分类处理，所以其具有处理效率高的优点。
可选的，服务器依据负载均衡原则对该处理设备的负载进行分配。
可选的，服务器如处理设备的负载超过设定阈值，则停止接收该处理设备对应的采集设备的数据。
请参考图2，图2是本发明第二较佳实施方式提出的一种处理大数据的系统，该系统如图2所示，包括：
获取单元201，用于获取待处理的大数据；
处理单元202，用于依据大数据的采集设备的类型将该大数据分配给该采集设备对应的处理设备处理，建立处理列表，该处理列表包括：处理设备的标识以及负载量。
本发明提供的技术方案将处理的数据按采集设备的类别进行分类处理，所以其具有处理效率高的优点。
可选的，处理单元202，用于服务器依据负载均衡原则对该处理设备的负载进行分配。
可选的，处理单元202，用于如处理设备的负载超过设定阈值，则停止接收该处理设备对应的采集设备的数据。
参阅图3，图3为一种服务器30，包括：处理器301、无线收发器302、存储器303和总线304，无线收发器302用于与外部设备之间收发数据。处理器301的数量可以是一个或多个。本申请的一些实施例中，处理器301、存储器302和收发器303可通过总线304或其他方式连接。服务器30可以用于执行图1的步骤。关于本实施例涉及的术语的含义以及举例，可以参考图1对应的实施例。此处不再赘述。
无线收发器302，用于获取待处理的大数据。
其中，存储器303中存储程序代码。处理器901用于调用存储器903中存储的程序代码，用于执行以下操作：
处理器301，用于依据大数据的采集设备的类型将该大数据分配给该采集设备对应的处理设备处理，建立处理列表，该处理列表包括：处理设备的标识以及负载量。
需要说明的是，这里的处理器301可以是一个处理元件，也可以是多个处理元件的统称。例如，该处理元件可以是中央处理器(Central Processing Unit，CPU)，也可以是特定集成电路(Application Specific Integrated Circuit，ASIC)，或者是被配置成实施本申请实施例的一个或多个集成电路，例如：一个或多个微处理器(digital singnalprocessor，DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，FPGA)。
存储器303可以是一个存储装置，也可以是多个存储元件的统称，且用于存储可执行程序代码或应用程序运行装置运行所需要参数、数据等。且存储器303可以包括随机存储器(RAM)，也可以包括非易失性存储器(non-volatile memory)，例如磁盘存储器，闪存(Flash)等。
总线304可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component，PCI)总线或扩展工业标准体系结构(ExtendedIndustry Standard Architecture，EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图3中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
该终端还可以包括输入输出装置，连接于总线304，以通过总线与处理器301等其它部分连接。该输入输出装置可以为操作人员提供一输入界面，以便操作人员通过该输入界面选择布控项，还可以是其它接口，可通过该接口外接其它设备。
需要说明的是，对于前述的各个方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某一些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其他实施例的相关描述。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取器(英文：Random Access Memory，简称：RAM)、磁盘或光盘等。
以上对本发明实施例所提供的内容下载方法及相关设备、系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (9)
1.一种处理大数据的方法，其特征在于，所述方法包括如下步骤：
服务器获取待处理的大数据；
服务器依据大数据的采集设备的类型将该大数据分配给该采集设备对应的处理设备处理；
服务器建立处理列表，该处理列表包括：处理设备的标识以及负载量。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
服务器依据负载均衡原则对该处理设备的负载进行分配。
3.根据权要求2所述的方法，其特征在于，所述方法还包括：
服务器如处理设备的负载超过设定阈值，则停止接收该处理设备对应的采集设备的数据。
4.一种处理大数据的系统，其特征在于，所述系统包括：
获取单元，用于获取待处理的大数据；
处理单元，用于依据大数据的采集设备的类型将该大数据分配给该采集设备对应的处理设备处理，建立处理列表，该处理列表包括：处理设备的标识以及负载量。
5.根据权利要求4所述的系统，其特征在于，所述系统还包括：
处理单元，用于服务器依据负载均衡原则对该处理设备的负载进行分配。
6.根据权利要求5所述的系统，其特征在于，所述系统还包括：
处理单元，用于如处理设备的负载超过设定阈值，则停止接收该处理设备对应的采集设备的数据。
7.一种服务器，包括：处理器、无线收发器、存储器和总线，所述处理器、无线收发器、存储器通过总线连接，其特征在于，
所述无线收发器，用于获取待处理的大数据；
所述处理器，用于依据大数据的采集设备的类型将该大数据分配给该采集设备对应的处理设备处理，建立处理列表，该处理列表包括：处理设备的标识以及负载量。
8.根据权利要求7所述的服务器，其特征在于，所述处理器，用于服务器依据负载均衡原则对该处理设备的负载进行分配。
9.根据权利要求7所述的服务器，其特征在于，所述处理器，用于如处理设备的负载超过设定阈值，则停止接收该处理设备对应的采集设备的数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710117148.7A CN106897149A (zh) | 2017-03-01 | 2017-03-01 | 处理大数据的方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710117148.7A CN106897149A (zh) | 2017-03-01 | 2017-03-01 | 处理大数据的方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106897149A true CN106897149A (zh) | 2017-06-27 |
Family
ID=59185337
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710117148.7A Pending CN106897149A (zh) | 2017-03-01 | 2017-03-01 | 处理大数据的方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106897149A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109032787A (zh) * | 2018-05-29 | 2018-12-18 | 北京奇艺世纪科技有限公司 | 一种任务分配方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103149982A (zh) * | 2013-03-07 | 2013-06-12 | 佟小龙 | 数据处理方法及系统 |
| CN105049268A (zh) * | 2015-08-28 | 2015-11-11 | 东方网力科技股份有限公司 | 分布式计算资源分配系统和任务处理方法 |
| CN105516347A (zh) * | 2015-12-31 | 2016-04-20 | 浙江大华系统工程有限公司 | 一种流媒体服务器的负载均衡调配的方法及装置 |
| CN106101232A (zh) * | 2016-06-16 | 2016-11-09 | 北京思源置地科技有限公司 | 负载均衡方法及装置 |
-
2017
- 2017-03-01 CN CN201710117148.7A patent/CN106897149A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103149982A (zh) * | 2013-03-07 | 2013-06-12 | 佟小龙 | 数据处理方法及系统 |
| CN105049268A (zh) * | 2015-08-28 | 2015-11-11 | 东方网力科技股份有限公司 | 分布式计算资源分配系统和任务处理方法 |
| CN105516347A (zh) * | 2015-12-31 | 2016-04-20 | 浙江大华系统工程有限公司 | 一种流媒体服务器的负载均衡调配的方法及装置 |
| CN106101232A (zh) * | 2016-06-16 | 2016-11-09 | 北京思源置地科技有限公司 | 负载均衡方法及装置 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109032787A (zh) * | 2018-05-29 | 2018-12-18 | 北京奇艺世纪科技有限公司 | 一种任务分配方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106875110A (zh) | 业务指标分层计算方法及装置、分布式计算方法及系统 | |
| US20210136122A1 (en) | Crowdsourced innovation laboratory and process implementation system | |
| CN103842972A (zh) | 基于性能要求自动选择功能以减少存储容量 | |
| US20210092160A1 (en) | Data set creation with crowd-based reinforcement | |
| CN104205115A (zh) | 使用不同安全擦除算法以从文件擦除与不同安全级别关联的组块 | |
| US20170124655A1 (en) | Quantification for investment vehicle management employing an advanced decision platform | |
| CN109146638A (zh) | 异常金融交易群体的识别方法及装置 | |
| US20210136121A1 (en) | System and method for creation and implementation of data processing workflows using a distributed computational graph | |
| CN112633842B (zh) | 任务推送方法、装置及系统 | |
| CN107528912A (zh) | 一种自动实现分布式事务处理的方法、系统及相关装置 | |
| CN106502875A (zh) | 一种基于云计算的日志生成方法及系统 | |
| CN106910025A (zh) | 大数据企业评价的方法及系统 | |
| CN106845869A (zh) | 基于大数据确定关联企业的方法及系统 | |
| CN115936895A (zh) | 基于人工智能的风险评估方法、装置、设备及存储介质 | |
| CN105988911A (zh) | 在系统日志中建立信任链 | |
| CN108009444A (zh) | 全文搜索的权限控制方法、装置与计算机可读存储介质 | |
| CN104484275A (zh) | 一种可远程测试智能卡的方法及系统 | |
| CN106897149A (zh) | 处理大数据的方法及系统 | |
| CN111951112A (zh) | 基于区块链的智能合约执行方法、终端设备和存储介质 | |
| US10929340B2 (en) | Email and identity migration based on relationship information | |
| CN106897443A (zh) | 大数据的划分方法及系统 | |
| KR102351300B1 (ko) | 공공기관 인증 플랫폼 제공 방법 및 시스템 | |
| CN106708869A (zh) | 一种群组数据处理的方法及装置 | |
| CN104935673A (zh) | 基于云计算的网格化大数据挖掘系统 | |
| CN111552847B (zh) | 一种变更对象数量的方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170627 |