CN107741879A - 一种大数据处理方法及其装置 - Google Patents

一种大数据处理方法及其装置 Download PDF

Info

Publication number
CN107741879A
CN107741879A CN201710996794.5A CN201710996794A CN107741879A CN 107741879 A CN107741879 A CN 107741879A CN 201710996794 A CN201710996794 A CN 201710996794A CN 107741879 A CN107741879 A CN 107741879A
Authority
CN
China
Prior art keywords
big data
data
big
processor
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710996794.5A
Other languages
English (en)
Inventor
杨吉东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Yunhai Information Technology Co Ltd
Original Assignee
Zhengzhou Yunhai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Yunhai Information Technology Co Ltd filed Critical Zhengzhou Yunhai Information Technology Co Ltd
Priority to CN201710996794.5A priority Critical patent/CN107741879A/zh
Publication of CN107741879A publication Critical patent/CN107741879A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种大数据处理方法及其装置。该方法，包括：获取至少一个第一大数据；采用分布式处理将所述至少一个第一大数据通过数据处理器进行处理，获得数据处理结果，所述数据处理器用于根据所述第一大数据的参数信息，确定所述第一大数据特性，并根据所述第一大数据特性对所述第一大数据进行数据处理的处理器。通过对至少一个第一大数据的分布式处理，实现了对数据量庞大的数据进行处理，进一步的，通过数据处理器对第一大数据进行处理，实现了对大数据的精准处理。

Description

一种大数据处理方法及其装置
技术领域
本发明涉及计算机技术，尤指一种大数据处理方法及其装置。
背景技术
随着现在科技的发展，各行各业都会产生大量数据，进一步，随着各行各业规模的蓬勃发展，产生的数据以几何倍数爆炸式增长，从而产生人们常说的大数据。
通常，获取的大数据具有数据规模大、流转速度高、类型多种多样和价值密度比较低的特点，也就是说，该些数据不仅数据量大，而且数据之间无序，非关系型，导致现有技术无法在一时间范围内完成对大数据的处理。
发明内容
为了解决上述技术问题，本发明提供了一种大数据处理方法及其装置，用以解决无法在一时间范围内完成对大数据的处理的问题。
为了达到本发明目的，本发明提供了一种大数据处理理方法，包括：
获取至少一个第一大数据；
采用分布式处理将所述至少一个第一大数据通过数据处理器进行处理，获得数据处理结果，所述数据处理器用于根据所述第一大数据的参数信息，确定所述第一大数据特性，并根据所述第一大数据特性对所述第一大数据进行数据处理的处理器。
进一步的，所述获取至少一个第一大数据之前，还包括：
获取至少一个第二大数据；
根据所述至少一个第二大数据的各维度参数，确定所述数据处理器。
进一步的，所述获取至少一个第一大数据之后，还包括：
将所述至少一个第一大数据进行分布式存储。
进一步的，所述将所述至少一个第一大数据进行分布式存储，包括：
将所述至少一个第一大数据存储在分布式数据库。
进一步的，所述采用分布式处理将所述至少一个第一大数据通过数据处理器进行处理，获得数据处理结果之后，还包括：
将所述数据处理结果进行优化处理，获得优化结果。
本发明还提供了一种大数据处理装置，包括：
获取模块，用于获取至少一个第一大数据；
处理模块，用于采用分布式处理将所述至少一个第一大数据通过数据处理器进行处理，获得数据处理结果，所述数据处理器用于根据所述第一大数据的参数信息，确定所述第一大数据特性，并根据所述第一大数据特性对所述第一大数据进行数据处理的处理器。
进一步的，所述获取模块，还用于获取至少一个第二大数据；
所述处理模块，还用于根据所述至少一个第二大数据的各维度参数，确定所述数据处理器。
进一步的，所述处理模块，还用于将所述至少一个第一大数据进行分布式存储。
进一步的，所述处理模块，还用于将所述至少一个第一大数据存储在分布式数据库。
进一步的，所述处理模块，还用于将所述数据处理结果进行优化处理，获得优化结果。
本发明提供的一种云平台管理方法及其装置，通过获取至少一个第一大数据；采用分布式处理将所述至少一个第一大数据通过数据处理器进行处理，获得数据处理结果，所述数据处理器用于根据所述第一大数据的参数信息，确定所述第一大数据特性，并根据所述第一大数据特性对所述第一大数据进行数据处理的处理器。通过对至少一个第一大数据的分布式处理，实现了对数据量庞大的数据进行处理，进一步的，通过数据处理器对第一大数据进行处理，实现了对大数据的精准处理。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。
图1为本发明大数据处理方法一实施例的流程示意图；
图2为本发明大数据处理装置一实施例的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
本发明实施例提供的大数据处理方法具体可以应用于对大数据处理进行处理时。本实施例提供的大数据处理方法可以通过大数据处理装置来执行，该大数据处理装置可以集成在大数据处理装置，或者单独设置，其中，该大数据处理装置可以采用软件和/或硬件的方式来实现。以下对本实施例提供的大数据处理方法及装置进行详细地说明。
图1为本发明大数据处理方法一实施例的流程示意图；如图1所示，本实施例的执行主体可以是大数据处理装置，本发明提供的大数据处理方法，包括：
步骤101、获取至少一个第一大数据。
具体的，可以通过搜索引擎、电商收集获取至少一个第一大数据，举例来讲，该第一大数据，可以包括多个用户分别通过搜索引擎搜索的关键字，以及通过搜索引擎阅览的网页。
步骤102、采用分布式处理将所述至少一个第一大数据通过数据处理器进行处理，获得数据处理结果。
在本实施例中，所述数据处理器用于根据所述第一大数据的参数信息，确定所述第一大数据特性，并根据所述第一大数据特性对所述第一大数据进行数据处理的处理器。
举例来讲，根据第一大数据中参数信息，确定用户的地域属性，并根据该用户的地域属性确定该用户的喜好特性，从而根据用户的喜好特性给该用户推送喜好的产品或网页。
具体的，本实施例采用分布式处理将所述至少一个第一大数据通过数据处理器进行处理，获得数据处理结果，可以包括：将至少一个第一大数据进行分布式处理，其中，每个分布式处理的节点均设置有一个数据处理器。
在本实施例中，获取至少一个第一大数据；采用分布式处理将所述至少一个第一大数据通过数据处理器进行处理，获得数据处理结果，所述数据处理器用于根据所述第一大数据的参数信息，确定所述第一大数据特性，并根据所述第一大数据特性对所述第一大数据进行数据处理的处理器。通过对至少一个第一大数据的分布式处理，实现了对数据量庞大的数据进行处理，进一步的，通过数据处理器对第一大数据进行处理，实现了对大数据的精准处理。
进一步的，所述获取至少一个第一大数据之前，还包括：
获取至少一个第二大数据；
根据所述至少一个第二大数据的各维度参数，确定所述数据处理器。
具体的，通过对第二大数据中各维度参数可以包括：用户年龄，用户兴趣，用户所在地域等信息。
进一步的，在上述实施例的基础上，所述获取至少一个第一大数据之后，还包括：
将所述至少一个第一大数据进行分布式存储。
优选的，所述将所述至少一个第一大数据进行分布式存储，包括：
将所述至少一个第一大数据存储在分布式数据库。
进一步的，在上述实施例的基础上，所述采用分布式处理将所述至少一个第一大数据通过数据处理器进行处理，获得数据处理结果之后，还包括：
将所述数据处理结果进行优化处理，获得优化结果。
图2为本发明大数据处理装置一实施例的结构示意图；如图2所示，本发明提供的大数据处理装置，包括：获取模块21和处理模块22，其中，
获取模块21，用于获取至少一个第一大数据；
处理模块22，用于采用分布式处理将所述至少一个第一大数据通过数据处理器进行处理，获得数据处理结果，所述数据处理器用于根据所述第一大数据的参数信息，确定所述第一大数据特性，并根据所述第一大数据特性对所述第一大数据进行数据处理的处理器。
在本实施例中，获取至少一个第一大数据；采用分布式处理将所述至少一个第一大数据通过数据处理器进行处理，获得数据处理结果，所述数据处理器用于根据所述第一大数据的参数信息，确定所述第一大数据特性，并根据所述第一大数据特性对所述第一大数据进行数据处理的处理器。通过对至少一个第一大数据的分布式处理，实现了对数据量庞大的数据进行处理，进一步的，通过数据处理器对第一大数据进行处理，实现了对大数据的精准处理。
在上述实施例的基础上，所述获取模块21，还用于获取至少一个第二大数据；
所述处理模块22，还用于根据所述至少一个第二大数据的各维度参数，确定所述数据处理器。
进一步的，在上述实施例的基础上，所述处理模块22，还用于将所述至少一个第一大数据进行分布式存储。
进一步的，在上述实施例的基础上，所述处理模块22，还用于将所述至少一个第一大数据存储在分布式数据库。
进一步的，在上述实施例的基础上，所述处理模块22，还用于将所述数据处理结果进行优化处理，获得优化结果。
在本实施例中，实现了对数据量庞大的数据进行处理，进一步的，通过数据处理器对第一大数据进行处理，实现了对大数据的精准处理。
虽然本发明所揭露的实施方式如上，但所述的内容仅为便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式及细节上进行任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (10)

1.一种大数据处理方法，其特征在于，包括：
获取至少一个第一大数据；
采用分布式处理将所述至少一个第一大数据通过数据处理器进行处理，获得数据处理结果，所述数据处理器用于根据所述第一大数据的参数信息，确定所述第一大数据特性，并根据所述第一大数据特性对所述第一大数据进行数据处理的处理器。
2.根据权利要求1所述的方法，其特征在于，所述获取至少一个第一大数据之前，还包括：
获取至少一个第二大数据；
根据所述至少一个第二大数据的各维度参数，确定所述数据处理器。
3.根据权利要求2所述的方法，其特征在于，所述获取至少一个第一大数据之后，还包括：
将所述至少一个第一大数据进行分布式存储。
4.根据权利要求3所述的方法，其特征在于，所述将所述至少一个第一大数据进行分布式存储，包括：
将所述至少一个第一大数据存储在分布式数据库。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述采用分布式处理将所述至少一个第一大数据通过数据处理器进行处理，获得数据处理结果之后，还包括：
将所述数据处理结果进行优化处理，获得优化结果。
6.一种大数据处理装置，其特征在于，包括：
获取模块，用于获取至少一个第一大数据；
处理模块，用于采用分布式处理将所述至少一个第一大数据通过数据处理器进行处理，获得数据处理结果，所述数据处理器用于根据所述第一大数据的参数信息，确定所述第一大数据特性，并根据所述第一大数据特性对所述第一大数据进行数据处理的处理器。
7.根据权利要求6所述的装置，其特征在于，所述获取模块，还用于获取至少一个第二大数据；
所述处理模块，还用于根据所述至少一个第二大数据的各维度参数，确定所述数据处理器。
8.根据权利要求7所述的装置，其特征在于，所述处理模块，还用于将所述至少一个第一大数据进行分布式存储。
9.根据权利要求8所述的装置，其特征在于，所述处理模块，还用于将所述至少一个第一大数据存储在分布式数据库。
10.根据权利要求6-9任一项所述的装置，其特征在于，所述处理模块，还用于将所述数据处理结果进行优化处理，获得优化结果。
CN201710996794.5A 2017-10-19 2017-10-19 一种大数据处理方法及其装置 Pending CN107741879A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710996794.5A CN107741879A (zh) 2017-10-19 2017-10-19 一种大数据处理方法及其装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710996794.5A CN107741879A (zh) 2017-10-19 2017-10-19 一种大数据处理方法及其装置

Publications (1)

Publication Number Publication Date
CN107741879A true CN107741879A (zh) 2018-02-27

Family

ID=61236810

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710996794.5A Pending CN107741879A (zh) 2017-10-19 2017-10-19 一种大数据处理方法及其装置

Country Status (1)

Country Link
CN (1) CN107741879A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109255510A (zh) * 2018-05-18 2019-01-22 侯峰 基于活动的计划执行与预算分析信息控制系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102054002A (zh) * 2009-10-28 2011-05-11 中国移动通信集团公司 一种数据挖掘系统中决策树的生成方法及装置
CN103294558A (zh) * 2013-05-29 2013-09-11 北京大学 一种支持动态信任评估的MapReduce调度方法
US20140108662A1 (en) * 2012-05-22 2014-04-17 International Business Machines Corporation Variable configurations for workload distribution across multiple sites
CN105468756A (zh) * 2015-11-30 2016-04-06 浪潮集团有限公司 一种海量数据处理系统的设计和实现方法
CN106971011A (zh) * 2017-05-19 2017-07-21 肇庆市智高电机有限公司 一种基于云平台的大数据分析方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102054002A (zh) * 2009-10-28 2011-05-11 中国移动通信集团公司 一种数据挖掘系统中决策树的生成方法及装置
US20140108662A1 (en) * 2012-05-22 2014-04-17 International Business Machines Corporation Variable configurations for workload distribution across multiple sites
CN103294558A (zh) * 2013-05-29 2013-09-11 北京大学 一种支持动态信任评估的MapReduce调度方法
CN105468756A (zh) * 2015-11-30 2016-04-06 浪潮集团有限公司 一种海量数据处理系统的设计和实现方法
CN106971011A (zh) * 2017-05-19 2017-07-21 肇庆市智高电机有限公司 一种基于云平台的大数据分析方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109255510A (zh) * 2018-05-18 2019-01-22 侯峰 基于活动的计划执行与预算分析信息控制系统及方法

Similar Documents

Publication Publication Date Title
CN105389349B (zh) 词典更新方法及装置
CN104679778B (zh) 一种搜索结果的生成方法及装置
US10289700B2 (en) Method for dynamically matching images with content items based on keywords in response to search queries
CN107038207A (zh) 一种数据查询方法、数据处理方法及装置
EP3255565A1 (en) Method and system for evaluating and ranking images with content based on similarity scores in response to a search query
CN107292186A (zh) 一种基于随机森林的模型训练方法和装置
WO2017097231A1 (zh) 话题处理方法及装置
CN106033416A (zh) 一种字符串处理方法及装置
CN107103043A (zh) 一种文本聚类方法及系统
CN104298715B (zh) 一种基于tf‑idf的多索引结果合并排序方法
CN103701469B (zh) 一种大规模图数据的压缩存储方法
US10275472B2 (en) Method for categorizing images to be associated with content items based on keywords of search queries
CN107145497A (zh) 基于图像和内容的元数据选择与内容匹配的图像的方法
US20120166412A1 (en) Super-clustering for efficient information extraction
CN111325030A (zh) 文本标签构建方法、装置、计算机设备和存储介质
CN107527071A (zh) 一种基于花朵授粉算法优化模糊k近邻的分类方法及装置
CN104933143A (zh) 获取推荐对象的方法及装置
CN104008334B (zh) 一种文件的聚类方法和设备
CN104794237B (zh) 网页信息处理方法及装置
CN107741879A (zh) 一种大数据处理方法及其装置
CN110659286B (zh) 基于弱平衡空间树动态空间索引方法及其存储介质、装置
CN104008333B (zh) 一种安装包的检测方法和设备
CN103793390B (zh) 查询条件相似度确定方法、对象查询方法及相关装置
CN103399937B (zh) 一种基于coreseek查询分页的方法及装置
US9002818B2 (en) Calculating a content subset

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180227