CN107015867A - 一种高效数据处理服务器系统 - Google Patents

一种高效数据处理服务器系统 Download PDF

Info

Publication number
CN107015867A
CN107015867A CN201710221336.4A CN201710221336A CN107015867A CN 107015867 A CN107015867 A CN 107015867A CN 201710221336 A CN201710221336 A CN 201710221336A CN 107015867 A CN107015867 A CN 107015867A
Authority
CN
China
Prior art keywords
data
data processing
server
processing server
task distribution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710221336.4A
Other languages
English (en)
Other versions
CN107015867B (zh
Inventor
王胜
付贤政
汤波
王先玉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Vocational College of Defense Technology
Original Assignee
Anhui Vocational College of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Vocational College of Defense Technology filed Critical Anhui Vocational College of Defense Technology
Priority to CN201710221336.4A priority Critical patent/CN107015867B/zh
Publication of CN107015867A publication Critical patent/CN107015867A/zh
Application granted granted Critical
Publication of CN107015867B publication Critical patent/CN107015867B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5033—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering data affinity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system
    • G06F9/5088—Techniques for rebalancing the load in a distributed system involving task migration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5015—Service provider selection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/509—Offload

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种高效数据处理服务器系统，其包括数据源服务器、第一数据处理服务器、第二数据处理服务器、备用数据处理服务器以及任务分配服务器，所述任务分配服务器接收所述数据源服务器的数据输入，所述任务分配服务器用于向所述第一数据处理服务器、第二数据处理服务器、备用数据处理服务器提供待处理的源数据。本发明提供的高效数据处理服务器系统根据两个数据处理服务器的历史数据处理状态通过备用服务器进行辅助处理，保证了数据处理的高效性；同时本发明可以在获取历史数据处理状态的时间内通过备用数据处理器保证数据处理不收影响。

Description

一种高效数据处理服务器系统
技术领域
本发明涉及到服务器技术领域，特别是一种高效数据处理服务器系统。
背景技术
在服务器数据处理领域，目前都是通过单个或者多个服务器进行同时处理，通过单个服务器处理时单个服务器的处理能力有限，多个服务器时容易造成服务器资源的浪费，这一问题一直没有得到合理解决。目前都是通过人工监控来进行数据处理。
发明内容
1、为解决上述技术问题，本发明提供了一种高效数据处理服务器系统，其特征在于，包括数据源服务器、第一数据处理服务器、第二数据处理服务器、备用数据处理服务器以及任务分配服务器，所述任务分配服务器接收所述数据源服务器的数据输入，所述任务分配服务器用于向所述第一数据处理服务器、第二数据处理服务器、备用数据处理服务器提供待处理的源数据；
所述数据源服务器通过特定的数据接口根据数据类型、关键词信息获取源数据；并对源数据进行预处理，所述数据预处理服务器的预处理操作为对缺损数据进行修复，删除无用数据；所述缺损数据为与数据类型库中数据后缀名称近似度超过设定阈值的数据，修复缺损数据的方式为根据数据类型库中的具体数据后缀作为所述缺损数据的后缀替换掉原有的数据后缀；所述无用数据为与数据类型库中数据后缀名称近似度低于设定阈值的数据；其中数据类型的近似度根据数据的后缀名称的字符的数量进行量化；
所述任务分配服务器接收外界发送的数据，所述任务分配服务器筛选出特定的两种类型的数据并按照数据类别分别发送至第一数据处理服务器、第二数据处理服务器，所述第一数据处理服务器、第二数据处理服务器分别处理一种类型的数据；所述备用数据处理服务器可以处理所述两种类型的数据中的任意一种；
所述第一数据处理服务器、第二数据处理服务器将实时的数据处理进度发送至所述任务分配服务器，所述第一数据处理服务器、第二数据处理服务器至少连续工作48小时，所述任务分配服务器以24小时为一个周期以1小时为记录频率记录第一数据处理服务器、第二数据处理服务器的数据处理进度，所述任务分配服务器记录至少两个周期内第一数据处理服务器、第二数据处理服务器的数据处理进度，并对比两个周期内第一数据处理服务器、第二数据处理服务器在相同的记录时间点的处理进度，若两个周期内在同一个记录时间点第一数据处理服务器都高于第二数据处理服务器的处理进度，在下一个周期内在该数据记录点所述第二数据处理服务器将接收到的数据发送一半至所述备用数据处理服务器，若两个周期内在同一个记录时间点第二数据处理服务器都高于第一数据处理服务器的处理进度，在下一个周期内该时间记录点所述第一数据处理服务器将接收到的数据发送一半至所述备用数据处理服务器。
较佳地，所述特定的两种类型的数据根据需要进行设定。
较佳地，所述特定的数据接口包括网络数据库、数据搜索引擎。
较佳地，在所述第一数据处理服务器、第二数据处理服务器连续工作时间未满48小时内，当所述第一数据处理服务器、第二数据处理服务器中的一个的数据处理进度低于30％时，该数据处理进度低于30％的服务器将接受到的数据的一半发送至所述备用数据处理服务器。
本发明具有以下有益效果：
本发明提供的高效数据处理服务器系统根据两个数据处理服务器的历史数据处理状态通过备用服务器进行辅助处理，保证了数据处理的高效性；同时本发明可以在获取历史数据处理状态的时间内通过备用数据处理器保证数据处理不收影响。
当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的高效数据处理服务器系统示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
本发明实施例提供了一种高效数据处理服务器系统，其包括数据源服务器1、第一数据处理服务器3、第二数据处理服务器4、备用数据处理服务器5以及任务分配服务器2，所述任务分配服务器2接收所述数据源服务器1的数据输入，所述任务分配服务器2用于向所述第一数据处理服务器3、第二数据处理服务器4、备用数据处理服务器5提供待处理的源数据；
所述数据源服务器1通过特定的数据接口根据数据类型、关键词信息获取源数据；并对源数据进行预处理，所述数据预处理服务器的预处理操作为对缺损数据进行修复，删除无用数据；所述缺损数据为与数据类型库中数据后缀名称近似度超过设定阈值的数据，修复缺损数据的方式为根据数据类型库中的具体数据后缀作为所述缺损数据的后缀替换掉原有的数据后缀；所述无用数据为与数据类型库中数据后缀名称近似度低于设定阈值的数据；其中数据类型的近似度根据数据的后缀名称的字符的数量进行量化；
所述任务分配服务器2接收外界发送的数据，所述任务分配服务器2筛选出特定的两种类型的数据并按照数据类别分别发送至第一数据处理服务器3、第二数据处理服务器4，所述第一数据处理服务器3、第二数据处理服务器4分别处理一种类型的数据；所述备用数据处理服务器5可以处理所述两种类型的数据中的任意一种；
所述第一数据处理服务器3、第二数据处理服务器4将实时的数据处理进度发送至所述任务分配服务器2，所述第一数据处理服务器3、第二数据处理服务器4至少连续工作48小时，所述任务分配服务器2以24小时为一个周期以1小时为记录频率记录第一数据处理服务器3、第二数据处理服务器4的数据处理进度，所述任务分配服务器2记录至少两个周期内第一数据处理服务器3、第二数据处理服务器4的数据处理进度，并对比两个周期内第一数据处理服务器3、第二数据处理服务器4在相同的记录时间点的处理进度，若两个周期内在同一个记录时间点第一数据处理服务器3都高于第二数据处理服务器4的处理进度，在下一个周期内在该数据记录点所述第二数据处理服务器4将接收到的数据发送一半至所述备用数据处理服务器5，若两个周期内在同一个记录时间点第二数据处理服务器4都高于第一数据处理服务器3的处理进度，在下一个周期内该时间记录点所述第一数据处理服务器3将接收到的数据发送一半至所述备用数据处理服务器5。
本实施例所述特定的两种类型的数据根据需要进行设定。两种数据类型可以设置为特定格式的文档数据、特定格式的图片数据，特定格式的视频数据，音频文件，或者其他类型的数据，如doc后缀的文件，jpg后缀的文件，mp4后缀的文件，mp3后缀的文件等，本发明不做具体限定。
所述特定的数据接口包括网络数据库、数据搜索引擎。
在所述第一数据处理服务器3、第二数据处理服务器4连续工作时间未满48小时内，当所述第一数据处理服务器3、第二数据处理服务器4中的一个的数据处理进度低于30％时，该数据处理进度低于30％的服务器将接受到的数据的一半发送至所述备用数据处理服务器。
本发明提供的高效数据处理服务器系统根据两个数据处理服务器的历史数据处理状态通过备用服务器进行辅助处理，保证了数据处理的高效性；同时本发明可以在获取历史数据处理状态的时间内通过备用数据处理器保证数据处理不收影响。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (4)

1.一种高效数据处理服务器系统，其特征在于，包括数据源服务器、第一数据处理服务器、第二数据处理服务器、备用数据处理服务器以及任务分配服务器，所述任务分配服务器接收所述数据源服务器的数据输入，所述任务分配服务器用于向所述第一数据处理服务器、第二数据处理服务器、备用数据处理服务器提供待处理的源数据；
所述数据源服务器通过特定的数据接口根据数据类型、关键词信息获取源数据；并对源数据进行预处理，所述数据预处理服务器的预处理操作为对缺损数据进行修复，删除无用数据；所述缺损数据为与数据类型库中数据后缀名称近似度超过设定阈值的数据，修复缺损数据的方式为根据数据类型库中的具体数据后缀作为所述缺损数据的后缀替换掉原有的数据后缀；所述无用数据为与数据类型库中数据后缀名称近似度低于设定阈值的数据；其中数据类型的近似度根据数据的后缀名称的字符的数量进行量化；
所述任务分配服务器接收外界发送的数据，所述任务分配服务器筛选出特定的两种类型的数据并按照数据类别分别发送至第一数据处理服务器、第二数据处理服务器，所述第一数据处理服务器、第二数据处理服务器分别处理一种类型的数据；所述备用数据处理服务器可以处理所述两种类型的数据中的任意一种；
所述第一数据处理服务器、第二数据处理服务器将实时的数据处理进度发送至所述任务分配服务器，所述第一数据处理服务器、第二数据处理服务器至少连续工作48小时，所述任务分配服务器以24小时为一个周期以1小时为记录频率记录第一数据处理服务器、第二数据处理服务器的数据处理进度，所述任务分配服务器记录至少两个周期内第一数据处理服务器、第二数据处理服务器的数据处理进度，并对比两个周期内第一数据处理服务器、第二数据处理服务器在相同的记录时间点的处理进度，若两个周期内在同一个记录时间点第一数据处理服务器都高于第二数据处理服务器的处理进度，在下一个周期内在该数据记录点所述第二数据处理服务器将接收到的数据发送一半至所述备用数据处理服务器，若两个周期内在同一个记录时间点第二数据处理服务器都高于第一数据处理服务器的处理进度，在下一个周期内该时间记录点所述第一数据处理服务器将接收到的数据发送一半至所述备用数据处理服务器。
2.如权利要求1所述的高效数据处理服务器系统，其特征在于，所述特定的两种类型的数据根据需要进行设定。
3.如权利要求1所述的高效数据处理服务器系统，其特征在于，所述特定的数据接口包括网络数据库、数据搜索引擎。
4.如权利要求1所述的高效数据处理服务器系统，其特征在于，在所述第一数据处理服务器、第二数据处理服务器连续工作时间未满48小时内，当所述第一数据处理服务器、第二数据处理服务器中的一个的数据处理进度低于30％时，该数据处理进度低于30％的服务器将接受到的数据的一半发送至所述备用数据处理服务器。
CN201710221336.4A 2017-04-06 2017-04-06 一种高效数据处理服务器系统 Active CN107015867B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710221336.4A CN107015867B (zh) 2017-04-06 2017-04-06 一种高效数据处理服务器系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710221336.4A CN107015867B (zh) 2017-04-06 2017-04-06 一种高效数据处理服务器系统

Publications (2)

Publication Number Publication Date
CN107015867A true CN107015867A (zh) 2017-08-04
CN107015867B CN107015867B (zh) 2018-01-19

Family

ID=59445834

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710221336.4A Active CN107015867B (zh) 2017-04-06 2017-04-06 一种高效数据处理服务器系统

Country Status (1)

Country Link
CN (1) CN107015867B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107948325A (zh) * 2017-12-30 2018-04-20 安华智能股份公司 一种数据处理服务器系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1670767A (zh) * 2005-04-14 2005-09-21 上海交通大学 图像文件修复方法
CN1710545A (zh) * 2005-07-07 2005-12-21 上海交通大学 受损Word文件修复方法
US20070024898A1 (en) * 2005-08-01 2007-02-01 Fujitsu Limited System and method for executing job step, and computer product
WO2009034994A1 (ja) * 2007-09-13 2009-03-19 Nec Corporation 負荷分散システム、サービス処理サーバ、負荷分散方法及び負荷分散プログラム
CN102968281A (zh) * 2012-11-26 2013-03-13 华为技术有限公司 一种数据迁移的方法及装置
CN102981830A (zh) * 2012-11-02 2013-03-20 北京航空航天大学 一种可配置的文件快速识别和已损坏文件智能修复的方法
CN104052789A (zh) * 2013-03-13 2014-09-17 国际商业机器公司 用于虚拟联网系统的负载平衡
CN105183670A (zh) * 2015-10-27 2015-12-23 北京百度网讯科技有限公司 用于分布式缓存系统的数据处理方法和装置
CN106354876A (zh) * 2016-09-22 2017-01-25 珠海格力电器股份有限公司 一种数据处理系统和方法
CN106484530A (zh) * 2016-09-05 2017-03-08 努比亚技术有限公司 一种分布式任务调度运维监控系统及方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1670767A (zh) * 2005-04-14 2005-09-21 上海交通大学 图像文件修复方法
CN1710545A (zh) * 2005-07-07 2005-12-21 上海交通大学 受损Word文件修复方法
US20070024898A1 (en) * 2005-08-01 2007-02-01 Fujitsu Limited System and method for executing job step, and computer product
WO2009034994A1 (ja) * 2007-09-13 2009-03-19 Nec Corporation 負荷分散システム、サービス処理サーバ、負荷分散方法及び負荷分散プログラム
CN102981830A (zh) * 2012-11-02 2013-03-20 北京航空航天大学 一种可配置的文件快速识别和已损坏文件智能修复的方法
CN102968281A (zh) * 2012-11-26 2013-03-13 华为技术有限公司 一种数据迁移的方法及装置
CN104052789A (zh) * 2013-03-13 2014-09-17 国际商业机器公司 用于虚拟联网系统的负载平衡
CN105183670A (zh) * 2015-10-27 2015-12-23 北京百度网讯科技有限公司 用于分布式缓存系统的数据处理方法和装置
CN106484530A (zh) * 2016-09-05 2017-03-08 努比亚技术有限公司 一种分布式任务调度运维监控系统及方法
CN106354876A (zh) * 2016-09-22 2017-01-25 珠海格力电器股份有限公司 一种数据处理系统和方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张江涛: "分布式云计算资源配置技术研究", 《中国博士学位论文全文数据库 信息科技辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107948325A (zh) * 2017-12-30 2018-04-20 安华智能股份公司 一种数据处理服务器系统

Also Published As

Publication number Publication date
CN107015867B (zh) 2018-01-19

Similar Documents

Publication Publication Date Title
CN102769638B (zh) 一种下载文件的方法、装置及系统
CN103942210A (zh) 海量日志信息的处理方法、装置与系统
CN102937990A (zh) 一种用于清除文件的方法和装置
CN104484766A (zh) 一种企业管理应用系统
CN103957172B (zh) 一种内外网物理隔离网络数据自动交换机
CN104077701A (zh) 用于电商平台的任务处理方法及装置
CN105824837A (zh) 一种日志处理方法及装置
CN108596569A (zh) 一种基于图形识别技术的表单审批方法
CN103501241A (zh) 垃圾文件清理方法、装置和系统
CN106407442B (zh) 一种海量文本数据处理方法及装置
CN107015867B (zh) 一种高效数据处理服务器系统
CN105721497A (zh) 实现快件代收与取件的方法和系统
CN104252480A (zh) 一种音频信息检索的方法和装置
CN104980254A (zh) 因特网信息处理系统
CN107948325A (zh) 一种数据处理服务器系统
CN104077355A (zh) 一种非结构化数据存储和查询的方法、装置及系统
CN107633037A (zh) 一种档案整理系统
CN104021484A (zh) 基于web的销售渠道与客户关系网络管理方法及系统
CN104317630B (zh) 一种快速查询服务器产品支持软硬件配置的方法
CN103942125A (zh) 一种自动备份的方法与系统
CN102279881A (zh) 清除垃圾数据的方法及文件访问服务器
CN203414999U (zh) 一种基于传真的临床试验数据采集系统
CN111489227A (zh) 一种电商信息共享系统
CN101378336B (zh) 一种业务管理系统中批量文件的处理方法
CN104796498A (zh) 一种数据处理方法、装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant