CN107018075B - 一种综合数据处理服务器系统 - Google Patents

一种综合数据处理服务器系统 Download PDF

Info

Publication number
CN107018075B
CN107018075B CN201710221732.7A CN201710221732A CN107018075B CN 107018075 B CN107018075 B CN 107018075B CN 201710221732 A CN201710221732 A CN 201710221732A CN 107018075 B CN107018075 B CN 107018075B
Authority
CN
China
Prior art keywords
data
server
suffix
data processing
types
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710221732.7A
Other languages
English (en)
Other versions
CN107018075A (zh
Inventor
倪仁灵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHENZHEN ALFEYE TECHNOLIGY Co.,Ltd.
Original Assignee
Shenzhen Alfeye Technoligy Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Alfeye Technoligy Co ltd filed Critical Shenzhen Alfeye Technoligy Co ltd
Priority to CN201710221732.7A priority Critical patent/CN107018075B/zh
Publication of CN107018075A publication Critical patent/CN107018075A/zh
Application granted granted Critical
Publication of CN107018075B publication Critical patent/CN107018075B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/30—Routing of multiclass traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/1006—Server selection for load balancing with static server selection, e.g. the same server being selected for a specific client

Abstract

本发明提供了一种综合数据处理服务器系统，其包括数据预处理服务器、数据打包服务器、数据传输路由通道、高级别数据处理服务器、无用数据存储服务器、多个特定数据处理服务器。本发明提供的综合数据处理服务器系统通过对源数据进行预处理，预处理之后根据不同的数据类型通过不同的路由通道发送到不同的服务器进行数据处理，各个服务器对单一的数据进行处理效率更高，并且可以将不同类型的数据通过各自独立的路由通道进行传输保证了数据的传输效率，不易造成数据传输拥堵。

Description

一种综合数据处理服务器系统
技术领域
本发明涉及到服务器技术领域，特别是一种综合数据处理服务器系统。
背景技术
在服务器数据处理领域，需要对多种数据通过服务器进行处理。特别是对用于支撑平台运转的数据处理系统的数据处理能力提出了很高的要求。很多数据处理系统都是借助于若干个服务器构建的，但如何有效利用所有服务器，最大限度的发挥所有服务器的运算能力，使运算能力差的服务器也能够在系统内发挥作用，但不至于过度工作导致发生故障，这些都是需要解决的技术问题。
发明内容
为解决上述技术问题，本发明提供了一种综合数据处理服务器系统，其包括数据预处理服务器、数据打包服务器、数据传输路由通道、高级别数据处理服务器、无用数据存储服务器、多个特定数据处理服务器；
所述数据预处理服务器接收网络端发送的源数据，并对源数据进行预处理，所述数据预处理服务器的预处理操作为对缺损数据进行修复，删除无用数据；经过预处理后的源数据发送至所述数据打包服务器，所述数据打包服务器内设有数据类型库，所述数据类型库中存储有多个数据类型的识别后缀名称，所述数据打包服务器将经过预处理后的源数据按照数据类型进行打包并形成数据包，并将所述数据包添加识别码发送至所述数据传输路由通道，所述数据打包服务器添加优先识别码至特定类型的数据，所述优先识别码仅对应一个特定数据类型；所述数据打包服务器中未存储的数据类型统一添加无用数据识别码，将源数据转化为二进制数字信号，并在数字信号后添加三位二进制识别码进行识别；
所述数据传输路由通道包括多个特定路由选择通道，各个路由选择通道分别可识别一个对应的数据包识别码，所述路由选择通道的数量根据数据包识别码的类别数量进行设定，所述路由选择通道首先验证所述二进制识别码，根据识别的结果选择路由通道；
所述高级别数据处理服务器、无用数据存储服务器以及各特定数据服务器分别对应一个路由选择通道，所述各特定数据处理服务器处理的数据类型根据需要进行设置为相同或者不同。
较佳地，所述缺损数据为与数据类型库中数据后缀名称近似度超过设定阈值的数据，修复缺损数据的方式为根据数据类型库中的具体数据后缀作为所述缺损数据的后缀替换掉原有的数据后缀；所述无用数据为与数据类型库中数据后缀名称近似度低于设定阈值的数据；其中数据类型的近似度根据数据的后缀名称的字符的数量进行量化。
较佳地，所述数据类型库包括多种类型的图像文件后缀名称、文档文件后缀名称、影像文件后缀名称、音频文件后缀名称。
本发明具有以下有益效果：
本发明提供的综合数据处理服务器系统通过对源数据进行预处理，预处理之后根据不同的数据类型通过不同的路由通道发送到不同的服务器进行数据处理，各个服务器对单一的数据进行处理效率更高，并且可以将不同类型的数据通过各自独立的路由通道进行传输保证了数据的传输效率，不易造成数据传输拥堵。
当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的综合数据处理服务器系统示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
如图1所示，本发明实施例提供了一种综合数据处理服务器系统，其包括数据预处理服务器1、数据打包服务器2、数据传输路由通道、高级别数据处理服务器3、无用数据存储服务器4、多个特定数据处理服务器5；
所述数据预处理服务器1接收网络端发送的源数据，并对源数据进行预处理，所述数据预处理服务器1的预处理操作为对缺损数据进行修复，删除无用数据；经过预处理后的源数据发送至所述数据打包服务器2，所述数据打包服务器2内设有数据类型库，所述数据类型库中存储有多个数据类型的识别后缀名称，所述数据打包服务器2将经过预处理后的源数据按照数据类型进行打包并形成数据包，并将所述数据包添加识别码发送至所述数据传输路由通道，所述数据打包服务器2添加优先识别码至特定类型的数据，所述优先识别码仅对应一个特定数据类型；所述数据打包服务器2中未存储的数据类型统一添加无用数据识别码，将源数据转化为二进制数字信号，并在数字信号后添加三位二进制识别码进行识别；
所述数据传输路由通道包括多个特定路由选择通道，各个路由选择通道分别可识别一个对应的数据包识别码，所述路由选择通道的数量根据数据包识别码的类别数量进行设定，所述路由选择通道首先验证所述二进制识别码，根据识别的结果选择路由通道；
所述高级别数据处理服务器3、无用数据存储服务器4以及各特定数据服务器5分别对应一个路由选择通道，所述各特定数据处理服务器5处理的数据类型根据需要进行设置为相同或者不同。
所述缺损数据为与数据类型库中数据后缀名称近似度超过设定阈值的数据，修复缺损数据的方式为根据数据类型库中的具体数据后缀作为所述缺损数据的后缀替换掉原有的数据后缀；所述无用数据为与数据类型库中数据后缀名称近似度低于设定阈值的数据；其中数据类型的近似度根据数据的后缀名称的字符的数量进行量化。
所述数据类型库包括多种类型的图像文件后缀名称、文档文件后缀名称、影像文件后缀名称、音频文件后缀名称。
本发明提供的综合数据处理服务器系统通过对源数据进行预处理，预处理之后根据不同的数据类型通过不同的路由通道发送到不同的服务器进行数据处理，各个服务器对单一的数据进行处理效率更高，并且可以将不同类型的数据通过各自独立的路由通道进行传输保证了数据的传输效率，不易造成数据传输拥堵。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (2)

1.一种综合数据处理服务器系统，其特征在于，包括数据预处理服务器、数据打包服务器、数据传输路由通道、高级别数据处理服务器、无用数据存储服务器、多个特定数据处理服务器；
所述数据预处理服务器接收网络端发送的源数据，并对源数据进行预处理，所述数据预处理服务器的预处理操作为对缺损数据进行修复，删除无用数据；经过预处理后的源数据发送至所述数据打包服务器，所述数据打包服务器内设有数据类型库，所述数据类型库中存储有多个数据类型的识别后缀名称，所述数据打包服务器将经过预处理后的源数据按照数据类型进行打包并形成数据包，并将所述数据包添加识别码发送至所述数据传输路由通道，所述数据打包服务器添加优先识别码至特定类型的数据，所述优先识别码仅对应一个特定数据类型；所述数据打包服务器中未存储的数据类型统一添加无用数据识别码，将源数据转化为二进制数字信号，并在数字信号后添加三位二进制识别码进行识别；
所述数据传输路由通道包括多个特定路由选择通道，各个路由选择通道分别可识别一个对应的数据包识别码，所述路由选择通道的数量根据数据包识别码的类别数量进行设定，所述路由选择通道首先验证所述二进制识别码，根据识别的结果选择路由通道；
所述高级别数据处理服务器、无用数据存储服务器以及各特定数据服务器分别对应一个路由选择通道，所述各特定数据处理服务器处理的数据类型根据需要进行设置为相同或者不同；
所述缺损数据为与数据类型库中数据后缀名称近似度超过设定阈值的数据，修复缺损数据的方式为根据数据类型库中的具体数据后缀作为所述缺损数据的后缀替换掉原有的数据后缀；所述无用数据为与数据类型库中数据后缀名称近似度低于设定阈值的数据；其中数据类型的近似度根据数据的后缀名称的字符的数量进行量化。
2.如权利要求1所述的综合数据处理服务器系统，其特征在于，所述数据类型库包括多种类型的图像文件后缀名称、文档文件后缀名称、影像文件后缀名称、音频文件后缀名称。
CN201710221732.7A 2017-04-06 2017-04-06 一种综合数据处理服务器系统 Active CN107018075B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710221732.7A CN107018075B (zh) 2017-04-06 2017-04-06 一种综合数据处理服务器系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710221732.7A CN107018075B (zh) 2017-04-06 2017-04-06 一种综合数据处理服务器系统

Publications (2)

Publication Number Publication Date
CN107018075A CN107018075A (zh) 2017-08-04
CN107018075B true CN107018075B (zh) 2020-12-18

Family

ID=59445402

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710221732.7A Active CN107018075B (zh) 2017-04-06 2017-04-06 一种综合数据处理服务器系统

Country Status (1)

Country Link
CN (1) CN107018075B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111541766A (zh) * 2020-04-21 2020-08-14 西安电子科技大学 一种多服务器通信连接方法
CN112019592B (zh) * 2020-07-14 2022-07-12 御群智能科技(苏州)有限公司 基于边缘计算的云制造数据高效处理系统
CN111855668A (zh) * 2020-07-17 2020-10-30 上海洪朴信息科技有限公司 一种产品缺陷检测系统
CN112070246A (zh) * 2020-08-26 2020-12-11 上海洪朴信息科技有限公司 一种光伏产品缺陷检测算法部署系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103677752A (zh) * 2012-09-19 2014-03-26 腾讯科技（深圳）有限公司 基于分布式数据的并发处理方法和系统
CN105791349A (zh) * 2014-12-23 2016-07-20 中兴通讯股份有限公司 数据分析方法、装置、系统及终端和服务器
US9424336B2 (en) * 2012-09-14 2016-08-23 Salesforce.Com, Inc. Facilitating distributed data processing for dynamic and efficient generation of search results in an on-demand services environment

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6665702B1 (en) * 1998-07-15 2003-12-16 Radware Ltd. Load balancing
CN102710995B (zh) * 2012-06-11 2014-08-27 耿直 基于无线局域网的对讲及视频数据传输方法和对讲转接器
CN103312791B (zh) * 2013-05-24 2016-02-24 上海和伍信息技术有限公司 物联网异构数据存储方法及系统
CN104363169B (zh) * 2014-11-24 2017-05-31 中国电子科技集团公司第二十九研究所 一种基于RapidIO消息模式的数据动态路由系统的数据动态路由方法
CN106446255A (zh) * 2016-10-18 2017-02-22 安徽天达网络科技有限公司 一种基于云服务器的数据处理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9424336B2 (en) * 2012-09-14 2016-08-23 Salesforce.Com, Inc. Facilitating distributed data processing for dynamic and efficient generation of search results in an on-demand services environment
CN103677752A (zh) * 2012-09-19 2014-03-26 腾讯科技（深圳）有限公司 基于分布式数据的并发处理方法和系统
CN105791349A (zh) * 2014-12-23 2016-07-20 中兴通讯股份有限公司 数据分析方法、装置、系统及终端和服务器

Also Published As

Publication number Publication date
CN107018075A (zh) 2017-08-04

Similar Documents

Publication Publication Date Title
CN107018075B (zh) 一种综合数据处理服务器系统
CN110995513A (zh) 物联网系统中的数据发送、接收方法、物联网设备及平台
CN103927338A (zh) 日志信息入库处理方法和装置
CN105337837A (zh) 一种消息发送方法和设备
CN112799584B (zh) 一种数据存储方法及装置
CN104038450A (zh) 基于pcie总线的报文传输方法与装置
CN102203734B (zh) 条件处理方法和设备
CN115033577A (zh) 设备订单数据的存储方法、查询方法及装置
CN114218318A (zh) 一种用于电力大数据的数据处理系统及方法
CN114064308A (zh) 基于列式数据扫描的多数据发送和接收方法、装置和设备
CN108038066A (zh) 一种移动存储设备上的管理软件的运行方法
US20120254895A1 (en) Information processing system, control method, and non-transitory computer readable medium storing program
CN103051480B (zh) 一种dn的存储方法及dn存储装置
CN113568877A (zh) 一种文件合并方法、装置、电子设备及存储介质
CN107612554B (zh) 数据压缩处理方法
US10528625B2 (en) Client cloud synchronizer
CN105162837A (zh) 海量数据存储环境下提升i/o吞吐率的方法及系统
CN111401819B (zh) 系统间数据推送方法及系统
CN104202249A (zh) 报文处理方法及装置
CN113704203A (zh) 一种日志文件的处理方法及装置
CN105162893A (zh) 视频文件的上传方法、上传系统、访问方法及访问系统
CN114039698A (zh) 基于多频率的数据发送和接收方法、装置和设备
CN112883301A (zh) 基于55进制的短链接生成方法、装置及存储介质
CN111143318A (zh) 一种信息处理方法、装置、电子设备及存储介质
CN111061712A (zh) 一种数据连接操作的处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Ni Renling

Inventor before: Wang Sheng

Inventor before: Fu Xianzheng

Inventor before: Tang Bo

Inventor before: Wang Xianyu

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20180222

Address after: 230000 room 611, min Chuang center building, No. 605, Mount Huangshan Road, Hefei hi tech Zone, Anhui

Applicant after: Anhui Tektronix infa Mdt InfoTech Ltd

Address before: 237000 New River East Road, Anhui, China, No. 2, No.

Applicant before: Anhui science and techniques of defence Professional School

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20201202

Address after: 518101 501, 5 / F, zone 3, block B, labor community, Xixiang street, Bao'an District, Shenzhen City, Guangdong Province

Applicant after: SHENZHEN ALFEYE TECHNOLIGY Co.,Ltd.

Address before: 230000 room 611, min Chuang center building, No. 605, Mount Huangshan Road, Hefei hi tech Zone, Anhui

Applicant before: ANHUI YINGFU TAIKE INFORMATION TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant