CN104125292A - 一种数据处理装置、云服务器及其使用方法 - Google Patents
一种数据处理装置、云服务器及其使用方法 Download PDFInfo
- Publication number
- CN104125292A CN104125292A CN201410382865.9A CN201410382865A CN104125292A CN 104125292 A CN104125292 A CN 104125292A CN 201410382865 A CN201410382865 A CN 201410382865A CN 104125292 A CN104125292 A CN 104125292A
- Authority
- CN
- China
- Prior art keywords
- interface
- processor
- network
- data processing
- cloud server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Multi Processors (AREA)
Abstract
本发明提供了一种数据处理装置、云服务器及其使用方法,数据处理装置包括系统控制器、上行网络接口、二级互连接口、存储接口和处理器接口;二级互连接口,用于与其他数据处理装置连接并与其他数据处理装置形成互连网络;系统控制器用于按网络通信协议通过二级互连接口进行数据通信并在互连网络上传输以太网络报文、存储报文和管理报文,以及按以太网络通信协议交换处理器与处理器、处理器与外部网络的报文,在存储设备上实现处理器的存储需求。各数据处理装置通过二级互连接口互连,构成互连网络,并通过二级互连接口在互连网络上交互数据。采用本发明的技术方案,可以通过硬件IO虚拟化实现针对不同应用负载的资源适配,最大限度地确保云服务器的性能。
Description
技术领域
本发明涉及通信技术领域,尤其涉及一种数据处理装置、云服务器及其使用方法。
背景技术
云服务器是面向云计算典型应用的服务器,目前云计算系统中的云服务器的设计与实现方法主要是用以太网络将一些小节点互连起来,如图1所示。这里的小节点(节点0~节点19)主要指系统级芯片(SOC,System on chip),本身带有内存控制器、硬盘接口和以太网络接口。
现有技术不足在于:
云服务器的设计和实现目标是理想的性能功耗和整体服务能力、低成本、低功耗、高效能。尽管现有基于以太网络互连的云服务器在设计上解决了低功耗、低成本、易实现的问题,但没能解决服务器效能和面向云计算典型应用负载进行有效适配的问题。
发明内容
本发明实施例提出了一种数据处理装置、云服务器及其使用方法,解决现有技术中服务器不能和应用负载进行有效适配的技术问题。
本发明实施例提供了一种数据处理装置,包括:系统控制器、上行网络接口、二级互连接口、存储接口、处理器接口;其中:
上行网络接口,用于与系统网络相连,实现外部网络接入;
二级互连接口,用于与其他数据处理装置连接并与其他数据处理装置形成互连网络;
存储接口,用于与存储数据的存储设备相连;
处理器接口,用于与连接有内存的处理器相连;
系统控制器,用于按网络通信协议通过二级互连接口进行数据通信并在互连网络上传输以太网络报文、存储报文和管理报文,以及按以太网络通信协议交换处理器与处理器、处理器与外部网络的报文,存储报文用于在存储设备上实现处理器的存储需求,管理报文用于传递系统管理信息和系统工作状态。
本发明实施例所提供的数据处理装置,以系统控制器为核心,将处理器、存储、网络连接成一个最小的配置单元,在这个单元内可以实现存储资源和网络资源的共享。不仅如此,本发明实施例还可以通过二级互连接口与其他数据处理装置互连,实现更大范围的资源共享。
本发明实施例提供了一种云服务器,包括若干上述数据处理装置,其中:
各数据处理装置通过二级互连接口互连,构成互连网络,并通过二级互连接口在互连网络上交换数据。
本发明实施例所提供的技术方案,将云服务器设计成一个互连网络,通过二级互连接口可以将多个数据处理装置连接成互连网络,在互连网络上交换数据,所有处理器可以共享互连网络上的网络资源和存储资源。
本发明实施例提供了一种上述云服务器的使用方法,包括如下步骤:
将存储设备虚拟为一个或多个逻辑硬盘,并将各逻辑硬盘分配给各处理器;
在互连网络上按高性能网络通信协议传输数据。
采用本发明实施例提供的技术方案,可以根据不同应用负载所需要的资源,对网络和存储硬盘进行硬件输入输出IO虚拟化,针对不同应用负载的资源适配,将各逻辑硬盘分配给各处理器,并在互连网络上按高性能网络通信协议传输数据,最大限度地确保云服务器的性能。
附图说明
下面将参照附图描述本发明的具体实施例,其中:
图1示出了现有技术中云服务器的结构示意图;
图2示出了本发明实施例中数据处理装置的结构示意图;
图3示出了本发明实施例中云服务器的互连网络的结构示意图;
图4示出了本发明实施例中云服务器的两级网络的连接示意图;
图5示出了本发明实施例中云服务器的使用方法实施的流程示意图。
具体实施方式
为了使本发明的技术方案及优点更加清楚明白,以下结合附图对本发明的示例性实施例进行进一步详细的说明,显然,所描述的实施例仅是本发明的一部分实施例,而不是所有实施例的穷举。并且在不冲突的情况下,本说明中的实施例及实施例中的特征可以互相结合。
发明人在发明过程中注意到:
现有的云计算典型应用负载有web应用、科学计算、数据库等等,它们的特点是计算密集型、IO密集型、存储密集型等。现有技术的服务器没有根据应用的需求提供必要的处理器、内存、网络和存储资源。
针对上述不足,本发明实施例提出了一种数据处理装置、云服务器及其使用方法,下面进行说明。
图2示出了本发明实施例所提供的数据处理装置的结构示意图,如图所示,可以包括:系统控制器、上行网络接口、二级互连接口、存储接口、处理器接口;其中:
上行网路接口,用于与系统网络相连,实现外部网络接入;
二级互连接口,用于与其他数据处理装置连接并与其他数据处理装置形成互连网络;
存储接口,用于与存储数据的存储设备相连;
处理器接口,用于与连接有内存的处理器相连;(图2中仅以CPU0~CPU7这8个处理器为例)
系统控制器,用于按网络通信协议通过二级互连接口进行数据通信并在互连网络上传输以太网络报文、存储报文和管理报文,以及按以太网络通信协议交换处理器与处理器、处理器与外部网络的报文,存储报文用于在存储设备上实现处理器的存储需求,管理报文用于传递系统管理信息和系统工作状态。
实施中,数据处理装置可以采用星型结构连接处理器。
实施中,处理器可以是高性能处理器或者是轻量级处理器。
实施中,系统控制器通过增强型外设部件互连标准接口(PCIE,PeripheralComponent Interconnect-Express)、串行外设接口(SPI,Serial PeripheralInterface)、低管脚数接口(LPC,Low Pin Count)、串行硬件驱动器接口(SATA,Serial Advanced Technology Attachment)、1G或10G以太网络与处理器相连。
实施中,互连网络可以为Torus网络、Mesh网络或全互连网络(或者称为All to All网络)等。
全互连拓扑结构也就是我们通常所说的“网状拓扑结构”,在全互连式网络结构中,所有节点都相互连接,各节点都负责网络中所有用户的所有业务处理,相互连接后,就相当于起到均衡和冗余的双重作用。
实施中,上行网络接口可以进一步用于在外部网络接入后,为外部网络提供云服务。
实施中,存储接口可以与机械硬盘或固态硬盘相连;
系统控制器可以进一步用于将物理硬盘虚拟为逻辑硬盘后实现处理器的存储需求。
本发明实施例采用存储硬件虚拟化,可以根据应用负载的需求来按需配置。所谓存储硬件虚拟化是指一块物理硬盘通过硬件手段可以虚拟为多个逻辑硬盘,而每个逻辑硬盘分配个某个处理器。在使用上,处理器使用该逻辑硬盘就如同使用本地物理硬盘一样,处理器共享硬盘资源。
实施中,逻辑硬盘的数量和容量可以根据应用负载情况按需配置。
基于同一发明构思,本发明实施例提供了一种云服务器,包括若干上述数据处理装置,其中:
各数据处理装置通过二级互连接口互连,构成互连网络,并通过二级互连接口在互连网络上交互数据。
本发明实施例的云服务器内部构建了两级高性能网络,数据处理装置可以视为第一级网络,而互连网络可以视为第二级网络。采用这种网络架构,一方面用以有效支撑计算资源共享,另一方面用于提高云服务器的规模可扩展性,也即集成更多的计算资源。该两级互连网络中,每个数据处理装置中的二级互连接口,用于计算规模扩展,即通过该接口,云服务器的数据处理装置作为节点可以构成具备更多节点的互连网络。
图3示出了本发明实施例的互连网络的结构示意图,如图所示,该互连网络包括00~33这16个节点,数据处理装置作为互连网络的节点构成该互连网络;图4仅示出了两个节点(节点30和节点33)的两级网络结构示意图。
实施中,互连网络可以为Torus网络、Mesh或All to All等直接互连网络。
实施中,互连网络可以是高性能网络。
图5示出了本发明实施例所提供的上述云服务器的使用方法的流程示意图,如图所示,可以包括如下步骤:
步骤501、将存储设备虚拟为一个或多个逻辑硬盘,并将各逻辑硬盘分配给各处理器;
步骤502、在互连网络上按高性能网络通信协议传输数据。
实施中,可以进一步包括:将各逻辑硬盘分配给各处理器时,每一逻辑硬盘固定分配给各处理器中的某一处理器。
本发明实施例提供的技术方案,可以根据不同应用负载所需要的资源,对网络和存储硬盘进行硬件输入输出IO虚拟化,实现针对不同应用负载的资源适配,最大限度地确保云服务器的性能。
所谓网络硬件虚拟化是指在互连网络上传输以太网络报文、存储报文。互连网络被虚拟为以太网络交换系统,也就是通过硬件的方法实现网络的按需简约配置。在使用上,处理器使用该网络就如同使用标准的以太网络一样,所有的处理器可以共享该虚拟网络资源。
具体实施中,网络的带宽和传输优先级可以根据应用负载情况按需配置。
同样,互连网络也可以被虚拟为存储网络交换系统,也就是通过硬件的方法实现存储的按需简约配置。在使用上,处理器使用该存储就如同使用标准的本地存储一样,所有的处理器可以共享该虚拟存储资源。
具体实施中,考虑到系统性能,物理硬盘虚拟出的逻辑硬盘,尽可能分配给数据处理装置中的处理器使用。但另一方面,云服务器系统中的所有硬盘也都是可以分配给一个处理器使用的,也即在互连网络上各数据处理装置之间可以资源共享。
本发明实施例通过这个互连网络将所有硬件资源建立连接,使得在每个数据处理装置内以系统控制器为核心的每个节点可以共享计算资源,实现按需简约、弹性、高通量的云服务器设计理念;根据不同云计算应用负载所需要的资源,在硬件架构上实现IO虚拟化可实现针对不同云计算应用负载的资源适配,最大限度地确保云服务器的性能。
另一方面,可以通过二级互连接口在互连网络上根据需要增加数据处理装置节点,集成更多的计算资源,有利于提高云服务器的规模可扩展性。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
Claims (10)
1.一种数据处理装置,其特征在于,包括:系统控制器、上行网络接口、二级互连接口、存储接口、处理器接口;其中:
上行网络接口,用于与系统网络相连,实现外部网络接入;
二级互连接口,用于与其他数据处理装置连接并与其他数据处理装置形成互连网络;
存储接口,用于与存储数据的存储设备相连;
处理器接口,用于与连接有内存的处理器相连;
系统控制器,用于按网络通信协议通过二级互连接口进行数据通信并在互连网络上传输以太网络报文、存储报文和管理报文,以及按以太网络通信协议交换处理器与处理器、处理器与外部网络的报文,存储报文用于在存储设备上实现处理器的存储需求,管理报文用于传递系统管理信息和系统工作状态。
2.如权利要求1所述的数据处理装置,其特征在于,所述系统控制器通过增强型外设部件互连标准接口PCIE、串行外设接口SPI、低管脚数接口LPC、串行硬件驱动器接口SATA、1G或10G以太网络与处理器相连。
3.如权利要求1所述的数据处理装置,其特征在于,所述互连网络为Torus网络、Mesh网络或Allto All全互连网络。
4.如权利要求1所述的数据处理装置,其特征在于,上行网络接口进一步用于在外部网络接入后,为外部网络提供云服务。
5.如权利要求1至4任一所述的数据处理装置,其特征在于,所述存储设备是机械硬盘和/或固态硬盘;
系统控制器进一步用于将物理硬盘虚拟为逻辑硬盘后实现处理器的存储需求。
6.一种云服务器,其特征在于,包括若干如权利要求1至5任一所述的数据处理装置,其中:
各数据处理装置通过二级互连接口互连,构成互连网络,并通过二级互连接口在互连网络上交互数据。
7.如权利要求6所述的云服务器,其特征在于,所述互连网络为Torus网络、Mesh网络或All to All全互连网络。
8.如权利要求6或7所述的云服务器,其特征在于,所述互连网络是高性能网络。
9.一种如权利要求6至8任一所述云服务器的使用方法,其特征在于,包括如下步骤:
将存储设备虚拟为一个或多个逻辑硬盘,并将各逻辑硬盘分配给各处理器;
在互连网络上按高性能网络通信协议传输数据。
10.如权利要求9所述的使用方法,其特征在于,进一步包括:将各逻辑硬盘分配给各处理器时,每一逻辑硬盘固定分配给各处理器中的某一处理器。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410382865.9A CN104125292A (zh) | 2014-08-06 | 2014-08-06 | 一种数据处理装置、云服务器及其使用方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410382865.9A CN104125292A (zh) | 2014-08-06 | 2014-08-06 | 一种数据处理装置、云服务器及其使用方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN104125292A true CN104125292A (zh) | 2014-10-29 |
Family
ID=51770556
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410382865.9A Pending CN104125292A (zh) | 2014-08-06 | 2014-08-06 | 一种数据处理装置、云服务器及其使用方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104125292A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108287806A (zh) * | 2018-01-25 | 2018-07-17 | 曙光云计算集团有限公司 | 一种云服务器系统 |
CN110347626A (zh) * | 2018-04-02 | 2019-10-18 | 三星电子株式会社 | 服务器系统 |
CN117369732A (zh) * | 2023-12-07 | 2024-01-09 | 苏州元脑智能科技有限公司 | 一种逻辑盘处理方法、装置、电子设备及存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100131649A1 (en) * | 2008-11-26 | 2010-05-27 | James Michael Ferris | Systems and methods for embedding a cloud-based resource request in a specification language wrapper |
CN101969391A (zh) * | 2010-10-27 | 2011-02-09 | 北京邮电大学 | 一种支持融合网络业务的云平台及其工作方法 |
CN102576337A (zh) * | 2009-08-28 | 2012-07-11 | 先进绿色计算机-Ip有限公司 | 具有集成共享资源的高密度多节点计算机 |
CN102655532A (zh) * | 2012-04-18 | 2012-09-05 | 上海和辰信息技术有限公司 | 分布式异构虚拟资源集成管理方法及系统 |
CN103064632A (zh) * | 2012-12-04 | 2013-04-24 | 记忆科技(深圳)有限公司 | 固态硬盘及其虚拟化方法、系统 |
CN103118103A (zh) * | 2013-01-29 | 2013-05-22 | 浪潮电子信息产业股份有限公司 | 一种可实现多节点间互联与管理的云服务器架构 |
US20140006482A1 (en) * | 2012-07-02 | 2014-01-02 | Vmware, Inc. | Method and system for providing inter-cloud services |
-
2014
- 2014-08-06 CN CN201410382865.9A patent/CN104125292A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100131649A1 (en) * | 2008-11-26 | 2010-05-27 | James Michael Ferris | Systems and methods for embedding a cloud-based resource request in a specification language wrapper |
CN102576337A (zh) * | 2009-08-28 | 2012-07-11 | 先进绿色计算机-Ip有限公司 | 具有集成共享资源的高密度多节点计算机 |
CN101969391A (zh) * | 2010-10-27 | 2011-02-09 | 北京邮电大学 | 一种支持融合网络业务的云平台及其工作方法 |
CN102655532A (zh) * | 2012-04-18 | 2012-09-05 | 上海和辰信息技术有限公司 | 分布式异构虚拟资源集成管理方法及系统 |
US20140006482A1 (en) * | 2012-07-02 | 2014-01-02 | Vmware, Inc. | Method and system for providing inter-cloud services |
CN103064632A (zh) * | 2012-12-04 | 2013-04-24 | 记忆科技(深圳)有限公司 | 固态硬盘及其虚拟化方法、系统 |
CN103118103A (zh) * | 2013-01-29 | 2013-05-22 | 浪潮电子信息产业股份有限公司 | 一种可实现多节点间互联与管理的云服务器架构 |
Non-Patent Citations (1)
Title |
---|
杨晓君: "机群通信系统互连接入技术研究", 《中国优秀硕士学位论文全文数据库(电子期刊)·信息科技辑》 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108287806A (zh) * | 2018-01-25 | 2018-07-17 | 曙光云计算集团有限公司 | 一种云服务器系统 |
CN108287806B (zh) * | 2018-01-25 | 2021-04-06 | 曙光云计算集团有限公司 | 一种云服务器系统 |
CN110347626A (zh) * | 2018-04-02 | 2019-10-18 | 三星电子株式会社 | 服务器系统 |
CN110347626B (zh) * | 2018-04-02 | 2021-10-22 | 三星电子株式会社 | 服务器系统 |
US11803337B2 (en) | 2018-04-02 | 2023-10-31 | Samsung Electronics Co., Ltd. | NDP-server: a data-centric computing architecture based on storage server in data center |
CN117369732A (zh) * | 2023-12-07 | 2024-01-09 | 苏州元脑智能科技有限公司 | 一种逻辑盘处理方法、装置、电子设备及存储介质 |
CN117369732B (zh) * | 2023-12-07 | 2024-02-23 | 苏州元脑智能科技有限公司 | 一种逻辑盘处理方法、装置、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11010313B2 (en) | Method, apparatus, and system for an architecture for machine learning acceleration | |
US10572290B2 (en) | Method and apparatus for allocating a physical resource to a virtual machine | |
US9477280B1 (en) | Specification for automatic power management of network-on-chip and system-on-chip | |
CN105556496B (zh) | 通过快捷外围组件互连高速(Peripheral Component Interconnect-Express,PCIe)进行的可扩展直接节点间通信的方法和装置 | |
Babou et al. | Home edge computing (HEC): Design of a new edge computing technology for achieving ultra-low latency | |
CN104657308A (zh) | 一种用fpga实现的服务器硬件加速的方法 | |
WO2021155642A1 (zh) | 数据处理方法、装置、分布式数据流编程框架及相关组件 | |
CN113661485A (zh) | 用于一致性加速的域辅助处理器对等 | |
CN104601684A (zh) | 云服务器系统 | |
CN105450588A (zh) | 一种基于rdma的数据传输方法及rdma网卡 | |
US9904577B2 (en) | Hybrid heterogeneous host system, resource configuration method and task scheduling method | |
CN103092807A (zh) | 节点控制器、并行计算服务器系统以及路由方法 | |
CN103532876A (zh) | 数据流的处理方法与系统 | |
CN104023062A (zh) | 一种面向异构计算的分布式大数据系统的硬件架构 | |
CN101778002A (zh) | 一种大规模集群系统及其构建方法 | |
CN104811503A (zh) | 一种r统计建模系统 | |
US20150103641A1 (en) | Load sharing method and apparatus, and board | |
US20230136615A1 (en) | Virtual pools and resources using distributed networked processing units | |
CN113645146B (zh) | 基于新流密度的软件定义网络控制器负载均衡方法及系统 | |
CN104125293B (zh) | 一种云服务器及其使用方法 | |
WO2023207035A1 (zh) | 一种数据同步方法、装置、设备及存储介质 | |
KR101695012B1 (ko) | 동적 노드 서비스 제공 방법 및 그 장치 | |
CN104125292A (zh) | 一种数据处理装置、云服务器及其使用方法 | |
CN104104736A (zh) | 一种云服务器及其使用方法 | |
EP3631639B1 (en) | Communications for field programmable gate array device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20141029 |