CN114039940A - 一种数据处理方法和装置 - Google Patents
一种数据处理方法和装置 Download PDFInfo
- Publication number
- CN114039940A CN114039940A CN202111500070.XA CN202111500070A CN114039940A CN 114039940 A CN114039940 A CN 114039940A CN 202111500070 A CN202111500070 A CN 202111500070A CN 114039940 A CN114039940 A CN 114039940A
- Authority
- CN
- China
- Prior art keywords
- module
- blade
- control message
- switching
- switching module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 17
- 238000000034 method Methods 0.000 claims abstract description 13
- 238000009877 rendering Methods 0.000 claims description 40
- 230000005540 biological transmission Effects 0.000 abstract description 10
- 238000010586 diagram Methods 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000000903 blocking effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F15/00—Digital computers in general; Data processing equipment in general
- G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
- G06F15/163—Interprocessor communication
- G06F15/173—Interprocessor communication using an interconnection network, e.g. matrix, shuffle, pyramid, star, snowflake
- G06F15/17306—Intercommunication techniques
- G06F15/17331—Distributed shared memory [DSM], e.g. remote direct memory access [RDMA]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L49/00—Packet switching elements
- H04L49/30—Peripheral units, e.g. input or output ports
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Mathematical Physics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer And Data Communications (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本申请实施例公开了一种数据处理方法和装置,该方法包括:刀片服务器内部的任一交换模块接收来自非编工作站的多条不同的控制报文;针对每条控制报文,通过接入该交换模块的负载均衡子模块判断是否存在与该条控制报文的目的端口和目的MAC匹配的转发表项;若负载均衡子模块的判断结果为是,则通过负载均衡子模块提供的与目的端口和目的MAC匹配的转发表项中的出接口,将该条控制报文发送给刀片服务器内部的与出接口连接的支持远程直接内存访问RDMA的第一刀片计算模块;若接收到刀片服务器内部的支持RDMA的第二刀片计算模块发送的视频数据,则将视频数据发送给非编工作站进行处理。本申请可解决传输视频数据时出现的网络拥塞问题。
Description
技术领域
本申请实施例涉及视频编辑技术领域,具体涉及一种数据处理方法和装置。
背景技术
如图1和图2所示,刀片服务器内部的刀片计算模块在将自身中的图形处理器(Graphics Processing Unit,GPU)处理得到的视频数据回传至非编工作站时,需要先经由自身中的Central Processing Unit,中央处理器CPU到达自身中的网卡,再通过自身中的网卡发送至相应的交换模块,由相应的交换模块将视频数据通过以太网交换机发送给非编工作站进行处理。
在这里,此视频数据是由刀片计算模块中的GPU根据最先接收到的刀片服务器内部的交换模块发送的来自于非编工作站的控制报文,对相关视频素材进行相关渲染处理后得到的;对于刀片服务器内部的任一交换模块而言,均会将来自非编工作站的多个不同的控制报文随机发送给刀片服务器内部的刀片计算模块。
刀片计算模块在将视频数据发送至相应的交换模块时,通常采用随机选取交换模块的方式发送视频数据,这样一来,可能会使得视频数据经由接收控制报文的交换模块原路返回至非编工作站(如图2所示)。如此传输时延在15~16ms左右,无法达到理想状态要求的7~8ms,因此出现高延时问题,使得非编制作时会出现视频画面延迟的现象,并且在上述交换模块需要传输的数据量较大的时候,还会出现网络拥塞问题。
发明内容
为此,本申请实施例提供一种数据处理方法和装置,可以缩短数据传输时延,避免了网络拥塞问题,并在一定程度上减少了视频卡顿的现象,进一步提高了视频制作效率。
为了实现上述目的,本申请实施例提供如下技术方案:
根据本申请实施例的第一方面,提供了一种数据处理方法,应用于刀片服务器内部的任一交换模块,所述方法包括:
接收来自非编工作站的多条不同的控制报文;
针对每条控制报文,通过接入该交换模块的负载均衡子模块判断是否存在与该条控制报文的目的端口和目的MAC匹配的转发表项;若所述负载均衡子模块的判断结果为是,则通过所述负载均衡子模块提供的与所述目的端口和所述目的MAC匹配的转发表项中的出接口,将该条控制报文发送给所述刀片服务器内部的与所述出接口连接的支持远程直接内存访问(Remote Direct Memory Access,RDMA)的第一刀片计算模块,其中,不同的交换模块接入的负载均衡子模块中的转发表项不同,且所有的交换模块接入的负载均衡子模块中的转发表项中包括有与所有的控制报文的目的端口和目的MAC匹配的转发表项;
若接收到所述刀片服务器内部的支持RDMA的第二刀片计算模块发送的视频数据,则将所述视频数据通过以太网交换机发送给所述非编工作站进行处理,其中,所述视频数据为所述第二刀片计算模块在接收到其他交换模块发送的所述多条不同的控制报文中的一条控制报文时,基于接收到的控制报文所指示的渲染操作,对本地获取的目标视频素材进行渲染处理后得到的,且在所述第二刀片计算模块根据预设的选择策略选择出该交换模块时发送过来的,所述第一刀片计算模块和所述第二刀片计算模块不同。
可选地,所述通过接入该交换模块的负载均衡子模块判断是否存在与该条控制报文的目的端口和目的MAC匹配的转发表项之后,所述方法还包括:
若所述负载均衡子模块的判断结果为否,则丢弃该条控制报文。
根据本申请实施例的第二方面,提供了一种数据处理装置,应用于刀片服务器内部的任一交换模块,所述装置包括:
接收单元,用于接收来自非编工作站的多条不同的控制报文;
第一处理模块,用于针对每条控制报文,通过接入该交换模块的负载均衡子模块判断是否存在与该条控制报文的目的端口和目的MAC匹配的转发表项;若所述负载均衡子模块的判断结果为是,则通过所述负载均衡子模块提供的与所述目的端口和所述目的MAC匹配的转发表项中的出接口,将该条控制报文发送给所述刀片服务器内部的与所述出接口连接的支持RDMA的第一刀片计算模块,其中,不同的交换模块接入的负载均衡子模块中的转发表项不同,且所有的交换模块接入的负载均衡子模块中的转发表项中包括有与所有的控制报文的目的端口和目的MAC匹配的转发表项;
第二处理模块,用于若接收到所述刀片服务器内部的支持RDMA的第二刀片计算模块发送的视频数据,则将所述视频数据通过以太网交换机发送给所述非编工作站进行处理,其中,所述视频数据为所述第二刀片计算模块在接收到其他交换模块发送的所述多条不同的控制报文中的一条控制报文时,基于接收到的控制报文所指示的渲染操作,对本地获取的目标视频素材进行渲染处理后得到的,且在所述第二刀片计算模块根据预设的选择策略选择出该交换模块时发送过来的,所述第一刀片计算模块和所述第二刀片计算模块不同。
可选地,所述第一处理模块,还用于:
在通过接入该交换模块的负载均衡子模块判断是否存在与该条控制报文的目的端口和目的MAC匹配的转发表项之后,若判断结果为否,则丢弃该条控制报文。
根据本申请实施例的第三方面,提供了一种数据处理方法,应用于刀片服务器内部的任一支持RDMA的刀片计算模块,所述方法包括:
接收所述刀片服务器内部的任一交换模块发送的控制报文,其中,该控制报文为该交换模块在通过接入该交换模块的负载均衡子模块判断出存在与接收的来自非编工作站的该控制报文的目的端口和目的MAC匹配的转发表项、且该刀片计算模块为与所述目的端口和所述目的MAC匹配的转发表项中的出接口连接的刀片计算模块时发送的;
基于该控制报文所指示的渲染操作,对本地获取的目标视频素材进行渲染处理,得到视频数据;
根据预设的选择策略,从所述刀片服务器内部的除该控制报文的来源交换模块以外的其他交换模块中选择一个交换模块,并将所述视频数据发送给选择出的交换模块,以使得选择出的交换模块通过以太网交换机将所述视频数据发送给所述非编工作站进行处理。
可选地,所述根据预设的选择策略,从所述刀片服务器内部的除该控制报文的来源交换模块以外的其他交换模块中选择一个交换模块,具体包括:
从所述刀片服务器内部的除该控制报文的来源交换模块以外的其他交换模块中随机选择一个交换模块;或者,
从所述刀片服务器内部的除该控制报文的来源交换模块以外的其他交换模块中选择一个负载最小的交换模块。
根据本申请实施例的第四方面,一种数据处理装置,应用于刀片服务器内部的任一支持RDMA的刀片计算模块,所述装置包括:
接收单元,用于接收所述刀片服务器内部的任一交换模块发送的控制报文,其中,该控制报文为该交换模块在通过接入该交换模块的负载均衡子模块判断出存在与接收的来自非编工作站的该控制报文的目的端口和目的MAC匹配的转发表项、且该刀片计算模块为与所述目的端口和所述目的MAC匹配的转发表项中的出接口连接的刀片计算模块时发送的;
第一处理模块,用于基于该控制报文所指示的渲染操作,对本地获取的目标视频素材进行渲染处理,得到视频数据;
第二处理模块,用于根据预设的选择策略,从所述刀片服务器内部的除该控制报文的来源交换模块以外的其他交换模块中选择一个交换模块,并将所述视频数据发送给选择出的交换模块,以使得选择出的交换模块通过以太网交换机将所述视频数据发送给所述非编工作站进行处理。
可选地,第二处理模块,具体用于:
从所述刀片服务器内部的除该控制报文的来源交换模块以外的其他交换模块中随机选择一个交换模块;或者,
从所述刀片服务器内部的除该控制报文的来源交换模块以外的其他交换模块中选择一个负载最小的交换模块。
综上所述,本申请实施例提供了一种数据处理方法和装置,通过刀片服务器内部的任一交换模块接收来自非编工作站的多条不同的控制报文;针对每条控制报文,该交换模块通过接入该交换模块的负载均衡子模块判断是否存在与该控制报文的目的端口和目的MAC匹配的转发表项;若所述负载均衡子模块的判断结果为是,则通过所述负载均衡子模块提供的与所述目的端口和所述目的MAC匹配的转发表项中的出接口,将该条控制报文发送给所述刀片服务器内部的与所述出接口连接的支持RDMA的第一刀片计算模块,其中,不同的交换模块接入的负载均衡子模块中的转发表项不同,且所有的交换模块接入的负载均衡子模块中的转发表项中包括有与所有的控制报文的目的端口和目的MAC匹配的转发表项;若该交换模块接收到所述刀片服务器内部的支持RDMA的第二刀片计算模块发送的视频数据,则将所述视频数据通过以太网交换机发送给所述非编工作站进行处理,其中,所述视频数据为所述第二刀片计算模块在接收到其他交换模块发送的所述多条不同的控制报文中的一条控制报文时,基于接收到的控制报文所指示的渲染操作,对本地获取的目标视频素材进行渲染处理后得到的,且在所述第二刀片计算模块根据预设的选择策略选择出该交换模块时发送过来的,所述第一刀片计算模块和所述第二刀片计算模块不同。
这样一来,可以保证刀片服务器内部的任一支持RDMA的刀片云计算模块不会从同一接口接收控制报文和发送视频数据,避免了网络拥塞问题,并且,缩短了数据传输时延,并在一定程度上减少了视频卡顿的现象,进一步提高了视频制作效率。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案,下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地,下面描述中的附图仅仅是示例性的,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图引伸获得其它的实施附图。
本说明书所绘示的结构、比例、大小等,均仅用以配合说明书所揭示的内容,以供熟悉此技术的人士了解与阅读,并非用以限定本发明可实施的限定条件,故不具技术上的实质意义,任何结构的修饰、比例关系的改变或大小的调整,在不影响本发明所能产生的功效及所能达成的目的下,均应仍落在本发明所揭示的技术内容能涵盖的范围内。
图1为本申请实施例提供的现有技术中刀片服务器中的刀片计算模块向非编工作站传输视频数据的数据传输路线图;
图2为本申请实施例提供的现有技术中刀片服务器内部传输控制报文和视频数据的流向示意图;
图3为本申请实施例提供的应用于刀片服务器内部的任一交换模块的数据处理方法流程示意图;
图4为本申请实施例提供的应用于刀片服务器内部的任一刀片计算模块的数据处理方法流程示意图;
图5为本申请实施例提供的刀片服务器内部传输控制报文和视频数据的流向示意图;
图6为本申请实施例提供的刀片服务器内部的刀片计算模块向非编工作站传输视频数据的数据传输路线示意图;
图7为本申请实施例提供的应用于刀片服务器内部的任一交换模块的数据处理装置框图;
图8为本申请实施例提供的应用于刀片服务器内部的任一刀片计算模块的数据处理装置框图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式,熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图3示出了本申请实施例提供的数据处理方法,应用于刀片服务器内部的任一交换模块,所述方法包括如下步骤:
步骤301:接收来自非编工作站的多条不同的控制报文;
步骤302:针对每条控制报文,通过接入该交换模块的负载均衡子模块判断是否存在与该条控制报文的目的端口和目的MAC匹配的转发表项;
步骤303:若所述负载均衡子模块的判断结果为是,则通过所述负载均衡子模块提供的与所述目的端口和所述目的MAC匹配的转发表项中的出接口,将该条控制报文发送给所述刀片服务器内部的与所述出接口连接的支持RDMA的第一刀片计算模块,其中,不同的交换模块接入的负载均衡子模块中的转发表项不同,且所有的交换模块接入的负载均衡子模块中的转发表项中包括有与所有的控制报文的目的端口和目的MAC匹配的转发表项;
步骤304:若接收到所述刀片服务器内部的支持RDMA的第二刀片计算模块发送的视频数据,则将所述视频数据通过以太网交换机发送给所述非编工作站进行处理,其中,所述视频数据为所述第二刀片计算模块在接收到其他交换模块发送的所述多条不同的控制报文中的一条控制报文时,基于接收到的控制报文所指示的渲染操作,对本地获取的目标视频素材进行渲染处理后得到的,且在所述第二刀片计算模块根据预设的选择策略选择出该交换模块时发送过来的,所述第一刀片计算模块和所述第二刀片计算模块不同。在一种可能的实施方式中,该交换模块在通过接入该交换模块的负载均衡子模块判断是否存在与该条控制报文的目的端口和目的MAC匹配的转发表项之后,还可以执行以下操作:
若所述负载均衡子模块的判断结果为否,则丢弃该条控制报文。
需要说明的是,在本申请实施例中,上述负载均衡子模块可以以插拔方式接入到该交换模块上,当然,也可以通过其他方式接入到该交换模块上,本申请并不对上述负载均衡子模块接入该交换模块的接入方式进行限定。
另外,对于上述负载均衡子模块而言,可能会判断出存在与所有的控制报文的目的端口和目的MAC匹配的转发表项,在这种情形下,意味着所有的控制报文均由该交换模块发送给相应的刀片计算模块;也可能会判断出存在与部分控制报文的目的端口和目的MAC匹配的转发表项,在这种情形下,意味着匹配成功的控制报文由该交换模块发送给相应的刀片计算模块,匹配不成功的控制报文由该交换模块丢弃掉,并且匹配不成功的任一控制报文会由其他交换模块中的一个交换模块接入的负载均衡子模块匹配成功,最终由这个交换模块将其发送给相应的刀片计算模块。
进一步需要说明的是,在该交换模块执行上述步骤S303之后,对于接收到该条控制报文的支持RDMA的第一刀片计算模块而言,会基于该条控制报文所指示的渲染操作,对本地获取的目标视频素材进行渲染处理,得到视频数据,具体的渲染处理过程为现有技术,在此不再详述;之后,根据所述预设的选择策略,从所述刀片服务器内部的除该条控制报文的来源交换模块以外的其他交换模块中选择一个交换模块,并将此视频数据发送给选择出的交换模块,以由选择出的交换模块通过以太网交换机将此视频数据发送给所述非编工作站进行处理。
图4示出了本申请实施例提供的另一数据处理方法,应用于刀片服务器内部的任一支持RDMA的刀片计算模块,所述方法包括:
步骤401:接收所述刀片服务器内部的任一交换模块发送的控制报文,其中,该控制报文为该交换模块在通过接入该交换模块的负载均衡子模块判断出存在与接收的来自非编工作站的该控制报文的目的端口和目的MAC匹配的转发表项、且该刀片计算模块为与所述目的端口和所述目的MAC匹配的转发表项中的出接口连接的刀片计算模块时发送的;
步骤402:基于该控制报文所指示的渲染操作,对本地获取的目标视频素材进行渲染处理,得到视频数据;
步骤403:根据预设的选择策略,从所述刀片服务器内部的除该控制报文的来源交换模块以外的其他交换模块中选择一个交换模块,并将所述视频数据发送给选择出的交换模块,以使得选择出的交换模块通过以太网交换机将所述视频数据发送给所述非编工作站进行处理。
在一种可能的实施方式中,在步骤403中,该刀片计算模块具体可以通过以下方式实现从所述刀片服务器内部的除该控制报文的来源交换模块以外的其他交换模块中选择一个交换模块:
第一种方式:从所述刀片服务器内部的除该控制报文的来源交换模块以外的其他交换模块中随机选择一个交换模块。
第二种方式,从所述刀片服务器内部的除该控制报文的来源交换模块以外的其他交换模块中选择一个负载最小的交换模块。
当然,该刀片计算模块还可以通过其他方式实现从所述刀片服务器内部的除该控制报文的来源交换模块以外的其他交换模块中选择一个交换模块,在此不再一一列举。
下面结合图5和图6对本申请实施例提供的上述数据处理方法的实施例进行进一步详细描述。
如图5所示,虚线框内为刀片服务器的内部架构,包括3个支持RDMA的刀片计算模块(如图5所示的刀片计算模块1、刀片计算模块2和刀片计算模块3)和2个交换模块(如图5所示的交换模块1和交换模块2)。每个交换模块均通过50GE接口连接每个刀片计算模块,均通过100GE接口连接以太网交换机,该以太网交换机通过200GE接口连接非编工作站;刀片计算模块1的IP地址(也即,刀片计算模块1中的网卡的IP地址)为192.168.2.101/24,刀片计算模块2的IP地址(也即,刀片计算模块2中的网卡的IP地址)为192.168.2.102/24,刀片计算模块3的IP地址(也即,刀片计算模块3中的网卡的IP地址)为192.168.2.103/24;非编工作站的IP地址为192.168.2.9/24,与3个刀片计算模块的IP地址处于同一网段。
假设非编工作站需要对3个不同角度的8K视频素材进行非编处理,非编工作站会针对每个角度的8K视频素材生成一个控制报文,分别为控制报文1、控制报文2和控制报文3,并将这3个控制报文分别发送给刀片服务器中的交换模块1和交换模块2。在这里,不同角度的8K视频素材事先存储在不同的刀片计算模块上,不同的控制报文所指示的渲染操作不同。
交换模块1和交换模块2在接收到控制报文1、控制报文2和控制报文3之后,均执行以下操作:
针对每条控制报文,会通过该接入交换模块的负载均衡子模块判断是否存在与该条控制报文的目的端口和目的MAC匹配的转发表项;
若所述负载均衡子模块的判断结果为是,则通过所述负载均衡子模块提供的与所述目的端口和所述目的MAC匹配的转发表项中的出接口,将该条控制报文发送给刀片服务器内部的与所述出接口连接的刀片计算模块;
若所述负载均衡子模块的判断结果为否,则丢弃该条控制报文。
对于交换模块1,假设相应的负载均衡子模块仅判断出存在与控制报文1和控制报文2的目的端口和目的MAC匹配的转发表项,并且,相应的负载均衡子模块提供的与控制报文1的目的端口和目的MAC匹配的转发表项中的出接口为与刀片计算模块1连接的接口,提供的与控制报文2的目的端口和目的MAC匹配的转发表项中的出接口为与刀片计算模块2连接的接口。
那么,在这种情形下,交换模块1会通过相应的负载均衡子模块提供的与控制报文1的目的端口和目的MAC匹配的转发表项中的出接口,将控制报文1发送给刀片计算模块1;以及会通过相应的负载均衡子模块提供的与控制报文2的目的端口和目的MAC匹配的转发表项中的出接口,将控制报文2发送给刀片计算模块2;并且,交换模块1会丢弃控制报文3。
对于交换模块2,假设相应的负载均衡子模块仅判断出存在与控制报文3的目的端口和目的MAC匹配的转发表项,并且,相应的负载均衡子模块提供的与控制报文3的目的端口和目的MAC匹配的转发表项中的出接口为与刀片计算模块3连接的接口。
那么,在这种情形下,交换模块2会丢弃控制报文1和控制报文2,并会通过相应的负载均衡子模块提供的与控制报文3的目的端口和目的MAC匹配的转发表项中的出接口,将控制报文3发送给刀片计算模块3。
接下来,刀片计算模块1会接收到控制报文1,刀片计算模块2会接收到控制报文2,刀片计算模块3会接收到控制报文3。
以刀片计算模块1为例,在接收到控制报文1之后,会根据控制报文1所指示的渲染操作(例如,图形渲染操作、色彩渲染操作等),对本地获取的8K视频素材进行渲染处理,例如,得到视频数据1;然后,刀片计算模块1会从刀片服务器内部的除控制报文1的来源交换模块(即,交换模块1)以外的其他交换模块中选择一个交换模块,由于其他交换模块只有一个,刀片计算模块1选择交换模块2,将视频数据1发送给交换模块2,以由交换模块2通过以太网交换机将视频数据1发送给非编工作站进行处理。
具体地,如图6所示,对于刀片计算模块1而言,由于该刀片计算模块支持RDMA,所以,刀片计算模块1中的网卡在接收到控制报文1之后,会通过芯片组直接将控制报文1透传送给刀片计算模块1中的GPU,由GPU根据控制报文1所指示的渲染操作,对获取的8K视频素材进行渲染处理,得到视频数据1,将视频数据1通过芯片组透传给网卡,最后由网卡发送给交换模块2。
需要说明的是,刀片计算模块2在接收到控制报文2之后的处理流程,以及片计算模块3在接收到控制报文3之后的处理流程,均与刀片计算模块1在接收到控制报文1之后的处理流程类似,在此不再一一详述。
最后,非编工作站会收到3个不同角度的视频数据,并对这些视频数据进行非编处理,例如进行剪辑、后期合成等。
综上所述,本申请实施例提供了一种数据处理方法,通过刀片服务器内部的任一交换模块接收来自非编工作站的多条不同的控制报文;针对每条控制报文,该交换模块通过接入该交换模块的负载均衡子模块判断是否存在与该控制报文的目的端口和目的MAC匹配的转发表项;若所述负载均衡子模块的判断结果为是,则通过所述负载均衡子模块提供的与所述目的端口和所述目的MAC匹配的转发表项中的出接口,将该条控制报文发送给所述刀片服务器内部的与所述出接口连接的支持RDMA的第一刀片计算模块,其中,不同的交换模块接入的负载均衡子模块中的转发表项不同,且所有的交换模块接入的负载均衡子模块中的转发表项中包括有与所有的控制报文的目的端口和目的MAC匹配的转发表项;若该交换模块接收到所述刀片服务器内部的支持RDMA的第二刀片计算模块发送的视频数据,则将所述视频数据通过以太网交换机发送给所述非编工作站进行处理,其中,所述视频数据为所述第二刀片计算模块在接收到其他交换模块发送的所述多条不同的控制报文中的一条控制报文时,基于接收到的控制报文所指示的渲染操作,对本地获取的目标视频素材进行渲染处理后得到的,且在所述第二刀片计算模块根据预设的选择策略选择出该交换模块时发送过来的;所述第一刀片计算模块和所述第二刀片计算模块不同。
这样一来,可以保证刀片服务器内部的任一支持RDMA的刀片云计算模块不会从同一接口接收控制报文和发送视频数据,避免了网络拥塞问题,并且,缩短了数据传输时延,并在一定程度上减少了视频卡顿的现象,进一步提高了视频制作效率。
基于相同的技术构思,本申请实施例还提供了一种数据处理装置,如图7所示,应用于刀片服务器内部的任一交换模块,所述装置包括:
接收单元701,用于接收来自非编工作站的多条不同的控制报文;
第一处理模块702,用于针对每条控制报文,通过接入该交换模块的负载均衡子模块判断是否存在与该条控制报文的目的端口和目的MAC匹配的转发表项;若所述负载均衡子模块的判断结果为是,则通过所述负载均衡子模块提供的与所述目的端口和所述目的MAC匹配的转发表项中的出接口,将该条控制报文发送给所述刀片服务器内部的与所述出接口连接的支持RDMA的第一刀片计算模块,其中,不同的交换模块接入的负载均衡子模块中的转发表项不同,且所有的交换模块接入的负载均衡子模块中的转发表项中包括有与所有的控制报文的目的端口和目的MAC匹配的转发表项;
第二处理模块703,用于若接收到所述刀片服务器内部的支持RDMA的第二刀片计算模块发送的视频数据,则将所述视频数据通过以太网交换机发送给所述非编工作站进行处理,其中,所述视频数据为所述第二刀片计算模块在接收到其他交换模块发送的所述多条不同的控制报文中的一条控制报文时,基于接收到的控制报文所指示的渲染操作,对本地获取的目标视频素材进行渲染处理后得到的,且在所述第二刀片计算模块根据预设的选择策略选择出该交换模块时发送过来的;所述第一刀片计算模块和所述第二刀片计算模块不同。
在一种可能的实施方式中,所述第一处理模块702,还用于:在通过接入该交换模块的负载均衡子模块判断是否存在与该条控制报文的目的端口和目的MAC匹配的转发表项之后,若判断结果为否,则丢弃该条控制报文。
基于相同的技术构思,本申请实施例还提供了一种数据处理装置,如图8所示,应用于刀片服务器内部的任一支持远程直接内存访问RDMA的刀片计算模块,所述装置包括:
接收单元801,用于接收所述刀片服务器内部的任一交换模块发送的控制报文,其中,该控制报文为该交换模块在通过接入该交换模块的负载均衡子模块判断出存在与接收的来自非编工作站的该控制报文的目的端口和目的MAC匹配的转发表项、且该刀片计算模块为与所述目的端口和所述目的MAC匹配的转发表项中的出接口连接的刀片计算模块时发送的;
第一处理模块802,用于基于该控制报文所指示的渲染操作,对本地获取的目标视频素材进行渲染处理,得到视频数据;
第二处理模块803,用于根据预设的选择策略,从所述刀片服务器内部的除该控制报文的来源交换模块以外的其他交换模块中选择一个交换模块,并将所述视频数据发送给选择出的交换模块,以使得选择出的交换模块通过以太网交换机将所述视频数据发送给所述非编工作站进行处理。
在一种可能的实施方式中,第二处理模块803,具体用于:
从所述刀片服务器内部的除该控制报文的来源交换模块以外的其他交换模块中随机选择一个交换模块;或者,从所述刀片服务器内部的除该控制报文的来源交换模块以外的其他交换模块中选择一个负载最小的交换模块。
综上所述,本申请实施例提供了一种数据处理方法,通过刀片服务器内部的任一交换模块接收来自非编工作站的多条不同的控制报文;针对每条控制报文,该交换模块通过接入该交换模块的负载均衡子模块判断是否存在与该控制报文的目的端口和目的MAC匹配的转发表项;若所述负载均衡子模块的判断结果为是,则通过所述负载均衡子模块提供的与所述目的端口和所述目的MAC匹配的转发表项中的出接口,将该条控制报文发送给所述刀片服务器内部的与所述出接口连接的支持RDMA的第一刀片计算模块,其中,不同的交换模块接入的负载均衡子模块中的转发表项不同,且所有的交换模块接入的负载均衡子模块中的转发表项中包括有与所有的控制报文的目的端口和目的MAC匹配的转发表项;若该交换模块接收到所述刀片服务器内部的支持RDMA的第二刀片计算模块发送的视频数据,则将所述视频数据通过以太网交换机发送给所述非编工作站进行处理,其中,所述视频数据为所述第二刀片计算模块在接收到其他交换模块发送的所述多条不同的控制报文中的一条控制报文时,基于接收到的控制报文所指示的渲染操作,对本地获取的目标视频素材进行渲染处理后得到的,且在所述第二刀片计算模块根据预设的选择策略选择出该交换模块时发送过来的;所述第一刀片计算模块和所述第二刀片计算模块不同。
这样一来,可以保证刀片服务器内部的任一支持RDMA的刀片云计算模块不会从同一接口接收控制报文和发送视频数据,避免了网络拥塞问题,并且,缩短了数据传输时延,并在一定程度上减少了视频卡顿的现象,进一步提高了视频制作效率。
应该注意的是上述实施例对本申请进行说明而不是对本申请进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
以上所述,仅为本申请较佳的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
Claims (8)
1.一种数据处理方法,其特征在于,应用于刀片服务器内部的任一交换模块,所述方法包括:
接收来自非编工作站的多条不同的控制报文;
针对每条控制报文,通过接入该交换模块的负载均衡子模块判断是否存在与该条控制报文的目的端口和目的MAC匹配的转发表项;
若所述负载均衡子模块的判断结果为是,则通过所述负载均衡子模块提供的与所述目的端口和所述目的MAC匹配的转发表项中的出接口,将该条控制报文发送给所述刀片服务器内部的与所述出接口连接的支持远程直接内存访问RDMA的第一刀片计算模块,其中,不同的交换模块接入的负载均衡子模块中的转发表项不同,且所有的交换模块接入的负载均衡子模块中的转发表项中包括有与所有的控制报文的目的端口和目的MAC匹配的转发表项;
若接收到所述刀片服务器内部的支持RDMA的第二刀片计算模块发送的视频数据,则将所述视频数据通过以太网交换机发送给所述非编工作站进行处理,其中,所述视频数据为所述第二刀片计算模块在接收到其他交换模块发送的所述多条不同的控制报文中的一条控制报文时,基于接收到的控制报文所指示的渲染操作,对本地获取的目标视频素材进行渲染处理后得到的,且在所述第二刀片计算模块根据预设的选择策略选择出该交换模块时发送过来的,所述第一刀片计算模块和所述第二刀片计算模块不同。
2.如权利要求1所述的方法,其特征在于,所述通过接入该交换模块的负载均衡子模块判断是否存在与该条控制报文的目的端口和目的MAC匹配的转发表项之后,所述方法还包括:
若所述负载均衡子模块的判断结果为否,则丢弃该条控制报文。
3.一种数据处理方法,其特征在于,应用于刀片服务器内部的任一支持远程直接内存访问RDMA的刀片计算模块,所述方法包括:
接收所述刀片服务器内部的任一交换模块发送的控制报文,其中,该控制报文为该交换模块在通过接入该交换模块的负载均衡子模块判断出存在与接收的来自非编工作站的该控制报文的目的端口和目的MAC匹配的转发表项、且该刀片计算模块为与所述目的端口和所述目的MAC匹配的转发表项中的出接口连接的刀片计算模块时发送的;
基于该控制报文所指示的渲染操作,对本地获取的目标视频素材进行渲染处理,得到视频数据;
根据预设的选择策略,从所述刀片服务器内部的除该控制报文的来源交换模块以外的其他交换模块中选择一个交换模块,并将所述视频数据发送给选择出的交换模块,以使得选择出的交换模块通过以太网交换机将所述视频数据发送给所述非编工作站进行处理。
4.如权利要求3所述的方法,其特征在于,所述根据预设的选择策略,从所述刀片服务器内部的除该控制报文的来源交换模块以外的其他交换模块中选择一个交换模块,具体包括:
从所述刀片服务器内部的除该控制报文的来源交换模块以外的其他交换模块中随机选择一个交换模块;或者,
从所述刀片服务器内部的除该控制报文的来源交换模块以外的其他交换模块中选择一个负载最小的交换模块。
5.一种数据处理装置,其特征在于,应用于刀片服务器内部的任一交换模块,所述装置包括:
接收单元,用于接收来自非编工作站的多条不同的控制报文;
第一处理模块,用于针对每条控制报文,通过接入该交换模块的负载均衡子模块判断是否存在与该条控制报文的目的端口和目的MAC匹配的转发表项;若所述负载均衡子模块的判断结果为是,则通过所述负载均衡子模块提供的与所述目的端口和所述目的MAC匹配的转发表项中的出接口,将该条控制报文发送给所述刀片服务器内部的与所述出接口连接的支持远程直接内存访问RDMA的第一刀片计算模块,其中,不同的交换模块接入的负载均衡子模块中的转发表项不同,且所有的交换模块接入的负载均衡子模块中的转发表项中包括有与所有的控制报文的目的端口和目的MAC匹配的转发表项;
第二处理模块,用于若接收到所述刀片服务器内部的支持RDMA的第二刀片计算模块发送的视频数据,则将所述视频数据通过以太网交换机发送给所述非编工作站进行处理,其中,所述视频数据为所述第二刀片计算模块在接收到其他交换模块发送的所述多条不同的控制报文中的一条控制报文时,基于接收到的控制报文所指示的渲染操作,对本地获取的目标视频素材进行渲染处理后得到的,且在所述第二刀片计算模块根据预设的选择策略选择出该交换模块时发送过来的,所述第一刀片计算模块和所述第二刀片计算模块不同。
6.如权利要求5所述的装置,其特征在于,所述第一处理模块,还用于:
在通过接入该交换模块的负载均衡子模块判断是否存在与该条控制报文的目的端口和目的MAC匹配的转发表项之后,若判断结果为否,则丢弃该条控制报文。
7.一种数据处理装置,其特征在于,应用于刀片服务器内部的任一支持远程直接内存访问RDMA的刀片计算模块,所述装置包括:
接收单元,用于接收所述刀片服务器内部的任一交换模块发送的控制报文,其中,该控制报文为该交换模块在通过接入该交换模块的负载均衡子模块判断出存在与接收的来自非编工作站的该控制报文的目的端口和目的MAC匹配的转发表项、且该刀片计算模块为与所述目的端口和所述目的MAC匹配的转发表项中的出接口连接的刀片计算模块时发送的;
第一处理模块,用于基于该控制报文所指示的渲染操作,对本地获取的目标视频素材进行渲染处理,得到视频数据;
第二处理模块,用于根据预设的选择策略,从所述刀片服务器内部的除该控制报文的来源交换模块以外的其他交换模块中选择一个交换模块,并将所述视频数据发送给选择出的交换模块,以使得选择出的交换模块通过以太网交换机将所述视频数据发送给所述非编工作站进行处理。
8.如权利要求7所述的装置,其特征在于,第二处理模块,具体用于:
从所述刀片服务器内部的除该控制报文的来源交换模块以外的其他交换模块中随机选择一个交换模块;或者,
从所述刀片服务器内部的除该控制报文的来源交换模块以外的其他交换模块中选择一个负载最小的交换模块。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111500070.XA CN114039940B (zh) | 2021-12-09 | 2021-12-09 | 一种数据处理方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111500070.XA CN114039940B (zh) | 2021-12-09 | 2021-12-09 | 一种数据处理方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114039940A true CN114039940A (zh) | 2022-02-11 |
CN114039940B CN114039940B (zh) | 2024-01-26 |
Family
ID=80140075
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111500070.XA Active CN114039940B (zh) | 2021-12-09 | 2021-12-09 | 一种数据处理方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114039940B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101431432A (zh) * | 2007-11-06 | 2009-05-13 | 联想(北京)有限公司 | 刀片服务器 |
CN101594235A (zh) * | 2009-06-02 | 2009-12-02 | 浪潮电子信息产业股份有限公司 | 一种基于smbus总线对刀片服务器进行管理的方法 |
CN102594668A (zh) * | 2012-02-03 | 2012-07-18 | 福建星网锐捷网络有限公司 | 报文转发方法、装置和交换设备 |
CN104580011A (zh) * | 2013-10-23 | 2015-04-29 | 杭州华三通信技术有限公司 | 一种数据转发装置和方法 |
US20150293582A1 (en) * | 2014-04-15 | 2015-10-15 | Pierre Popovic | Energy Efficient Blade Server and Method for Reducing the Power Consumption of a Data Center Using the Energy Efficient Blade Server |
WO2019047939A1 (zh) * | 2017-09-08 | 2019-03-14 | 新华三技术有限公司 | 一种负载均衡方法、装置及业务编排器 |
CN214900918U (zh) * | 2021-03-18 | 2021-11-26 | 江苏金陵科技集团有限公司 | 一种基于多通道base交换的主控刀片 |
-
2021
- 2021-12-09 CN CN202111500070.XA patent/CN114039940B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101431432A (zh) * | 2007-11-06 | 2009-05-13 | 联想(北京)有限公司 | 刀片服务器 |
CN101594235A (zh) * | 2009-06-02 | 2009-12-02 | 浪潮电子信息产业股份有限公司 | 一种基于smbus总线对刀片服务器进行管理的方法 |
CN102594668A (zh) * | 2012-02-03 | 2012-07-18 | 福建星网锐捷网络有限公司 | 报文转发方法、装置和交换设备 |
CN104580011A (zh) * | 2013-10-23 | 2015-04-29 | 杭州华三通信技术有限公司 | 一种数据转发装置和方法 |
US20150293582A1 (en) * | 2014-04-15 | 2015-10-15 | Pierre Popovic | Energy Efficient Blade Server and Method for Reducing the Power Consumption of a Data Center Using the Energy Efficient Blade Server |
WO2019047939A1 (zh) * | 2017-09-08 | 2019-03-14 | 新华三技术有限公司 | 一种负载均衡方法、装置及业务编排器 |
CN214900918U (zh) * | 2021-03-18 | 2021-11-26 | 江苏金陵科技集团有限公司 | 一种基于多通道base交换的主控刀片 |
Non-Patent Citations (3)
Title |
---|
YUKIHIRO NAKAGAWA;ET ALL: "A Single-Chip, 10-Gigabit Ethernet Switch LSI for Energy-Efficient Blade Servers", 《2010 IEEE/ACM INT\'L CONFERENCE ON GREEN COMPUTING AND COMMUNICATIONS & INT\'L CONFERENCE ON CYBER, PHYSICAL AND SOCIAL COMPUTING》 * |
李孟君;王乐东;叶忠;: "基于IPMI的智能平台管理系统设计与实现", 《网络安全技术与应用》, no. 09 * |
李孟君;王乐东;叶忠;: "基于IPMI的智能平台管理系统设计与实现", 网络安全技术与应用, no. 09 * |
Also Published As
Publication number | Publication date |
---|---|
CN114039940B (zh) | 2024-01-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11876702B2 (en) | System and method for facilitating efficient address translation in a network interface controller (NIC) | |
US20200183718A1 (en) | Network policy implementation with multiple interfaces | |
US9450780B2 (en) | Packet processing approach to improve performance and energy efficiency for software routers | |
US8958418B2 (en) | Frame handling within multi-stage switching fabrics | |
US8913613B2 (en) | Method and system for classification and management of inter-blade network traffic in a blade server | |
EP2767047B1 (en) | Distributed ipv6 neighbor discovery for large datacenter switching systems | |
US7248593B2 (en) | Method and apparatus for minimizing spinlocks and retaining packet order in systems utilizing multiple transmit queues | |
US8265072B2 (en) | Frame switching device | |
CN101304389B (zh) | 报文处理方法、装置和系统 | |
WO2017025021A1 (zh) | 一种处理流表的方法及装置 | |
CN110932890B (zh) | 一种数据传输方法、服务器及计算机可读存储介质 | |
US20180006950A1 (en) | Technologies for adaptive routing using aggregated congestion information | |
US8539089B2 (en) | System and method for vertical perimeter protection | |
WO2021057293A1 (zh) | Evpn中报文转发方法、装置、设备及存储介质 | |
US7209489B1 (en) | Arrangement in a channel adapter for servicing work notifications based on link layer virtual lane processing | |
US20060251071A1 (en) | Apparatus and method for IP packet processing using network processor | |
US20200213233A1 (en) | Balancing load | |
US7295562B1 (en) | Systems and methods for expediting the identification of priority information for received packets | |
CN106789671B (zh) | 一种业务报文转发方法及设备 | |
CN114039940A (zh) | 一种数据处理方法和装置 | |
US7363383B2 (en) | Running a communication protocol state machine through a packet classifier | |
US20130077530A1 (en) | Scaling IPv6 on Multiple Devices Virtual Switching System with Port or Device Level Aggregation | |
CN113542114A (zh) | 路由配置方法和路由配置装置 | |
CN114221834B (zh) | 一种报文转发方法及装置 | |
US20100238930A1 (en) | Router and method of forwarding ipv6 packets |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |