CN111901386A

CN111901386A - 一种远端文件处理的方法、系统、设备及可读存储介质

Info

Publication number: CN111901386A
Application number: CN202010614620.XA
Authority: CN
Inventors: 李世杰
Original assignee: Guangdong Inspur Big Data Research Co Ltd
Current assignee: Guangdong Inspur Smart Computing Technology Co Ltd
Priority date: 2020-06-30
Filing date: 2020-06-30
Publication date: 2020-11-06
Anticipated expiration: 2040-06-30
Also published as: CN111901386B

Abstract

本申请公开了一种远端文件处理的方法，包括：获取网卡参数，并根据网卡参数建立对应的网络通道；为每个网络通道配置对应的远端文件处理单元；当接收到通过网络通道发送的远端文件处理请求时，调用网络通道对应的远端文件处理单元对远端文件处理请求进行处理。本申请在接收到通过网络通道发送的多个远端文件处理请求时，能够调用多个网络通道对应的多个远端文件处理单元对远端文件处理请求进行并行处理，增大了网络传输的并发性，同时也增大了批处理的并发性，从而使得多网络通道模式的优势可以更好地发挥出来，极大的提高了远端文件的处理速度。本申请同时还提供了一种远端文件处理的系统、设备及可读存储介质，具有上述有益效果。

Description

一种远端文件处理的方法、系统、设备及可读存储介质

技术领域

本申请涉及远端文件处理领域，特别涉及一种远端文件处理的方法、系统、设备及可读存储介质。

背景技术

SMB服务(Server Message Block，一种用于不同网络节点间的共享传输协议)在网络节点之间提供一种虚拟文件系统，使得不同客户端之间像访问本地文件一样去访问远端文件，目前在Windows系统中广泛应用，开源的Samba(实现SMB协议，用于从Linux服务端向Windows客户端提供共享服务的应用)服务则在Linux系统上遵循SMB协议实现了文件服务功能，可以使Windows客户端访问Linux网络文件系统。

SMB 3.0协议的一个重要特性是多网络通道支持，在多网络通道模式下，网络传输由以前的单个网络通道连接扩展为多个网络通道连接，对于支持多网络通道模式的网卡，数据传输的并行性可以大大提高。最新的Samba服务已经添加了对SMB 3.0协议的支持，但是Samba内部仍是一个单线程模型，用单线程同时处理读写多个socket数据，就会强制让前面的并行传输转为串行处理，导致远端文件的处理速度较慢。

因此，如何提高远端文件的处理速度是本领域技术人员目前需要解决的技术问题。

发明内容

本申请的目的是提供一种远端文件处理的方法、系统、设备及可读存储介质，用于提高远端文件的处理速度。

为解决上述技术问题，本申请提供一种远端文件处理的方法，该方法包括：

获取网卡参数，并根据所述网卡参数建立对应的网络通道；

为每个所述网络通道配置对应的远端文件处理单元；

当接收到通过所述网络通道发送的远端文件处理请求时，调用所述网络通道对应的远端文件处理单元对所述远端文件处理请求进行处理。

可选的，所述获取网卡参数，并根据所述网卡参数建立对应的网络通道，包括：

确定所述网卡支持的网络通道数量；

根据所述网络通道数量判断所述网卡是否支持多网络通道模式；

若否，则为所述网卡配置单个IP地址；

若是，则建立所述网络通道数量的网络通道，并按照预设规则为所述网卡分配对应数目的IP地址。

可选的，在确定所述网卡支持的网络通道数量之前，还包括：

遍历所有网卡，并将不可用网卡排除。

可选的，确定所述网卡支持的网络通道数量，包括：

根据获取的配置文件从所有所述网卡中确定指定网卡；

获取所述指定网卡支持的网络通道数量。

可选的，在当接收到通过所述网络通道发送的远端文件处理请求时，调用所述网络通道对应的远端文件处理单元对所述远端文件处理请求进行处理之前，还包括：

接收并执行SMB协议报文请求；

当接收到查询请求时，反馈所述网卡支持的网络通道数量和IP支持情况。

可选的，所述SMB协议报文请求包括SMB协商请求、会话建立请求、连接树建立请求、文件创建请求、读写请求、关闭请求、属性设置请求、目录创建请求中的至少一项。

可选的，在调用所述网络通道对应的远端文件处理单元对所述远端文件处理请求进行处理之后，还包括：

将得到的处理结果封装为SMB响应报文，并将所述SMB响应报文发送至预设位置；

当接收到反馈的网络错误码时对读写事件监听接口进行设置，以触发所述SMB响应报文重新发送。

本申请还提供一种远端文件处理的系统，该系统包括：

获取模块，用于获取网卡参数，并根据所述网卡参数建立对应的网络通道；

配置模块，用于为每个所述网络通道配置对应的远端文件处理单元；

处理模块，用于当接收到通过所述网络通道发送的远端文件处理请求时，调用所述网络通道对应的远端文件处理单元对所述远端文件处理请求进行处理。

本申请还提供一种远端文件处理设备，该远端文件处理设备包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如上述任一项所述远端文件处理的方法的步骤。

本申请还提供一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述远端文件处理的方法的步骤。

本申请所提供远端文件处理的方法，包括：获取网卡参数，并根据网卡参数建立对应的网络通道；为每个网络通道配置对应的远端文件处理单元；当接收到通过网络通道发送的远端文件处理请求时，调用网络通道对应的远端文件处理单元对远端文件处理请求进行处理。

本申请所提供的技术方案，通过根据网卡参数建立对应的网络通道，然后为每个网络通道配置对应的远端文件处理单元，使得当接收到通过网络通道发送的多个远端文件处理请求时，能够调用多个网络通道对应的多个远端文件处理单元对远端文件处理请求进行并行处理，增大了网络传输的并发性，同时也增大了批处理的并发性，从而使得多网络通道模式的优势可以更好地发挥出来，极大的提高了远端文件的处理速度。本申请同时还提供了一种远端文件处理的系统、设备及可读存储介质，具有上述有益效果，在此不再赘述。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例所提供的一种远端文件处理的方法的流程图；

图2为图1所提供的一种远端文件处理的方法中S101的一种实际表现方式的流程图；

图3为本申请实施例所提供的一种Samba多通道批处理网络架构的示意图；

图4为本申请实施例所提供的一种远端文件处理的系统的结构图；

图5为本申请实施例所提供的一种远端文件处理设备的结构图。

具体实施方式

本申请的核心是提供一种远端文件处理的方法、系统、设备及可读存储介质，用于提高远端文件的处理速度。

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

请参考图1，图1为本申请实施例所提供的一种远端文件处理的方法的流程图。

其具体包括如下步骤：

S101：获取网卡参数，并根据网卡参数建立对应的网络通道；

基于最新的Samba服务已经添加了对SMB 3.0协议的支持，但是Samba内部仍是一个单线程模型，用单线程同时处理读写多个socket数据，就会强制让前面的并行传输转为串行处理，导致远端文件的处理速度较慢；故本申请提供了一种远端文件处理的方法，用于解决上述问题。

在本步骤中，根据网卡参数建立对应的网络通道的目的在于，令多个远端文件处理请求能够通过不同的通道同时发送并执行，增大了网络传输的并发性；

可选的，这里提到的网卡参数可以包括但不限于网卡数量、IP地址列表、多通道均衡特性列表(Receive Side Scaling，RSS)中的至少一项；

优选的，在一个具体的实施例中，本步骤提到的获取网卡参数，并根据网卡参数建立对应的网络通道，其具体也可以通过执行图2所示的步骤实现，下面请参考图2，图2为图1所提供的一种远端文件处理的方法中S101的一种实际表现方式的流程图，其具体包括以下步骤：

S201：确定网卡支持的网络通道数量；

基于网卡规格的不同，其支持的网络通道数量也不相同，因此需要根据网卡参数确定其支持的网络通道数量。

S202：根据网络通道数量判断网卡是否支持多网络通道模式；

若否，则进入步骤S203；若是，则进入步骤S204；

当网络通道数量为1时，则表明该网卡不支持多网络通道模式；当网络通道数量大于1时，则表明该网卡支持多网络通道模式。

S203：为网卡配置单个IP地址；

S204：建立网络通道数量的网络通道，并按照预设规则为网卡分配对应数目的IP地址。

可选的，在确定网卡支持的网络通道数量之前，还可以遍历所有网卡，并将不可用网卡排除，进而提高网卡参数的获取效率。

可选的，步骤S201中提到的确定网卡支持的网络通道数量，其具体可以为：

根据获取的配置文件从所有网卡中确定指定网卡；

获取指定网卡支持的网络通道数量。

在一个具体实施例中，上述技术方案可以通过执行如下步骤实现：

1)利用系统调用接口IOCTL(SIOCGIFCONF)读取可用网卡列表；

利用系统调用接口IOCTL(SIOCGIFFLAGS)判断网卡是否处于UP状态，然后将处于DOWN状态的网卡排除；判断网卡是否支持BROADCAST，通过此条件可以排除掉lo回环口；利用系统调用接口IOCTL(SIOCGIFADDR)读取网卡列表的IP地址，然后将以上信息保存在全局数据区global_ifaces中。

2)利用IOCTL(SIOCETHTOOL)接口读取每个网卡支持的网络通道数量；

将网络通道数量同样记录于全局数据区global_ifaces中。

3)读取配置参数列表smb.conf interfaces，并解析出其中可用的网卡接口；

判断网卡接口的依据是根据前面步骤已经收集到的网卡信息；

若某个网卡接口名在global_ifaces中找得到，说明是有效配置，global_ifaces对应网卡标记为有效；

若某个网卡接口名在global_ifaces找不到，则采用系统日志方式对用户进行提醒警告；

若smb.conf中interfaces参数为空，则将global_ifaces中获取到的所有网卡标记为有效.

4)动态IP分配，可以按照每个IP对应4个网络通道的预设规则给网卡分配合适数量的IP；

若网卡不支持RSS队列，只需给该网卡配置单个IP即可；

若网卡支持的RSS队列数有N个，则给该网卡配置N/4个IP地址，同时新增IP信息添加到global_ifaces参数列表中。

S102：为每个网络通道配置对应的远端文件处理单元；

这里提到的远端文件处理单元用于实现对远端文件的处理，可选的，在一个具体实施例中，远端文件处理单元可以包括如下功能：

线程执行功能：线程执行功能主要用于各个网络通道的SMB请求的业务处理、计算，以及对SMB响应报文的封装；

网络输出功能：当完成SMB响应报文的封装后，将SMB响应报文发送至预设位置；

数据缓存功能：当对端的接收缓冲区存满时，就可能导致本端发送失败重试的情况，因此需要对输出数据进行一个缓冲，数据发送失败时，发送失败的数据仍存在于线程空间之中避免丢失。

S103：当接收到通过网络通道发送的远端文件处理请求时，调用网络通道对应的远端文件处理单元对远端文件处理请求进行处理。

可选的，在一个具体实施例中，由于Windows客户端提前无法知道Samba服务端是否带有RSS多通道网卡支持，因此第一次网络接收是单通道的SMB协议交互，在SMB请求、会话、目录树建立之后，Windows客户端就会主动发起SMB系统调用来查询Samba服务端的RSS网卡和IP支持情况，即在当接收到通过网络通道发送的远端文件处理请求时，调用网络通道对应的远端文件处理单元对远端文件处理请求进行处理之前，还可以执行如下步骤：

接收并执行SMB协议报文请求；

当接收到查询请求时，反馈网卡支持的网络通道数量和IP支持情况。

可选的，这里提到的SMB协议报文请求可以包括SMB协商请求、会话建立请求、连接树建立请求、文件创建请求、读写请求、关闭请求、属性设置请求、目录创建请求中的至少一项。

优选的，为在远端文件处理单元完远端文件处理请求之后及时响应，在调用网络通道对应的远端文件处理单元对远端文件处理请求进行处理之后，还可以执行如下步骤：

将得到的处理结果封装为SMB响应报文，并将SMB响应报文发送至预设位置；

当接收到反馈的网络错误码时对读写事件监听接口进行设置，以触发SMB响应报文重新发送。

基于上述技术方案，本申请所提供的一种远端文件处理的方法，通过根据网卡参数建立对应的网络通道，然后为每个网络通道配置对应的远端文件处理单元，使得当接收到通过网络通道发送的多个远端文件处理请求时，能够调用多个网络通道对应的多个远端文件处理单元对远端文件处理请求进行并行处理，增大了网络传输的并发性，同时也增大了批处理的并发性，从而使得多网络通道模式的优势可以更好地发挥出来，极大的提高了远端文件的处理速度。

下面介绍本申请提供的一种应用实施例，请参考图3，图3为本申请实施例所提供的一种Samba多通道批处理网络架构的示意图，在图3所示网络架构的基础上，对远端文件的处理过程可以通过执行如下步骤实现：

1)建立网络通道，并将网络通道监听句柄listen_fd添加到读写事件监听接口管理中，注册读事件，监听SMB专有TCP端口号445；

2)在Windows客户端挂载网络映射驱动器，目的IP是Samba服务端已经配置过的静态IP；

3)接收到客户端连接后，开始创建第一个通道线程并将网络通道连接句柄accept_fd添加到EPOLL管理中，注册读事件；然后接收SMB协议请求，并转给第一个通道线程模块去执行；

4)在Windows客户端正确输入用户名和密码通过认证的情况下，建立与客户端的连接树，并允许文件读写操作；

5)若Windows客户端采用的是SMB 3.0协议挂载，则客户端会紧接着发送SMB2系统调用请求，请求类型为：

FSCTL_QUERY_NETWORK_INTERFACE_INFO；

6)从全局数据区global_ifaces中解析可用的网卡，以及该网卡保存的RSS队列数和IP地址列表封装到SMB2 IOCTL响应报文；

7)触发网络输出功能对系统调用请求进行回应；

若回应失败，且失败错误码为EAGAIN(Linux错误码的一种，用于标识当前网络临时不可用，需要再次尝试)，则通过系统调用接口EPOLL_CTL(EPOLL_CTL_MOD)设置网络通道连接句柄accept_fd为可写状态，以使读写事件监听接口循环下次可以重新出发输出队列的写操作；

8)若服务端网卡支持RSS多通道，当Windows客户端发生读写达到一定数量后，就会自动建立新的通道；

9)所有通道建立完成后，各个通道独立收发请求。

请参考图4，图4为本申请实施例所提供的一种远端文件处理的系统的结构图。

该系统可以包括：

获取模块100，用于获取网卡参数，并根据网卡参数建立对应的网络通道；

配置模块200，用于为每个网络通道配置对应的远端文件处理单元；

处理模块300，用于当接收到通过网络通道发送的远端文件处理请求时，调用网络通道对应的远端文件处理单元对远端文件处理请求进行处理。

在上述实施例的基础上，在一个具体实施例中，该获取模块100可以包括：

确定子模块，用于确定网卡支持的网络通道数量；

判断子模块，用于根据网络通道数量判断网卡是否支持多网络通道模式；

配置子模块，用于当网卡不支持多网络通道模式时，为网卡配置单个IP地址；

建立子模块，用于当网卡支持多网络通道模式时，建立网络通道数量的网络通道，并按照预设规则为网卡分配对应数目的IP地址。

在上述实施例的基础上，在一个具体实施例中，该获取模块100还可以包括：

遍历子模块，用于遍历所有网卡，并将不可用网卡排除。

在上述实施例的基础上，在一个具体实施例中，该确定子模块可以包括：

确定单元，用于根据获取的配置文件从所有网卡中确定指定网卡；

获取单元，用于获取指定网卡支持的网络通道数量。

在上述实施例的基础上，在一个具体实施例中，该系统还可以包括：

接收模块，用于接收并执行SMB协议报文请求；

反馈模块，用于当接收到查询请求时，反馈网卡支持的网络通道数量和IP支持情况。

封装模块，用于将得到的处理结果封装为SMB响应报文，并将SMB响应报文发送至预设位置；

重发送模块，用于当接收到反馈的网络错误码时对读写事件监听接口进行设置，以触发SMB响应报文重新发送。

由于系统部分的实施例与方法部分的实施例相互对应，因此系统部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。

请参考图5，图5为本申请实施例所提供的一种远端文件处理设备的结构图。

该远端文件处理设备500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)522(例如，一个或一个以上处理器)和存储器532，一个或一个以上存储应用程序542或数据544的存储介质530(例如一个或一个以上海量存储设备)。其中，存储器532和存储介质530可以是短暂存储或持久存储。存储在存储介质530的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对装置中的一系列指令操作。更进一步地，处理器522可以设置为与存储介质530通信，在远端文件处理设备500上执行存储介质530中的一系列指令操作。

远端文件处理设备500还可以包括一个或一个以上电源525，一个或一个以上有线或无线网络接口550，一个或一个以上输入输出接口558，和/或，一个或一个以上操作系统541，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。

上述图1至图2所描述的远端文件处理的方法中的步骤由远端文件处理设备基于该图5所示的结构实现。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置、设备和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，功能调用装置，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上对本申请所提供的一种远端文件处理的方法、系统、设备及可读存储介质进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims

1.一种远端文件处理的方法，其特征在于，包括：

获取网卡参数，并根据所述网卡参数建立对应的网络通道；

为每个所述网络通道配置对应的远端文件处理单元；

2.根据权利要求1所述的方法，其特征在于，所述获取网卡参数，并根据所述网卡参数建立对应的网络通道，包括：

确定所述网卡支持的网络通道数量；

若否，则为所述网卡配置单个IP地址；

3.根据权利要求2所述的方法，其特征在于，在确定所述网卡支持的网络通道数量之前，还包括：

遍历所有网卡，并将不可用网卡排除。

4.根据权利要求3所述的方法，其特征在于，确定所述网卡支持的网络通道数量，包括：

根据获取的配置文件从所有所述网卡中确定指定网卡；

获取所述指定网卡支持的网络通道数量。

5.根据权利要求1所述的方法，其特征在于，在当接收到通过所述网络通道发送的远端文件处理请求时，调用所述网络通道对应的远端文件处理单元对所述远端文件处理请求进行处理之前，还包括：

接收并执行SMB协议报文请求；

6.根据权利要求5所述的方法，其特征在于，所述SMB协议报文请求包括SMB协商请求、会话建立请求、连接树建立请求、文件创建请求、读写请求、关闭请求、属性设置请求、目录创建请求中的至少一项。

7.根据权利要求1-6任一项所述的方法，其特征在于，在调用所述网络通道对应的远端文件处理单元对所述远端文件处理请求进行处理之后，还包括：

8.一种远端文件处理的系统，其特征在于，包括：

9.一种远端文件处理设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述远端文件处理的方法的步骤。

10.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述远端文件处理的方法的步骤。