CN112954013B

CN112954013B - 一种网络文件信息获取方法、装置、设备及存储介质

Info

Publication number: CN112954013B
Application number: CN202110113646.0A
Authority: CN
Inventors: 沈晨辉
Original assignee: Zhengcaiyun Co ltd
Current assignee: Zhengcaiyun Co ltd
Priority date: 2021-01-27
Filing date: 2021-01-27
Publication date: 2023-04-07
Anticipated expiration: 2041-01-27
Also published as: CN112954013A

Abstract

本申请公开了一种网络文件信息获取方法、装置、设备及介质。该方法包括：针对目标文件生成相应的目标HTTP请求，并通过TCP连接将所述目标HTTP请求发送给目标服务器端；接收所述目标服务器端反馈的与所述目标HTTP请求对应的响应数据包，并实时解析所述响应数据包；当解析得到所述目标文件的基础信息后关闭所述TCP连接，以停止所述目标服务器端向所述客户端发送数据。通过实时解析目标服务器端反馈的响应数据包，在得到需要的目标文件的基础信息后，终止与目标服务器端的TCP连接，以停止目标服务器端向客户端发送数据，由此可以快速获取有效信息，避免浪费时间获取无用信息，提高了文件信息获取效率，降低了网络带宽的占用。

Description

一种网络文件信息获取方法、装置、设备及存储介质

技术领域

本发明涉及网络通信领域，特别涉及一种网络文件信息获取方法、装置、设备及存储介质。

背景技术

当前，在文件下载场景中，通常会通过http协议进行文件的下载，客户端通过http协议进行文件信息获取，即通过http请求下载整个文件，以获取到文件的相关信息，但有些应用场景可能只需要获取文件的部分基本信息即可，不需要整个文件的内容，此时如果通过http请求下载整个文件，会对网络带宽造成一定的浪费，并且会增加文件下载等待时长。现有技术中，通过在文件上传至服务器时将文件基本信息存放在服务器数据库，以便在读取文件基本信息时直接查找数据库，但是这种方式只适用于用户自身维护的文件服务器系统，如果文件服务器系统是外部维护的，便无法增加此功能，如一些CDN静态资源文件就无法实现该功能，降低了文件信息获取的效率。

发明内容

有鉴于此，本发明的目的在于提供一种网络文件信息获取方法、装置、设备及介质，能够提高文件信息获取效率，降低网络带宽的占用。其具体方案如下：

第一方面，本申请公开了一种网络文件信息获取方法，包括：

针对目标文件生成相应的目标HTTP请求，并通过TCP连接将所述目标HTTP请求发送给目标服务器端；

接收所述目标服务器端反馈的与所述目标HTTP请求对应的响应数据包，并实时解析所述响应数据包；

当解析得到所述目标文件的基础信息后关闭所述TCP连接，以停止所述目标服务器端向所述客户端发送数据。

可选的，所述针对目标文件伪造得到相应的目标HTTP请求之前，还包括：

向所述目标服务器端发送TCP连接请求，以建立所述TCP连接。

可选的，所述目标文件的基础信息包括文件大小信息和文件名称信息。

可选的，所述接收所述目标服务器端反馈的与所述目标HTTP请求对应的响应数据包，并实时解析所述响应数据包，包括：

通过本地缓冲区接收所述目标服务器端反馈的与所述目标HTTP请求对应的响应数据包；

根据预设数据长度实时从所述本地缓冲区中读取响应数据，并根据HTTP协议解析所述响应数据。

第二方面，本申请公开了一种网络文件信息获取装置，包括：

HTTP请求发送模块，用于针对目标文件生成相应的目标HTTP请求，并通过TCP连接将所述目标HTTP请求发送给目标服务器端；

数据接收模块，用于接收所述目标服务器端反馈的与所述目标HTTP请求对应的响应数据包，并实时解析所述响应数据包；

TCP连接关闭模块，用于当解析得到所述目标文件的基础信息后关闭所述TCP连接，以停止所述目标服务器端向所述客户端发送数据。

可选的，所述网络文件信息获取装置，还包括：

TCP连接请求发送单元，用于向所述目标服务器端发送TCP连接请求，以建立所述TCP连接。

可选的，所述数据接收模块，包括：

数据缓存单元，用于通过本地缓冲区接收所述目标服务器端反馈的与所述目标HTTP请求对应的响应数据包；

数据解析单元，用于根据预设数据长度实时从所述本地缓冲区中读取响应数据，并根据HTTP协议解析所述响应数据。

第三方面，本申请公开了一种电子设备，包括：

存储器，用于保存计算机程序；

处理器，用于执行所述计算机程序，以实现前述的网络文件信息获取方法。

第四方面，本申请公开了一种计算机可读存储介质，用于存储计算机程序；其中计算机程序被处理器执行时实现前述的网络文件信息获取方法。

本申请中，针对目标文件生成相应的目标HTTP请求，并通过TCP连接将所述目标HTTP请求发送给目标服务器端；然后，接收所述目标服务器端反馈的与所述目标HTTP请求对应的响应数据包，并实时解析所述响应数据包；当解析得到所述目标文件的基础信息后关闭所述TCP连接，以停止所述目标服务器端向所述客户端发送数据。可见，通过实时解析目标服务器端反馈的响应数据包，在得到需要的目标文件的基础信息后，终止与目标服务器端的TCP连接，以停止目标服务器端向客户端发送数据，由此可以快速获取有效信息，避免浪费时间获取无用信息，提高了文件信息获取效率，降低了网络带宽的占用。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请提供的一种网络文件信息获取方法流程图；

图2为本申请提供的一种具体的网络文件信息获取方法流程图；

图3为本申请提供的一种网络文件信息获取装置结构示意图；

图4为本申请提供的一种电子设备结构图。

具体实施方式

现有技术中，通过http请求下载整个文件，以获取到文件的相关信息，对于只需要获取文件部分基本信息的情况下，通过http请求下载整个文件，会对网络带宽造成一定的浪费，并且会增加文件下载等待时长。为克服上述技术问题，本申请提出一种网络文件信息获取方法，能够提高文件信息获取效率，降低网络带宽的占用。

本申请实施例公开了一种网络文件信息获取方法，应用于客户端，参见图1所示，该方法可以包括以下步骤：

步骤S11：针对目标文件生成相应的目标HTTP请求，并通过TCP连接将所述目标HTTP请求发送给目标服务器端。

本实施例中，首先针对目标文件根据HTTP协议生成相应的目标HTTP请求，并通过与目标服务器端之间的TCP连接，将上述目标HTTP请求发送给上述目标服务器端。HTTP请求是一种依据TCP/IP的计算机网络传输协议，浏览器通常通过HTTP协议进行通信；其中，上述目标HTTP请求也可以是基于其他网络传输协议生成的请求。

本实施例中，所述针对目标文件伪造得到相应的目标HTTP请求之前，还可以包括：向所述目标服务器端发送TCP连接请求，以建立所述TCP连接。可以理解的是，HTTP是基于TCP协议实现的应用层协议，因此在发送HTTP请求之前，客户端可以通过向目标服务器发送TCP连接请求，以建立与上述目标服务器端之间的TCP连接。

步骤S12：接收所述目标服务器端反馈的与所述目标HTTP请求对应的响应数据包，并实时解析所述响应数据包。

本实施例中，向上述目标服务器端发送目标HTTP请求后，接收目标服务器端发送的与上述目标HTTP请求对应的响应数据包，并实时解析接收到的响应数据包；可以理解的是，目标服务器端在接收到上述目标HTTP请求后，会根据上述目标HTTP请求生成相应的响应报文，其中，上述响应报文包含响应头信息和响应体，响应头信息中包含目标文件的基础信息，例如文件大小和名称等，响应体即目标文件的具体数据信息，并且，目标服务器端会将上述响应报文以数据包的形式通过上述TCP连接依次发送至上述客户端。由此，客户端通过实时解析获取的响应数据包可以优先得到目标文件的基础信息。

本实施例中，所述接收所述目标服务器端反馈的与所述目标HTTP请求对应的响应数据包，并实时解析所述响应数据包，可以包括：通过本地缓冲区接收所述目标服务器端反馈的与所述目标HTTP请求对应的响应数据包；根据预设数据长度实时从所述本地缓冲区中读取响应数据，并根据HTTP协议解析所述响应数据。可以理解的是，客户端通过本地缓冲区接收目标服务器端反馈的与上述目标HTTP请求对应的响应数据包，然后根据预设数据长度实时从上述本地缓冲区中读取响应数据，并根据HTTP协议解析上述响应数据，具体的，可以每次读取1024bit数据并进行解析。

步骤S13：当解析得到所述目标文件的基础信息后关闭所述TCP连接，以停止所述目标服务器端向所述客户端发送数据。

本实施例中，当解析得到上述目标文件的基础信息后，关闭与上述目标服务器的TCP连接，以停止上述目标服务器端继续向上述客户端发送数据。其中，上述目标文件的基础信息可以包括文件大小信息和文件名称信息。可以理解的是，当客户端解析得到目标文件的文件大小信息和文件名称信息时，目标服务器端肯能依旧在向客户端发送响应数据，但此时的响应数据对于用户来说是无用数据，因此通过关闭与上述目标服务器的TCP连接，停止目标服务器端继续向客户端发送数据，由此一来，降低了网络带宽的使用，相比于下载完整的文件信息，可以避免用户将时间浪费在无用数据的获取，也减少了客户端无用数据的内存占用。

由上可见，本实施例中针对目标文件生成相应的目标HTTP请求，并通过TCP连接将所述目标HTTP请求发送给目标服务器端；然后，接收所述目标服务器端反馈的与所述目标HTTP请求对应的响应数据包，并实时解析所述响应数据包；当解析得到所述目标文件的基础信息后关闭所述TCP连接，以停止所述目标服务器端向所述客户端发送数据。可见，通过实时解析目标服务器端反馈的响应数据包，在得到需要的目标文件的基础信息后，终止与目标服务器端的TCP连接，以停止目标服务器端向客户端发送数据，由此可以快速获取有效信息，避免浪费时间下载无用信息，提高了文件信息获取效率，降低了网络带宽的占用。

进一步，例如图2所示的一种基于HTTP请求的网络文件信息获取时序图，首先由客户端向服务器发送TCP连接请求，并通过与服务器的多次握手后，完成TCP连接的建立，可以理解的是，由于HTTP是基于TCP协议实现的应用层协议，因此在建立HTTP连接前，需要建立TCP连接。在建立TCP连接后，客户端可进行数据报文发送，此时，客户端按照HTTP协议规则生成一段HTTP请求头信息，用于获取服务器上的目标文件。文件服务器在获取到HTTP请求后，会进行正确响应，并通过TCP连接的通道发送响应报文，其中响应报文包括HTTP响应头信息，即目标文件的文件大小信息和文件名称，以及实际的响应体，即文件数据。上述响应数据，都会通过TCP连接的通道，从服务器传输至客户端，在客户端存入本地缓冲区，并且按照数据传输规则，此时的数据是逐步发送至客户端的，需要一定时长才能发送完毕，发送时长与文件大小和网络带宽有关。当客户端截获到缓冲区内的部分响应报文时，直接依据HTTP协议进行实时数据解析，此时会优先解析HTTP响应头信息，即目标文件的文件大小信息和文件名称。当客户端解析完HTTP响应头信息，便能获取到文件大小、文件名称等基本信息，但此时，服务器仍有可能还在传输响应数据至客户端的缓冲区，因此通过客户端主动断开与服务器的TCP连接，可以让服务器端停止剩余响应数据的发送，即停止了无用信息的发送，由此可以节省网络带宽的使用，并提高了有效信息获取的速度。

相应的，本申请实施例还公开了一种网络文件信息获取装置，参见图3所示，该装置包括：

HTTP请求发送模块11，用于针对目标文件生成相应的目标HTTP请求，并通过TCP连接将所述目标HTTP请求发送给目标服务器端；

数据接收模块12，用于接收所述目标服务器端反馈的与所述目标HTTP请求对应的响应数据包，并实时解析所述响应数据包；

TCP连接关闭模块13，用于当解析得到所述目标文件的基础信息后关闭所述TCP连接，以停止所述目标服务器端向所述客户端发送数据。

由上可见，本实施例中针对目标文件生成相应的目标HTTP请求，并通过TCP连接将所述目标HTTP请求发送给目标服务器端；然后，接收所述目标服务器端反馈的与所述目标HTTP请求对应的响应数据包，并实时解析所述响应数据包；当解析得到所述目标文件的基础信息后关闭所述TCP连接，以停止所述目标服务器端向所述客户端发送数据。可见，通过实时解析目标服务器端反馈的响应数据包，在得到需要的目标文件的基础信息后，终止与目标服务器端的TCP连接，以停止目标服务器端向客户端发送数据，由此可以快速获取有效信息，避免浪费时间获取无用信息，提高了文件信息获取效率，降低了网络带宽的占用。

在一些具体实施例中，所述网络文件信息获取装置具体还可以包括：

在一些具体实施例中，所述目标文件的基础信息可以包括文件大小信息和文件名称信息。

在一些具体实施例中，所述数据接收模块12具体可以包括：

进一步的，本申请实施例还公开了一种电子设备，参见图4所示，图中的内容不能被认为是对本申请的使用范围的任何限制。

图4为本申请实施例提供的一种电子设备20的结构示意图。该电子设备20，具体可以包括：至少一个处理器21、至少一个存储器22、电源23、通信接口24、输入输出接口25和通信总线26。其中，所述存储器22用于存储计算机程序，所述计算机程序由所述处理器21加载并执行，以实现前述任一实施例公开的网络文件信息获取方法中的相关步骤。

本实施例中，电源23用于为电子设备20上的各硬件设备提供工作电压；通信接口24能够为电子设备20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。

另外，存储器22作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源包括操作系统221、计算机程序222及包括响应数据包在内的数据223等，存储方式可以是短暂存储或者永久存储。

其中，操作系统221用于管理与控制电子设备20上的各硬件设备以及计算机程序222，以实现处理器21对存储器22中海量数据223的运算与处理，其可以是Windows Server、Netware、Unix、Linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由电子设备20执行的网络文件信息获取方法的计算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。

进一步的，本申请实施例还公开了一种计算机存储介质，所述计算机存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现前述任一实施例公开的网络文件信息获取方法步骤。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本发明所提供的一种网络文件信息获取方法、装置、设备及介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims

1.一种网络文件信息获取方法，其特征在于，应用于客户端，包括：

当解析得到所述目标文件的基础信息后关闭所述TCP连接，以停止所述目标服务器端向所述客户端发送数据；

所述接收所述目标服务器端反馈的与所述目标HTTP请求对应的响应数据包，并实时解析所述响应数据包，包括：

2.根据权利要求1所述的网络文件信息获取方法，其特征在于，所述针对目标文件伪造得到相应的目标HTTP请求之前，还包括：

向所述目标服务器端发送TCP连接请求，以建立所述TCP连接。

3.根据权利要求1所述的网络文件信息获取方法，其特征在于，所述目标文件的基础信息包括文件大小信息和文件名称信息。

4.一种网络文件信息获取装置，其特征在于，包括：

TCP连接关闭模块，用于当解析得到所述目标文件的基础信息后关闭所述TCP连接，以停止所述目标服务器端向客户端发送数据；

所述数据接收模块，包括：

5.根据权利要求4所述的网络文件信息获取装置，其特征在于，还包括：

6.根据权利要求4所述的网络文件信息获取装置，其特征在于，所述目标文件的基础信息包括文件大小信息和文件名称信息。

7.一种电子设备，其特征在于，包括：

存储器，用于保存计算机程序；

处理器，用于执行所述计算机程序，以实现如权利要求1至3任一项所述的网络文件信息获取方法。

8.一种计算机可读存储介质，其特征在于，用于存储计算机程序；其中计算机程序被处理器执行时实现如权利要求1至3任一项所述的网络文件信息获取方法。