CN112422688A - 质检图片传输方法、装置及服务器 - Google Patents

Abstract

本申请揭示了一种质检图片传送方法、装置、服务器及计算机可读存储介质，该方法包括建立非阻塞通道，利用所述非阻塞通道与客户端建立通道连接；利用所述非阻塞通道接收所述客户端发送的批量的质检图片；将所述非阻塞通道内的质检图片分片写入至缓冲区；将所述缓冲区内的质检图片批量读取并发送至与所述客户端对应的对象存储服务器，完成所述客户端中质检图片的文件上传。本申请采用非阻塞方式，可以同时接收多个文件；采用分片存储的方式，对单个质检图片而言可以快速地完成接收；此外，基于零拷贝进行文件复制，占用内存少，性能高，大大提高了质检图片上传的效率。

Description

质检图片传输方法、装置及服务器

技术领域

本发明属于数据传输技术领域，涉及一种质检图片传送方法、装置、服务器及计算机可读存储介质。

背景技术

基于人工智能的产品表面缺陷检测解决方案，需要智能检测机器人对产品各个表面进行无延迟高速拍摄，依托后台人工智能模型进行缺陷自动检测。模型的校正过程，需要标注团队对所拍摄的图片上传到专业标注平台进行缺陷标注，供智能检测模型训练使用。

传统的质检图片上传方案是将质检图片通过IO方式上传至对应的存储服务器，速度慢、延迟大、效率低，无法满足工业互联网场景下的海量图片上传需求。

发明内容

为了解决相关技术中上传方案速度慢、延迟大、效率低的问题，本申请提供了一种质检图片传送方法、装置、服务器及计算机可读存储介质。技术方案如下：

第一方面，本申请提供了一种质检图片传送方法，所述方法包括：

建立非阻塞通道，利用所述非阻塞通道与客户端建立通道连接；

利用所述非阻塞通道接收所述客户端发送的批量的质检图片，所述质检图片是对产品表面拍摄所得的用于对产品表面缺陷进行检测的图片；

将所述非阻塞通道内的质检图片分片写入至缓冲区；

将所述缓冲区内的质检图片批量读取并发送至与所述客户端对应的对象存储服务器，完成所述客户端中质检图片的文件上传。

可选地，所述建立非阻塞通道，包括：

创建选择器selector，通过NioServerSocketChanne1创建非阻塞通道，为所述非阻塞通道绑定监听端口，设置所述非阻塞通道的工作模式为非阻塞模式；将所述非阻塞通道注册到所述选择器selector上，监听连接事件。

可选地，所述将所述非阻塞通道内的质检图片分片写入至缓冲区，包括：

从所述非阻塞通道读取质检图片；

对于每个质检图片，将读取的所述质检图片拆分成多个分片，在所述质检图片所拆分的最后一个分片上标记结束标识；

将拆分的各个分片依次写入至所述缓冲区。

可选地，所述将所述缓冲区内的质检图片批量读取并发送至与所述客户端对应的对象存储服务器，包括：

判定所述缓冲区内是否存储有待转存的质检图片；

在所述缓冲区内存储有待转存的质检图片时，判断单个质检图片是否接收完毕；

若单个质检图片接收完毕，则将所述缓冲区中接收完毕的质检图片的各个分片合并成一个文件，将合并的所述文件发送给所述对象存储服务器。

可选地，所述判断单个质检图片是否接收完毕，包括:判断所述缓冲区内是否存储有所述质检图片的带有结束标识的分片；

若所述缓冲区内存储有所述质检图片的带有结束标识的分片，则判定所述质检图片接收完毕。

可选地，所述将合并的所述文件发送给所述对象存储服务器，包括：

开启多线程；

利用开启的所述多线程将合并的所述文件发送给所述对象存储服务器。

可选地，在所述将所述缓冲区中接收完毕的质检图片的各个分片合并成一个文件之后，所述方法还包括：

对合并成的所述文件的合法性进行检验；

在检验到所述文件合法时，执行所述将合并的所述文件发送给所述对象存储服务器的步骤。

第二方面，本申请还提供了一种质检图片传送装置，所述装置包括：

通道建立模块，被配置为建立非阻塞通道，利用所述非阻塞通道与客户端建立通道连接；+接收模块，被配置为利用所述通过建立模块建立的非阻塞通道接收所述客户端发送的批量的质检图片，所述质检图片是对产品表面拍摄所得的用于对产品表面缺陷进行检测的图片；

写入模块，被配置为将所述非阻塞通道内的质检图片分片写入至缓冲区；

发送模块，被配置为将所述缓冲区内的质检图片批量读取并发送至与所述客户端对应的对象存储服务器，完成所述客户端中质检图片的文件上传。

第三方面，本申请还提供了一种服务器，所述服务器包括处理器和存储器，所述存储器上存储有运行程序，所述处理器执行所述运行程序用于实现如下操作：

建立非阻塞通道，利用所述非阻塞通道与客户端建立通道连接；

利用所述非阻塞通道接收所述客户端发送的批量的质检图片，所述质检图片是对产品表面拍摄所得的用于对产品表面缺陷进行检测的图片；

将所述非阻塞通道内的质检图片分片写入至缓冲区；

将所述缓冲区内的质检图片批量读取并发送至与所述客户端对应的对象存储服务器，完成所述客户端中质检图片的文件上传。

第四方面，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有运行程序，所述运行程序可被一个或者多个处理器执行，以实现如第一方面以及第一方面各种可选方式中提供的质检图片传送方法。

本申请至少可以实现如下有益效果：

采用非阻塞方式，可以同时接收多个文件；采用分片存储的方式，对单个质检图片而言可以快速地完成接收；此外，基于零拷贝进行文件复制，占用内存少，性能高，大大提高了质检图片上传的效率。

对质检图片拆分的多个分片中的最后一个分片进行结束标记，使后续在利用分片合成质检图片时，可以进行质检图片是否接收完毕的有效判断。

通过开启多线程，实现将合并的文件发送给对象存储服务器，提高了质检图片的转存效率；通过文件合并完成后，对文件进行合法性验证，使得转存至对象存储服务器的文件均符合要求，提高对象存储服务器接收到的质检图片的准确率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

图1是本申请一个实施例中提供的质检图片传送方法的方法流程图；

图2是本申请另一个实施例中提供的质检图片传送方法的方法流程图；

图3是本申请一个实施例中提供的质检图片传送装置的结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

图1是本申请一个实施例中提供的质检图片传送方法的方法流程图，本申请提供的质检图片传送方法应用于采用NIO方式接收文件的服务器中，所述质检图片传送方法可以包括如下步骤：

步骤101，建立非阻塞通道，利用非阻塞通道与客户端建立通道连接；

通常来讲，非阻塞通道的传输效率远高于阻塞通道的传输效率。

步骤102，利用非阻塞通道接收客户端发送的批量的质检图片；

这里所讲的质检图片通常是指是对产品表面拍摄所得的用于对产品表面缺陷进行检测的图片。

步骤103，将非阻塞通道内的质检图片分片写入至缓冲区；

在将非阻塞通道内的质检图片写入至缓冲区时，为了提高单个质检图片的写入效率，本申请中采用了分片技术，将非阻塞通道内的质检图片分片后写入至缓冲区。

步骤104，将缓冲区内的质检图片批量读取并发送至与客户端对应的对象存储服务器，完成客户端中质检图片的文件上传。

综上所述，本申请提供的质检图片传送方法，采用非阻塞方式，可以同时接收多个文件；采用分片存储的方式，对单个质检图片而言而已快速地完成接收；此外，基于零拷贝进行文件复制，占用内存少，性能高，大大提高了质检图片上传的效率。

图2是本申请另一个实施例中提供的质检图片传送方法的方法流程图，本申请提供的质检图片传送方法可以包括如下步骤：

步骤201，建立非阻塞通道，利用非阻塞通道与客户端建立通道连接；

本申请在建立非阻塞通道时，一种可能的实现方式中，可以先创建选择器selector，通过NioServerSocketChanne1创建非阻塞通道，为非阻塞通道绑定监听端口，设置非阻塞通道的工作模式为非阻塞模式；将非阻塞通道注册到选择器selector上，监听连接事件。

在监听到一个非阻塞通道接收到客户端发送的建立连接请求后，则利用该非阻塞通道与客户端之间建立通道连接，后续利用该非阻塞通道接收已经建立连接的该客户端发送的文件，比如本申请中的质检图片。

步骤202，利用非阻塞通道接收客户端发送的批量的质检图片；

这里所讲的质检图片通常是指是对产品表面拍摄所得的用于对产品表面缺陷进行检测的图片。

一般来讲，质检图片通常比较大，而且客户端需要传输的质量图片是客户选定的批量的质量图片，因此用常规的上传方式，效率非常低。而本申请中则采用非阻塞NIO技术实现批量的质检图片的上传，传输效率得到极大地提高。

步骤203，将非阻塞通道内的质检图片分片写入至缓冲区；

本申请在将非阻塞通道内的质检图片分片写入至缓冲区时，首先，从对应的非阻塞通道读取质检图片；然后，对于每个质检图片，将读取的质检图片拆分成多个分片，在质检图片所拆分的最后一个分片上标记结束标识；最后，将拆分的各个分片依次写入至缓冲区。

由于质检图片通常比较大，因此，本申请中在存储质检图片时，采用了分片技术，即将从非阻塞通道读取的质检图片拆分成预定个分片，进一步的，为了保证后续对同一个质检图片的各个分片进行合并，本申请中提出在分片得到的最后一个分片上进行标记，即结束标识，用于指示该分片为对应的质检图片的最后一个分片。最后，将拆分的各个分片依次写入至缓冲区。

可选的，为了避免存入至缓冲区内的分片的乱序导致合并出错，本申请中还可以将同一个质检图片的各个分片进行标记，比如均标记上该质检图片的唯一标识，这样，在需要对同一个质检图片的各个分片进行合并时，仅需要在缓冲区中读取具备相同质检图片标识的分片进行合并即可。

步骤204，判定缓冲区内是否存储有待转存的质检图片；

判定缓冲区内是否存储有待转存的质检图片，即判定缓冲区内是否存在分片，或者是否为空，若缓冲区内存在分片或者缓冲区为分空，则通常可以判定缓冲区内存储有待转存的质检图片。

若缓冲区内未存储有待转存的质检图片，则继续执行步骤203。

步骤205，在缓冲区内存储有待转存的质检图片时，判断单个质检图片是否接收完毕；

在一种可能的实现方式中，可以判断缓冲区内是否存储有质检图片的带有结束标识的分片；若缓冲区内存储有质检图片的带有结束标识的分片，则判定质检图片接收完毕。

步骤206，若单个质检图片接收完毕，则将缓冲区中接收完毕的质检图片的各个分片合并成一个文件；

参见对步骤203的描述，可以先从缓冲区中读取同一个质检图片的各个分片，直至读取到该质检图片的最后一个分片，然后将读取到的各个分片按照预定合并方式进行合并，得到合并后的文件。

步骤207，对合并成的文件的合法性进行检验；

为了进一步保证转存至对象存储服务器的文件是符合要求的，本申请中还需要对合并后的文件的合法性进行检验。

这里所讲的合法性检验主要是为了避免合并的文件不符合原质检图片的格式要求，比如文件名、文件类型、文件大小等。

步骤208，在检验到文件合法时，将合并的文件发送给对象存储服务器。

在将合并的文件发送给对象存储服务器时，为了提高转存效率，可以开启多线程，利用开启的多线程将合并的文件发送给对象存储服务器，完成客户端中质检图片的文件上传。

综上所述，本申请提供的质检图片传送方法，采用非阻塞方式，可以同时接收多个文件；采用分片存储的方式，对单个质检图片而言可以快速地完成接收；此外，基于零拷贝进行文件复制，占用内存少，性能高，大大提高了质检图片上传的效率。

对质检图片拆分的多个分片中的最后一个分片进行结束标记，使后续在利用分片合成质检图片时，可以进行质检图片是否接收完毕的有效判断。

通过开启多线程，实现将合并的文件发送给对象存储服务器，提高了质检图片的转存效率；通过文件合并完成后，对文件进行合法性验证，使得转存至对象存储服务器的文件均符合要求，提高对象存储服务器接收到的质检图片的准确率。

下面是针对上述质检图片传送方法对应的装置实施例，由于装置实施例与方法实施例对应，因此装置实施例中提供的技术特征可以参见上述在方法实施例中的解释，这里就不再一一赘述。

图3是本申请一个实施例中提供的质检图片传送装置的结构示意图，本申请提供的质检图片传送装置可以通过软件、硬件或软硬件结合的方式实现。该质检图片传送装置可以包括通道建立模块310、接收模块320、写入模块330和发送模块340。

通道建立模块310可以被配置为建立非阻塞通道，利用非阻塞通道与客户端建立通道连接；

接收模块320可以被配置为利用通过建立模块310建立的非阻塞通道接收客户端发送的批量的质检图片，质检图片是对产品表面拍摄所得的用于对产品表面缺陷进行检测的图片；

写入模块330可以被配置为将非阻塞通道内的质检图片分片写入至缓冲区；

发送模块340可以被配置为将缓冲区内的质检图片批量读取并发送至与客户端对应的对象存储服务器，完成客户端中质检图片的文件上传。

在一种可能的实现方式中，本申请提供的通道建立模块310还被配置为：创建选择器selector，通过NioServerSocketChanne1创建非阻塞通道，为非阻塞通道绑定监听端口，设置非阻塞通道的工作模式为非阻塞模式；将非阻塞通道注册到选择器selector上，监听连接事件。

写入模块330还可以被配置为：从非阻塞通道读取质检图片；对于每个质检图片，将读取的质检图片拆分成多个分片，在质检图片所拆分的最后一个分片上标记结束标识；将拆分的各个分片依次写入至缓冲区。

进一步的，发送模块340还可以被配置为：判定缓冲区内是否存储有待转存的质检图片；在缓冲区内存储有待转存的质检图片时，判断单个质检图片否接收完毕；若单个质检图片接收完毕，则将缓冲区中接收完毕的质检图片的各个分片合并成一个文件，将合并的文件发送给对象存储服务器。

进一步的，发送模块340还可以被配置为：判断缓冲区内是否存储有质检图片的带有结束标识的分片；若缓冲区内存储有质检图片的带有结束标识的分片，则判定质检图片接收完毕。

进一步的，发送模块340还可以被配置为：开启多线程；利用开启的多线程将合并的文件发送给对象存储服务器。

进一步的，发送模块340还可以被配置为：对合并成的文件的合法性进行检验；在检验到文件合法时，执行将合并的文件发送给对象存储服务器的步骤。

综上所述，本申请提供的质检图片传送装置，采用非阻塞方式，可以同时接收多个文件；采用分片存储的方式，对单个质检图片而言可以快速地完成接收；此外，基于零拷贝进行文件复制，占用内存少，性能高，大大提高了质检图片上传的效率。

对质检图片拆分的多个分片中的最后一个分片进行结束标记，使后续在利用分片合成质检图片时，可以进行质检图片是否接收完毕的有效判断。

通过开启多线程，实现将合并的文件发送给对象存储服务器，提高了质检图片的转存效率；通过文件合并完成后，对文件进行合法性验证，使得转存至对象存储服务器的文件均符合要求，提高对象存储服务器接收到的质检图片的准确率。

本申请还提供一种服务器，该服务器可以包括处理器和存储器，存储器上存储有运行程序，处理器执行这些运行程序用于实现如下操作：

建立非阻塞通道，利用非阻塞通道与客户端建立通道连接；

利用非阻塞通道接收客户端发送的批量的质检图片，质检图片是对产品表面拍摄所得的用于对产品表面缺陷进行检测的图片；

将非阻塞通道内的质检图片分片写入至缓冲区；

将缓冲区内的质检图片批量读取并发送至与客户端对应的对象存储服务器，完成客户端中质检图片的文件上传。

可选的，处理器还可以执行如下操作：创建选择器selector，通过NioServerSocketChanne1创建非阻塞通道，为非阻塞通道绑定监听端口，设置非阻塞通道的工作模式为非阻塞模式；将非阻塞通道注册到选择器selector上，监听连接事件。

可选的，处理器还可以执行如下操作：从非阻塞通道读取质检图片；对于每个质检图片，将读取的质检图片拆分成多个分片，在质检图片所拆分的最后一个分片上标记结束标识；将拆分的各个分片依次写入至缓冲区。

可选的，处理器还可以执行如下操作：判定缓冲区内是否存储有待转存的质检图片；在缓冲区内存储有待转存的质检图片时，判断单个质检图片否接收完毕；若单个质检图片接收完毕，则将缓冲区中接收完毕的质检图片的各个分片合并成一个文件，将合并的文件发送给对象存储服务器。

可选的，处理器还可以执行如下操作：判断缓冲区内是否存储有质检图片的带有结束标识的分片；若缓冲区内存储有质检图片的带有结束标识的分片，则判定质检图片接收完毕。

可选的，处理器还可以执行如下操作：开启多线程；利用开启的多线程将合并的文件发送给对象存储服务器。

可选的，所述处理器还可以执行如下操作：在所述将所述缓冲区中接收完毕的质检图片的各个分片合并成一个文件之后，对合并成的所述文件的合法性进行检验；在检验到所述文件合法时，执行所述将合并的所述文件发送给所述对象存储服务器的步骤。

综上所述，本申请提供的服务器，采用非阻塞方式，可以同时接收多个文件；采用分片存储的方式，对单个质检图片而言可以快速地完成接收；此外，基于零拷贝进行文件复制，占用内存少，性能高，大大提高了质检图片上传的效率。

对质检图片拆分的多个分片中的最后一个分片进行结束标记，使后续在利用分片合成质检图片时，可以进行质检图片是否接收完毕的有效判断。

通过开启多线程，实现将合并的文件发送给对象存储服务器，提高了质检图片的转存效率；通过文件合并完成后，对文件进行合法性验证，使得转存至对象存储服务器的文件均符合要求，提高对象存储服务器接收到的质检图片的准确率。

本申请还提供一种计算机可读存储介质，该计算机可读存储介质上存储有运行程序，这些运行程序可被一个或者多个处理器执行，以实现如图1或图2的质检图片传送方法。

本领域技术人员在考虑说明书及实践这里发明的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未发明的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (10)

1.一种质检图片传送方法，其特征在于，所述方法包括：

建立非阻塞通道，利用所述非阻塞通道与客户端建立通道连接；

利用所述非阻塞通道接收所述客户端发送的批量的质检图片，所述质检图片是对产品表面拍摄所得的用于对产品表面缺陷进行检测的图片；

将所述非阻塞通道内的质检图片分片写入至缓冲区；

将所述缓冲区内的质检图片批量读取并发送至与所述客户端对应的对象存储服务器，完成所述客户端中质检图片的文件上传。

2.根据权利要求1所述的方法，其特征在于，所述建立非阻塞通道，包括：

创建选择器selector，通过NioServerSocketChanne1创建非阻塞通道，为所述非阻塞通道绑定监听端口，设置所述非阻塞通道的工作模式为非阻塞模式；将所述非阻塞通道注册到所述选择器selector上，监听连接事件。

3.根据权利要求1所述的方法，其特征在于，所述将所述非阻塞通道内的质检图片分片写入至缓冲区，包括：

从所述非阻塞通道读取质检图片；

对于每个质检图片，将读取的所述质检图片拆分成多个分片，在所述质检图片所拆分的最后一个分片上标记结束标识；

将拆分的各个分片依次写入至所述缓冲区。

4.根据权利要求3所述的方法，其特征在于，所述将所述缓冲区内的质检图片批量读取并发送至与所述客户端对应的对象存储服务器，包括：

判定所述缓冲区内是否存储有待转存的质检图片；

在所述缓冲区内存储有待转存的质检图片时，判断单个质检图片是否接收完毕；

若单个质检图片接收完毕，则将所述缓冲区中接收完毕的质检图片的各个分片合并成一个文件，将合并的所述文件发送给所述对象存储服务器。

5.根据权利要求4所述的方法，其特征在于，所述判断单个质检图片是否接收完毕，包括：

判断所述缓冲区内是否存储有所述质检图片的带有结束标识的分片；

若所述缓冲区内存储有所述质检图片的带有结束标识的分片，则判定所述质检图片接收完毕。

6.根据权利要求4所述的方法，其特征在于，所述将合并的所述文件发送给所述对象存储服务器，包括：

开启多线程；

利用开启的所述多线程将合并的所述文件发送给所述对象存储服务器。

7.根据权利要求4所述的方法，其特征在于，在所述将所述缓冲区中接收完毕的质检图片的各个分片合并成一个文件之后，所述方法还包括：

对合并成的所述文件的合法性进行检验；

在检验到所述文件合法时，执行所述将合并的所述文件发送给所述对象存储服务器的步骤。

8.一种质检图片传送装置，其特征在于，所述装置包括：

通道建立模块，被配置为建立非阻塞通道，利用所述非阻塞通道与客户端建立通道连接；

接收模块，被配置为利用所述通过建立模块建立的非阻塞通道接收所述客户端发送的批量的质检图片，所述质检图片是对产品表面拍摄所得的用于对产品表面缺陷进行检测的图片；

写入模块，被配置为将所述非阻塞通道内的质检图片分片写入至缓冲区；

发送模块，被配置为将所述缓冲区内的质检图片批量读取并发送至与所述客户端对应的对象存储服务器，完成所述客户端中质检图片的文件上传。

9.一种服务器，其特征在于，所述服务器包括处理器和存储器，所述存储器上存储有运行程序，所述处理器执行所述运行程序用于实现如下操作：

建立非阻塞通道，利用所述非阻塞通道与客户端建立通道连接；

利用所述非阻塞通道接收所述客户端发送的批量的质检图片，所述质检图片是对产品表面拍摄所得的用于对产品表面缺陷进行检测的图片；

将所述非阻塞通道内的质检图片分片写入至缓冲区；

将所述缓冲区内的质检图片批量读取并发送至与所述客户端对应的对象存储服务器，完成所述客户端中质检图片的文件上传。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有运行程序，所述运行程序可被一个或者多个处理器执行，以实现如权利要求1-7中任一所述的质检图片传送方法。

Images