CN116405692A

CN116405692A - 一种基于云端抠图的传输方法和相关设备

Info

Publication number: CN116405692A
Application number: CN202310377211.6A
Authority: CN
Inventors: 谭紫阳
Original assignee: Afirstsoft Co Ltd
Current assignee: Afirstsoft Co Ltd
Priority date: 2023-03-31
Filing date: 2023-03-31
Publication date: 2023-07-07

Abstract

本发明公开了一种基于云端抠图的传输方法和相关设备，方法包括:根据预设的光流算法，对客户端发送的原始图像进行抠图，得到背景区域转换为透明的抠图图像；对所述抠图图像进行像素拆分，得到只包含透明通道信息的得到拆分矩阵；对所述拆分矩阵进行字节压缩，得到传输文件；将所述传输文件对应的下载地址发送至所述客户端。本发明能够在保留原图高清的基础上，快速地将抠图之后的图像传输给客户端。

Description

一种基于云端抠图的传输方法和相关设备

技术领域

本发明涉及数据处理技术领域，特别涉及一种基于云端抠图的传输方法和相关设备。

背景技术

图像处理是互联网领域的重要应用之一，尤其在社交网络和电商平台中，用户对图像的美化、合成、水印去除等功能有着强烈的需求。这些功能都需要先对图像进行抠图，即将图像中的前景对象从背景中分离出来。抠图技术不仅要求能够准确地识别前景对象的边缘，还要考虑半透明区域的alpha值。

目前主流的抠图方案多数是基于深度学习的方法，它们需要在服务器端进行计算，并将抠除结果返回给移动端。这种方案在处理低分辨率图片时效果还可以，但是在处理高分辨率图片时会面临两个问题：一是服务器端计算压力过大，二是移动端传输速度过慢。为了缩短用户等待时间，不得不牺牲图片质量，压缩图片分辨率。然而随着移动端摄像硬件的提升，用户普遍都会使用高分辨率图片。这种做法会明显影响用户体验。

发明内容

本发明要解决的技术问题在于服务器图像抠图后传输效率慢，针对现有技术的不足，提供一种基于云端抠图的传输方法和相关设备。

为了解决上述技术问题，本发明所采用的技术方案如下：

根据预设的光流算法，对客户端发送的原始图像进行抠图，得到背景区域转换为透明的抠图图像；

对所述抠图图像进行像素拆分，得到只包含透明通道信息的得到拆分矩阵；

对所述拆分矩阵进行字节压缩，得到传输文件；

将所述传输文件对应的下载地址发送至所述客户端。

可选地，所述对所述抠图图像进行像素拆分，得到只包含透明通道信息的得到拆分矩阵包括：

根据所述抠图图像的尺寸，生成尺寸相同的空白矩阵；

针对所述像素压缩数组中的任意一个像素值，当所述像素值大于0，将所述空白矩阵中对应的数值赋值为1；

当所述像素值等于0，将所述空白矩阵中对应的数值赋值为0。

可选地，所述对所述拆分矩阵进行字节压缩，得到传输文件包括：

根据所述拆分矩阵对应的字节数，创建空数组；

针对每一个所述空数组中的每一个比特，根据所述拆分矩阵中的每一个字节，对该比特进行填充，得到像素压缩数组；

将所述原始图像的尺寸写入所述像素压缩数组中，得到传输文件。

可选地，所述将所述原始图像的尺寸写入所述像素压缩数组中，得到传输文件包括：

将所述原始图像的尺寸写入所述像素压缩数组中，得到图像压缩数组；

对所述图像压缩数组进行压缩，得到传输文件。

可选地，所述对所述图像压缩数组进行压缩，得到传输文件包括：

将所述图像压缩数组写入预设的压缩格式的文件中，得到压缩文件；

对所述压缩文件进行压缩，得到传输文件。

一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上任一所述的基于云端抠图的传输方法中的步骤。

一种终端设备，其包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；

所述通信总线实现处理器和存储器之间的连接通信；

所述处理器执行所述计算机可读程序时实现如上任一所述的基于云端抠图的传输方法中的步骤。

一种基于云端抠图的传输系统，其中，所述传输系统包括执客户端和如上所述的服务器，所述服务器与所述客户端通讯连接。

可选地，所述客户端包括：

接收模块，用于接收所述下载地址，并根据所述下载地址，下载所述传输文件；

解压模块，用于对所述传输文件进行解压，得到拆分矩阵；

更新模块，用于根据预设的拆分标准和所述原始图像，对所述拆分矩阵进行像素更新，得到抠图图像。

可选地，所述更新模块具体用于：

将所述原始图像与所述拆分矩阵相乘，得到抠图图像。

有益效果：本发明提供一种应用于云端抠图的传输防范，首先根据预设的光流算法，对客户端发送的原始图像进行抠图，得到背景区域转换为透明的抠图图像，实现快速、高效地实现图像抠图。然后对所述抠图图像进行像素拆分，得到只包含透明通道信息的得到拆分矩阵，并将拆分矩阵进行字节压缩后传输，通过压缩和透明通道信息的提取，使得需要传输的文件非常小，能够有效减小传输文件的大小，提高传输效率，提高响应的及时性。

附图说明

图1为本发明提供的基于云端抠图的传输方法的流程图。

图2为本发明提供的基于云端抠图的传输方法中抠图对应的代码。

图3为本发明提供的基于云端抠图的传输方法中图像拆分对应的代码。

图4为本发明提供的基于云端抠图的传输方法中生成像素压缩数组对应的代码。

图5为本发明提供的终端设备的结构原理图。

图6为本发明提供的基于云端抠图的传输系统的示意图。

图7为本发明提供的基于云端抠图的传输系统中原始图像。

图8为本发明提供的基于云端抠图的传输系统中恢复抠图图像对应的代码

图9为本发明提供的基于云端抠图的传输系统中抠图图像。

具体实施方式

本发明提供一种基于云端抠图的传输方法，为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。

如图1所示，本实施提供了一种基于云端抠图的传输方法，为方便说明，以常见的服务器作为执行主体进行描述，此处的服务器可替换为平板、电脑等具有数据处理功能的设备，基于云端抠图的传输方法包括以下步骤：

S10、根据预设的光流算法，对客户端发送的原始图像进行抠图，得到背景区域转换为透明的抠图图像。

如图2所示，客户端打开手机相册选择需要抠图处理的原始图像上传，服务器接受图片后对图片进行抠图，将不需要的背景部分转换为透明，得到抠图图像。

服务器可采用高速的抠图算法，例如Deep Image Matting、DIS光流算法。DIS光流算法可通过模型训练实现。常规的抠图算法需要进行大量的运算，消耗时间较长，而本实施例先采用DIS算法计算前景和背景之间的运动向量，得到设有抠图算法的抠图模型能够处理的对象，即预处理向量。例如客户端是安卓端，其发送的图像为Android位图，通过DIS光流算法，将Android位图转换为一个RGB像素格式的ncnn::Mat对象。然后将预处理向量输入到预设的抠图模型中，抠图模型对预处理向量进行处理，得到抠图图像，抠图图像即服务器实现抠图处理后的图像，其背景区域转换为透明。抠图算法可采用图像分割算法或者其他像素级别的前景背景分割算法。为了提高处理速度，本实施例采用NCNN模型作为抠图模型的网络框架，这是一个为移动平台优化的高性能神经网络推理框架。

S20、对所述抠图图像进行像素拆分，得到只包含透明通道信息的得到拆分矩阵。

由于抠图图像是抠图后的图像，其包含四层，分别为R层(红层)、G层(绿层)、B层(蓝层)和A层(透明层)对抠图图像进行像素拆分，得到只包含透明通道信息的拆分矩阵。

像素拆分是指将抠图图像中带有RGB层和透明层区分开。例如通过通道提取，提取透明层的像素值，得到拆分矩阵，而RGB层的像素值用某一固定值代替，从而实现抠图图像的二分化，由于图像本质为矩阵，因此二分化后的图像成为拆分矩阵。

为方便后续客户端对图像的还原，以及传输的便利性，本实施例中，如图3所示，拆分矩阵中只包含0和1。首先根据抠图图像的尺寸，创建一空白矩阵，将抠图图像作为输入矩阵，遍历输入矩阵的每个像素，并检查其值是否大于0。如果是，将相应的输出像素设置为1并赋值至空白矩阵中对应的数值。如果不是，它将输出像素设置为0并赋值至空白矩阵中对应的数值。这样，根据输入矩阵创建了一个阈值化的拆分矩阵，从而将原有的四层(红、绿、蓝和透明)缩减为1层矩阵。颜色数据ARGB一般会用0-255之前的整数保存在数据传输中占1byte，而1byte＝8bit，经过归一处理后可将原先8个像素的Alpha信息压缩成1个表示，数据量为原来的1/8，整体数据量为原图的1/32。使用8bit转1btye压缩归一后的拆分矩阵，若余下的bit不足8位补0，得到一个新矩阵，极大地缩小了需要传输地内容地大小。

S30、对所述拆分矩阵进行字节压缩，得到传输文件。

具体的，拆分矩阵是一种稀疏矩阵，即矩阵中含有许多值为零的元素。如果按照常规的方法来存储这种矩阵，就会占用大量的空间，并且降低传输效率。为了解决这个问题，可以选择不同的压缩方式来对拆分矩阵进行压缩存储。传输文件是一种采用某种压缩方式生成的压缩文件，在传输时可以节省空间和加快速度。传输文件的扩展名通常与所选用的压缩方式相对应。例如，如果选择ZIP方式，则传输文件为.zip；如果选择RAR方式，则传输文件为.rar；如果选择7Z方式，则传输文件为.7z；如果选择GZ方式，则传输文件为.gz。

本实施例中为提高压缩效率，提供一种压缩方式，一方面能够将行和列形式的矩阵转换为数组，同时通过字节压缩，提高压缩效率。如图4所示，具体如下：

A10、根据所述拆分矩阵对应的字节数，创建空数组。

由于拆分矩阵是基于图像得到，因此其格式为比特数组，可将其转换为字节数组，从而将二进制数据转换为更紧凑的形式进行存储或传输。首先计算出存储比特所需的字节数，然后根据字节数，创建一个相同大小的空数组。

A20、针对每一个所述空数组中的每一个比特，根据所述拆分矩阵中的每一个字节，对该比特进行填充，得到像素压缩数组。

循环空数组中的每个字节，用拆分矩阵中的8位来填充它。如果没有足够的位，它就用0来填充字节，得到像素压缩数组，像素压缩数组就包含了拆分矩阵中所有字节格式的比特。

由于数组只有颜色信息，不包含长宽这一尺寸信息，在后续发送到客户端时复原需要根据原始图像的大小进行复原，为后续的复原的方便，节省复原的时间，将原始图像的尺寸写入像素压缩数组中，得到传输文件。写入方式可以在像素压缩数组前加入，或在像素压缩数组后加入。最后的传输文件为单排数组，且字节数更小，更为紧凑，极大地压缩了数据的体型。

进一步地，可将加入原始图像的尺寸的像素压缩数组作为图像压缩数组，对图像压缩数组进行进一步压缩，得到传输文件。传输文件的格式可以为bin格式、tar格式、zip格式等。

为了尽可能压缩，对图像压缩数组的压缩可分为两次。首先，预先设置一可对数据进行压缩的压缩格式的文件，将图像压缩数组写了压缩格式的文件中，例如空白的bin文件，得到压缩文件，然后再对压缩文件进行压缩，例如zip压缩，得到传输文件。经过上述处理，最后下发的文件大小只为原图的大约1/50。

S40、将所述传输文件对应的下载地址发送至所述客户端。

以上步骤处理完成后，将传输文件的下载地址发送给客户端，并通知客户端下载。

本文介绍了一种在移动端进行高清抠图的技术方案。该方案通过在客户端进行抠图，避免了服务器端计算压力过大和移动端传输速度过慢的问题，同时保证了高分辨率图片的质量和用户体验。具体实现过程包括将原始图像转换为可计算的矩阵，进行抠图和压缩等步骤，最终得到无损的高清原图。

基于上述基于云端抠图的传输方法，本发明还提供了一种终端设备，如图5所示，其包括至少一个处理器(processor)20；显示屏21；以及存储器(memory)22，还可以包括通信接口(Communications Interface)23和总线24。其中，处理器20、显示屏21、存储器22和通信接口23可以通过总线24完成相互间的通信。显示屏21设置为显示初始设置模式中预设的用户引导界面。通信接口23可以传输信息。处理器20可以调用存储器22中的逻辑命令，以执行上述实施例中的方法。

此外，上述的存储器22中的逻辑命令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取计算机可读存储介质中。

存储器22作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序命令或模块。处理器20通过运行存储在存储器22中的软件程序、命令或模块，从而执行功能应用以及数据处理，即实现上述实施例中的方法。

存储器22可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器。例如，U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态计算机可读存储介质。

此外，上述计算机可读存储介质以及终端设备中的多条命令处理器加载并执行的具体过程在上述方法中已经详细说明，在这里就不再一一陈述。

针对上述应用于云端抠图的传输方法，如图6所示，本发明提供一种应用于云端抠图的传输系统，该传输系统包括上述终端设备和客户端，终端设备与客户端之间通讯连接。该客户端包括：

接收模块，用于接收所述下载地址，并根据所述下载地址，下载所述传输文件。

具体的，客户端得到下载地址后，就可以通过网络连接来访问该地址所指向的资源，即传输文件。客户端需要使用合适的协议和方法来请求和接收传输文件，例如HTTP协议的GET方法。客户端在接收到传输文件后，需要将其保存到本地存储设备中，例如硬盘或闪存。如图7所示，客户端还用于将原始图像发送至终端设备。

解压模块，用于对所述传输文件进行解压，得到拆分矩阵。

具体的，对传输文件的解压过程与前文描述的对拆分矩阵压缩的方式相似。

具体的，例如服务器端的拆分标准为RGB层对应在拆分矩阵中数值为A，透明层为B。先将原始图像转换为可计算的字节数组形式，得到图像矩阵。拆分矩阵的尺寸是抠图得到，因此与拆分矩阵与图像矩阵尺寸相同，两者一一对应。由于原始图像的尺寸与拆分矩阵尺寸相同，因此可根据拆分矩阵的数值确定原始图像的每一个像素点是转换为透明再赋值到拆分矩阵，还是直接将原始图像的像素点的像素值赋值到拆分矩阵，从而对拆分矩阵进行更新，得到抠图图像。

进一步地，在本实施例中，如图8所示，对应在抠图图像中，存在RGB数值的像素点对应的值为1，不存在RGB数值，即透明，像素点对应的值为0，将图像矩阵中的每一个数值与拆分矩阵的数值进行相乘，得到处理矩阵。由于RGB位补的是1，因此相乘后的数组，原始的RGB值不变，透明信息会以抠图结果的透明信息为最终结果。这样由此结果数组转化的新图片就为新的抠图结果，处理矩阵所代表的抠图图像为无损的高清原图。最后客户端在编辑页面展示抠图结果。如图9所示，客户端最终展现的图像为抠图后的图像。

本系统通过对拆分矩阵进行压缩，生成传输文件，可以大大减少传输的数据量，节省网络流量，提高传输速度。在抠图方面，通过在服务器端进行抠图处理，可以利用云计算的强大算力，提高抠图效率和质量。同时，通过在客户端进行解压和像素更新，可以保证原始图像的完整性和安全性，实现无损高清原图。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims

1.一种基于云端抠图的传输方法，其特征在于，所述方法包括：

对所述拆分矩阵进行字节压缩，得到传输文件；

将所述传输文件对应的下载地址发送至所述客户端。

2.根据权利要求1所述基于云端抠图的传输方法，其特征在于，所述对所述抠图图像进行像素拆分，得到只包含透明通道信息的得到拆分矩阵包括：

根据所述抠图图像的尺寸，生成尺寸相同的空白矩阵；

3.根据权利要求2所述基于云端抠图的传输方法，其特征在于，所述对所述拆分矩阵进行字节压缩，得到传输文件包括：

根据所述拆分矩阵对应的字节数，创建空数组；

4.根据权利要求2所述基于云端抠图的传输方法，其特征在于，所述将所述原始图像的尺寸写入所述像素压缩数组中，得到传输文件包括：

对所述图像压缩数组进行压缩，得到传输文件。

5.根据权利要求4所述基于云端抠图的传输方法，其特征在于，所述对所述图像压缩数组进行压缩，得到传输文件包括：

对所述压缩文件进行压缩，得到传输文件。

6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1～5任意一项所述的基于云端抠图的传输方法中的步骤。

7.一种终端设备，其特征在于，包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；

所述通信总线实现处理器和存储器之间的连接通信；

所述处理器执行所述计算机可读程序时实现如权利要求1～5任意一项所述的基于云端抠图的传输方法中的步骤。

8.一种基于云端抠图的传输系统，其特征在于，所述传输系统包括执客户端和如权利要求7所述的服务器，所述服务器与所述客户端通讯连接。

9.根据权利要求8所述基于云端抠图的传输系统，其特征在于，所述客户端包括：

解压模块，用于对所述传输文件进行解压，得到拆分矩阵；

10.根据权利要求9所述基于云端抠图的传输系统，其特征在于，所述更新模块具体用于：

将所述原始图像与所述拆分矩阵相乘，得到抠图图像。