CN112104872B - 图像传输方法及装置 - Google Patents

Abstract

本公开提供一种图像传输方法及装置，涉及图像处理领域，能够解决因带宽受限而导致的图像传输质量差的问题。具体技术方案为：获取图像的整图残差信息，获取当前可用的网络带宽；根据网络带宽、图像的编码码流确定整图残差信息中的目标残差信息；其中，图像的编码码流和目标残差信息的数据量总和小于或等于网络带宽可传输的数据量，向图像接收设备发送图像的编码码流和目标残差信息。本发明中会基于当前可用的网络带宽确定可发送的目标残差信息，以避免由于发送的编码码流和目标残差信息的数据量大于当前网络可用的带宽可传输的数据量，而造成的信息的丢失，从而使得图像接收设备可以得到最佳还原图像，从而提升了图像传输质量。

Description

图像传输方法及装置

技术领域

本公开涉及图像处理领域，尤其涉及图像传输方法及装置。

背景技术

现有的图传系统中，图像发送设备会对图像进行编码，然后将编码信息发送给图像接收设备，图像接收设备对编码信息进行解码即可看到图像。

但是，在传输带宽受限的时，往往需要使用较高的编码压缩率对图像进行编码，但是，编码压缩率越高，图像中丢失的信息就越多，从而无法使得图像接收设备得到高质量的图像。

发明内容

本公开实施例提供一种图像传输方法及装置，能够解决因带宽受限而导致的图像传输质量差的问题。所述技术方案如下：

根据本公开实施例的第一方面，提供一种图像传输方法，该方法包括：

获取图像的整图残差信息；

获取当前可用的网络带宽；

根据所述网络带宽、所述图像的编码码流确定所述整图残差信息中的目标残差信息；其中，所述图像的编码码流和所述目标残差信息的数据量总和小于或等于所述网络带宽可传输的数据量；

向图像接收设备发送所述图像的编码码流和所述目标残差信息。

本公开实施例提供的图像传输方法，获取图像的整图残差信息，获取当前可用的网络带宽；根据网络带宽、图像的编码码流确定整图残差信息中的目标残差信息；其中，图像的编码码流和目标残差信息的数据量总和小于或等于网络带宽可传输的数据量，向图像接收设备发送图像的编码码流和目标残差信息。本发明中会基于当前可用的网络带宽确定可发送的目标残差信息，以避免由于发送的编码码流和目标残差信息的数据量大于当前网络可用的带宽可传输的数据量，而造成的信息的丢失，并且，由于向图像接收设备发送了目标残差信息，从而使得图像接收设备根据编码码流和接收到的目标整图残差信息可以得到最大限度的接近原图像的还原图像，从而提升了图像传输质量，进一步的有效提升了图像传输的可靠性。

在一个实施例中，所述根据所述网络带宽、所述图像的编码码流确定所述整图残差信息中的目标残差信息，包括：

根据所述网络带宽和所述图像的编码码流确定剩余网络带宽；

检测所述整图残差信息的数据量是否大于所述剩余网络带宽可传输的数据量；

当检测到所述整图残差信息的数据量小于或等于所述剩余网络带宽可传输的数据量，确定所述整图残差信息为所述目标残差信息；

当检测到所述整图残差信息的数据量大于所述剩余网络带宽可传输的数据量，确定所述整图残差信息中的预设残差信息为所述目标残差信息。

在一个实施例中，所述确定所述整图残差信息中的预设残差信息为所述目标残差信息，包括：

获取所述整图残差信息中的文字区域对应的文字残差信息；

检测所述文字残差信息的数据量是否大于所述剩余网络带宽可传输的数据量；

当检测到所述文字残差信息的数据量小于或等于所述剩余网络带宽可传输的数据量，确定所述文字残差信息为所述目标残差信息；

当检测到所述文字残差信息的数据量大于所述剩余网络带宽可传输的数据量，确定所述文字残差信息中的部分文字残差信息为所述目标残差信息。

在一个实施例中，所述确定所述文字残差信息中的部分文字残差信息为所述目标残差信息，包括：

确定所述剩余网络带宽与所述文字残差信息的第一比值；

根据所述第一比值从预设映射表里确定所述部分文字残差信息与所述文字残差信息的第二比值；

根据所述第二比值，从所述文字残差信息中提取所述部分文字残差信息。

在一个实施例中，所述获取图像的整图残差信息，包括：

对所述图像进行编码处理得到编码信息；

对所述编码信息进行解码得到还原图像；

根据所述图像和所述还原图像获取所述整图残差信息。

在一个实施例中，所述获取所述整图残差信息中的文字区域对应的文字残差信息，包括：

获取所述图像中文字所在区域的位置信息；

根据所述文字所在区域的位置信息，从所述整图残差信息中提取出所述文字区域对应的文字残差信息。

在一个实施例中，所述获取所述图像中文字所在区域的位置信息，包括：

对所述图像进行图像处理得到二值化图像；

提取所述二值化图像中的目标文字特征；

根据预设分类器和所述文字特征确定所述图像中文字所在区域的位置信息。

在一个实施例中，所述提取所述二值化图像中的目标文字特征，包括：

提取所述二值化图像中的所有文字特征；

对所述所有文字特征进行降维处理，得到降维特征；

确定所述降维特征为所述目标文字特征。

在一个实施例中，所述获取当前可用的网络带宽，包括：

获取当前网络的包传输延时和丢包率；

根据所述当前网络的包传输延时和丢包率确定预估网络带宽；

根据所述预估网络带宽进行数据传输；

获取数据传输过程中的实时包传输延时和实时丢包率；

当所述实时包传输延时和实时丢包率满足预设条件时，确定所述预估网络带宽为所述当前可用的网络带宽；

当所述实时包传输延时和实时丢包率满足不预设条件时，调整所述预估网络带宽，并对调整后的所述预估网络带宽替换上述的预估网络带宽，重新执行上述的确定所述预估网络带宽是否为所述当前可用的网络带宽的步骤。

根据本公开实施例的第二方面，提供一种图像传输装置，该图像传输装置包括：

第一获取模块，用于获取图像的整图残差信息；

第二获取模块，用于获取当前可用的网络带宽；

确定模块，用于根据所述网络带宽、所述图像的编码码流确定所述整图残差信息中的目标残差信息；其中，所述图像的编码码流和所述目标残差信息的数据量总和小于或等于所述网络带宽可传输的数据量；

发送模块，用于向图像接收设备发送所述图像的编码码流和所述目标残差信息。

在一个实施例中，所述确定模块包括：第一确定子模块、第一检测子模块、第二确定子模块和第三确定子模块；

所述第一确定子模块，用于根据所述网络带宽和所述图像的编码码流确定剩余网络带宽；

所述第一检测子模块，用于检测所述整图残差信息的数据量是否大于所述剩余网络带宽可传输的数据量；

所述第二确定子模块，用于当所述第一检测子模块检测到所述整图残差信息的数据量小于或等于所述剩余网络带宽可传输的数据量，确定所述整图残差信息为所述目标残差信息；

所述第三确定子模块，用于当所述第一检测子模块检测到所述整图残差信息的数据量大于所述剩余网络带宽可传输的数据量，确定所述整图残差信息中的预设残差信息为所述目标残差信息。

在一个实施例中，所述第三确定子模块包括：获取子模块、第二检测子模块、第四确定子模块和第五确定子模块；

所述获取子模块，用于获取所述整图残差信息中的文字区域对应的文字残差信息；

所述第二检测子模块，用于检测所述文字残差信息的数据量是否大于所述剩余网络带宽可传输的数据量；

所述第四确定子模块，用于当所述第二检测子模块检测到所述文字残差信息的数据量小于或等于所述剩余网络带宽可传输的数据量，确定所述文字残差信息为所述目标残差信息；

所述第五确定子模块，用于当所述第二检测子模块检测到所述文字残差信息的数据量大于所述剩余网络带宽可传输的数据量，确定所述文字残差信息中的部分文字残差信息为所述目标残差信息。

在一个实施例中，所述第五确定子模块，包括：第一确定子单元、第二确定子单元和第一提取子单元；

第一确定子单元，用于确定所述剩余网络带宽与所述文字残差信息的第一比值；

第二确定子单元，用于根据所述第一比值从预设映射表里确定所述部分文字残差信息与所述文字残差信息的第二比值；

第一提取子单元，用于根据所述第二比值，从所述文字残差信息中提取所述部分文字残差信息。

在一个实施例中，所述第一获取模块，包括：编码子单元、解码子单元和第一获取子单元；

编码子单元，用于对所述图像进行编码处理得到编码信息；

解码子单元，用于对所述编码信息进行解码得到还原图像；

第一获取子单元，用于根据所述图像和所述还原图像获取所述整图残差信息。

在一个实施例中，所述获取子模块，包括：第二获取子单元和第二提取子单元；

第二获取子单元，用于获取所述图像中文字所在区域的位置信息；

第二提取子单元，用于根据所述文字所在区域的位置信息，从所述整图残差信息中提取出所述文字区域对应的文字残差信息。

在一个实施例中，所述第二获取子单元包括：第一处理子单元、第二处理子单元和第二确定子单元；

第一处理子单元，用于对所述图像进行图像处理得到二值化图像；

第二处理子单元，用于提取所述二值化图像中的目标文字特征；

第二确定子单元，用于根据预设分类器和所述文字特征确定所述图像中文字所在区域的位置信息。

在一个实施例中，所述第二处理子单元，包括：第三提取子单元、降维子单元和第三确定子单元；

第三提取子单元，用于提取所述二值化图像中的所有文字特征；

降维子单元，用于对所述所有文字特征进行降维处理，得到降维特征；

第三确定子单元，用于确定所述降维特征为所述目标文字特征。

在一个实施例中，所述第二获取模块包括：

第三获取子单元，获取当前网络的包传输延时和丢包率；

第四确定子单元，根据所述当前网络的包传输延时和丢包率确定预估网络带宽；

数据传输子单元，根据所述预估网络带宽进行数据传输；

第四获取子单元，获取数据传输过程中的实时包传输延时和实时丢包率；

第五确定子单元，当所述实时包传输延时和实时丢包率满足预设条件时，确定所述预估网络带宽为所述当前可用的网络带宽；

调整子单元，当所述实时包传输延时和实时丢包率满足不预设条件时，调整所述预估网络带宽，并对调整后的所述预估网络带宽替换上述的预估网络带宽，重新执行上述的确定所述预估网络带宽是否为所述当前可用的网络带宽的步骤。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1是本公开实施例提供的一种图像传输方法的流程图；

图1a是本公开实施例提供的一种图像传输方法的流程图；

图1b是本公开实施例提供的一种图像传输方法的流程图；

图2是本公开实施例提供的一种图像传输方法的流程图；

图3是本公开实施例提供的一种图像传输方法的流程图；

图3a是本公开实施例提供的一种图像传输方法的流程图；

图3b是本公开实施例提供的一种图像传输方法的流程图；

图3c是本公开实施例提供的一种图像传输方法的流程图；

图4是本公开实施例提供的一种图像传输方法的流程图；

图5是本公开实施例提供的一种图像传输方法的流程图；

图6是本公开实施例提供的一种图像传输系统的结构示意图；

图7是本公开实施例提供的一种图像传输装置的结构示意图；

图8是本公开实施例提供的一种图像传输装置中确定模块的结构示意图；

图9是本公开实施例提供的一种图像传输装置中第三确定子模块的结构示意图；

图10是本公开实施例提供的一种图像传输装置中第五确定子模块的结构示意图；

图11是本公开实施例提供的一种图像传输装置中第一获取模块的结构示意图；

图12是本公开实施例提供的一种图像传输装置中获取子模块的结构示意图；

图13是本公开实施例提供的一种图像传输装置中第二获取子单元的结构示意图；

图14是本公开实施例提供的一种图像传输装置中第二处理子单元的结构示意图；

图15是本公开实施例提供的一种图像传输装置中第二获取模块的结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

本公开实施例提供一种图像传输方法，如图1所示，该图像传输方法包括以下步骤：

101、获取图像的整图残差信息。

图像发送设备对图像进行编码后发送给图像接收设备，图像接收设备在接收到该编码码流后对该编码码流进行解码，得到还原图像，该还原图像与原图像之间的差值即为整图残差信息。

具体的，如图1a所示，上述步骤101包括以下子步骤：

1011、对图像进行编码处理得到编码信息。

1012、对编码信息进行解码得到还原图像。

1013、根据图像和还原图像获取整图残差信息。

此时得到的整图残差信息可以称之为整体图像的残差信息。得到整图残差信息后，便可以得知图像接收设备得到的还原图像中需要添加哪些信息才可以让图像接收设备解码后得到的还原图像与原始图像一样。

具体的，对图像进行编码，再进行解码；然后，将编码前的原始图像与解码后得到的还原图像做差值，就可以得到整体图像的整图残差信息。

102、获取当前可用的网络带宽。

具体的，如图1b所示，上述步骤102包括以下子步骤：

1021、获取当前网络的包传输延时和丢包率。

1022、根据当前网络的包传输延时和丢包率确定预估网络带宽。

具体的，可以根据当前网络的包传输延时和丢包率计算出适合当前网络传输的码率，将该码率作为预估网络带宽。

1023、根据预估网络带宽进行数据包传输。

1024、获取数据包传输过程中的实时包传输延时和实时丢包率。

1025、当实时包传输延时和实时丢包率满足预设条件时，确定预估网络带宽为当前可用的网络带宽。

1026、当实时包传输延时和实时丢包率满足不预设条件时，调整预估网络带宽，并对调整后的预估网络带宽替换上述的预估网络带宽，重新执行上述的确定预估网络带宽是否为当前可用的网络带宽的步骤。

具体的，可以先获取当前网络中的包传输延时和丢包率，然后基于当前网络中的包传输延时和丢包率对当前网络的可用带宽进行预估，预估出一个预估网络带宽，然后对该预估网络带宽进行调整，从而获取当前可用的网络带宽。

在得到了预估网络带宽后，会根据该预估网络带宽向图像接收设备发送数据包，然后图像接收设备接收到数据包后，便会去统计实时包传输时延和实时丢包率，并将统计的实时包传输时延和实时丢包率发送给图像发送设备，当图像发送设备在接收到该实时包传输时延和实时丢包率后，会跟预设包传输时延要求和预设丢包率要求进行对比，当该实时包传输时延满足预设包传输时延，且实时丢包率满足预设丢包率，便会确定之前预估的预估网络带宽即为当前可用的网络带宽，当该实时包传输时延不满足预设包传输时延，和/或，实时丢包率不满足预设丢包率，便会确定之前预估的预估网络带宽是有误的，它不是当前可用的网络带宽，那么就需要对它进行调整，在将预估网络带宽进行调整后，会根据调整后的预估网络带宽向图像接收设备发送数据包，然后图像接收设备接收到数据包后，便会去统计实时包传输时延和实时丢包率，并将统计的实时包传输时延和实时丢包率发送给图像发送设备，当图像发送设备在接收到该实时包传输时延和实时丢包率后，会跟预设包传输时延要求和预设丢包率要求进行对比，当该实时包传输时延满足预设包传输时延，且实时丢包率满足预设丢包率，便会确定调整后的预估网络带宽即为当前可用的网络带宽，当该实时包传输时延不满足预设包传输时延，和/或，实时丢包率不满足预设丢包率，便会确定调整后的预估网络带宽还是有误的，它不是当前可用的网络带宽，那么就需要继续对它进行调整，直到得到当前可用的网络带宽。

示例的，上述的包传输延时和丢包率可以为实时传输控制协议(RealtimeTransport Control Protocol，简称为：RTCP)反馈的包传输延时和丢包率。

具体的，上述步骤S102包括：

根据RTCP反馈的当前网络的包传输延时和丢包率计算出适合当前网络传输的码率，将该码率作为预估网络带宽。

根据预估网络带宽进行数据发送，并定时触发发包事件。

图像发送设备收到发包事件之后，发送实时传输协议(Real-time TransportProtocol，简称为：RTP)报文。

图像接收设备接收到RTP报文，进行实时包传输延时和实时丢包率统计。

图像接收设备对统计的实时包传输延时和实时丢包率进行RTCP编码，并将RTCP编码反馈到图像发送设备，以便图像发送设备进行的预估网络带宽的调整。

当实时包传输延时和实时丢包率满足预设条件时，图像发送设备确定预估网络带宽为当前可用的网络带宽。

当实时包传输延时和实时丢包率满足不预设条件时，图像发送设备调整预估网络带宽，并对调整后的预估网络带宽替换上述的预估网络带宽，重新执行上述的确定预估网络带宽是否为当前可用的网络带宽的步骤。

103、根据网络带宽、图像的编码码流确定整图残差信息中的目标残差信息；其中，图像的编码码流和目标残差信息的数据量总和小于或等于网络带宽可传输的数据量。

由于发送整图残差信息也是需要消耗网络带宽的，因此，本公开中还需要获取当前可用的网络带宽，基于当前可用的网络带宽确定应该发送整图残差信息中的哪些目标残差信息，以保证图像接收设备根据编码码流和接收到的目标整图残差信息可以得到最大限度的接近原图像的还原图像。

104、向图像接收设备发送图像的编码码流和目标残差信息。

本公开实施例提供的图像传输方法，获取图像的整图残差信息，获取当前可用的网络带宽；根据网络带宽、图像的编码码流确定整图残差信息中的目标残差信息；其中，图像的编码码流和目标残差信息的数据量总和小于或等于网络带宽可传输的数据量，向图像接收设备发送图像的编码码流和目标残差信息。本发明中会基于当前可用的网络带宽确定可发送的目标残差信息，以避免由于发送的编码码流和目标残差信息的数据量大于当前网络可用的带宽可传输的数据量，而造成的信息的丢失，并且，由于向图像接收设备发送了目标残差信息，从而使得图像接收设备根据编码码流和接收到的目标整图残差信息可以得到最大限度的接近原图像的还原图像，从而提升了图像传输质量，进一步的有效提升了图像传输的可靠性。

在一个实施例中，如图2所示，上述步骤103包括以下子步骤1031-1034：

1031、根据网络带宽和图像的编码码流确定剩余网络带宽。

1032、检测整图残差信息的数据量是否大于剩余网络带宽可传输的数据量。

1033、当检测到整图残差信息的数据量小于或等于剩余网络带宽可传输的数据量，确定整图残差信息为目标残差信息。

1034、当检测到整图残差信息的数据量大于剩余网络带宽可传输的数据量，确定整图残差信息中的预设残差信息为目标残差信息。

为了使得图像接收设备得到最大限度的与原图像接近的还原图像，也即，图像接收设备根据编码码流和目标残差信息进行解码，可以使得解码得到的图像质量最佳。图像发送设备会优选的将整图残差信息发送给图像接收设备，因此，在发送整图残差信息之前，需要根据网络带宽和图像的编码码流确定剩余网络带宽，看现在剩余的网络带宽是否足以传输整图残差信息，也就是说，要判断当前可用的网络带宽可传输的数据量是否足以传输整图残差信息和编码码流，如果剩余的网络带宽足以传输整图残差信息，也即，当前可用的网络带宽可传输的数据量足以传输整图残差信息和编码码流，便会将整图残差信息发送给图像接收设备，此时的整图残差信息即为目标残差信息；如果剩余的网络带宽不足以传输整图残差信息，也即，当前可用的网络带宽可传输的数据量不足以传输整图残差信息和编码码流，便会从整图残差信息中获取预设残差信息，将该预设残差信息作为目标残差信息发送给图像接收设备，此时，预设残差信息的数据量小于或等于剩余网络带宽可传输的数据量，也即，图像的编码码流和预设残差信息的数据量总和小于或等于网络带宽可传输的数据量。

在一个实施例中，如图3所示，上述步骤1034包括以下子步骤：

10341、获取整图残差信息中的文字区域对应的文字残差信息。

在一个实施例中，如图3a所示，上述步骤10341包括以下子步骤：

103411、获取图像中文字所在区域的位置信息。

103412、根据文字所在区域的位置信息，从整图残差信息中提取出文字区域对应的文字残差信息。

当得到了整体图像的整图残差信息后，从整体图像的整图残差信息中，根据文字所在区域的位置信息，就可以提取出文字区域对应的文字残差信息。

在一个实施例中，如图3b所示，上述步骤103411包括以下子步骤：

1034111、对图像进行图像处理得到二值化图像。

具体的，为了提取图像中的有效信息，可以对图像进行二值化处理，由于对图像进行二值化处理后，图像只剩下两种颜色，即黑和白，其中一个是图像背景，另一个颜色就是要识别的文字了；如果图像是彩色图像，还需要对图像进行灰度化处理。

1034112、提取二值化图像中的目标文字特征。

具体的，特征是用来识别文字的关键信息，每个不同的文字都能通过特征来和其他文字进行区分。对于数字和英文字母来说，这个特征提取是比较容易的，因为数字只有10个，英文字母只有52个，都是小字符集。对于汉字来说，特征提取比较困难，因为汉字是大字符集，国标中光是最常用的第一级汉字就有3755个；而且，汉字结构复杂，形近字多。本公开中可以使用相关技术中的特征提取算法来提取二值化图像中的目标文字特征。

1034113、根据预设分类器和文字特征确定图像中文字所在区域的位置信息。

具体的，将从图像中提取的目标文字特征发送给预设的分类器，由预设的分类器根据该目标文字特征对图像中的图形和文字进行分类，以得到图像中文字所在区域的位置信息。

其中，分类器例如可以包括：支持向量机(Support Vector Machine，简称为：SVM)算法的分类器，K近邻分类器(K Nearest Neighbors Classifier，简称为：kNN分类器)，神经网络等。

在一个实施例中，如图3c所示，上述步骤1034112包括以下子步骤：

10341121、提取二值化图像中的所有文字特征。

10341122、对所有文字特征进行降维处理，得到降维特征。

10341123、确定降维特征为目标文字特征。

在确定了提取二值化图像中的何种文字特征后，视情况而定，还有可能要进行特征降维。如果图像的文字特征的维数太高(特征一般用一个向量表示，维数即该向量的分量数)，分类器的效率会受到很大的影响。在这种情况下，为了提高识别速率，往往就要对得到的所有文字特征进行降维，不仅要降低维数，还要使得减少维数后得到的目标文字特征仍保留了足够的信息量。

10342、检测文字残差信息的数据量是否大于剩余网络带宽可传输的数据量。

10343、当检测到文字残差信息的数据量小于或等于剩余网络带宽可传输的数据量，确定文字残差信息为目标残差信息。

10344、当检测到文字残差信息的数据量大于剩余网络带宽可传输的数据量，确定文字残差信息中的部分文字残差信息为目标残差信息。

在现有的图传系统中，对于包含文字的图像，比如，电影画面包括视频图片和字幕，在编解码过程中对图像中的图片和文字是统一处理的。由于文字信息对图传质量的要求较高，在带宽受限的场景下，可能出现图像中的文字信息丢失的问题。

本公开中会对当前的传输带宽情况进行预估，得到当前可用的网络带宽，进而根据当前可用的网络带宽情况确定整图残差信息的传输量。具体的，在预估带宽较为充裕的场景下，可以对整体的整图残差信息进行无损传输；而在预估带宽较为紧张的场景下，可以尽量保留较多的文字区域对应的文字残差信息，以提高文字区域的清晰度。

这样，能够提高图像的文字区域的图像质量，避免出现文字信息丢失的问题，且不会明显增大编码码流。

具体的，会基于整图残差信息去获取文字区域对应的文字残差信息，然后基于文字残差信息与剩余网络带宽的大小关系，确定是传输完整的文字残差信息还是传输文字残差信息中的部分文字残差信息，以保证在当前可用的网络带宽的前提下，图像接收设备根据编码码流和残差信息进行解码，可以使得解码得到的图像质量最佳。

在一个实施例中，如图4所示，上述步骤10344包括以下子步骤：

103441、确定剩余网络带宽与文字残差信息的第一比值。

103442、根据第一比值从预设映射表里确定部分文字残差信息与文字残差信息的第二比值。

103443、根据第二比值，从文字残差信息中提取部分文字残差信息。

预设的映射表的实例可以参考表1，如表1所示：

表1

如表所示，剩余网络带宽与所有的文字残差信息的第一比值范围分别为：[0，10％)、[10％，30％)、[30％，60％)、[60％，90％)、[90％，100％)，第一比值范围[0，10％)对应的待提取的部分文字残差信息与所有的文字残差信息的第二比值为0、第一比值范围[10％，30％)对应的待提取的部分文字残差信息与所有的文字残差信息的第二比值为10％、第一比值范围[30％，60％)对应的待提取的部分文字残差信息与所有的文字残差信息的第二比值为30％、第一比值范围[60％，90％)对应的待提取的部分文字残差信息与所有的文字残差信息的第二比值为60％、第一比值范围[90％，100％)对应的待提取的部分文字残差信息与所有的文字残差信息的第二比值为90％。

剩余网络带宽不足以传输全部的文字残差信息时，计算剩余网络带宽与所有的文字残差信息的第一比值，进而根据第一比值，找到对应的待提取的部分文字残差信息与所有的文字残差信息的第二比值，最后，根据该待提取的部分文字残差信息与所有的文字残差信息的第二比值，从全部的文字残差信息中提取与该剩余网络带宽匹配的部分文字残差信息。

当然，预设的对照表可以根据实际情况来设置。

例如：计算得到的剩余网络带宽与所有的文字残差信息的第一比值为70％，基于表1，可以得知，70％对应的待提取的部分文字残差信息与所有的文字残差信息的第二比值为60％，那么，从文字残差信息中提取60％的文字残差信息发送给图像接收设备。

其中，可以从文字残差信息中随机的确定60％发送给图像接收设备，也可以从文字残差信息中的高比特位开始选择60％发送给图像接收设备。

图像接收设备接收到编码码流和目标残差信息后，对编码码流进行解码，得到还原图像。

图像接收设备收到编码码流和目标残差信息后进行解码，然后将解码后图像的像素信息，跟残差信息相加。就得到了没有损失的文字信息。在一定码流下，这样可在保障文字质量的情况下，最大程度保证图像中文字内容不丢失。

本公开实施例提供另一种图像传输方法，如图5所示，该图像传输方法包括以下步骤：

201、获取图像的整图残差信息。

具体的，对图像进行编码处理得到编码信息；

对编码信息进行解码得到还原图像；

根据图像和还原图像获取整图残差信息。

202、获取整图残差信息中的文字区域对应的文字残差信息。

具体的，获取整图残差信息中的文字区域对应的文字残差信息，包括：

获取图像中文字所在区域的位置信息；

根据文字所在区域的位置信息，从整图残差信息中提取出文字区域对应的文字残差信息。

具体的，获取图像中文字所在区域的位置信息，包括：

对图像进行图像处理得到二值化图像；

提取二值化图像中的目标文字特征；

根据预设分类器和文字特征确定图像中文字所在区域的位置信息。

具体的，提取二值化图像中的目标文字特征，包括：

提取二值化图像中的所有文字特征；

对所有文字特征进行降维处理，得到降维特征；

确定降维特征为目标文字特征。

203、获取当前可用的网络带宽。

具体的，所述获取当前可用的网络带宽，包括：

获取当前网络的包传输延时和丢包率；

根据所述当前网络的包传输延时和丢包率确定预估网络带宽；

根据所述预估网络带宽进行数据传输；

获取数据传输过程中的实时包传输延时和实时丢包率；

当所述实时包传输延时和实时丢包率满足预设条件时，确定所述预估网络带宽为所述当前可用的网络带宽；

当所述实时包传输延时和实时丢包率满足不预设条件时，调整所述预估网络带宽，并对调整后的所述预估网络带宽替换上述的预估网络带宽，重新执行上述的确定所述预估网络带宽是否为所述当前可用的网络带宽的步骤。

204、根据网络带宽和图像的编码码流确定剩余网络带宽。

205、检测整图残差信息的数据量是否大于剩余网络带宽可传输的数据量，当检测到整图残差信息的数据量小于或等于剩余网络带宽可传输的数据量，执行步骤206；当检测到整图残差信息的数据量大于剩余网络带宽可传输的数据量，执行步骤207；

206、确定整图残差信息为目标残差信息。

207、检测文字残差信息的数据量是否大于剩余网络带宽可传输的数据量，当检测到文字残差信息的数据量小于或等于剩余网络带宽可传输的数据量，执行步骤208；当检测到文字残差信息的数据量大于剩余网络带宽可传输的数据量，执行步骤209。

208、确定文字残差信息为目标残差信息。

209、确定文字残差信息中的部分文字残差信息为目标残差信息。

具体的，确定剩余网络带宽与文字残差信息的第一比值；

根据第一比值从预设映射表里确定部分文字残差信息与文字残差信息的第二比值；

根据第二比值，从文字残差信息中提取部分文字残差信息，确定部分文字残差信息为目标残差信息。

2010、向图像接收设备发送图像的编码码流和目标残差信息。

基于上述图1对应的实施例中所描述的图像传输方法，下述为本公开系统实施例，可以用于执行本公开方法实施例。

本公开实施例提供一种图像传输系统，如图6所示，该图形传输系统包括：图像发送设备和图像接收设备。

图像发送设备中包括：识别模块、编码模块、解码模块和调整模块；

图像接收设备中包括：解码模块和显示模块。

具体的，识别模块，获取图像的整图残差信息，获取整图残差信息中的文字区域对应的文字残差信息，并将整图残差信息和文字残差信息发送到调整模块。

调整模块获取当前可用的网络带宽，根据网络带宽和图像的编码码流确定剩余网络带宽，检测整图残差信息的数据量是否大于剩余网络带宽可传输的数据量，当检测到整图残差信息的数据量小于或等于剩余网络带宽可传输的数据量，确定整图残差信息为目标残差信息；当检测到整图残差信息的数据量大于剩余网络带宽可传输的数据量，检测文字残差信息的数据量是否大于剩余网络带宽可传输的数据量，当检测到文字残差信息的数据量小于或等于剩余网络带宽可传输的数据量，确定文字残差信息为目标残差信息；当检测到文字残差信息的数据量大于剩余网络带宽可传输的数据量，确定文字残差信息中的部分文字残差信息为目标残差信息。

编码模块将编码码流发送给图像接收设备，调整模块将目标残差信息发送给图像接收设备。

图像接收设备中的解码模块对接收到的编码码流进行解码，然后将解码后图像的像素信息，跟目标残差信息相加。就得到了没有损失的文字信息。在一定码流下，这样可在保障文字质量的情况下，最大程度保证图像中文字内容不丢失。

本发明能够通过对当前的传输带宽情况进行预估得到的当前可用的网络带宽，进而根据当前可用的网络带宽情况确定残差信息的传输量。具体的，在当前可用的网络带宽较为充裕的场景下，可以对整图或图像的文字区域进行无损传输；而在预估带宽较为紧张的场景下，可以尽量保留较多的文字区域对应的残差信息，以提高文字区域的清晰度。

这样，能够提高图像的文字区域的图像质量，避免出现文字信息丢失的问题，且不会明显增大编码码流，此外，还能够根据当前可用的网络带宽情况，通过增加或减少残差信息对传输的数据量进行调整。

基于上述图1-5对应的实施例中所描述的图像传输方法，下述为本公开装置实施例，可以用于执行本公开方法实施例。

本公开实施例提供一种图像传输装置，如图7所示，该图像传输装置包括：

第一获取模块11，用于获取图像的整图残差信息；

第二获取模块12，用于获取当前可用的网络带宽；

确定模块13，用于根据所述网络带宽、所述图像的编码码流确定所述整图残差信息中的目标残差信息；其中，所述图像的编码码流和所述目标残差信息的数据量总和小于或等于所述网络带宽可传输的数据量；

发送模块，用于向图像接收设备发送所述图像的编码码流和所述目标残差信息。

在一个实施例中，如图8所示，所述确定模块13包括：第一确定子模块131、第一检测子模块132、第二确定子模块133和第三确定子模块134；

所述第一确定子模块131，用于根据所述网络带宽和所述图像的编码码流确定剩余网络带宽；

所述第一检测子模块132，用于检测所述整图残差信息的数据量是否大于所述剩余网络带宽可传输的数据量；

所述第二确定子模块133，用于当所述第一检测子模块132检测到所述整图残差信息的数据量小于或等于所述剩余网络带宽可传输的数据量，确定所述整图残差信息为所述目标残差信息；

所述第三确定子模块134，用于当所述第一检测子模块132检测到所述整图残差信息的数据量大于所述剩余网络带宽可传输的数据量，确定所述整图残差信息中的预设残差信息为所述目标残差信息。

在一个实施例中，如图9所示，所述第三确定子模块134包括：获取子模块1341、第二检测子模块1342、第四确定子模块1343和第五确定子模块1344；

所述获取子模块1341，用于获取所述整图残差信息中的文字区域对应的文字残差信息；

所述第二检测子模块1342，用于检测所述文字残差信息的数据量是否大于所述剩余网络带宽可传输的数据量；

所述第四确定子模块1343，用于当所述第二检测子模块1342检测到所述文字残差信息的数据量小于或等于所述剩余网络带宽可传输的数据量，确定所述文字残差信息为所述目标残差信息；

所述第五确定子模块1344，用于当所述第二检测子模块1342检测到所述文字残差信息的数据量大于所述剩余网络带宽可传输的数据量，确定所述文字残差信息中的部分文字残差信息为所述目标残差信息。

在一个实施例中，如图10所示，所述第五确定子模块1344，包括：第一确定子单元13441、第二确定子单元13442和第一提取子单元13443；

第一确定子单元13441，用于确定所述剩余网络带宽与所述文字残差信息的第一比值；

第二确定子单元13442，用于根据所述第一比值从预设映射表里确定所述部分文字残差信息与所述文字残差信息的第二比值；

第一提取子单元13443，用于根据所述第二比值，从所述文字残差信息中提取所述部分文字残差信息。

在一个实施例中，如图11所示，所述第一获取模块11，包括：编码子单元111、解码子单元112和第一获取子单元113；

编码子单元111，用于对所述图像进行编码处理得到编码信息；

解码子单元112，用于对所述编码信息进行解码得到还原图像；

第一获取子单元113，用于根据所述图像和所述还原图像获取所述整图残差信息。

在一个实施例中，如图12所示，所述获取子模块1341，包括：第二获取子单元13411和第二提取子单元13412；

第二获取子单元13411，用于获取所述图像中文字所在区域的位置信息；

第二提取子单元13412，用于根据所述文字所在区域的位置信息，从所述整图残差信息中提取出所述文字区域对应的文字残差信息。

在一个实施例中，如图13所示，所述第二获取子单元13411包括：第一处理子单元134111、第二处理子单元134112和第二确定子单元134113；

第一处理子单元134111，用于对所述图像进行图像处理得到二值化图像；

第二处理子单元134112，用于提取所述二值化图像中的目标文字特征；

第二确定子单元134113，用于根据预设分类器和所述文字特征确定所述图像中文字所在区域的位置信息。

在一个实施例中，如图14所示，所述第二处理子单元134112，包括：第三提取子单元1341121、降维子单元1341122和第三确定子单元1341123；

第三提取子单元1341121，用于提取所述二值化图像中的所有文字特征；

降维子单元1341122，用于对所述所有文字特征进行降维处理，得到降维特征；

第三确定子单元1341123，用于确定所述降维特征为所述目标文字特征。

在一个实施例中，如图15所示，所述第二获取模块12包括：

第三获取子单元121，获取当前网络的包传输延时和丢包率；

第四确定子单元122，根据所述当前网络的包传输延时和丢包率确定预估网络带宽；

数据传输子单元123，根据所述预估网络带宽进行数据传输；

第四获取子单元124，获取数据传输过程中的实时包传输延时和实时丢包率；

第五确定子单元125，当所述实时包传输延时和实时丢包率满足预设条件时，确定所述预估网络带宽为所述当前可用的网络带宽；

调整子单元126，当所述实时包传输延时和实时丢包率满足不预设条件时，调整所述预估网络带宽，并对调整后的所述预估网络带宽替换上述的预估网络带宽，重新执行上述的确定所述预估网络带宽是否为所述当前可用的网络带宽的步骤。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

基于上述图1-5对应的实施例中所描述的图像传输方法，本公开实施例还提供一种计算机可读存储介质，例如，非临时性计算机可读存储介质可以是只读存储器(英文：Read Only Memory，ROM)、随机存取存储器(英文：Random Access Memory，RAM)、CD-ROM、磁带、软盘和光数据存储装置等。该存储介质上存储有计算机指令，用于执行上述图1-5对应的实施例中所描述的数据传输方法，此处不再赘述。

本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (8)

1.一种图像传输方法，其特征在于，所述方法包括：

获取图像的整图残差信息；

获取当前可用的网络带宽；

根据所述网络带宽、所述图像的编码码流确定所述整图残差信息中的目标残差信息；其中，所述图像的编码码流和所述目标残差信息的数据量总和小于或等于所述网络带宽可传输的数据量；

向图像接收设备发送所述图像的编码码流和所述目标残差信息；

所述根据所述网络带宽、所述图像的编码码流确定所述整图残差信息中的目标残差信息，包括：根据所述网络带宽和所述图像的编码码流确定剩余网络带宽；检测所述整图残差信息的数据量是否大于所述剩余网络带宽可传输的数据量；当检测到所述整图残差信息的数据量小于或等于所述剩余网络带宽可传输的数据量，确定所述整图残差信息为所述目标残差信息；当检测到所述整图残差信息的数据量大于所述剩余网络带宽可传输的数据量，确定所述整图残差信息中的预设残差信息为所述目标残差信息；

所述确定所述整图残差信息中的预设残差信息为所述目标残差信息，包括：获取所述整图残差信息中的文字区域对应的文字残差信息；检测所述文字残差信息的数据量是否大于所述剩余网络带宽可传输的数据量；当检测到所述文字残差信息的数据量小于或等于所述剩余网络带宽可传输的数据量，确定所述文字残差信息为所述目标残差信息；当检测到所述文字残差信息的数据量大于所述剩余网络带宽可传输的数据量，确定所述文字残差信息中的部分文字残差信息为所述目标残差信息。

2.根据权利要求1所述的方法，其特征在于，所述确定所述文字残差信息中的部分文字残差信息为所述目标残差信息，包括：

确定所述剩余网络带宽与所述文字残差信息的第一比值；

根据所述第一比值从预设映射表里确定所述部分文字残差信息与所述文字残差信息的第二比值；

根据所述第二比值，从所述文字残差信息中提取所述部分文字残差信息。

3.根据权利要求1所述的方法，其特征在于，所述获取图像的整图残差信息，包括：

对所述图像进行编码处理得到编码信息；

对所述编码信息进行解码得到还原图像；

根据所述图像和所述还原图像获取所述整图残差信息。

4.根据权利要求1所述的方法，其特征在于，所述获取所述整图残差信息中的文字区域对应的文字残差信息，包括：

获取所述图像中文字所在区域的位置信息；

根据所述文字所在区域的位置信息，从所述整图残差信息中提取出所述文字区域对应的文字残差信息。

5.根据权利要求4所述的方法，其特征在于，所述获取所述图像中文字所在区域的位置信息，包括：

对所述图像进行图像处理得到二值化图像；

提取所述二值化图像中的目标文字特征；

根据预设分类器和所述文字特征确定所述图像中文字所在区域的位置信息。

6.根据权利要求5所述的方法，其特征在于，所述提取所述二值化图像中的目标文字特征，包括：

提取所述二值化图像中的所有文字特征；

对所述所有文字特征进行降维处理，得到降维特征；

确定所述降维特征为所述目标文字特征。

7.根据权利要求1所述的方法，其特征在于，所述获取当前可用的网络带宽，包括：

获取当前网络的包传输延时和丢包率；

根据所述当前网络的包传输延时和丢包率确定预估网络带宽；

根据所述预估网络带宽进行数据传输；

获取数据传输过程中的实时包传输延时和实时丢包率；

当所述实时包传输延时和实时丢包率满足预设条件时，确定所述预估网络带宽为所述当前可用的网络带宽；

当所述实时包传输延时和实时丢包率满足不预设条件时，调整所述预估网络带宽，并对调整后的所述预估网络带宽替换上述的预估网络带宽，重新执行上述的确定所述预估网络带宽是否为所述当前可用的网络带宽的步骤。

8.一种图像传输装置，其特征在于，所述装置包括：

第一获取模块，用于获取图像的整图残差信息；

第二获取模块，用于获取当前可用的网络带宽；

确定模块，用于根据所述网络带宽、所述图像的编码码流确定所述整图残差信息中的目标残差信息；其中，所述图像的编码码流和所述目标残差信息的数据量总和小于或等于所述网络带宽可传输的数据量；

发送模块，用于向图像接收设备发送所述图像的编码码流和所述目标残差信息；

所述确定模块包括：第一确定子模块、第一检测子模块、第二确定子模块和第三确定子模块；

所述第一确定子模块，用于根据所述网络带宽和所述图像的编码码流确定剩余网络带宽；

所述第一检测子模块，用于检测所述整图残差信息的数据量是否大于所述剩余网络带宽可传输的数据量；

所述第二确定子模块，用于当所述第一检测子模块检测到所述整图残差信息的数据量小于或等于所述剩余网络带宽可传输的数据量，确定所述整图残差信息为所述目标残差信息；

所述第三确定子模块，用于当所述第一检测子模块检测到所述整图残差信息的数据量大于所述剩余网络带宽可传输的数据量，确定所述整图残差信息中的预设残差信息为所述目标残差信息；

所述第三确定子模块包括：获取子模块、第二检测子模块、第四确定子模块和第五确定子模块；

所述获取子模块，用于获取所述整图残差信息中的文字区域对应的文字残差信息；

所述第二检测子模块，用于检测所述文字残差信息的数据量是否大于所述剩余网络带宽可传输的数据量；

所述第四确定子模块，用于当所述第二检测子模块检测到所述文字残差信息的数据量小于或等于所述剩余网络带宽可传输的数据量，确定所述文字残差信息为所述目标残差信息；

所述第五确定子模块，用于当所述第二检测子模块检测到所述文字残差信息的数据量大于所述剩余网络带宽可传输的数据量，确定所述文字残差信息中的部分文字残差信息为所述目标残差信息。