CN116582440A - 视觉影像传输的处理方法及其装置、电子设备及存储介质 - Google Patents

Abstract

本发明公开了一种视觉影像传输的处理方法及其装置、电子设备及存储介质，涉及金融科技领域或其他相关领域，其中，该处理方法包括：接收影像信息文件以及关注信息文件，确定当前吞吐率，在当前吞吐率小于矩形块码率的情况下，基于播放片段向量矩阵，将小于预设阈值的向量值指示的矩形块进行降级处理，得到处理结果，基于处理结果以及存储路径，下载播放片段的所有矩形块。本发明解决了相关技术中无法根据网络状况，有效控制用户关注区域的影像质量的技术问题。

Description

视觉影像传输的处理方法及其装置、电子设备及存储介质

技术领域

本发明涉及金融科技领域，具体而言，涉及一种视觉影像传输的处理方法及其装置、电子设备及存储介质。

背景技术

当前，基于HTTP(Hyper Text Transfer Protocol，即超文本传输协议)的动态自适应流媒体传输协议(Dynamic Adaptive Streaming over HTTP，简称DASH)是最为有效的保证流媒体高质量可靠的进行传输的解决方案之一，其可以解决流媒体在传输过程中所遇到的带宽受限等问题，当网络带宽能力不足时，会降低视频的比特率，以使视频播放过程中卡顿事件发生的次数降低，而在网络带宽变好时，又能增大传输视频的比特率，进而保证数据传输的可靠性以及高质量的用户体验。

然而，虽然基于HTTP的动态自适应流媒体传输协议能够根据网络的状况推送合适的画质，但是当网络状况不佳时，整个视频质量也会随之下降，使得期望观看的区域质量也会下降，不仅浪费了网络的带宽，也降低了用户的观看体验。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种视觉影像传输的处理方法及其装置、电子设备及存储介质，以至少解决相关技术中无法根据网络状况，有效控制用户关注区域的影像质量的技术问题。

根据本发明实施例的一个方面，提供了一种视觉影像传输的处理方法，应用于客户端，包括：接收影像信息文件以及关注信息文件，其中，所述影像信息文件至少包括：矩形块的存储路径、矩形块码率，所述关注信息文件至少包括：播放片段向量矩阵，所述矩形块是服务端对影像进行编码得到的；确定当前吞吐率；在所述当前吞吐率小于所述矩形块码率的情况下，基于所述播放片段向量矩阵，将小于预设阈值的向量值指示的矩形块进行降级处理，得到处理结果；基于所述处理结果以及所述存储路径，下载播放片段的所有矩形块。

可选地，在接收影像信息文件以及关注信息文件之前，还包括：所述服务端接收所述客户端发送的影像传输请求，其中，所述影像传输请求至少包括：待传输影像标识；所述服务端确定与所述待传输影像标识对应的目标影像；所述服务端对所述目标影像进行编码，得到已编码影像以及所述影像信息文件；所述服务端基于每个所述播放片段的所有矩形块，得到所述关注信息文件。

可选地，所述服务端对所述目标影像进行编码的步骤，包括：所述服务端将所述目标影像中的每个影像帧划分为多个所述矩形块；所述服务端将所述目标影像划分为多个所述播放片段，其中，每个所述播放片段对应有多个所述矩形块；所述服务端将所述播放片段中的每个所述矩形块编码成多个影像块，其中，所述影像块的层次类型包括：基础层、增强层，所述基础层用于以最低的质量解码影像，所述增强层用于增强影像的质量。

可选地，所述服务端基于每个所述播放片段的所有矩形块，得到所述关注信息文件的步骤，包括：所述服务端将所述播放片段的所有所述矩形块输入至预设关注模型，得到每个所述矩形块的关注值；所述服务端基于所有关注值，生成所述播放片段向量矩阵，其中，所述播放片段向量矩阵中的每个所述向量值与所述关注值一一对应；所述服务端基于所述播放片段向量矩阵，生成所述关注信息文件。

可选地，在所述服务端将所述播放片段的所有所述矩形块输入至预设关注模型之前，还包括：所述服务端获取多个标注矩形块数据，得到训练数据；所述服务端采用所述训练数据训练初始关注模型，并在训练完成的情况下，得到所述预设关注模型。

可选地，在确定当前吞吐率之前，还包括：下载预设播放片段中的预设矩形块的基础层影像块以及增强层影像块；在当前下载时刻下的预设存储区长度大于等于矩形块缓冲区长度的情况下，下载所述预设播放片段中的剩余矩形块的所述基础层影像块以及所述增强层影像块，并更新当前吞吐率，其中，所述矩形块缓冲区长度为所述预设播放片段中的所有所述剩余矩形块的基础层缓冲区长度以及增强层缓冲区长度之和，所述剩余矩形块为所述预设播放片段中除了所述预设矩形块之外的矩形块；在当前下载时刻下的所述预设存储区长度小于矩形块缓冲区长度且大于等于所有所述剩余矩形块的基础层缓冲区长度的情况下，下载所述预设播放片段中的所述剩余矩形块的所述基础层影像块，并更新当前吞吐率。

可选地，基于所述处理结果以及所述存储路径，下载播放片段的所有矩形块的步骤，包括：基于所述处理结果中的目标向量矩阵，确定每个所述矩形块的下载向量值；在所述下载向量值为第一预设值的情况下，依据所述存储路径，下载所述矩形块的基础层影像块；在所述下载向量值为第二预设值的情况下，依据所述存储路径，下载所述矩形块的基础层影像块以及增强层影像块。

可选地，在基于所述处理结果以及所述存储路径，下载播放片段的所有矩形块之后，还包括：在播放目标播放片段之前，检查所述目标播放片段的基础层影像块是否存在，得到第一检查结果；在所述第一检查结果指示存在所述目标播放片段的所述基础层影像块的情况下，检查所述目标播放片段的增强层影像块是否存在，得到第二检查结果；在所述第二检查结果指示存在所述目标播放片段的所述增强层影像块的情况下，解码所述目标播放片段中的每个所述矩形块，并在解码完成的情况下，播放所述目标播放片段。

可选地，在检查所述目标播放片段的基础层影像块是否存在，得到第一检查结果之后，还包括：在所述第一检查结果指示不存在所述目标播放片段的所述基础层影像块的情况下，暂停播放所述目标播放片段；下载所述目标播放片段的所述基础层影像块。

根据本发明实施例的另一方面，还提供了一种视觉影像传输的处理装置，应用于客户端，包括：接收单元，用于接收影像信息文件以及关注信息文件，其中，所述影像信息文件至少包括：矩形块的存储路径、矩形块码率，所述关注信息文件至少包括：播放片段向量矩阵，所述矩形块是服务端对影像进行编码得到的；确定单元，用于确定当前吞吐率；处理单元，用于在所述当前吞吐率小于所述矩形块码率的情况下，基于所述播放片段向量矩阵，将小于预设阈值的向量值指示的矩形块进行降级处理，得到处理结果；下载单元，用于基于所述处理结果以及所述存储路径，下载播放片段的所有矩形块。

可选地，所述处理装置还包括：第一接收模块，用于在接收影像信息文件以及关注信息文件之前，所述服务端接收所述客户端发送的影像传输请求，其中，所述影像传输请求至少包括：待传输影像标识；第一确定模块，用于所述服务端确定与所述待传输影像标识对应的目标影像；第一编码模块，用于所述服务端对所述目标影像进行编码，得到已编码影像以及所述影像信息文件；第一输出模块，用于所述服务端基于每个所述播放片段的所有矩形块，得到所述关注信息文件。

可选地，所述第一确定模块包括：第一划分子模块，用于控制所述服务端将所述目标影像中的每个影像帧划分为多个所述矩形块；第二划分子模块，用于控制所述服务端将所述目标影像划分为多个所述播放片段，其中，每个所述播放片段对应有多个所述矩形块；第一编码子模块，用于控制所述服务端将所述播放片段中的每个所述矩形块编码成多个影像块，其中，所述影像块的层次类型包括：基础层、增强层，所述基础层用于以最低的质量解码影像，所述增强层用于增强影像的质量。

可选地，所述第一输出模块包括：第一输入子模块，用于控制所述服务端将所述播放片段的所有所述矩形块输入至预设关注模型，得到每个所述矩形块的关注值；第一生成子模块，用于控制所述服务端基于所有关注值，生成所述播放片段向量矩阵，其中，所述播放片段向量矩阵中的每个所述向量值与所述关注值一一对应；第二生成子模块，用于控制所述服务端基于所述播放片段向量矩阵，生成所述关注信息文件。

可选地，所述处理装置还包括：第一获取模块，用于在所述服务端将所述播放片段的所有所述矩形块输入至预设关注模型之前，控制所述服务端获取多个标注矩形块数据，得到训练数据；第一训练模块，用于控制所述服务端采用所述训练数据训练初始关注模型，并在训练完成的情况下，得到所述预设关注模型。

可选地，所述处理装置还包括：第一下载模块，用于在确定当前吞吐率之前，下载预设播放片段中的预设矩形块的基础层影像块以及增强层影像块；第二下载模块，用于在当前下载时刻下的预设存储区长度大于等于矩形块缓冲区长度的情况下，下载所述预设播放片段中的剩余矩形块的所述基础层影像块以及所述增强层影像块，并更新当前吞吐率，其中，所述矩形块缓冲区长度为所述预设播放片段中的所有所述剩余矩形块的基础层缓冲区长度以及增强层缓冲区长度之和，所述剩余矩形块为所述预设播放片段中除了所述预设矩形块之外的矩形块；第三下载模块，用于在当前下载时刻下的所述预设存储区长度小于矩形块缓冲区长度且大于等于所有所述剩余矩形块的基础层缓冲区长度的情况下，下载所述预设播放片段中的所述剩余矩形块的所述基础层影像块，并更新当前吞吐率。

可选地，所述下载单元包括：第二确定模块，用于基于所述处理结果中的目标向量矩阵，确定每个所述矩形块的下载向量值；第四下载模块，用于在所述下载向量值为第一预设值的情况下，依据所述存储路径，下载所述矩形块的基础层影像块；第五下载模块，用于在所述下载向量值为第二预设值的情况下，依据所述存储路径，下载所述矩形块的基础层影像块以及增强层影像块。

可选地，所述处理装置还包括：第一检查模块，用于在基于所述处理结果以及所述存储路径，下载播放片段的所有矩形块之后，在播放目标播放片段之前，检查所述目标播放片段的基础层影像块是否存在，得到第一检查结果；第二检查模块，用于在所述第一检查结果指示存在所述目标播放片段的所述基础层影像块的情况下，检查所述目标播放片段的增强层影像块是否存在，得到第二检查结果；第一解码模块，用于在所述第二检查结果指示存在所述目标播放片段的所述增强层影像块的情况下，解码所述目标播放片段中的每个所述矩形块，并在解码完成的情况下，播放所述目标播放片段。

可选地，所述处理装置还包括：第一暂停模块，用于在检查所述目标播放片段的基础层影像块是否存在，得到第一检查结果之后，在所述第一检查结果指示不存在所述目标播放片段的所述基础层影像块的情况下，暂停播放所述目标播放片段；第六下载模块，用于下载所述目标播放片段的所述基础层影像块。

根据本发明实施例的另一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行上述视觉影像传输的处理方法。

根据本发明实施例的另一方面，还提供了一种电子设备，包括一个或多个处理器和存储器，所述存储器用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现上述视觉影像传输的处理方法。

在本公开中，接收影像信息文件以及关注信息文件，确定当前吞吐率，在当前吞吐率小于矩形块码率的情况下，基于播放片段向量矩阵，将小于预设阈值的向量值指示的矩形块进行降级处理，得到处理结果，基于处理结果以及存储路径，下载播放片段的所有矩形块。在本公开中，客户端可以先确定当前吞吐率，然后比较当前吞吐率与服务端发送的影像信息文件中的矩形块码率，如果当前吞吐率小于矩形块码率，则需要依据服务端发送的关注信息文件中的播放片段向量矩阵，对用户不关注区域(即小于预设阈值的向量值指示的矩形块)进行降级处理，之后依据处理结果以及影像信息文件中的矩形块的存储路径，下载播放片段的所有矩形块，以进行播放，能够根据网络状况控制用户关注区域的影像质量，提升了用户影像观看体验，进而解决了相关技术中无法根据网络状况，有效控制用户关注区域的影像质量的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的一种可选的视觉影像传输的处理方法的流程图；

图2是根据本发明实施例的一种可选的视觉影像传输优化架构的示意图；

图3是根据本发明实施例的一种可选的Tile编码结果的示意图；

图4是根据本发明实施例的一种可选的SVC编码结果的示意图；

图5是根据本发明实施例的一种可选的缓冲区长度的示意图；

图6是根据本发明实施例的一种可选的视觉影像传输的处理装置的示意图；

图7是根据本发明实施例的一种用于视觉影像传输的处理方法的电子设备(或移动设备)的硬件结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为便于本领域技术人员理解本发明，下面对本发明各实施例中涉及的部分术语或名词做出解释：

Tile编码：即分块编码，将平面视频按网格划分为大小相等的子矩形块，每个子矩形块称为tile，每个tile都可以独立解码进行播放。

SVC编码：即可伸缩视频编码，将视频编码为具有依赖关系的多个质量层级。

需要说明的是，本公开中的视觉影像传输的处理方法及其装置可用于金融科技领域在对视觉影像传输进行处理的情况下，也可用于除金融科技领域之外的任意领域在对视觉影像传输进行处理的情况下，本公开中对视觉影像传输的处理方法及其装置的应用领域不做限定。

需要说明的是，本公开所涉及的相关信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。例如，本系统和相关用户或机构间设置有接口，在获取相关信息之前，需要通过接口向前述的用户或机构发送获取请求，并在接收到前述的用户或机构反馈的同意信息后，获取相关信息。

本发明下述各实施例可应用于各种对视觉影像传输进行处理的系统/应用/设备中。本发明提供了一种可以根据网络状况增量提升用户关注区域的影像质量的方法，能够克服在网络传输能力不足的情况下，由于传输的视频分辨率较低导致用户观看体验较低的不足，提升了用户的观看体验。

下面结合各个实施例来详细说明本发明。

实施例一

根据本发明实施例，提供了一种视觉影像传输的处理方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图1是根据本发明实施例的一种可选的视觉影像传输的处理方法的流程图，如图1所示，该方法包括如下步骤：

步骤S101，接收影像信息文件以及关注信息文件，其中，影像信息文件至少包括：矩形块的存储路径、矩形块码率，关注信息文件至少包括：播放片段向量矩阵，矩形块是服务端对影像进行编码得到的。

步骤S102，确定当前吞吐率。

步骤S103，在当前吞吐率小于矩形块码率的情况下，基于播放片段向量矩阵，将小于预设阈值的向量值指示的矩形块进行降级处理，得到处理结果。

步骤S104，基于处理结果以及存储路径，下载播放片段的所有矩形块。

通过上述步骤，可以接收影像信息文件以及关注信息文件，确定当前吞吐率，在当前吞吐率小于矩形块码率的情况下，基于播放片段向量矩阵，将小于预设阈值的向量值指示的矩形块进行降级处理，得到处理结果，基于处理结果以及存储路径，下载播放片段的所有矩形块。在本发明实施例中，客户端可以先确定当前吞吐率，然后比较当前吞吐率与服务端发送的影像信息文件中的矩形块码率，如果当前吞吐率小于矩形块码率，则需要依据服务端发送的关注信息文件中的播放片段向量矩阵，对用户不关注区域(即小于预设阈值的向量值指示的矩形块)进行降级处理，之后依据处理结果以及影像信息文件中的矩形块的存储路径，下载播放片段的所有矩形块，以进行播放，能够根据网络状况控制用户关注区域的影像质量，提升了用户影像观看体验，进而解决了相关技术中无法根据网络状况，有效控制用户关注区域的影像质量的技术问题。

下面结合上述各步骤对本发明实施例进行详细说明。下述各步骤可应用于客户端。

本实施例可以基于客户端-服务端(C/S)模式，在客户端和服务端分别设计了两个系统，用于根据网络状况给客户端推送合适的视频，从而让用户获得较好的观看体验。

图2是根据本发明实施例的一种可选的视觉影像传输优化架构的示意图，如图2所示，视频服务器(即服务端)与客户端通过网络连接，服务端完成视频的编码(即服务端先对视频进行tile编码后，得到多个矩形块，然后将视频划分为多个时间等长的播放片段(seg₀，...，seg_n-1)，之后对播放片段中的每个矩形块进行SVC编码，将每个矩形块编码成L0、L1、L2等三层视频块Chunk)后，存储编码后的视频文件(即Video)以及相应的MPD文件(MPD文件用于说明DASH服务端流媒体视频切片的相关信息)，并存储视频关注区域文件。客户端的主要任务为对视频请求进行初始化，根据视频关注区域文件调整用户关注区域的质量，根据视频下载吞吐量变化调整下载视频文件的质量和视频播放质量，具体可通过网络接口接收服务端发送的MPD文件以及视频关注区域文件，通过带宽预测模块、关注区域选择模块、缓冲区的缓冲区状态控制自适应逻辑模块进行自适应调整，通过调整决策调用网络接口以下载相应的视频块Chunk至缓冲区，最后采用播放模块进行视频播放。

一种可选地实施例，在接收影像信息文件以及关注信息文件之前，还包括：服务端接收客户端发送的影像传输请求，其中，影像传输请求至少包括：待传输影像标识；服务端确定与待传输影像标识对应的目标影像；服务端对目标影像进行编码，得到已编码影像以及影像信息文件；服务端基于每个播放片段的所有矩形块，得到关注信息文件。

在本发明实施例中，服务端可以先接收客户端发送的影像传输请求(该影像传输请求包括待传输影像标识(即影像的唯一标识)，然后根据影像传输请求，确定与待传输影像标识对应的目标影像，之后对目标影像进行编码，以得到已编码影像以及相应的影像信息文件(即MPD文件，是在对影像进行编码过程中生成的用于记录影像信息的文件，例如，影像属性信息、影像存储路径等)，还可以依据播放片段的所有矩形块，以得到关注信息文件，关注信息文件包括每个播放片段对应的播放片段向量矩阵(即根据矩形块所包含的内容多少，确定该矩形块的关注值，关注值越高表示该矩形块所包含的内容越多，越值得被用户关注)。

可选地，服务端对目标影像进行编码的步骤，包括：服务端将目标影像中的每个影像帧划分为多个矩形块；服务端将目标影像划分为多个播放片段，其中，每个播放片段对应有多个矩形块；服务端将播放片段中的每个矩形块编码成多个影像块，其中，影像块的层次类型包括：基础层、增强层，基础层用于以最低的质量解码影像，增强层用于增强影像的质量。

在本发明实施例中，服务端可以先对目标影像进行编码，具体为：可以将视频帧(即影像帧)在空间上划分为多个大小相等的矩形块(tile)(即服务端将目标影像中的每个影像帧划分为多个矩形块)，并按照从左到右、从上到下的顺序给tile进行编号。在时间维度上，可以将视频划分为多个时间等长的播放片段(segment)(即服务端将目标影像划分为多个播放片段，并且每个播放片段对应有多个矩形块)。对于每个segment中的每个tile，在层次维度上编码成多个视频块(chunk)(即服务端将播放片段中的每个矩形块编码成多个影像块)，影像块(即视频块)的层次类型包括：基础层、增强层，该基础层用于以最低的质量解码影像，是任何影像所必需的，该增强层用于增强影像的质量，只有在基础层存在时才可以使用增强层。

在本实施例中，影像块chunk是客户端请求视频播放的最小单位。

在本实施例中，对二维平面视频，可以按经度划分为M个，维度划分为N个，这样总共有M×N个tile。图3是根据本发明实施例的一种可选的Tile编码结果的示意图，如图3所示，将某个二维平面视频被划分成了6×4个tile，并按照从左到右、从上到下的顺序进行编号，即tile_1到tile_24。

在本实施例中，在编码流中，存在一个强制性基础层(Base Layer，BL)和多个可选增强层(Enhancement Layer，EL)。图4是根据本发明实施例的一种可选的SVC编码结果的示意图，如图4所示，视频被编码成3层(即基础层BL0，增强层EL1，增强层EL2)。其中，BL是一个独立的单元，可以以最低的质量解码视频。EL用于增强视频的质量。视频层是高度相互依赖的。BL是解码任何视频所必需的。仅当相应的BL已经存在时才可以使用EL1。同样，仅在BL和EL1已经存在等情况下才能使用EL2。

可选地，服务端基于每个播放片段的所有矩形块，得到关注信息文件的步骤，包括：服务端将播放片段的所有矩形块输入至预设关注模型，得到每个矩形块的关注值；服务端基于所有关注值，生成播放片段向量矩阵，其中，播放片段向量矩阵中的每个向量值与关注值一一对应；服务端基于播放片段向量矩阵，生成关注信息文件。

在本发明实施例中，服务端可以生成关注信息文件(即视频关注区域文件)，具体为：可以对划分的每个segment的矩形块进行分析，如果该矩形块内容较多，要倾向于下载到最高层的视频块，可以将关注值设为最高(如2)；如果矩形块中内容较少或者在较多内容视频块附近，则可以下载到较低增强层的视频块，可以将关注值设为较高(如1)，用于防止视频质量下降过快；如果矩形块无内容，可以将关注值设为最低(如0)，如此，只需要下载基础层视频块(即服务端将播放片段的所有矩形块输入至预设关注模型，得到每个矩形块的关注值)。然后可以得到一个向量集合(即服务端基于所有关注值，生成播放片段向量矩阵，该播放片段向量矩阵中的每个向量值与关注值一一对应)，例如，播放片段向量矩阵为：

之后，可以根据播放片段向量矩阵，生成关注信息文件。

可选地，在服务端将播放片段的所有矩形块输入至预设关注模型之前，还包括：服务端获取多个标注矩形块数据，得到训练数据；服务端采用训练数据训练初始关注模型，并在训练完成的情况下，得到预设关注模型。

在本发明实施例中，预设关注模型用于识别矩形块所包含的内容，并输出相应的关注值。因此，本实施例可以采用训练数据训练预设关注模型，具体为：可以先获取多个标注矩形块数据(即预先标注信息的矩形块，该标注信息为关注值，关注值越高表明该矩形块所包含的内容越多)，以得到训练数据，然后采用训练数据训练初始关注模型，直到该模型收敛，得到最终的预设关注模型(即在训练完成的情况下，得到预设关注模型)。

步骤S101，接收影像信息文件以及关注信息文件，其中，影像信息文件至少包括：矩形块的存储路径、矩形块码率，关注信息文件至少包括：播放片段向量矩阵，矩形块是服务端对影像进行编码得到的。

在本发明实施例中，客户端可以先接收服务端发送的影像信息文件以及关注信息文件，该影像信息文件包括：矩形块的存储路径(即该矩形块的存储位置)以及矩形块码率(即下载该矩形块的速率)等信息，矩形块是服务端对影像进行编码得到的，该关注信息文件包括播放片段向量矩阵等信息(即该关注信息文件用于指示矩形块是否为用户关注区域的矩形块)。

可选地，在确定当前吞吐率之前，还包括：下载预设播放片段中的预设矩形块的基础层影像块以及增强层影像块；在当前下载时刻下的预设存储区长度大于等于矩形块缓冲区长度的情况下，下载预设播放片段中的剩余矩形块的基础层影像块以及增强层影像块，并更新当前吞吐率，其中，矩形块缓冲区长度为预设播放片段中的所有剩余矩形块的基础层缓冲区长度以及增强层缓冲区长度之和，剩余矩形块为预设播放片段中除了预设矩形块之外的矩形块；在当前下载时刻下的预设存储区长度小于矩形块缓冲区长度且大于等于所有剩余矩形块的基础层缓冲区长度的情况下，下载预设播放片段中的剩余矩形块的基础层影像块，并更新当前吞吐率。

在本发明实施例中，客户端需要进行初始化下载。为了预估下载带宽大小，客户端开始时需要下载位于最开始播放片段(即预设播放片段，是待播放影像的最开始片段)的前面tile(即预设矩形块，是播放片段的最前面矩形块)的基础层和增强层视频块(即下载预设播放片段中的预设矩形块的基础层影像块以及增强层影像块)，以使得该播放片段的在开始播放时以高质量视频进行播放。当初始化下载时刻(即当前下载时刻)下的缓冲区的长度(即预设存储区长度，用于存储客户端下载的影像块)大于等于矩形块缓冲区长度(该矩形块缓冲区长度为预设播放片段中的所有剩余矩形块的基础层缓冲区长度以及增强层缓冲区长度之和，剩余矩形块为预设播放片段中除了预设矩形块之外的矩形块)时，下载此时刻所有剩余tile的所有层次的视频块，放入缓冲区并更新平均吞吐量(即在当前下载时刻下的预设存储区长度大于等于矩形块缓冲区长度的情况下，下载预设播放片段中的剩余矩形块的基础层影像块以及增强层影像块，并更新当前吞吐率)。当初始化下载时刻下的缓冲区的长度小于矩形块缓冲区长度且大于等于所有剩余矩形块的基础层缓冲区长度时，下载此时刻所有剩余tile的基础层的视频块，放入缓冲区并更新平均吞吐量(即在当前下载时刻下的预设存储区长度小于矩形块缓冲区长度且大于等于所有剩余矩形块的基础层缓冲区长度的情况下，下载预设播放片段中的剩余矩形块的基础层影像块，并更新当前吞吐率)。

在本发明实施例中，对于缓冲区来说，基础层的缓冲区长度大于增强层的缓冲区长度，因为基础层是播放视频所必须的，而增强层是为了增强视频的质量。图5是根据本发明实施例的一种可选的缓冲区长度的示意图，如图5所示，基础层(BL0)缓冲区长度可以设为5，而增强层(即EL1和EL2)缓冲区长度可设为2。

步骤S102，确定当前吞吐率。

在本发明实施例中，可以根据下载的矩形块的文件大小与下载的时长，计算当前吞吐率。

步骤S103，在当前吞吐率小于矩形块码率的情况下，基于播放片段向量矩阵，将小于预设阈值的向量值指示的矩形块进行降级处理，得到处理结果。

在本发明实施例中，客户端可以自适应下载，具体为：客户端可以取出MPD文件里的信息(即影像信息文件中的矩形块码率信息)与当前计算的下载吞吐量(即当前吞吐率)进行比较，如果当前下载吞吐量小于视频的码率，则会将不重要的视频区域(即播放片段向量矩阵中向量值小于预设阈值的矩形块)进行降级下载(即降低增强层的层次或者只下载基础层)(即在当前吞吐率小于矩形块码率的情况下，基于播放片段向量矩阵，将小于预设阈值的向量值指示的矩形块进行降级处理，得到处理结果，该处理结果用于记录每个矩形块能够下载到的影像块的层次)，使得下载吞吐量不小于视频的码率。并且，在此期间，为了降低带宽预估值偏低的问题，每隔一段时间会尝试下载更高层次的视频块。

步骤S104，基于处理结果以及存储路径，下载播放片段的所有矩形块。

可选地，基于处理结果以及存储路径，下载播放片段的所有矩形块的步骤，包括：基于处理结果中的目标向量矩阵，确定每个矩形块的下载向量值；在下载向量值为第一预设值的情况下，依据存储路径，下载矩形块的基础层影像块；在下载向量值为第二预设值的情况下，依据存储路径，下载矩形块的基础层影像块以及增强层影像块。

在本发明实施例中，客户端可以根据处理结果以及影像信息文件中的矩形块的存储路径，下载播放片段的所有矩形块，具体为：根据处理结果中的目标向量矩阵(即经过处理后的每个矩形块的关注值构成的向量矩阵)，确定每个矩形块的下载向量值(即关注值，用于表示该矩形块能够下载到的影像块的层次)，如果下载向量值为第一预设值(即关注值较小，例如，0或者1)，则依据存储路径，下载矩形块的基础层影像块；如果下载向量值为第二预设值(即关注值较大，例如，2)，则依据存储路径，下载矩形块的基础层影像块以及增强层影像块。

可选地，在基于处理结果以及存储路径，下载播放片段的所有矩形块之后，还包括：在播放目标播放片段之前，检查目标播放片段的基础层影像块是否存在，得到第一检查结果；在第一检查结果指示存在目标播放片段的基础层影像块的情况下，检查目标播放片段的增强层影像块是否存在，得到第二检查结果；在第二检查结果指示存在目标播放片段的增强层影像块的情况下，解码目标播放片段中的每个矩形块，并在解码完成的情况下，播放目标播放片段。

在本发明实施例中，客户端可以自适应播放，具体为：对于已经下载的视频块，当快播放到第t个segment(即目标播放片段)时，会检查第t个segment的基础层视频块是否存在(即在播放目标播放片段之前，检查目标播放片段的基础层影像块是否存在，得到第一检查结果)，如果存在，会继续检查L1的增强层是否存在，如果也存在的话会继续检查L2的增强层是否存在(如果L1增强层不存在则不会再向上进行检查)，之后会对每个tile进行解析播放(即在第一检查结果指示存在目标播放片段的基础层影像块的情况下，检查目标播放片段的增强层影像块是否存在，得到第二检查结果，在第二检查结果指示存在目标播放片段的增强层影像块的情况下，解码目标播放片段中的每个矩形块，并在解码完成的情况下，播放目标播放片段)。

可选地，在检查目标播放片段的基础层影像块是否存在，得到第一检查结果之后，还包括：在第一检查结果指示不存在目标播放片段的基础层影像块的情况下，暂停播放目标播放片段；下载目标播放片段的基础层影像块。

在本发明实施例中，如果第t个segment的基础层视频块不存在，则会播放暂停(即在第一检查结果指示不存在目标播放片段的基础层影像块的情况下，暂停播放目标播放片段)，同时向客户端自适应下载模块请求下载该区域的基础层视频块，下载完后则可以继续播放(即下载目标播放片段的基础层影像块)。

本发明实施例中，通过使用SVC编码和分块编码技术，将整个视频分为多个视频区域进行传输，并将每个区域的视频又划分为多个层次，这样可以在网络传输能力不足的情况下根据网络状况控制用户关注区域的视频质量，从而提升了用户视频观看体验。

下面结合另一实施例进行详细说明。

实施例二

本实施例中提供的一种视觉影像传输的处理装置包含了多个实施单元，每个实施单元对应于上述实施例一中的各个实施步骤。

图6是根据本发明实施例的一种可选的视觉影像传输的处理装置的示意图，如图6所示，该处理装置可以包括：接收单元60，确定单元61，处理单元62，下载单元63，其中，

接收单元60，用于接收影像信息文件以及关注信息文件，其中，影像信息文件至少包括：矩形块的存储路径、矩形块码率，关注信息文件至少包括：播放片段向量矩阵，矩形块是服务端对影像进行编码得到的；

确定单元61，用于确定当前吞吐率；

处理单元62，用于在当前吞吐率小于矩形块码率的情况下，基于播放片段向量矩阵，将小于预设阈值的向量值指示的矩形块进行降级处理，得到处理结果；

下载单元63，用于基于处理结果以及存储路径，下载播放片段的所有矩形块。

上述处理装置，可以通过接收单元60接收影像信息文件以及关注信息文件，通过确定单元61确定当前吞吐率，通过处理单元62在当前吞吐率小于矩形块码率的情况下，基于播放片段向量矩阵，将小于预设阈值的向量值指示的矩形块进行降级处理，得到处理结果，通过下载单元63基于处理结果以及存储路径，下载播放片段的所有矩形块。在本发明实施例中，客户端可以先确定当前吞吐率，然后比较当前吞吐率与服务端发送的影像信息文件中的矩形块码率，如果当前吞吐率小于矩形块码率，则需要依据服务端发送的关注信息文件中的播放片段向量矩阵，对用户不关注区域(即小于预设阈值的向量值指示的矩形块)进行降级处理，之后依据处理结果以及影像信息文件中的矩形块的存储路径，下载播放片段的所有矩形块，以进行播放，能够根据网络状况控制用户关注区域的影像质量，提升了用户影像观看体验，进而解决了相关技术中无法根据网络状况，有效控制用户关注区域的影像质量的技术问题。

可选地，处理装置还包括：第一接收模块，用于在接收影像信息文件以及关注信息文件之前，服务端接收客户端发送的影像传输请求，其中，影像传输请求至少包括：待传输影像标识；第一确定模块，用于服务端确定与待传输影像标识对应的目标影像；第一编码模块，用于服务端对目标影像进行编码，得到已编码影像以及影像信息文件；第一输出模块，用于服务端基于每个播放片段的所有矩形块，得到关注信息文件。

可选地，第一确定模块包括：第一划分子模块，用于控制服务端将目标影像中的每个影像帧划分为多个矩形块；第二划分子模块，用于控制服务端将目标影像划分为多个播放片段，其中，每个播放片段对应有多个矩形块；第一编码子模块，用于控制服务端将播放片段中的每个矩形块编码成多个影像块，其中，影像块的层次类型包括：基础层、增强层，基础层用于以最低的质量解码影像，增强层用于增强影像的质量。

可选地，第一输出模块包括：第一输入子模块，用于控制服务端将播放片段的所有矩形块输入至预设关注模型，得到每个矩形块的关注值；第一生成子模块，用于控制服务端基于所有关注值，生成播放片段向量矩阵，其中，播放片段向量矩阵中的每个向量值与关注值一一对应；第二生成子模块，用于控制服务端基于播放片段向量矩阵，生成关注信息文件。

可选地，处理装置还包括：第一获取模块，用于在服务端将播放片段的所有矩形块输入至预设关注模型之前，控制服务端获取多个标注矩形块数据，得到训练数据；第一训练模块，用于控制服务端采用训练数据训练初始关注模型，并在训练完成的情况下，得到预设关注模型。

可选地，处理装置还包括：第一下载模块，用于在确定当前吞吐率之前，下载预设播放片段中的预设矩形块的基础层影像块以及增强层影像块；第二下载模块，用于在当前下载时刻下的预设存储区长度大于等于矩形块缓冲区长度的情况下，下载预设播放片段中的剩余矩形块的基础层影像块以及增强层影像块，并更新当前吞吐率，其中，矩形块缓冲区长度为预设播放片段中的所有剩余矩形块的基础层缓冲区长度以及增强层缓冲区长度之和，剩余矩形块为预设播放片段中除了预设矩形块之外的矩形块；第三下载模块，用于在当前下载时刻下的预设存储区长度小于矩形块缓冲区长度且大于等于所有剩余矩形块的基础层缓冲区长度的情况下，下载预设播放片段中的剩余矩形块的基础层影像块，并更新当前吞吐率。

可选地，下载单元包括：第二确定模块，用于基于处理结果中的目标向量矩阵，确定每个矩形块的下载向量值；第四下载模块，用于在下载向量值为第一预设值的情况下，依据存储路径，下载矩形块的基础层影像块；第五下载模块，用于在下载向量值为第二预设值的情况下，依据存储路径，下载矩形块的基础层影像块以及增强层影像块。

可选地，处理装置还包括：第一检查模块，用于在基于处理结果以及存储路径，下载播放片段的所有矩形块之后，在播放目标播放片段之前，检查目标播放片段的基础层影像块是否存在，得到第一检查结果；第二检查模块，用于在第一检查结果指示存在目标播放片段的基础层影像块的情况下，检查目标播放片段的增强层影像块是否存在，得到第二检查结果；第一解码模块，用于在第二检查结果指示存在目标播放片段的增强层影像块的情况下，解码目标播放片段中的每个矩形块，并在解码完成的情况下，播放目标播放片段。

可选地，处理装置还包括：第一暂停模块，用于在检查目标播放片段的基础层影像块是否存在，得到第一检查结果之后，在第一检查结果指示不存在目标播放片段的基础层影像块的情况下，暂停播放目标播放片段；第六下载模块，用于下载目标播放片段的基础层影像块。

上述的处理装置还可以包括处理器和存储器，上述接收单元60，确定单元61，处理单元62，下载单元63等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。

上述处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来基于处理结果以及存储路径，下载播放片段的所有矩形块。

上述存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。

本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：接收影像信息文件以及关注信息文件，确定当前吞吐率，在当前吞吐率小于矩形块码率的情况下，基于播放片段向量矩阵，将小于预设阈值的向量值指示的矩形块进行降级处理，得到处理结果，基于处理结果以及存储路径，下载播放片段的所有矩形块。

根据本发明实施例的另一方面，还提供了一种计算机可读存储介质，计算机可读存储介质包括存储的计算机程序，其中，在计算机程序运行时控制计算机可读存储介质所在设备执行上述的视觉影像传输的处理方法。

根据本发明实施例的另一方面，还提供了一种电子设备，包括一个或多个处理器和存储器，存储器用于存储一个或多个程序，其中，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现上述的视觉影像传输的处理方法。

图7是根据本发明实施例的一种用于视觉影像传输的处理方法的电子设备(或移动设备)的硬件结构框图。如图7所示，电子设备可以包括一个或多个(图7中采用702a、702b，……，702n来示出)处理器702(处理器702可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器704。除此以外，还可以包括：显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为I/O接口的端口中的一个端口被包括)、网络接口、键盘、电源和/或相机。本领域普通技术人员可以理解，图7所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，电子设备还可包括比图7中所示更多或者更少的组件，或者具有与图7所示不同的配置。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (12)

1.一种视觉影像传输的处理方法，其特征在于，应用于客户端，包括：

接收影像信息文件以及关注信息文件，其中，所述影像信息文件至少包括：矩形块的存储路径、矩形块码率，所述关注信息文件至少包括：播放片段向量矩阵，所述矩形块是服务端对影像进行编码得到的；

确定当前吞吐率；

在所述当前吞吐率小于所述矩形块码率的情况下，基于所述播放片段向量矩阵，将小于预设阈值的向量值指示的矩形块进行降级处理，得到处理结果；

基于所述处理结果以及所述存储路径，下载播放片段的所有矩形块。

2.根据权利要求1所述的处理方法，其特征在于，在接收影像信息文件以及关注信息文件之前，还包括：

所述服务端接收所述客户端发送的影像传输请求，其中，所述影像传输请求至少包括：待传输影像标识；

所述服务端确定与所述待传输影像标识对应的目标影像；

所述服务端对所述目标影像进行编码，得到已编码影像以及所述影像信息文件；

所述服务端基于每个所述播放片段的所有矩形块，得到所述关注信息文件。

3.根据权利要求2所述的处理方法，其特征在于，所述服务端对所述目标影像进行编码的步骤，包括：

所述服务端将所述目标影像中的每个影像帧划分为多个所述矩形块；

所述服务端将所述目标影像划分为多个所述播放片段，其中，每个所述播放片段对应有多个所述矩形块；

所述服务端将所述播放片段中的每个所述矩形块编码成多个影像块，其中，所述影像块的层次类型包括：基础层、增强层，所述基础层用于以最低的质量解码影像，所述增强层用于增强影像的质量。

4.根据权利要求2所述的处理方法，其特征在于，所述服务端基于每个所述播放片段的所有矩形块，得到所述关注信息文件的步骤，包括：

所述服务端将所述播放片段的所有所述矩形块输入至预设关注模型，得到每个所述矩形块的关注值；

所述服务端基于所有关注值，生成所述播放片段向量矩阵，其中，所述播放片段向量矩阵中的每个所述向量值与所述关注值一一对应；

所述服务端基于所述播放片段向量矩阵，生成所述关注信息文件。

5.根据权利要求4所述的处理方法，其特征在于，在所述服务端将所述播放片段的所有所述矩形块输入至预设关注模型之前，还包括：

所述服务端获取多个标注矩形块数据，得到训练数据；

所述服务端采用所述训练数据训练初始关注模型，并在训练完成的情况下，得到所述预设关注模型。

6.根据权利要求1所述的处理方法，其特征在于，在确定当前吞吐率之前，还包括：

下载预设播放片段中的预设矩形块的基础层影像块以及增强层影像块；

在当前下载时刻下的预设存储区长度大于等于矩形块缓冲区长度的情况下，下载所述预设播放片段中的剩余矩形块的所述基础层影像块以及所述增强层影像块，并更新当前吞吐率，其中，所述矩形块缓冲区长度为所述预设播放片段中的所有所述剩余矩形块的基础层缓冲区长度以及增强层缓冲区长度之和，所述剩余矩形块为所述预设播放片段中除了所述预设矩形块之外的矩形块；

在当前下载时刻下的所述预设存储区长度小于矩形块缓冲区长度且大于等于所有所述剩余矩形块的基础层缓冲区长度的情况下，下载所述预设播放片段中的所述剩余矩形块的所述基础层影像块，并更新当前吞吐率。

7.根据权利要求1所述的处理方法，其特征在于，基于所述处理结果以及所述存储路径，下载播放片段的所有矩形块的步骤，包括：

基于所述处理结果中的目标向量矩阵，确定每个所述矩形块的下载向量值；

在所述下载向量值为第一预设值的情况下，依据所述存储路径，下载所述矩形块的基础层影像块；

在所述下载向量值为第二预设值的情况下，依据所述存储路径，下载所述矩形块的基础层影像块以及增强层影像块。

8.根据权利要求1所述的处理方法，其特征在于，在基于所述处理结果以及所述存储路径，下载播放片段的所有矩形块之后，还包括：

在播放目标播放片段之前，检查所述目标播放片段的基础层影像块是否存在，得到第一检查结果；

在所述第一检查结果指示存在所述目标播放片段的所述基础层影像块的情况下，检查所述目标播放片段的增强层影像块是否存在，得到第二检查结果；

在所述第二检查结果指示存在所述目标播放片段的所述增强层影像块的情况下，解码所述目标播放片段中的每个所述矩形块，并在解码完成的情况下，播放所述目标播放片段。

9.根据权利要求8所述的处理方法，其特征在于，在检查所述目标播放片段的基础层影像块是否存在，得到第一检查结果之后，还包括：

在所述第一检查结果指示不存在所述目标播放片段的所述基础层影像块的情况下，暂停播放所述目标播放片段；

下载所述目标播放片段的所述基础层影像块。

10.一种视觉影像传输的处理装置，其特征在于，应用于客户端，包括：

接收单元，用于接收影像信息文件以及关注信息文件，其中，所述影像信息文件至少包括：矩形块的存储路径、矩形块码率，所述关注信息文件至少包括：播放片段向量矩阵，所述矩形块是服务端对影像进行编码得到的；

确定单元，用于确定当前吞吐率；

处理单元，用于在所述当前吞吐率小于所述矩形块码率的情况下，基于所述播放片段向量矩阵，将小于预设阈值的向量值指示的矩形块进行降级处理，得到处理结果；

下载单元，用于基于所述处理结果以及所述存储路径，下载播放片段的所有矩形块。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行权利要求1至9中任意一项所述的视觉影像传输的处理方法。

12.一种电子设备，其特征在于，包括一个或多个处理器和存储器，所述存储器用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现权利要求1至9中任意一项所述的视觉影像传输的处理方法。