CN110366048B - 视频传输方法、装置、电子设备和计算机可读存储介质 - Google Patents

Abstract

本申请涉及一种视频传输方法、装置、电子设备和计算机可读存储介质。上述方法包括：获取视频传输时的网络速率，当网络速率低于第一阈值时，对视频中的目标图像进行主体检测，得到目标图像的主体区域，对目标图像的主体区域进行编码处理，并将编码处理得到的图像数据进行传输。由于可以在网络速率较低的情况下，对视频中的图像进行主体检测，将得到的主体区域编码传输，可以在网络质量较差时提高视频传输的流畅性。

Description

视频传输方法、装置、电子设备和计算机可读存储介质

技术领域

本申请涉及影像技术领域，特别是涉及一种视频传输方法、装置、电子设备和计算机可读存储介质。

背景技术

随着影像技术的发展，视频传输技术在日常生活中的应用越来越广泛。例如，人们可以利用视频传输技术进行视频通话、直播分享、观看视频等。然而，由网络的不稳定性，在网络质量情况下，会出现视频传输较慢，从而导致画面卡顿、视频中断等情况，存在视频传输的流畅性较差的问题。

发明内容

本申请实施例提供一种视频传输方法、装置、电子设备和计算机可读存储介质，可以提高视频传输的流畅性。

一种视频传输方法，包括：

获取视频传输时的网络速率；

当所述网络速率低于第一阈值时，对所述视频中的目标图像进行主体检测，得到所述目标图像的主体区域；

对所述目标图像的主体区域进行编码处理，并将编码处理得到的图像数据进行传输。

一种视频传输装置，包括：

速率获取模块，用于获取视频传输时的网络速率；

主体检测模块，用于当所述网络速率低于第一阈值时，对所述视频中的目标图像进行主体检测，得到所述目标图像的主体区域；

编码传输模块，用于对所述目标图像的主体区域进行编码处理，并将编码处理得到的图像数据进行传输。

一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：

获取视频传输时的网络速率；

当所述网络速率低于第一阈值时，对所述视频中的目标图像进行主体检测，得到所述目标图像的主体区域；

对所述目标图像的主体区域进行编码处理，并将编码处理得到的图像数据进行传输。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如下步骤：

获取视频传输时的网络速率；

当所述网络速率低于第一阈值时，对所述视频中的目标图像进行主体检测，得到所述目标图像的主体区域；

对所述目标图像的主体区域进行编码处理，并将编码处理得到的图像数据进行传输。

上述视频传输方法、装置、电子设备和计算机可读存储介质，通过获取视频传输时的网络速率，当网络速率低于第一阈值时，对视频中的目标图像进行主体检测，得到目标图像的主体区域，对目标图像的主体区域进行编码处理，并将编码处理得到的图像数据进行传输。由于可以在网络速率较低的情况下，对视频中的图像进行主体检测，将得到的主体区域编码传输，可以在网络质量较差时提高视频传输的流畅性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中电子设备的内部结构示意图；

图2为一个实施例中视频传输方法的流程图；

图3为另一个实施例中视频传输方法的流程图；

图4为一个实施例中选取目标图像的流程图；

图5为一个实施例中对目标图像进行主体检测的流程图；

图6为一个实施例中图像处理效果示意图；

图7为一个实施例的视频传输装置的结构框图；

图8为一个实施例中图像处理电路的示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件和各种参数，但这些元件和参数不受这些术语限制。这些术语仅用于将第一个元件与另一个元件、或者第一个参数和另一个参数区分。举例来说，在不脱离本申请的范围的情况下，可以将第一阈值称为第二阈值，且类似地，可将第二阈值称为第一阈值。第一阈值和第二阈值两者都是阈值，但其不是同一阈值。

图1为一个实施例中电子设备的内部结构示意图。如图1所示，该电子设备包括通过系统总线连接的处理器和存储器。其中，该处理器用于提供计算和控制能力，支撑整个电子设备的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种视频传输方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。该电子设备可以是手机、平板电脑或者个人数字助理或穿戴式设备等。在一些实施例中，该电子设备也可以是服务器。其中，服务器可以是独立的服务器，也可以是由多个服务器组成的服务器集群来实现。

图2为一个实施例中视频传输方法的流程图。本实施例中的视频传输方法，以运行于图1中的电子设备上为例进行描述。如图2所示，视频传输方法包括步骤202至步骤206。

步骤202，获取视频传输时的网络速率。

视频是指由多帧图像组成的图像序列。可选地，视频可以是电子设备通过摄像头实时录制的视频，也可以是存储于电子设备的视频，还可以是电子设备捕捉显示屏的展示信息所形成的视频。视频可以通过网络进行传输。例如，在视频通话时，电子设备可以通过摄像头采集周围环境的信息，并通过网络实时传输给其他设备；在进行网络直播时，电子设备可以将摄像头录制的视频或者捕捉显示屏的展示信息所形成的视频通过网络发送给服务器，由服务器下发给其他设备。

视频传输时的网络速率受网络质量的影响。网络质量越差，则视频传输时的网络速率越小，网络质量越高，则视频传输时的网络速率越大。在视频传输过程中，若发送设备和接收设备中的至少一个的网络质量较差时，会导致视频传输较慢、从而引起展示画面卡顿、视频中断、解码错误等情况。

步骤204，当网络速率低于第一阈值时，对视频中的目标图像进行主体检测，得到目标图像的主体区域。

第一阈值可以根据实际应用需求设定，在此不做限定。通常，采用小于第一阈值的网络速率进行视频传输时，会出现展示画面卡顿等情况。可选地，第一阈值可以根据理想状态下电子设备所能提供的网络速率来确定。例如，第一阈值可以是理想状态下电子设备所能提供的网络速率的10％、15％、20％等，在此不做限定。

当网络速率低于第一阈值时，电子设备对视频中的目标图像进行主体检测，得到目标图像的主体区域。具体地，电子设备可以通过深度学习的神经网络算法训练主体检测模型，以对目标图像进行主体检测。通过将标识有主体区域和类别的图像的输入至神经网络中，通过神经网络根据检测的预测区域和预测类别对神经网络的参数进行调整，以获得可以准确识别主体区域的主体检测模型。电子设备可以将目标图像输入至主体检测模型，通过主体检测模型对该目标图像进行主体检测，并根据识别的主体对目标图像进行分割，得到主体所在的主体区域。可选地，在一些实施例中，电子设备也可以获取用户选中的主体区域。

主体区域是目标图像中包含主体对应的像素点的最小区域。具体地，当主体检测模型采用矩形框输出主体区域时，主体区域包含的像素点与主体对应的像素点关联度高于该目标图像中其他矩形区域包含的像素点与主体对应的像素点的关联度；当主体检测模型采用主体轮廓的方式输出主体区域，则主体区域的边缘像素点即为主体的轮廓的边缘像素点，此时主体区域包含的像素点与主体对应的像素点的关联度最高。

步骤206，对目标图像的主体区域进行编码处理，并将编码处理得到的图像数据进行传输。

电子设备对目标图像的主体区域进行编码处理，并将编码处理得到的图像数据进行传输。具体地，电子设备可以采用初始编码模式对主体区域进行编码处理。其中，初始编码模式为电子设备默认的编码模式，即在网络速率满足视频传输需求时，电子设备对视频所采用的编码模式。通常，采用初始编码模式对视频进行编码时，传输后解码得到的视频的清晰度与编码前视频的清晰度相同或相似。可选地，电子设备也可以根据网络速率对初始编码模式包含的参数进行调整，以适当减少视频编码后的数据量，确保视频的传输质量。

电子设备在对目标图像的主体区域进行编码处理，则可以不对除主体区域之外的其他区域进行处理。例如，在视频通话时，目标图像中的主体区域为人像对应的区域，电子设备可以只对该人像所在的主体区域进行编码处理，并将编码处理得到的图像数据进行传输，而不对人像的背景进行编码处理，可以极大的减少视频传输的数据量，并优化视频传输的处理效果。在一个实施例中，电子设备可以每相隔预设帧数的目标图像，则对目标图像除主体区域之外的其他区域进行编码处理，从而可以对除主体区域之外的其他区域进行更新。

在网络速率较低的情况下，视频传输的流畅性低，会出现展示画面卡顿、视频中断、解码错误等情况，本申请提供的实施例中，通过获取视频传输时的网络速率，当网络速率低于第一阈值时，对视频中的目标图像进行主体检测，得到目标图像的主体区域，对目标图像的主体区域进行编码处理，并将编码处理得到的图像数据进行传输，可以在减少视频编码后的数据量的同时优化视频传输的处理效果，提高视频传输的流畅性，并降低了电子设备和视频接收设备的负载。

在一个实施例中，提供的视频传输方法还包括：依次获取视频中目标图像之后的每一帧图像；将获取的每一帧图像中与主体区域对应的区域进行编码处理，并将编码处理后得到的图像数据进行传输。

视频编码处理时，通常将视频中的图像划分为关键帧图像和中间帧图像等。在该实施例中，目标图像为关键帧图像。在其他实施例中，目标图像可以是关键帧图像，也可以是中间帧图像等，在此不做限定。电子设备可以在对目标图像进行编码处理之后，依次获取视频中目标图像之后的每一帧图像，将获取的每一帧图像中与主体区域对应的区域进行编码处理，并将编码处理后得到的图像进行传输。具体地，电子设备可以基于目标图像编码处理得到图像数据，对目标图像之后的每一帧图像中与主体区域对应的区域进行编码处理。电子设备对目标图像之后的图像进行编码处理的区域与目标图像的主体区域相对应，可以保证中间帧图像编码处理的准确性。

如图3所示，在一个实施例中，提供的视频传输方法包括：

步骤302，获取视频传输时的网络速率。

步骤304，当网络速率低于第一阈值时，对视频中的目标图像进行主体检测，得到目标图像的主体区域。

步骤306，对主体区域进行膨胀处理，得到膨胀处理后的主体区域。

膨胀(padding)处理是指对图像中的部分区域进行边界填充的操作。具体地，电子设备可以采用padding算法对主体区域进行膨胀处理，得到膨胀处理后的主体区域。膨胀处理后的主体区域包含了主体检测得到的主体区域及边界填充的区域。

可选地，在一些实施例中，电子设备对主体区域膨胀处理，也可以是将主体区域增大预设尺寸。预设尺寸可以根据实际应用需求设定，在此不做限定。预设尺寸包括不同方向的尺寸大小。例如，当主体区域为圆形，预设尺寸可以是要增大的半径大小；当主体区域为四方形时，预设尺寸可以包括四个边长要增长的大小。

步骤308，对膨胀处理的主体区域进行编码处理，并将编码处理得到的图像数据进行传输。

电子设备可以对膨胀处理后的主体区域进行编码处理，并将编码处理后得到的图像数据进行传输。

步骤310，依次获取视频中目标图像之后的每一帧图像。

步骤312，对获取的每一帧图像的目标区域进行编码处理，并将编码处理后得到的图像数据进行传输，其中，目标区域是与膨胀处理后的主体区域位置相对应的区域。

目标图像是获取的图像中与膨胀处理后的主体区域位置相对应的区域。具体地，电子设备可以获取膨胀处理后的主体区域在目标图像中的位置坐标，根据该位置坐标从获取的图像获取对应的目标区域；电子设备也可以将目标图像中膨胀处理后的主体区域映射到目标图像之后的每一帧图像，以得到每一帧图像对应的目标区域。

电子设备对目标图像中膨胀处理后的主体区域进行编码处理并传输之后，获取目标图像之后的每一帧图像，对获取的每一帧图像的目标区域进行编码处理，并将编码处理得到的图像数据进行传输，可以避免主体移动时，对中间帧图像与主体区域对应的区域进行编码造成的冗余数据量较大的问题，可以在保证主体区域清晰度的同时，提高视频的稳定性。

在一个实施例中，提供的视频传输方法还包括：当网络速率大于或等于第一阈值，且低于第二阈值时，获取目标图像中除主体区域之外的背景区域；采用第一编码模式对主体区域进行编码处理，及采用第二编码模式对背景区域进行编码处理，并将编码处理得到的图像数据进行传输；其中，第二编码模式的数据量小于第一编码模式的数据量，第一阈值小于第二阈值。

背景区域是目标图像中除主体区域之外的区域。电子设备可以获取目标图像中除主体区域之外的背景区域。第二编码模式的数据量小于第一编码模式的数据量，是指在其他条件相同的情况下，采用第二编码模式对图像进行编码处理得到的图像数据的数据量小于采用第一编码模式对该图像进行编码处理得到的图像数据的数据量。具体地，编码模式的数据量大小主要受到对图像的压缩比率的影响，压缩比率越大，则编码模式的数据量越小；可选地，第一编码模式对应的压缩比率可以小于第二编码模式的压缩比率。

第二阈值大于第一阈值，第二阈值可以根据实际需求设定，在此不做限定。具体地，当网络速率大于或等于第二阈值时，则电子设备采用初始编码模式对目标图像进行编码处理，并将编码处理得到的图像数据进行传输；当网络速率大于或等于第一阈值，且低于第二阈值时，则电子设备采用第一编码模式对主体区域进行编码处理，采用数据量小于第一编码模式的第二编码模式对背景区域进行编码处理，并将编码处理得到的图像数据进行传输；当网络速率小于第一阈值时，则电子设备只对主体区域进行编码处理，并将编码处理得到的图像进行传输。即可以针对不同的网络速率，采用不同的视频编码方式进行编码处理，可以保证在不同的网络质量下视频传输的流畅性，同时提高视频传输的处理效果更好。

其中，第二编码模式的数据量小于第一编码模式和初始编码模式的数据量；第一编码模式和初始编码模式的关系在此不做限定。通常，采用第一编码模式和初始编码模式进行编码处理，都可以保证解码后的图像清晰度与编码之前的图像清晰度相同或相近。

在一个实施例中，第一编码模式对应于第一步长，第二编码模式对应于第二步长，第一步长小于第二步长；该视频传输方法中采用第一编码模式对主体区域进行编码处理，及采用第二编码模式对背景区域进行编码处理的过程包括：采用第一步长对主体区域进行量化处理，及采用第二步长对背景区域进行量化处理。

具体地，对视频中的图像进行编码处理的过程包括预测编码、DCT(DCT forDiscrete Cosine Transform，离散余弦变换)变换、ZIGZAG扫描、量化等步骤。电子设备通过设置编码处理过程中的至少一个参数，可以区分第一编码模式和第二编码模式。

量化处理是将信号的连续取值(或者大量可能的离散取值)近似为有限多个(或较小)的离散值的过程。量化处理可以去除图像的空间冗余信息、时间冗余信息中的至少一种。例如，当一维数组为[31，22，18，7，5，3，1，0.5]，将5作为量化步长的话，量化处理后结果是[6,4,4,1,1,1,0,0]，若将3作为量化步长的话，量化处理后结果是[10,7,6,2,2,1,0,0]。量化步长越小，编码损失越少，压缩率越小，编码处理后的数据量越大；反之，量化步长越大，编码损失和压缩率也越大，编码处理后的数据量越小。

第一步长小于第二步长。第一步长和第二步长的具体数值可以根据实际应用需求设定，在此不做限定。电子设备可以采用较小的第一步长对主体区域进行量化处理，从而减小主体区域的编码损失；采用较大的第二步长对背景区域进行量化处理，可以减少背景区域的数据量。由于图像的背景区域通常为相似度较高的、不被关注的区域，因此区分背景区域和主体区域采用不同的量化步长进行量化处理，可以在保证主体区域的编码效果的同时降低编码处理后的数据量。

在一个实施例中，第一编码模式对应于第一代价参数，第二编码模式对应于第二代价参数；第一代价参数满足包含的失真权重值大于第二代价参数包含的失真权重值，和包含的码率权重值小于第二代价参数包含的码率权重值中的至少一种。

代价参数包括失真权重值和码率权重值。代价参数是编码过程中对图像进行预测编码的参数。失真权重值越高，则编码时保留的图像细节越多；码率权重值越高，则编码时的压缩率越高，数据量越小。第一代价参数满足包含的失真权重值大于第二代价参数包含的失真权重值，和包含的码率权重值小于第二代价参数包含的码率权重值中的至少一种。

电子设备可以根据第一代价参数对主体区域进行预测编码处理，根据第二代价参数对背景区域进行预测编码处理。具体地，电子设备根据第一代价参数对主体区域进行预测编码处理的过程，包括：将主体区域划分为像素块，并采用多种编码模式对像素块进行编码处理，得到像素块在每一种编码模式下的对应的编码数据；根据第一代价参数及像素块在每一种编码模式下对应的编码数据，得到像素块在每一种编码模式下对应的编码代价；将编码代价最小的编码模式对应的编码数据作为该像素块对应的目标编码数据。

其中，以采用RDO算法(Rate Distortion Optimation，率失真优化)为例对各个模式的编码代价进行描述，编码模式对应的编码代价的计算公式为J(mode)＝A*SSD+B*R。其中，J(mode)即为该编码模式下的编码代价；SSD为重建块与源图像的差值均方和，可以理解为失真率；A为失真权重值；R为该编码模式下像素块的码率；B为码率权重值。其中，当图像为视频流中的中间帧图像时，则像素块可以采用帧内预测和帧间预测的编码方式，码率R可以为对关键帧、模式、运动矢量、残差等的比特总和；当图像为视频流中的关键帧图像时，则像素块采用帧内预测的编码方式，码率R可以为模式和残差等的比特总和。

电子设备根据第二代价参数对背景区域进行预测编码的过程与根据第一代价参数对主体区域进行预测编码的过程类似，在此不再赘述。

在一个实施例中，采用第一编码模式对主体区域进行编码处理，及采用第二编码模式对背景区域进行编码处理，并将编码处理得到的图像数据进行传输之后，还包括：依次获取视频中目标图像之后的每一帧图像，将获取的每一帧图像中与主体区域对应的区域采用第一编码模式进行编码处理，对与背景区域对应的区域采用第二编码模式进行编码处理，并将编码处理得到的图像数据进行传输。

由于将图像划分为主体区域和背景区域，对主体区域采用较高的失真权重值和/或较低的码率权重值进行编码处理，对背景区域采用较低的失真权重值和/或较高的码率权重值进行编码处理，可以偏向性地保留主体区域的图像细节，在降低数据量、提高视频传输流畅性的同时提高视频的处理效果。

如图4所示，在一个实施例中，提供的视频传输方法还包括：

步骤402，依次获取视频中目标图像之后的每一帧图像。

在该实施例中，目标图像是视频编码时所采用的关键帧图像。通常，关键帧图像的选取是采用固定间隔提取的方式从视频中获取的，即每相隔固定帧数获取一帧图像作为关键帧图像；或者在视频中图像的画面变化较大时则重新选取一帧图像作为关键帧图像。

电子设备对作为关键帧图像的目标图像进行编码处理之后，可以依次获取视频中目标图像之后的每一帧图像。

步骤404，对获取的每一帧图像进行主体检测。

电子设备可以对获取的每一帧图像进行主体检测，得到每一帧图像的主体区域。

步骤406，若获取的当前帧图像的主体区域与目标图像的主体区域不匹配时，将当前帧图像作为目标图像。

具体地，电子设备可以将获取的当前帧图像的主体区域与目标图像的主体区域进行比对，若当前帧图像的主体区域与目标图像的主体区域不匹配时，则将当前帧图像作为新的目标图像。具体地，电子设备将当前帧图像的主体区域与目标图像的主体区域进行比对，可以得到当前帧图像的主体区域与目标图像的主体区域的匹配度，通过将该匹配度与预设的匹配度进行比对，则可以确定当前帧图像的主体区域与目标图像的主体区域是否相匹配。其中，比对的属性包括主体区域的数量、主体区域的大小，可选地，还可以包括主体区域在图像中的位置等，在此不做限定。

在一个实施例中，执行步骤406之前还包括：获取目标图像的主体区域的面积与当前帧图像的主体区域的面积的比值；当比值在预设区间内时，则确定当前帧图像的主体区域与目标图像的主体区域不匹配。

比值在预设区间内，则说明用于比对的两个数值相差较大。具体的预设区间可以根据实际应用需求设定，在此不做限定。例如，预设区间可以是大于1.2且小于0.5，也可以是大于1.3小于0.6，还可以是大于1.4小于0.7等，在此不做限定。电子设备可以在获得目标图像的主体区域时，记录目标图像的主体区域的面积；从而对当前帧图像进行主体检测之后，则可以计算目标图像的主体区域的面积与当前帧图像的主体区域的面积的比值，当比值在预设区间内时，则确定当前帧图像的主体区域与目标图像的主体区域不匹配，将当前帧图像作为目标图像。

可选地，电子设备还可以对主体区域进行膨胀处理，若获取的当前帧图像的主体区域与膨胀处理后的主体区域不匹配，则将当前帧图像作为目标图像。即电子设备可以获取目标图像中膨胀处理后的主体区域的面积与当前图像的主体区域的面积的比值，当比值在预设区域间内时，则确定当前帧图像的主体区域与膨胀处理后的主体区域不匹配。

可选地，电子设备可以结合固定帧和主体识别两种方式进行关键帧图像的选取。具体地，电子设备可以在连续的预设帧数的图像的主体区域均匹配时，则将下一帧图像作为目标图像；而当连续的预设帧数的图像中存在主体区域与目标图像的主体区域不匹配时，则将连续的预设帧数的图像中第一帧不匹配的图像作为目标图像，并重新获取连续的预设帧数的图像以确定下一目标图像。

电子设备将主体区域与目标图像的主体区域不匹配的当前帧图像作为目标图像之后，则可以对该目标图像的主体区域进行编码处理，并将编码处理得到的图像数据进行传输。从而可以动态调整关键帧图像的选取，在提高视频流畅性的同时对主体区域的位置进行更新，可以提高视频编码的处理效果。

图5为一个实施例中对目标图像进行主体检测的流程图。如图5所示，在一个实施例中，提供的视频传输方法中对视频中的目标图像进行主体检测，得到目标图像的主体区域的过程，包括：

步骤502，生成与目标图像对应的中心权重图，其中，中心权重图所表示的权重值从中心到边缘逐渐减小。

其中，中心权重图是指用于记录目标图像中各个像素点的权重值的图。中心权重图中记录的权重值从中心向四边逐渐减小，即中心权重最大，向四边权重逐渐减小。通过中心权重图表征目标图像的图像中心像素点到图像边缘像素点的权重值逐渐减小。

电子设备可以根据目标图像的大小生成对应的中心权重图。该中心权重图所表示的权重值从中心向四边逐渐减小。中心权重图可采用高斯函数、或采用一阶方程、或二阶方程生成。该高斯函数可为二维高斯函数。

步骤504，将目标图像和中心权重图输入至主体检测模型中，得到主体区域置信度图。

主体检测模型是预先根据同一场景的可见光图、深度图、中心权重图及对应的已标注的主体掩膜图进行训练得到的模型。具体地，主体检测模型是预先采集大量的训练数据，将训练数据输入到包含有初始网络权重的主体检测模型进行训练得到的。每组训练数据包括同一场景对应的可见光图、中心权重图及已标注的主体掩膜图。其中，可见光图和中心权重图作为训练的主体检测模型的输入，已标注的主体掩膜(mask)图作为训练的主体检测模型期望输出得到的真实值(ground truth)。主体掩膜图是用于识别图像中主体的图像滤镜模板，可以遮挡图像的其他部分，筛选出图像中的主体。主体检测模型可训练能够识别检测各种主体，如人、花、猫、狗、背景等。

其中，主体检测模型可通过深度学习算法如CNN(Convolutional NeuralNetwork，卷积神经网络)、DNN(Deep Neural Network，深度神经网络)、或RNN(RecurrentNeural Network，循环神经网络)等来实现。

具体地，电子设备可将目标图像和中心权重图输入到主体检测模型中，进行检测可以得到主体区域置信度图。主体区域置信度图是用于记录主体属于哪种能识别的主体的概率，例如某个像素点属于人的概率是0.8，花的概率是0.1，背景的概率是0.1。

步骤506，根据主体区域置信度图确定目标图像的主体区域。

其中，主体是指各种对象，如人、花、猫、狗、牛、蓝天、白云、车辆等。主体区域是指主体在图像中所在的区域。

具体地，电子设备可根据主体区域置信度图选取置信度大于置信度阈值的一个或多个主体，并获取选取的主体对应的主体区域。置信度阈值可以根据实际应用需求设定，在此不做限定。

在一个实施例中，电子设备可以对该主体区域置信度图进行处理，得到主体掩膜图，检测该目标图像中的高光区域，根据该目标图像中的高光区域与该主体掩膜图，确定该目标图像中消除高光的主体区域。其中，高光区域是指亮度值大于亮度阈值的区域。电子设备可将目标图像中的高光区域与该主体掩膜图做差分计算或逻辑与计算得到目标图像中消除高光的主体区域。

通过中心权重图可以让图像中心的对象更容易被检测，利用训练好的利用可见光图、中心权重图和主体掩膜图等训练得到的主体检测模型，可以更加准确的识别出目标图像中的主体区域。

图6为一个实施例中图像处理效果示意图。如图6所示，目标图像602中存在一只蝴蝶，将目标图像602输入到主体检测模型的网络704后得到主体区域置信度图606，然后对主体区域置信度图606进行滤波和二值化得到二值化掩膜图608，再对二值化掩膜图608进行形态学处理和引导滤波实现边缘增强，得到主体掩膜图610。该主体掩模图610标识了主体区域，即目标图像中蝴蝶所在的区域。

应该理解的是，虽然图2-5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-5中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

图7为一个实施例的视频传输装置的结构框图。如图7所示，该视频传输装置包括：

速率获取模块702，用于获取视频传输时的网络速率。

主体检测模块704，用于当网络速率低于第一阈值时，对视频中的目标图像进行主体检测，得到目标图像的主体区域。

编码传输模块706，用于对目标图像的主体区域进行编码处理，并将编码处理得到的图像数据进行传输。

本申请实施例提供的视频传输装置，可以在网络速率较低的情况下，对视频中的图像进行主体检测，将得到的主体区域编码传输，可以在网络质量较差时提高视频传输的流畅性。

在一个实施例中，编码传输模块706还可以用于当网络速率大于或等于第一阈值，且低于第二阈值时，获取目标图像中除主体区域之外的背景区域；采用第一编码模式对主体区域进行编码处理，及采用第二编码模式对背景区域进行编码处理，并将编码处理得到的图像数据进行传输；其中，第二编码模式的数据量小于第一编码模式的数据量，第一阈值小于第二阈值。

在一个实施例中，编码传输模块706还可以用于采用第一步长对主体区域进行量化处理，及采用第二步长对背景区域进行量化处理；其中，第一步长小于第二步长。

在一个实施例中，编码传输模块706用于根据第一代价参数对主体区域进行编码处理，及根据第二代价参数对背景区域进行编码处理，其中，第一代价参数满足包含的失真权重值大于第二代价参数包含的失真权重值，和包含的码率权重值小于第二代价参数包含的码率权重值中的至少一种。

在一个实施例中，编码传输模块706还可以用于对主体区域进行膨胀处理，得到膨胀处理后的主体区域，对膨胀处理的主体区域进行编码处理。

在一个实施例中，编码传输模块706还可以用于依次获取视频中目标图像之后的每一帧图像；对获取的每一帧图像的目标区域进行编码处理，并将编码处理后得到的图像数据进行传输，其中，目标区域是与膨胀处理后的主体区域位置相对应的区域。

在一个实施例中，提供的视频传输装置还包括目标图像选取模块708，目标图像选取模块708用于依次获取视频中目标图像之后的每一帧图像；对获取的每一帧图像进行主体检测；若获取的当前帧图像的主体区域与目标图像的主体区域不匹配时，将当前帧图像作为目标图像。

在一个实施例中，目标图像选取模块708还可以用于获取目标图像的主体区域的面积与当前帧图像的主体区域的面积的比值；当比值在预设区间内时，则确定当前帧图像的主体区域与目标图像的主体区域不匹配，将该当前帧图像作为目标图像。

在一个实施例中，主体检测模块704还可以用于生成与目标图像对应的中心权重图，其中，中心权重图所表示的权重值从中心到边缘逐渐减小；将目标图像和中心权重图输入至主体检测模型中，得到主体区域置信度图；根据主体区域置信度图确定目标图像的主体区域。

上述视频传输装置中各个模块的划分仅用于举例说明，在其他实施例中，可将视频传输装置按照需要划分为不同的模块，以完成上述视频传输装置的全部或部分功能。

本申请实施例中提供的视频传输装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在电子设备上运行。该计算机程序构成的程序模块可存储在电子设备的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。

本申请实施例还提供一种电子设备。上述电子设备中包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(Image Signal Processing，图像信号处理)管线的各种处理单元。图8为一个实施例中图像处理电路的示意图。如图8所示，为便于说明，仅示出与本申请实施例相关的图像处理技术的各个方面。

如图8所示，图像处理电路包括ISP处理器840和控制逻辑器850。成像设备810捕捉的图像数据首先由ISP处理器840处理，ISP处理器840对图像数据进行分析以捕捉可用于确定和/或成像设备810的一个或多个控制参数的图像统计信息。成像设备810可包括具有一个或多个透镜812和图像传感器814的照相机。图像传感器814可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器814可获取用图像传感器814的每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器840处理的一组原始图像数据。传感器820(如陀螺仪)可基于传感器820接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器840。传感器820接口可以利用SMIA(Standard Mobile Imaging Architecture，标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。

此外，图像传感器814也可将原始图像数据发送给传感器820，传感器820可基于传感器820接口类型把原始图像数据提供给ISP处理器840，或者传感器820将原始图像数据存储到图像存储器830中。

ISP处理器840按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器840可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。

ISP处理器840还可从图像存储器830接收图像数据。例如，传感器820接口将原始图像数据发送给图像存储器830，图像存储器830中的原始图像数据再提供给ISP处理器840以供处理。图像存储器830可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。

当接收到来自图像传感器814接口或来自传感器820接口或来自图像存储器830的原始图像数据时，ISP处理器840可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器830，以便在被显示之前进行另外的处理。ISP处理器840从图像存储器830接收处理数据，并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。ISP处理器840处理后的图像数据可输出给显示器870，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，ISP处理器840的输出还可发送给图像存储器830，且显示器870可从图像存储器830读取图像数据。在一个实施例中，图像存储器830可被配置为实现一个或多个帧缓冲器。此外，ISP处理器840的输出可发送给编码器/解码器860，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示器870设备上之前解压缩。编码器/解码器860可由CPU或GPU或协处理器实现。

ISP处理器840确定的统计数据可发送给控制逻辑器850单元。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜812阴影校正等图像传感器814统计信息。控制逻辑器850可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的统计数据，确定成像设备810的控制参数及ISP处理器840的控制参数。例如，成像设备810的控制参数可包括传感器820控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、透镜812控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及透镜812阴影校正参数。

在本申请实施例中，成像设备810可以用于录制视频，图像存储器830可用于存储成像设备810录制的视频中的图像。ISP处理器840可以对目标图像进行主体检测，得到目标图像的主体区域，并对主体区域进行编码处理，从而电子设备的中央处理器可以将编码处理后的图像数据进行传输。在一些实施例中，ISP处理器840也可以将编码处理后的图像数据进行传输。电子设备通过上述图像处理电路可以实现上述实施例所提供的视频传输方法，在此不再赘述。

本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行视频传输方法的步骤。

一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行视频传输方法。

本申请实施例所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (11)

1.一种视频传输方法，其特征在于，包括：

获取视频传输时的网络速率；

当所述网络速率低于第一阈值时，生成与目标图像对应的中心权重图，其中，所述中心权重图所表示的权重值从中心到边缘逐渐减小；将所述目标图像和所述中心权重图输入至主体检测模型中，得到主体区域置信度图；所述主体检测模型为预先根据同一场景的可见光图、深度图、中心权重图及对应的已标注的主体掩膜图进行训练得到的模型；所述主体区域置信度图用于记录主体属于目标主体的概率；根据所述主体区域置信度图确定所述目标图像的主体区域；

对所述目标图像的主体区域进行编码处理，并将编码处理得到的图像数据进行传输。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当所述网络速率大于或等于所述第一阈值，且低于第二阈值时，获取所述目标图像中除所述主体区域之外的背景区域；

采用第一编码模式对所述主体区域进行编码处理，及采用第二编码模式对所述背景区域进行编码处理，并将编码处理得到的图像数据进行传输；

其中，所述第二编码模式的数据量小于所述第一编码模式的数据量，所述第一阈值小于所述第二阈值。

3.根据权利要求2所述的方法，其特征在于，所述采用第一编码模式对所述主体区域进行编码处理，及采用第二编码模式进行编码处理，包括：

采用第一步长对所述主体区域进行量化处理，及采用第二步长对所述背景区域进行量化处理；其中，所述第一步长小于所述第二步长。

4.根据权利要求2所述的方法，其特征在于，所述第一编码模式对应于第一代价参数，所述第二编码模式对应于第二代价参数；

所述第一代价参数满足包含的失真权重值大于所述第二代价参数包含的失真权重值，和包含的码率权重值小于所述第二代价参数包含的码率权重值中的至少一种。

5.根据权利要求1所述的方法，其特征在于，所述对所述目标图像的主体区域进行编码处理之前，还包括：

对所述主体区域进行膨胀处理，得到膨胀处理后的主体区域；

所述对所述目标图像的主体区域进行编码处理，包括：

对所述膨胀处理的主体区域进行编码处理。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

依次获取所述视频中所述目标图像之后的每一帧图像；

对获取的每一帧图像的目标区域进行编码处理，并将编码处理后得到的图像数据进行传输，其中，所述目标区域是与所述膨胀处理后的主体区域位置相对应的区域。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

依次获取所述视频中所述目标图像之后的每一帧图像；

对获取的每一帧图像进行主体检测；

若获取的当前帧图像的主体区域与目标图像的主体区域不匹配时，将所述当前帧图像作为所述目标图像。

8.根据权利要求7所述的方法，其特征在于，所述若获取的当前帧图像的主体区域与目标图像的主体区域不匹配时，将所述当前帧图像作为所述目标图像之前，还包括：

获取所述目标图像的主体区域的面积与所述当前帧图像的主体区域的面积的比值；

当所述比值在预设区间内时，则确定所述当前帧图像的主体区域与目标图像的主体区域不匹配。

9.一种视频传输装置，其特征在于，包括：

速率获取模块，用于获取视频传输时的网络速率；

主体检测模块，用于当所述网络速率低于第一阈值时，生成与目标图像对应的中心权重图，其中，所述中心权重图所表示的权重值从中心到边缘逐渐减小；将所述目标图像和所述中心权重图输入至主体检测模型中，得到主体区域置信度图；所述主体检测模型为预先根据同一场景的可见光图、深度图、中心权重图及对应的已标注的主体掩膜图进行训练得到的模型；所述主体区域置信度图用于记录主体属于目标主体的概率；根据所述主体区域置信度图确定所述目标图像的主体区域；

编码传输模块，用于对所述目标图像的主体区域进行编码处理，并将编码处理得到的图像数据进行传输。

10.一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至8中任一项所述的视频传输方法的步骤。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的方法的步骤。

Images