CN112770050B - 视频展示方法及装置、计算机可读介质和电子设备 - Google Patents

Abstract

本公开提供一种视频展示方法及装置、计算机可读介质和电子设备，涉及实时通信技术领域。该方法包括：获取实时推送的原始视频流，并将所述原始视频流传输到目标通信端以展示所述原始视频流；接收所述目标通信端反馈的在所述原始视频流上确定的目标区域的属性数据；根据所述属性数据在所述原始视频流的基础上进行高清提取处理，得到与所述目标区域对应的目标视频流；将所述目标视频流传输回所述目标通信端以展示所述目标视频流。本公开能够使用户自由选择感兴趣区域的视频进行实时播放，并不需要通过多个设备采集视频，降低硬件成本。

Description

视频展示方法及装置、计算机可读介质和电子设备

技术领域

本公开涉及实时通信技术领域，具体涉及一种视频展示方法、视频展示装置、计算机可读介质和电子设备。

背景技术

伴随着科学技术的飞速发展，直播的应用越来越得到人们的重视。但是，当前的直播软件，用户仅能够观看主播端推送的原始视频流，对于原始视频流对应的画面中感兴趣的局部内容无法放大进行观看。

目前，相关的技术方案中，是直播端通过多个摄像头采集不同的图像形成原始视频流，并在用户需要放大观看时，将用户需要进行放大的画面对应的采集图像放大，保证局部内容的清晰度。但是，这种方案中，一方面，需要主播端设置多个摄像头采集不同的图像，提升了主播端的硬件成本，同时，需要将不同的图像无缝拼接为完整的原始视频流，计算量大，延时较高，导致直播效果较差的问题；另一方面，通过多个摄像头采集不同的图像，虽然能够保证局部图像的清晰度，但是会导致用户自由选择局部区域时，仅能放大观看对应的摄像头采集的画面，灵活性较低。

发明内容

本公开的目的在于提供一种视频展示方法、视频展示装置、计算机可读介质和电子设备，进而至少在一定程度上避免相关技术方案中硬件成本较高、数据传输延时较高、感兴趣区域选择灵活性较差的问题。

根据本公开的第一方面，提供一种视频展示方法，包括：

获取实时推送的原始视频流，并将所述原始视频流传输到目标通信端以展示所述原始视频流；

接收所述目标通信端反馈的在所述原始视频流上确定的目标区域的属性数据；

根据所述属性数据在所述原始视频流的基础上进行高清提取处理，得到与所述目标区域对应的目标视频流；

将所述目标视频流传输回所述目标通信端以展示所述目标视频流。

根据本公开的第二方面，提供一种视频展示方法，包括：

展示通过第一实时通信链路在服务端获取的原始视频流，并在检测到选择区域指令时，在所述原始视频流的上层提供区域选择控件；

根据在所述区域选择控件上的调整操作，生成所述原始视频流对应的目标区域以及所述目标区域对应的属性数据；

将所述属性数据通过第二实时通信链路反馈给所述服务端，以使所述服务端根据所述属性数据从所述原始视频流中提取目标视频流；

通过所述第一实时通信链路获取所述目标视频流，并展示所述目标区域对应的目标视频流。

根据本公开的第三方面，提供一种视频展示装置，包括：

原始视频流获取模块，用于获取实时推送的原始视频流，并将所述原始视频流传输到目标通信端以展示所述原始视频流；

属性数据接收模块，用于接收所述目标通信端反馈的在所述原始视频流上确定的目标区域的属性数据；

目标视频流提取模块，用于根据所述属性数据在所述原始视频流的基础上进行高清提取处理，得到与所述目标区域对应的目标视频流；

目标视频流传输模块，用于将所述目标视频流传输回所述目标通信端以展示所述目标视频流。

根据本公开的第四方面，提供一种视频展示装置，包括：

区域选择控件提供模块，用于展示通过第一实时通信链路在服务端获取的原始视频流，并在检测到选择区域指令时，在所述原始视频流的上层提供区域选择控件；

属性数据生成模块，用于根据在所述区域选择控件上的调整操作，生成所述原始视频流对应的目标区域以及所述目标区域对应的属性数据；

目标视频流获取模块，用于将所述属性数据通过第二实时通信链路反馈给所述服务端，以使所述服务端根据所述属性数据从所述原始视频流中提取目标视频流；

目标视频流展示模块，用于通过所述第一实时通信链路获取所述目标视频流，并展示所述目标区域对应的目标视频流。

根据本公开的第五方面，提供一种计算机可读介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述的方法。

根据本公开的第六方面，提供一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现上述的方法。

本公开的一种实施例所提供的视频展示方法，通过服务器将获取的原始视频流传输到目标通信端以展示原始视频流，并接收目标通信端反馈的在原始视频流上确定的目标区域的属性数据；根据属性数据在原始视频流的基础上进行高清提取处理，得到与目标区域对应的目标视频流；将目标视频流传输回所述目标通信端以展示所述目标视频流。一方面，服务器能够通过目标通信端反馈的用户选择的目标区域的属性数据，从原始视频流上提取该目标区域对应的目标视频流，并返回到目标通信端进行展示，不需要原始视频流的提供端基于多个摄像头采集不同的图像，降低了硬件成本，同时，也不需要将多个摄像头采集不同的图像进行拼接，降低计算量，提升原始视频流生成效率，提升实时数据传输的效率；另一方面，能够根据不同用户绘制的不同大小的目标区域的属性数据，灵活生成该目标区域对应的目标视频流，提升用户选择的感兴趣区域的灵活性；再一方面，通过在原始视频流的基础上进行高清提取处理，保证得到的目标视频流的高清晰度。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1示出了可以应用本公开实施例的一种示例性系统架构的示意图；

图2示出了可以应用本公开实施例的一种电子设备的示意图；

图3示意性示出本公开示例性实施例中一种视频展示方法的流程图；

图4示意性示出本公开示例性实施例中一种从原始视频流中高清提取目标视频流的流程图；

图5示意性示出本公开示例性实施例中一种以不同方式生成目标视频流的流程图；

图6示意性示出本公开示例性实施例中一种实现局部的目标视频流展示的流程图；

图7示意性示出本公开示例性实施例中一种通过媒体服务器实现目标视频流展示的流程图；

图8示意性示出本公开示例性实施例中另一种视频展示方法的流程图；

图9示意性示出本公开示例性实施例中一种选择目标区域的示意图；

图10示意性示出本公开示例性实施例中一种视频展示装置的组成示意图；

图11示意性示出本公开示例性实施例中另一种视频展示装置的组成示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

图1示出了可以应用本公开实施例的一种视频展示方法及装置的示例性应用环境的系统架构的示意图。

如图1所示，系统架构100可以包括终端设备110、终端设备120、服务器130以及服务器140，其中，终端设备110、终端设备120与服务器130、服务器140之间通过网络实现通信连接。网络是指用以在终端设备110、终端设备120与服务器130、服务器140之间提供通信链路的介质。该网络可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。终端设备110和终端设备120可以是各种具有图像处理功能的电子设备，包括但不限于台式计算机、便携式计算机、智能手机和平板电脑等等。应该理解，图1中的终端设备和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。比如服务器130或者服务器140可以是多个服务器组成的服务器集群等。

在一个实施例中，服务器130可以是信令服务器，服务器140可以媒体服务器(如可以是基于RTC的媒体服务器)，终端设备110与终端设备120(如可以是基于WebRTC的终端设备)通过网络与信令服务器130进行通信连接可以构成用于传递参数信息的第一实时通信链路，终端设备110与终端设备120通过网络与媒体服务器140构成用于传递媒体信息的第二实时通信链路。

本公开实施例所提供的一种视频展示方法一般由媒体服务器140执行，相应地，视频展示装置一般设置于服务器140中。例如，媒体服务器140可以通过第二实时通信链路获取终端设备110推送的视频流，并通过第一实时通信链路从展示原始视频流的终端设备120接收目标区域的属性数据，进而基于属性数据生成目标视频流，并通过第二实时通信链路返回给终端设备120进行展示。当然，本公开实施例所提供的另一种视频展示方法一般由终端设备120(此时终端设备110为提供原始视频流的通信端)执行，相应地，视频展示装置一般设置于终端设备120中。例如，终端设备120可以通过第二实时通信链路从媒体服务器140获取终端设备110推送的视频流，并通过第一实时通信链路将采集的目标区域的属性数据发送给媒体服务器140，进而使媒体服务器140基于属性数据生成目标视频流以及目标视频流对应的视频参数，并通过第一实时通信链路将视频参数发送给终端设备120，终端设备120基于接收的视频参数通过第二实时通信链路从媒体服务器140拉取目标视频流并展示。

本公开的示例性实施方式还提供一种用于实现视频展示方法的电子设备，其可以是图1中的终端设备110、120或服务器130、服务器140。该电子设备至少包括处理器和存储器，存储器用于存储处理器的可执行指令，处理器配置为经由执行可执行指令来执行视频展示方法。

下面以图2中的电子设备200为例，对电子设备的构造进行示例性说明。需要说明的是，图2示出的电子设备200仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图2所示，电子设备200包括中央处理单元(CPU)201，其可以根据存储在只读存储器(ROM)202中的程序或者从存储部分208加载到随机访问存储器(RAM)203中的程序而执行各种适当的动作和处理。在RAM 203中，还存储有系统操作所需的各种程序和数据。CPU201、ROM 202以及RAM 203通过总线204彼此相连。输入/输出(I/O)接口205也连接至总线204。

以下部件连接至I/O接口205：包括键盘、鼠标等的输入部分206；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分207；包括硬盘等的存储部分208；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分209。通信部分209经由诸如因特网的网络执行通信处理。驱动器210也根据需要连接至I/O接口205。可拆卸介质211，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器210上，以便于从其上读出的计算机程序根据需要被安装入存储部分208。

特别地，根据本公开的实施例，下文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分209从网络上被下载和安装，和/或从可拆卸介质211被安装。在该计算机程序被中央处理单元(CPU)201执行时，执行本申请的方法和装置中限定的各种功能。

本公开的示例性实施方式还提供了一种计算机可读存储介质，其上存储有能够实现本说明书下文中方法的程序产品。在一些可能的实施方式中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤，例如可以执行图3至图9中任意一个或多个步骤。

需要说明的是，本公开所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

此外，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

在相关技术中，为了能够使用户能够放大局部区域的直播内容并且保证放大之后的画面的清晰度，往往在主播端(即推送原始视频流的通信端)通过多个摄像头实时连续接收不同视角的采集图像，包括定焦图像和变焦图像，并将所有定焦图像的每一帧进行拼接合成全景图像；将变焦图像与全景图像进行匹配；将变焦图像与全景图像每一帧进行编码得到具有全景显示效果的原始视频流，并推送给服务器，然后服务器将原始视频流分发给各终端，以使用户在终端选择感兴趣区域后，将与该感兴趣区域的变焦图像展示给用户。但是，这种方案中，不仅需要主播端设置多个摄像头采集不同的定焦图像和变焦，增加了主播端的硬件成本，同时，需要将不同的定焦图像和变焦图像无缝拼接成完整的原始视频流，该过程计算量大，会导致服务器的延时较高，导致终端的直播内容产生网络延迟以及卡顿的问题，直播效果较差；另一方面，通过多个摄像头采集不同的图像，虽然能够保证局部图像的清晰度，但是会导致用户自由选择局部感兴趣区域时，仅能放大观看与感兴趣区域对应的变焦图像，即放大显示的图像区域不能与用户选择的感兴趣区域相匹配，灵活性较低，用户体验差。

基于相关技术中的一个或者多个问题，本示例实施例首先提供了一种视频展示方法，下面以媒体服务器执行为例对本公开示例性实施方式的视频展示方法进行具体说明。

图3示出了本示例性实施方式中一种视频展示方法的流程，包括以下步骤S310至步骤S340：

在步骤S310中，获取实时推送的原始视频流，并将所述原始视频流传输到目标通信端以展示所述原始视频流。

在一示例性实施例中，原始视频流可以是与目标通信端进行实时通信时实时推送的视频流，例如，在直播的应用场景中，目标通信端可以是观看直播的客户端，原始视频流可以是客户端对应的主播端推送的直播视频流；在视频通话的应用场景中，原始视频流可以是与目标通信端进行实时视频通信的通信端推送的视频通话视频流，当然，原始视频流还可以是其他应用场景下的与目标通信端进行实时通信时实时推送的视频流，本示例实施例对此不做特殊限定。可以接收与目标通信端实时通信的通信端推送的原始视频流，并在目标通信端请求拉取原始视频流时，将原始视频流传输给目标通信端，以使目标通信端将原始视频流实时展示给用户。

在步骤S320中，接收所述目标通信端反馈的在所述原始视频流上确定的目标区域的属性数据。

在一示例性实施例中，目标区域可以是指在目标通信端展示的原始视频流上选择的感兴趣区域，例如，在用户触发选择目标区域的指令时，目标通信端可以在显示原始视频流的图像用户界面的逻辑上层提供一区域选择控件，用户可以根据原始视频流中显示的内容选择需要进行放大显示的目标区域，当然，区域选择控件只是提供给用户选择目标区域的一种方式，用户也可以直接通过触控操作圈出需要进行放大显示的目标区域，本示例实施例不以此为限。

属性数据可以是目标区域对应的相关参数，例如，属性数据可以是目标区域在原始视频流中的区域坐标，如属性数据可以包括原始视频流的画面坐标以及目标区域在该画面坐标中的区域坐标，假设目标区域可以是矩形区域，原始视频流的画面坐标为(0，0)(0，10)(10，10)(10，0)，用户选择的目标区域在画面坐标中的区域坐标为(3，3)(3，5)(8，5)(8，3)，当然，目标区域也可以是圆形区域，目标区域的区域坐标可以是圆形区域在画面坐标中的圆心坐标如(5，5)，本示例实施对目标区域的形状以及坐标不做特殊限定；属性数据也可以是目标区域相对于原始视频流对应的画面大小的缩放比例，当然，属性数据还可以是目标区域所选取的画面中的目标对象轮廓，例如，在直播的应用场景中，原始视频流中可以包含一个目标对象(如带货直播中的某个物品)，如果仅将用户选择的目标区域的区域坐标反馈，在原始视频流中的目标对象移动到目标区域的区域坐标对应的画面之外时，就无法完成对目标对象的显示，因此将用户指定或者自动识别的目标对象轮廓也一起反馈，实现目标区域中的目标对象对应的画面的追踪。属性数据还可以是其他与目标区域对应的相关参数，本示例实施例对此不做特殊限定。

在步骤S330中，根据所述属性数据在所述原始视频流的基础上进行高清提取处理，得到与所述目标区域对应的目标视频流。

在一示例性实施例中，高清提取处理可以是指从原始视频流中提取目标区域对应的目标视频流并提高该目标视频流的分辨率的处理过程，例如，高清提取处理可以是将原始视频流进行裁剪得到目标区域对应的视频画面之后，对裁剪得到的视频画面进行超分辨率计算得到接近于原始视频流的分辨率、或者与原始视频流的分辨率相同、或者高于原始视频流的分辨率的目标视频流的处理过程，也可以是对原始视频流进行超分辨率计算得到高于当前分辨率的原始视频流，并对原始视频流进行裁剪得到高分辨率的目标视频流的处理过程，当然，高清提取处理还可以是指其他能够保证提取的目标视频流的分辨率的处理过程，本示例实施例对此不做特殊限定。

目标视频流是指根据目标区域的属性数据从原始视频流中提取的与目标区域对应的视频流，该目标视频流在放大到与原始视频流的画面尺寸大小一致时，分辨率可以与原始视频流的分辨率相同或者可以高于原始视频流的分辨率，当然，分辨率也可以略低并接近于原始视频流的分辨率，但是高于目标区域的视频流放大后的分辨率，即目标视频流的分辨率要保证在放大到与原始视频流的画面尺寸大小一致时画面细节不丢失即可，例如，目标视频流的分辨率还可以通过用户的设置操作进行自定义设置，因此，本示例实施例对目标视频流的分辨率不以上述情况为限。

在步骤S340中，将所述目标视频流传输回所述目标通信端以展示所述目标视频流。

在一示例性实施例中，在目标通信端拉取目标视频流时，将提取的目标视频流传递回目标通信端，以使目标通信端将该目标视频流的画面尺寸放大到与原始视频流的画面尺寸一致，并通过放大后的目标视频流替换原始视频流进行展示。

综上所述，本示例性实施方式中，一方面，服务器能够通过目标通信端反馈的用户选择的目标区域的属性数据，从原始视频流上提取该目标区域对应的目标视频流，并返回到目标通信端进行展示，不需要原始视频流的提供端基于多个摄像头采集不同的图像，降低了硬件成本，同时，也不需要将多个摄像头采集不同的图像进行拼接，降低计算量，提升原始视频流生成效率，提升实时数据传输的效率；另一方面，能够根据不同用户绘制的不同大小的目标区域的属性数据，灵活生成该目标区域对应的目标视频流，提升用户选择的感兴趣区域的灵活性；再一方面，通过在原始视频流的基础上进行高清提取处理，保证得到的目标视频流的高清晰度。

下面对图3中的步骤S310至步骤S340进行详细说明。

在一示例性实施例中，可以通过图4中的步骤实现对原始视频流的高清提取处理，得到目标区域对应的目标视频流，参考图4所示，具体可以包括：

步骤S410，根据所述属性数据在所述原始视频流的基础上进行裁剪得到初始视频流；

步骤S420，对所述初始视频流进行超分辨率计算，得到目标视频流。

其中，初始视频流可以是直接根据属性数据在原始视频流的基础上进行裁剪得到视频流，例如，假设原始视频流的画面坐标为(0，0)(0，10)(10，10)(10，0)，属性数据中包含的区域坐标为(3，3)(3，5)(8，5)(8，3)，则初始视频流是指原始视频流中目标区域的区域坐标(3，3)(3，5)(8，5)(8，3)对应的原始视频流中的视频画面，但是，由于初始视频流在传输回目标通信端播放时，其画面尺寸需要放大到与原始视频流的画面尺寸一致，由于初始视频流是原始视频流中的一部分，再放大显示时会导致画面分辨率降低，可能导致画面细节丢失，因此需要提高初始视频流对应的画面分辨率。

超分辨率计算(Super-Resolution，SR，也称超分运算)是指根据低分辨率图像生成相应的高分辨率图像的计算过程，例如，可以基于插值计算的方式对初始视频流进行超分处理得到目标视频流，也可以基于重建的方式对初始视频流进行超分处理得到目标视频流，还可以基于预训练的深度学习模型对初始视频流进行超分处理得到目标视频流，本示例实施例对此不做特殊限定。

在一示例性实施例中，在根据属性数据在原始视频流的基础上进行裁剪得到初始视频流之前，可以根据属性数据在历史数据库中匹配与属性数据对应的历史目标视频流，如果在历史数据库中匹配到与属性数据对应的历史目标视频流，将历史目标视频流作为目标视频流。其中，历史数据库是指用于存储目标通信端以及其他的通信端历史设置的感兴趣区域提取的目标视频流，在检测到有通信端请求相同的感兴趣区域的视频流时，则可以直接从历史数据库中获取该感兴趣区域对应的历史提取的目标视频流，即历史目标视频流，有效降低服务器的计算压力，提升目标视频流的生成效率。当然，如果在历史数据库中没有匹配到与属性数据对应的历史目标视频流，则根据属性数据在原始视频流的基础上进行裁剪得到初始视频流，进而对初始视频流进行超分辨率计算，得到目标视频流。

具体的，在通过高清提取处理得到与目标区域对应的目标视频流，或者在历史数据库中匹配到与目标区域的属性数据对应的目标视频流之后，可以通过第二实时通信链路将得到的目标视频流的视频流参数发送给目标通信端，该视频流参数可以包括目标视频流在服务器中的标识数据(Identity document，ID)、该目标视频流对应的分辨率参数、该目标视频流的画面尺寸大小、该目标视频流对应在原始视频流上的区域坐标。将视频流参数发送给目标通信端，可以认为是通知目标通信端，目标视频流已完成生产，此时目标通信端则可以根据视频流参数从服务端拉取目标视频流并进行展示。

在一示例性实施例中，在根据属性数据在原始视频流的基础上进行裁剪得到初始视频流之后，可以通过图5中的步骤进一步保证目标视频流的显示效果，参考图5所示，具体可以包括：

步骤S510，判断裁剪得到的初始视频流的平滑程度是否大于或者等于平滑阈值；

步骤S520，如果所述初始视频流的平滑程度大于或者等于所述平滑阈值，则对所述初始视频流进行超分辨率计算，得到目标视频流；

步骤S530，如果所述初始视频流的平滑程度小于所述平滑阈值，则通过所述第二实时通信链路从推送所述原始视频流的通信端获取所述目标区域对应的区域视频差值信息，并将所述区域视频差值信息和所述初始视频流进行合成，得到目标视频流。

其中，平滑程度可以是指用于衡量初始视频流对应的图像帧的图像细节复杂程度的数据，例如，可以通过初始视频流对应的图像帧中的色彩信息变化衡量初始视频流的平滑程度，也可以通过初始视频流对应的图像帧中的线条层次信息衡量初始视频流的平滑程度，当然，平滑程度还可以通过其他表征图像细节复杂程度的数据来衡量，本示例实施例对此不做特殊限定。

平滑阈值是指预先设置的用于衡量初始视频流是否能够直接进行超分辨率计算的阈值，如果初始视频流的平滑程度大于或者等于平滑阈值，则可以认为初始视频流中的图像细节信息较少，通过对初始视频流进行超分辨率计算即可得到能够显示图像细节的分辨率的目标视频流；如果初始视频流的平滑程度小于平滑阈值，则可以认为初始视频流中的图像细节信息较多较复杂，仅通过对初始视频流进行超分辨率计算无法得到显示图像细节的分辨率的目标视频流，此时可以通过第二实时通信链路从推送原始视频流的通信端(如在直播应用场景中，推送原始视频流的通信端可以是直播端)获取目标区域在原始视频流中对应的区域视频差值信息，该区域视频差值信息是指原始视频流中将两个不同时期、同一波段图像帧的对应像元值相减，生成差值图像信息，区域视频差值信息可以用来推断原始视频流中图像细节的变化状况，最后可以将区域视频差值信息和初始视频流进行合成，得到能够显示图像细节的高分辨率的目标视频流。

通过检测初始视频流的平滑程度，进而确定通过超分辨率计算或者区域视频差值信息对初始视频流进行处理，进一步保证得到的目标视频流的图像细节信息，保证目标视频流在目标通信段放大播放时，不会损失目标视频流中的图像细节，提高目标视频流的显示清晰度。

图6示意性示出本公开示例性实施例中一种实现局部的目标视频流展示的流程图。

参考图6所示，在直播的应用场景中，可以包括主播端601、RTC媒体服务器602以及观众端603，其中：

步骤S610，主播端601通过第二实时通信链路(媒体链路)推送高分辨率的原始视频流到RTC媒体服务器602；

步骤S620，观众端603通过第二实时通信链路(媒体链路)从RTC媒体服务器602拉取原始视频流进行展示；

步骤S630，用户通过观众端603触发区域选择指令，并通过区域选择控件选择目标区域；

步骤S640，观众端603通过第一实时通信链路(信令链路)将目标区域对应的属性数据发送给RTC媒体服务器602；

步骤S650，RTC媒体服务器602根据属性数据在原始视频流的基础上提取目标区域对应的目标视频流，并将目标视频流的视频流参数通过第一实时通信链路返回给观众端603；

步骤S660，观众端603根据视频流参数从RTC媒体服务器602拉取目标视频流，并通过目标视频流替换正在显示的预览视频流。

图7示意性示出本公开示例性实施例中一种通过媒体服务器实现目标视频流展示的流程图。

参考图7所示，步骤S710，RTC媒体服务器通过第一实时通信链路(信令链路)接收观众端反馈的目标区域的属性数据；

步骤S720，根据该属性数据在历史数据库中查询是否有相匹配的历史目标视频流，如果匹配到与属性数据对应的历史目标视频流，则执行步骤S730，否则执行步骤S740；

步骤S730，选择历史数据库中目标区域对应的历史目标视频流，并将历史目标视频流作为待展示的目标视频流；

步骤S740，在主播端推送的原始视频流的基础上裁剪得到目标区域对应的初始视频流；

步骤S750，判断初始视频流的平滑程度是否超过预设的平滑阈值，如果初始视频流的平滑程度超过预设的平滑阈值，则执行步骤S760，否则执行步骤S770；

步骤S760，对初始视频流进行超分辨率计算得到高分辨率的目标视频流；

步骤S770，向主播端请求以原始视频流对应的图像帧为参考得到的目标区域对应的区域视频差值信息；

步骤S780，RTC媒体服务器将初始视频流与区域视频差值信息进行合成得到高分辨率的目标视频流；

步骤S790，获取目标视频流对应的视频流参数，并发送给观众端以使观众端通过该视频流参数从RTC媒体服务器拉取目标视频流并进行展示。

另一方面，本示例实施例还提供了一种视频展示方法，可以应用于目标通信端，下面对目标通信端执行的视频展示方法进行具体说明。

图8示出了本示例性实施方式中另一种视频展示方法的流程，可以包括以下步骤S810至步骤S840：

在步骤S810中，展示通过第一实时通信链路在服务端获取的原始视频流，并在检测到选择区域指令时，在所述原始视频流的上层提供区域选择控件。

在一示例性实施例中，选择区域指令是指用户触发的用于选择需要进行放大的感兴趣区域的指令，例如，选择区域指令可以是用户通过预先设置的局部感兴趣区域缩放控件触发的指令，也可以是用户通过放大或者缩小的滑动操作或者手势操作触发的用于缩放原始视频流中局部感兴趣区域的指令，当然，选择区域指令还可以是用户通过其他方式触发的用于缩放原始视频流中局部感兴趣区域的指令，本示例实施例对此不做特殊限定。

区域选择控件可以是指在检测到选择区域指令时在原始视频流的上层提供的用于调整目标区域大小的控件，例如，区域选择控件可以是矩形选框控件，用户可以通过该矩形选框控件边缘的多个缩放点调整矩形选框控件的缩放等级或者面积大小，然后可以通过移动矩形选框控件调整目标区域的位置；区域选择控件可以是圆形选框控件，用户可以通过该圆形选框控件边缘的多个缩放点调整圆形选框控件的缩放等级或者半径大小，然后可以通过移动圆形选框控件调整目标区域的圆心位置，当然，区域选择控件还可以是其他形状的可交互控件，本示例实施例对此不做特殊限定。

在步骤S820中，根据在所述区域选择控件上的调整操作，生成所述原始视频流对应的目标区域以及所述目标区域对应的属性数据。

在一示例性实施例中，调整操作是指用户作用在区域选择控件上用于调整目标区域的缩放等级或者大小、目标区域所处位置的操作，可以包括但不限于前面提到的作用在区域选择控件的缩放点的缩放操作，以及移动区域选择控件的位置的移动操作等，本示例实施例不以此为限。

在检测到用户的调整操作结束时，将当前区域选择控件对应的区域作为目标区域，并获取该目标区域对应的属性数据。具体的，可以在检测到调整操作结束超过时间阈值时，根据调整操作调整得到的区域选择控件，生成原始视频流对应的目标区域。其中，时间阈值是指用于判定用户是否结束调整操作的阈值，例如，时间阈值可以是2s，在调整操作结束2s或者没有检测到用户的任何操作超过2s后，可以认为用户选择目标区域结束，则根据调整操作调整得到的当前区域选择控件，生成原始视频流对应的目标区域。

在步骤S830中，将所述属性数据通过第二实时通信链路反馈给所述服务端，以使所述服务端根据所述属性数据从所述原始视频流中提取目标视频流。

在步骤S840中，通过所述第一实时通信链路获取所述目标视频流，并展示所述目标区域对应的目标视频流。

在一示例性实施例中，在原始视频流的上层提供区域选择控件之后，还可以在原始视频流的上层提供调整步长网格，以通过整步长网格限制区域选择控件的缩放步长，生成不同固定大小的所述目标区域。

图9示意性示出本公开示例性实施例中一种选择目标区域的示意图。

参考图9所示，目标通信端901可以是移动终端，如智能手机或者平板电脑等，在检测到区域选择指令时，目标通信端901在原始视频流的逻辑上层提供区域选择控件902，用户可以通过区域选择控件902调整目标区域的缩放等级或者大小，优选的，同时可以提供调整步长网格903，以通过调整步长网格903限制缩放操作904在调整区域选择控件大小时的缩放步长，生成不同固定大小的目标区域，能够有效保证媒体服务器生成的目标视频流的复用率，提升目标视频流的生成效率。

优选的，在将属性数据通过第二实时通信链路反馈给服务端之后，可以将原始视频流中目标区域对应的局部视频流作为预览视频流进行展示，并在通过第一实时通信链路获取到目标视频流时，通过目标视频流替换预览视频流。局部视频流可以是指选择的目标区域框选的原始视频流中的视频流，在将属性数据通过第二实时通信链路反馈给服务端之后，服务器需要根据属性数据对原始视频流进行高清提取处理生成目标视频流，在此期间，可以先将局部视频流进行放大显示，作为预览视频流进行过渡，并在在拉取到高分辨率的目标视频流时，通过高分辨率的目标视频流替换低分辨率的局部视频流。

需要注意的是，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

进一步的，参考图10所示，本示例的实施方式中还提供一种视频展示装置1000，包括原始视频流获取模块1010、属性数据接收模块1020、目标视频流提取模块1030和目标视频流传输模块1040。其中：

原始视频流获取模块1010用于获取实时推送的原始视频流，并将所述原始视频流传输到目标通信端以展示所述原始视频流；

属性数据接收模块1020用于接收所述目标通信端反馈的在所述原始视频流上确定的目标区域的属性数据；

目标视频流提取模块1030用于根据所述属性数据在所述原始视频流的基础上进行高清提取处理，得到与所述目标区域对应的目标视频流；

目标视频流传输模块1040用于将所述目标视频流传输回所述目标通信端以展示所述目标视频流。

在一示例性实施例中，目标视频流提取模块1030可以用于：

根据所述属性数据在所述原始视频流的基础上进行裁剪得到初始视频流；

对所述初始视频流进行超分辨率计算，得到目标视频流。

在一示例性实施例中，目标视频流提取模块1030还包括历史目标视频流匹配单元，历史目标视频流匹配单元可以用于：

根据所述属性数据在历史数据库中匹配与所述属性数据对应的历史目标视频流；

如果在所述历史数据库中匹配到与所述属性数据对应的历史目标视频流，将所述历史目标视频流作为目标视频流。

在一示例性实施例中，所述服务端包括第一实时通信链路和第二实时通信链路，所述服务端通过所述第一实时通信链路传输所述原始视频流或者所述目标视频流，所述服务端通过所述第二实时通信链路接收所述目标通信端反馈的所述属性数据。

在一示例性实施例中，视频展示装置1000还包括视频流参数发送单元，该视频流参数发送单元可以用于：

通过所述第二实时通信链路将得到的所述目标视频流的视频流参数发送给所述目标通信端，以使所述目标通信端根据所述视频流参数获取所述目标视频流。

在一示例性实施例中，目标视频流提取模块1030还包括视频流平滑处理单元，视频流平滑处理单元可以用于：

判断裁剪得到的初始视频流的平滑程度是否大于或者等于平滑阈值；

如果所述初始视频流的平滑程度大于或者等于所述平滑阈值，则对所述初始视频流进行超分辨率计算，得到目标视频流；

如果所述初始视频流的平滑程度小于所述平滑阈值，则通过所述第二实时通信链路从推送所述原始视频流的通信端获取所述目标区域对应的区域视频差值信息，并将所述区域视频差值信息和所述初始视频流进行合成，得到目标视频流。

参考图11所示，本示例的实施方式中还提供一种视频展示装置1100，包括区域选择控件提供模块1110、属性数据生成模块1120、目标视频流获取模块1130和目标视频流展示模块1140。其中：

区域选择控件提供模块1110用于展示通过第一实时通信链路在服务端获取的原始视频流，并在检测到选择区域指令时，在所述原始视频流的上层提供区域选择控件；

属性数据生成模块1120用于根据在所述区域选择控件上的调整操作，生成所述原始视频流对应的目标区域以及所述目标区域对应的属性数据；

目标视频流获取模块1130用于将所述属性数据通过第二实时通信链路反馈给所述服务端，以使所述服务端根据所述属性数据从所述原始视频流中提取目标视频流；

目标视频流展示模块1140用于通过所述第一实时通信链路获取所述目标视频流，并展示所述目标区域对应的目标视频流。

在一示例性实施例中，区域选择控件提供模块1110还包括调整步长限制单元，调整步长限制单元可以用于：

在所述原始视频流的上层提供调整步长网格，以通过所述调整步长网格限制所述区域选择控件的缩放步长，生成不同固定大小的所述目标区域。

在一示例性实施例中，属性数据生成模块1120还可以用于：

在检测到所述调整操作结束超过时间阈值时，根据所述调整操作调整得到的区域选择控件，生成所述原始视频流对应的目标区域。

在一示例性实施例中，目标视频流获取模块1130还包括预览视频流生成单元，预览视频流生成单元可以用于：

将所述原始视频流中所述目标区域对应的局部视频流作为预览视频流进行展示，并在通过所述第一实时通信链路获取到所述目标视频流时，通过所述目标视频流替换所述预览视频流。

上述装置中各模块的具体细节在方法部分实施方式中已经详细说明，未披露的细节内容可以参见方法部分的实施方式内容，因而不再赘述。

所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。

Claims (11)

1.一种视频展示方法，其特征在于，应用于服务端，所述服务端包括第一实时通信链路和第二实时通信链路，所述方法包括：

获取实时推送的原始视频流，并通过所述第一实时通信链路将所述原始视频流传输到目标通信端以展示所述原始视频流；

通过所述第二实时通信链路接收所述目标通信端反馈的在所述原始视频流上确定的目标区域的属性数据；

根据所述属性数据在所述原始视频流的基础上进行高清提取处理，得到与所述目标区域对应的目标视频流；

通过所述第一实时通信链路将所述目标视频流传输回所述目标通信端以展示所述目标视频流；

其中，所述根据所述属性数据在所述原始视频流的基础上进行高清提取处理，得到与所述目标区域对应的目标视频流，包括：

根据所述属性数据在所述原始视频流的基础上进行裁剪得到初始视频流；

判断裁剪得到的初始视频流的平滑程度是否大于或者等于平滑阈值；

如果所述初始视频流的平滑程度大于或者等于所述平滑阈值，则对所述初始视频流进行超分辨率计算，得到目标视频流；

如果所述初始视频流的平滑程度小于所述平滑阈值，则通过所述第二实时通信链路从推送所述原始视频流的通信端获取所述目标区域对应的区域视频差值信息，并将所述区域视频差值信息和所述初始视频流进行合成，得到目标视频流。

2.根据权利要求1所述的方法，其特征在于，所述根据所述属性数据在所述原始视频流的基础上进行高清提取处理，得到与所述目标区域对应的目标视频流，还包括：

根据所述属性数据在历史数据库中匹配与所述属性数据对应的历史目标视频流；

如果在所述历史数据库中匹配到与所述属性数据对应的历史目标视频流，将所述历史目标视频流作为目标视频流。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

通过所述第二实时通信链路将得到的所述目标视频流的视频流参数发送给所述目标通信端，以使所述目标通信端根据所述视频流参数获取所述目标视频流。

4.一种视频展示方法，其特征在于，应用于目标通信端，包括：

展示通过第一实时通信链路在服务端获取的原始视频流，并在检测到选择区域指令时，在所述原始视频流的上层提供区域选择控件；

根据在所述区域选择控件上的调整操作，生成所述原始视频流对应的目标区域以及所述目标区域对应的属性数据；

将所述属性数据通过第二实时通信链路反馈给所述服务端，以使所述服务端根据所述属性数据在所述原始视频流的基础上进行裁剪得到初始视频流，并判断裁剪得到的初始视频流的平滑程度是否大于或者等于平滑阈值；如果所述初始视频流的平滑程度大于或者等于所述平滑阈值，则所述服务端对所述初始视频流进行超分辨率计算，得到目标视频流；如果所述初始视频流的平滑程度小于所述平滑阈值，则所述服务端通过所述第二实时通信链路从推送所述原始视频流的通信端获取所述目标区域对应的区域视频差值信息，并将所述区域视频差值信息和所述初始视频流进行合成，得到目标视频流；

通过所述第一实时通信链路获取所述目标视频流，并展示所述目标区域对应的目标视频流。

5.根据权利要求4所述的方法，其特征在于，在所述原始视频流的上层提供区域选择控件，还包括：

在所述原始视频流的上层提供调整步长网格，以通过所述调整步长网格限制所述区域选择控件的缩放步长，生成不同固定大小的所述目标区域。

6.根据权利要求4所述的方法，其特征在于，所述根据在所述区域选择控件上的调整操作，生成所述原始视频流对应的目标区域，还包括：

在检测到所述调整操作结束超过时间阈值时，根据所述调整操作调整得到的区域选择控件，生成所述原始视频流对应的目标区域。

7.根据权利要求4所述的方法，其特征在于，将所述属性数据通过第二实时通信链路反馈给所述服务端，还包括：

将所述原始视频流中所述目标区域对应的局部视频流作为预览视频流进行展示，并在通过所述第一实时通信链路获取到所述目标视频流时，通过所述目标视频流替换所述预览视频流。

8.一种视频展示装置，其特征在于，包括：

原始视频流获取模块，用于获取实时推送的原始视频流，并通过第一实时通信链路将所述原始视频流传输到目标通信端以展示所述原始视频流；

属性数据接收模块，用于通过第二实时通信链路接收所述目标通信端反馈的在所述原始视频流上确定的目标区域的属性数据；

目标视频流提取模块，用于根据所述属性数据在所述原始视频流的基础上进行高清提取处理，得到与所述目标区域对应的目标视频流；

目标视频流传输模块，用于通过所述第一实时通信链路将所述目标视频流传输回所述目标通信端以展示所述目标视频流；

其中，目标视频流提取模块还包括视频流平滑处理单元，所述视频流平滑处理单元用于：

根据所述属性数据在所述原始视频流的基础上进行裁剪得到初始视频流；

判断裁剪得到的初始视频流的平滑程度是否大于或者等于平滑阈值；

如果所述初始视频流的平滑程度大于或者等于所述平滑阈值，则对所述初始视频流进行超分辨率计算，得到目标视频流；

如果所述初始视频流的平滑程度小于所述平滑阈值，则通过所述第二实时通信链路从推送所述原始视频流的通信端获取所述目标区域对应的区域视频差值信息，并将所述区域视频差值信息和所述初始视频流进行合成，得到目标视频流。

9.一种视频展示装置，其特征在于，包括：

区域选择控件提供模块，用于展示通过第一实时通信链路在服务端获取的原始视频流，并在检测到选择区域指令时，在所述原始视频流的上层提供区域选择控件；

属性数据生成模块，用于根据在所述区域选择控件上的调整操作，生成所述原始视频流对应的目标区域以及所述目标区域对应的属性数据；

目标视频流获取模块，用于将所述属性数据通过第二实时通信链路反馈给所述服务端，以使所述服务端根据所述属性数据在所述原始视频流的基础上进行裁剪得到初始视频流，并判断裁剪得到的初始视频流的平滑程度是否大于或者等于平滑阈值；如果所述初始视频流的平滑程度大于或者等于所述平滑阈值，则所述服务端对所述初始视频流进行超分辨率计算，得到目标视频流；如果所述初始视频流的平滑程度小于所述平滑阈值，则所述服务端通过所述第二实时通信链路从推送所述原始视频流的通信端获取所述目标区域对应的区域视频差值信息，并将所述区域视频差值信息和所述初始视频流进行合成，得到目标视频流；

目标视频流展示模块，用于通过所述第一实时通信链路获取所述目标视频流，并展示所述目标区域对应的目标视频流。

10.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至3中任一项所述的方法，或者实现如4至7中任一项所述的方法。

11.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至3任一项所述的方法，或者实现如4至7中任一项所述的方法。

Images