CN106658095A - 一种直播视频传输的方法、服务器和用户设备 - Google Patents
一种直播视频传输的方法、服务器和用户设备 Download PDFInfo
- Publication number
- CN106658095A CN106658095A CN201610909124.0A CN201610909124A CN106658095A CN 106658095 A CN106658095 A CN 106658095A CN 201610909124 A CN201610909124 A CN 201610909124A CN 106658095 A CN106658095 A CN 106658095A
- Authority
- CN
- China
- Prior art keywords
- resolution
- live video
- image
- low
- image block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
- H04N21/26208—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints
- H04N21/26216—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints involving the channel capacity, e.g. network bandwidth
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
Abstract
本发明实施例提供了一种直播视频传输的方法、服务器和用户设备。所述服务器获得主播端用户设备UE发送的直播视频，然后将所述直播视频的低分辨率直播视频传输给观看端UE。所述用户设备接收服务器发送的低分辨率直播视频；将所述低分率直播视频转换成对应的高分辨率直播视频；显示所述高分辨率直播视频。本发明用于降低传输和接收直播视频所占用的带宽。
Description
技术领域
本发明涉及电子技术领域，尤其涉及一种直播视频传输的方法、服务器和用户设备
背景技术
网络直播已经成为一种热门的网络娱乐方式。在网络直播中，主播利用自己的UE(用户设备，User Equipment)将直播视频发送给CDN(内容分发网络，Content DeliveryNetwork)服务器，然后CDN服务器再将直播视频传输到所有观众的UE，供观众观看。
然而，为了给观众提供较为清晰的视频图像，CDN服务器传输清晰度高的直播视频时会占用很大的带宽。UE为接收直播视频，也需要很大的带宽。
发明内容
本发明实施例提供了一种直播视频传输的方法、服务器和用户设备，用于降低传输和接收直播视频所占用的带宽。
第一方面，本发明提供了一种直播视频传输的方法，包括：
获得主播端用户设备UE发送的直播视频；
将所述直播视频的低分辨率直播视频传输给观看端UE。
第二方面，本发明提供了另一种直播视频传输的方法，包括：
接收服务器发送的低分辨率直播视频；
将所述低分率直播视频转换成对应的高分辨率直播视频；
显示所述高分辨率直播视频。
可选的，将所述低分率直播视频转换成对应的高分辨率直播视频，包括：
在所述低分辨率直播视频的每一帧低分辨率图像中进行划分，将局部性质相似的图像划分到同一图像块中；
基于所述图像块中的低分辨率图像在所述图像块中进行插值，以将所述图像块中的所述低分辨率图像转换成所述高分辨率图像，进而使所述每一帧低分辨率图像转换成所述高分辨率图像，进而获得所述高分辨率直播视频。
可选的，在所述低分辨率直播视频的每一帧低分辨率图像中进行划分，将局部性质相似的图像划分到同一图像块中，包括：
按照四叉树结构将所述每一帧低分辨率图像划分成多个图像块；
判断父节点为同一图像块的四个图像块的均值和方差是否满足表示局部性质相似的预设条件；
当所述四个图像块的均值和方差满足所述预设条件时，取消所述四个图像块，保留所述父节点图像块，以使所述四个图像块合并为所述同一图像块。
可选的，基于所述图像块中的低分辨率图像在所述图像块中进行插值，包括：
基于所述图像块中每个像素点的像素值，获得所述图像块的插值参数；
获得每四个像素点的像素值与所述插值参数的乘积的和；
将所述乘积的和作为位于所述每四个像素点中间位置的像素点的像素值，进而在所述中间位置的像素点处插入所述乘积的和的像素值。
第三方面，本发明提供了一种服务器，包括：
获得模块，用于获得主播端用户设备UE发送的直播视频；
传输模块，用于将所述直播视频的低分辨率直播视频传输给观看端UE。
第四方面，本发明提供了一种用户设备，包括：
接收模块，用于接收服务器发送的低分辨率直播视频；
转换模块，用于将所述低分率直播视频转换成对应的高分辨率直播视频；
显示模块，用于显示所述高分辨率直播视频。
可选的，所述转换模块用于在所述低分辨率直播视频的每一帧低分辨率图像中进行划分，将局部性质相似的图像划分到同一图像块中；基于所述图像块中的低分辨率图像在所述图像块中进行插值，以将所述图像块中的所述低分辨率图像转换成所述高分辨率图像，进而使所述每一帧低分辨率图像转换成所述高分辨率图像，进而获得所述高分辨率直播视频。
可选的，所述转换模块用于按照四叉树结构将所述每一帧低分辨率图像划分成多个图像块；判断父节点为同一图像块的四个图像块的均值和方差是否满足表示局部性质相似的预设条件；当所述四个图像块的均值和方差满足所述预设条件时，取消所述四个图像块，保留所述父节点图像块，以使所述四个图像块合并为所述同一图像块。
可选的，所述转换模块用于基于所述图像块中每个像素点的像素值，获得所述图像块的插值参数；获得每四个像素点的像素值与所述插值参数的乘积的和；将所述乘积的和作为位于所述每四个像素点中间位置的像素点的像素值，进而在所述中间位置的像素点处插入所述乘积的和的像素值。
本申请实施例中的上述一个或多个技术方案，至少具有如下一种或多种技术效果：
1、在本发明实施例的技术方案中，服务器获得主播端UE发送的直播视频，然后将直播视频的低分辨率直播视频传输给观看端UE。由于只需要向观看端UE发送低分辨率直播视频，所以相较于与现有技术直接向观看端UE发送高分辨率直播视频，本发明中服务器传输直播视频所占用的带宽得到了减小。
2、在本发明实施例的技术方案中，观看端UE接收服务器发送的低分辨率直播视频后，然后将低分辨率直播视频转换成对应的高分辨率直播视频并进行显示。所以，一方面，由于UE只需要接收低分辨率直播视频，所以相较于与现有技术中UE接收高分辨率直播视频，本发明中UE接收直播视频所占用的带宽得到了减小；另一方面，接收低分辨率直播视频后，进一步转换成对应的高分辨率直播视频，保证了向用户呈现较为清晰地直播视频，实现了在减小接收带宽的同时不影响用户观看体验。
附图说明
图1为本发明实施例中一种可能的网络架构示意图；
图2为本发明实施例中一直播视频传输方法的流程图；
图3为本发明实施例中另一直播视频传输方法的流程图；
图4a-图4b为本发明实施例中局部像素点示意图；
图5为本发明实施例中一逻辑流程图；
图6为本发明实施例中一服务器结构示意图；
图7为本发明实施例中一UE结构示意图。
具体实施方式
本发明实施例提供了一种直播视频传输的方法、服务器和用户设备，用于降低传输和接收直播视频所占用的带宽。
为了解决上述技术问题，本发明提供的技术方案总体思路如下：
服务器向观看端UE发送低分辨率直播视频。观看端UE接收低分辨率直播视频后，将低分辨率直播视频转换成对应的高分辨率直播视频，进而向用户显示高分辨率直播视频。
下面通过附图以及具体实施例对本发明技术方案做详细的说明，应当理解本申请实施例以及实施例中的具体特征是对本申请技术方案的详细的说明，而不是对本申请技术方案的限定，在不冲突的情况下，本申请实施例以及实施例中的技术特征可以相互组合。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
为了更加清楚地介绍本发明技术方案，下面先对直播视频传输的网络架构进行介绍。请参考图1，为一种可能的网络架构示意图，该架构包括：主播端UE，观看端UE和服务器。
具体来讲，在一个网络直播中，主播端UE可以有一个或多个(图1中仅示出一个)，观看端UE则可以有零个、一个或多个，主播端UE和观看端UE均通过网络接入服务器。网络直播的主播持主播端UE进行视频采集，并由主播端设备将采集到的视频发送至服务器。服务器对视频进行解析和编码后，将视频发送到所有观看端UE。
每个观看用户在自己持有的观看端UE上观看网络直播。
本发明实施例中的服务器一般指后台服务器，可以为CDN服务器，也可以为其他服务器，本发明不做具体限制。CDN基本思路是尽可能避开互联网上有可能影响数据传输速度和稳定性的瓶颈和环节，使内容传输的更快、更稳定。通过在网络各处放置节点服务器所构成的在现有的互联网基础之上的一层智能虚拟网络，CDN系统能够实时地根据网络流量和各节点的连接、负载状况以及到用户的距离和响应时间等综合信息将用户的请求重新导向离用户最近的服务节点上。其目的是使用户可就近取得所需内容，解决网络拥挤的状况，提高用户访问网站的响应速度。
本发明第一方面提供了一种直播视频传输的方法，应用于服务器，请参考图2，为一直播视频传输的方法流程图。该方法包括：
S101：获得主播端用户设备UE发送的直播视频；
S102：将所述直播视频的低分辨率直播视频传输给观看端UE。
在S101中，服务器首先获得主播端UE发送的直播视频。具体来讲，主播利用主播端UE录制直播视频，然后将录制好的直播视频发送给服务器。在具体实现过程中，主播端UE可以在采集到高分辨率直播视频后，可以直接将高分辨率直播视频发送给服务器，然后，服务器再将接收到的高分辨率直播视频转换成低分率直播视频，并对直播视频编码，进而S102中传输给观看端UE。或者，主播端UE也可以在采集到高分辨率直播视频后，将直播视频的分辨率由高分辨率转换为低分辨率，例如由1280*720转换为640*360，那么还可以进一步减小服务器接收直播视频占用的带宽。并且，服务器在接收低分辨率直播视频后，可以直接编码并传输给观看端UE，所以，还可以进一步减少服务器对直播视频的处理，降低服务器设备资源消耗。在具体实现过程中，本发明所属领域的普通技术人员可以根据实际进行设置，本发明不做具体限制。
本发明实施例中的高分辨率和低分率是相对的，高分辨率直播视频的分辨率高于低分率直播视频的分辨率，而低分率直播视频的分辨率则低于高分辨率直播视频的分辨率。
由上述描述可知，服务器获得主播端UE发送的直播视频，然后将直播视频的低分辨率直播视频传输给观看端UE。由于只需要向观看端UE发送低分辨率直播视频，所以相较于与现有技术直接向观看端UE发送高分辨率直播视频，本发明中服务器传输直播视频所占用的带宽得到了减小。
进一步，UE接收低分辨率直播视频后，可以直接向观看用户显示分辨率直播视频。或者，为了用户能够观看到清晰的直播视频，UE还可以进一步将低分辨率直播视频转换成高分辨率直播视频后再显示。本发明后文中介绍的第二发明将详细对UE将低分辨率直播视频转换成高分辨率直播视频的实施方式进行介绍。
本发明第二方面提供了另一种直播视频传输的方法，应用于观看端UE，请参考图3，为另一直播视频传输的方法流程图。该方法包括：
S201：接收服务器发送的低分辨率直播视频；
S202：将所述低分率直播视频转换成对应的高分辨率直播视频；
S203：显示所述高分辨率直播视频。
具体来讲，S201中，观看端UE从服务器接收低分率直播视频。然后，S202中，基于超分辨率技术，将低分辨率直播视频转换成对应的高分辨率直播视频。超分辨率技术，是指通过硬件或软件的方法提高原有图像的分辨率，通过对低分辨率图像的处理来得到高分辨率的图像。最终，在S203中，将转换得到的高分辨率直播视频显示在UE显示单元上供观看用户观看。
具体来讲，将低分辨率直播视频转换成对应的高分辨率直播视频，可以通过如下过程实现：
在所述低分辨率直播视频的每一帧低分辨率图像中进行划分，将局部性质相似的图像划分到同一图像块中；
基于所述图像块中的低分辨率图像在所述图像块中进行插值，以将所述图像块中的所述低分辨率图像转换成所述高分辨率图像，进而使所述每一帧低分辨率图像转换成所述高分辨率图像，进而获得所述高分辨率直播视频。
UE接收低分辨率直播视频数据后，会将视频数据解码成多帧的低分辨率图像，然后针对每一帧图像进行超分辨率处理，处理完成后，再按照每一帧图像的顺序显示，从而让用户观看到连续的高分辨率直播视频。由于对每一帧低分辨率图像的处理类似，因此下面仅对其中一帧的处理过程进行介绍。
首先，将一帧低分辨率图像中划分成一个或多个图像块。在具体实现过程中，本发明所属领域的普通技术人员可以按照任意规则或几何图形对低分率图像进行划分，只要将局部性质相似的图像划分到同一图像块中即可。换言之，一个图像块中各个像素点的像素值不会剧变，关联性较强。
本发明实施例对划分图像块的方法不做限制，下面对其中一种划分方式进行介绍。该划分方式具体如下：
按照四叉树结构将所述每一帧低分辨率图像划分成多个图像块；
判断父节点为同一图像块的四个图像块的均值和方差是否满足表示局部性质相似的预设条件；
当所述四个图像块的均值和方差满足所述预设条件时，取消所述四个图像块，保留所述父节点图像块，以使所述四个图像块合并为所述同一图像块。
具体来讲，四叉树结构是一种数据结构，在四叉树结构中，每个父节点最多有4个子节点。在本发明实施例中，对每一帧低分辨率图像，按照四叉树结构划进行多次划分，直到划分出最小单位的图像块。其中，最小单元可以按照低分辨率图像的分辨率任意设置，本发明不做具体限制。为了方便说明，假设本发明实施例中的低分辨率图像具体为640*360像素，最小单位图像块设置为8*8像素。
具体来讲，第一次划分，将一帧图像划分为四个图像块；第二次划分，将每个一次划分的图像块再划分为四个图像块，共得到16个图像块；第三次划分，将每个二次划分的图像块再划分为四个图像块，共得到64个图像块，依次类推，直到最后一次划分结束。
然后，进一步对四叉树进行整理。整理时，从最后一层子节点向根节点方向依次整理，将局部性质相似的子节点合并到父节点，进而减少四叉树的节点数量。
在整理时，需要判断父节点为同一图像块的四个图像块的均值和方差是否满足局部性质相似的预设条件。在本发明实施例中，为了判断父节点为同一图像块的四个图像块的均值和方差是否满足预设条件，可以设置两个阈值：均值阈值θ1和方差阈值θ2。然后，判断四个图像块的均值的方差是否满足公式(1)和公式(2)
其中，为四个图像块像素的均值，mp表示四个图像块中第p图像块像素的均值，为四个图像块像素的方差，vp表示四个图像块中第p图像块像素的方差。p取1,2,3和4。
当四个图像块满足公式(1)和公式(2)时，表示四个图像块的均值和方差较为接近，进而表示四个图像块中的像素变化较缓和，因此局部性质相似。所以，当四个图像块的均值和方差满足公式(1)和公式(2)时，表示四个图像块满足预设条件，所以取消这四个图像块所在的子节点，仅需要保留父节点即可。换言之，当四个图像块局部性质相似时，将四个图像块合并为一个图像块。
在本发明实施例中，θ1的取值范围设置为[0,20]，θ2的取值范围设置为[0,10]。但是，在具体实现过程中，θ1和θ2的值可以根据实际进行任意设置，本发明不做具体限制。
另外，除了上述公式(1)和公式(2)，也可以通过其他方式判断四个图像块是否满足预设条件，例如判断四个图像块的均值的方差是否小于均值阈值，并且方差是否均小于方差阈值，本发明对此也不做具体限制。
对每个父节点相同的四个图像块进行相同的整理，最后就整理出包括一个或多个图像块的低分辨率图像。当然，在具体实现过程中，也可以在划分多个图像块之后省略整理合并图像块的处理，直接在每个图像块中进行插值。本发明所属领域的普通技术人员可以根据实际进行设置，本发明不做具体限制。
接下来，在将低分辨率图像划分成多个图像块之后，就可以在每个图像块中进行插值，进而将一帧低分辨率图像转换成高分辨率图像，最终将整个低分辨率直播视频转换成高分辨率直播视频。
在进行插值时，可以采用最近邻插值法、双线性插值法和三次立方插值等传统图像插值方法进行插值。
传统图像插值方法通常是建立在图像的连续性假设上，对像素值满足连续性假设的区域进行插值可以使生成的像素值延续连续性的变化，获得良好的插值效果。但是，像素值突变的区域并不满足像素值连续性的假设，对不具有连续性的区域进行插值，则往往会使最终得到的高分辨率图像轮廓和纹理模糊，质量较差。
对图像中一个像素点而言，该像素点所在的局部区域对该像素点的影响较全局其实更为重要。所以，本发明实施例中为了获得更高质量的高分辨率图像，也可以通过如下方式来进行插值：
基于所述图像块中每个像素点的像素值，获得所述图像块的插值参数；
获得每四个像素点的像素值与所述插值参数的乘积的和；
将所述乘积的和作为位于所述每四个像素点中间位置的像素点的像素值，进而在所述中间位置的像素点处插入所述乘积的和的像素值。
本发明实施例在进行插值时，利用类似的方式在每个图像块中进行插值，因此，为了说明书简洁，下面对其中一个图像块中的插值过程进行介绍，其他图像块的插值过程类似，因此不再重复赘述。
具体来讲，首先，对一个图像块所有像素点的像素值进行最小二乘法，将最小二乘法的结果作为插值参数α。
然后，计算出每四个像素点的像素值与插值参数的乘积，并进一步计算出四个乘积的和。接着，将上述乘积的和作为四个像素点中间位置的像素点的像素值，然后将乘机的和插入中间位置的像素点处。
图4a和图4b示出了局部像素点，图4a和图4b中的4个黑点表示原始的四个像素点，白点则表示中间位置的像素点。在本发明实施例中，如图4a所示，中间位置的像素点可以具体为四个像素点连成的矩形中心位置的像素点，也即，四个像素点分别位于中间位置像素点的左上方、右上方、左下方和右下方。或者，如图4b所示，中间位置的像素点可以具体为四个像素点连成的菱形中心位置的像素点，也即，四个像素点分别位于中间位置像素点的上方、下方、左方和右方。
下面列举一个具体例子来说明如何进行插值，在具体实现过程中，包括但不限于以下例子。
假设低分辨率图像具体为640*320像素的图像，高分辨率图像具体为1280*640的图像。由于高分辨率图像是低分辨率图像插值的结果，所以，高分辨率图像中的一部分像素点为低分辨率图像的像素点。具体如公式(3)所示。
D2i,2j＝Si,j 公式(3)
其中，D2i,2j表示高分辨率图像中像素点的像素值，该像素点的坐标为(2i，2j)，Si,j表示低分辨率图像中像素点的像素值，该像素点的坐标为(i，j)。其中，i和j的取值范围为D2i,2j所在图像块的坐标范围，分别表示为i∈[W1,W2]和j∈[H1,H2]。例如，8*8像素图像块所在的长度方向坐标是8至16，宽度方向坐标是0至8，则i∈[8,16]，j∈[0,8]。
公式(3)表示，由低分辨率图像转换到高分辨率图像过程中，(2i，2j)处像素点的像素值保留原像素值。而对于(2i+1,2j+1)处像素点的像素值，则按照公式(4)进行插值。
在公式(4)中，D2i+1,2j+1表示高分辨率图像中坐标(2i+1，2j+1)处像素点的像素值，S2(i+k),2(j+l)表示低分辨率图像中坐标(2(i+k)，2(j+l))处像素点的像素值，k和l取0到1的整数，α2k+l表示最小二乘法结果中插值参数α四个不同的值。
对于(2i+1,2j)处像素点的像素值，则按照公式(5)进行插值。
在公式(5)中，D2i+1,2j表示高分辨率图像中坐标(2i+1，2j)处像素点的像素值，S2(i+k),2(j+2l-1)表示低分辨率图像中坐标(2(i+k)，2(j+2l-1))处像素点的像素值。
对于(2i,2j+1)处像素点的像素值，则按照公式(6)进行插值。
在公式(6)中，D2i,2j+1表示高分辨率图像中坐标(2i，2j+1)处像素点的像素值，S2(i+2k-1),2(j+l)表示低分辨率图像中坐标(2(i+2k-1)，2(j+l))处像素点的像素值。
最终，通过上述公式(3)、公式(4)、公式(5)和公式(6)就可以插值出该图像块对应的高分辨率图像。
下面结合S101到S102，和S201到S203对本发明实施例中的观看端UE显示高分辨率直播视频的方法进行介绍。请参考图5，为本发明实施例中一示例性逻辑示意图。
首先，S301中，主播端UE进行低分辨率视频采集，然后经过S302中的网络传输，将低分辨率视频传输到服务器，再由服务器编码后传输到观看端UE。接下来，S303中，观看端UE对视频解码，得到多帧图像。在S304中对低分率图像进行插值处理，进而S305中获得高分辨率图像。最终，S306中显示高分辨率图像，使观看用户观看视频。
基于与第一方面中直播视频传输的方法同样的发明构思，本发明第三方面还提供一种服务器，如图6所示，包括：
获得模块101，用于获得主播端用户设备UE发送的直播视频；
传输模块102，用于将所述直播视频的低分辨率直播视频传输给观看端UE。
前述图1-图2实施例中的直播视频传输的方法的各种变化方式和具体实例同样适用于本实施例的服务器，通过前述对直播视频传输的方法的详细描述，本领域技术人员可以清楚的知道本实施例中服务器的实施方法，所以为了说明书的简洁，在此不再详述。
基于与第二方面中直播视频传输的方法同样的发明构思，本发明第四方面还提供一种用户设备UE，如图7所示，包括：
接收模块201，用于接收服务器发送的低分辨率直播视频；
转换模块202，用于将所述低分率直播视频转换成对应的高分辨率直播视频；
显示模块203，用于显示所述高分辨率直播视频。
具体来讲，转换模块202用于在所述低分辨率直播视频的每一帧低分辨率图像中进行划分，将局部性质相似的图像划分到同一图像块中；基于所述图像块中的低分辨率图像在所述图像块中进行插值，以将所述图像块中的所述低分辨率图像转换成所述高分辨率图像，进而使所述每一帧低分辨率图像转换成所述高分辨率图像，进而获得所述高分辨率直播视频。
进一步，转换模块202用于按照四叉树结构将所述每一帧低分辨率图像划分成多个图像块；判断父节点为同一图像块的四个图像块的均值和方差是否满足表示局部性质相似的预设条件；当所述四个图像块的均值和方差满足所述预设条件时，取消所述四个图像块，保留所述父节点图像块，以使所述四个图像块合并为所述同一图像块。
更进一步，转换模块202用于基于所述图像块中每个像素点的像素值，获得所述图像块的插值参数；获得每四个像素点的像素值与所述插值参数的乘积的和；将所述乘积的和作为位于所述每四个像素点中间位置的像素点的像素值，进而在所述中间位置的像素点处插入所述乘积的和的像素值。
前述图1-图5实施例中的直播视频传输的方法的各种变化方式和具体实例同样适用于本实施例的UE，通过前述对直播视频传输的方法的详细描述，本领域技术人员可以清楚的知道本实施例中UE的实施方法，所以为了说明书的简洁，在此不再详述。
本申请实施例中的上述一个或多个技术方案，至少具有如下一种或多种技术效果：
1、在本发明实施例的技术方案中，服务器获得主播端UE发送的直播视频，然后将直播视频的低分辨率直播视频传输给观看端UE。由于只需要向观看端UE发送低分辨率直播视频，所以相较于与现有技术直接向观看端UE发送高分辨率直播视频，本发明中服务器传输直播视频所占用的带宽得到了减小。
2、在本发明实施例的技术方案中，观看端UE接收服务器发送的低分辨率直播视频后，然后将低分辨率直播视频转换成对应的高分辨率直播视频并进行显示。所以，一方面，由于UE只需要接收低分辨率直播视频，所以相较于与现有技术中UE接收高分辨率直播视频，本发明中UE接收直播视频所占用的带宽得到了减小；另一方面，接收低分辨率直播视频后，进一步转换成对应的高分辨率直播视频，保证了向用户呈现较为清晰地直播视频，实现了在减小接收带宽的同时不影响用户观看体验。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种直播视频传输的方法，其特征在于，包括：
获得主播端用户设备UE发送的直播视频；
将所述直播视频的低分辨率直播视频传输给观看端UE。
2.一种直播视频传输的方法，其特征在于，包括：
接收服务器发送的低分辨率直播视频；
将所述低分率直播视频转换成对应的高分辨率直播视频；
显示所述高分辨率直播视频。
3.如权利要求2所述的方法，其特征在于，将所述低分率直播视频转换成对应的高分辨率直播视频，包括：
在所述低分辨率直播视频的每一帧低分辨率图像中进行划分，将局部性质相似的图像划分到同一图像块中；
基于所述图像块中的低分辨率图像在所述图像块中进行插值，以将所述图像块中的所述低分辨率图像转换成所述高分辨率图像，进而使所述每一帧低分辨率图像转换成所述高分辨率图像，进而获得所述高分辨率直播视频。
4.如权利要求3所述的方法，其特征在于，在所述低分辨率直播视频的每一帧低分辨率图像中进行划分，将局部性质相似的图像划分到同一图像块中，包括：
按照四叉树结构将所述每一帧低分辨率图像划分成多个图像块；
判断父节点为同一图像块的四个图像块的均值和方差是否满足表示局部性质相似的预设条件；
当所述四个图像块的均值和方差满足所述预设条件时，取消所述四个图像块，保留所述父节点图像块，以使所述四个图像块合并为所述同一图像块。
5.如权利要求3所述的方法，其特征在于，基于所述图像块中的低分辨率图像在所述图像块中进行插值，包括：
基于所述图像块中每个像素点的像素值，获得所述图像块的插值参数；
获得每四个像素点的像素值与所述插值参数的乘积的和；
将所述乘积的和作为位于所述每四个像素点中间位置的像素点的像素值，进而在所述中间位置的像素点处插入所述乘积的和的像素值。
6.一种服务器，其特征在于，包括：
获得模块，用于获得主播端用户设备UE发送的直播视频；
传输模块，用于将所述直播视频的低分辨率直播视频传输给观看端UE。
7.一种用户设备，其特征在于，包括：
接收模块，用于接收服务器发送的低分辨率直播视频；
转换模块，用于将所述低分率直播视频转换成对应的高分辨率直播视频；
显示模块，用于显示所述高分辨率直播视频。
8.如权利要求7所述的用户设备，其特征在于，所述转换模块用于在所述低分辨率直播视频的每一帧低分辨率图像中进行划分，将局部性质相似的图像划分到同一图像块中；基于所述图像块中的低分辨率图像在所述图像块中进行插值，以将所述图像块中的所述低分辨率图像转换成所述高分辨率图像，进而使所述每一帧低分辨率图像转换成所述高分辨率图像，进而获得所述高分辨率直播视频。
9.如权利要求8所述的用户设备，其特征在于，所述转换模块用于按照四叉树结构将所述每一帧低分辨率图像划分成多个图像块；判断父节点为同一图像块的四个图像块的均值和方差是否满足表示局部性质相似的预设条件；当所述四个图像块的均值和方差满足所述预设条件时，取消所述四个图像块，保留所述父节点图像块，以使所述四个图像块合并为所述同一图像块。
10.如权利要求8所述的用户设备，其特征在于，所述转换模块用于基于所述图像块中每个像素点的像素值，获得所述图像块的插值参数；获得每四个像素点的像素值与所述插值参数的乘积的和；将所述乘积的和作为位于所述每四个像素点中间位置的像素点的像素值，进而在所述中间位置的像素点处插入所述乘积的和的像素值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610909124.0A CN106658095A (zh) | 2016-10-18 | 2016-10-18 | 一种直播视频传输的方法、服务器和用户设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610909124.0A CN106658095A (zh) | 2016-10-18 | 2016-10-18 | 一种直播视频传输的方法、服务器和用户设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106658095A true CN106658095A (zh) | 2017-05-10 |
Family
ID=58855628
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610909124.0A Pending CN106658095A (zh) | 2016-10-18 | 2016-10-18 | 一种直播视频传输的方法、服务器和用户设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106658095A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108449600A (zh) * | 2018-03-16 | 2018-08-24 | 镇江视程影视有限公司 | 电影数据的传输方法及装置 |
| CN110418198A (zh) * | 2019-06-30 | 2019-11-05 | 联想(北京)有限公司 | 一种视频信息处理方法、电子设备及存储介质 |
| CN110519618A (zh) * | 2018-05-22 | 2019-11-29 | 视联动力信息技术股份有限公司 | 一种视频数据的处理方法和视联网终端 |
| CN113163215A (zh) * | 2020-01-22 | 2021-07-23 | 华为技术有限公司 | 基于云手机的直播方法和直播系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102630010A (zh) * | 2012-03-30 | 2012-08-08 | 西安烽火电子科技有限责任公司 | 一种无线视频传输系统及其传输方法 |
| CN103632359A (zh) * | 2013-12-13 | 2014-03-12 | 清华大学深圳研究生院 | 一种视频超分辨率处理方法 |
| US20160063759A1 (en) * | 2014-09-03 | 2016-03-03 | Hyundai Motor Company | Apparatus, method, and computer readable medium for correcting an inerpolation coefficient for stereo matching |
| CN105959705A (zh) * | 2016-05-10 | 2016-09-21 | 武汉大学 | 一种面向可穿戴设备的视频直播方法 |
-
2016
- 2016-10-18 CN CN201610909124.0A patent/CN106658095A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102630010A (zh) * | 2012-03-30 | 2012-08-08 | 西安烽火电子科技有限责任公司 | 一种无线视频传输系统及其传输方法 |
| CN103632359A (zh) * | 2013-12-13 | 2014-03-12 | 清华大学深圳研究生院 | 一种视频超分辨率处理方法 |
| US20160063759A1 (en) * | 2014-09-03 | 2016-03-03 | Hyundai Motor Company | Apparatus, method, and computer readable medium for correcting an inerpolation coefficient for stereo matching |
| CN105959705A (zh) * | 2016-05-10 | 2016-09-21 | 武汉大学 | 一种面向可穿戴设备的视频直播方法 |
Non-Patent Citations (3)
| Title |
|---|
| （埃）法特希·阿布杜埃萨目: "《图像超分辨率技术及其应用》", 31 May 2015, 国防工业出版社 * |
| 丁西明等: "四叉树分解的图像插值", 《计算机工程与应用》 * |
| 杨宇翔: "图像超分辨率重建算法研究", 《中国博士学位论文全文数据库》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108449600A (zh) * | 2018-03-16 | 2018-08-24 | 镇江视程影视有限公司 | 电影数据的传输方法及装置 |
| CN108449600B (zh) * | 2018-03-16 | 2020-06-02 | 镇江视程影视有限公司 | 电影数据的传输方法及装置 |
| CN110519618A (zh) * | 2018-05-22 | 2019-11-29 | 视联动力信息技术股份有限公司 | 一种视频数据的处理方法和视联网终端 |
| CN110418198A (zh) * | 2019-06-30 | 2019-11-05 | 联想(北京)有限公司 | 一种视频信息处理方法、电子设备及存储介质 |
| CN113163215A (zh) * | 2020-01-22 | 2021-07-23 | 华为技术有限公司 | 基于云手机的直播方法和直播系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20180191868A1 (en) | Method and System for Downloading Multiple Resolutions Bitrate for Virtual Reality (VR) Video Streaming Optimization | |
| CN105610868B (zh) | 一种信息交互的方法、设备及系统 | |
| CN106658095A (zh) | 一种直播视频传输的方法、服务器和用户设备 | |
| CN104735464A (zh) | 一种全景视频交互传输方法、服务器和客户端 | |
| CN103607568B (zh) | 立体街景视频投影方法及系统 | |
| US20190387214A1 (en) | Method for transmitting panoramic videos, terminal and server | |
| CN110226316A (zh) | 用于对虚拟现实视频执行转换及流传输的系统及方法 | |
| US20040233329A1 (en) | Method and apparatus of adaptive de-interlacing of dynamic image | |
| US20140094300A1 (en) | Display system and display method for video wall | |
| US20130223537A1 (en) | Video Bit Stream Transmission System | |
| JP2003111101A (ja) | 立体画像処理方法、装置、およびシステム | |
| CN108833809A (zh) | 一种视频混流控制方法、装置、系统、设备及介质 | |
| CN108769824A (zh) | 一种视频混流方法、装置、系统、设备及介质 | |
| CN110149542A (zh) | 传输控制方法 | |
| CN107197369A (zh) | 一种多子流协同的视频流媒体并行解码方法 | |
| CN101466041A (zh) | 一种用于多核处理器的多视点视频编码的任务调度方法 | |
| CN104065965A (zh) | 视频处理设备、方法及系统以及视频再现设备和方法 | |
| CN109218755A (zh) | 一种媒体数据的处理方法和装置 | |
| CN110166850B (zh) | 多重cnn网络预测全景视频观看位置的方法和系统 | |
| CN109788313A (zh) | 一种图像传输方法、装置及设备 | |
| CN108810567A (zh) | 一种音频与视频视角匹配的方法、客户端和服务器 | |
| CN109218274A (zh) | 一种媒体信息的处理方法及装置 | |
| US7936936B2 (en) | Method of visualizing a large still picture on a small-size display | |
| CN114449303A (zh) | 直播画面生成方法和装置、存储介质及电子装置 | |
| CN105635715A (zh) | 视频格式识别方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170510 |
|
| RJ01 | Rejection of invention patent application after publication |