CN113852850B - 音视频流播放装置 - Google Patents
音视频流播放装置 Download PDFInfo
- Publication number
- CN113852850B CN113852850B CN202011334218.2A CN202011334218A CN113852850B CN 113852850 B CN113852850 B CN 113852850B CN 202011334218 A CN202011334218 A CN 202011334218A CN 113852850 B CN113852850 B CN 113852850B
- Authority
- CN
- China
- Prior art keywords
- video
- audio
- data
- frame
- playing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000009877 rendering Methods 0.000 claims abstract description 37
- 238000004891 communication Methods 0.000 claims abstract description 32
- 230000001360 synchronised effect Effects 0.000 claims description 28
- 238000000605 extraction Methods 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 4
- 238000005538 encapsulation Methods 0.000 claims description 2
- 238000011176 pooling Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 23
- 238000010586 diagram Methods 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000000034 method Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/426—Internal components of the client ; Characteristics thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/643—Communication protocols
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本公开的实施例公开了音视频流播放装置。该装置的一具体实施方式包括：音视频拉流装置、音视频解码装置、视频帧重建装置、视频参数调整装置、视频渲染装置、音频播放装置，其中：音视频拉流装置用于从预设音视频服务器上对音视频信息进行拉流；音视频解码装置与音视频拉流装置通信连接；视频帧重建装置与音视频解码装置通信连接；视频参数调整装置与视频帧重建装置通信连接，以及基于帧间损失值和视频数据，生成重建帧数据；视频渲染装置与视频参数调整装置通信连接，用于渲染视频参数调整装置发送的重建帧数据以生成渲染视频数据；音频播放装置与音视频解码装置通信连接。该实施方式降低了IPTV客户端实现IPTV播放业务的成本。
Description
技术领域
本公开的实施例涉及信息流播放技术领域，具体涉及一种音视频流播放装置。
背景技术
IPTV(Internet Protocol Television，互联网协议电视)相关技术能够为用户提供直播、回看及点播等业务。IPTV技术主要包含IPTV浏览器及IPTV播放器。其中，IPTV播放器用于对IPTV中的音视频流进行播放。目前，现有的IPTV播放器主要依赖芯片厂商根据运营商规范的播放接口而实现。
然而，依赖芯片厂商根据运营商规范的播放接口而实现的播放器通常会存在以下技术问题：
第一，传统的IPTV的接收终端往往是运营商定制的机顶盒终端，终端类型较为单一。从而使IPTV的客户端需要采购机顶盒终端，才能实现IPTV中的音视频流播放。由此，造成了用户实现直播、回看或点播等相关IPTV业务的成本过高。
第二，IPTV音视频服务器中存有较多的音视频数据，而较多的音视频数据在进行内容分发时，使得分发的音视频数据出现失真、画质下降的问题。
发明内容
本公开的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
本公开的一些实施例提出了音视频流播放装置，来解决以上背景技术部分提到的技术问题中的一项或多项。
第一方面，本公开的一些实施例提供了一种音视频流播放装置包括：音视频拉流装置、音视频解码装置、视频帧重建装置、视频参数调整装置、视频渲染装置、音频播放装置，其中：上述音视频拉流装置用于从预设音视频服务器上对音视频信息进行拉流，以及将上述音视频信息发送至音视频解码装置；上述音视频解码装置与上述音视频拉流装置通信连接，其中，上述音视频解码装置用于接收上述音视频拉流装置发送的音视频信息，以及对上述音视频信息进行解码以生成视频数据和音频数据；上述视频帧重建装置与上述音视频解码装置通信连接，其中，上述视频帧重建装置用于接收上述音视频解码装置发送的视频数据，以及对上述视频数据进行视频帧重建以生成帧间损失值；上述视频参数调整装置与上述视频帧重建装置通信连接，其中，上述视频参数调整装置用于接收上述视频重建装置发送的帧间损失值，以及基于上述帧间损失值和上述视频数据，生成重建帧数据；上述视频渲染装置与上述视频参数调整装置通信连接，其中，上述视频渲染装置用于渲染上述视频参数调整装置发送的重建帧数据以生成渲染视频数据；上述音频播放装置与上述音视频解码装置通信连接，其中，上述音频播放装置用于播放上述音视频解码装置发送的音频数据。
在一些实施例中，上述音视频流播放装置还包括音视频同步播放装置，其中：上述音视频同步播放装置与上述视频渲染装置通信连接，上述音视频同步播放装置用于接收上述视频渲染装置发送的渲染视频数据。
在一些实施例中，上述音视频同步播放装置还与上述音频播放装置通信连接，上述音视频同步播放装置还用于接收上述音频播放装置发送的音频数据，以及将上述音频数据和上述渲染视频数据进行同步播放。
在一些实施例中，上述音视频解码装置包括：解协议层、解封装层，其中：上述解协议层用于将上述音视频信息解析为封装格式数据；上述解封装层用于将上述封装格式数据解析为视频数据和音频数据；
在一些实施例中，上述视频帧重建装置还用于对上述视频数据进行重建损失值确定以生成第一损失值。
在一些实施例中，上述视频帧重建装置还用于对上述视频数据进行对抗损失值确定以生成第二损失值。
在一些实施例中，上述视频帧重建装置还用于根据上述第一损失值和上述第二损失值以生成帧间损失值。
在一些实施例中，上述视频参数调整装置与上述音视频解码装置通信连接，用于接收上述音视频解码装置发送的视频数据，以及基于上述视频数据和上述帧间损失值，生成重建帧数据。
本公开的上述各个实施例具有如下有益效果：首先，可以通过音视频拉流装置从预设音视频服务器上对音视频信息进行拉流。由此，可以为后续对音视频信息进行解码提供数据支撑。其次，上述音视频解码装置可以对上述音视频信息进行解码以生成视频数据和音频数据。由此，经过解码后的视频数据可以为后续对视频数据进行视频重建帧操作提供数据支撑，而经过解码后所生成的音频数据为音视频同步提供数据支持。然后，上述视频帧重建装置可以将上述视频数据进行视频帧重建以生成帧间损失值。通过计算帧间损失值，减少当前帧和预测帧之间的差别。再然后，上述视频参数调整装置用于接收上述视频重建装置发送的帧间损失值，以及基于上述帧间损失值和上述视频数据，生成重建帧数据。由此，在重建视频的时候，能够基于上述帧间损失值，将视频数据解码成较为完整清晰的视频。再然后，上述视频渲染装置用于渲染上述视频参数调整装置发送的重建帧数据以生成渲染视频数据。由此，可为后续同步播放音视频提供数据支撑。最后，上述音频播放装置用于播放上述音视频解码装置发送的音频数据。同样为后续同步播放音视频提供数据支撑。可选的，上述音视频同步播放装置可以将上述渲染视频数据和上述音频数据进行同步播放。由此，可以不采用运营商定制的机顶盒终端，而实现IPTV的音视频播放，由此降低了IPTV客户端实现IPTV播放业务的成本。
附图说明
结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，元件和元素不一定按照比例绘制。
图1是本公开的一些实施例的音视频流播放装置的示例性系统架构图；
图2是根据本公开的一些实施例的音视频流播放装置的一个实施例的结构示意图；
图3是根据本公开的一些实施例的音视频流播放装置的又一个实施例的结构示意图；
图4是根据本公开的一些实施例的音视频流播放装置中的视频帧重建装置包括特征提取层和视频帧图像重建层的网络结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例。相反，提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。下面将参考附图并结合实施例来详细说明本公开。
图1示出了根据本公开实施例的音视频流播放装置的示例性系统架构100。
请参见图1，系统架构100可以包括音视频拉流装置101、音视频解码装置102、视频帧重建装置103、视频参数调整装置104、视频渲染装置105，音频播放装置106、音视频同步播放装置107、网络108、网络109、网络110、网络111、网络112、网络113、网络114和网络115。网络108用于音视频拉流装置101和音视频解码装置102之间提供通信链路的介质。网络109用于音视频解码装置102和视频帧重建装置103之间提供通信链路的介质。网络110用于视频帧重建装置103和视频参数调整装置104之间提供通信链路的介质。网络111用于视频参数调整装置104和视频渲染装置105之间提供通信链路的介质。网络112用于视频渲染装置105和音视频同步播放装置107之间提供通信链路的介质。网络113用于音视频解码装置102和视频参数调整装置104之间提供通信链路的介质。网络114用于音视频解码装置102和音频播放装置106之间提供通信链路的介质。网络115用于音频播放装置106和音视频同步播放装置107之间提供通信链路的介质。网络107、网络108、网络109、网络110、网络111、网络112、网络113、网络114和网络115可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
音视频拉流装置101可以通过网络108与音视频解码装置102交互，以发送音视频信息。音视频拉流装置101可以是支持通过相关协议(例如：RTMP、RTP、RTSP、HTTP等)，与网络视频服务器建立连接并接收数据的设备。其中，上述网络视频服务器可以包括但不限于以下至少一项：音视频压缩编解码器芯片、信息输入通道、信息输出通道、网络接口、音视频接口、协议接口控制、串行通信接口和嵌入软件。
音视频解码装置102可以通过网络109与视频帧重建装置103交互，以发送视频数据和音频数据。音视频解码装置102可以是支持包括解协议层以及解封装层的设备。其中，上述解协议层可以用于将上述音视频信息解析为封装格式数据。上述解封装层可以用于将上述封装格式数据解析为视频数据和音频数据。
音视频解码装置102可以通过网络113与视频参数调整装置104交互，以发送视频数据。
音视频解码装置102可以通过网络114与音频播放装置106交互，以发送音频数据。
视频帧重建装置103可以通过网络110与视频参数调整装置104交互，以发送帧间损失值。视频帧重建装置103可以是支持对上述视频数据进行视频重建以生成帧间误差的设备。上述生成帧间损失值的方式可以是基于各种损失函数生成的损失值。其中，上述损失函数可以包括但不限于以下至少一项：交叉熵损失函数、感知损失函数。
视频参数调整装置104可以通过网络111与视频渲染装置105交互，以发送重建帧数据。视频参数调整装置104可以是支持基于上述帧间损失值和上述视频数据，生成重建帧数据的设备。上述生成重建帧数据的方式可是各种机器学习方式。例如，卷积神经网络，循环神经网络等。
视频渲染装置105可以通过网络112与音视频同步播放装置107交互，以发送渲染视频数据。视频渲染装置105可以是各种对视频进行渲染的设备。例如：可操作OpenGL(OpenGraphics Library，开放式图形库)的设备或视频混合渲染器等。音视频同步播放装置107可以是各种支持音视频同步播放的设备。其中，音视频同步播放的方法可以是以音频为基准，视频向音频同步的策略。
音频播放装置106可以通过网络115与音视频同步播放装置107交互，以发送音频数据。上述音频播放装置可以是各种能够播放音频的设备。上述能够播放音频的设备可以包括但不限于以下至少一项：芯片，数字麦克风，数字输入输出接口。
应该理解，图1中的音视频流播放装置，包括：音视频拉流装置、音视频解码装置、视频帧重建装置、视频参数调整装置、视频渲染装置、音频播放装置、音视频同步播放装置和网络的数目仅仅是示意性的。根据实现需要，可以具有任意数目的音视频拉流装置、音视频解码装置、视频帧重建装置、视频参数调整装置、视频渲染装置、音视频同步播放装置和网络。
继续参见图2，其示出了本公开提供的音视频流播放装置的一个实施例的结构示意图。如图2所示，本实施例的音视频流播放装置可以包括：音视频拉流装置1、音视频解码装置2、视频帧重建装置3、视频参数调整装置4、视频渲染装置5、音频播放装置6。
在一些实施例中，上述视频采集装置1可以是支持根据相关协议(例如：RTMP、RTP、RTSP、HTTP等)，与网络视频服务器建立连接并接收数据的设备。其中，上述网络视频服务器可以包括但不限于以下至少一项：音视频压缩编解码器芯片、信息输入通道、信息输出通道、网络接口、音视频接口、协议接口控制、串行通信接口和嵌入软件。在这里，视频采集装置1可以用于从预设音视频服务器上对音视频信息进行拉流，以及将上述音视频信息发送至音视频解码装置。其中，音视频信息可以是音视频信号。在这里拉流指的是网络视频服务器中已有视频内容，用指定地址和指定协议类型与网络视频服务器建立连接并接收视频内容的过程。
在一些实施例中，上述音视频解码装置2可以接收上述音视频拉流装置1发送的音视频信息，以及对上述音视频信息进行解码以生成视频数据和音频数据。上述音视频解码装置2用于将视频数据发送至视频帧重建装置3。上述音视频解码装置2还用于将音频数据发送至音频播放装置6。这里，视频数据可以是预设时间段中连续的视频帧序列。音频数据可以是上述预设时间段中连续的音频帧。
在一些实施例中，上述视频帧重建装置3可以接收音视频解码装置2发送的视频数据，以及对上述视频数据进行视频帧重建以生成帧间损失值。在这里，帧间损失值是利用当前帧局部图像与历史相邻帧对应的局部图像之间的像素差别确定的。在这里，生成帧间损失值的方式可以是基于各种损失函数生成的损失值。其中，上述损失函数包括但不限于以下至少一项：交叉熵损失函数、感知损失函数。视频帧重建装置3可以是支持对上述视频数据进行视频重建以生成帧间误差的设备。
在一些实施例中，上述视频参数调整装置4可以接收视频帧重建装置3发送的帧间误差值，以及基于上述帧间损失值和上述视频数据，生成重建帧数据。在这里，重建帧数据可以是经过反卷积后的空间像素。上述生成重建帧数据的网络结构可以是各种机器学习网络结构。例如，卷积神经网络，循环神经网络等。这里，视频参数调整装置4可以是支持基于上述帧间损失值和上述视频数据，生成重建帧数据的设备。
在一些实施例中，上述视频渲染装置5可以渲染上述视频参数调整装置4发送的重建帧数据以生成渲染视频数据。在这里，渲染视频数据包括但不限于空间信息、时间信息、色彩信息、人物信息、车辆信息、运动信息等等。在这里，装视频渲染装置5可以是各种对视频进行渲染的设备。例如：可操作OpenGL(Open Graphics Library，开放式图形库)的设备或者视频混合渲染器等。
在一些实施例中，上述音频播放装置6可以播放上述音视频解码装置2发送的音频数据。在这里，音频数据可以是人耳可以听到的声音频率在20HZ～20kHz之间的声波数据。上述音频播放装置6可以是各种能够播放音频的设备。上述能够播放音频的设备可以包括但不限于以下至少一项：芯片，数字麦克风，数字输入输出接口。
视频帧重建装置3和视频参数调整装置4作为本公开的一个发明点，由此解决了背景技术提及的技术问题二“IPTV音视频服务器中存有大量的音视频数据，而大量的音视频数据在进行内容分发时，难免会受网络性能的影响，使分发的音视频数据出现失真、画质下降的问题。”。导致音视频数据出现失真、画质下降的因素往往如下：音视频服务器中存有大量的音视频数据，而大量的音视频数据在进行内容分发时，会存在网络拥堵的现象从而导致音视频数据出现失真、画质下降。如果解决了上述因素，就能有效避免音视频数据出现失真现象，提高视频数据的画面质量。为了达到这一效果，本公开引入了视频帧重建装置3和视频参数调整装置4。这里，引入视频帧重建装置3是为了确定帧间损失值以衡量视频数据的结构损失和整体纹理细节损失，从而优化视频数据。在对帧间损失值进行确定的时候，不仅考虑了重建损失来衡量重建帧数据的整体纹理细节损失，而且还考虑了采样对抗损失衡量重建帧数据的结构信息损失。而引入视频参数调整装置4首先对视频数据进行卷积处理提取特征向量。然后，对提取的特征向量进行反卷积操作重建视频帧以生成重建帧数据，最后，根据重建帧数据以优化模型，直至生成的重建帧数据的损失值最小。而损失值最小的重建帧数据具有较高的分辨率。从而解决了音视频数据出现失真、画质下降的问题。提高了音视频数据的画面清晰度，有效避免音视频数据出现失真现象。
继续参见图3，其示出了本公开提供的音视频流播放装置的一个实施例的结构示意图。与图2实施例中的音视频流播放装置相同的是，本实施例中的音视频流播放装置同样可以包括：音视频拉流装置1、音视频解码装置2、视频帧重建装置3、视频参数调整装置4、视频渲染装置5、音频播放装置6和音视频同步播放装置7。具体结构关系可以参见图2实施例中的相关描述，此处不再赘述。
与图2实施例中的音视频流播放装置不同的是，本实施例中的音视频流播放装置还包括音视频同步播放装置7，其中：上述音视频同步播放装置与上述视频渲染装置通信连接，上述音视频同步播放装置用于接收上述视频渲染装置发送的渲染视频数据；上述音视频同步播放装置还与上述音频播放装置通信连接，上述音视频同步播放装置还用于接收上述音频播放装置发送的音频数据，以及将上述音频数据和上述渲染视频数据进行同步播放。由于人体感官上听觉的敏感度大于视觉的敏感度，人体对图像异常的容忍度大于声音异常的容忍度。由此，在对上述音视数据和渲染视频数据进行同步播放时，以音频为基准，视频向音频靠拢。对比当前音频帧和即将渲染视频帧，两个帧之前的时间差在预定阈值范围内，则及时渲染。否则将视频帧丢弃或者延迟。从而使音视数据和渲染视频数据同步。其中，上述预定阈值范围可以是[0，0.00001s]。
与图2实施例中的音视频流播放装置不同的是，本实施例中的音视频解码装置2包括：解协议层、解封装层，其中：上述解协议层用于将上述音视频信息解析为封装格式数据；上述解封装层用于将上述封装格式数据解析为视频数据和音频数据。
与图2实施例中的音视频流播放装置不同的是，本实施例中的视频帧重建装置3还用于对上述视频数据进行重建损失值确定以生成第一损失值。其中，上述对重建损失值是根据重建损失值对视频数据的整体纹理细节进行约束，从而优化视频数据。上述的重建损失函数可以是任意一个损失函数，包括但不限于以下至少一项：平方损失函数、绝对值损失函数、对数损失函数等损失函数。
与图2实施例中的音视频流播放装置不同的是，本实施例中的视频帧重建装置3还用于对上述视频数据进行对抗损失值确定以生成第二损失值。其中，上述对抗损失值是根据对抗损失函数对视频数据的结构进行约束。上述的对抗损失函数可以是任意一个损失函数，包括但不限于以下至少一项：平方损失函数、绝对值损失函数、对数损失函数等损失函数。
与图2实施例中的音视频流播放装置不同的是，本实施例中的视频帧重建装置3还用于根据上述第一损失值和上述第二损失值以生成帧间损失值。在这里，可以对上式第一损失值和上述第二损失值进行加权平均以生成帧间损失值。
与图2实施例中的音视频流播放装置不同的是，本实施例中的视频参数调整装置4与上述音视频解码装置通信连接，用于接收上述音视频解码装置发送的视频数据，以及基于上述视频数据和上述帧间损失值，生成重建帧数据。
本公开的上述各个实施例具有如下有益效果：首先，可以通过音视频拉流装置从预设音视频服务器上对音视频信息进行拉流。由此，可以为后续对音视频信息进行解码提供数据支撑。其次，上述音视频解码装置可以对上述音视频信息进行解码以生成视频数据和音频数据。由此，经过解码后的视频数据可以为后续对视频数据进行视频重建帧操作提供数据支撑，而经过解码后所生成的音频数据为音视频同步提供数据支持。然后，上述视频帧重建装置可以将上述视频数据进行视频帧重建以生成帧间损失值。通过计算帧间损失值，减少当前帧和预测帧之间的差别。再然后，上述视频参数调整装置用于接收上述视频重建装置发送的帧间损失值，以及基于上述帧间损失值和上述视频数据，生成重建帧数据。由此，在重建视频的时候，能够基于上述帧间损失值，将视频数据解码成较为完整清晰的视频。再然后，上述视频渲染装置用于渲染上述视频参数调整装置发送的重建帧数据以生成渲染视频数据。由此，可为后续同步播放音视频提供数据支撑。最后，上述音频播放装置用于播放上述音视频解码装置发送的音频数据。同样为后续同步播放音视频提供数据支撑。可选的，上述音视频同步播放装置可以将上述渲染视频数据和上述音频数据进行同步播放。由此，可以不依靠运营商定制的机顶盒终端，实现IPTV的音视频播放，由此降低了IPTV客户端实现IPTV播放业务的成本。
继续参见图4，其示出了本公开提供的音视频流播放装置中的视频参数调整装置支持包括特征提取层、视频帧图像重建层的网络的网络结构示意图。
如图4所示，视频参数调整装置支持包括特征提取层、视频帧图像重建层的网络，其中：特征提取层用于提取视频数据的特征以生成特征向量C1；视频帧图像重建层用于对所提取的特征向量S1进行视频重建以生成重建帧数据C2。作为示例，视频数据可以作为输入层的输入数据被64个4*4*3*3的卷积核进行卷积处理，然后进行激活函数(例如，线性单元函数等)得到64个64*64的特征向量。再然后，将上述64个64*64的特征向量进行反卷积层卷积、池化、激活等处理。最后重建得到高分辨率图像。
需要说明的是，上述计算设备101可以是硬件，也可以是软件。当计算设备为硬件时，可以实现成多个服务器或终端设备组成的分布式集群，也可以实现成单个服务器或单个终端设备。当计算设备体现为软件时，可以安装在上述所列举的硬件设备中。其可以实现成例如用来提供分布式服务的多个软件或软件模块，也可以实现成单个软件或软件模块。在此不做具体限定。
Claims (4)
1.一种音视频流播放装置，其中，所述音视频流播放装置包括：音视频拉流装置、音视频解码装置、视频帧重建装置、视频参数调整装置、视频渲染装置、音频播放装置，其中：
所述音视频拉流装置用于从预设音视频服务器上对音视频信息进行拉流，以及将所述音视频信息发送至音视频解码装置；
所述音视频解码装置与所述音视频拉流装置通信连接，其中，所述音视频解码装置用于接收所述音视频拉流装置发送的音视频信息，以及对所述音视频信息进行解码以生成视频数据和音频数据；
所述视频帧重建装置与所述音视频解码装置通信连接，其中，所述视频帧重建装置用于接收所述音视频解码装置发送的视频数据，以及对所述视频数据进行视频帧重建以生成帧间损失值；
所述视频参数调整装置与所述视频帧重建装置通信连接，其中，所述视频参数调整装置用于接收所述视频重建装置发送的帧间损失值，以及基于所述帧间损失值和所述视频数据，生成重建帧数据；
所述视频渲染装置与所述视频参数调整装置通信连接，其中，所述视频渲染装置用于渲染所述视频参数调整装置发送的重建帧数据以生成渲染视频数据；
所述音频播放装置与所述音视频解码装置通信连接，其中，所述音频播放装置用于播放所述音视频解码装置发送的音频数据；
其中，所述视频帧重建装置还用于对所述视频数据进行重建损失值确定以生成第一损失值；
其中，所述视频帧重建装置还用于对所述视频数据进行对抗损失值确定以生成第二损失值；
其中，所述视频帧重建装置还用于对所述第一损失值和所述第二损失值进行加权平均以生成帧间损失值；
其中，所述视频参数调整装置包括：特征提取层、视频帧图像重建层，其中：
特征提取层用于将视频数据作为输入层的输入数据被64个4*4*3*3的卷积核进行卷积处理，并进行激活函数提取得到64个64*64的特征向量；
视频帧图像重建层用于将所述64个64*64的特征向量进行反卷积层卷积、池化、激活处理，重建以生成重建帧数据。
2.根据权利要求1所述的音视频流播放装置，其中，所述音视频流播放装置还包括音视频同步播放装置，其中：
所述音视频同步播放装置与所述视频渲染装置通信连接，所述音视频同步播放装置用于接收所述视频渲染装置发送的渲染视频数据；
所述音视频同步播放装置还与所述音频播放装置通信连接，所述音视频同步播放装置还用于接收所述音频播放装置发送的音频数据，以及将所述音频数据和所述渲染视频数据进行同步播放。
3.根据权利要求2所述的音视频流播放装置，其中，所述音视频解码装置包括：解协议层、解封装层，其中：
所述解协议层用于将所述音视频信息解析为封装格式数据；
所述解封装层用于将所述封装格式数据解析为视频数据和音频数据。
4.根据权利要求3所述的音视频流播放装置，其中，所述视频参数调整装置与所述音视频解码装置通信连接，用于接收所述音视频解码装置发送的视频数据，以及基于所述视频数据和所述帧间损失值，生成重建帧数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011334218.2A CN113852850B (zh) | 2020-11-24 | 2020-11-24 | 音视频流播放装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011334218.2A CN113852850B (zh) | 2020-11-24 | 2020-11-24 | 音视频流播放装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113852850A CN113852850A (zh) | 2021-12-28 |
| CN113852850B true CN113852850B (zh) | 2024-01-09 |
Family
ID=78972911
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011334218.2A Active CN113852850B (zh) | 2020-11-24 | 2020-11-24 | 音视频流播放装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113852850B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102857760A (zh) * | 2012-09-29 | 2013-01-02 | 中国科学院计算技术研究所 | 一种无反馈的优化码率的分布式视频编解码方法及其系统 |
| CN105376641A (zh) * | 2014-08-26 | 2016-03-02 | 无锡天脉聚源传媒科技有限公司 | 一种将音视频文件流化的装置和方法 |
| CN108632625A (zh) * | 2017-03-21 | 2018-10-09 | 华为技术有限公司 | 一种视频编码方法、视频解码方法和相关设备 |
| CN108712654A (zh) * | 2018-05-18 | 2018-10-26 | 网宿科技股份有限公司 | 一种音视频流的转码方法及设备 |
| CN110097512A (zh) * | 2019-04-16 | 2019-08-06 | 四川大学 | 基于Wasserstein生成对抗网络的三维MRI图像去噪模型的构建方法及应用 |
| CN110351568A (zh) * | 2019-06-13 | 2019-10-18 | 天津大学 | 一种基于深度卷积网络的视频环路滤波器 |
| WO2019242528A1 (zh) * | 2018-06-20 | 2019-12-26 | 腾讯科技（深圳）有限公司 | 视频编码、解码方法、装置、存储介质和计算机设备 |
| CN110650308A (zh) * | 2019-10-30 | 2020-01-03 | 广州河东科技有限公司 | 基于qt的音视频拉流方法、装置、设备及存储介质 |
-
2020
- 2020-11-24 CN CN202011334218.2A patent/CN113852850B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102857760A (zh) * | 2012-09-29 | 2013-01-02 | 中国科学院计算技术研究所 | 一种无反馈的优化码率的分布式视频编解码方法及其系统 |
| CN105376641A (zh) * | 2014-08-26 | 2016-03-02 | 无锡天脉聚源传媒科技有限公司 | 一种将音视频文件流化的装置和方法 |
| CN108632625A (zh) * | 2017-03-21 | 2018-10-09 | 华为技术有限公司 | 一种视频编码方法、视频解码方法和相关设备 |
| CN108712654A (zh) * | 2018-05-18 | 2018-10-26 | 网宿科技股份有限公司 | 一种音视频流的转码方法及设备 |
| WO2019242528A1 (zh) * | 2018-06-20 | 2019-12-26 | 腾讯科技（深圳）有限公司 | 视频编码、解码方法、装置、存储介质和计算机设备 |
| CN110097512A (zh) * | 2019-04-16 | 2019-08-06 | 四川大学 | 基于Wasserstein生成对抗网络的三维MRI图像去噪模型的构建方法及应用 |
| CN110351568A (zh) * | 2019-06-13 | 2019-10-18 | 天津大学 | 一种基于深度卷积网络的视频环路滤波器 |
| CN110650308A (zh) * | 2019-10-30 | 2020-01-03 | 广州河东科技有限公司 | 基于qt的音视频拉流方法、装置、设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| H.264四路视频编码FC传输系统的设计与实现;陈佳;曹朋朋;黎小玉;张少锋;;航空计算技术(第05期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113852850A (zh) | 2021-12-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107846633B (zh) | 一种直播方法及系统 | |
| US20130022116A1 (en) | Camera tap transcoder architecture with feed forward encode data | |
| CN112019927B (zh) | 视频直播方法、连麦设备、直播系统及存储介质 | |
| CN112752115B (zh) | 直播数据传输方法、装置、设备及介质 | |
| JP2008507898A (ja) | デジタルメディアシステムにおける高速チャンネル切換 | |
| US10511766B2 (en) | Video transmission based on independently encoded background updates | |
| WO2011126586A1 (en) | Video content distribution | |
| CN107770600A (zh) | 流媒体数据的传输方法、装置、设备和存储介质 | |
| US20230319371A1 (en) | Distribution of Multiple Signals of Video Content Independently over a Network | |
| CN102104790A (zh) | 一种视频处理方法和系统 | |
| Arun et al. | Ultra-HEVC using frame frequency error optimization technique for IPTV realization | |
| US9204123B2 (en) | Video content generation | |
| CN112954433A (zh) | 视频处理方法、装置、电子设备及存储介质 | |
| US20110088069A1 (en) | Network device, information processing apparatus, stream switching method, information processing method, program, and content distribution system | |
| EP3313065A1 (en) | Broadcast signal transmission device, broadcast signal reception device, broadcast signal transmission method, and broadcast signal reception method | |
| CN115708356A (zh) | 视频处理方法、装置、设备及计算机可读存储介质 | |
| CN113630576A (zh) | 自适应视频流式传输系统和方法 | |
| WO2011099254A1 (ja) | データ処理装置及びデータ符号化装置 | |
| CN113852850B (zh) | 音视频流播放装置 | |
| CN116233490A (zh) | 视频合成方法、系统、装置、电子设备及存储介质 | |
| KR100747664B1 (ko) | 대역폭에 적응적인 멀티미디어 데이터 처리방법 및 이를적용한 호스트장치 | |
| CA2824708C (en) | Video content generation | |
| US20100246685A1 (en) | Compressed video decoding delay reducer | |
| CN112423025A (zh) | 支持多种视频接入方式的转码方法及转码器 | |
| CA3069596C (en) | Method and system for selective content processing based on a panoramic camera and a virtual-reality headset |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |