CN105100823B - 一种自适应媒体业务的处理方法、装置、编码器及解码器 - Google Patents

一种自适应媒体业务的处理方法、装置、编码器及解码器 Download PDF

Info

Publication number
CN105100823B
CN105100823B CN201510552867.2A CN201510552867A CN105100823B CN 105100823 B CN105100823 B CN 105100823B CN 201510552867 A CN201510552867 A CN 201510552867A CN 105100823 B CN105100823 B CN 105100823B
Authority
CN
China
Prior art keywords
image sequence
data flow
objective optimization
data
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510552867.2A
Other languages
English (en)
Other versions
CN105100823A (zh
Inventor
那彦波
张丽杰
李正龙
何建民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201510552867.2A priority Critical patent/CN105100823B/zh
Publication of CN105100823A publication Critical patent/CN105100823A/zh
Priority to PCT/CN2016/071426 priority patent/WO2017036070A1/zh
Priority to US15/306,212 priority patent/US10547888B2/en
Application granted granted Critical
Publication of CN105100823B publication Critical patent/CN105100823B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/752—Media network packet handling adapting media to network capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/762—Media network packet handling at the source 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/631—Multimode Transmission, e.g. transmitting basic layers and enhancement layers of the content over different transmission paths or transmitting with different error corrections, different keys or with different transmission protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开了一种自适应媒体业务的处理方法、装置、编码器及解码器。自适应媒体业务的处理方法用于编码端时，包括：第一获取步骤，获取第一数据流，第一数据流中包括对第一图像序列进行编码得到的第一图像编码数据；第二获取步骤，获取至少一个第二数据流每一个所述第二数据流包括对第二图像序列进行编码得到的第二图像编码数据和与所述第二图像编码数据对应的目标优化参数；第一选择步骤，依据接收方条件，从第一数据流集合中选择一个数据流，第一数据流集合中至少包括第一数据流和所述至少一个第二数据流；第一发送步骤，发送选择的数据流到所述接收方。本发明提高了流媒体业务的用户体验。

Description

一种自适应媒体业务的处理方法、装置、编码器及解码器
技术领域
本发明涉及多媒体业务的处理，特别是指一种自适应媒体业务的处理方法、装置、编码器及解码器。
背景技术
多媒体服务(如流电视、视频会议服务等)的增长是宽带技术和标准革新的重要驱动因素。而目前通过移动设备来观看数字视频内容的用户也在快速增长。针对上述的需求，越来越多的用于移动服务的视频应用也应运而生，如Yuku以及Sohu等。
上述的趋势给需要以有限的带宽来发送媒体数据的内容服务运营商带来了很多的困难。尽快带宽一直在稳定增长，但数据通信对于带宽的需求的增长更快。这种增长来自于越来越多的连接到Internet的服务以及每个用户越来越多的对媒体内容的需求。根据思科的视觉网络索引在2015年的报道，全球移动数据通信在2014年增长了69％，而在所有的移动数据通信中，视频数据在2012年就超过了50％的比重。基于上述情况，提高移动通信系统的多媒体服务能力以及为用户提供高体验质量的服务变得越来越重要。
对于流媒体而言，一个非常重要的问题是用户的网络条件和重放条件是频繁变化的，而自适应流方案的出现就解决了上述问题。多码流视频编码服务器可以将一路视频图像编码成多个码率码流进行输出的服务器。例如可以将一个原始分辨率为全高清的视频图像(分辨率为1920*1080)编码输出为高清HD码流(分辨率为1280*720)和D1码流(分辨率为720*576)等各种不同分辨率(码率)的码流进行输出。而客户端可以依据其网络条件向视频编码服务器请求合适的码流，以保证高端用户和低端用户同样流畅的用户体验。
类似如微软公司的平滑流方案，苹果公司的HTTP自适应流方案和Adobe的动态FLASH流方案都在市场取得了极大的成功。
目前的自适应比特率解决方案中，用户侧的显示设备需要调整输入流来适应分辨率并以全分辨率显示图像。典型的放大算法(如Bicubic或Lanczos)会引入视觉误差(如锯齿、环状伪影)等，更重要的是，传统的放大算法都是基于接收到的码流进行处理，忽略了原始多媒体图像数据。
因此，现有的自适应媒体业务的处理手段存在着用户体验不好的缺陷。
发明内容
本发明实施例的目的在于提供一种自适应媒体业务的处理方法、装置、编码器及解码器，提高用户体验。
为了实现上述目的，本发明实施例公开了一种自适应媒体业务的处理方法，用于编码端，其中，包括：
第一获取步骤，获取第一数据流，所述第一数据流中包括对第一图像序列进行编码得到的第一图像编码数据，使得接收方能够依据所述第一图像编码数据得到第一图像序列；
第二获取步骤，获取至少一个第二数据流，不同的第二数据流具有不同的图像质量，每一个所述第二数据流包括对第二图像序列进行编码得到的第二图像编码数据和与所述第二图像编码数据对应的目标优化参数，使得接收方能够解码所述第二图像编码数据得到所述第二图像序列，并利用所述目标优化参数对所述第二图像序列进行质量提升处理，得到第三图像序列；所述目标优化参数依据所述第一图像序列和第二图像序列得到，所述第一图像序列、第二图像序列和第三图像序列记载了相同的内容，每一个所述第二图像序列的图像质量低于所述第一图像序列的图像质量和所述第三图像序列的图像质量；
第一选择步骤，依据接收方条件，从第一数据流集合中选择一个数据流，所述第一数据流集合中至少包括所述第一数据流和所述至少一个第二数据流；
第一发送步骤，发送选择的数据流到所述接收方。
上述的自适应媒体业务的处理方法，其中，所述目标优化参数为至少两个可用优化参数in_param中，使得MLM(LR,in_param)与第一图像序列具有最大相似度的优化参数；所述LR为所述第二图像序列，所述MLM(LR,in_param)为利用所述可用优化参数in_param对所述LR进行质量提升处理得到的图像序列。
上述的自适应媒体业务的处理方法，其中，所述第二获取步骤具体包括：
降质处理步骤，对所述第一图像序列进行降质处理，得到所述至少一个第二图像序列；
编码步骤，对每一个所述第二图像序列进行编码，得到各自对应的所述第二图像编码数据；
第一参数确定步骤，依据每一个所述第二图像序列计算各自对应的目标优化参数；
合并步骤，合并每一个第二图像编码数据和对应的目标优化参数，得到所述至少一个第二数据流。
上述的自适应媒体业务的处理方法，其中，所述第二获取步骤具体包括：
降质处理步骤，对所述第一图像序列进行降质处理，得到所述至少一个第二图像序列；
编码步骤，对每一个所述第二图像序列进行编码，得到各自对应的所述第二图像编码数据；
第二参数确定步骤，确定所述第一图像序列的图像类型和每一个第二图像序列各自对应的降质级别；
第三参数确定步骤，依据预先保存的降质级别、图像类型和目标优化参数的对应关系，确定每一个第二图像序列各自对应的目标优化参数；
合并步骤，合并每一个第二图像编码数据和对应的目标优化参数，得到所述至少一个第二数据流。
上述的自适应媒体业务的处理方法，其中，所述第二获取步骤具体包括：
降质处理步骤，对所述第一图像序列进行降质处理，得到所述至少一个第二图像序列；
编码步骤，对每一个所述第二图像序列进行编码，得到各自对应的所述第二图像编码数据；
第一判断步骤，判断所述自适应媒体业务的业务类型；
第四参数确定步骤，当所述自适应媒体业务的业务类型为实时业务时，依据预先保存的降质级别、图像类型和目标优化参数的对应关系，获取每一个第二图像序列各自对应的目标优化参数，否则依据每一个所述第二图像序列计算各自对应的目标优化参数；
合并步骤，合并每一个第二图像编码数据和对应的目标优化参数，得到所述至少一个第二数据流。
上述的自适应媒体业务的处理方法，其中，还包括：
压缩步骤，压缩每一个所述第二图像序列各自对应的目标优化参数；
所述合并步骤中，合并每一个第二图像编码数据和对应的压缩后的目标优化参数。
上述的自适应媒体业务的处理方法，其中，所述第二数据流包括元数据部分和附件支持Attachment Support部分，所述目标优化参数存储于所述元数据部分或附件支持Attachment Support部分。
上述的自适应媒体业务的处理方法，其中，还包括：
第三获取步骤，获取与至少一个第二数据流对应的至少一个第三数据流，每一个第三数据流包括对应的第二图像编码数据，而不包括所述目标优化参数；
第一分支选择步骤，当所述目标优化参数的数据量大于预定门限时，进入所述第一选择步骤，否则进入第二选择步骤；
所述第二选择步骤具体为：从第二数据流集合中选择一个数据流；所述第二数据流集合由所述第一数据流和所述至少一个第二数据流组成；
所述第一数据流集合由所述第一数据流、所述至少一个第二数据流和所述至少一个第三数据流组成。
上述的自适应媒体业务的处理方法，其中，还包括：
第三获取步骤，获取与至少一个第二数据流对应的至少一个第三数据流，每一个第三数据流包括对应的第二图像编码数据，而不包括所述目标优化参数；
所述第一数据流集合还包括所述至少一个第三数据流。
上述的自适应媒体业务的处理方法，其中，还包括：
第三获取步骤，获取与至少一个第二数据流对应的至少一个第三数据流，每一个第三数据流包括对应的第二图像编码数据，而不包括所述目标优化参数；
第二分支选择步骤，当接收方能够解析并利用所述目标优化参数进行质量提升处理时，进入所述第一选择步骤，否则进入第三选择步骤；
所述第三选择步骤具体为：从第三数据流集合中选择一个数据流；所述第三数据流集合由所述第一数据流和所述至少一个第三数据流组成；
所述第一数据流集合由所述第一数据流和所述至少一个第二数据流组成。
上述的自适应媒体业务的处理方法，其中，还包括：
第二判断步骤，在获取至少一个第二数据流之前判断是否需要更新所述目标优化参数，获取一判断结果，在判断结果指示需要更新所述目标优化参数，进入所述第二获取步骤，否则进入替换步骤；
所述替换步骤，获取与至少一个第二数据流对应的至少一个第三数据流，并从第三数据流集合中选择一个数据流，进入所述第一发送步骤；每一个第三数据流包括对应的第二图像编码数据，而不包括所述目标优化参数；所述第三数据流集合由所述第一数据流和所述至少一个第三数据流组成。
为了实现上述目的，本发明实施例公开了一种自适应媒体业务的处理方法，用于解码端，其中，包括：
接收步骤，接收发送方依据接收方条件选择的第二数据流；所述第二数据流中包括用于传输第二图像编码数据的第一部分和用于传输目标优化参数的第二部分；
解析步骤，解析所述第二数据流，获取所述第一部分携带的第二图像编码数据和第二部分携带的目标优化参数；
解码步骤，对所述第二图像编码数据进行解码，得到第二图像序列；所述第二图像序列的图像质量低于原始的第一图像序列的图像质量；
质量提升步骤，利用所述目标优化参数对所述第二图像序列进行质量提升处理，得到图像质量优于第二图像序列的图像质量的第三图像序列。
上述的自适应媒体业务的处理方法，其中，还包括：
第二发送步骤，向所述发送方发送所述接收方条件。
上述的自适应媒体业务的处理方法，其中，所述目标优化参数为至少两个可用优化参数in_param中，使得MLM(LR,in_param)与第一图像序列具有最大相似度的优化参数；所述LR为所述第二图像序列，所述MLM(LR,in_param)为利用所述可用优化参数in_param对所述LR进行质量提升处理得到的图像序列。
上述的自适应媒体业务的处理方法，其中，还包括：
第三发送步骤，发送指示接收方能够解析并利用所述目标优化参数进行质量提升处理的指示消息到发送方，使得发送方能够生成所述第二数据流，并从包括所述第二数据流的集合中进行自适应选择。
上述的自适应媒体业务的处理方法，其中，还包括：
保存步骤，保存解析出的目标优化参数；
提取步骤，在接收到新的目标优化参数之前，提取保存的目标优化参数用于所述质量提升步骤。
上述的自适应媒体业务的处理方法，其中，所述第二部分携带的目标优化参数为压缩后的目标优化参数，所述解析步骤中通过解压缩获取所述目标优化参数。
为了实现上述目的，本发明实施例公开了一种自适应媒体业务的处理装置，用于编码端，包括：
第一获取模块，用于获取第一数据流，所述第一数据流中包括对第一图像序列进行编码得到的第一图像编码数据，使得接收方能够依据所述第一图像编码数据得到第一图像序列；
第二获取模块，用于获取至少一个第二数据流，不同的第二数据流具有不同的图像质量，每一个所述第二数据流包括对第二图像序列进行编码得到的第二图像编码数据和与所述第二图像编码数据对应的目标优化参数，使得接收方能够解码所述第二图像编码数据得到所述第二图像序列，并利用所述目标优化参数对所述第二图像序列进行质量提升处理，得到第三图像序列；所述目标优化参数依据所述第一图像序列和第二图像序列得到，所述第一图像序列、第二图像序列和第三图像序列记载了相同的内容，每一个所述第二图像序列的图像质量低于所述第一图像序列的图像质量和所述第三图像序列的图像质量；
第一选择模块，用于依据接收方条件，从第一数据流集合中选择一个数据流，所述第一数据流集合中至少包括所述第一数据流和所述至少一个第二数据流；
第一发送模块，用于发送选择的数据流到所述接收方。
上述的自适应媒体业务的处理装置，其中，所述目标优化参数为至少两个可用优化参数in_param中，使得MLM(LR,in_param)与第一图像序列具有最大相似度的优化参数；所述LR为所述第二图像序列，所述MLM(LR,in_param)为利用所述可用优化参数in_param对所述LR进行质量提升处理得到的图像序列。
上述的自适应媒体业务的处理装置，其中，所述第二获取模块具体包括：
降质处理模块，用于对所述第一图像序列进行降质处理，得到所述至少一个第二图像序列；
编码模块，用于对每一个所述第二图像序列进行编码，得到各自对应的所述第二图像编码数据；
第一参数确定模块，用于依据每一个所述第二图像序列计算各自对应的目标优化参数；
合并模块，用于合并每一个第二图像编码数据和对应的目标优化参数，得到所述至少一个第二数据流。
上述的自适应媒体业务的处理装置，其中，所述第二获取模块具体包括：
降质处理模块，用于对所述第一图像序列进行降质处理，得到所述至少一个第二图像序列；
编码模块，用于对每一个所述第二图像序列进行编码，得到各自对应的所述第二图像编码数据；
第二参数确定模块，用于确定所述第一图像序列的图像类型和每一个第二图像序列各自对应的降质级别；
第三参数确定模块，用于依据预先保存的降质级别、图像类型和目标优化参数的对应关系，确定每一个第二图像序列各自对应的目标优化参数；
合并模块，用于合并每一个第二图像编码数据和对应的目标优化参数，得到所述至少一个第二数据流。
上述的自适应媒体业务的处理装置，其中，所述第二获取模块具体包括：
降质处理模块，用于对所述第一图像序列进行降质处理，得到所述至少一个第二图像序列；
编码模块，用于对每一个所述第二图像序列进行编码，得到各自对应的所述第二图像编码数据；
第一判断模块，用于判断所述自适应媒体业务的业务类型；
第四参数确定模块，用于当所述自适应媒体业务的业务类型为实时业务时，依据预先保存的降质级别、图像类型和目标优化参数的对应关系，获取每一个第二图像序列各自对应的目标优化参数，否则依据每一个所述第二图像序列计算各自对应的目标优化参数；
合并模块，用于合并每一个第二图像编码数据和对应的目标优化参数，得到所述至少一个第二数据流。
上述的自适应媒体业务的处理装置，其中，还包括：
压缩模块，用于压缩每一个所述第二图像序列各自对应的目标优化参数；
所述合并模块具体用于合并每一个第二图像编码数据和对应的压缩后的目标优化参数。
上述的自适应媒体业务的处理装置，其中，所述第二数据流包括元数据部分和附件支持Attachment Support部分，所述目标优化参数存储于所述元数据部分或附件支持Attachment Support部分。
上述的自适应媒体业务的处理装置，其中，还包括：
第三获取模块，用于获取与至少一个第二数据流对应的至少一个第三数据流，每一个第三数据流包括对应的第二图像编码数据，而不包括所述目标优化参数；
第一分支选择模块，用于当所述目标优化参数的数据量大于预定门限时，触发所述第一选择模块，否则触发第二选择模块；
所述第二选择模块具体用于：从第二数据流集合中选择一个数据流；所述第二数据流集合由所述第一数据流和所述至少一个第二数据流组成；
所述第一数据流集合由所述第一数据流、所述至少一个第二数据流和所述至少一个第三数据流组成。
上述的自适应媒体业务的处理装置，其中，还包括：
第三获取模块，用于获取与至少一个第二数据流对应的至少一个第三数据流，每一个第三数据流包括对应的第二图像编码数据，而不包括所述目标优化参数；
所述第一数据流集合还包括所述至少一个第三数据流。
上述的自适应媒体业务的处理装置，其中，还包括：
第三获取模块，用于获取与至少一个第二数据流对应的至少一个第三数据流，每一个第三数据流包括对应的第二图像编码数据，而不包括所述目标优化参数；
第二分支选择模块，用于当接收方能够解析并利用所述目标优化参数进行质量提升处理时，触发所述第一选择模块，否则触发第三选择模块；
所述第三选择模块具体用于从第三数据流集合中选择一个数据流；所述第三数据流集合由所述第一数据流和所述至少一个第三数据流组成；
所述第一数据流集合由所述第一数据流和所述至少一个第二数据流组成。
为了实现上述目的，本发明实施例公开了一种自适应媒体业务的处理装置，用于解码端，包括：
接收模块，用于接收发送方依据接收方条件选择的第二数据流；所述第二数据流中包括用于传输第二图像编码数据的第一部分和用于传输目标优化参数的第二部分；
解析模块，用于解析所述第二数据流，获取所述第一部分携带的第二图像编码数据和第二部分携带的目标优化参数；
解码模块，用于对所述第二图像编码数据进行解码，得到第二图像序列；所述第二图像序列的图像质量低于原始的第一图像序列的图像质量；
质量提升模块，用于利用所述目标优化参数对所述第二图像序列进行质量提升处理，得到图像质量优于第二图像序列的图像质量的第三图像序列。
上述的自适应媒体业务的处理装置，其中，还包括：
第二发送模块，用于向所述发送方发送所述接收方条件。
上述的自适应媒体业务的处理装置，其中，所述目标优化参数为至少两个可用优化参数in_param中，使得MLM(LR,in_param)与第一图像序列具有最大相似度的优化参数；所述LR为所述第二图像序列，所述MLM(LR,in_param)为利用所述可用优化参数in_param对所述LR进行质量提升处理得到的图像序列。
上述的自适应媒体业务的处理装置，其中，还包括：
第三发送模块，用于发送指示接收方能够解析并利用所述目标优化参数进行质量提升处理的指示消息到发送方，使得发送方能够生成所述第二数据流，并从包括所述第二数据流的集合中进行自适应选择。
上述的自适应媒体业务的处理装置，其中，还包括：
保存模块，用于保存解析出的目标优化参数；
提取模块，用于在接收到新的目标优化参数之前，提取保存的目标优化参数用于所述质量提升模块。
上述的自适应媒体业务的处理装置，其中，所述第二部分携带的目标优化参数为压缩后的目标优化参数，所述解析模块具体通过解压缩获取所述目标优化参数。
为了实现上述目的，本发明实施例公开了一种编码器，包括上述的用于编码端的自适应媒体业务的处理装置。
为了实现上述目的，本发明实施例公开了一种解码器，包括上述的用于解码端的自适应媒体业务的处理装置。
本发明实施例具有以下效果中的至少一个：
1、本发明实施例中，通过在码流中加入依据原始图像序列和当前码流中携带的图像序列得到的目标优化参数，使得解码端能够依据该目标优化参数对对从码流中解码出的图像序列进行质量提升处理，得到图像质量更优的图像序列。由于本发明实施例中的目标优化参数考虑了原始图像序列，因此相对于仅依据从码流中解码出的图像序列进行优化处理得到的图像序列的图像质量得到的图像序列而言，图像质量更高，提高了用户体验；
2、本发明实施例对从码流中解码出的图像序列进行优化时，依据与原始图像序列的相似度来进行，选择能够得到与原始图像序列相似度最高的图像序列的目标优化参数进行优化处理，进一步提高了用户体验；
3、本发明实施例中，可以在元数据部分或附件支持Attachment Support部分来携带目标优化数据，使得不支持本发明实施例的处理方法的客户端可以忽略该目标优化数据，进而利用传统的方法进行处理，实现了前向兼容；
4、本发明实施例中，可以通过对目标优化参数进行压缩处理后合并到码流中进行传输，降低了对网络带宽的需求；
5、本发明实施例中，可以依据客户端是否支持本发明实施例的处理方法而选择生成不同的码流供客户端选择，不但降低了服务器端的处理量，也能够提高切换效率和速度；
6、本发明实施例中，可以在场景不发生变化时，利用之前接收到的目标优化参数进行质量提升处理，降低了服务器和客户端之间的数据传输量。
附图说明
图1表示本发明实施例的一种用于编码端的自适应媒体业务的处理方法的流程示意图；
图2表示本发明实施例的第二获取步骤的一种流程示意图；
图3表示本发明实施例的第二获取步骤的另一种流程示意图；
图4表示本发明实施例的第二获取步骤的再一种流程示意图；
图5表示本发明实施例的另一种用于编码端的自适应媒体业务的处理方法流程示意图；
图6表示本发明实施例的再一种用于编码端的自适应媒体业务的处理方法流程示意图；
图7表示本发明实施例的又一种用于编码端的自适应媒体业务的处理方法流程示意图；
图8表示本发明实施例的用于解码端的自适应媒体业务的处理方法流程示意图；
图9表示本发明实施例的用于编码端的一种自适应媒体业务的处理装置的结构示意图；
图10表示本发明实施例的用于编码端的另一种自适应媒体业务的处理装置的结构示意图；
图11表示本发明实施例的用于解码端的一种自适应媒体业务的处理装置的结构示意图；
图12所示为根据本发明实施例形成的用于离线业务的业务系统在编码端的结构示意图；
图13所示为根据本发明实施例形成的用于实时业务的业务系统在编码端的结构示意图；
图14所示为根据本发明实施例形成的业务系统在解码端的结构示意图。
具体实施方式
本发明实施例通过在码流中加入依据原始图像序列和当前码流中携带的图像序列得到的目标优化参数，使得解码端能够依据该目标优化参数对对从码流中解码出的图像序列进行质量提升处理，得到图像质量更优的图像序列。由于本发明实施例中的目标优化参数考虑了原始图像序列，因此相对于仅依据从码流中解码出的图像序列进行优化处理得到的图像序列的图像质量得到的图像序列而言，图像质量更高，提高了用户体验。
本发明实施例的一种自适应媒体业务的处理方法，如图1所示，包括：
第一获取步骤101，获取第一数据流，所述第一数据流中包括对第一图像序列进行编码得到的第一图像编码数据，使得接收方能够依据所述第一图像编码数据得到第一图像序列；
第二获取步骤102，获取至少一个第二数据流，不同的第二数据流具有不同的图像质量，每一个所述第二数据流包括对第二图像序列进行编码得到的第二图像编码数据和与所述第二图像编码数据对应的目标优化参数，使得接收方能够解码所述第二图像编码数据得到所述第二图像序列，并利用所述目标优化参数对所述第二图像序列进行质量提升处理，得到第三图像序列；所述目标优化参数依据所述第一图像序列和第二图像序列得到，所述第一图像序列、第二图像序列和第三图像序列记载了相同的内容，每一个所述第二图像序列的图像质量低于所述第一图像序列的图像质量和所述第三图像序列的图像质量；
选择步骤103，依据接收方条件，从第一数据流集合中选择一个数据流，所述第一数据流集合中至少包括所述第一数据流和所述至少一个第二数据流；
发送步骤104，发送选择的数据流到所述接收方。
本发明实施例通过在码流中加入依据原始图像序列和当前码流中携带的图像序列得到的目标优化参数，使得解码端能够依据该目标优化参数对对从码流中解码出的图像序列进行质量提升处理，得到图像质量更优的图像序列。由于本发明实施例中的目标优化参数考虑了原始图像序列，因此相对于仅依据从码流中解码出的图像序列进行优化处理得到的图像序列的图像质量得到的图像序列而言，图像质量更高，提高了用户体验。
在本发明的具体实施例中，可以采用各种优化方式进行优化，以下就其中一种可能的优化方式进行详细说明如下。
本发明的具体实施例中，所述目标优化参数out_param为至少两个可用优化参数in_param中，使得MLM(LR,in_param)与HR具有最大相似度的优化参数；所述HR为所述第一图像序列，所述LR为所述第二图像序列，所述MLM(LR,in_param)为利用所述可用优化参数in_param对所述LR进行质量提升处理得到的图像序列。
换句话说，目标优化参数的确定可以是依据如下条件确定：第一相似度大于任意一个第二相似度。
其中，所述第一相似度为所述第三图像序列与所述第一图像序列的相似度，第二相似度为利用可用优化参数中与所述目标优化参数不同的其他优化参数对所述第二图像序列进行质量提升处理得到的图像序列与所述第一图像序列的相似度。
以下从数学角度对本发明实施例的目标优化参数解释如下。
本发明实施例中，对于第k路码流，目标优化参数out_param如下所示：
out_param≈ArgMaxparamSimilarity(MLM(LR[k],in_param[k]),HR[k])
其中：
ArgMaxx(f(x))表示使得f(x)取得最大值所对应的变量x；
LR[k]为第k路码流中携带的图像序列，即第k路码流中对应的第二图像序列；
In_param[k]为与第k路码流对应的可用优化参数，至少包括两个；
HR[k]为与第k路码流对应的输入图像序列，即：原始待传输的第一图像序列；
而MLM(LR[k],in_param[k])为采用In_param[k]对LR[k]进行质量提升处理得到的图像序列。
举例如下，首先设定一个算法集合，包括Z1、Z2、Z3、…、Zn(即优化参数为对图像进行质量提升处理所采用的算法)，对于一待传输码流中携带的图像序列Y(其通过对原始图像序列X进行降质量处理得到)，分别利用Z1、Z2、Z3、…、Zn对图像序列Y进行质量提升处理(可以实时计算，也可以预先计算，将在后续进行详细说明)，分别得到图像序列Y1、Y2、Y3、…、Yn。
此时，分别计算Y1、Y2、Y3、…、Yn与X的相似度，确定相似度最高的图像序列Ym(m＝1,2,…,n)。
此时与Ym对应的算法则为最优算法，进而确定目标优化参数为Ym对应的算法。而在解码端，则对应的质量提升处理为利用目标优化参数所表征的算法对第k路码流中携带的图像序列进行处理。
在本发明具体实施例中，这些算法可以是线性插值算法、双三次插值算法、元细胞神经网络CNN算法等，在此不一一列举。
对于CNN算法而言，其需要包括一个用于3层CNN的参数，使得元细胞神经网络能够对图像进行质量提升处理。
至于神经网络的训练以及参数的确定并不在本发明实施例的讨论范围之内，在此不作详细描述。
而对于自适应媒体业务而言，包括两类业务，一类为离线业务，而另一类为实时业务(如视频会议)。这两类业务中，实时业务对图像序列传输的实时性要求较高。因此，针对上述两类的实时性需求不同的两类业务，在本发明具体实施例中，以不同的方式来获取对应的目标优化参数。
可以发现，在本发明具体实施例中，确定不同码流对应的目标优化参数需要自行一系列的运算，包括：进行质量提升处理的运算以及图像序列相似度的运算。众所周知的是，任何的运算都需要一定的时间，尤其是处理器配置较低的情况下，所需要的时间越多。
对于离线业务而言，其数据内容已经存在(如电影等)，因此其编码操作可以在用户请求之前进行，而客户端也可以在整个文件下载完毕之前进行播放。因此，对于上述的实时性要求不是很高的离线业务，目标优化参数可以在传输过程中实时计算得到。
这种方式下，所述的第二获取步骤102具体包括：
降质处理步骤1021，对所述第一图像序列进行降质处理，得到所述至少一个第二图像序列；
编码步骤1022，对每一个所述第二图像序列进行编码，得到各自对应的所述第二图像编码数据；
第一参数确定步骤1023，依据每一个所述第二图像序列计算各自对应的目标优化参数；
合并步骤1024，合并每一个第二图像编码数据和对应的目标优化参数，得到所述至少一个第二数据流。
在上述的方式中，可以发现包括第一参数确定步骤，需要实时计算每一个第二图像序列各自对应的目标优化参数，即需要依据算法集合中的每一个算法对第二图像序列进行质量提升处理，并计算质量提升处理输出的每一个图像序列与第一图像序列的相似度，最后依据相似度选择对应的目标优化参数。
可以发现，上述的方式具有计算量大的特征，但由此得到的目标优化参数也最为准确。
而对于实时业务而言，由于实时性要求较高，因此上述的获取目标优化参数的方式可能不是特别合适。因此，针对实时业务实时性要求较高的特点，本发明具体实施例提供一种预先计算目标优化参数并查表的方式获取目标优化参数，以保证实时业务的实时性要求。
如图3所示，所述第二获取步骤102具体包括：
降质处理步骤1021，对所述第一图像序列进行降质处理，得到所述至少一个第二图像序列；
编码步骤1022，对每一个所述第二图像序列进行编码，得到各自对应的所述第二图像编码数据；
第二参数确定步骤1025，确定所述第一图像序列的图像类型和每一个第二图像序列各自对应的降质级别；
第三参数确定步骤1026，依据预先保存的降质级别、图像类型和目标优化参数的对应关系，确定每一个第二图像序列各自对应的目标优化参数；
合并步骤1024，合并每一个第二图像编码数据和对应的目标优化参数，得到所述至少一个第二数据流。
应当理解的是，上述的步骤序号并不代表相应步骤的执行顺序，其仅仅是起到一个标记作用。
可以方式，上述的方式下，在形成第二数据流之前只需要确定第一图像序列的图像类型和每一个第二图像序列各自对应的降质级别，进而依据预先记录的降质级别、图像类型和目标优化参数的对应关系确定目标优化参数，其计算量大大低于进行质量提升处理和计算图像序列的相似度的计算量，因此提高了处理速度，能够保证实时业务的实时性。
对此举例说明如下。
假定图像类型包括N1类(如卡通、自然风光等)，而原始图像序列的图像分辨率包括N2种，针对每一种原始图像序列的图像分辨率，第二图像序列的分辨率(均低于原始图像序列的图像分辨率)均为N3种。
在此所述的降质级别为原始图像序列的图像分辨率和第二图像序列对应的图像分辨率之间的转换。
举例如下，假定原始图像序列的分辨率为1920*1080，而第二图像序列的分辨率为两种，包括1280*720和720*576，则降质级别包括两级，即：从分辨率1920*1080降低到1280*720，以及从分辨率1920*1080降低到720*576。
上述情况下，本发明实施例的第二种获取目标优化参数的方式中，需要针对N1*N2*N3种组合预先计算各自对应的目标优化参数，得到降质级别、图像类型和目标优化参数之间的对应关系。
得到上述对应关系之后，将上述对应关系保存到一数据库中，在得到第一图像序列的图像类型，以及第二图像序列对应的降质级别之后，即可根据上述的对应关系确定目标优化参数。
上述的两种获取目标优化参数的方式可以独立使用，但为了使得上述的方式可以适应各种业务类型，也可以联合使用，即所述第二获取步骤如图4所示，具体包括：
降质处理步骤1021，对所述第一图像序列进行降质处理，得到所述至少一个第二图像序列；
编码步骤1022，对每一个所述第二图像序列进行编码，得到各自对应的所述第二图像编码数据；
判断步骤1027，判断所述自适应媒体业务的业务类型；
第四参数确定步骤1028，当所述自适应媒体业务的业务类型为实时业务时，依据预先保存的降质级别、图像类型和目标优化参数的对应关系，获取每一个第二图像序列各自对应的目标优化参数，否则依据每一个所述第二图像序列计算各自对应的目标优化参数；
合并步骤1024，合并每一个第二图像编码数据和对应的目标优化参数，得到所述至少一个第二数据流。
上述的方式下，编码端可以依据业务类型自适应的选择以何种方式来获取目标优化参数。当业务类型为离线业务时，选择以实时计算的方式来获取目标优化参数，以提高解码端输出的图像序列的质量。而当业务类型为实时业务时，则选择根据预先保存的对应关系来直接获取目标优化参数，以满足实时性要求。
相对于现有技术而言，本发明的具体实施例需要增加一部分数据(目标优化参数)的传输。为了减少这部分增加的数据对传输带来的影响，本发明的具体实施例中对目标优化参数进行压缩，以降低数据传输量。
即本发明实施例的自适应媒体业务的处理方法，还包括：
压缩步骤，压缩每一个所述第二图像序列各自对应的目标优化参数；
所述合并步骤中，合并每一个第二图像编码数据和对应的压缩后的目标优化参数。
本发明实施例中，需要增加一部分数据(目标优化参数)的传输，而对于该目标优化参数可以采用多种方式进行传输，如在数据流中增加一个字段或者利用保留字段来传输该目标优化参数。而增加字段或者利用保留字段的方式都无法实现前向兼容。
因此，为了实现前向兼容，在本发明具体实施例中，在具备前向兼容能力的元数据部分或附件支持Attachment Support部分来携带目标优化数据，使得不支持本发明实施例的处理方法的客户端可以忽略该目标优化数据，进而利用传统的方法进行处理，实现了前向兼容；
即，本发明具体实施例中，所述第二数据流包括元数据部分和附件支持Attachment Support部分，所述目标优化参数存储于所述元数据部分或附件支持Attachment Support部分。
当目标优化参数利用元数据部分或附件支持Attachment Support部分传输时，不会对接收端产生影响。因此，目标优化参数的数据量较小时，携带目标参数与否并不会对传输产生较大的影响，此时，可以直接在所有数据流都携带目标优化参数，而不提供不携带目标优化参数的码流，以降低码流数量，提高编码端的效率以及码流切换的效率。
而当目标优化参数的数据量较大时，携带目标参数与否会对传输产生较大影响，此时，切换效率不再是最重要的考虑因素，因此需要针对每一个码流都提供携带目标优化参数的数据流和不携带目标优化参数的数据流。
上述的方式兼顾了切换效率和传输效率。
即，本发明具体实施例中，如图5，还包括：
第三获取步骤105，获取与至少一个第二数据流对应的至少一个第三数据流，每一个第三数据流包括对应的第二图像编码数据，而不包括所述目标优化参数；
第一分支选择步骤106，当所述目标优化参数的数据量大于预定门限时，进入所述第一选择步骤103，否则进入第二选择步骤107；
所述第二选择步骤107具体为：从第二数据流集合中选择一个数据流；所述第二数据流集合由所述第一数据流和所述至少一个第二数据流组成；
所述第一数据流集合由所述第一数据流、所述至少一个第二数据流和所述至少一个第三数据流组成。
当然，只要携带目标优化参数，就会与不携带目标优化参数的传统码流在数据量上形成差异，进而影响码流的选择。因此，在本发明具体实施例中，另外的一种方式为所有分辨率的图像序列生成携带目标优化参数的新码流和不携带目标优化参数的传统码流，以提高自适应选择的灵活度。
即本发明实施例的自适应媒体业务的处理方法还包括：
第三获取步骤，获取与至少一个第二数据流对应的至少一个第三数据流，每一个第三数据流包括对应的第二图像编码数据，而不包括所述目标优化参数；
所述第一数据流集合还包括所述至少一个第三数据流。
之前已经提到，目标优化参数可以通过多种方式传输，但当对端不支持利用目标优化参数进行质量提升处理时，携带目标优化参数即使不对接收方产生影响，但也会增加无效数据量的传输。
因此，本发明具体实施例中，可以依据接收方支持目标优化参数与否来决定是否传输目标优化参数，以提高有限的带宽的利用率。
即，本发明具体实施例的自适应媒体业务的处理方法如图6所示，还包括：
第三获取步骤105，获取与至少一个第二数据流对应的至少一个第三数据流，每一个第三数据流包括对应的第二图像编码数据，而不包括所述目标优化参数；
第二分支选择步骤108，当接收方能够解析并利用所述目标优化参数进行质量提升处理时，进入所述第一选择步骤103，否则进入第三选择步骤109；
所述第三选择步骤109具体为：从第三数据流集合中选择一个数据流；所述第三数据流集合由所述第一数据流和所述至少一个第三数据流组成；
所述第一数据流集合由所述第一数据流和所述至少一个第二数据流组成。
在本发明的具体实施例中，考虑到接收方网络条件以及其他播放条件处于一个慢变特性，而码流的切换也不应该频繁的切换，所以该目标优化参数也可以是周期性发送或者目标优化参数发生改变时发送，以降低由于目标优化参数带来的数据传输量的增加。此时需要在接收方保存历史目标优化参数并实时更新，在没有新的目标优化参数时，利用保存的历史目标优化参数进行后续的质量提升处理。
此时，本发明实施例的自适应媒体业务的处理方法，如图7所示，还包括：
第二判断步骤110，在获取至少一个第二数据流之前判断是否需要更新所述目标优化参数，获取一判断结果；
在判断结果指示需要更新所述目标优化参数，进入所述第二获取步骤102，否则进入替换步骤111；
替换步骤111，获取与至少一个第二数据流对应的至少一个第三数据流，并从第三数据流集合中选择一个数据流，进入所述第一发送步骤；每一个第三数据流包括对应的第二图像编码数据，而不包括所述目标优化参数；所述第三数据流集合由所述第一数据流和所述至少一个第三数据流组成。
通过上述的方式，可以进一步降低由于目标优化参数带来的数据增量。
而是否需要更新所述目标优化参数可以根据各种条件来判断，如更新周期到时，或者发现传输场景发生变化，或者接收方选择的码流发生变化等，在此不一一列举。
以上从编码端描述了本发明实施例的自适应媒体业务的处理方法，以下从解码端进一步描述本发明实施例的自适应媒体业务的处理方法如下。
本发明实施例的自适应媒体业务的处理方法用于解码端时，如图8所示，包括
接收步骤201，接收发送方依据接收方条件选择的第二数据流；所述第二数据流中包括用于传输第二图像编码数据的第一部分和用于传输目标优化参数的第二部分；
解析步骤202，解析所述第二数据流，获取所述第一部分携带的第二图像编码数据和第二部分携带的目标优化参数；
解码步骤203，对所述第二图像编码数据进行解码，得到第二图像序列；所述第二图像序列的图像质量低于原始的第一图像序列的图像质量；
质量提升步骤204，利用所述目标优化参数对所述第二图像序列进行质量提升处理，得到图像质量优于第二图像序列的图像质量的第三图像序列。
为了使得发送方仅在接收方能够解析并利用所述目标优化参数进行质量提升处理时才按发送目标优化参数，以提高有限的网络带宽的利用率，本发明实施例的自适应媒体业务的处理方法，还包括：
第二发送步骤，向所述发送方发送所述接收方条件。
本发明的具体实施例中，目标优化参数的确定可以是依据如下条件确定：所述目标优化参数out_param为至少两个可用优化参数in_param中，使得MLM(LR,in_param)与HR具有最大相似度的优化参数；所述HR为所述第一图像序列，所述LR为所述第二图像序列，所述MLM(LR,in_param)为利用所述可用优化参数in_param对所述LR进行质量提升处理得到的图像序列。
换句话说，目标优化参数的确定可以是依据如下条件确定：第一相似度大于任意一个第二相似度，所述第一相似度为所述第三图像序列与所述第一图像序列的相似度，第二相似度为利用可用优化参数中与所述目标优化参数不同的其他优化参数对所述第二图像序列进行质量提升处理得到的图像序列与所述第一图像序列的相似度。
具体的处理已经在之前已经进行详细描述，在此不再重复。
为了使得发送方仅在接收方能够解析并利用所述目标优化参数进行质量提升处理时才按发送目标优化参数，以提高有限的网络带宽的利用率，本发明实施例的自适应媒体业务的处理方法，还包括：
第三发送步骤，发送指示接收方能够解析并利用所述目标优化参数进行质量提升处理的指示消息到发送方，使得发送方能够生成所述第二数据流，并从包括所述第二数据流的集合中进行自适应选择。
在本发明的具体实施例中，考虑到接收方网络条件以及其他播放条件处于一个慢变特性，而码流的切换也不应该频繁的切换，所以该目标优化参数也可以是周期性发送或者目标优化参数发生改变时发送，此时需要在接收方保存历史目标优化参数并实时更新，在没有新的目标优化参数时，利用保存的历史目标优化参数进行后续的质量提升处理。
即，本发明实施例的自适应媒体业务的处理方法还包括：
保存步骤，保存解析出的目标优化参数；
提取步骤，在接收到新的目标优化参数之前，提取保存的目标优化参数用于所述质量提升步骤。
当然，为了降低由于目标优化参数带来的数据增量，本发明具体实施例中。所述第二部分携带的目标优化参数为压缩后的目标优化参数，所述解析步骤中通过解压缩获取所述目标优化参数。
为了实现上述目的，本发明实施例公开了一种自适应媒体业务的处理装置，用于编码端，如图9所示，包括：
第一获取模块，用于获取第一数据流，所述第一数据流中包括对第一图像序列进行编码得到的第一图像编码数据，使得接收方能够依据所述第一图像编码数据得到第一图像序列；
第二获取模块，用于获取至少一个第二数据流，不同的第二数据流具有不同的图像质量，每一个所述第二数据流包括对第二图像序列进行编码得到的第二图像编码数据和与所述第二图像编码数据对应的目标优化参数，使得接收方能够解码所述第二图像编码数据得到所述第二图像序列，并利用所述目标优化参数对所述第二图像序列进行质量提升处理，得到第三图像序列；所述目标优化参数依据所述第一图像序列和第二图像序列得到，所述第一图像序列、第二图像序列和第三图像序列记载相同的内容，每一个所述第二图像序列的图像质量低于所述第一图像序列的图像质量和所述第三图像序列的图像质量；
第一选择模块，用于依据接收方条件，从第一数据流集合中选择一个数据流，所述第一数据流集合中至少包括所述第一数据流和所述至少一个第二数据流；
第一发送模块，用于发送选择的数据流到所述接收方。
上述的自适应媒体业务的处理装置，其中，所述目标优化参数out_param为至少两个可用优化参数in_param中，使得MLM(LR,in_param)与HR具有最大相似度的优化参数；所述HR为所述第一图像序列，所述LR为所述第二图像序列，所述MLM(LR,in_param)为利用所述可用优化参数in_param对所述LR进行质量提升处理得到的图像序列。
换句话说，目标优化参数的确定可以是依据如下条件确定：第一相似度大于任意一个第二相似度，所述第一相似度为所述第三图像序列与所述第一图像序列的相似度，第二相似度为利用可用优化参数中与所述目标优化参数不同的其他优化参数对所述第二图像序列进行质量提升处理得到的图像序列与所述第一图像序列的相似度。
上述的自适应媒体业务的处理装置，其中，所述第二获取模块具体包括：
降质处理模块，用于对所述第一图像序列进行降质处理，得到所述至少一个第二图像序列；
编码模块，用于对每一个所述第二图像序列进行编码，得到各自对应的所述第二图像编码数据；
第一参数确定模块，用于依据每一个所述第二图像序列计算各自对应的目标优化参数；
合并模块，用于合并每一个第二图像编码数据和对应的目标优化参数，得到所述至少一个第二数据流。
上述的自适应媒体业务的处理装置，其中，所述第二获取模块具体包括：
降质处理模块，用于对所述第一图像序列进行降质处理，得到所述至少一个第二图像序列；
编码模块，用于对每一个所述第二图像序列进行编码，得到各自对应的所述第二图像编码数据；
第二参数确定模块，用于确定所述第一图像序列的图像类型和每一个第二图像序列各自对应的降质级别；
第三参数确定模块，用于依据预先保存的降质级别、图像类型和目标优化参数的对应关系，确定每一个第二图像序列各自对应的目标优化参数；
合并模块，用于合并每一个第二图像编码数据和对应的目标优化参数，得到所述至少一个第二数据流。
上述的自适应媒体业务的处理装置，其中，所述第二获取模块具体包括：
降质处理模块，用于对所述第一图像序列进行降质处理，得到所述至少一个第二图像序列；
编码模块，用于对每一个所述第二图像序列进行编码，得到各自对应的所述第二图像编码数据；
第一判断模块，用于判断所述自适应媒体业务的业务类型；
第四参数确定模块，用于当所述自适应媒体业务的业务类型为实时业务时，依据预先保存的降质级别、图像类型和目标优化参数的对应关系，获取每一个第二图像序列各自对应的目标优化参数，否则依据每一个所述第二图像序列计算各自对应的目标优化参数；
合并模块，用于合并每一个第二图像编码数据和对应的目标优化参数，得到所述至少一个第二数据流。
上述的自适应媒体业务的处理装置，其中，还包括：
压缩模块，用于压缩每一个所述第二图像序列各自对应的目标优化参数；
所述合并模块具体用于合并每一个第二图像编码数据和对应的压缩后的目标优化参数。
上述的自适应媒体业务的处理装置，其中，所述第二数据流包括元数据部分和附件支持Attachment Support部分，所述目标优化参数存储于所述元数据部分或附件支持Attachment Support部分。
上述的自适应媒体业务的处理装置，其中，还包括：
第三获取模块，用于获取与至少一个第二数据流对应的至少一个第三数据流，每一个第三数据流包括对应的第二图像编码数据，而不包括所述目标优化参数；
第一分支选择模块，用于当所述目标优化参数的数据量大于预定门限时，触发所述第一选择模块，否则触发第二选择模块；
所述第二选择模块具体用于：从第二数据流集合中选择一个数据流；所述第二数据流集合由所述第一数据流和所述至少一个第二数据流组成；
所述第一数据流集合由所述第一数据流、所述至少一个第二数据流和所述至少一个第三数据流组成。
上述的自适应媒体业务的处理装置，其中，还包括：
第三获取模块，用于获取与至少一个第二数据流对应的至少一个第三数据流，每一个第三数据流包括对应的第二图像编码数据，而不包括所述目标优化参数；
所述第一数据流集合还包括所述至少一个第三数据流。
上述的自适应媒体业务的处理装置，其中，还包括：
第三获取模块，用于获取与至少一个第二数据流对应的至少一个第三数据流，每一个第三数据流包括对应的第二图像编码数据，而不包括所述目标优化参数；
第二分支选择模块，用于当接收方能够解析并利用所述目标优化参数进行质量提升处理时，触发所述第一选择模块，否则触发第三选择模块；
所述第三选择模块具体用于从第三数据流集合中选择一个数据流；所述第三数据流集合由所述第一数据流和所述至少一个第三数据流组成；
所述第一数据流集合由所述第一数据流和所述至少一个第二数据流组成。
上述的自适应媒体业务的处理装置中，如图10所示，还包括：
第二判断模块，用于在获取至少一个第二数据流之前判断是否需要更新所述目标优化参数，获取一判断结果，在判断结果指示需要更新所述目标优化参数，触发所述第二获取模块，否则触发替换模块；
所述替换模块用于获取与至少一个第二数据流对应的至少一个第三数据流，并从第三数据流集合中选择一个数据流，进入所述第一发送步骤；每一个第三数据流包括对应的第二图像编码数据，而不包括所述目标优化参数；所述第三数据流集合由所述第一数据流和所述至少一个第三数据流组成。
为了实现上述目的，本发明实施例公开了一种自适应媒体业务的处理装置，用于解码端，如图11所示，包括：
接收模块，用于接收发送方依据接收方条件选择的第二数据流；所述第二数据流中包括用于传输第二图像编码数据的第一部分和用于传输目标优化参数的第二部分；
解析模块，用于解析所述第二数据流，获取所述第一部分携带的第二图像编码数据和第二部分携带的目标优化参数；
解码模块，用于对所述第二图像编码数据进行解码，得到第二图像序列；所述第二图像序列的图像质量低于原始的第一图像序列的图像质量；
质量提升模块，用于利用所述目标优化参数对所述第二图像序列进行质量提升处理，得到图像质量优于第二图像序列的图像质量的第三图像序列。
上述的自适应媒体业务的处理装置，其中，还包括：
第二发送模块，用于向所述发送方发送所述接收方条件。
上述的自适应媒体业务的处理装置，其中，所述目标优化参数out_param为至少两个可用优化参数in_param中，使得MLM(LR,in_param)与HR具有最大相似度的优化参数；所述HR为所述第一图像序列，所述LR为所述第二图像序列，所述MLM(LR,in_param)为利用所述可用优化参数in_param对所述LR进行质量提升处理得到的图像序列。
换句话说，目标优化参数的确定可以是依据如下条件确定：第一相似度大于任意一个第二相似度，所述第一相似度为所述第三图像序列与所述第一图像序列的相似度，第二相似度为利用可用优化参数中与所述目标优化参数不同的其他优化参数对所述第二图像序列进行质量提升处理得到的图像序列与所述第一图像序列的相似度。
上述的自适应媒体业务的处理装置，其中，还包括：
第三发送模块，用于发送指示接收方能够解析并利用所述目标优化参数进行质量提升处理的指示消息到发送方，使得发送方能够生成所述第二数据流，并从包括所述第二数据流的集合中进行自适应选择。
上述的自适应媒体业务的处理装置，其中，还包括：
保存模块，用于保存解析出的目标优化参数；
提取模块，用于在接收到新的目标优化参数之前，提取保存的目标优化参数用于所述质量提升模块。
当然，为了降低由于目标优化参数带来的数据增量，本发明具体实施例中。所述第二部分携带的目标优化参数为压缩后的目标优化参数，所述解析模块具体用于通过解压缩获取所述目标优化参数。
为了实现上述目的，本发明实施例公开了一种编码器，包括上述的用于编码端的自适应媒体业务的处理装置。
为了实现上述目的，本发明实施例公开了一种解码器，包括上述的用于解码端的自适应媒体业务的处理装置。
下面分别以离线业务和实时业务为例根据本发明实施例形成的业务系统进行进一步详细说明如下。
如图11所示，为根据本发明实施例形成的用于离线业务的编码端的业务系统的结构示意图。
如图11所示，其中编码模块的输入为一个图像序列(包括一个或多个图像)，其输出为一个压缩比特流(bit stream)，其数据量小于或等于输入的图像序列的数据量。
结合图11描述编码端的工作过程如下：
多个压缩的比特流(图11中为N+1个)作为第一选择&发送模块的输入，第一选择&发送模块根据用户端的网络条件和/或回放条件从N+1个比特流中选择其中一个进行发送。
输入到第一选择&发送模块的第一个比特流由编码器对原始输入图像序列HR进行压缩得到，而其他的N个比特流则通过对HR进行其他的附加处理(如降低解析度)得到。
对于每一个比特流而言，其处理过程如下所述。
首先，由降质处理模块对HR进行质量降低处理(如降低解析度)，得到LR_m。如采用HEVC、AVC、MPEG-2、JPEG 2000等算法进行处理。
相对于HR而言，LR_m总的像素数量和/或每像素的比特数降低。如HR为分辨率为1920*1080的RGB图像，每像素的比特数为24bits，而LR_m为分辨率为960*540的图像，每像素的比特数为8bit。
其次，由编码模块对LR_m进行压缩处理，得到原始比特流；
如编码模块可以将分辨率为1920*1080的7500YUV 4:2:0图像编码为2Mbps的HEVC码流。
再次，由第一参数确定模块利用之前提到的方法计算得到与LR_m对应的目标优化参数；
再次，由压缩模块对与LR_m对应的目标优化参数进行压缩处理；
如符合IEEE浮点数算术标准的1024位的目标优化参数，其可以利用如LZ77算法和哈弗曼编码压缩为5KB的比特流。
最后，由合并模块合并原始比特流和压缩后的目标优化参数，得到输入到第一选择&发送模块的比特流。
如对于编码模块得到的比特流为MPEG-TS stream，其中包括一个2Mbps的HEVC视频流和一个64kbps的AAC音频流，而目标优化参数也可以压缩为比特流，二者合并即可形成最终的比特流。
而第一选择&发送模块接收由接收方反馈的网络状况和/或回放条件，在不同的比特流之间按照比特率从低到高的顺序切换，选择合适接收方播放的比特流。
而在不同的情况下，这些比特流可以如下的集合：
A、由所述第一数据流、所述至少一个第二数据流和所述至少一个第三数据流组成的数据流集合；
B、由所述第一数据流和所述至少一个第二数据流组组成的数据流集合；
C、由所述第一数据流和所述至少一个第三数据流组成的数据流集合。
A的一种举例如下，包括如下的码流：
分辨率为4K，画面每秒传输帧数为30fps，编码算法为高效视频编码HEVC(20Mbps)；
分辨率为1080P，画面每秒传输帧数为30fps，编码算法为HEVC(10Mbps)，且携带Param_1(大小为500KB)
分辨率为1080P，画面每秒传输帧数为30fps，编码算法为HEVC(10Mbps)，不携带Param_1；
分辨率为720p，画面每秒传输帧数为25fps，编码算法为HEVC(5Mbps)，且携带Param_2(大小为200KB)
分辨率为720p，画面每秒传输帧数为25fps，编码算法为HEVC(5Mbps)，不携带Param_2；
分辨率为576p，画面每秒传输帧数为25fps，编码算法为HEVC(1Mbps)，且携带Param_3(大小为100KB)
分辨率为576p，画面每秒传输帧数为25fps，编码算法为HEVC(1Mbps)，不携带Param_3。
如图12所示，为根据本发明实施例形成的用于实时业务的编码端的业务系统的结构示意图，其与图11所示的结构的差异主要在于目标优化参数的获取方式不同，对于其他相同的部分不再重复描述。
其中第二参数确定模块需要确定图像的类型以及HR以及LR_m的分辨率，而第三参数确定模块即可调用数据库中记录的对应关系来确定与图像类型、以及HR以及LR_m的分辨率唯一对应的目标优化参数。
如对于分辨率为1920*1080的图像，可以使用整数数组[1080,1920]来记录。
在本发明具体实施例中，针对每一个图像类型和降质处理得到的图形的分辨率的组合确定一个唯一的ID，而针对每一个ID，在数据库中对应保存该ID对应的目标优化参数。
因此，当图像类型和降质处理得到的图形的分辨率确定之后，即可得到ID，而通过该ID即可得到对应的目标优化参数。
在编码端介绍完毕之后，下面介绍本发明实施例形成的业务系统在解码端的结构示意图。
如图14所示，其包括如下几个部分：
1、接收模块，也可称之为流客户端，其执行两个功能，说明如下。
接收功能，即从对端接收压缩比特流。
反馈功能，收集本端的网络状况和/或回放状态灯，并反馈到服务器端，使得服务器能够依据反馈的信息选择合适的比特流。
按照现有的设计，该接收模块可以执行如下的任务：解析manifest或文件头，以确定可用的媒体文件和速率信息，设置和管理至少一个源缓存，请求并下载内容片断到源缓存，处理媒体事件等。
本发明实施例并没有改变上述的接收模块的已有功能，在此不作详细描述。
当然，为了使得对端能够有针对性的进行数据流的准备，在本发明具体实施例中，反馈功能还可以包括向服务器端反馈本端是否能够解析并利用目标优化参数进行质量提升处理的信息以及相关的信息(如当前版本等)。
该接收模块可以采用现有的如MPEG-DASH客户端来实现。
在接收模块接收到数据流之后，即可由拆分模块将其拆分为记录有第二图像编码数据的第一部分和记录有目标优化参数的第二部分，分别传输给解码模块和解析模块进行处理。
而解码模块和编码模块是相对应的，解析模块和压缩模块是相对应的，在此不作重复描述。
当解析模块解析出目标优化参数时还需要更新寄存器中原有的参数，以便于后续使用。
最后，由质量提升处理模块利用得到的目标优化参数对解码出的图像序列进行质量提升处理。
当然，当当前数据流中没有目标优化参数时，则从寄存器中取出之前保存的目标优化参数进行质量提升处理。
此说明书中所描述的许多功能部件都被称为模块，以便更加特别地强调其实现方式的独立性。
本发明实施例中，模块可以用软件实现，以便由各种类型的处理器执行。举例来说，一个标识的可执行代码模块可以包括计算机指令的一个或多个物理或者逻辑块，举例来说，其可以被构建为对象、过程或函数。尽管如此，所标识模块的可执行代码无需物理地位于一起，而是可以包括存储在不同位里上的不同的指令，当这些指令逻辑上结合在一起时，其构成模块并且实现该模块的规定目的。
实际上，可执行代码模块可以是单条指令或者是许多条指令，并且甚至可以分布在多个不同的代码段上，分布在不同程序当中，以及跨越多个存储器设备分布。同样地，操作数据可以在模块内被识别，并且可以依照任何适当的形式实现并且被组织在任何适当类型的数据结构内。所述操作数据可以作为单个数据集被收集，或者可以分布在不同位置上(包括在不同存储设备上)，并且至少部分地可以仅作为电子信号存在于系统或网络上。
在模块可以利用软件实现时，考虑到现有硬件工艺的水平，所以可以以软件实现的模块，在不考虑成本的情况下，本领域技术人员都可以搭建对应的硬件电路来实现对应的功能，所述硬件电路包括常规的超大规模集成(VLSI)电路或者门阵列以及诸如逻辑芯片、晶体管之类的现有半导体或者是其它分立的元件。模块还可以用可编程硬件设备，诸如现场可编程门阵列、可编程阵列逻辑、可编程逻辑设备等实现。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (36)

1.一种自适应媒体业务的处理方法，用于编码端，其特征在于，包括：
第一获取步骤，获取第一数据流，所述第一数据流中包括对第一图像序列进行编码得到的第一图像编码数据，使得接收方能够依据所述第一图像编码数据得到第一图像序列，所述第一图像序列包括原始图像序列；
第二获取步骤，获取至少一个第二数据流，不同的第二数据流具有不同的图像质量，每一个所述第二数据流包括对第二图像序列进行编码得到的第二图像编码数据和与所述第二图像编码数据对应的目标优化参数，使得接收方能够解码所述第二图像编码数据得到所述第二图像序列，并利用所述目标优化参数对所述第二图像序列进行质量提升处理，得到第三图像序列；所述目标优化参数依据所述第一图像序列和第二图像序列得到，所述第一图像序列、第二图像序列和第三图像序列记载了相同的内容，每一个所述第二图像序列的图像质量低于所述第一图像序列的图像质量和所述第三图像序列的图像质量；
第一选择步骤，依据接收方条件，从第一数据流集合中选择一个数据流，所述第一数据流集合中至少包括所述第一数据流和所述至少一个第二数据流；
第一发送步骤，发送选择的数据流到所述接收方。
2.根据权利要求1所述的自适应媒体业务的处理方法，其特征在于，所述目标优化参数为至少两个可用优化参数in_param中，使得MLM(LR,in_param)与第一图像序列具有最大相似度的优化参数；所述LR为所述第二图像序列，所述MLM(LR,in_param)为利用所述可用优化参数in_param对所述LR进行质量提升处理得到的图像序列。
3.根据权利要求1所述的自适应媒体业务的处理方法，其特征在于，所述第二获取步骤具体包括：
降质处理步骤，对所述第一图像序列进行降质处理，得到所述至少一个第二图像序列；
编码步骤，对每一个所述第二图像序列进行编码，得到各自对应的所述第二图像编码数据；
第一参数确定步骤，依据每一个所述第二图像序列计算各自对应的目标优化参数；
合并步骤，合并每一个第二图像编码数据和对应的目标优化参数，得到所述至少一个第二数据流。
4.根据权利要求1所述的自适应媒体业务的处理方法，其特征在于，所述第二获取步骤具体包括：
降质处理步骤，对所述第一图像序列进行降质处理，得到所述至少一个第二图像序列；
编码步骤，对每一个所述第二图像序列进行编码，得到各自对应的所述第二图像编码数据；
第二参数确定步骤，确定所述第一图像序列的图像类型和每一个第二图像序列各自对应的降质级别；
第三参数确定步骤，依据预先保存的降质级别、图像类型和目标优化参数的对应关系，确定每一个第二图像序列各自对应的目标优化参数；
合并步骤，合并每一个第二图像编码数据和对应的目标优化参数，得到所述至少一个第二数据流。
5.根据权利要求1所述的自适应媒体业务的处理方法，其特征在于，所述第二获取步骤具体包括：
降质处理步骤，对所述第一图像序列进行降质处理，得到所述至少一个第二图像序列；
编码步骤，对每一个所述第二图像序列进行编码，得到各自对应的所述第二图像编码数据；
第一判断步骤，判断所述自适应媒体业务的业务类型；
第四参数确定步骤，当所述自适应媒体业务的业务类型为实时业务时，依据预先保存的降质级别、图像类型和目标优化参数的对应关系，获取每一个第二图像序列各自对应的目标优化参数，否则依据每一个所述第二图像序列计算各自对应的目标优化参数；
合并步骤，合并每一个第二图像编码数据和对应的目标优化参数，得到所述至少一个第二数据流。
6.根据权利要求3-5中任意一项所述的自适应媒体业务的处理方法，其特征在于，还包括：
压缩步骤，压缩每一个所述第二图像序列各自对应的目标优化参数；
所述合并步骤中，合并每一个第二图像编码数据和对应的压缩后的目标优化参数。
7.根据权利要求2-5中任意一项所述的自适应媒体业务的处理方法，其特征在于，所述第二数据流包括元数据部分和附件支持Attachment Support部分，所述目标优化参数存储于所述元数据部分或附件支持Attachment Support部分。
8.根据权利要求7所述的自适应媒体业务的处理方法，其特征在于，还包括：
第三获取步骤，获取与至少一个第二数据流对应的至少一个第三数据流，每一个第三数据流包括对应的第二图像编码数据，而不包括所述目标优化参数；
第一分支选择步骤，当所述目标优化参数的数据量大于预定门限时，进入所述第一选择步骤，否则进入第二选择步骤；
所述第二选择步骤具体为：从第二数据流集合中选择一个数据流；所述第二数据流集合由所述第一数据流和所述至少一个第二数据流组成；
所述第一数据流集合由所述第一数据流、所述至少一个第二数据流和所述至少一个第三数据流组成。
9.根据权利要求2-5中任意一项所述的自适应媒体业务的处理方法，其特征在于，还包括：
第三获取步骤，获取与至少一个第二数据流对应的至少一个第三数据流，每一个第三数据流包括对应的第二图像编码数据，而不包括所述目标优化参数；
所述第一数据流集合还包括所述至少一个第三数据流。
10.根据权利要求2-5中任意一项所述的自适应媒体业务的处理方法，其特征在于，还包括：
第三获取步骤，获取与至少一个第二数据流对应的至少一个第三数据流，每一个第三数据流包括对应的第二图像编码数据，而不包括所述目标优化参数；
第二分支选择步骤，当接收方能够解析并利用所述目标优化参数进行质量提升处理时，进入所述第一选择步骤，否则进入第三选择步骤；
所述第三选择步骤具体为：从第三数据流集合中选择一个数据流；所述第三数据流集合由所述第一数据流和所述至少一个第三数据流组成；
所述第一数据流集合由所述第一数据流和所述至少一个第二数据流组成。
11.根据权利要求2-5中任意一项所述的自适应媒体业务的处理方法，其特征在于，还包括：
第二判断步骤，在获取至少一个第二数据流之前判断是否需要更新所述目标优化参数，获取一判断结果，在判断结果指示需要更新所述目标优化参数，进入所述第二获取步骤，否则进入替换步骤；
所述替换步骤，获取与至少一个第二数据流对应的至少一个第三数据流，并从第三数据流集合中选择一个数据流，进入所述第一发送步骤；每一个第三数据流包括对应的第二图像编码数据，而不包括所述目标优化参数；所述第三数据流集合由所述第一数据流和所述至少一个第三数据流组成。
12.一种自适应媒体业务的处理方法，用于解码端，其特征在于，包括：
接收步骤，接收发送方依据接收方条件选择的第二数据流；所述第二数据流中包括用于传输第二图像编码数据的第一部分和用于传输目标优化参数的第二部分；
解析步骤，解析所述第二数据流，获取所述第一部分携带的第二图像编码数据和第二部分携带的目标优化参数；
解码步骤，对所述第二图像编码数据进行解码，得到第二图像序列；所述第二图像序列的图像质量低于原始的第一图像序列的图像质量，所述第一图像序列包括原始图像序列；
质量提升步骤，利用所述目标优化参数对所述第二图像序列进行质量提升处理，得到图像质量优于第二图像序列的图像质量的第三图像序列。
13.根据权利要求12所述的自适应媒体业务的处理方法，其特征在于，还包括：
第二发送步骤，向所述发送方发送所述接收方条件。
14.根据权利要求12所述的自适应媒体业务的处理方法，其特征在于，所述目标优化参数为至少两个可用优化参数in_param中，使得MLM(LR,in_param)与第一图像序列具有最大相似度的优化参数；所述LR为所述第二图像序列，所述MLM(LR,in_param)为利用所述可用优化参数in_param对所述LR进行质量提升处理得到的图像序列。
15.根据权利要求12所述的自适应媒体业务的处理方法，其特征在于，还包括：
第三发送步骤，发送指示接收方能够解析并利用所述目标优化参数进行质量提升处理的指示消息到发送方，使得发送方能够生成所述第二数据流，并从包括所述第二数据流的集合中进行自适应选择。
16.根据权利要求12所述的自适应媒体业务的处理方法，其特征在于，还包括：
保存步骤，保存解析出的目标优化参数；
提取步骤，在接收到新的目标优化参数之前，提取保存的目标优化参数用于所述质量提升步骤。
17.根据权利要求12所述的自适应媒体业务的处理方法，其特征在于，所述第二部分携带的目标优化参数为压缩后的目标优化参数，所述解析步骤中通过解压缩获取所述目标优化参数。
18.一种自适应媒体业务的处理装置，用于编码端，其特征在于，包括：
第一获取模块，用于获取第一数据流，所述第一数据流中包括对第一图像序列进行编码得到的第一图像编码数据，使得接收方能够依据所述第一图像编码数据得到第一图像序列，所述第一图像序列包括原始图像序列；
第二获取模块，用于获取至少一个第二数据流，不同的第二数据流具有不同的图像质量，每一个所述第二数据流包括对第二图像序列进行编码得到的第二图像编码数据和与所述第二图像编码数据对应的目标优化参数，使得接收方能够解码所述第二图像编码数据得到所述第二图像序列，并利用所述目标优化参数对所述第二图像序列进行质量提升处理，得到第三图像序列；所述目标优化参数依据所述第一图像序列和第二图像序列得到，所述第一图像序列、第二图像序列和第三图像序列记载相同的内容，每一个所述第二图像序列的图像质量低于所述第一图像序列的图像质量和所述第三图像序列的图像质量；
第一选择模块，用于依据接收方条件，从第一数据流集合中选择一个数据流，所述第一数据流集合中至少包括所述第一数据流和所述至少一个第二数据流；
第一发送模块，用于发送选择的数据流到所述接收方。
19.根据权利要求18所述的自适应媒体业务的处理装置，其特征在于，所述目标优化参数out_param为至少两个可用优化参数in_param中，使得MLM(LR,in_param)与第一图像序列具有最大相似度的优化参数；所述LR为所述第二图像序列，所述MLM(LR,in_param)为利用所述可用优化参数in_param对所述LR进行质量提升处理得到的图像序列。
20.根据权利要求18所述的自适应媒体业务的处理装置，其特征在于，所述第二获取模块具体包括：
降质处理模块，用于对所述第一图像序列进行降质处理，得到所述至少一个第二图像序列；
编码模块，用于对每一个所述第二图像序列进行编码，得到各自对应的所述第二图像编码数据；
第一参数确定模块，用于依据每一个所述第二图像序列计算各自对应的目标优化参数；
合并模块，用于合并每一个第二图像编码数据和对应的目标优化参数，得到所述至少一个第二数据流。
21.根据权利要求18所述的自适应媒体业务的处理装置，其特征在于，所述第二获取模块具体包括：
降质处理模块，用于对所述第一图像序列进行降质处理，得到所述至少一个第二图像序列；
编码模块，用于对每一个所述第二图像序列进行编码，得到各自对应的所述第二图像编码数据；
第二参数确定模块，用于确定所述第一图像序列的图像类型和每一个第二图像序列各自对应的降质级别；
第三参数确定模块，用于依据预先保存的降质级别、图像类型和目标优化参数的对应关系，确定每一个第二图像序列各自对应的目标优化参数；
合并模块，用于合并每一个第二图像编码数据和对应的目标优化参数，得到所述至少一个第二数据流。
22.根据权利要求18所述的自适应媒体业务的处理装置，其特征在于，所述第二获取模块具体包括：
降质处理模块，用于对所述第一图像序列进行降质处理，得到所述至少一个第二图像序列；
编码模块，用于对每一个所述第二图像序列进行编码，得到各自对应的所述第二图像编码数据；
第一判断模块，用于判断所述自适应媒体业务的业务类型；
第四参数确定模块，用于当所述自适应媒体业务的业务类型为实时业务时，依据预先保存的降质级别、图像类型和目标优化参数的对应关系，获取每一个第二图像序列各自对应的目标优化参数，否则依据每一个所述第二图像序列计算各自对应的目标优化参数；
合并模块，用于合并每一个第二图像编码数据和对应的目标优化参数，得到所述至少一个第二数据流。
23.根据权利要求20-22中任意一项所述的自适应媒体业务的处理装置，其特征在于，还包括：
压缩模块，用于压缩每一个所述第二图像序列各自对应的目标优化参数；
所述合并模块具体用于合并每一个第二图像编码数据和对应的压缩后的目标优化参数。
24.根据权利要求19-22中任意一项所述的自适应媒体业务的处理装置，其特征在于，所述第二数据流包括元数据部分和附件支持Attachment Support部分，所述目标优化参数存储于所述元数据部分或附件支持Attachment Support部分。
25.根据权利要求24所述的自适应媒体业务的处理装置，其特征在于，还包括：
第三获取模块，用于获取与至少一个第二数据流对应的至少一个第三数据流，每一个第三数据流包括对应的第二图像编码数据，而不包括所述目标优化参数；
第一分支选择模块，用于当所述目标优化参数的数据量大于预定门限时，触发所述第一选择模块，否则触发第二选择模块；
所述第二选择模块具体用于：从第二数据流集合中选择一个数据流；所述第二数据流集合由所述第一数据流和所述至少一个第二数据流组成；
所述第一数据流集合由所述第一数据流、所述至少一个第二数据流和所述至少一个第三数据流组成。
26.根据权利要求19-22中任意一项所述的自适应媒体业务的处理装置，其特征在于，还包括：
第三获取模块，用于获取与至少一个第二数据流对应的至少一个第三数据流，每一个第三数据流包括对应的第二图像编码数据，而不包括所述目标优化参数；
所述第一数据流集合还包括所述至少一个第三数据流。
27.根据权利要求19-22中任意一项所述的自适应媒体业务的处理装置，其特征在于，还包括：
第三获取模块，用于获取与至少一个第二数据流对应的至少一个第三数据流，每一个第三数据流包括对应的第二图像编码数据，而不包括所述目标优化参数；
第二分支选择模块，用于当接收方能够解析并利用所述目标优化参数进行质量提升处理时，触发所述第一选择模块，否则触发第三选择模块；
所述第三选择模块具体用于从第三数据流集合中选择一个数据流；所述第三数据流集合由所述第一数据流和所述至少一个第三数据流组成；
所述第一数据流集合由所述第一数据流和所述至少一个第二数据流组成。
28.根据权利要求19-22中任意一项所述的自适应媒体业务的处理装置，其特征在于，还包括：
第二判断模块，用于在获取至少一个第二数据流之前判断是否需要更新所述目标优化参数，获取一判断结果，在判断结果指示需要更新所述目标优化参数，触发所述第二获取模块，否则触发替换模块；
所述替换模块用于获取与至少一个第二数据流对应的至少一个第三数据流，并从第三数据流集合中选择一个数据流，进入所述第一发送步骤；每一个第三数据流包括对应的第二图像编码数据，而不包括所述目标优化参数；所述第三数据流集合由所述第一数据流和所述至少一个第三数据流组成。
29.一种自适应媒体业务的处理装置，用于解码端，其特征在于，包括：
接收模块，用于接收发送方依据接收方条件选择的第二数据流；所述第二数据流中包括用于传输第二图像编码数据的第一部分和用于传输目标优化参数的第二部分；
解析模块，用于解析所述第二数据流，获取所述第一部分携带的第二图像编码数据和第二部分携带的目标优化参数；
解码模块，用于对所述第二图像编码数据进行解码，得到第二图像序列；所述第二图像序列的图像质量低于原始的第一图像序列的图像质量，所述第一图像序列包括原始图像序列；
质量提升模块，用于利用所述目标优化参数对所述第二图像序列进行质量提升处理，得到图像质量优于第二图像序列的图像质量的第三图像序列。
30.根据权利要求29所述的自适应媒体业务的处理装置，其特征在于，还包括：
第二发送模块，用于向所述发送方发送所述接收方条件。
31.根据权利要求29所述的自适应媒体业务的处理装置，其特征在于，所述目标优化参数为至少两个可用优化参数in_param中，使得MLM(LR,in_param)与第一图像序列具有最大相似度的优化参数；所述LR为所述第二图像序列，所述MLM(LR,in_param)为利用所述可用优化参数in_param对所述LR进行质量提升处理得到的图像序列。
32.根据权利要求29所述的自适应媒体业务的处理装置，其特征在于，还包括：
第三发送模块，用于发送指示接收方能够解析并利用所述目标优化参数进行质量提升处理的指示消息到发送方，使得发送方能够生成所述第二数据流，并从包括所述第二数据流的集合中进行自适应选择。
33.根据权利要求29所述的自适应媒体业务的处理装置，其特征在于，还包括：
保存模块，用于保存解析出的目标优化参数；
提取模块，用于在接收到新的目标优化参数之前，提取保存的目标优化参数用于所述质量提升模块。
34.根据权利要求29所述的自适应媒体业务的处理装置，其特征在于，所述第二部分携带的目标优化参数为压缩后的目标优化参数，所述解析模块具体通过解压缩获取所述目标优化参数。
35.一种编码器，其特征在于，包括权利要求18-28任意一项所述的自适应媒体业务的处理装置。
36.一种解码器，其特征在于，包括权利要求29-34任意一项所述的自适应媒体业务的处理装置。
CN201510552867.2A 2015-09-01 2015-09-01 一种自适应媒体业务的处理方法、装置、编码器及解码器 Active CN105100823B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201510552867.2A CN105100823B (zh) 2015-09-01 2015-09-01 一种自适应媒体业务的处理方法、装置、编码器及解码器
PCT/CN2016/071426 WO2017036070A1 (zh) 2015-09-01 2016-01-20 一种自适应媒体业务的处理方法及其装置、编码器及解码器
US15/306,212 US10547888B2 (en) 2015-09-01 2016-01-20 Method and device for processing adaptive media service, encoder and decoder

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510552867.2A CN105100823B (zh) 2015-09-01 2015-09-01 一种自适应媒体业务的处理方法、装置、编码器及解码器

Publications (2)

Publication Number Publication Date
CN105100823A CN105100823A (zh) 2015-11-25
CN105100823B true CN105100823B (zh) 2019-03-12

Family

ID=54580225

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510552867.2A Active CN105100823B (zh) 2015-09-01 2015-09-01 一种自适应媒体业务的处理方法、装置、编码器及解码器

Country Status (3)

Country Link
US (1) US10547888B2 (zh)
CN (1) CN105100823B (zh)
WO (1) WO2017036070A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105100823B (zh) * 2015-09-01 2019-03-12 京东方科技集团股份有限公司 一种自适应媒体业务的处理方法、装置、编码器及解码器
CN105550699B (zh) * 2015-12-08 2019-02-12 北京工业大学 一种基于cnn融合时空显著信息的视频识别分类方法
CN108134916B (zh) * 2016-12-01 2019-06-28 视联动力信息技术股份有限公司 一种4k终端和4k终端的数据处理方法
WO2019197715A1 (en) * 2018-04-09 2019-10-17 Nokia Technologies Oy An apparatus, a method and a computer program for running a neural network
US11017506B2 (en) 2019-05-03 2021-05-25 Amazon Technologies, Inc. Video enhancement using a generator with filters of generative adversarial network
US11210769B2 (en) * 2019-05-03 2021-12-28 Amazon Technologies, Inc. Video enhancement using a recurrent image date of a neural network
US11216917B2 (en) 2019-05-03 2022-01-04 Amazon Technologies, Inc. Video enhancement using a neural network
CN111737247B (zh) * 2020-07-21 2020-12-18 北京东方通科技股份有限公司 用于数据质量管控的实现方法
CN114025079B (zh) * 2021-09-29 2024-02-13 大连中科创达软件有限公司 一种图像质量优化参数的处理方法、装置和系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1663279A (zh) * 2002-06-18 2005-08-31 皇家飞利浦电子股份有限公司 视频编码方法以及相应的编码和解码设备
WO2010020336A1 (de) * 2008-08-21 2010-02-25 Audi Ag Verfahren zum gewinnen von bildern bei mehrfachempfang
CN103222277A (zh) * 2010-06-04 2013-07-24 三星电子株式会社 基于用于确定内容质量的多个元素的自适应流传输的方法和装置
CN104320669A (zh) * 2014-10-24 2015-01-28 北京有恒斯康通信技术有限公司 视频传输方法及装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8606966B2 (en) * 2006-08-28 2013-12-10 Allot Communications Ltd. Network adaptation of digital content
US20120030723A1 (en) 2010-07-27 2012-02-02 Motorola, Inc. Method and apparatus for streaming video
US20120102184A1 (en) 2010-10-20 2012-04-26 Sony Corporation Apparatus and method for adaptive streaming of content with user-initiated quality adjustments
US8689267B2 (en) * 2010-12-06 2014-04-01 Netflix, Inc. Variable bit video streams for adaptive streaming
US20130132462A1 (en) * 2011-06-03 2013-05-23 James A. Moorer Dynamically Generating and Serving Video Adapted for Client Playback in Advanced Display Modes
HUE043713T2 (hu) 2013-03-29 2019-09-30 Intel Ip Corp Minõségtudatos sebességillesztési technikák DASH streameléshez
CN105163124B (zh) 2015-08-28 2019-01-18 京东方科技集团股份有限公司 一种图像编码方法、图像解码方法及装置
CN105100823B (zh) 2015-09-01 2019-03-12 京东方科技集团股份有限公司 一种自适应媒体业务的处理方法、装置、编码器及解码器

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1663279A (zh) * 2002-06-18 2005-08-31 皇家飞利浦电子股份有限公司 视频编码方法以及相应的编码和解码设备
WO2010020336A1 (de) * 2008-08-21 2010-02-25 Audi Ag Verfahren zum gewinnen von bildern bei mehrfachempfang
CN103222277A (zh) * 2010-06-04 2013-07-24 三星电子株式会社 基于用于确定内容质量的多个元素的自适应流传输的方法和装置
CN104320669A (zh) * 2014-10-24 2015-01-28 北京有恒斯康通信技术有限公司 视频传输方法及装置

Also Published As

Publication number Publication date
CN105100823A (zh) 2015-11-25
WO2017036070A1 (zh) 2017-03-09
US20170272798A1 (en) 2017-09-21
US10547888B2 (en) 2020-01-28

Similar Documents

Publication Publication Date Title
CN105100823B (zh) 一种自适应媒体业务的处理方法、装置、编码器及解码器
US10798386B2 (en) Video compression with generative models
CN101189882B (zh) 用于视频压缩的编码器辅助帧率上变换（ea-fruc）的方法和装置
US8606966B2 (en) Network adaptation of digital content
US7082164B2 (en) Multimedia compression system with additive temporal layers
KR101751221B1 (ko) 하위 호환성 ｖｄｒ 코덱을 위한 효율적인 트랜스코딩
CN105187850B (zh) 提供经编码视频数据的信息及接收经编码视频数据的方法和设备
CN102450014B (zh) 用于质量感知视频优化的方法和视频优化器
US9357248B2 (en) Method and apparatus for adaptive bit rate content delivery
US10827181B1 (en) Differential adaptive bitrate streaming based on scene complexity
US8055974B2 (en) Content distribution method, encoding method, reception/reproduction method and apparatus, and program
EP3082337A1 (en) Variable block size encoder and encoding method
CN103858419A (zh) 用于无缝切换多媒体内容的分辨率的分辨率选择
US20120260145A1 (en) Per-Image Forward Error Correction
EP3322189B1 (en) Method and system for controlling video transcoding
JP2023524000A (ja) 品質正規化ビデオコード変換のための動的パラメータ選択
KR101032243B1 (ko) 스케일링가능한 비트스트림 추출을 위한 방법 및 시스템
US20210352347A1 (en) Adaptive video streaming systems and methods
US20120265858A1 (en) Streaming portions of a quilted graphic 2d image representation for rendering into a digital asset
US10750185B2 (en) High speed scalable video coding device and method using multi-track video
US12108055B2 (en) Scalable per-title encoding
CN116210224A (zh) 一种用于控制多媒体流应用所消耗的能量的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant