CN112188237A - 节目分发方法和装置、接收方法、终端设备及介质 - Google Patents

节目分发方法和装置、接收方法、终端设备及介质 Download PDF

Info

Publication number
CN112188237A
CN112188237A CN201910600092.XA CN201910600092A CN112188237A CN 112188237 A CN112188237 A CN 112188237A CN 201910600092 A CN201910600092 A CN 201910600092A CN 112188237 A CN112188237 A CN 112188237A
Authority
CN
China
Prior art keywords
program
conversion
parameters
model
conversion model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910600092.XA
Other languages
English (en)
Inventor
郭沛宇
王磊
薛子育
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Research Institute Of Radio And Television Science State Administration Of Radio And Television
Original Assignee
Research Institute Of Radio And Television Science State Administration Of Radio And Television
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Research Institute Of Radio And Television Science State Administration Of Radio And Television filed Critical Research Institute Of Radio And Television Science State Administration Of Radio And Television
Priority to CN201910600092.XA priority Critical patent/CN112188237A/zh
Priority to PCT/CN2020/089757 priority patent/WO2021000650A1/zh
Publication of CN112188237A publication Critical patent/CN112188237A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234309—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26208—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints
    • H04N21/26216—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints involving the channel capacity, e.g. network bandwidth

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开了一种节目分发方法和装置、节目接收方法、终端设备及介质，该方法包括：将第一节目通过下变换得到清晰度较低的第二节目；根据第一节目和第二节目获取上变换参数，上变换参数用于将第二节目变换为第一节目；将第二节目和上变换参数分发至下游节点。

Description

节目分发方法和装置、接收方法、终端设备及介质
技术领域
本发明涉及广播网络电视节目技术领域，更具体地，涉及一种节目分发方法和装置、节目接收方法、终端设备及介质。
背景技术
当前，随着我国超高清战略的持续推进，4K/8K等超高清内容产业发展迅猛，为媒体行业发展注入新的动能，超高清内容制作、分发、传输、消费为媒体产业链各方提供了新的增长机遇。
现有技术中，受限于网络传输带宽限制，节目分发效率较低。特别是对于超高清节目，由于超高清节目的高分辨率、高帧率、高动态范围和宽色域的特点，使得超高清节目的编码数据量大，有线电视网的一个频点仅能传输一套超高清节目码流，分发效率较低。在现有网络条件下，如何提高节目的分发效率就成为了亟待解决的技术问题。
发明内容
本发明的一个目的是提供一种提高节目分发效率的新技术方案。
根据本公开的一个实施例，通过将高清晰度的第一节目下变换为低清晰度的第二节目，将第二节目和上变换参数分发至下游节点，使得下游节点能够通过上变换参数将第二节目上变换回第一节目。由于在分发过程中传输的是低清晰度的第二节目和数据量很小的上变换参数，因而可以有效降低节目分发所占用的带宽，进而提高了节目分发的效率，能够在带宽不变的前提下为用户提供更多的节目内容。
通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。
附图说明
被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例，并且连同其说明一起用于解释本发明的原理。
图1是本发明实施例提供的节目分发系统的框图。
图2是本发明实施例提供的节目分发方法的流程图。
图3是本发明实施例提供的节目接收方法的流程图。
图4是本发明实施例提供的节目收发方法的流程图。
图5是本发明实施例提供的节目分发装置的结构示意图。
图6是本发明实施例提供的节目接收装置的结构示意图。
图7是本发明实施例提供的上变换模型的示意图。
图8是本发明实施例提供的跳转连接稠密模块的示意图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
图1是本发明实施例提供的节目分发系统的系统框图，如图1所示，该系统包括服务器101、分发网络102及终端设备103，服务器101和终端设备103通过分发网络102通信连接。终端设备103可以是一个，也可以是多个，图中示出了n个终端设备103，n为正整数。当然，服务器101也可以直接与终端设备103通信连接。
服务器101的配置可以包括但不限于处理器、存储器、接口装置、通信装置、输入装置、输出装置。处理器包括但不限于中央处理器CPU、微处理器MCU等。存储器包括但不限于ROM(只读存储器)、RAM(随机存取存储器)、诸如硬盘的非易失性存储器等。接口装置包括但不限于USB接口、串行接口、并行接口等。通信装置例如能够进行有线通信或无线通信，具体地可以包括WiFi通信、蓝牙通信、2G/3G/4G/5G通信等。输入装置包括但不限于键盘、鼠标、触摸屏等。输出装置包括但不限于显示屏、扬声器等。服务器101的配置也可以仅包括上述装置中的部分装置。
终端设备103例如可以是安装有智能操作系统(例如安卓、IOS、Windows、Linux等系统)的电子设备，包括但不限于便携式电脑、台式计算机、手机、平板电脑等。终端设备103的配置包括但不限于处理器、存储器、接口装置、通信装置、输入装置、输出装置。处理器包括但不限于中央处理器CPU、微处理器MCU等。存储器包括但不限于ROM(只读存储器)、RAM(随机存取存储器)、诸如硬盘的非易失性存储器等。接口装置包括但不限于USB接口、串行接口、并行接口等。通信装置例如能够进行有线通信或无线通信，具体地可以包括WiFi通信、蓝牙通信、2G/3G/4G/5G通信等。输入装置包括但不限于键盘、鼠标、触摸屏等。输出装置包括但不限于显示屏、扬声器等。终端设备103的配置也可以仅包括上述装置中的部分装置。
图1所示的节目分发系统仅仅是说明性的并且绝不意味着对本发明、其应用或使用的任何限制。应用于本发明的实施例中，服务器101的存储器用于存储指令，该指令用于控制处理器进行操作以执行本发明实施例提供的任意一项节目分发方法。同样地，应用于本发明的实施例中，终端设备103的存储器用于存储指令，该指令用于控制处理器进行操作以执行本发明实施例提供的任意一项节目接收方法。
本领域技术人员应当理解，尽管前面描述了服务器101和终端设备103的多个装置，但是，本发明可以仅涉及其中的部分装置。例如，服务器101可以只涉及处理器、存储器以及通信装置，终端设备103可以只涉及处理器、存储器、通信装置、显示屏以及扬声器。本领域技术人员可以根据本发明所公开的方案设计指令。指令如何控制处理器进行操作，是本领域公知技术，故在此不再详细描述。
本发明实施例提供的节目分发方法和节目接收方法涉及上游节点和下游节点，其中，上游节点是指节目的发送方，下游节点是指节目的接收方，由上游节点直接地或者间接地将节目分发给下游节点。
在一些应用场景中，上游节点可以是版权方的分发装置(例如版权方的服务器)或者视频内容服务商的分发装置(例如视频内容服务商的服务器)，下游节点可以是观看节目的用户的终端设备。
以图1所示的分发系统为例，上游节点可以是服务器101，下游节点可以是终端设备103。或者，上游节点可以是分发网络102中的某个节点网络设备，下游节点可以是终端设备103。或者，上游节点可以是服务器101，下游节点可以是分发网络102中的某个节点网络设备。
在一个具体的例子中，服务器101可以根据用户通过终端设备103提交的的点播信息来确定用户所需要的节目内容，利用本发明实施例提供的节目分发方法将用户需要的节目内容通过分发网络102分发给终端设备103。终端设备103利用本发明实施例提供的节目接收方法获取节目内容。
图2是本发明实施例提供的节目分发方法的流程图。下面以服务器101作为节目分发方法的执行主体为例，说明本发明实施例提供的节目分发方法。如图2所示，该节目分发方法包括以下步骤：
步骤S201，将第一节目通过下变换得到清晰度较低的第二节目。
下变换是指将清晰度较高的视频节目变换为清晰度较低的视频节目。例如，将高清节目通过下变换得到标清节目；又例如，将超高清节目通过下变换得到高清节目或者标清节目。在本实施例中，下变换即将清晰度较高的第一节目变换为清晰度较低的第二节目。
下变换可以由高分辨率信号通过抽取滤波变换为低分辨率信号实现。下变换例如可以采用切边模式、信箱模式或者挤压模式。切边模式，即画面左右两侧被剪切；信箱模式，即在画面的上下两侧加黑边；挤压模式，即将画面横向压缩。
服务器101可以通过预先配置在服务器101中的下变换器实现对第一节目的下变换。
步骤S202，根据第一节目和第二节目获取上变换参数，其中，上变换参数是将第二节目变换回第一节目所需的参数。
作为一种可选的实施方式，将第二节目变换回第一节目可以通过上变换模型实现。具体地，上游节点可以预先将上变换模型分发给下游节点，下游节点利用上变换模型可以将第二节目变换回清晰度更高的第一节目。
在一个具体的例子中，在步骤202中，以第二节目作为上变换模型的输入，以第一节目作为上变换模型的输出，对上变换模型进行训练，得到新的上变换模型，该新的上变换模型的参数即为上变换参数。
在一个具体的例子中，在步骤202中，包括：步骤一，将第二节目输入至上变换模型进行上变换，得到上变换节目；将第一节目和上变换节目输入鉴别器，以判断两者的差异是否小于设定的阈值。步骤二，如果所述差异小于设定的阈值，将当前的上变换模型的参数作为上变换参数；如果所述差异大于等于设定的阈值，根据所述差异对上变换模型进行优化，然后执行步骤一，直至差异小于设定的阈值。
作为一种可选的实施方式，为确保每一个第二节目均能够比较完整的变换回第一节目，需要针对每一个第二节目来执行步骤202以获取上变换参数。
步骤S203，将第二节目和上变换参数分发至下游节点。
具体地，可以将第二节目和上变换参数封装后分发至下游节点，也可以将第二节目和上变换参数独立分发至下游节点。无论是将第二节目和上变换参数封装后分发至下游节点，还是将第二节目和上变换参数独立分发至下游节点，均能够保证由清晰度较低的第二节目和上变换参数，得到清晰度较高的第一节目。
在本实施例中，相较于接发送清晰度较高的第一节目，分发清晰度较低的第二节目能够在同样网络带宽的限制下，使得第二节目能够更快速地分发至下游节点，从而有效地降低了高清度内容分发所占用的带宽，提高了高清度内容分发的效率。
图3是本发明实施例提供的节目接收方法的流程图。下面以终端设备103作为节目接收方法的执行主体为例，说明本发明实施例提供的节目接收方法。如图3所示，该节目接收方法包括以下步骤：
步骤S301，接收上游节点分发的第二节目和上变换参数。
在一些可选的实施例中，可以接收上游节点分发的封装在一起的第二节目和上变换参数，也可以接收上游节点分发的独立的第二节目和上变换参数。
步骤S302，根据上变换参数来更新上变换模型。
在一些应用场景中，终端设备103中预先配置有上变换模型，该上变换模型是由上游节点下预先发给终端设备103。在步骤302中，终端设备103用接收到的上变换参数来更新上变换模型。
步骤S303，将第二节目输入至更新后的上变换模型中，通过更新后的上变换模型得到第一节目。
在本实施例中，相较于直接接收清晰度较高的第一节目，接收清晰度较低的第二节目能够在同样带宽的限制下降低高清晰度内容接收所占用的带宽，提高了高清晰度内容接收的效率。
由于下游节点接收到的上变换参数是由上游节点用第一节目和第二节目对上变换模型进行训练更新得到的，下游节点利用上变换参数对模型进行更新，再利用更新后的上变换模型对第二节目进行上变换处理，能够更好地将第二节目变换回为第一节目。
下面结合一个具体的例子来说明本发明实施例提供的节目分发方法和节目接收方法。
图4是本发明实施例提供的节目收发方法的流程图。参见图4，该方法包括以下步骤：
步骤S401，上游节点将上变换模型分发给下游节点。
步骤S402，下游节点接收上游节点分发的上变换模型，将上变换模型配置在下游节点中。
步骤S403，上游节点将第一节目通过下变换得到清晰度较低的第二节目。
步骤S404，上游节点根据第一节目和第二节目获取上变换参数。
在一个具体的例子中，在步骤202中，以第二节目作为上变换模型的输入，以第一节目作为上变换模型的输出，对上变换模型进行训练，得到新的上变换模型，该新的上变换模型的参数即为上变换参数。
在一个具体的例子中，在步骤202中，包括：步骤一，将第二节目输入至上变换模型进行上变换，得到上变换节目；将第一节目和上变换节目输入鉴别器，以判断两者的差异是否小于设定的阈值。步骤二，如果所述差异小于设定的阈值，将此时的上变换模型的参数作为上变换参数；如果所述差异大于等于设定的阈值，根据所述差异对上变换模型进行优化。循环执行步骤一和步骤二，直至差异小于设定的阈值，将此时的上变换模型的参数作为上变换参数。
步骤S405，上游节点将第二节目和上变换参数分发至下游节点。
步骤S406，下游节点接收上游节点分发的第二节目和上变换参数。
步骤S407，根据接收的上变换参数，对上变换模型进行更新。
在一个具体的例子中，下游节点用接收的上变换参数替换原有的上变换模型的参数，以完成对上变换模型的更新。
步骤S408，下游节点将第二节目输入至更新后的上变换模型中，通过更新后的上变换模型得到第一节目。
在一些可选的实施例中，上游节点可以将步骤404中得到的新的上变换模型分发至下游节点，下游节点利用新的上变换模型同样可以将第二节目很好地还原为第一节目。
根据本实施例，通过将高清晰度的第一节目下变换为低清晰度的第二节目，将第二节目和上变换参数分发至下游节点，使得下游节点能够通过上变换参数将第二节目上变换回第一节目。由于在分发过程中传输的是低清晰度的第二节目和数据量很小的上变换参数，因而可以有效降低节目分发所占用的带宽，进而提高了节目分发的效率，能够在带宽不变的前提下为用户提供更多的节目内容。
由于下游节点接收到的上变换参数是由上游节点用第一节目和第二节目对上变换模型进行训练更新得到的，下游节点利用上变换参数对模型进行更新，再利用更新后的上变换模型对第二节目进行上变换处理，能够更好地将第二节目变换回为第一节目。
需要说明的是，本实施例提供的节目分发方案，不仅能够应用于广播电视节目技术领域，还能够应用于工业领域(例如，现场监控视频等)或者医疗领域(例如，远程医疗视频等)。
下面具体说明本发明实施例提供的上变换模型，以及步骤202、步骤404中，上游节点根据第一节目和第二节目获取上变换参数的过程。
本发明实施例提供的上变换模型，可以基于超分辨率技术(Super-Resolution，SR)实现，超分辨技术是指从低分辨率图像通过例如插值等方式重建出相应的高分辨率图像。
本发明实施例提供的上变换模型，是由上游节点对基础模型进行预先训练得到的。基础模型例如可以是卷积神经网络模型。基础模型例如可以是稠密连接网络模型(Densely Connected Convolutional Networks)。
对基础模型进行训练得到上变换模型的过程，可以是有监督的学习训练过程，包括以下步骤101-103：
101、获取由多组样本数据构成的样本数据集。其中，每一组样本数据都包括第一样本节目和利用该第一样本节目进行下变换得到的第二样本节目。
102、对基础模型进行初始化赋值。本领域技术人员可以根据经验对基础模型进行初始化赋值。
103、利用样本数据集对基础模型进行训练，得到上变换模型。
在一个实施例中，将第二样本节目作为基础模型的输入，将与该第二样本节目对应的第一样本节目作为基础模型的已知输出，对基础模型进行训练迭代，得到上变换模型。具体地，由基础模型对输入的第二样本节目进行上变换处理得到上变换节目，将上变换节目和第一样本节目做比较，计算上变换节目和第一样本节目之间的误差，根据所述误差对基础模型进行迭代优化以缩小误差。利用大量样本数据经过多次训练后，所述误差会小于设定的阈值，此时训练结束得到上变换模型。
在一个实施例中，对基础模型进行训练得到上变换模型的过程中，有鉴别器的参与。具体的，将第二样本节目作为基础模型的输入，由基础模型对输入的第二样本节目进行上变换处理得到上变换节目。将基础模型输出的上变换节目和对应的第一样本节目输入至鉴别器，由鉴别器计算两者的误差。当所述误差大于等于设定的阈值时，鉴别器认为上变换节目和第一样本节目为不同的节目，将误差提供给基础模型，根据所述误差对基础模型进行迭代优化以缩小误差。利用大量样本数据经过多次训练后，所述误差会小于设定的阈值。当所述误差小于设定的阈值时，鉴别器认为上变换节目和第一样本节目为相同的节目，此时训练结束得到上变换模型。
在步骤202和步骤404中，上游节点根据第一节目和第二节目获取上变换参数，是利用第一节目和第二节目作为新的样本数据对上变换模型进行更新训练。步骤202和步骤404中对上变换模型进行更新训练的过程和前述对基础模型进行训练以得到上变化模型的过程类似，这里不再赘述。当上变换模型进行上变换输出的节目和第一节目之间的误差小于设定的阈值时，提取上变换模型的参数作为上变换参数，将上变换参数分发给下游节点。
下面参见图7和图8所示，说明本发明实施例提供的上变换模型。该实施例中的上变换模型基于稠密连接网络实现。采用稠密连接网络，是为了保证数据的拟合能力，同时为了更容易训练网络以减轻梯度消失的问题，稠密连接网络采用跳转稠密连接能够保证不同层级的图像特征的传输。
上变换模型从输入端开始，包括初级卷积层、稠密连接网络、N个反卷积层，以及重构层，最后输出。N为正整数，在本实施例，N为2。
稠密连接网络包括M个跳转连接稠密模块。M为正整数，在本实施例，M为4。每个跳转连接稠密模块包括若干个双卷积层，每个跳转稠密模块后分别设置一个转换层。每个双卷积层包括1个3×3的卷积层和1个1×1的卷积层。第一跳转连接稠密模块包括6个双卷积层，第二跳转连接稠密模块包括12个双卷积层，第三跳转连接稠密模块包括24个双卷积层，第四跳转连接稠密模块包括16个双卷积层。
初级卷积层用于学习底层的特征。
稠密连接网络用于学习高层的特征，采用线性修正函数(Rectified LinearUnit，Relu)作为激活函数。跳转稠密模块的每个双卷积层都会产生不同种类的特征图，这些特征图又会被输入到下一个双卷积层产生更复杂的特征图，跳转稠密模块后的转换层用于对特征图进行压缩和更复杂映射。
跳转连接稠密模块内部的双卷积层采取如下公式的操作。假设该跳转连接稠密模块一共有k个双卷积层，其中k为正整数并且k≥2。对于第1个双卷积层，直接进行卷积运算产生特征图x1。对于第p个双卷积层，以从第1个到第p-1个双卷积层产生的特征图x1,x2,…,xp-1作为输入，其输出表示为如下所示：
xp＝Hp([x1,x2,…,xp-1])
其中，x1,x2,…,xp-1,xp分别为第1个到第p个双卷积层产生的特征图，[x1,x2,…,xp-1]表示矩阵拼接操作，Hp为第p个双卷积层的卷积运算，p为正整数并且2≤p≤k。
也就是说，对于第p个双卷积层，其得到的特征图只与第1个到第p-1个双卷积层得到的特征图有联系，这种方式有利于减轻梯度消失、加强特征传递、减少特征数量和参数数量。
反卷积层，用于对特征图进行放大。
重构层用于将放大后的特征图后恢复成RGB色彩模式的图像。RGB色彩模式是工业界的一种颜色标准，是通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的。
如上的上变换模型的网络结构给整个网络带来了减轻梯度消失问题、加强特征传播、支持特征复用、减少参数数量的优点。
下面说明前述提到的误差的获得方式。将第一样本节目或者第一节目的高清晰图像作为标签高分辨率图像，将前述模型进行上变换处理后输出上变换节目的图像作为上变换得到的高分辨率图像。计算上变换得到的高分辨率图像与对应的标签高分辨率图像的均方误差损失、内容损失、对抗损失中的一个或多个。当计算多个损失时，分别赋予每个损失相应的权重，根据权重计算最终的误差。
在一个具体的例子中，通过计算上变换得到的高分辨率图像与标签高分辨率图像的每个像素之间的差值的平方和再求平均，来获取上变换得到的高分辨率图像与对应的标签高分辨率图像的均方误差损失。
在一个具体的例子中，内容损失可以是指上变换得到的高分辨率图像与标签高分辨率图像在VGG网络上的特征损失。VGG网络是由牛津大学Visual Geometry Group团队研发搭建，参加ILSVRC2014挑战赛使用的模型(ILSVRC，ImageNet Large Scale VisualRecognition Challenge，大规模视觉识别挑战赛)。
在一个具体的例子中，对抗损失是指上变换得到的高分辨率图像与标签高分辨率图像的基于EMD距离(Earth Mover's Distance，陆地移动距离)的损失。
下面说明前述提到的鉴别器，用于获取前述任一项的误差。在本实施方式中，鉴别器可以包含7个卷积层。每个卷积核的尺寸是3×3并且步长为2，每个卷积层之后通过一个批量归一化以及随机纠正线性函数(Leaky Rectified Linear Unit，LeakyReLU函数)对特征进行非线性映射。然后通过一个全局平均池化层，将提取的特征图变成一维特征向量，对该一维特征向量进行打分预测，该分数即为误差。当该分数小于设定的阈值时，认为上变换得到的高分辨率图像与对应的标签高分辨率图像为相同的图像，即认为上变换节目和第一样本节目为相同的节目。
本领域技术人员可以基于现有技术来生成鉴别器。鉴别器需要尽可能区分开上变换得到的高分辨率图像与标签高分辨率图像，为了做到这一点，优选地，鉴别器对上变换得到的高分辨率图像与标签高分辨率图像的差异判别需要满足1-Lipschitz函数(利普希茨函数)。
图5是本发明实施例提供的节目分发装置的结构示意图。如图5所示，该节目分发装置500包括处理器501和存储器502。
存储器502存储有计算机程序，该计算机程序被处理器501执行时实现前述任一实施例的节目分发方法。
在本实施例中，节目分发装置可以是服务器。在其它实施例中，节目分发装置还可以是分发网络中的网络节点设备。
图6是本发明实施例提供的节目接收装置的结构示意图。如图6所示，该节目接收装置600包括处理器601和存储器602。
存储器602存储有计算机程序，该计算机程序被处理器601执行时实现前述任一实施例的节目接收方法。
在本实施例中，节目接收装置可以是终端设备。在其它实施例中，节目接收装置还可以是分发网络中的网络节点设备。
本发明实施例还提供了一种计算机可读介质，其上存储有计算机程序，当所述计算机程序被处理器执行时实现上述实施例中的节目分发方法，或者上述实施例中的节目接收方法。
本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。
这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。

Claims (13)

1.一种节目分发方法，其特征在于，包括：
将第一节目通过下变换得到清晰度较低的第二节目；
根据所述第一节目和所述第二节目获取上变换参数，所述上变换参数用于将所述第二节目变换为所述第一节目；
将所述第二节目和所述上变换参数分发至下游节点。
2.根据权利要求1所述的方法，其特征在于，在将所述第二节目和所述上变换参数分发至下游节点之前，还包括：
将上变换模型分发至下游节点。
3.根据权利要求2所述的方法，其特征在于，所述上变换模型采用稠密连接网络实现。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述根据所述第一节目和所述第二节目获取上变换参数，包括：
将所述第二节目作为上变换模型的输入，将所述第一节目作为上变换模型的已知输出，对上变换模型进行训练，将训练后的上变换模型的参数作为所述上变换参数。
5.根据权利要求1-3任一项所述的方法，其特征在于，所述根据所述第一节目和所述第二节目获取上变换参数，包括：
步骤一，将所述第二节目输入至上变换模型进行上变换，得到上变换节目；将所述第一节目和所述上变换节目输入鉴别器，以判断两者的差异是否小于设定的阈值；
步骤二，如果所述差异小于设定的阈值，将当前的上变换模型的参数作为所述上变换参数；如果所述差异大于等于设定的阈值，根据所述差异对上变换模型进行优化，然后执行步骤一，直至所述差异小于设定的阈值。
6.根据权利要求1所述的方法，其特征在于，所述将所述第二节目和所述上变换参数分发至下游节点，包括：
将所述第二节目和所述上变换参数封装后分发至所述下游节点；或者，
将所述第二节目和所述上变换参数独立分发至所述下游节点。
7.一种节目接收方法，其特征在于，包括：
接收上游节点分发的第二节目和上变换参数；
根据所述上变换参数更新上变换模型；
将所述第二节目输入至更新后的上变换模型中，通过更新后的上变换模型得到第一节目；
其中，所述第一节目的清晰度高于所述第二节目的清晰度。
8.根据权利要求7所述的方法，其特征在于，在接收上游节点分发的第二节目和上变换参数之前，还包括：
接收所述上游节点分发的上变换模型。
9.根据权利要求7所述的方法，其特征在于，所述上变换模型采用稠密连接网络实现。
10.根据权利要求7所述的方法，其特征在于，所述接收上游节点分发的第二节目和上变换参数，包括：
接收所述上游节点分发的封装在一起的所述第二节目和所述上变换参数；或者，
接收所述上游节点分发的独立的所述第二节目和所述上变换参数。
11.一种节目分发装置，其特征在于，包括存储器和处理器；
所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1-6中任一项所述的节目分发方法。
12.一种终端设备，其特征在于，包括存储器和处理器；
所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时实现如7-10中任一项所述的节目接收方法。
13.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6中任一项所述的节目分发方法，或者如权利要求7-10中任一项所述的节目接收方法。
CN201910600092.XA 2019-07-04 2019-07-04 节目分发方法和装置、接收方法、终端设备及介质 Pending CN112188237A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910600092.XA CN112188237A (zh) 2019-07-04 2019-07-04 节目分发方法和装置、接收方法、终端设备及介质
PCT/CN2020/089757 WO2021000650A1 (zh) 2019-07-04 2020-05-12 节目分发方法和装置、接收方法、终端设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910600092.XA CN112188237A (zh) 2019-07-04 2019-07-04 节目分发方法和装置、接收方法、终端设备及介质

Publications (1)

Publication Number Publication Date
CN112188237A true CN112188237A (zh) 2021-01-05

Family

ID=73915139

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910600092.XA Pending CN112188237A (zh) 2019-07-04 2019-07-04 节目分发方法和装置、接收方法、终端设备及介质

Country Status (2)

Country Link
CN (1) CN112188237A (zh)
WO (1) WO2021000650A1 (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103167284A (zh) * 2011-12-19 2013-06-19 中国电信股份有限公司 一种基于画面超分辨率的视频流传输方法及系统
CN103607591A (zh) * 2013-10-28 2014-02-26 四川大学 结合超分辨率重建的图像压缩方法
CN105744357A (zh) * 2016-02-29 2016-07-06 哈尔滨超凡视觉科技有限公司 一种基于在线分辨率提升的降低网络视频带宽占用方法
CN106791927A (zh) * 2016-12-23 2017-05-31 福建帝视信息科技有限公司 一种基于深度学习的视频增强与传输方法
US20180293707A1 (en) * 2017-04-10 2018-10-11 Samsung Electronics Co., Ltd. System and method for deep learning image super resolution
CN109218727A (zh) * 2017-06-30 2019-01-15 华为软件技术有限公司 视频处理的方法和装置
CN109509149A (zh) * 2018-10-15 2019-03-22 天津大学 一种基于双通道卷积网络特征融合的超分辨率重建方法
CN109903223A (zh) * 2019-01-14 2019-06-18 北京工商大学 一种基于稠密连接网络与生成式对抗网络的图像超分辨率方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102821303B (zh) * 2012-08-31 2016-06-29 哈尔滨工程大学 一种像素级视频信息网络实时分级压缩传输方法
CN106856571B (zh) * 2015-12-09 2019-12-06 阿里巴巴集团控股有限公司 一种转码方法及装置
CN108062780B (zh) * 2017-12-29 2019-08-09 百度在线网络技术（北京）有限公司 图像压缩方法和装置
CN110087084B (zh) * 2018-01-25 2022-03-18 联咏科技股份有限公司 视频处理装置及视频处理方法
CN109525859B (zh) * 2018-10-10 2021-01-15 腾讯科技（深圳）有限公司 模型训练、图像发送、图像处理方法及相关装置设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103167284A (zh) * 2011-12-19 2013-06-19 中国电信股份有限公司 一种基于画面超分辨率的视频流传输方法及系统
CN103607591A (zh) * 2013-10-28 2014-02-26 四川大学 结合超分辨率重建的图像压缩方法
CN105744357A (zh) * 2016-02-29 2016-07-06 哈尔滨超凡视觉科技有限公司 一种基于在线分辨率提升的降低网络视频带宽占用方法
CN106791927A (zh) * 2016-12-23 2017-05-31 福建帝视信息科技有限公司 一种基于深度学习的视频增强与传输方法
US20180293707A1 (en) * 2017-04-10 2018-10-11 Samsung Electronics Co., Ltd. System and method for deep learning image super resolution
CN109218727A (zh) * 2017-06-30 2019-01-15 华为软件技术有限公司 视频处理的方法和装置
CN109509149A (zh) * 2018-10-15 2019-03-22 天津大学 一种基于双通道卷积网络特征融合的超分辨率重建方法
CN109903223A (zh) * 2019-01-14 2019-06-18 北京工商大学 一种基于稠密连接网络与生成式对抗网络的图像超分辨率方法

Also Published As

Publication number Publication date
WO2021000650A1 (zh) 2021-01-07

Similar Documents

Publication Publication Date Title
CN109151468B (zh) 一种图像数据的编码、解码方法及装置
US20200260117A1 (en) Methods and Apparatuses for Coding and Decoding Depth Map
US20200145692A1 (en) Video processing method and apparatus
US20240121418A1 (en) Apparatus and method for processing point cloud data
EP3829173A1 (en) Transmission of images and videos using artificial intelligence models
CN108496199A (zh) 利用创作意图元数据的色调原版制作系统
CN105100814B (zh) 图像编码、解码方法及装置
CN108668136A (zh) 图像编/解码方法、视频编/解码器及视频编解码系统
CN103402091B (zh) 云桌面图像分类与编码方法
CN109151477B (zh) 一种图像数据的编码、解码方法及装置
WO2022150680A1 (en) Apparatus and method for point cloud processing
CN113421312A (zh) 一种对黑白视频的着色方法、装置、存储介质及终端
CN106133791B (zh) 用于颜色压缩的群聚和编码
Lee et al. Omnidirectional video coding using latitude adaptive down‐sampling and pixel rearrangement
CN106797447A (zh) 颜色索引图压缩装置和方法
CN105630436A (zh) 一种多屏共享下桌面布局的数据共享方法和装置
CN107454456B (zh) 一种浮层元素的管理控制方法及系统
WO2016025161A1 (en) System and method for optimized chroma subsampling
CN104639834A (zh) 一种摄像头图像数据传输的方法及系统
CN113505896A (zh) 纵向联邦学习建模优化方法、设备、介质及程序产品
CN112188237A (zh) 节目分发方法和装置、接收方法、终端设备及介质
CN115272667B (zh) 农田图像分割模型训练方法、装置、电子设备和介质
CN110390636A (zh) 无人机超、高清图片或视频数据的模拟变焦方法
CN107479891A (zh) 一种基于mvc模型数据处理系统及方法
CN104823151B (zh) 调色监视器和实时调色方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210105