CN107113447A - 高帧速率‑低帧速率传输技术 - Google Patents

高帧速率‑低帧速率传输技术 Download PDF

Info

Publication number
CN107113447A
CN107113447A CN201580071665.4A CN201580071665A CN107113447A CN 107113447 A CN107113447 A CN 107113447A CN 201580071665 A CN201580071665 A CN 201580071665A CN 107113447 A CN107113447 A CN 107113447A
Authority
CN
China
Prior art keywords
video content
specified
lfr
segmentation
hfr
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580071665.4A
Other languages
English (en)
Inventor
蒂埃里·博雷尔
皮埃尔·乌格斯·鲁蒂埃
威廉·雷德曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital VC Holdings Inc
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from PCT/US2015/029149 external-priority patent/WO2015183480A1/en
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN107113447A publication Critical patent/CN107113447A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs

Abstract

用于发送视频内容分段的方法包括为具有静止场景的视频内容分段和具有运动场景的视频内容分段分别提供低帧速率(LFR)和高帧速率(HFR)编码模式指定。根据每个视频内容分段的编码模式指定，对该视频内容分段进行编码，然后，发送该视频内容分段及其编码模式指定，以使得能够由解码器获取并解码。编码的视频内容表现为LFR内容，以用于由不知晓该编码的设备作为LFR内容进行处理。

Description

高帧速率-低帧速率传输技术
技术领域
本发明涉及用于在维持图像细节的同时发送高分辨率内容的技术。
背景技术
此前，电视广播商将标清内容转换为高清(HD)内容，而如今，许多电视广播商将HD内容转换为分辨率高达4K且多达2160p画面线的超高清(UHD)内容。具有较高分辨率的UHD内容提供了静止场景上的更高的细节水平，但一旦存在运动(在场景本身中或由于相机的运动)，则会发生运动模糊，这大大地降低了对移动物体的细节的感知。在这些情况下，从细节渲染的角度来看，所述内容不再保持其4K特性。通过减少快门的打开时间量来补偿这种运动模糊并不会提供可行的解决方案，这是因为所引起的颤动在观看时会带来不适。当前，唯一的可行方案需要在保持合理的快门角度(180°或更大)的同时增加场景的采样频率。然而，以高分辨率和高帧速率(例如，4K/120fps)来拍摄和发送事件即使并非不可能也将变得很难，这是因为许多当期的传输设备并不支持这种格式。即使使用能够支持这种格式的设备，以这种格式发送内容在带宽方面的成本也很高。因此，广播商和有线运营商更愿意将固定带宽分配成多个(例如，四个)4K/30fps通道，而不是仅提供消耗相同带宽的一个4K/120fps通道。
从而，需要一种用于在保留细节渲染的同时发送高质量内容(4K)(即使对于移动物体也是如此)的技术。
发明内容
本公开原理的目的在于提供一种用于在保留图像细节的同时发送高质量视频(尤其是针对移动图像)的技术。
本公开原理的另一个目的在于提供一种用于可互换地发送低帧速率视频内容和高帧速率视频内容的技术。
简言之，根据本公开原理的一个方面，用于发送视频内容的方法和装置和系统指定内容是包括具有高分辨率的静止场景还是具有运动的场景。根据指定对视频内容进行编码，使得以低帧速率(LFR)模式对具有静止场景的视频内容进行编码，而以高帧速率(HFR)模式对具有运动的视频内容进行编码。此后，发送经过编码的视频内容及内容指定，以使得能够由解码器获取并解码。
附图说明
图1示出了根据本公开原理的一个方面的系统的示意框图，所述系统用于根据本公开原理对视频内容进行编码、发送和解码；
图2示出了图1的系统以高帧速率(HFR)编码的具有运动的视频内容的一部分的图形描绘；
图3示出了图1的系统以低帧速率(LFR)编码的具有静止场景的视频内容的一部分的序列的图形描绘；
图4示出了分别以HFR模式和LFR模式编码的视频内容的交替序列的流，其中每个视频内容序列的指定指示编码模式；以及
图5示出了图4中以HFR模式和LFR模式编码的视频内容的交替序列的流根据与每个序列相关联的指示编码模式的指定而被解码。
具体实施方式
根据本公开原理的一个方面，混合内容传输技术在低帧速率(LFR)模式(即4K/30fps)中发送视频的具有高分辨率的静止场景。相反地，根据本公开原理的技术，视频内容中具有运动的场景以高帧速率(HFR)模式(即HD/120fps)进行传输，这些场景被封装在LFR图像块中(即4K/30fps)。图1示出了用于实践本公开原理的混合传输技术的系统10。系统10包括分别从多个视频源接收视频的编码器12，视频源包括一对电视相机(televisioncamera)14和16。尽管图1所示的系统10的说明性示例描绘了两个相机14和16，但是系统10可以容易地容纳更大量的相机。
在图1的说明性示例中，相机14和16中的每一个不仅产生视频信号，而且还产生指定，所述指定通常具有“标志”的形式，其指示相机视频输出信号是包括静止场景还是具有运动的场景。对于特定应用，例如广播体育赛事，举例来讲，一个相机(诸如相机14)通常仅提供相对静止的场景，例如人群的场景。另一个相机(例如相机16)通常提供具有运动的视频内容，例如该相机提供参与比赛(例如足球、棒球、橄榄球等)的玩家的视频输出信号。
如图1所示，由相机14和16中的每一个提供的指定通常采取与视频输出信号分离的信号的形式(例如，标志)。然而，每个相机的视频信号可以包括指示视频信号是静止图像或具有运动的图像的信息。因此，在视频信号本身内包括这样的信息将缓解对单独指定信号的需求。
编码器12从相机14和16中的每一个接收视频输出信号以及指示相机的视频输出包括静止场景或具有运动的场景的伴随指定信号。编码器12根据与该相机的视频输出信号相伴随的指定对相机14和16中的每一个的视频输出信号进行编码，所述指定关于视频信号包括静止图像或具有运动的场景。因此，举例来讲，当接收到相机14的视频输出信号时，如果伴随该视频信号的指定指示视频具有静止场景，则编码器12将以低帧速率(LFR)模式(例如，4K/30fps)对该视频信号进行编码。相反地，当从相机16接收到视频输出信号时，如果与该相机的视频信号相关联的指定指示场景具有运动，则编码器12将以高帧速率(HFR)模式(例如4K，120fps)对该视频信号进行编码。编码器12通过将视频信号的场景封装成LFR图像块来对来自相机16的视频信号进行编码，比如在2014年5月30日提交的美国临时专利申请No.62/005,397(其通过引用并入本文)中所述。
作为来自相机14和16的视频输出信号的补充或替代，编码器12还可以对来自一个或多个离线内容源的视频信号进行接收和编码，所述离线内容源为例如离线内容源18，其可以包括存储设备或一台电视演播室广播设备。除了向编码器12提供视频输出信号之外，每个离线内容源18还提供的指定，该指定指示来自离线内容源的输出视频信号是包括静止场景还是运动场景。与相机14和16中的每一个一样，离线内容源18的输出视频信号本身可以包括指定输出信号是包括静止场景还是具有运动的场景的信息，从而缓解了对单独指定的需求。
如上所述，相机14和16通常分别专用于静止场景和具有运动的场景，因此它们各自的指定信号可以是固定的。相反地，离线内容源18可以提供任一种视频输出信号。实际上，根据由在线内容源18输出的视频的性质，操作者可以基于操作者对离线源的视频输出信号的评估而手动地调整指定集。备选地，离线内容源18可以基于其使用例如运动分析算法对视频内容的分析来自动生成其指定。
编码器12对从相机14和16和/或离线内容源18接收的视频信号进行编码，以产生编码的输出信号以及如上所述的指示编码器的视频输出信号的性质的伴随指定。网络20将编码器12的视频输出信号以及该信号的指定一起发送到解码器22以进行解码，从而产生经解码的视频输出信号，以在显示设备24上呈现。在实践中，解码器22可以包括机顶盒等的一部分，以用于选择用于在显示设备24上显示的内容。在一些实例中，解码器22可以包括显示设备24的一部分。
如上面结合相机14和16以及离线内容源18讨论的那样，编码器12可以在其视频输出信号中包括指示编码器是以低帧速率(LFR)还是高帧速率(HFR)模式对该信号进行了编码的信息。在编码器视频输出信号中包括关于是以LFR还是HFR模式对信号进行编码的信息将缓解对产生单独指定的需要。
解码器22根据指示输入信号是被LFR编码还是被HFR编码的伴随指定对从编码器接收的视频信号进行解码。如上所述，由图1的解码器22接收的输入视频信号本身可以包括关于编码的类型(LFR或HFR)的信息，从而缓解对指示编码模式的单独指定的需要。通过使用编码指定，或者在不存在该指定的情况下通过使用来自输入视频信号本身的编码信息，解码器22可以基于输入信号是被LFR编码还是被HFR编码来正确地解码输入视频信号。在LFR编码的视频信号的情况下，每个高分辨率帧被包含在其自己的LFR图像块中，并且均以低帧速率传送到显示设备24。在HFR编码的视频信号的情况下，将多个帧封装到每个LFR图像块中，比如在2014年5月30日提交的美国临时专利申请No.62/005,397(其通过引用并入本文)中所述。解码器22将以高帧速率连续地提取多个帧中的每一帧，从而以高帧速率传送到显示设备24。在实践中，显示器24具有与编码器22的数字接口(例如高清多媒体接口(HDMI))，以使得显示设备能够接收单独的LFR模式视频信号和HFR模式视频信号。显示器24具有在LFR模式和HFR模式之间实时切换的能力，以在每种模式下适当地显示视频信号。在一些实施例中，所有的视频信号(高分辨率LFR帧和包括多个HFR编码的帧的LFR图像块两者)都用诸如HDMI的接口传送到包括解码器22和显示器24两者的监视器。
注意到，无论是原始以较高分辨率提供的LFR图像，还是编码到更高分辨率LFR块中的HFR图像，来自编码器12的所有输出都表现为较高分辨率的LFR流。优点在于，中间组件(例如可以包括通信链路和视频或流切换元件(未示出)的网络20)可以在不需要知晓来自编码器12的流的性质的情况下工作，特别是如果HFR/LFR模式指定被嵌入在流中的话。直到被解码器22接收到，任何元件才需要将流作为与普通较高分辨率LFR流不同的任何其他对象进行处理。
图2描绘了根据本公开原理的一个方面的示例性帧速率压缩过程200。如图2所示，类似于图1中的高帧速率(HFR)相机16的高帧速率相机205具有朝向(subtending)对象207的视场206。在操作中，相机205将输出包括对象的HFR图像的流的视频输出信号201。由相机205生成的HFR图像流的部分210出现在图2中，并由单独的连续帧211-226组成。
在图2所示的示例中，对象207包括骑马的男子。对象207的图像211-226以放大的时间尺度出现在图2中，使得各个图像呈现出明显的区别。所描绘的图像来自EadweardMuybridge在1887年的作品“Jumping a hurdle，black horse”，之所以选择这一作品，是因为其为众人所熟悉且呈现出可识别的序列，这有助于理解本公开原理。
在步骤202期间，对HFR图像流的部分210的图像211-226进行捕获，此时图像积聚在通常位于相机205中(尽管与图2中的相机分开描绘)的捕获缓冲器230中。为了便于处理，图像211-226被分组成子序列231-234。在图2所示的编码处理203期间，由图1的编码器12对图像的子序列进行编码。根据本公开原理的一个方面，编码处理203将高帧速率(HFR)图像打包成低帧速率(LFR)图像块，如在2014年5月30日提交的美国临时专利申请No.62/005,397(其通过引用并入本文)中所述。例如，来自子序列231-234中的每一个子序列的第一图像被合并到单个LFR图像块241中。类似地，来自每个子序列的第二图像被合并到LFR图像块242中，并且来自每个子序列的第三图像和第四图像分别被打包到LFR图像块243和244中。除了生成LFR图像块之外，如上所述，图2的相机205还将产生指定，其指示相机输出信号是以HFR模式编码的。
在使用图像压缩的实施例中，LFR图像块241-244可以例如使用熟知的JPEG或JPEG-2000压缩方案来单独地压缩(例如，“编码”)。如果选择了基于运动的压缩方案，例如MPEG-2或H.264/MPEG-4，则LFR图像块241-244将形成编码的“图像组”(GOP)240。在运动编码的视频中常常使用三种帧编码：I帧、P帧和B帧。I帧是“内编码”，即，帧在没有参考其他帧的情况下被编码，因此可以独立存在。P帧或“预测帧”相对于先前的参考帧进行编码，并利用它们之间的冗余来进行有效表示(通常是与I帧相比较小的表示)。B帧或“双向预测”帧通过利用先前的参考帧和稍后的参考帧之间的相似性进行编码。针对P帧和B帧的编码过程的重要部分是识别参考帧中的也存在于被压缩的帧中的区域以及估计这些公共区域的运动并将其编码为运动矢量。在一些实施例中，允许编码器不仅使用I帧作为参考，而且使用其他P帧或B帧作为参考。当合适时，当前帧的区域的运动矢量表示通常比该区域的像素的更明确的表示更紧凑。
注意，将HFR图像211-226分块(tile)成图2所示的LFR图像块241-244保留了子序列231-234的时间排序和顺序性质，其优点在于，在组成到LFR帧241-244中之后，连续HFR帧(例如在子序列232中)之间的差异得以维持。因此，由于HFR高于LFR，所以连续的HFR帧之间的预期运动矢量通常将小于在较低帧速率下传统捕获的序列(未示出)的运动矢量。类似地，连续拍摄的帧之间的对应相似区域与捕获帧速率较慢的情况相比通常将表现出更高的相似性，这是因为在HFR下对象的连续图像之间经过的时间较短。因此，预期的是，利用编码的GOP 240的合成图像中的运动的压缩方案将是特别有效的，这是因为在这些合成图像的每个象限内，连续LFR图像块241-244之间的明显时间增量对应于HFR，即使GOP 240的图像块241-244将以LFR传送也是如此。然而，当前编码的GOP 240的最后一个LFR帧244和下一个GOP(未示出)的第一LFR帧(未示出)之间在每个象限内存在时间不连续性。图2的示例中的这种时间不连续性的大小是LFR间隔的3倍或HFR间隔的22倍。由于这种时间不连续性，尝试利用一个GOP的结束与下一个GOP的开始(即，使用B帧)之间的相似性的压缩方案并不是特别适合(fair)，相应地，本实施例中的传统的运动编码技术优选地限于I帧和P帧。
图3描绘了根据本公开原理的另一方面的示例性编码处理300。如图所示2，类似于图1的低帧速率(LFR)相机14的LFR相机305捕获大体静止的图像，示意性地描绘为人群307。在操作中，相机305将输出包括人群307的LFR图像流的视频输出信号301。相机305生成的LFR图像流的一部分310由LFR帧310-316的序列组成。根据本公开原理的教导，编码处理300以低帧速率生成整帧形式的较高分辨率LFR图像，而多个低分辨率HFR图像被封装到每个LFR图像块241-244中，如于2014年5月30日提交的美国临时专利申请No.62/005,397所述。除了生成LFR图像之外，如上所述，图3的相机305还将产生指示相机输出信号是以LFR模式编码的指定。
接收以LFR模式和HFR模式编码的视频信号的编码器(例如图1中的编码器12)将输出多帧输出流，如图4所示，其由LFR图像的单独序列(由LFR序列4021和4022示意性地描绘)和封装HFR图像序列的LFR图像块(示例性地由LFR图像块4041和4042描绘)组成。总的来说，LFR图像和LFR图像块包括视频内容分段。LFR帧序列和LFR图像块(即，视频内容分段)均具有分别由指示编码模式(即，分别为LFR和HFR)的标志406和408表示的相关联的指定。尽管图4以交替的方式示出了HFR图像块和LFR图像序列，但是编码器可以输出任意长的LFR图像序列后接任意数量的HFR图像块的序列，反之亦然。虽然图4将LFR图像序列和HFR图像块描绘为具有分别由标志406和408表示的单独指定，但是LFR图像序列和HFR图像块可以包括指示它们各自的编码模式的信息，从而避免与图像序列和图像块不同且分开的指定。
图5描绘了先前结合图4讨论的LFR图像序列4021和4022以及LFR图像块4041和4042的解码。解码器(例如图1的解码器22)将根据其伴随指定(或者在没有这种指定的情况下，通过在每个图像序列或图像块中检查其中包含的编码信息)来对每个输入的LFR图像序列和LFR图像块进行解码。在解码之后，LFR图像序列4021和4022中的每一个在图5中的画面5021(仅显示四个中的一个较高分辨率帧)和5022(仅显示四个中的一个较高分辨率帧)中进行显示。对LFR图像块4041和4042中的每一个进行解码以连续地剥离封装在每个LFR图像块内的各个低分辨率HFR图像，以便如显示屏5041(仅显示十六个中的一个较低分辨率帧)和5042(仅显示十六个中的一个较低分辨率帧)所示以高帧速率显示HFR图像。
前文描述了一种用于可互换地发送低帧速率视频内容和高帧速率视频内容以在保留图像细节的同时保持高质量视频的技术(尤其是针对运动图像)。

Claims (22)

1.一种用于发送视频内容分段的方法，包括：
为具有静止场景的视频内容分段和具有运动场景的视频内容分段分别提供低帧速率LFR编码模式指定和高帧速率HFR编码模式指定；
根据每个视频内容分段的编码模式指定，对该视频内容分段进行编码；以及
发送经编码的视频内容和所述经编码的视频内容的编码模式指定，以使得能够由解码器获取并解码。
2.根据权利要求1所述的方法，其中，通过将多个HFR图像封装到LFR图像块中来对具有HFR编码模式指定的视频内容分段进行编码。
3.根据权利要求1所述的方法，其中，对具有LFR编码模式指定的视频内容分段进行编码以产生具有至少一个LFR图像的序列。
4.根据权利要求1所述的方法，其中，编码模式指定包括：生成与所述视频内容分段分离的编码模式指定。
5.根据权利要求1所述的方法，其中，编码模式包括：将编码模式指定包括在所述视频内容分段内。
6.一种用于对接收的视频内容分段进行处理的方法，包括：
为每个接收的视频内容分段确定针对该接收的视频内容分段的低帧速率LFR编码模式指定和高帧速率HFR编码模式指定之一，所述LFR编码模式指定和所述HFR编码模式指定分别指示所述分段是包括静止场景还是运动场景；
根据每个视频内容分段的编码模式指定，对该视频内容分段进行解码；以及
向显示设备提供每个经解码的视频内容分段。
7.根据权利要求6所述的方法，其中，通过将多个HFR图像从LFR图像块中的封装剥离来对具有HFR编码模式指定的视频内容分段进行解码。
8.根据权利要求6所述的方法，其中，对具有LFR编码模式指定的视频内容分段进行解码以产生具有至少一个LFR图像的序列。
9.根据权利要求6所述的方法，其中，所述编码模式指定包括：接收与所述视频内容分段分离的编码模式指定。
10.根据权利要求6所述的方法，其中，所述编码模式指定包括：在所述视频内容分段中检查包含的编码模式指定。
11.一种装置，包括：
编码器，被配置为(1)针对具有静止场景的视频内容分段和具有运动场景的视频内容分段分别接收低帧速率LFR和高帧速率HFR编码模式指定；以及(2)根据每个视频内容分段的编码模式，对该视频内容分段进行编码。
12.根据权利要求11所述的装置，其中，所述编码器通过将多个HFR图像封装到LFR图像块中来对具有HFR编码模式指定的视频内容分段进行编码。
13.根据权利要求11所述的装置，其中，所述编码器对具有LFR编码模式指定的视频内容分段进行编码以产生具有至少一个LFR图像的序列。
14.根据权利要求11所述的装置，其中，所述编码器接收与所述视频内容分段分离的编码模式指定。
15.根据权利要求11所述的装置，其中，编码器接收作为所接收的视频内容分段的一部分的编码模式指定。
16.一种装置，包括：
解码器，被配置为(a)根据每个接收的经编码的视频内容分段包括静止场景还是运动场景来为该接收的经编码的视频内容分段分别建立低帧速率LFR编码模式指定和高帧速率HFR编码模式指定之一，以及(b)根据每个接收的经编码的视频内容分段的编码模式指定，对该接收的经编码的视频内容分段进行解码。
17.根据权利要求16所述的装置，其中，所述解码器通过将多个HFR图像从LFR图像块中的封装剥离来对具有HFR编码模式指定的视频内容分段进行解码。
18.根据权利要求16所述的装置，其中，所述解码器对具有LFR编码模式指定的视频内容分段进行解码以产生具有至少一个LFR图像的序列。
19.根据权利要求16所述的装置，其中，所述解码器接收与所述视频内容分段分离的编码模式指定。
20.根据权利要求16所述的装置，其中，所述解码器能够检测所接收的视频内容分段内包含的编码模式指定。
21.一种包括程序代码指令的计算机程序，所述程序代码指令能够由处理器执行，以实现根据权利要求1到10中至少一项所述的方法的步骤。
22.一种计算机程序产品，所述计算机程序产品被存储在非瞬时计算机可读介质上并包括程序代码指令，所述程序代码指令能够由处理器执行以实现根据权利要求1到10中至少一项所述的方法的步骤。
CN201580071665.4A 2014-12-31 2015-12-22 高帧速率‑低帧速率传输技术 Pending CN107113447A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP14307218.9A EP3041233A1 (en) 2014-12-31 2014-12-31 High frame rate-low frame rate transmission technique
EP14307218.9 2014-12-31
PCT/US2015/029149 WO2015183480A1 (en) 2014-05-30 2015-05-05 High frame rate tiling compression technique
USPCT/US2015/029149 2015-05-05
PCT/EP2015/080993 WO2016107792A1 (en) 2014-12-31 2015-12-22 High frame rate-low frame rate transmission technique

Publications (1)

Publication Number Publication Date
CN107113447A true CN107113447A (zh) 2017-08-29

Family

ID=52444077

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580071665.4A Pending CN107113447A (zh) 2014-12-31 2015-12-22 高帧速率‑低帧速率传输技术

Country Status (6)

Country Link
US (1) US20180007355A1 (zh)
EP (2) EP3041233A1 (zh)
JP (1) JP6573673B2 (zh)
KR (1) KR20170101227A (zh)
CN (1) CN107113447A (zh)
WO (2) WO2016109201A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016192079A1 (en) * 2015-06-04 2016-12-08 Intel Corporation Adaptive batch encoding for slow motion video recording
US10846142B2 (en) 2016-02-23 2020-11-24 Intel Corporation Graphics processor workload acceleration using a command template for batch usage scenarios
US10742708B2 (en) 2017-02-23 2020-08-11 Netflix, Inc. Iterative techniques for generating multiple encoded versions of a media title
US11153585B2 (en) 2017-02-23 2021-10-19 Netflix, Inc. Optimizing encoding operations when generating encoded versions of a media title
US10897618B2 (en) 2017-02-23 2021-01-19 Netflix, Inc. Techniques for positioning key frames within encoded video sequences
US11166034B2 (en) 2017-02-23 2021-11-02 Netflix, Inc. Comparing video encoders/decoders using shot-based encoding and a perceptual visual quality metric
US10666992B2 (en) 2017-07-18 2020-05-26 Netflix, Inc. Encoding techniques for optimizing distortion and bitrate
CN108377400A (zh) * 2018-03-07 2018-08-07 广州图普网络科技有限公司 一种图像传输优化方法、系统及其装置
FR3084552B1 (fr) 2018-07-30 2020-12-11 Bcom Procede de formation d'une sequence d'images de sortie a partir d'une sequence d'images d'entree, procede de reconstruction d'une sequence d'images d'entree a partir d'une sequence d'images de sortie, dispositifs, equipement serveur, equipement client et programmes d'ordinateurs associes
US11190826B1 (en) * 2020-06-25 2021-11-30 Disney Enterprises, Inc. Segment quality-guided adaptive stream creation

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1668110A (zh) * 2004-03-11 2005-09-14 宝利通公司 提高压缩视频比特流中的平均图像刷新速率的方法和设备
CN102918836A (zh) * 2010-05-13 2013-02-06 高通股份有限公司 用于非对称立体视频的帧封装
US20130308697A1 (en) * 2012-05-18 2013-11-21 Sony Corporation Image processing apparatus, image processing method, and program
CN104125501A (zh) * 2013-04-25 2014-10-29 美国博通公司 用于处理视频数据的系统和方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ATE454016T1 (de) * 2001-09-12 2010-01-15 Panasonic Corp Bildkodierungs- und biddekodierungsverfahren
JP4196726B2 (ja) * 2003-05-14 2008-12-17 ソニー株式会社 画像処理装置および画像処理方法、記録媒体、並びに、プログラム
KR100896279B1 (ko) * 2005-04-15 2009-05-07 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
JP4542107B2 (ja) * 2005-07-22 2010-09-08 三菱電機株式会社 画像復号装置及び画像復号方法
US20090034857A1 (en) * 2005-07-22 2009-02-05 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US8463061B2 (en) * 2006-07-13 2013-06-11 Nec Corporation Encoding and decoding two-dimensional signal using a wavelet transform
US8582663B2 (en) * 2006-08-08 2013-11-12 Core Wireless Licensing S.A.R.L. Method, device, and system for multiplexing of video streams
US8345083B2 (en) * 2007-07-31 2013-01-01 Cisco Technology, Inc. Dynamic management of picture quality in a video conference with diversified constraints
CN104641638B (zh) * 2012-06-28 2018-08-03 阿克西斯股份公司 使用虚拟帧内帧对视频内容进行编码的系统和方法
AU2013321333B2 (en) * 2012-09-28 2017-07-27 Sony Corporation Image processing device and method
CN109068136B (zh) * 2012-12-18 2022-07-19 索尼公司 图像处理装置和图像处理方法、计算机可读存储介质
JP6331103B2 (ja) * 2013-03-21 2018-05-30 ソニー株式会社 画像復号装置および方法
US8982277B2 (en) * 2013-04-25 2015-03-17 Broadcom Corporation System and method for processing video data
US10085034B2 (en) * 2013-07-12 2018-09-25 Sony Corporation Image coding apparatus and method
US20150163486A1 (en) * 2013-12-09 2015-06-11 Vixs Systems Inc. Variable bitrate encoding
JP6463041B2 (ja) * 2014-08-28 2019-01-30 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1668110A (zh) * 2004-03-11 2005-09-14 宝利通公司 提高压缩视频比特流中的平均图像刷新速率的方法和设备
CN102918836A (zh) * 2010-05-13 2013-02-06 高通股份有限公司 用于非对称立体视频的帧封装
US20130308697A1 (en) * 2012-05-18 2013-11-21 Sony Corporation Image processing apparatus, image processing method, and program
CN104125501A (zh) * 2013-04-25 2014-10-29 美国博通公司 用于处理视频数据的系统和方法

Also Published As

Publication number Publication date
WO2016107792A1 (en) 2016-07-07
EP3041233A1 (en) 2016-07-06
WO2016109201A1 (en) 2016-07-07
JP6573673B2 (ja) 2019-09-11
JP2018510524A (ja) 2018-04-12
US20180007355A1 (en) 2018-01-04
EP3241353A1 (en) 2017-11-08
KR20170101227A (ko) 2017-09-05

Similar Documents

Publication Publication Date Title
CN107113447A (zh) 高帧速率‑低帧速率传输技术
CN105765980B (zh) 传输装置、传输方法、接收装置和接收方法
CN104935956B (zh) 用于编码和解码3d视频信号的方法与系统
CN1204757C (zh) 一种立体视频流编码/解码器及其立体视频编解码系统
CN104584562B (zh) 发送设备、发送方法、接收设备和接收方法
TWI407796B (zh) An image signal decoding apparatus, an image signal decoding method, an image signal coding apparatus, an image signal coding method, and a program
CN103814572B (zh) 帧兼容的全分辨率立体3d压缩和解压缩
US11044437B2 (en) Method and system for combining multiple area-of-interest video codestreams into a combined video codestream
US10958950B2 (en) Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices
US20150312547A1 (en) Apparatus and method for generating and rebuilding a video stream
CN102714742A (zh) 用于生成、传输以及接收立体图像的方法和相关设备
JP6019520B2 (ja) 立体画像を生成、送信、および、受信するための方法、および関連するデバイス
GB2530751A (en) Video data encoding and decoding
CN107534790A (zh) 图像处理装置、图像处理方法、接收装置及发送装置
KR20120118432A (ko) 3ｄ 비디오 신호 코딩 및 디코딩 방법
US11457053B2 (en) Method and system for transmitting video
CN102843566B (zh) 一种3d视频数据的通讯方法和设备
JPH11122610A (ja) 画像符号化方法及び画像復号化方法並びにこれらの装置
EP2526689B1 (en) Method for transporting information and/or application data inside a digital video stream, and relative devices for generating and playing such video stream
US20140376644A1 (en) Frame packing method, apparatus and system using a new 3d coding "frame compatible" format
CN106471808A (zh) 高帧速率平铺压缩技术
CN113545060A (zh) 视频编码中的空瓦片编码
JP6008043B2 (ja) 動画像符号化装置
CN105900447B (zh) 处理具有场景变化媒体内容的方法及设备
US20170180741A1 (en) Video chrominance information coding and video processing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20191031

Address after: Delaware, USA

Applicant after: Interactive Digital VC Holding Company

Address before: Icelemulino, France

Applicant before: Thomson Licensing Company

WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170829