CN109076227A - 用于高效、低延迟视频编码的运动自适应帧内刷新 - Google Patents

用于高效、低延迟视频编码的运动自适应帧内刷新 Download PDF

Info

Publication number
CN109076227A
CN109076227A CN201780026608.3A CN201780026608A CN109076227A CN 109076227 A CN109076227 A CN 109076227A CN 201780026608 A CN201780026608 A CN 201780026608A CN 109076227 A CN109076227 A CN 109076227A
Authority
CN
China
Prior art keywords
image
region
coding
motion estimation
overall motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780026608.3A
Other languages
English (en)
Inventor
吕越峰
伊哈卜·阿梅尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ATI Technologies ULC
Original Assignee
ATI Technologies ULC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ATI Technologies ULC filed Critical ATI Technologies ULC
Publication of CN109076227A publication Critical patent/CN109076227A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
    • H04L1/0015—Systems modifying transmission characteristics according to link quality, e.g. power backoff characterised by the adaptation strategy
    • H04L1/0017—Systems modifying transmission characteristics according to link quality, e.g. power backoff characterised by the adaptation strategy where the mode-switching is based on Quality of Service requirement
    • H04L1/0018—Systems modifying transmission characteristics according to link quality, e.g. power backoff characterised by the adaptation strategy where the mode-switching is based on Quality of Service requirement based on latency requirement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0852—Delays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0852—Delays
    • H04L43/087—Jitter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/16—Threshold monitoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/507—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction using conditional replenishment
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Environmental & Geological Engineering (AREA)
  • Quality & Reliability (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种方法包括：响应于确定与第一图像集合相关联的全局运动(120)不超过指定阈值，对所述第一集合中的每个图像进行帧内刷新编码(410)，以使得所述图像的刷新区域的位置相对于所述第一集合中的先前图像的刷新区域的位置在空间上移动。所述方法还包括：响应于确定与第二图像集合相关联的全局运动(120)超过所述指定阈值，对所述第二集合中的每个图像进行帧内刷新编码(418)，以使得所述第二集合中的每个图像的刷新区域的位置被固定为紧邻图像边缘，所述图像边缘位于与所述第二集合相关联的所述全局运动的方向上。

Description

用于高效、低延迟视频编码的运动自适应帧内刷新
相关申请的交叉引用
本申请要求2016年4月29日提交的美国临时专利申请号62/329,602和2016年6月21日提交的美国专利申请号15/188,067的优先权；所述申请的全部内容据此以引用的方式并入本文。
背景技术
基于块的视频编码使用连续图像中的视频块之间的空间和时间冗余来提供有效的视频编码。通常，图像流被编码为完全帧内编码图像(I-图像)和帧间编码图像或预测图像的集合，诸如前向预测图像(P-图像)和双向预测图像(B-图像)。因为I-图像是完全帧内编码的，而P-图像和B-图像至少部分地是预测性地帧间编码的，所以I-图像的编码比P-图像和B-图像的编码占用显著更多的位，因此可能会对包含这些编码图像的传输位流的位速率、抖动和等待时间产生负面影响。一种改善等待时间和抖动的方法是实现帧内刷新模式，在所述模式中，对图像集合中的每个图像的区域进行帧内编码或“刷新”，而对所述图像的其余区域进行预测性地帧间编码。在帧内刷新模式中，图像之间的运动预测被限制为已经被刷新的集合中的先前图像的区域(此类区域通常被称为“净”区域)，并且被阻止使用尚未刷新的先前图像的区域(这些区域通常被称为“脏”区域)。在常规的帧内刷新模式中，完全帧内编码的区域(即，“刷新”区域)是固定大小并且在帧内刷新图像集合中的连续图像之间移动位置。虽然帧内刷新技术的目标是保持所得的编码位流的位速率平稳，但是在显示内容中存在全局运动的情况下，常规的帧内刷新技术中的刷新区域的位置移动通常可能导致显著的位速率变化或抖动，如经常在虚拟现实(VR)应用或其他应用中发生的，其中“相机”的大量运动表示所渲染图像的透视图。
附图说明
通过参考附图，可以更好地理解本公开，并且它的许多特征和优点对本领域技术人员来说变得显而易见。在不同附图中使用的相同附图标号指示类似或完全相同的项目。
图1是示出根据一些实施方案的运动自适应帧内刷新编码技术以及这种技术与常规帧内刷新编码技术的比较的图。
图2是示出根据一些实施方案的用于基于与图像相关联的全局运动估计来动态设置要编码的图像的刷新区域的宽度的技术的图。
图3是示出根据一些实施方案的利用运动自适应帧内刷新编码的视频处理系统的框图。
图4是示出根据一些实施方案的用于对视频流进行双模式帧内刷新编码的方法的流程图。
具体实施方式
当通过头戴式显示器(HMD)设备向用户显示虚拟现实(VR)或增强现实(AR)内容时，VR和AR系统通常依赖于“存在”感。提供这种存在感的一个重要因素是编码、传输、解码和显示包含VR或AR内容的图像所涉及的等待时间或抖动。因此，减少表示编码视频流的位流的传输中的等待时间或抖动可以相应地减少视频处理流水线中的总等待时间和抖动，因此在VR和AR应用中提供改进的“存在”。为此，以下描述采用“运动自适应帧内刷新模式”的视频处理系统，所述模式考虑了由于例如用于显示内容的HMD设备中的运动或虚拟相机的其他运动而在显示内容中存在的全局运动，所述虚拟相机表示藉以渲染图像的透视图。在至少一个实施方案中，视频处理系统确定对图像或图像集合的全局运动的估计。例如，根据来自HMD设备本身的运动传感器数据，或者来自对图像内的内容的运动或连续图像之间的内容的运动的分析来确定这种全局运动估计。
在全局运动估计不表示足够的全局运动的情况下，视频处理系统利用常规的帧内刷新模式，在所述模式中，刷新区域的位置在帧内刷新图像集合中的连续图像之间移动。然而，在全局运动估计发信号通知足够的全局运动的情况下，视频处理系统实现考虑这种全局运动的帧内刷新模式，以便提供位流的具有平稳位速率的所得部分，因此提供缩短的传输等待时间。在这种运动自适应帧内刷新模式中，视频处理系统识别位于全局运动估计(或者在运动自适应帧内刷新模式被限制为仅基本方向(也就是说，0度、90度、180度和270度)的实施方案中，所述全局运动估计的主运动分量)的方向上的图像边缘，并且在对图像进行帧内刷新编码时，固定或强制图像的刷新区域(即，帧内编码区域)为与所识别的图像边缘紧邻的显示器区域。如更详细描述的，通过将图像的正被编码的刷新区域固定到图像的最可能引入新内容的边缘区域，针对帧内刷新集合中的后续图像的运动矢量搜索过程通常更有效，因此导致改善的平均位速率和改善的位速率平稳性。
在下文中，为了便于说明，示出图像被分成水平布置区域的帧内刷新模式的实现方式。此外，当用户使用HMD设备或其他VR相关显示器时，全局运动通常在水平平面中比垂直平面中更普遍，因此以下实例中的水平布置区域与透视运动良好地匹配。然而，应理解，本文描述的技术也可以应用于使用图像中的垂直布置区域的实现方式中，并且应进一步理解，根据情况需要，图像到区域的逻辑划分可以在一些图像的水平布置区域与其他图像的垂直布置区域之间进行切换。
图1示出根据一些实施方案的视频处理系统100中的这种双模式的帧内刷新编码方法。在所描绘的实例中，视频处理系统100部分地由安装在用户头部104上的头戴式显示器(HMD)设备102实现。视频处理系统100包括视频编码子系统(图1中未示出)，其将图像渲染和编码为VR或AR视频流，其中所得的编码位流被传输到HMD设备102。HMD设备102对编码的位流进行解码以恢复图像的表示，以供在HMD设备102处显示。
当HMD设备102安装在用户的头部104上时，HMD设备102可能经受频繁且大量的移动，包括围绕X轴、Y轴或Z轴中的一个或多个的转动(即，滚动、偏转和倾斜)以及沿X方向、Y方向或Z方向中的一个或多个的平移。通常，视频处理系统100通过以下方式将这种移动结合到呈现给用户的视频内容中：从表示HMD设备102的当前姿势的虚拟相机的角度渲染图像以包含影像内容，并且当HMD设备102的姿势随着用户来回移动而改变时更新这个虚拟相机的视角。HMD设备102的移动以及这种移动与所渲染的显示内容的对应结合，产生通常被称为“全局运动”的现象，所述全局运动是内容中存在的由相机运动引起的大面积运动或移动(在这种情况下，“虚拟”相机的运动表示用户头部104的姿势，因此表示用户的视角)。这种全局运动的结果通常是，在一系列图像中，“新”内容(也就是说，先前图像中不存在的内容)可能出现在显示面板的一个边缘或侧面处，而“旧”内容可能会从显示面板的另一个边缘或侧面移开。为了进行说明，如果用户的头部104将要从左到右转动，则在这个运动期间呈现的图像序列将示出从右侧进入的新内容(当用户的视角向右移动时)并且已经显示的内容在左侧滑出视野。相反，如果用户的头部将要从右到左转动，则在这个动作期间呈现的图像序列将示出从左侧进入的新内容(当用户的视角向左移动时)并且已经显示的内容在右侧滑出视野。用户头部104的上下转动同样将在顶部或底部边缘上(取决于用户是在向上看还是在向下看)示出新内容的移位或滑动并且在相对边缘上示出旧内容。
在常规的帧内刷新编码方案中，结合全局运动的图像的渲染通常导致编码效率较低，因此在所得的编码位流的传输中导致较高的等待时间。为了进行说明，图1描绘了针对四个图像的序列的两种常规的帧内刷新编码场景：最坏情况场景112和最佳情况场景114。对于这两种场景，假设针对这种四个图像的集合的全局运动估计表示为从左到右的水平方向(也就是说，相对于用户的视角具有向右的方向)上的全局运动矢量106(也标示为“MVG”)。应注意，虽然术语“运动矢量”在视频编解码器上下文中通常是指从当前图像中的块指向参考图像中的匹配块的矢量，但是如本文所使用的术语“全局运动矢量”是指在全局运动中表示的虚拟相机的运动方向。针对图1，最坏情况场景112表示图像之间的刷新区域的移位模式与全局运动矢量MVG的方向相同的场景，而最佳情况场景112表示刷新区域的移动方向与全局运动矢量MVG的方向相反的场景。
如以上所解释的，在常规的帧内刷新编码过程中，帧内刷新集合中的每个连续图像的刷新区域的位置以相对于帧内刷新集合中的先前图像的刷新区域的位置的特定移动方向或模式在空间上移入。也就是说，在常规的帧内刷新模式中，图像中的刷新区域的位置仅仅基于帧内刷新集合或周期内的那个图像的位置。为了进行说明，针对四个图像的帧内刷新集合，第一图像的刷新区域可以与一个边缘相邻并且在移动方向上占据第一图像的第一四分之一，所述集合中的第二图像的刷新区域可以在移动方向上占据第二图像的第二四分之一，所述集合中的第三图像的刷新区域可以在移动方向上占据第三图像的第三四分之一，并且所述集合中的第四图像的刷新区域可以在移动方向上占据第四图像的最后一个四分之一。然后，将每个图像的其他区域分类为“净”或“脏”区域。将编码图像的每个区域分类为刷新(R)区域、净(C)区域或脏(D)区域表示可以对所述区域进行编码和解码的方式。被帧内编码的刷新区域不需要参考任何其他要解码的图像或区域。然而，对刷新区域进行编码需要最多的位，因此传输刷新区域需要三种区域中最大的位速率。当对图像的净区域进行编码时，运动矢量搜索范围仅限于先前图像的刷新区域和净区域(如果有的话)，以避免图像间错误传播到已经进行帧内刷新的区域中。相比之下，当对图像的脏区域进行编码时，运动矢量搜索范围是不受限制的(自由的)，因此可以包含先前图像的所有区域。因此，因为先前图像中的匹配块可能位于先前图像的脏区域中，因此针对目前图像的净区域中的正受评估的块，落在运动矢量搜索范围之外，所以正受评估的块随后必须进行帧内编码，或帧间编码但是具有与帧内编码情况类似的位，这是由于块匹配失败或为次优的。然而，如果这个匹配块位于目前图像的脏区域中，则对匹配块的参考将在先前图像中不具有限制或约束，因此被帧间编码为运动矢量和残差。因此，用于编码图像的脏区域的位速率通常等于或低于用于编码净区域的位速率。也就是说，使用“I”标示编码刷新区域所需的位级(也就是说，位数)，使用“Pr”标示编码净或“受限制”区域所需的位级，以及使用“Pf”标示编码脏或“自由”区域所需的位级，这些位级之间的关系通常概括为：I>>Pr>＝Pf。
在最坏情况场景112(其表示除初始周期之外的帧内刷新的典型整个周期)中，帧内刷新集合包括四个图像，标示为图像1-4。由于这个集合中有四个图像，因此每个图像在逻辑上被分割成四个区域，在图1的实例中，所述四个区域被描绘为水平布置的区域。如所指出的，针对最坏情况场景112，将帧内刷新编码模式设置成使得刷新区域(使用字母“R”标示)的移动模式是在图像之间从左到右。因此，当对图像1进行编码时，最左侧的区域被完全帧内编码为刷新区域。由于图像1的其余三个区域表示以下区域：所述区域当前既没有被刷新也没有在空间上对应于帧内刷新集合中的先前图像中的区域，图像1的其余区域被认为是脏区域(用字母“D”标示)，因此这样进行帧间编码。当对图像2进行编码时，用于帧内刷新的位置向右移位到中左区域，因此所述区域被完全帧内编码为刷新区域。由于图像2的最左侧区域对应于图像1的刷新区域(也就是说，图像2的最左侧区域对应于先前图像中的被刷新区域)，因此图像2的最左侧区域被识别为净区域(使用字母“C”标示)并且这样进行帧间编码，而图像2的中右区域和最右侧区域被识别并且被帧间编码为脏区域，因为它们不限于对图像1中被刷新的任何区域的块搜索。当对图像3进行编码时，刷新区域再次相对于图像1和2向右移动，因此图像3的中右区域被完全帧内编码为图像3的刷新区域，而最左侧区域和中左区域被帧间编码为净区域，并且最右侧区域被帧间编码为脏区域。刷新区域再次相对于图像1、2和3向右移动，因此图像4的最右侧区域被完全帧内编码为刷新区域。图像4的最左侧区域、中左区域和中右区域对应于在图像1-3中被刷新的区域，因此被帧间编码并标记为净区域。
还如在最坏情况场景112的图像1-4中所描绘的，HMD设备102针对与图像1-4相对应的时间图像的全局运动产生新内容(在图1中由跳跃的美洲虎的图标表示)，当旧内容从图像的左边缘移出时，所述新内容从图像的右边缘移入。这种新内容的从右到左方向(由从左到右的全局运动导致)与图像1-4中的刷新区域的移动方向相反，因此导致低效的编码。为了进行说明，针对图像1，刷新区域R是帧内编码的。然而，由于图像1的最右侧区域具有全新内容，其编码效率也基本上等于完全帧内编码情况，从而导致两个具有位级I的帧内编码区域和两个具有位级Pf的脏区域。在图像2中，中左区域被帧内编码为刷新区域。然而，由于所有新内容已经在最右侧区域处被再次引入，图像2的最右侧区域也被帧内编码，从而导致两个区域在位级I下被帧内编码，净区域在位级Pr下被帧内编码，并且脏区域在位级Pf下被帧内编码。对图像3进行编码的条件变得更糟。针对这个图像，中右区域被编码为刷新区域，因此需要位级I。与图像1和2一样，由于全局运动(MVG)，新内容已经在右侧移入，因此图像3的最右侧区域也必须在位级I下进行帧内编码。此外，因为图像3的中左区域基本上由在刷新区域图像和图像2的净区域中找不到的内容组成，所以图像3的中左区域也必须主要在位级I下进行帧内编码。由于图像3的最左侧区域不包含来自先前图像中的脏区域的新内容，因此这个区域在位级Pr下进行帧间编码。针对图像4，编码所需的位数减少，这是由于图像4的刷新区域与由于全局运动而引入全新内容的区域相匹配，并且其他区域包含先前图像的净区域中已经存在的内容，从而允许除了图像4的刷新区域之外的所有区域在位级Pr下进行帧间编码。因此，对最坏情况场景112中的图像1-4进行编码导致：两个图像各自具有编码为位级I区域的两个区域，并且一个图像具有在位级I下编码的三个区域，从而产生具有显著变化的位速率的编码位流部分。
用于最佳情况场景114的帧内刷新集合也包括四个图像，标示为图像1、图像2、图像3和图像4，它们在逻辑上被分割成相同的四个水平布置区域。此外，针对最佳情况场景114，常规的帧内刷新编码模式被设置成使得刷新区域在图像之间从右到左移动。因此，当对图像1进行编码时，最右侧区域被帧内编码为刷新区域，当对图像2进行编码时，中右区域被帧内编码为刷新区域，当对图像3进行编码时，中左区域被帧内编码为刷新区域，并且当对图像4进行编码时，最左侧区域被帧内编码为刷新区域。然而，与最坏情况场景112不同，在最佳情况场景114中，刷新区域的方向移动遵循引入新内容以供显示的方向。图1中描绘了用于对图像1-4的相应区域进行编码的所得位级。因此，如图所示，最佳情况场景112需要三个图像，每个图像具有在位级I下编码的两个区域，并且一个图像具有在位级I下编码的一个区域。因此，虽然与最坏情况场景114相比，最佳情况场景114表现出用于传输四个图像的编码表示的稍微更平稳的位速率，但是最佳情况场景114的位速率仍然具有相当多的抖动，因此可能对所得的编码显示流的等待时间或抖动产生负面影响。
现在转向本文描述的运动自适应帧内刷新编码技术，示例性场景116描绘了这个过程到场景112、114中描绘的四个图像集合的应用。然而，与由场景112、114表示的常规帧内刷新编码过程不同，在所述场景112、114中，刷新区域的位置在帧内刷新集合中的每个图像之间沿特定方向移动，运动自适应帧内刷新编码过程将图像的刷新区域选择为与图像边缘紧邻的区域，所述图像边缘位于与这个图像相关联的全局运动的方向上。如以上指出的，在图1的实例中，全局运动是从左到右，因此右边缘将被识别为全局运动方向上的显示边缘。此外，出于这个实例的目的，假设全局运动矢量MVG的量值和方向在所有四个图像中是恒定的；也就是说，图像1-4中的每一个具有相同的全局运动估计。这种假设是基于以下事实：全局运动在视频序列中几乎不会孤立地显现，而在一组图像中持续存在。
由于右边缘被识别为全局运动方向上的边缘，因此选择每个图像1-4的最右侧区域(也就是说，紧邻右边缘的区域)作为每个图像的要刷新区域。因此，当由于全局运动而在每个图像1-4的最右侧区域中引入新内容时，并且当考虑到全局运动、最右侧区域被选择为每个图像1-4的刷新区域时，将每个图像1-4的最右侧区域在位级I下帧内编码为刷新区域担负着双重任务--所述一个区域的帧内编码用于满足刷新帧内编码要求以及对新引入的内容进行帧内编码的需要。此外，因为刷新区域位于图像之间的固定位置，并且因为这个固定位置是出现新内容的位置，所以净区域沿与新内容相同的方向在图像上移动，从而允许每个图像的净区域为帧间编码的，这与对表示常规帧内刷新技术的场景112、114中的一些净区域进行帧内编码的需要形成对比。所得的位速率编码配置文件在场景116中的图像1-4下方示出。如所展示的，图像1-4中没有一个需要使用运动自适应帧内刷新技术对多于一个区域进行帧内编码，因此与常规方法相比，为所得的编码位流提供更平稳的位速率。
尽管场景116的实例假设给定图像的区域具有相等的宽度，并且特定区域类型的大小在图像上是恒定的，但通常有利的是，基于一个或多个因素动态来调整刷新区域的大小，这继而导致所述帧内刷新集合中的连续图像的净区域和脏区域的大小不同。具体地，选择图像的刷新区域的宽度以匹配由于全局运动而从这个图像的对应边缘引入的新内容的“宽度”，可以为刷新区域提供最优设置。为了进行说明，如果引入的新内容的宽度大于刷新区域的宽度，则新内容的一部分将不被刷新区域的帧内编码覆盖，并且因此相邻区域的至少一部分将需要进行帧内编码以覆盖新内容的一部分，因此对于窄的刷新区域没有任何优势。相反，如果刷新区域比由于全局运动而在那个图像中引入的新内容的宽度宽，则完全帧内编码的图像内容量可以不必是大的。此外，C区域可以向外扩展，以使得一个图像中的C区域覆盖先前图像中的D区域的一部分。这继而将影响C区域的编码效率，因为先前图像中的D区域不能用于运动矢量搜索。因此，当与全局运动估计相匹配时，刷新区域的宽度可以导致最佳或改善的编码效率，所述全局运动估计表示从刷新区域固定到的图像的边缘引入新内容的速率。
图2示出在图像流的运动自适应帧内刷新编码期间刷新区域的这种动态配置的实例。在所描绘的实例中，视频流包括具有六个图像的帧内刷新集合，所述六个图像标示为图像1-6。图表202示出了与每个图像相对应的全局运动矢量MVG的量值。例如，根据HMD设备102在与图像相对应的时间的移动来确定针对每个图像的特定全局运动矢量MVG。此外，对于这个实例，针对每个图像1-6的全局运动矢量MVG被确定为从左到右的运动。因此，使用本文描述的运动自适应帧内刷新技术，每个图像1-6的刷新区域被固定到紧邻右边缘的区域。
当对图像1进行编码时，基于针对这个图像确定的全局运动量值，将这个图像右边缘处的刷新区域R1设置为宽度W1。此外，因为图像1是这个帧内刷新集合中的第一图像，所以图像1的其余区域是脏区域D1。当对图像2进行编码时，基于针对这个图像确定的全局运动量值，将这个图像右边缘处的刷新区域R2设置为宽度W2。此外，图像1的刷新区域R1变为图像2的净区域C1，其中由于全局运动，位置向左移动。因此，图像2的其余部分是脏区域D2。针对图像3，基于对应的全局运动量值将刷新区域R3设置为宽度W3。然后，图2的刷新区域R2和净区域C1变为净区域C2，其中由于全局运动，位置向左移动，并且图像3的其余部分是脏区域D3。所述过程导致：所示的具有宽度W4的刷新区域R4、由净区域C2和刷新区域R3产生的净区域C3、以及图像4的脏区域D4；所示的具有宽度W5的刷新区域R5、由净区域C3和刷新区域R4产生的净区域C4、以及图像5的脏区域D5；以及所示的具有宽度W6的刷新区域R6、以及图像6的由净区域C4和刷新区域R5产生的净区域C5。
图3示出根据本公开的至少一个实施方案的视频处理系统100的示例性实现方式。在所描绘的实例中，视频处理系统100包括通过传输链路306连接的视频生成子系统302和HMD设备304(HMD设备102的一个实施方案)，所述传输链路306包括例如有线通信链路、无线链路或其组合。有线通信链路的实例包括以太网链路、通用串行总线(USB)链路、高分辨率多媒体接口(HDMI)链路等。无线通信链路的实例包括IEEE 802.11局域网、Bluetooth(TM)个人局域网等。视频生成子系统302包括视频源308、全局运动估计模块310、模式控制模块312、编码器314和链路接口316。HMD设备304包括链路接口318、解码器320、显示控制器322以及一个或多个显示面板，诸如左眼显示面板324和右眼显示面板326。此外，在一些实施方案中，HMD设备304包括惯性测量单元(IMU)328，其具有一个或多个基于运动的传感器，诸如陀螺仪330、加速计332和磁力计334。其他实例包括结构光传感器、激光传感器等。
作为总体概述，视频生成子系统302操作来渲染表示VR/AR内容的图像流，将这个图像流340编码为编码位流342，并将编码位流传输到HMD设备304，然后，HMD设备304的解码器320操作来对编码位流342进行解码以获得图像流340(或其有损表示)，所述图像流340被提供用于通过显示控制器322和显示面板324、326显示给用户。为此，视频源308操作来对图像流进行渲染。因此，视频源308包括例如执行VR/AR应用程序的一个或多个处理器，所述VR/AR应用程序至少部分地基于HMD设备304的运动或姿势来渲染表示VR/AR内容的图像，所述运动或姿势如通过IMU 328或通过使用其他头部跟踪机制所测量的。编码器314操作来对图像进行编码以生成编码位流342，所述编码位流342被提供给链路接口316以便通过传输链路306进行传输。
在编码过程期间，编码器314可以包括双模式编码器，因为编码器314被配置来以常规的帧内刷新编码模式或本文描述的运动自适应帧内刷新模式操作，在所述常规的帧内刷新编码模式中，刷新区域在帧内刷新集合中的图像之间移动位置。为了相应地配置编码器314，全局运动估计模块310重复地获得更新的全局运动估计，并将每个更新的全局运动估计提供给模式控制模块312。然后，模式控制模块312根据全局运动估计来确定是实现常规帧内刷新模式还是实现运动自适应帧内刷新模式，并且相应地通过模式配置信号344来配置编码器314。此外，在实现运动自适应帧内刷新模式的情况下，模式控制模块312进一步确定将由编码器314针对要编码的当前图像实现的刷新区域的特性，包括刷新区域将与图像的哪个边缘相邻以及刷新区域的宽度，然后编码器314可以通过刷新区域配置信号346将这些参数发信号给编码器314。
图4更详细地示出操作全局运动估计模块310、模式控制模块312和编码器314的方法400。在开始图像编码之前，在框402处，用相关参数来初始化编码器314、模式控制模块312和全局运动估计模块310。为了进行说明，在一些实施方案中，编码器314被配置来实现帧内刷新集合中的指定数量N个图像，模式控制模块312被配置成具有要应用于全局运动估计的指定阈值，以及设置为一(1)的临时变量X。在初始化之后，视频源308开始渲染流340的图像，并且在框404的迭代处在编码器314处接收每个渲染的图像。
与图像的渲染和接收同时，在框404处，全局运动估计模块310确定针对当前图像迭代i的全局运动估计MVG(i)。如框405所表示，在一个实施方案中，基于来自IMU 328的一个或多个基于运动的传感器的传感器数据，全局运动估计模块310确定全局运动估计MVG(i)。为了进行说明，IMU 328周期性地对陀螺仪330、加速计332或磁力计334中的一个或多个进行采样，以确定HMD设备304的当前姿势和HMD设备304的姿势的当前改变，并且根据这个信息，全局运动估计模块310确定全局运动估计MVG(i)，其包括例如任何转动运动到相对于显示面板324、326的显示空间的对应平移运动的变换。可替代地，如框407所表示，全局运动估计模块310使用多种全局运动技术中的任何一种来确定全局运动估计MVG(i)，所述技术采用通过当前图像和一个或多个先前图像来对要编码的当前图像的基于运动的分析。
如本文所述，运动自适应帧内刷新模式将帧内刷新编码图像的刷新区域“固定”到与图像边缘紧邻的区域，所述图像边缘位于针对这个图像的全局运动的方向上。然而，将理解，全局运动可以具有与表示图像的四个边缘的四个基本方向不平行的方向。为了进行说明，简要地参考图1，全局运动估计MVG(i)由运动矢量120表示，所述运动矢量120具有向右和向下的方向(相对于用户的视角)。在此类情况下，全局运动估计模块310使用全局运动估计MVG(i)的主方向分量；也就是说，全局运动估计MVG(i)的与四个基本轴线中的一个平行并且具有最大量值的方向分量。为了进行说明，运动矢量120具有水平方向分量122和垂直方向分量124，并且当水平方向分量122的量值更大时，水平方向分量122被用作全局运动估计MVG(i)。可替代地，因为与由于垂直运动引入的内容相比，用户可能对由于水平运动引入的内容更敏感，所以在默认情况下全局运动估计的水平方向分量被用作MVG(i)。
在框408处，模式控制模块312接收全局运动估计MVG(i)并将全局运动的这个表示的量值与指定阈值进行比较，所述阈值表示被认为足以将模式切换为运动自适应帧内刷新编码模式的最小全局运动。通过建模、实验等确定阈值，并且在一些情况下，基于对阈值的各种值的影响的反馈或其他分析，随时间修改阈值。在全局运动估计MVG(i)的量值不超过这个阈值的情况下，模式控制模块312通过模式配置信号344将编码器314配置来采用常规的帧内刷新模式对在框404处接收的图像进行编码。响应于这样的配置，在框410处，编码器314对图像进行帧内刷新编码，其中图像内的刷新区域的位置由变量X指定，所述变量X表示当前帧内刷新集合内的图像的位置。在框412处，变量X被移动到所述集合的下一个刷新位置(也就是说，X被设置为(X+1)MOD N)。
返回到框408，在全局运动估计MVG(i)的量值超过阈值的情况下，模式控制模块312通过模式配置信号344将编码器314配置来针对图像采用运动自适应帧内刷新模式。为此，在框414处，模式控制模块312识别位于全局运动估计MVG(i)的方向上(或者位于全局运动估计MVG(i)的主分量的方向上)的图像边缘。为了进行说明，从左到右的全局运动将导致选择图像的右边缘，而从右到左的全局运动将导致选择图像的左边缘。类似地，可以实现垂直布置的刷新区域，向上的全局运动将导致选择图像的顶部边缘，而向下的全局运动将导致选择图像的底部边缘。此外，这种运动自适应帧内刷新技术不限于基本方向上的运动(也就是说，纯粹的右左运动或上下运动)。为了进行说明，这种方法可用于任何方向上的运动，诸如从左上到右下、从右下到左上、从右上到左下、从左下到右上等的运动。在框416处，模式控制模块312基于全局运动估计MVG(i)(或其主方向分量)的量值来确定图像的要编码的刷新区域的宽度。具体地，根据像素数量来计算刷新区域宽度，所述像素数随着全局运动估计的量值、图像速率和图像的分辨率而变化。在图像边缘和刷新区域宽度已确定的情况下，模式控制模块312通过刷新区域配置信号346将这些参数发信号给编码器314。
在框418处，编码器314使用刷新区域配置参数来对图像进行帧内刷新编码，以生成表示所得的编码流的位流部分，并将这个位流部分结合到传输给HMD设备304的编码位流342中。在这个编码过程中，编码器314使用所识别的图像边缘和所识别的刷新区域宽度，来对与所识别的图像边缘紧邻并且具有与所指示的刷新区域相对应的宽度的区域进行帧内编码。如上所述，图像的其余部分被编码为脏区域或净区域中的一个或两个。
尽管方法400描绘了一种在每个图像之间切换帧内刷新模式的实现方式，但是在其他实施方案中，模式之间的切换与帧内刷新集合的完成相关联。也就是说，模式之间的切换可以被限制为仅在一个帧内刷新集合/周期的完成与下一个帧内刷新集合/周期的开始之间发生，因此针对帧内刷新集合选择的模式应用于这个集合中的每个图像。
在一些实施方案中，上述技术的某些方面通过执行软件的处理系统的一个或多个处理器来实现。所述软件包括存储或以其他方式有形地体现在非暂时性计算机可读存储介质上的一个或多个可执行指令集。所述软件可包括指令和某些数据，所述指令和数据在由一个或多个处理器执行时操纵所述一个或多个处理器来执行上述技术的一个或多个方面。非暂时性计算机可读存储介质可包括例如磁盘或光盘存储设备、固态存储设备(诸如闪存存储器、高速缓存、随机存取存储器(RAM))或一种或多种其他非易失性存储器设备等。可执行指令以源代码、汇编语言代码、目标代码或者由一个或多个处理器解译或以其他方式可由一个或多个处理器执行的其他指令格式存储在非暂时性计算机可读存储介质上。
应注意，并非以上在一般说明中描述的所有活动或元件都是需要的，具体活动或设备的一部分可能是不需要的，并且除所描述的活动或元件之外，可以执行一个或多个其他活动或者包括一个或多个其他元件。此外，列出活动的顺序并不一定是执行它们的顺序。另外，已经参考具体实施方案描述了概念。然而，本领域的普通技术人员应理解，在不背离如以下权利要求书中阐述的本公开范围的情况下，可做出各种修改和改变。因此，本说明书和附图将视为说明性而非限制性的，并且所述此类修改意图包括在本公开的范围内。
以上已经参考具体实施方案描述了益处、其他优点以及问题的解决方案。然而，所述益处、优点、问题解决方案，以及可使得任何益处、优点或问题解决方案出现或变得更为显著的任何特征，都不应解释为是任何或所有权利要求的关键、必需或必要特征。此外，以上所公开的特定实施方案仅为说明性的，因为所公开的主题可按照受益于本文教义的本领域技术人员显而易见的不同但等效的方式进行修改和实践。除了如以下权利要求书中所描述之外，并不旨在限制本文示出的构造或设计的细节。因此，明显的是，以上所公开的特定实施方案可更改或修改，并且所有此类变化都被认为在所公开的主题的范围内。因此，本文所寻求的保护如以下权利要求书中所阐述。

Claims (15)

1.一种用于视频处理系统(302)中的方法包括：
确定针对要渲染的第一图像的第一全局运动估计(120)；
识别(414)所述第一图像的边缘作为所述第一图像的位于所述第一全局运动估计的方向上的边缘；以及
响应于识别所述第一图像的所述边缘，在所述视频处理系统的编码器(314)处，通过将所述第一图像的紧邻所述所识别边缘的区域(R1)编码为所述第一图像的帧内编码刷新区域来对所述第一图像进行帧内刷新编码(418)。
2.如权利要求1所述的方法，其还包括：
基于所述第一全局运动估计的主方向分量(1220来设置所述刷新区域的宽度(W1)。
3.如权利要求1所述的方法，其还包括：
将所述第一全局运动估计与阈值进行比较(408)；以及
其中识别所述第一图像的所述边缘并将所述第一图像的紧邻所述所识别边缘的区域编码为帧内编码刷新区域是响应于所述第一全局运动估计超过所述阈值。
4.如权利要求3所述的方法，其还包括：
确定针对要渲染的第二图像的第二全局运动估计；
将所述第二全局运动估计与所述阈值进行比较；以及
响应于所述第二全局运动估计不超过所述阈值，在所述编码器处，通过对所述第二图像的基于刷新区域模式选择的区域进行编码来对所述第二图像进行帧内刷新编码，在所述刷新区域模式中，帧内编码刷新区域的位置在图像集合中的连续图像之间移动。
5.如权利要求1所述的方法，其还包括：
将编码的位流传输到头戴式显示器(HMD)设备(304)，所述编码的位流包括所述编码的第一图像；并且
其中确定所述第一全局运动估计包括基于所述HMD设备的运动确定(405)所述第一全局运动估计。
6.如权利要求1所述的方法，其中：
确定所述第一全局运动估计包括基于对所述第一图像的内容和至少一个先前图像的内容的运动分析(407)来确定所述第一全局运动估计。
7.一种用于视频编码系统(302)中的方法包括：
响应于确定(408)与第一图像集合相关联的全局运动(120)不超过指定阈值，对所述第一集合中的每个图像进行帧内刷新编码(410)，以使得所述图像的刷新区域的位置相对于所述第一集合中的先前图像的刷新区域的位置在空间上移动；以及
响应于确定(410)与第二图像集合相关联的全局运动(120)超过指定阈值，对所述第二集合中的每个图像进行帧内刷新编码(416)，以使得所述第二集合中的每个图像的刷新区域的位置被固定为紧邻图像边缘，所述图像边缘位于与所述第二图像集合相关联的所述全局运动的方向上。
8.如权利要求7所述的方法，其中：
所述第一图像集合的所述刷新区域具有相同的宽度；
与所述第二图像集合相关联的所述全局运动包括多个全局运动估计，每个全局运动估计与所述第二集合中的对应图像相关联；并且
所述第二集合中的图像的所述刷新区域是基于与所述图像相关联的所述全局运动估计。
9.如权利要求7所述的方法，其还包括：
将编码的位流传输到头戴式显示器(HMD)设备(304)，所述编码的位流包括所述第一集合和所述第二集合中的所述图像的帧内刷新编码表示。
10.如权利要求9所述的方法，其还包括：
在所述HMD设备处，对所述编码的位流进行解码以生成渲染图像集合；以及
在所述HMD设备的显示面板(324、326)处显示所述渲染图像集合。
11.一种系统(302)，其包括：
编码器(314)，所述编码器(314)用于对图像流中的图像进行编码以生成编码的位流；
全局运动估计模块(310)，所述全局运动估计模块(310)用于确定与所述流中的第一图像相关联的第一全局运动估计(120)；以及
模式控制模块(312)，所述模式控制模块(312)用于将所述第一图像的边缘识别为所述第一图像的位于所述第一全局运动估计的方向上的边缘，并且将所述编码器配置来对所述第一图像进行帧内刷新编码，以使得所述第一图像的紧邻所识别边缘的区域被编码为所述第一图像的帧内编码刷新区域。
12.如权利要求11所述的系统，其中所述第一全局运动估计的所述方向是所述第一全局运动估计的主方向分量(122)的方向。
13.如权利要求11所述的系统，其中：
所述模式控制模块用于识别所述第一图像的所述边缘，并将所述编码器配置来响应于所述第一全局运动估计超过指定阈值而对所述第一图像进行帧内刷新编码。
14.如权利要求13所述的系统，其中：
所述全局运动估计模块进一步用于确定针对所述流中的第二图像的第二全局运动估计；并且
响应于所述第二全局运动估计不超过所述指定阈值，所述模式控制模块进一步用于将所述编码器配置来：通过对所述第二图像的基于刷新区域模式选择的区域进行编码而对所述第二图像进行帧内刷新编码，在所述刷新区域模式中，帧内编码区域在图像集合中的连续图像之间移动位置。
15.如权利要求11所述的系统，其还包括：
头戴式显示器(HMD)设备(304)，所述HMD设备(304)用于接收所述编码的位流，对所述编码的位流进行解码以生成解码的图像流，并将所述解码的图像流显示给用户；并且
其中所述全局运动估计模块用于基于所述HMD设备的运动来确定所述第一全局运动估计。
CN201780026608.3A 2016-04-29 2017-04-28 用于高效、低延迟视频编码的运动自适应帧内刷新 Pending CN109076227A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662329602P 2016-04-29 2016-04-29
US62/329,602 2016-04-29
US15/188,067 US10652572B2 (en) 2016-04-29 2016-06-21 Motion-adaptive intra-refresh for high-efficiency, low-delay video coding
US15/188,067 2016-06-21
PCT/CA2017/050520 WO2017185187A1 (en) 2016-04-29 2017-04-28 Motion-adaptive intra-refresh for high-efficiency, low-delay video coding

Publications (1)

Publication Number Publication Date
CN109076227A true CN109076227A (zh) 2018-12-21

Family

ID=60158697

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780026608.3A Pending CN109076227A (zh) 2016-04-29 2017-04-28 用于高效、低延迟视频编码的运动自适应帧内刷新

Country Status (6)

Country Link
US (1) US10652572B2 (zh)
EP (1) EP3449632A4 (zh)
JP (2) JP6867406B2 (zh)
KR (1) KR102239856B1 (zh)
CN (1) CN109076227A (zh)
WO (1) WO2017185187A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112887718A (zh) * 2019-11-29 2021-06-01 安讯士有限公司 使用凸凹分布函数对多个图像帧进行帧内刷新编码的方法
CN112911294A (zh) * 2021-03-22 2021-06-04 杭州灵伴科技有限公司 一种使用imu数据的视频编码、解码方法，xr设备和计算机存储介质

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106488229B (zh) * 2015-09-01 2022-01-21 恩智浦美国有限公司 具有可调整帧内刷新率的视频编码器
JP2019530299A (ja) * 2016-10-13 2019-10-17 富士通株式会社 画像コーディング／デコーディング方法、装置及び画像処理機器
US20190156792A1 (en) * 2017-01-10 2019-05-23 Shenzhen Royole Technologies Co., Ltd. Method and system for adjusting display content and head-mounted display
GB2569107B (en) * 2017-11-29 2022-04-06 Displaylink Uk Ltd Managing display data
EP3522539A1 (en) * 2018-02-01 2019-08-07 Vrije Universiteit Brussel Method and apparatus for compensating motion for a holographic video stream
EP3657799B1 (en) * 2018-11-22 2020-11-04 Axis AB Method for intra refresh encoding of a plurality of image frames
EP3942803A4 (en) * 2019-03-21 2022-12-21 Nokia Technologies Oy METHOD, APPARATUS AND COMPUTER PROGRAM PRODUCT FOR VIDEO CODING AND DECODING
US11039149B2 (en) 2019-08-01 2021-06-15 Qualcomm Incorporated Dynamic video insertion based on feedback information

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6333948B1 (en) * 1998-02-09 2001-12-25 Matsushita Electric Industrial Co., Ltd. Video coding apparatus, video coding method and storage medium containing video coding program
CN101621685A (zh) * 2008-07-04 2010-01-06 株式会社日立制作所 编码装置和编码方法
CN104521233A (zh) * 2012-09-07 2015-04-15 英特尔公司 运动和质量适应的回滚帧内刷新

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11289542A (ja) * 1998-02-09 1999-10-19 Matsushita Electric Ind Co Ltd 画像符号化装置、画像符号化方法、および画像符号化プログラムを記録した記録媒体
DE102005029127A1 (de) * 2005-06-23 2007-04-19 On Demand Microelectronics Ag Verfahren und Vorrichtung zur optimierten prädiktiven Videocodierung
JP4851911B2 (ja) * 2006-10-23 2012-01-11 富士通株式会社 符号化装置、符号化プログラムおよび符号化方法
US9897805B2 (en) * 2013-06-07 2018-02-20 Sony Interactive Entertainment Inc. Image rendering responsive to user actions in head mounted display
US9930360B2 (en) * 2011-11-08 2018-03-27 Texas Instruments Incorporated Method, system and apparatus for intra-refresh in video signal processing
JP2013165340A (ja) * 2012-02-09 2013-08-22 Sony Corp 画像処理装置と画像処理方法
US20140294072A1 (en) * 2013-03-27 2014-10-02 Magnum Semiconductor, Inc. Apparatuses and methods for staggered-field intra-refresh
JP2015106747A (ja) 2013-11-28 2015-06-08 富士通株式会社 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム
US9529200B2 (en) 2014-03-10 2016-12-27 Ion Virtual Technology Corporation Method and system for reducing motion blur when experiencing virtual or augmented reality environments

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6333948B1 (en) * 1998-02-09 2001-12-25 Matsushita Electric Industrial Co., Ltd. Video coding apparatus, video coding method and storage medium containing video coding program
CN101621685A (zh) * 2008-07-04 2010-01-06 株式会社日立制作所 编码装置和编码方法
CN104521233A (zh) * 2012-09-07 2015-04-15 英特尔公司 运动和质量适应的回滚帧内刷新

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112887718A (zh) * 2019-11-29 2021-06-01 安讯士有限公司 使用凸凹分布函数对多个图像帧进行帧内刷新编码的方法
CN112887718B (zh) * 2019-11-29 2022-05-17 安讯士有限公司 使用凸凹分布函数对多个图像帧进行帧内刷新编码的方法
CN112911294A (zh) * 2021-03-22 2021-06-04 杭州灵伴科技有限公司 一种使用imu数据的视频编码、解码方法，xr设备和计算机存储介质

Also Published As

Publication number Publication date
US10652572B2 (en) 2020-05-12
US20170318308A1 (en) 2017-11-02
JP6867406B2 (ja) 2021-04-28
EP3449632A4 (en) 2019-12-11
KR102239856B1 (ko) 2021-04-13
EP3449632A1 (en) 2019-03-06
KR20190003548A (ko) 2019-01-09
JP2019519964A (ja) 2019-07-11
WO2017185187A1 (en) 2017-11-02
JP2021108483A (ja) 2021-07-29
JP6908797B1 (ja) 2021-07-28

Similar Documents

Publication Publication Date Title
CN109076227A (zh) 用于高效、低延迟视频编码的运动自适应帧内刷新
JP6490203B2 (ja) 画像予測方法および関連装置
CN106471807B (zh) 包括视角合成预测的三维或多视角视频的编码方法
HRP20191791T1 (hr) Uređaj za dekodiranje vektora kretanja
TWI499286B (zh) 使用移動補償預測之視訊解碼器及視訊編碼器
CN104067310A (zh) 显示图像的改进
JP2020518885A (ja) 後期再投影パワーを最適化するためのレイヤサブ領域に対する再投影処理の選択的適用
CN110459246A (zh) 用于回放全景视频内容的系统和方法
CN102282851B (zh) 图像处理装置、解码方法、帧内解码装置、帧内解码方法以及帧内编码装置
KR101557327B1 (ko) 동영상 데이터 생성장치, 동영상 표시장치, 동영상 데이터 생성방법, 동영상 표시방법, 및 동영상 파일의 데이터 구조
CN104704819A (zh) 3d视频编码的视差矢量推导和视图间运动矢量预测的方法及装置
CN106254885A (zh) 利用共位块进行运动估计
TW201834453A (zh) 自適應視頻解碼方法及其裝置
CN107295344B (zh) 一种视频中嵌入图形码的方法及装置
JP2005072726A5 (zh)
CN105430410A (zh) 运动补偿装置及运动补偿方法
JP2007228093A (ja) 動き検出装置及び動き検出方法
KR20220050228A (ko) 인코딩 및 디코딩 방법, 장치 및 이의 기기
WO2021072795A1 (zh) 一种基于帧间预测的编解码方法及装置
JP2016511962A (ja) 内挿方法および対応する装置
CN110475116A (zh) 一种运动矢量导出方法、装置及电子设备
KR20200053498A (ko) 전방위 비디오를 위한 움직임 벡터 예측기의 적응을 위한 방법 및 장치
KR102476207B1 (ko) 반도체 장치의 동작 방법 및 반도체 시스템
EP3310052A1 (en) Method, apparatus and stream for immersive video format
JP4531006B2 (ja) 動きベクトル検出装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20181221