CN111212283B - 用于多个图像帧的帧内刷新编码的方法 - Google Patents

用于多个图像帧的帧内刷新编码的方法 Download PDF

Info

Publication number
CN111212283B
CN111212283B CN201911111264.3A CN201911111264A CN111212283B CN 111212283 B CN111212283 B CN 111212283B CN 201911111264 A CN201911111264 A CN 201911111264A CN 111212283 B CN111212283 B CN 111212283B
Authority
CN
China
Prior art keywords
intra
coded
image frame
image frames
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911111264.3A
Other languages
English (en)
Other versions
CN111212283A (zh
Inventor
维克托·埃德帕尔姆
玛雅·沙阿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Axis AB
Original Assignee
Axis AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Axis AB filed Critical Axis AB
Publication of CN111212283A publication Critical patent/CN111212283A/zh
Application granted granted Critical
Publication of CN111212283B publication Critical patent/CN111212283B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/57—Motion estimation characterised by a search window with variable size or shape
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/583—Motion compensation with overlapping blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了用于多个图像帧的帧内刷新编码的方法。本发明涉及使用周期性帧内刷新的视频编码，并具体涉及一种可以基于图像帧中的运动而自适应填充图像帧之间的帧内编码区域的方法和编码器。

Description

用于多个图像帧的帧内刷新编码的方法
技术领域
本发明涉及使用周期性帧内刷新的视频编码，且更具体地涉及一种可以基于图像帧中的运动而自适应填充在图像帧之间的帧内编码区域的方法和编码器。
背景技术
H.264编码(和类似标准)的共同问题是I帧位率尖峰。该问题对于监视摄像机通常更严重，因为在相同网络上可以存在海量摄像机且典型的监视场景具有非常大(x10-x100)的I帧对P帧尺寸比率。理想地，网络将优选恒定位率。
减小摄像机的位率尖峰的一种解决方案是在多个图像帧之上扩展I帧并替代地迫使每个图像帧的一部分(帧内刷新区域)被编码为I块。在一组图像帧之上移动帧内刷新区域越过图像帧，由此“刷新”了图像。该方法称作周期性帧内刷新或简称帧内刷新。
然而，该方法伴随着不希望的位率代价。为了工作，帧内刷新要求帧内刷新区域的更新图案适用于在图像帧的图像数据中的移动，例如由所捕获场景中运动导致，或者由于捕获场景时摄像机的移动，以便块匹配算法仍然可以很好地发挥作用。这接着意味着在许多情形中，迫使图像帧的不必要部分被编码为I块。
因此在该上下文内需要改进。
发明内容
有鉴于此，本发明的目的因此在于克服或减轻上面讨论的问题中的至少一些问题。具体地，目的在于提供一种用于基于与图像帧相关联的运动水平而动态地选择图像帧的应当被帧内编码的区域的尺寸的方法、装置、软件和系统。
根据本发明的第一方面，提供了一种用于视频流的多个图像帧的帧内刷新编码的方法，其中帧内刷新编码是基于限定了图像帧的应当被帧内编码的区域的预定义周期性帧内刷新图案，该方法包括，对于每个图像帧：
·接收与图像帧相关联的当前运动水平，当前运动水平评估了与视频流中的之前被编码的图像帧的图像数据相比，图像帧的图像数据的多大一部分已经改变，
·根据预定义周期性帧内刷新图案确定图像帧的帧内编码区域。
假如当前运动水平并未超过第一阈值，该方法包括：
·对图像帧的帧内编码区域进行帧内编码，以及
·对剩余的图像帧进行帧间编码；
假如当前运动水平超过第一阈值，该方法包括：
·扩展图像帧的帧内编码区域以在所确定的程度上与多个图像帧当中的之前被编码的帧内编码区域重叠，
·对图像帧的已扩展帧内编码区域进行帧内编码，以及
·对剩余的图像帧进行帧间编码。
“帧间编码”通常意味着将剩余的图像帧(即，并未迫使帧内编码的部分)编码为P帧或B帧。这接着意味着将剩余帧的宏块进行帧间编码或帧内编码，编码器所作出的决定取决于例如块匹配的结果、剩余部分尺寸等等。
“周期性帧内刷新图案”通常意味着循环图案，其限定了应该迫使图像帧的哪些区域/部分/宏块进行帧内编码，也即被编码为I块。图案是周期性/循环的意味着每隔n个图像帧，图案重新开始。
接收当前运动水平，当前运动水平评估了与视频流的之前被编码的图像帧的图像数据相比，图像帧的图像数据的多大一部分已经改变。之前被编码的图像帧可以是视频流的时间上在先的图像帧或者视频流的时间上后续的图像帧(即，在B帧编码的情形中)。运动水平可以由连接至实施本实施例的编码器的另一单元计算，或者由编码器计算。运动水平可以以任何合适的方式确定，例如通过将待编码的图像帧的图像数据与视频流中前一帧的图像数据比较。在一些实施例中，针对之前被编码的图像帧确定/计算运动水平，且该运动水平用作当前运动水平的评估，也即待编码的图像帧的运动水平。有利地，这例如仅允许针对每二个、每三个、每五个等等图像帧确定运动水平，这降低了计算复杂性。这样的实施例也有助于用于对视频流的多个图像帧进行编码的分布式架构，因为可以分立地执行运动检测，也即使用另一处理器，且可以随后将运动水平发送至编码器以用作待编码的图像帧的运动水平的评估。因此应该注意，当编码时无需针对后续用作评估的图像帧确定运动水平。在一些实施例中，针对例如在待编码帧之前的帧确定运动水平。然而，这样的措施可以仍然是针对待编码帧的运动水平的良好评估(最佳猜测)。
本发明是基于与对像素块帧间编码的位率成本(其接着与运动水平相关)相比，帧内刷新填充的代价(即，与在视频流中连续图像帧之间具有重叠的帧内刷新区域相关联的位率代价)与对像素块(I-块)帧内编码的位率成本的比率相关联的实现。在图像中运动的情形中可以需要重叠，以提高具有特定图像内容的帧间块可以称作在具有相同或类似图像内容的之前图像帧中的帧内块的可能性。然而，对帧内块编码的位率成本高于对帧间块编码的成本。假定如此，本发明人已经认识到，通过动态地选择帧内刷新填充的最佳水平(也即在视频流中图像帧之间帧内编码区域之间的重叠)，可以最小化位率代价。换言之，基于图像数据中的运动水平而动态地调节整个图像帧序列的帧内刷新区域的覆盖率，例如由于在所描绘场景中运动水平和/或由于视频捕获装置的视场的调节(视频捕获装置的平移和/或倾斜和/或缩放调节)。
因此，在低的当前运动水平(也即低于第一阈值)的情形中，所确定的帧内编码区域(例如图像帧的切片或片段，或者分散在图像帧之上的多个宏块，或者任何其他合适的配置)也即如预定义周期性帧内刷新图案中所限定的那样使用，且迫使所确定帧内编码区域的宏块编码为I块。如上所限定对图像帧的剩余部分进行帧间编码。因为当前运动水平低，图像帧的剩余部分的大多数宏块将被编码为帧间块，甚至当减小/移除了图像帧之间的帧内刷新填充时。
然而，如果当前运动水平超过运动水平阈值，将帧内编码区域扩展至所确定(预定义)的程度。这意味着帧内编码区域将与多个图像帧当中的之前被编码的帧内编码区域重叠(或重叠更多)，与如果当前运动水平并非如不重叠、或较少重叠将发生的那么高相比。如上所述对图像帧的剩余部分进行帧间编码。因为在该情形中填充增大，图像帧的剩余部分的大多数宏块将被编码为帧间块。然而，帧内刷新区域的位率成本增大，因为扩展了帧内编码区域。
通过将当前运动水平限定为与视频流的之前被编码的图像帧的图像数据相比图像帧的图像数据的多大一部分已经改变的评估，该措施可以有利地用于确定帧内刷新填充的程度，因为该评估可以用于评估如果没有使用填充或使用较小填充，图像帧的帧间编码部分的多少宏块将以帧内块结束。可以针对将图像帧的较大部分编码为帧内刷新区域(即，增大填充(也即扩展帧内刷新区域))的成本而对由于运动而导致的额外帧内块的评估成本加权。
根据一些实施例，对于多个图像帧，在预定义周期性帧内刷新图案中的区域并未重叠。因此，在当前运动水平低于第一阈值时，这导致在图像帧的帧内编码区域与多个图像帧当中的之前被编码的帧内编码区域之间没有采用填充。有利地，这可以减小帧内刷新编码的位率代价。
根据一些实施例，扩展图像帧的帧内编码区域的步骤包括：扩展图像帧的帧内编码区域以与视频流中紧接着的前一个参考图像帧的帧内编码区域重叠。参考图像帧意味着其图像数据用于限定当前被编码的图像帧中被帧间编码的宏块的图像数据的图像帧。因此，可以提高编码效率。在其他实施例中，采用允许沿两个时间方向的多个参考的GOP结构，例如一个后向参考帧和一个前向参考帧，或者采用长期参考帧和紧接着的前一个参考帧，或者采用两个之前帧的一些混合。在这些情形中，应该据此进行图像帧的帧内编码区域的扩展。
根据一些实施例，方法进一步包括以下步骤：
一旦当前运动水平超过第二阈值，第二阈值比第一阈值大，则扩展图像帧的帧内编码区域以在第一程度上与多个图像帧当中的之前被编码的帧内编码区域重叠，
一旦当前运动水平并未超过第二阈值，则扩展图像帧的帧内编码区域以在第二程度上与多个图像帧当中的之前被编码的帧内编码区域重叠，其中第一程度大于第二程度。
在该实施例中，使用至少三级帧内刷新填充。在一些实施例中，第一程度表示最大填充，这意味着甚至更大的当前运动水平并未导致更多填充。使用三级填充可以表示在编码方法的计算复杂性与帧内刷新编码策略的位率代价的可能减小之间的良好平衡。
根据一些实施例，帧内编码区域和已扩展帧内编码区域各自由一个或多个切片或片段来限定。该实施例可以展示限定周期性帧内刷新图案及其帧内刷新区域的低复杂性方式。使用诸如H.264、H.265的高效率视频编码(HEVC)编解码器，切片(H.264，H.265)和/或片段(H.265)可以促进编码的并行处理，以提高效率。换言之，使用现代基于块的视频编解码器，诸如H.264、H.265、VP9、AV1，切片和/或片段可以促进编码的并行处理，以提高吞吐量。此外，切片/片段可以表示用于限定帧内刷新区域的低复杂性结构。
根据一些实施例，预定义周期性帧内刷新图案限定了在两个连续图像帧之间仅沿垂直方向或沿水平方向位移的帧内编码区域。例如，如果图案中的第一帧内刷新区域对应于最左列的宏块，则图案中的下一个帧内刷新区域可以对应于相邻列的宏块，以此类推，直至最后的帧内刷新区域将对应于最右列的宏块。接着图案再次从最左列重新开始。有利地，该实施例降低了周期性帧内刷新图案及其使用的复杂性。
根据一些实施例，预定义周期性帧内刷新图案限定了沿垂直方向位移的帧内编码区域，其中扩展图像帧的帧内编码区域的步骤包括增大图像帧的帧内编码区域的高度。例如，如果第一帧内编码区域在图像帧的图像数据中限定了头三行宏块，且第二帧内编码区域在图像帧的图像数据中限定了第四至第六行宏块，以及第二帧内编码区域的扩展将导致例如已扩展帧内编码区域将在图像帧的图像数据中限定第三至第六行宏块。类似地，在一些实施例中，预定义周期性帧内刷新图案限定了沿水平方向位移的帧内编码区域，其中扩展图像帧的帧内编码区域的步骤包括增大图像帧的帧内编码区域的宽度。
根据一些实施例，一旦当前运动水平并未超过第一阈值，方法包括将用于剩余图像的帧间编码的运动向量搜索范围从当前搜索范围调节至预定义搜索范围。因为已经评估了在待编码的图像帧的图像数据中存在低运动，该知识可以有利地用于减小(调节)用于帧间编码的运动向量搜索范围。预定义搜索范围可以例如在预定义周期性帧内刷新图案中的区域并未重叠的情形中被设置为零。因为在该情形中没有采用帧内刷新填充，多于零的运动向量搜索范围并非必然带来任何优点，且仅导致无用的增大的计算复杂性。假如预定义周期性帧内刷新图案中的区域在一定程度上重叠，例如具有16、32或80个像素，则预定义搜索范围可以被对应地限定，也即被设置为16、32或80个像素。
根据一些实施例，方法包括，一旦当前运动水平超过第二阈值，则调节用于剩余图像帧的帧间编码的运动向量搜索范围以对应于第一程度，且一旦当前运动水平并未超过第二阈值，则调节用于剩余图像帧的帧间编码的运动向量搜索范围以对应于第二程度。类似于以上所述，假如第一程度对应于32个像素(例如两个宏块)，且第二程度对应于16个像素，则可以取决于针对待编码的图像帧所评估的当前运动水平而将运动向量搜索范围设置为对应的数值。根据一些实施例，运动向量搜索范围仅沿与周期性帧内刷新图案中的帧内编码区域的位移方向相对应的方向而限定。例如，如果预定义周期性帧内刷新图案限定了沿水平方向位移的帧内编码区域，则根据以上沿水平方向限定运动向量。
在以上实施例中，有利地考虑到在多个图像帧当中的帧内编码区域之间所确定的重叠而调节运动向量搜索范围。这些实施例的技术效果可以是位率减小和编码的计算复杂性减小(由于例如当确定低运动水平时减小搜索范围)。在这些实施例中，通过限定当前运动水平为与视频流的之前图像帧的图像数据相比图像帧的图像数据的多大一部分已经改变的评估，该措施可以有利地用于确定帧内刷新填充的程度，因为该评估可以用于评估如果没有使用运动搜索或者少使用运动搜索、图像帧的帧间编码部分的多少宏块将作为帧间块而结束。可以针对将图像帧的更大部分编码为帧内刷新区域的成本，而对由于没有运动搜索或少运动搜索导致的额外帧内块的评估成本加权，也即增大填充(也即扩展帧内刷新区域)和运动搜索范围。
根据本发明的第二方面，以上目的由被配置用于描绘场景的视频流的多个图像帧的帧内刷新编码的编码器而实现，其中帧内刷新编码基于限定图像帧的应当被帧内编码的区域的预定义周期性帧内刷新图案，编码器包括处理器，处理器被配置为：
·接收场景中的当前运动水平，当前运动水平评估与视频流的之前被编码的图像帧的图像数据相比图像帧的图像数据的多大一部分已经改变；
·根据预定义周期性帧内刷新图案确定图像帧的帧内编码区域。
一旦当前运动水平并未超过第一阈值，处理器被配置为：
·对图像帧的帧内编码区域进行帧内编码，以及
·对剩余的图像帧进行帧间编码；
一旦当前运动水平超过第一阈值，处理器被配置为：
·扩展图像帧的帧内编码区域以在所确定的程度上与多个图像帧当中的之前被编码的帧内编码区域重叠，
·对图像帧的已扩展帧内编码区域进行帧内编码，并对剩余图像帧进行帧间编码；
根据一些实施例，处理器被进一步配置为，一旦当前运动水平超过第二阈值，第二阈值大于第一阈值，则：
·扩展图像帧的帧内编码区域以在第一程度上与多个图像帧当中的之前被编码的帧内编码区域重叠，
假如当前运动水平并未超过第二阈值，处理器被配置为：
·扩展图像帧的帧内编码区域以在第二程度上与多个图像帧当中的之前被编码的帧内编码区域重叠，其中第一程度大于第二程度。
根据一些实施例，处理器被进一步配置为，一旦当前运动水平未超过第一阈值，则将用于剩余图像帧的帧间编码的运动向量搜索范围从当前搜索范围调节至预定义搜索范围。
根据本发明的第三方面，以上目的由包括视频捕获装置、运动检测器以及根据第二方面的编码器的系统而实现，
其中视频捕获装置被配置为捕获描绘了场景的视频流，视频流包括多个图像帧，并将视频流的图像帧连续地传送至运动检测器和编码器，并且
其中运动检测器被配置为基于所接收到的图像帧中的图像数据而连续地检测所捕获图像帧中的当前运动水平，并将当前运动水平传送至编码器。
根据本发明的第四方面，以上目的由包括具有指令的计算机可读存储介质的计算机程序产品而实现，该指令适用于当由具有处理能力的装置运行时执行第一方面的方法。
第二、第三和第四方面可以通常具有与第一方面相同的特征和优点。应该进一步注意，本发明涉及特征的所有可能组合，除非明确另外规定。
附图说明
参照附图，通过本发明的优选实施例的以下说明性和非限定性详细描述而将更好地理解本发明的以上以及额外的目的、特征和优点，其中相同的附图标记将用于类似元件，其中：
图1示意性地示出了可以用于本发明的预定义周期性帧内刷新图案的四个不同示例，
图2示出了根据现有技术的用于视频流的多个图像帧的帧内刷新编码的方法，
图3示出了根据第一实施例的用于视频流的多个图像帧的帧内刷新编码的方法，
图4示出了根据第二实施例的用于视频流的多个图像帧的帧内刷新编码的方法，
图5a至图5c示出了在运动水平和帧内刷新区域的扩展之间映射的实施例，
图6示出了根据实施例的用于视频流的多个图像帧的帧内刷新编码的方法的流程图。
具体实施方式
现在将参照其中示出了本发明实施例的附图在下文中更全面描述本发明。将在此所公开的系统和装置将被描述为在操作期间。
如上所述，周期性帧内刷新是用于移除每个GOP也即当使用帧内编码对图像帧编码时出现一次的位率尖峰的公认方法。在帧内刷新策略中，周期性帧内刷新图案用于限定图像帧的哪个部分应该被“刷新”(也即不参考任何其他图像帧而被编码)，因此迫使被编码为帧内编码区域。
该图案的示例示出在图1中。针对待刷新的整个图像帧，每个示例包括三个图像帧，但是应该理解，在典型情形中，帧内刷新图案在较大的多个图像帧(诸如32或64等)之上循环。
在图1中(以及在图2至图5中)，阴影区域表示帧内刷新区域，并且未填充区域表示图像帧的剩余部分。
在图1的左上示例中，示出了周期性帧内刷新图案100a，其中图像帧中整行宏块限定了帧内刷新区域。在一些实施例中，图案100a中帧内刷新区域可以由一个或多个切片限定。在一些实施例中，帧内刷新区域包括一行宏块，这意味着多个图像帧之上的帧内刷新图案循环数等于图像帧中的宏块行数。在图1中，周期性帧内刷新图案100a限定了在两个连续图像帧之间沿水平方向位移(交错)的帧内编码区域。
在图1的左下示例中，示出了周期性帧内刷新图案100b，其中图像帧中整列宏块限定帧内刷新区域。在一些实施例中，图案100a中帧内刷新区域可以由一个或多个片段限定。在一些实施例中，帧内刷新区域包括一列宏块，这意味着多个图像帧之上的帧内刷新图案循环数等于图像帧中宏块的列数。在图1中，周期性帧内刷新图案100b限定了在两个连续图像帧之间沿垂直方向位移(交错)的帧内编码区域。
限定周期性帧内刷新图案的其他方式是等同地可能的。图1借由示例的方式示出了该图案的两个更多实施例。在右上示例中，周期性帧内刷新图案100c由从图像帧的一个角移动至相对角的对角区域而限定。在右下角中，限定了根据更随机方案的帧内刷新图案100d，其中分立的宏块限定了对于每个图像帧的帧内刷新区域。在图1中的帧内刷新图案的所有示例中，已经在图案100a至图案100d的循环期间(也即在帧内刷新图案的循环扩展的n个图像帧(n在这些示例中等于3)之上)帧内刷新了图像帧的像素的所有已定义宏块。
在图1的预定义周期性帧内刷新图案的示例中，图案中的区域并未在连续图像帧之间重叠。然而，根据一些实施例，可以存在一些重叠。
在图2至图4的示例中，图1的左上示例的帧内刷新图案100a用于例示本发明的不同实施例。应该注意，可以采用图1的示例图案100b至图案100d的任何其他图案，或者图1中未示出的任何其他合适的帧内刷新图案。
当使用帧内刷新编码策略时，对图像帧的帧内刷新区域的图像数据(例如宏块)帧内编码。对图像帧的剩余图像数据帧间编码，这意味着对已编码的图像帧的该部分的宏块进行帧内编码或帧间编码。为了在使用帧内刷新编码策略对多个图像帧编码时最小化位率，有利地将帧间编码区域中尽可能多的宏块编码为预测的宏块，也即帧间编码宏块。由编码器做出对宏块帧间或帧内编码的选择，且该选择基于前一图像帧中的任何宏块是否可以被找到且以高效方式用于预测当前已编码宏块。最终，为了提高编码效率，需要在使用帧内刷新策略被编码的多个图像帧中的尽可能多的新图像内容作为图像帧的帧内刷新区域的图像数据的一部分。如可以理解的，两个连续图像帧的帧内刷新区域之间的边界区域中的图像数据(和新图像数据)的移动可以导致一些图像内容从未包括在帧内刷新区域中。
通常使用的一种解决方案是总是允许在两个图像帧之间的帧内刷新区域在一定程度上重叠。这可以称作帧内刷新填充，且图2示出了现有技术中使用的实施例。图2示出了第一、第二和第三图像帧102a至102c。从预定的周期性帧内刷新图案确定不同图像帧的帧内刷新区域104a至104c。如图2中所示，扩展用于第二图像帧102b和第三图像帧102c的帧内刷新区域，以使得在第一图像帧102a的帧内刷新区域104a与第二图像帧102b的帧内刷新区域104b之间、以及在第二图像帧102b的帧内刷新区域104b与第三图像帧102c的帧内刷新区域104c之间形成重叠202b、202c(图2中示出为具有边界的阴影区域)。采用该解决方案，帧内刷新策略对于在多个图像帧102a至102c之中的图像数据中内容的移动不太敏感。然而，图2的解决方案伴随不希望的位率代价(通常额外多20-30％)，因为迫使对第二和第三图像帧102b至102c的图像数据的更大部分进行帧内编码。作为示例，对于其中每个图像帧具有高度68个宏块的大小的FHD视频，在帧内块和帧间块编码之间具有x100的大小差异(通常在低运动场景中)，在视频流的图像帧的帧内编码区域之间应用两个块填充将产生>100％的位率增大。
发明人已经认识到，填充的大小可以适用于与视频流的前一图像帧的图像数据相比图像帧的图像数据的多大一部分已经改变，因为低运动场景无需高运动场景那么多的填充而仍然实现高效编码。
图3借由示例的方式示出了将结合图5a和图6所述的帧内刷新编码方法的一个实施例。图3示出了第一、第二和第三图像帧102a至120c。对于第一图像帧102a，根据预定义的周期性帧内刷新图案(图1中左上)确定帧内编码区域104a。因此，迫使对图像帧102a的上部分(帧内编码区域104a)帧内编码。对于图像帧102a的剩余部分，对图像数据进行帧内编码。
对于第二图像帧102b，接收当前运动水平S02。在该示例中，使用图5a的映射方案502a以确定是否应该执行对于该图像帧所确定S04的帧内编码区域104b的扩展。对于第二图像帧102b，确定S06当前运动水平并未超过第一阈值506。如图5a中可见，这意味着不应执行帧内刷新区域104b的扩展。对于第二图像帧102b，这意味着并未扩展帧内编码区域104b，且迫使对该区域中图像数据进行帧内编码S14。对剩余图像帧进行帧间编码S16。这意味着并未迫使对第二图像帧102b的额外部分进行帧内编码，这对于低运动场景(当前运动水平低于阈值)从效率的观点而言是有利的，且与例如其中总是进行帧内刷新区域之间填充(扩展)的图2的实施例相比将减小了位率。
对于第三图像帧102c，接收当前运动水平S02。使用图5a的映射方案502a以确定是否应该执行对于该图像帧102c所确定S04的帧内编码区域104c的扩展。对于第三图像帧102c，确定S06当前运动水平超过第一阈值506。如图5a中可见，这意味着应该执行帧内刷新区域104b的扩展。因此，扩展S08第三图像帧102c的帧内编码区域104c以所确定的程度302c而与之前已编码图像帧102b(在该实施例中时间在第三图像帧之前)的帧内编码区域104b重叠。重叠的程度由所使用的映射方案502a确定，且在该情形中对应于在映射方案502a中限定的最大扩展504。通过增大帧内编码区域104c的高度而进行帧内编码区域104c的扩展，这是扩展区域104c的低复杂性方式。这取决于所使用的帧内刷新图案，且如果替代地使用图1的左下实施例的帧内刷新图案，可以通过替代地增大图像帧的帧内编码区域的宽度而进行扩展。
通过扩展帧内编码区域104c，块匹配算法可以仍然高效地起作用而不论图像数据的移动。
图4借由示例的方式示出了将结合图5b和图6描述的帧内刷新编码方法的一个实施例。图4示出了第一、第二和第三图像帧102a至120c。对于第一图像帧102a，根据预定义的周期性帧内刷新图案(图1中左上)确定帧内编码区域104a。因此，迫使对图像帧102a的上部(帧内编码区域104a)帧内编码。对于图像帧102a的剩余部分，对图像数据进行帧内编码。
对于第二图像帧102b，接收当前运动水平S02。使用图5b的映射方案502b以确定是否应该执行对于该图像帧102b所确定S04的帧内编码区域104b的扩展。对于第二图像帧102b，S06确定当前运动水平超过第一阈值506。不同于图5a中的映射方案502a，用于图4的多个图像帧102a至102c的映射方案502b取决于运动水平而限定了帧内编码区域的多于一级的扩展。在该实施例中，如果确定当前运动水平超过第一阈值506，将当前运动水平与第二阈值508比较。对于第二图像帧102b，当前运动水平并未超过第二阈值508。因此，根据由映射方案502b所限定的扩展水平510而在所确定的程度402b上扩展S08帧内编码区域104b。随后如以上结合图3所述的，对第二图像帧102b的不同区域编码S14、S16。
对于第三图像帧102c，接收当前运动水平S02。使用图5b的映射方案502b以确定是否应该执行对于该图像帧102c所确定S04的帧内编码区域104c的扩展。对于第三图像帧102c，确定S06当前运动水平超过第一阈值506。如上所述，在该实施例中，如果确定S06当前运动水平超过第一阈值506，将当前运动水平与第二阈值508比较。对于第三图像帧102c，确定S10当前运动水平超过第二阈值508。因此，根据由映射方案502b所限定的扩展水平512而在所确定的程度402c上扩展S08帧内编码区域104c。随后如以上结合图3所述的，对第二图像帧102b的不同区域编码S14、S16。
应该注意，图5b的三级扩展方案502b借由示例的方式被描述，且可以扩展为四、六、十级扩展方案。这示意性地在图6中示出，其中根据一些实施例，可以将当前运动水平与导致帧内刷新区域的进一步扩展S08的多个阈值比较S10。该帧内刷新区域的扩展方式仅是借由示例的方式，且根据一些实施例，当前运动水平被直接地映射为扩展的特定水平(也即如图5a至图5c中限定的)，且因此扩展帧内刷新区域。根据一些实施例，采用在当前运动水平与帧内刷新区域扩展之间的半连续映射，例如如图5c中所示。映射方案502c取决于宏块的大小例如16x16像素而逐步限定帧内刷新区域的扩展。
在图4的实施例中，如果由于当前运动水平超过第一阈值506而确定应该进行帧内编码区域的扩展，扩展的实际程度取决于当前运动水平。如图4中所示，第三图像帧102c中重叠程度402c大于第二图像帧中重叠程度402b，因为第三图像帧102c的当前运动水平大于第二图像帧102b的当前运动水平。有利地，与图3的实施例的两级映射方案(扩展方案)相比，可以进一步优化图4的实施例的用于已编码图像帧的位率。
在图3和图4的实施例中，扩展图像帧的帧内编码区域以与视频流中紧接着的前一个图像帧的帧内编码区域重叠。取决于所使用的编码方法，扩展图像帧的帧内编码区域，以替代地与视频流中紧接着的前一个参考图像帧的帧内编码区域重叠，例如在其中视频流中每个其他帧对应于空帧的情形中。在其他实施例中，如上所述，也可以使用时间上在后的图像帧及其编码区域用作确定扩展的参考。
根据一些实施例可以扩展限定了视频流中帧内刷新区域之间重叠的上述方法，以也对于剩余图像帧的帧间编码限定运动向量搜索范围(即，对不作为图像帧的帧内编码区域的部分的图像数据进行编码)。如上所述，限定重叠以提高参考图像帧之间成功块匹配的可能性，即使所捕获场景中的内容已经在图像帧的捕获之间移动。因此，帧内编码区域的所确定重叠可以有利地也用于设置编码器的运动向量搜索范围。因此，根据一些实施例，可以扩展图6的方法以取决于帧内刷新区域之间的重叠(帧内刷新填充)而也调节(设置)S12运动向量搜索范围。根据一些实施例，一旦当前运动水平并未超过第一阈值506，将用于剩余图像帧的帧间编码的运动向量搜索范围从当前运动向量搜索范围调节(限制)S12至预定义的搜索范围，例如零或一个宏块搜索范围。对于图4的实施例，可以使用取决于超过第一阈值506的运动水平所确定的重叠的程度而用以调节运动向量搜索范围。例如，一旦当前运动水平超过第二阈值，调节S12用于剩余图像帧的帧间编码的运动向量搜索范围以对应于第一程度。如果第一程度限定了三个或两个宏块重叠，可以调节S12运动向量搜索范围为三个或两个宏块。类似地，一旦当前运动水平未超过第二阈值，可以调节S12用于剩余图像帧的帧间编码的运动向量搜索范围以对应于第二程度。如果第二程度限定了两个或一个宏块重叠，可以调节S12运动向量搜索范围为两个或一个宏块。
上述方法有利地由具有被配置用于执行方法的一个或多个处理器的编码器所实施。
编码器可以形成系统的部分，该系统进一步包括诸如监测摄像机的视频捕获装置和运动检测器。运动检测器可以被实施在视频捕获装置中或在编码器中。在一些实施例中，运动检测器和编码器两者被实施在视频捕获装置中。
在该系统中，视频捕获装置被配置为捕获描绘了场景的视频流，视频流包括多个图像帧，并将视频流的图像帧连续地传送至运动检测器和编码器。运动检测器被配置为基于所接收图像帧中的图像数据而连续地检测所捕获图像帧中的当前运动水平，并将当前运动水平传送至编码器。所检测的运动可以取决于场景中的运动和/或视频捕获装置的视场变化。如前所述，可以根据一些实施例仅对所捕获图像帧中的一些执行运动检测，用于降低计算复杂性。
上述方法也可以被实施在存储于计算机可读存储介质上的软件中。
在上文中已经主要参照有限数目的示例描述了本发明构思。然而，如本领域技术人员容易理解的，在由所附权利要求限定的本发明构思的范围内，以上所公开之外的其他示例同样是可能的。例如，当调节运动向量搜索范围(图6中的S12)时，根据一些实施例，基于当前图像帧的帧内编码区域与前一图像帧的帧内编码区域之间重叠的程度，而仅沿水平或垂直方向调节S12向量搜索范围，其中该方向是基于预定义的周期性帧内刷新图案而设置/限制向量搜索范围的方向。例如，可以沿与周期性帧内刷新图案中的帧内编码区域的位移方向相对应的方向(例如水平或垂直)而调节S12运动向量搜索范围。

Claims (15)

1.一种用于视频流的多个图像帧(102)的帧内刷新编码的方法，其中所述帧内刷新编码是基于限定图像帧(102a-102c)的应当被帧内编码的区域(104a-104c)的预定义周期性帧内刷新图案(100a-100d)，所述方法包括，对于每个图像帧：
接收(S02)与所述图像帧相关联的当前运动水平；
根据所述预定义周期性帧内刷新图案确定(S04)所述图像帧的帧内编码区域(104a-104c)；
一旦所述当前运动水平未超过第一阈值(506)：
对所述图像帧的所述帧内编码区域进行帧内编码(S14)；以及
对所述图像帧的不同于所述帧内编码区域的区域进行帧间编码(S16)；
一旦所述当前运动水平超过所述第一阈值：
扩展(S08)所述图像帧的所述帧内编码区域以在所确定的程度(302c、402b、402c、504、510、512)上与所述多个图像帧当中的之前被编码的帧内编码区域重叠；
对所述图像帧的已扩展帧内编码区域进行帧内编码(S14)；以及
对所述图像帧的与所述已扩展帧内编码区域不同的区域进行帧间编码(S16)。
2.根据权利要求1所述的方法，其中，对于所述多个图像帧，所述预定义周期性帧内刷新图案中的区域不重叠。
3.根据权利要求1所述的方法，其中，扩展所述图像帧的所述帧内编码区域的步骤包括：
扩展所述图像帧的所述帧内编码区域以与所述视频流中紧接着的前一个参考图像帧的帧内编码区域重叠。
4.根据权利要求1所述的方法，一旦所述当前运动水平超过所述第一阈值，进一步包括步骤：
一旦所述当前运动水平超过第二阈值(508)，所述第二阈值大于所述第一阈值，
扩展所述图像帧的所述帧内编码区域以在第一程度(402c、512)上与所述多个图像帧当中的之前被编码的帧内编码区域重叠，
一旦所述当前运动水平未超过所述第二阈值，
扩展所述图像帧的所述帧内编码区域以在第二程度(402b、510)上与所述多个图像帧当中的之前被编码的帧内编码区域重叠，其中所述第一程度大于所述第二程度。
5.根据权利要求1所述的方法，其中，所述帧内编码区域由一个或多个切片或片段来限定，且所述已扩展帧内编码区域由一个或多个切片或片段来限定。
6.根据权利要求1所述的方法，其中，所述预定义周期性帧内刷新图案限定在两个连续图像帧之间仅沿垂直方向或沿水平方向位移的帧内编码区域。
7.根据权利要求6所述的方法，其中，所述预定义周期性帧内刷新图案限定沿垂直方向位移的帧内编码区域，其中扩展所述图像帧的所述帧内编码区域的步骤包括增大所述图像帧的所述帧内编码区域的高度。
8.根据权利要求6所述的方法，其中，所述预定义周期性帧内刷新图案限定沿水平方向位移的帧内编码区域，其中扩展所述图像帧的所述帧内编码区域的步骤包括增大所述图像帧的所述帧内编码区域的宽度。
9.根据权利要求1所述的方法，进一步包括：
一旦所述当前运动水平未超过所述第一阈值，将用于剩余图像帧的帧间编码的运动向量搜索范围从当前搜索范围调节(S12)至预定义搜索范围。
10.根据权利要求4所述的方法，进一步包括：一旦所述当前运动水平超过所述第二阈值，调节(S12)用于剩余图像帧的帧间编码的运动向量搜索范围以对应于所述第一程度，以及
一旦所述当前运动水平未超过所述第二阈值，调节(S12)用于所述剩余图像帧的帧间编码的运动向量搜索范围以对应于所述第二程度。
11.一种编码器，被配置用于视频流的多个图像帧(102)的帧内刷新编码，其中所述帧内刷新编码基于限定图像帧(102a-102c)的应当被帧内编码的区域(104a-104c)的预定义周期性帧内刷新图案(100a-100d)，所述编码器包括处理器，所述处理器被配置为：
接收(S02)场景中的当前运动水平；
根据所述预定义周期性帧内刷新图案确定(S04)所述图像帧的帧内编码区域(104a-104c)；
一旦所述当前运动水平未超过第一阈值(506)：
对所述图像帧的所述帧内编码区域进行帧内编码(S14)；以及
对所述图像帧的不同于所述帧内编码区域的区域进行帧间编码(S16)；
一旦所述当前运动水平超过所述第一阈值：
扩展(S08)所述图像帧的所述帧内编码区域以在所确定的程度(302c、402b、402c)上与所述多个图像帧当中的之前被编码的帧内编码区域重叠；
对所述图像帧的已扩展帧内编码区域进行帧内编码(S14)；以及
对所述图像帧的不同于所述已扩展帧内编码区域的区域进行帧间编码(S16)。
12.根据权利要求11所述的编码器，其中，所述处理器进一步被配置为，一旦所述当前运动水平超过第二阈值(508)，所述第二阈值大于所述第一阈值：
扩展所述图像帧的所述帧内编码区域以在第一程度(402b)上与所述多个图像帧当中的之前被编码的帧内编码区域重叠，
一旦所述当前运动水平未超过所述第二阈值，
扩展所述图像帧的所述帧内编码区域以在第二程度(402c)上与所述多个图像帧当中的之前被编码的帧内编码区域重叠，其中所述第一程度大于所述第二程度。
13.根据权利要求11所述的编码器，其中，所述处理器进一步被配置为：
一旦所述当前运动水平未超过所述第一阈值，将用于剩余图像帧的帧间编码的运动向量搜索范围从当前搜索范围调节(S12)至预定义搜索范围。
14.一种用于视频流的多个图像帧的帧内刷新编码的系统，包括视频捕获装置、运动检测器以及根据权利要求11所述的编码器，
其中所述视频捕获装置被配置为捕获描绘了场景的视频流，所述视频流包括多个图像帧，并且连续地传送所述视频流的图像帧至所述运动检测器和所述编码器，并且
其中所述运动检测器被配置为基于所接收到的图像帧中的图像数据而连续地检测所捕获图像帧中的当前运动水平，并将所述当前运动水平传送至所述编码器。
15.一种计算机可读存储介质，所述介质存储有指令，所述指令当由具有处理能力的装置运行时使所述装置执行权利要求1所述的方法。
CN201911111264.3A 2018-11-22 2019-11-14 用于多个图像帧的帧内刷新编码的方法 Active CN111212283B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP18207682.8A EP3657799B1 (en) 2018-11-22 2018-11-22 Method for intra refresh encoding of a plurality of image frames
EP18207682.8 2018-11-22

Publications (2)

Publication Number Publication Date
CN111212283A CN111212283A (zh) 2020-05-29
CN111212283B true CN111212283B (zh) 2021-03-26

Family

ID=64456757

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911111264.3A Active CN111212283B (zh) 2018-11-22 2019-11-14 用于多个图像帧的帧内刷新编码的方法

Country Status (6)

Country Link
US (1) US11025906B2 (zh)
EP (1) EP3657799B1 (zh)
JP (1) JP6900452B2 (zh)
KR (1) KR102154443B1 (zh)
CN (1) CN111212283B (zh)
TW (1) TWI801692B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3829169B1 (en) * 2019-11-29 2021-10-13 Axis AB Method for intra refresh encoding of a plurality of image frames using convex and concave distribution functions
CN112004089A (zh) * 2020-09-04 2020-11-27 白华 一种支持任意显示区域局部刷新的方法
CN113873236B (zh) * 2021-02-23 2022-12-02 杭州海康威视数字技术股份有限公司 基于自适应帧内刷新机制的解码、编码方法及相关设备
CN113709479B (zh) * 2021-03-19 2022-12-06 杭州海康威视数字技术股份有限公司 基于自适应帧内刷新机制的解码、编码方法及相关设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0579450A2 (en) * 1992-07-14 1994-01-19 Canon Kabushiki Kaisha An image encoding device
WO2007129911A2 (en) * 2006-05-10 2007-11-15 Ntnu Technology Transfer Method and device for video encoding and decoding
EP1921867A1 (en) * 2006-10-17 2008-05-14 Harman Becker Automotive Systems GmbH Sensor assisted video compression
JP2013165340A (ja) * 2012-02-09 2013-08-22 Sony Corp 画像処理装置と画像処理方法
CN106488229A (zh) * 2015-09-01 2017-03-08 飞思卡尔半导体公司 具有可调整帧内刷新率的视频编码器
CN107197307A (zh) * 2016-03-15 2017-09-22 安讯士有限公司 用于编码视频流的方法和系统

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05328324A (ja) * 1992-05-15 1993-12-10 Toshiba Corp 動き補償フレーム間予測符号化のリフレッシュ方式
JPH0837663A (ja) * 1994-07-22 1996-02-06 Canon Inc 符号化装置
JP3618783B2 (ja) * 1994-05-25 2005-02-09 キヤノン株式会社 画像符号化方法及び画像符号化装置
JP4851911B2 (ja) * 2006-10-23 2012-01-11 富士通株式会社 符号化装置、符号化プログラムおよび符号化方法
US8218641B2 (en) 2006-10-31 2012-07-10 Sony Computer Entertainment Inc. Picture encoding using same-picture reference for pixel reconstruction
JP5347849B2 (ja) * 2009-09-01 2013-11-20 ソニー株式会社 画像符号化装置、画像受信装置、画像符号化方法及び画像受信方法
JP2011205465A (ja) * 2010-03-26 2011-10-13 Hitachi Consumer Electronics Co Ltd 画像符号化方法および画像符号化装置
US8711933B2 (en) 2010-08-09 2014-04-29 Sony Computer Entertainment Inc. Random access point (RAP) formation using intra refreshing technique in video coding
US9930360B2 (en) * 2011-11-08 2018-03-27 Texas Instruments Incorporated Method, system and apparatus for intra-refresh in video signal processing
US9270986B2 (en) * 2012-04-13 2016-02-23 Qualcomm Incorporated Level decision in rate distortion optimized quantization
US9100636B2 (en) * 2012-09-07 2015-08-04 Intel Corporation Motion and quality adaptive rolling intra refresh
JP2015106747A (ja) * 2013-11-28 2015-06-08 富士通株式会社 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム
US20170013274A1 (en) 2015-07-09 2017-01-12 Microsoft Technology Licensing, Llc Intra-refresh for video streaming
US10652572B2 (en) * 2016-04-29 2020-05-12 Ati Technologies Ulc Motion-adaptive intra-refresh for high-efficiency, low-delay video coding

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0579450A2 (en) * 1992-07-14 1994-01-19 Canon Kabushiki Kaisha An image encoding device
WO2007129911A2 (en) * 2006-05-10 2007-11-15 Ntnu Technology Transfer Method and device for video encoding and decoding
EP1921867A1 (en) * 2006-10-17 2008-05-14 Harman Becker Automotive Systems GmbH Sensor assisted video compression
JP2013165340A (ja) * 2012-02-09 2013-08-22 Sony Corp 画像処理装置と画像処理方法
CN106488229A (zh) * 2015-09-01 2017-03-08 飞思卡尔半导体公司 具有可调整帧内刷新率的视频编码器
CN107197307A (zh) * 2016-03-15 2017-09-22 安讯士有限公司 用于编码视频流的方法和系统

Also Published As

Publication number Publication date
US20200169727A1 (en) 2020-05-28
CN111212283A (zh) 2020-05-29
TW202038610A (zh) 2020-10-16
JP2020099042A (ja) 2020-06-25
US11025906B2 (en) 2021-06-01
TWI801692B (zh) 2023-05-11
EP3657799A1 (en) 2020-05-27
JP6900452B2 (ja) 2021-07-07
KR102154443B1 (ko) 2020-09-09
KR20200060231A (ko) 2020-05-29
EP3657799B1 (en) 2020-11-04

Similar Documents

Publication Publication Date Title
CN111212283B (zh) 用于多个图像帧的帧内刷新编码的方法
KR102215627B1 (ko) 비디오 스트림을 인코딩하기 위한 방법, 비디오 인코더, 및 비디오 카메라
KR20200005653A (ko) 코딩 유닛 분할 결정 방법 및 디바이스, 컴퓨팅 디바이스 및 판독 가능한 저장 매체
JP4328000B2 (ja) 動画像符号化装置および動画像の特殊効果シーン検出装置
JP3531532B2 (ja) 動画像符号化装置、及び方法
US20120230412A1 (en) Multi-view video coding method
US8792562B2 (en) Moving image encoding apparatus and method for controlling the same
EP3131295A1 (en) Video encoding method and system
KR102446097B1 (ko) 비디오 시퀀스의 이미지를 인코딩하기 위한 방법 및 시스템
CN114449281A (zh) 一种基于场景变动的智能码率控制优化方法
JP6588745B2 (ja) シーンチェンジ検出装置、及びそのプログラム
KR101215138B1 (ko) 매크로블록의 인터/인트라모드 고속 결정 방법
EP3809700B1 (en) Periodic intra refresh pattern for video encoding
US8428132B2 (en) Frame or field mode coding method
JP2009296328A (ja) 符号化ピクチャタイプ決定方法，装置，そのプログラムおよびその記録媒体
Beak et al. Content Awareness-Based Fast Block Motion Estimation Algorithm for H. 264/AVC Encoding System
KR101072459B1 (ko) 조합된 확장성 구조에서의 모드결정방법
JP6016484B2 (ja) 符号化装置
JP4556773B2 (ja) 映像信号処理方法
KR19990013085A (ko) 프레임내 부호화방법 및 그 장치
JPH09219865A (ja) 映像符号化装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant