CN112911296A - 视频序列的编码 - Google Patents

视频序列的编码 Download PDF

Info

Publication number
CN112911296A
CN112911296A CN202011346103.5A CN202011346103A CN112911296A CN 112911296 A CN112911296 A CN 112911296A CN 202011346103 A CN202011346103 A CN 202011346103A CN 112911296 A CN112911296 A CN 112911296A
Authority
CN
China
Prior art keywords
video
frame
difference
video frame
frame portion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011346103.5A
Other languages
English (en)
Other versions
CN112911296B (zh
Inventor
比约恩·本德留什
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Axis AB
Original Assignee
Axis AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Axis AB filed Critical Axis AB
Publication of CN112911296A publication Critical patent/CN112911296A/zh
Application granted granted Critical
Publication of CN112911296B publication Critical patent/CN112911296B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/507—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction using conditional replenishment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及视频序列的编码。提供了一种视频处理流水线(120)。流水线(120)包括：视频帧分割模块(121)，被配置为将视频帧划分成帧部分；变化模块(122)，被配置为：对于第二视频帧的每个帧部分，确定第二视频帧的帧部分的视频数据和第一视频帧的对应帧部分的视频数据之间的差异；概率模块(123)，被配置为确定用于单独地抑制所确定的差异中的每一个差异的随着差异的大小的增大而减小的概率；抑制模块(124)，被配置为基于相应的、确定的概率判定是否抑制每个确定的差异，并且在判定要抑制差异的情况下，抑制差异；以及编码模块(125)，被配置为相对于第一视频帧对第二视频帧的帧部分进行帧间编码。

Description

视频序列的编码
技术领域
本发明涉及视频序列的编码。具体地，相对于视频序列的第一视频帧对视频序列的第二视频帧进行帧间编码。
背景技术
当对视频序列进行编码时，视频帧之间的差异在于编码成本高。对于场景的视频序列，每个帧之间的像素值将不同。有时，差异是期望的，即，当场景中存在真实事件时，但是有时，差异是不期望的，例如，由于传感器噪音或场景中的光照强度的小的变化。后者尤其适于其中事件的数量被限制的监控应用。对于不期望的变化，用于降低编码的成本的方法是通过将抑制差异的阈值设定在阈值以下来抑制差异。然而，这样做将导致结构化的伪影。人类视觉对结构化的伪影非常敏感，所以，阈值将必须非常小以避免干扰结构化的伪影。因此，存在能够降低用于编码视频序列的成本且同时避免结构化的伪影的需要。
发明内容
目标在于单独地或以任何组合减轻、缓和或消除以上所识别的本领域的缺陷和缺点中的一个或多个，并且至少部分地解决上述问题。
根据第一方面，提供了相对第一视频帧对视频序列的第二视频帧进行帧间编码的方法。该方法包括：将第一视频帧和第二视频帧划分成帧部分。该方法进一步包括：对于第二视频帧的每个帧部分，确定第二视频帧的帧部分的视频数据和第一视频帧的对应帧部分的视频数据之间的差异；确定用于抑制差异的概率，其中，概率根据随着差异的大小的增大而减小的概率函数来确定；基于所确定的概率来判定是否抑制差异；在判定要抑制差异的情况下，抑制差异；以及相对于第一视频帧对第二视频帧的帧部分进行帧间编码。
在上下文中，“抑制”指的是第二视频帧的帧部分的视频数据和第一视频帧的对应帧部分的视频数据之间的差异不应被认为是视频数据之间的差异。
本方法在避免结构化伪影的同时促进了用于对视频序列进行编码的成本的降低。这是因为抑制是用与差异的大小成反比的概率做出的。因此，视频序列内的其中进行差异抑制的区域而不是整个区域将被抑制。因此，由抑制引起的伪影可能最终不被结构化。
抑制第二视频帧的帧部分的差异可以包括：将第二视频帧的帧部分的视频数据设定为等于第一视频帧的对应帧部分的视频数据。因此，可以在编码之前的视频序列的图像处理期间进行抑制的功能。因此，可以在不修改编码器的情况下进行抑制的功能。
抑制第二视频帧的帧部分的差异可以包括：在对第二视频帧的帧部分进行帧间编码时忽略差异。通过向编码添加抑制的功能可以提供被配置为执行该方法的视频处理流水线的一种不复杂的实现方式。
还可注意的是，不管是通过将第二视频帧的帧部分的视频数据设定为等于第一视频帧的对应帧部分的视频数据还是通过在对第二视频帧的帧部分进行帧间编码时忽略差异，所得的视频质量/比特率将最大可能地不被影响。
确定第二视频帧的帧部分的视频数据和第一视频帧的对应帧部分的视频数据之间的差异可以包括：确定第二视频帧的帧部分的像素值和第一视频帧的对应帧部分的像素值之间的差异。
确定第二视频帧的帧部分的视频数据和第一视频帧的对应帧部分的视频数据之间的差异可以包括：确定第二视频帧的帧部分的频率系数和第一视频帧的对应帧部分的频率系数之间的差异。通过使用频率系数之间的差异，由场景中的真实事件引起的视频帧之间的差异与视频帧之间的差异引起的噪音之间的区别可被得到。在频域中，由真实事件引起的视频帧之间的差异和由噪音引起的视频帧之间的差异是不同的。进一步，频率系数之间的差异将给出关于对差异进行编码的成本的指示。因此，给出了更好地优化视频序列的编码的可能性。
概率函数可以是连续函数。概率函数可以对于第二视频帧的帧部分的视频数据和第一视频帧的对应帧部分的视频数据之间的差异的大小的每个值给出0和1之间的概率。
概率函数可以是线性函数。
概率函数可以是反向S型函数。
方法可进一步包括：确定第二视频帧中的兴趣区域。用于确定用于抑制兴趣区域内的帧部分的差异的概率的概率函数可以与用于确定用于抑制兴趣区域外的帧部分的差异的概率的概率函数不同。因此，对于场景的不同区域，可以使用用于对视频序列进行编码的成本的不同降低。对于场景的重要区域，可以使用对于抑制给出相对低的概率的概率函数。对于场景的非兴趣区域，可以使用对于抑制给出相对高的概率的概率函数。
方法可进一步包括：对于第二视频帧的每个帧部分：接收第一视频帧的对应帧部分和视频序列中在第一视频帧之前的视频帧的对应帧部分之间的差异是否被抑制的信息。如果第一视频帧的对应帧部分和在第一视频帧之前的视频帧的对应帧部分之间的差异被抑制，则该方法可以进一步包括：减小用于抑制第二视频帧的帧部分的差异的概率。该方法允许可以避免某一帧部分将永远不会被更新的风险。这是因为，用于抑制帧部分的差异的概率可以被(累积地)减小，只要帧部分还没有被更新。一旦已进行帧部分的更新，抑制的概率的累积减小就可以被重设。
根据第二方面，提供了一种非瞬态计算机可读存储介质。该非瞬态计算机可读存储介质具有存储在其上的指令，指令当在具有处理能力的设备上执行时，用于实现根据第一方面的方法。
在应用时，第一方面的上述特征也适于该第二方面。为了避免不必要的重复，请参考以上内容。
根据第三方面，提供了一种视频处理流水线。该视频处理流水线被配置为相对于第一视频帧对视频序列的第二视频帧进行帧间编码。该视频处理流水线包括：视频帧分割模块，该视频帧分割模块被配置为将第一视频帧和第二视频帧划分成帧部分；变化模块，该变化模块被配置为：对于第二视频帧的每个帧部分，确定第二视频帧的帧部分的视频数据和第一视频帧的对应帧部分的视频数据之间的差异；概率模块，该概率模块被配置为确定用于单独地抑制所确定的差异中的每一个差异的概率，其中，用于单独地抑制所确定的差异中的每一个差异的概率根据随着差异的大小的增大而减小的概率函数来确定；抑制模块，该抑制模块被配置为基于相应的、确定的概率判定是否抑制所确定的差异中的每一个差异，并且在判定要抑制差异的情况下，抑制差异；以及编码模块，该编码模块被设置在抑制模块的下游，其中，编码模块被配置为相对于第一视频帧对第二视频帧的帧部分进行帧间编码。
在判定要抑制差异的情况下，抑制模块可被配置为通过将第二视频帧的帧部分的视频数据设定为等于第一视频帧的对应帧部分的视频数据来抑制差异。
抑制模块可被配置为通过指示编码模块在对第二视频帧的帧部分进行帧间编码时忽略差异来抑制差异。
在应用时，第一方面的上述特征也适于该第三方面。为了避免不必要的重复，请参考以上内容。
根据第四方面，提供了一种摄像机。该摄像机包括第三方面的视频处理流水线。
在应用时，第一方面的上述特征也适于该第四方面。为了避免不必要的重复，请参考以上内容。
从下面给出的详细描述中，本发明的进一步的适用性范围将变得明显。然而，应理解的是，在表示本发明的优选实施例时，详细描述和特定示例仅通过说明的方式给出，因为从该详细描述中，本发明的范围内的各种变化和修改对于本领域技术人员将变得明显。
因此，要理解的是，本发明不限于所述设备的具体组成部件或所述方法的动作，因为设备和方法可以改变。还要理解的是，本文使用的术语仅是为了描述具体实施例的目的，并且不意在限制。必须注意的是，如说明书和随附的权利要求中所使用的，冠词“一”、“该”以及“所述”意在意味着存在一个或多个元件，除非上下文明确另外指明。因此，例如，对“一单元”或“该单元”的引用可以包括若干设备等。此外，词语“包含”、“包括”、“含有”以及类似词语不排除其他元件或步骤。
附图说明
现在，将参考附图更详细地描述本发明的以上和其他方面。附图不应被认为是限制性的；相反，它们用于解释和理解。
如图中所图示，为了说明的目的，层和区域的大小可被夸大，并且因此，被提供以图示一般结构。贯穿全文，相同的附图标记指的是相同的元件。
图1示意性地图示视频处理系统。
图2示意性地图示包括图1的视频处理系统的摄像机。
图3图示用于抑制第二视频帧中的帧部分与第一视频帧的对应帧部分之间的差异的不同概率函数。
图4是相对于第一视频帧对视频序列的第二视频帧进行帧间编码的方法的框图。
具体实施方式
现在，将在下文参考附图更充分地描述其中示出了本发明的当前优选实施例的本发明。然而，本发明可以以许多不同的形式体现，并且不应被解释为限于本文所阐述的实施例；相反，为了彻底性和完整性以及为了向技术人员充分传达本发明的范围而提供这些实施例。
结合图1，将讨论被配置为生成和处理视频图像数据的视频图像处理系统100。视频图像处理系统100包括视频源110和视频处理流水线120。如图2中所图示，视频图像处理系统100可以被实现在摄像机200中。摄像机200可以是数字摄像机。摄像机200可以是监控摄像机。
视频源110被配置为捕获视频数据。视频源110可以是图像传感器。图像传感器被配置为捕获视频数据。视频源110被配置为将所捕获的视频数据传输到视频处理流水线120。
视频处理流水线120被配置为将视频数据处理成视频序列的视频帧。由视频处理流水线120处理的视频数据可以是由视频源110捕获的视频数据。然而，视频处理流水线120可以独立于视频源110工作。视频处理流水线120可以处理任何视频数据，只要该视频数据可被处理成视频序列的视频帧。
视频处理流水线120包括多个处理模块121、122、123、124、125。每个处理模块121、122、123、124、125被配置为处理视频数据。多个处理模块121、122、123、124、125中的一些可以彼此依赖。因此，它们需要被一个接一个地执行。多个处理模块121、122、123、124、125中的一些可以彼此独立。因此，它们可以被并列执行。
视频处理流水线120的特定处理模块可以被实现为运行在通用处理器或图形处理单元、现场可编程门阵列、固定功能的专用集成电路或模拟电路上的计算机软件部分。多个处理模块中的每一个可以使用相同类型的实现方式来实现。多个处理模块中的不同处理模块可以使用处理模块的不同实现方式来实现。多个处理模块的子集可以使用相同类型的实现方式来实现。因此，视频处理流水线120的特定处理模块可以被实现为软件、专用硬件或固件、或专用硬件、固件和/或软件的一些组合。
视频处理流水线120可以进一步包括系统存储器126。系统存储器126可以由视频处理流水线126的处理模块在处理视频数据时来使用。系统存储器126可以包括诸如随机存取存储器(RAM)的易失性存储器。
视频处理流水线120包括视频帧分割模块121、变化模块122、概率模块123、抑制模块124以及编码模块125。
视频帧分割模块121被配置为将视频序列的视频帧划分成帧部分。具体地，视频帧分割模块121被配置为将视频序列的第一视频帧和第二视频帧划分成帧部分。视频处理流水线120被配置为相对于第一视频帧对第二视频帧进行帧间编码。通常，视频序列的视频帧的每个帧部分被认为是属于视频帧的其所属的编码单元的像素组。在不同的编码标准中，编码单元的叫法不同。例如，在H.264中，编码单元被表示为宏块，在H.265中，编码单元被表示为编码树单元。要理解的是，任何这些编码单元或任何其他编码单元可以被用作本发明的上下文中的帧部分。通常，帧部分是非重叠的。
变化模块122被配置为：对于第二视频帧的每个帧部分，确定第二视频帧的帧部分的视频数据和第一视频帧的对应帧部分的视频数据之间的差异。第二视频帧的帧部分的视频数据和第一视频帧的对应帧部分的视频数据之间的差异可以被确定为第二视频帧的帧部分的像素值和第一视频帧的对应帧部分的像素值之间的差异。像素值之间的差异可以是以下中的一种或多种：绝对像素差的总和、像素差平方的总和、像素差的平均值以及像素差的中值。可替代地或组合地，第二视频帧的帧部分的视频数据和第一视频帧的对应帧部分的视频数据之间的差异可以被确定为第二视频帧的帧部分(该帧部分是编码单元)的频率系数和第一视频帧的对应帧部分(该帧部分是编码单元)的频率系数之间的差异。频率系数之间的差异可以是以下中的一种或多种：频率系数的绝对差的总和、频率系数的加权绝对差的总和以及最大绝对差。频率系数可以通过对帧部分的视频数据执行离散余弦变换、傅里叶变换或任何其他种类的变换来获得。
概率模块123被配置为用于确定抑制第二视频帧的帧部分的视频数据和第一视频帧的对应帧部分的视频数据之间的差异的概率。用于抑制第二视频帧的特定帧部分的视频数据和第一视频帧的对应特定帧部分的视频数据之间的差异的概率被单独地确定。因此，概率模块123被配置为确定用于单独地抑制所确定的差异中的每一个差异的单独概率。概率模块123被配置为根据概率函数来确定概率。概率函数被设定为随着差异的大小的增大而减小。概率函数可以例如给出0和1之间的概率，其中，概率0表示用于执行抑制的几率是0％，并且其中，概率1表示用于执行抑制的几率是100％。可以使用各种概率函数。优选地，概率函数是连续函数。如图3中的虚线和点划线所图示，概率函数可以是线性函数。虚线表示在差异的大小的整个范围上呈线性的概率函数。点划线表示呈分段线性的概率函数。分段线性的概率函数可以具有0和A之间的区间的差异的大小，在该区间中抑制的概率是100％，并且对于B以上的差异的大小的抑制的概率是0％。可替代地，如图3中的实线所图示，概率函数可以是反向S型(sigmoid)函数。
进一步，概率模块123可被配置为接收第一视频帧的对应帧部分和视频序列中在第一视频帧之前的视频帧的对应帧部分之间的差异是否被抑制的信息。如果第一视频帧的对应帧部分和在第一视频帧之前的视频帧的对应帧部分之间的差异被抑制，则概率模块123可被配置为减小用于抑制第二视频帧的帧部分的差异的概率。概率的减小量可以被以不同的方式设定。例如，概率的减小量可以被预确定，例如，概率减小10％。可替代地，概率的减小量可以取决于第一视频帧的对应帧部分和视频序列中在第一视频帧之前的视频帧的对应帧部分之间的差异。例如，概率的减小量可以随着第一视频帧的帧部分和视频序列中在第一视频帧之前的视频帧的对应帧部分之间的差异的大小的增大而增大。
抑制模块124被配置为判定是否抑制第二视频帧的帧部分的视频数据和第一视频帧的对应帧部分的视频数据之间的差异。该判定基于用于单独地抑制所确定的差异中的每一个差异的相应所确定的单独概率。通常，该判定通过比较[上面示例中的0和1之间的]概率和[0和1之间的]随机数来进行。每个所确定的差异的概率通常与新生成的随机数进行比较。因此，对于第二视频帧的帧部分的视频数据和第一视频帧的对应帧部分的视频数据之间的每个特定差异，通常生成新随机数以用于与该特定差异的概率进行比较。在判定要抑制第二视频帧的帧部分的视频数据和第一视频帧的对应帧部分的视频数据之间的差异的情况下，抑制模块124被配置为抑制差异。
抑制模块124可被配置为以不同的方式抑制第二视频帧的帧部分的视频数据和第一视频帧的对应帧部分的视频数据之间的差异。抑制模块124可被配置为通过将第二视频帧的帧部分的视频数据设定为等于第一视频帧的对应帧部分的视频数据来抑制差异。这可以例如通过将第一视频帧的视频数据拷贝到第二视频帧来进行。具体地，将第一视频帧的对应帧部分的视频数据拷贝到第二视频帧的帧部分。可替代地或组合地，抑制模块124可被配置为通过指示编码模块125在对第二视频帧的帧部分进行帧间编码时忽略第二视频帧的帧部分的视频数据和第一视频帧的对应帧部分的视频数据之间的差异来抑制差异。忽略差异可以例如通过将第二视频帧的帧部分编码为跳块(skip block)来进行。
编码模块125被配置为对视频序列的视频帧进行编码。编码模块125被配置为使用诸如H.263、H.264或H.265的基于帧内编码和帧间编码的任何合适的视频编码方法来对视频序列的视频帧进行编码。因此，编码模块125被配置为将视频序列的图像中的一些图像编码为帧内帧(intra frame)。帧内帧是不需要来自其他编码视频帧的信息来解码的编码视频帧。因此，帧内帧基于来自视频数据的将其设定为所对应的图像的信息被编码。通常，图像内的相似性被用于将图像编码成帧内帧。在视频编码中，帧内帧经常被称作I-帧。编码模块125进一步被配置为将视频流的图像编码为在两个帧内帧之间的帧间帧(inter frame)。通常，帧间帧只包括从一个帧到下一帧发生的变化。因此，帧间帧通常包括比帧内帧少的数据。在视频编码中，帧间帧经常被称作P-帧或B-帧。P-帧参考先前帧作为数据参考。因此，为了解码P-帧，先前帧的内容必须是已知的。B-帧可参考先前帧和前向帧(forward frame)二者作为数据参考。因此，为了解码B-帧，先前帧和前向帧二者的内容必须是已知的。具体地，编码模块125被配置为相对于第一视频帧对第二视频帧的帧部分进行帧间编码。因此，第二视频帧的帧部分被编码为P帧部分或B帧部分，其中，第一视频帧的帧部分被用作参考。编码模块125通常被设置在视频处理流水线120中的抑制模块124的下游。
视频处理流水线124可进一步包括兴趣区域模块127。兴趣区域模块127被配置为确定第二视频帧中的兴趣区域。兴趣区域可以使用以下中的一种或多种来确定：运动检测算法、目标检测算法、用户输入以及第二视频帧的部分的焦点测量。
概率模块123可被配置为对于不同的帧部分使用不同的概率函数。具体地，概率模块123可被配置为：与第二视频帧的兴趣区域外的帧部分相比，使用不同的概率函数以用于确定用于抑制第二视频帧的兴趣区域内的帧部分的差异的概率。
结合图4，将讨论相对于第一视频帧对视频序列的第二视频帧进行帧间编码的方法400。该方法可以被实现为计算机实现的方法。方法400包括以下步骤/动作。步骤/动作可以以任何合适的顺序执行。
将第一视频帧和第二视频帧划分S402成帧部分。通常，视频序列的视频帧的每个帧部分被认为是属于视频帧的其所属的编码单元的像素组。在不同的编码标准中，编码单元的叫法不同。例如，在H.264中，编码单元被表示为宏块，在H.265中，编码单元被表示为编码树单元。要理解的是，任何这些编码单元或任何其他编码单元可以被用作本发明的上下文中的帧部分。通常，帧部分是非重叠的。
对于第二视频帧的每个帧部分，确定S404第二视频帧的帧部分的视频数据和第一视频帧的对应帧部分的视频数据之间的差异。第二视频帧的帧部分的视频数据和第一视频帧的对应帧部分的视频数据之间的差异可以被确定为第二视频帧的帧部分的像素值和第一视频帧的对应帧部分的像素值之间的差异。像素值之间的差异可以是以下中的一种或多种：绝对像素差的总和、像素差平方的总和、像素差的平均值以及像素差的中值。可替代地或组合地，第二视频帧的帧部分的视频数据和第一视频帧的对应帧部分的视频数据之间的差异可以被确定为第二视频帧的帧部分(该帧部分是编码单元)的频率系数和第一视频帧的对应帧部分(该帧部分是编码单元)的频率系数之间的差异。频率系数之间的差异可以是以下中的一种或多种：频率系数的绝对差的总和、频率系数的加权绝对差的总和以及最大绝对差。
对于第二视频帧的帧部分的视频数据和第一视频帧的对应帧部分的视频数据之间的每个差异，确定S406用于抑制差异的概率。因此，用于单独地抑制所确定的差异中的每一个差异的单独概率被确定。每个概率根据概率函数被确定。概率函数随着差异的大小的增大而减小。优选地，概率函数是连续函数。如结合图3所图示，概率函数的示例示线性函数(图3中的虚线)或反向S型函数(图3中的实线)。
判定S408是否抑制第二视频帧的帧部分的视频数据和第一视频帧的对应帧部分的视频数据之间的特定差异。判定S408基于步骤S406中对于特定差异所确定的单独概率。通常，判定通过将单独概率与随机数进行比较来进行。每个特定差异的概率通常与新生成的随机数进行比较。因此，对于每个特定差异，通常生成新随机数以用于与该特定差异的概率进行比较。
在判定要抑制第二视频帧的帧部分的视频数据和第一视频帧的对应帧部分的视频数据之间的特定差异的情况下，抑制S410特定差异。抑制S410第二视频帧的帧部分的特定差异可以包括：将第二视频帧的帧部分的视频数据设定为等于第一视频帧的对应帧部分的视频数据。这可以例如通过将第一视频帧的视频数据拷贝到第二视频帧来进行。具体地，将第一视频帧的对应帧部分的视频数据拷贝到第二视频帧的帧部分。可替代地或组合地，抑制S410第二视频帧的帧部分的特定差异可以包括：在对第二视频帧的帧部分进行帧间编码(参见步骤S412)时，忽略第二视频帧的帧部分的视频数据和第一视频帧的对应帧部分的视频数据之间的差异。忽略差异可以例如通过将第二视频帧的帧部分编码为跳块来进行。
在抑制S410第二视频帧的帧部分的视频数据和第一视频帧的对应帧部分的视频数据之间的特定差异时或之后，相对于第一视频帧对第二视频帧的帧部分进行帧间编码S412。优选地，帧间编码S412通过使用诸如H.263、H.264或H.265的任何合适的帧间编码方法来进行。
方法400可进一步包括：确定第二视频帧中的兴趣区域。在此情况下，与用于确定S406用于抑制兴趣区域外的帧部分的差异的概率的概率函数相比，用于确定S406用于抑制兴趣区域内的帧部分的差异的概率可以使用不同的概率函数。
方法可进一步包括：对于第二视频帧的每个帧部分，接收第一视频帧的对应帧部分和视频序列中在第一视频帧之前的视频帧的对应帧部分之间的差异是否被抑制的信息。如果第一视频帧的对应帧部分和在第一视频帧之前的视频帧的对应帧部分之间的差异被抑制，则该方法可进一步包括：减小用于抑制第二视频帧的帧部分的差异的概率。概率的减小量可以被以不同的方式设定。例如，概率的减小量可以被预确定，例如，概率减小10％。可替代地，概率的减小量可以取决于第一视频帧的对应帧部分和视频序列中在第一视频帧之前的视频帧的对应帧部分之间的差异。例如，概率的减小量可以随着第一视频帧的帧部分和视频序列中在第一视频帧之前的视频帧的对应帧部分之间的差异的大小的增大而增大。
本领域技术人员会理解的是，本发明决不限于上述优选实施例。相反，在随附的权利要求的范围内的许多修改和变体是可能的。
例如，除了上述处理模块之外，视频处理流水线120可包括一个或多个附加处理模块。一个或多个附加处理模块可以是以下中的一个或多个：图像传感器校正模块、降噪模块、帧缩放模块、伽马校正模块、图像增强模块、颜色空间转换模块、曝光合并模块(例如，WDR/HDR)以及色度子采样模块。
此外，所公开的实施例的变体可以在实践所要求保护的发明过程时，通过对附图、公开以及随附的权利要求的学习由本领域技术人员理解和实现。

Claims (15)

1.一种相对于第一视频帧对视频序列的第二视频帧进行帧间编码的方法，所述方法包括：
将所述第一视频帧和所述第二视频帧划分成帧部分；
对于所述第二视频帧的每个帧部分：
确定所述第二视频帧的所述帧部分的视频数据和所述第一视频帧的对应帧部分的视频数据之间的差异，
确定用于抑制所述差异的概率，其中，所述概率根据随着所述差异的大小的增大而减小的概率函数来确定，其中，所述概率函数对于所述第二视频帧的帧部分的视频数据和所述第一视频帧的对应帧部分的视频数据之间的所述差异的大小的每个值给出0和1之间的概率，
通过生成0和1之间的随机数并且将所述随机数与所确定的概率进行比较来判定是否抑制所述差异，
在判定要抑制所述差异的情况下，抑制所述差异，以及
相对于所述第一视频帧对所述第二视频帧的所述帧部分进行帧间编码。
2.根据权利要求1所述的方法，其中，抑制所述第二视频帧的帧部分的所述差异包括：将所述第二视频帧的所述帧部分的视频数据设定为等于所述第一视频帧的所述对应帧部分的视频数据。
3.根据权利要求1所述的方法，其中，抑制所述第二视频帧的帧部分的所述差异包括：在对所述第二视频帧的所述帧部分进行帧间编码时忽略所述差异。
4.根据权利要求1所述的方法，其中，确定所述第二视频帧的帧部分的视频数据和所述第一视频帧的对应帧部分的视频数据之间的差异包括：
确定所述第二视频帧的所述帧部分的像素值和所述第一视频帧的所述对应帧部分的像素值之间的差异。
5.根据权利要求1所述的方法，其中，确定所述第二视频帧的帧部分的视频数据和所述第一视频帧的对应帧部分的视频数据之间的差异包括：
确定所述第二视频帧的所述帧部分的频率系数和所述第一视频帧的所述对应帧部分的频率系数之间的差异。
6.根据权利要求1所述的方法，其中，所述概率函数是连续函数。
7.根据权利要求1所述的方法，其中，所述概率函数是线性函数。
8.根据权利要求1所述的方法，其中，所述概率函数是反向S型函数。
9.根据权利要求1所述的方法，进一步包括：确定所述第二视频帧中的兴趣区域，其中，用于确定用于抑制所述兴趣区域内的所述帧部分的所述差异的所述概率的概率函数与用于确定用于抑制所述兴趣区域外的所述帧部分的所述差异的所述概率的概率函数不同。
10.根据权利要求1所述的方法，进一步包括：对于所述第二视频帧的每个帧部分：
接收所述第一视频帧的所述对应帧部分和所述视频序列中在所述第一视频帧之前的视频帧的对应帧部分之间的差异是否被抑制的信息，
如果所述第一视频帧的所述对应帧部分和在所述第一视频帧之前的所述视频帧的所述对应帧部分之间的所述差异被抑制，则减小用于抑制所述第二视频帧的所述帧部分的所述差异的所述概率。
11.一种非瞬态计算机可读存储介质，所述非瞬态计算机可读存储介质具有存储在所述非瞬态计算机可读存储介质上的指令，所述指令当在具有处理能力的设备上执行时，用于实现根据权利要求1所述的方法。
12.一种用于相对于第一视频帧对视频序列的第二视频帧进行帧间编码的视频处理流水线，所述视频处理流水线包括：
视频帧分割模块，所述视频帧分割模块被配置为将所述第一视频帧和所述第二视频帧划分成帧部分；
变化模块，所述变化模块被配置为：对于所述第二视频帧的每个帧部分，确定所述第二视频帧的所述帧部分的视频数据和所述第一视频帧的对应帧部分的视频数据之间的差异；
概率模块，所述概率模块被配置为：确定用于单独地抑制所确定的差异中的每一个差异的概率，其中，用于单独地抑制所确定的差异中的每一个差异的概率根据随着所述差异的大小的增大而减小的概率函数来确定，其中，所述概率函数对于所述第二视频帧的帧部分的视频数据和所述第一视频帧的对应帧部分的视频数据之间的所述差异的大小的每个值给出0和1之间的概率；
抑制模块，所述抑制模块被配置为：通过生成0和1之间的相应随机数并且将所述相应随机数与相应的、确定的概率进行比较来判定是否抑制所确定的差异中的每一个差异，并且在判定要抑制所述差异的情况下，抑制所述差异；以及
编码模块，所述编码模块被设置在所述抑制模块的下游，其中，所述编码模块被配置为相对于所述第一视频帧对所述第二视频帧的所述帧部分进行帧间编码。
13.根据权利要求12所述的视频处理流水线，其中，所述抑制模块被配置为通过将所述第二视频帧的所述帧部分的视频数据设定为等于所述第一视频帧的所述对应帧部分的所述视频数据来抑制所述差异。
14.根据权利要求12所述的视频处理流水线，其中，所述抑制模块被配置为通过指示所述编码模块在对所述第二视频帧的所述帧部分进行帧间编码时忽略所述差异来抑制所述差异。
15.一种摄像机，包括根据权利要求12所述的视频处理流水线。
CN202011346103.5A 2019-12-03 2020-11-26 帧间编码的方法、存储介质、视频处理装置和摄像机 Active CN112911296B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP19213243.9 2019-12-03
EP19213243.9A EP3832591B1 (en) 2019-12-03 2019-12-03 Encoding of a video sequence

Publications (2)

Publication Number Publication Date
CN112911296A true CN112911296A (zh) 2021-06-04
CN112911296B CN112911296B (zh) 2022-11-25

Family

ID=68766676

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011346103.5A Active CN112911296B (zh) 2019-12-03 2020-11-26 帧间编码的方法、存储介质、视频处理装置和摄像机

Country Status (3)

Country Link
US (1) US11272184B2 (zh)
EP (1) EP3832591B1 (zh)
CN (1) CN112911296B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007139391A1 (en) * 2006-05-31 2007-12-06 Tandberg Telecom As Pre-processing of video data
CN104115482A (zh) * 2012-10-04 2014-10-22 松下电器（美国）知识产权公司 图像噪声除去装置、以及图像噪声除去方法
US20180330476A1 (en) * 2017-05-09 2018-11-15 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and program
CN110443760A (zh) * 2019-07-10 2019-11-12 深圳市安健科技股份有限公司 图像降噪方法及计算机可读存储介质

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3700195B2 (ja) 1995-01-10 2005-09-28 ソニー株式会社 復号化装置、再生装置、記録再生装置、画像処理システム、復号化方法、再生方法、記録再生方法及び画像処理方法
JP2000023166A (ja) 1998-07-06 2000-01-21 Nec Corp 動画像符号化処理装置
US20030161407A1 (en) 2002-02-22 2003-08-28 International Business Machines Corporation Programmable and adaptive temporal filter for video encoding
US7782940B2 (en) * 2003-08-01 2010-08-24 Polycom, Inc. Methods for encoding or decoding in a videoconference system to reduce problems associated with noisy image acquisition
GB2412807A (en) * 2004-04-02 2005-10-05 Snell & Wilcox Ltd Video processing to reduce program length
US20070248332A1 (en) 2004-09-03 2007-10-25 Matsushita Electric Industrial Co., Ltd. Image Processing Device, and Image Processing Program
JP2006157267A (ja) 2004-11-26 2006-06-15 Canon Inc 画像処理装置及び画像処理方法
JP4496106B2 (ja) 2005-02-28 2010-07-07 株式会社東芝 画像処理装置及び画像処理方法
DE602006004428D1 (de) * 2006-04-13 2009-02-05 Thomson Licensing Verfahren und Vorrichtung zum Bestimmen eines Grenzwertes eines SKIP-Modes in Videokodierung
US8488678B2 (en) 2008-04-01 2013-07-16 Canon Kabushiki Kaisha Moving image encoding apparatus and moving image encoding method
WO2010036772A2 (en) * 2008-09-26 2010-04-01 Dolby Laboratories Licensing Corporation Complexity allocation for video and image coding applications
CN101465955B (zh) 2009-01-05 2013-08-21 北京中星微电子有限公司 背景更新方法和装置
GB201312382D0 (en) * 2013-07-10 2013-08-21 Microsoft Corp Region-of-interest aware video coding
CN103632352B (zh) * 2013-11-01 2017-04-26 华为技术有限公司 一种噪声图像的时域降噪方法和相关装置
CN107645621A (zh) 2016-07-20 2018-01-30 阿里巴巴集团控股有限公司 一种视频处理的方法和设备
EP3379830B1 (en) 2017-03-24 2020-05-13 Axis AB A method, a video encoder, and a video camera for encoding a video stream
TW201842782A (zh) 2017-04-06 2018-12-01 美商松下電器（美國）知識產權公司 編碼裝置、解碼裝置、編碼方法及解碼方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007139391A1 (en) * 2006-05-31 2007-12-06 Tandberg Telecom As Pre-processing of video data
CN104115482A (zh) * 2012-10-04 2014-10-22 松下电器（美国）知识产权公司 图像噪声除去装置、以及图像噪声除去方法
US20180330476A1 (en) * 2017-05-09 2018-11-15 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and program
CN110443760A (zh) * 2019-07-10 2019-11-12 深圳市安健科技股份有限公司 图像降噪方法及计算机可读存储介质

Also Published As

Publication number Publication date
US11272184B2 (en) 2022-03-08
EP3832591B1 (en) 2022-06-08
EP3832591A1 (en) 2021-06-09
CN112911296B (zh) 2022-11-25
US20210168371A1 (en) 2021-06-03

Similar Documents

Publication Publication Date Title
US10893283B2 (en) Real-time adaptive video denoiser with moving object detection
US7450641B2 (en) Adaptive filtering based upon boundary strength
CN105472205B (zh) 编码过程中的实时视频降噪方法和装置
CN110036637B (zh) 去噪声化已重构图像的方法及装置
US9332279B2 (en) Method and digital video encoder system for encoding digital video data
US20110069751A1 (en) Method and Apparatus for Determination of Motion Estimation Search Window Area Utilizing Adaptive Sliding Window Algorithm
JP2006157910A (ja) ブロッキング効果を除去するためのフィルタリング方法及びその装置
JP5133290B2 (ja) 動画像符号化装置および復号装置
CN111010495A (zh) 一种视频降噪处理方法及装置
WO2012015654A1 (en) Method and system for encoding video frames using a plurality of processors
US9639919B2 (en) Detection and correction of artefacts in images or video
US20100194910A1 (en) Image processing apparatus for performing intra-frame predictive coding on pictures to be coded and image pickup apparatus equipped with the image processing apparatus
CN112911296B (zh) 帧间编码的方法、存储介质、视频处理装置和摄像机
US20110064135A1 (en) Compressed image noise removal device and reproduction device
JP2005295215A (ja) 動画像符号化装置
JP5295089B2 (ja) 画像符号化装置
US10516896B2 (en) Encoding device, encoding method, and storage medium
US10856002B2 (en) Method, device and system for method of encoding a sequence of frames in a video stream
CN111031313B (zh) 基于次级参考块和次级估计组的滤波方法和装置
CN112911301A (zh) 一种局部亮度补偿方法、装置及计算机可读存储介质
US11716475B2 (en) Image processing device and method of pre-processing images of a video stream before encoding
JP2011193391A (ja) 画像処理装置及び画像処理方法
Lopez-Rubio et al. An adaptive system for compressed video deblocking
JP3958281B2 (ja) 動画像符号化装置
JP2006121131A (ja) ノイズ検出装置及びノイズ検出プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant