CN112887718B - 使用凸凹分布函数对多个图像帧进行帧内刷新编码的方法 - Google Patents

使用凸凹分布函数对多个图像帧进行帧内刷新编码的方法 Download PDF

Info

Publication number
CN112887718B
CN112887718B CN202011329919.7A CN202011329919A CN112887718B CN 112887718 B CN112887718 B CN 112887718B CN 202011329919 A CN202011329919 A CN 202011329919A CN 112887718 B CN112887718 B CN 112887718B
Authority
CN
China
Prior art keywords
pixel block
image frame
distribution function
intra
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011329919.7A
Other languages
English (en)
Other versions
CN112887718A (zh
Inventor
范星
玛雅·沙阿
马蒂亚斯·彼得松
亚当·希尔·科尔贝里
伏莱德瑞克·皮尔
芒努斯·瑟德达尔
彼得·维赫姆斯森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Axis AB
Original Assignee
Axis AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Axis AB filed Critical Axis AB
Publication of CN112887718A publication Critical patent/CN112887718A/zh
Application granted granted Critical
Publication of CN112887718B publication Critical patent/CN112887718B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及使用凸凹分布函数对多个图像帧进行帧内刷新编码的方法，涉及视频编码，并且具体地涉及可以基于从先前的刷新开始的图像帧的计数来适配图像帧细分的帧内刷新的概率并通过凸形或凹形分布函数进行调制的方法和编码器。还提供了被配置成采用视频编码方法的计算机程序产品、编码器以及监视设备。

Description

使用凸凹分布函数对多个图像帧进行帧内刷新编码的方法
技术领域
本发明涉及视频编码，并且具体地涉及可以基于从先前的刷新开始的图像帧的计数来适配图像帧细分的帧内刷新的概率并通过凸形或凹形分布函数进行调制的方法和编码器。
背景技术
H.264编码和其他利用帧间预测的压缩标准的一个常见问题是I帧比特率尖峰。该问题对于监控摄像机通常是更严重的，因为同一网络上可能存在大量摄像机，并且因为典型的监控场景具有非常大的(×10-×100)I帧与P帧尺寸比。理想情况下，网络优选恒定的比特率。
对于摄像机，降低比特率尖峰的一种解决方案是将I帧扩展到多个图像帧上，并且反而，每个图像帧的一部分(帧内刷新区域)被强制编码为I块。帧内刷新区域在图像帧组上跨图像帧移动，从而“刷新”图像。该方法被称为周期性帧内刷新或仅帧内刷新。
帧内刷新编码可以实现相对平稳的比特率，并终止或减少由传输损耗引起的错误传播。对于事件的检测和保留视频流中的精细细节，高的帧内刷新率是优选的。然而，更高的刷新率也伴随着更高的比特率要求。利用帧内刷新编码以及全帧刷新编码(例如，帧内编码)的另一个问题是，比特率通常均匀地分布在整个图像帧，而不是根据感兴趣区域(ROI)来分布。
因此，该技术领域还存在改进的空间。
发明内容
本发明的目的是提供帧内刷新编码的改进方法。特别地，本发明的目的是提供对帧内刷新编码进行改进的方法、编码器、软件和监视系统，帧内刷新编码在其比特率分配中依赖于ROI。
根据本发明的第一方面，提供了一种用于视频流的图像帧序列的帧内刷新编码的方法。该方法包括确定多个分布函数。在多个分布函数内，每个分布函数限定了相对于从视频流中的先前图像帧的空间上对应的处理单元进行帧内刷新开始已经经过的帧的数量，视频流中的图像帧的处理单元的帧内刷新的概率。多个分布函数中的第一分布函数与具有凸形的累积分布函数相对应。多个分布函数中的第二分布函数与具有凹形的累积分布函数相对应。
该方法进一步包括接收被包括在视频流中的图像帧。
该方法进一步包括，对于接收的图像帧中的每个处理单元：
·确定帧计数，帧计数限定从视频流中的先前图像的空间上对应的处理单元进行帧内刷新开始，在视频流中已经经过了多少个图像帧。
·确定处理单元对应于图像帧的高相关性区域还是低相关性区域。
·在确定处理单元对应于高相关性区域时，相对于确定的帧计数应用第一分布函数，以确定是否应该对处理单元进行帧内刷新。
·在确定处理单元对应于低相关性区域时，相对于确定的帧计数应用第二分布函数，以确定是否应该对处理单元进行帧内刷新。
·如果处理单元被确定为要进行帧内刷新，则对接收的图像帧的处理单元进行帧内编码。
内部编码或帧内编码是指例如通过比较相邻或邻近的像素的颜色，来利用数字图像帧中的像素的空间冗余。术语帧内编码是指相对于仅包含在当前帧内的信息，而不是相对于视频序列中的任何其他帧执行的各种无损和有损压缩技术的事实。
为了编码，或通过编码器，图像帧可以被细分成多个处理单元。处理单元通常可以包括多个像素。处理单元的替代命名法的示例包括例如像素宏块(MB)、像素块(BOP)、编码树单元和超级块的组合。图像帧可以被细分成多个尺寸相等的处理单元。在整个图像帧中，处理单元的大小也可以不同。处理单元可以空间上对应于视频流中的先前帧和后续帧。由此可以理解，对于后续图像帧，处理单元可以部分重叠、完全重叠、保持静止或至少保持在图像帧的相同空间区域中。处理单元可以在后续图像帧之间改变尺寸和位置，例如用于跟随视频流中的移动对象或考虑捕获视频流的源设备的移动。
ROI检测/确定涉及根据所述区域对于观察者的相关程度而对图像帧的不同空间区域或处理单元进行检测和分类。相关性如何确定以及用于确定相关性的标准可以随应用而变化。利用ROI检测的一种编码方法是由Axis通信公司提供的Zipstream算法。例如在编号为EP3021583的欧洲专利申请中描述了该算法的部分，其通过引用并入本文。Zipstream算法权衡空间方面(诸如像素冗余)和时间方面(诸如描绘的对象在帧之间的移动)。
图像帧中区域的相关性可以通过与ROI阈值的定量或定性比较来确定。阈值可以用于将图像帧划分成例如高相关性区域、低相关性区域和中等相关性区域。
帧的数量或帧计数是指从图像帧的空间区域(例如，处理单元)上次进行帧内刷新(即被强制帧内编码)开始，视频流中帧的数量。
累积分布函数(CDF)输出从0到1的值，对应于对于特定输入值而将发生事件的从0到100％的概率。在本申请中，事件是图像帧的处理单元是否应该进行帧内刷新，并且输入值是从图像帧的空间区域或对应的处理单元上次进行帧内刷新开始的帧的计数。
通过凸形和凹形，这意味着CDF曲线对于凸的情况具有负二阶导数或对于凹的情况具有正二阶导数。如果CDF的部分或整体分别是凸的或凹的，则CDF可以被认为是凸的或凹的。凸的CDF的示例是整体是凸的指数分布CDF。至少部分是凹的CDF的示例是正态分布CDF，正态分布CDF在变成凸的之前最初(从原点开始)是凹的，并且在达到100％的概率之前变平。可以理解，除了本文讨论的CDF示例之外，导致凸或凹的概率的其他数学函数也可以用于执行本发明。分布函数也可以由不必基于数学函数的查找表来限定。由于曲线的x轴对应于离散步长中的帧，因此表可以不需要比最长可接受帧内刷新率更多的单个值。
将基本上是凸的第一分布函数应用于图像帧的高相关性区域，即使在低帧计数下也可以增加帧内刷新的概率。这可在最相关的地方保持视频流质量，更好地保留帧中的感兴趣细节。换句话说，高相关性区域中的处理单元将相对更频繁地进行帧内刷新。
将基本上是凹的第二分布函数应用于图像帧的低相关性区域可以降低帧内刷新的概率。这节省了比特率的使用，使得可以将比特率用于其他数据(诸如高相关性区域)。在已经经过了特定数量的帧之后，第二分布函数最终也将达到更高的帧内刷新概率，从而确保低相关性区域不会冻结，而是最终可预测地刷新。
有利地，本实施例还有利于对比特率进行低复杂度的调整，以匹配数据传输信道的比特率容量或以其他方式设置的比特率要求。
此外，对于对应的处理单元的相关性在图像帧之间变化的情况，本实施例允许处理单元的帧内刷新概率之间的低复杂度转换。
根据一些实施例，第一分布函数限定在第一帧数阈值之后处理单元的帧内刷新的100％概率。第二分布函数限定在第二帧数阈值之后处理单元的帧内刷新的100％概率。第一帧数阈值小于第二帧数阈值。
这样的实施例通过实质上配置分布函数曲线以在预设阈值下达到100％的帧内刷新概率来为帧内刷新过程提供了可靠性、灵活性和可预测性。有利地，CDF是可调整的，以满足比特率要求，同时还以足够的速率提供高相关性区域的帧内刷新。因此，可以在不牺牲高相关性区域的情况下将低相关性区域的平均刷新率保持为高。
根据一些实施例，第一分布函数限定在第一帧数阈值之后处理单元的帧内刷新的100％概率。第二分布函数限定在第二帧数阈值之后处理单元的帧内刷新的100％概率。第一帧数阈值等于第二帧数阈值。
这样的实施例确保了低相关性处理单元和高相关性处理单元都可以具有共同数量的帧，在共同数量的帧之后低相关性处理单元和高相关性处理单元将始终最晚进行帧内刷新。该实施例的一个优点是，视频以大致对应于一组图像(GOP)长度的最低刷新率来更新。因此，当试图加载特定的图像帧时，必须加载的先前图像帧的数量保持较低。当在记录的视频流中进行清理(数据清理、存储器清理)时，这是特别有用的。
根据一些实施例，方法进一步包括接收视频流中的图像帧的低相关性区域与高相关性区域之间的比率的步骤。可以根据接收的比率来确定第一分布函数和第二分布函数。
该比率例如可以是当前图像帧中的高相关性区域的数量与低相关性区域的数量之间的比率。这样的实施例允许比特率的有效分布。通过该实施例，可以实现基本上不会变化而是在每个图像帧内最优地分布可用的比特率资源的平衡或一致的比特率。
根据一些实施例，第一分布函数和第二分布函数被配置成使得平均而言，对于视频流的每个图像帧，基本上相等数量的处理单元被确定为要进行帧内刷新。
每个图像帧进行帧内刷新的相等数量的处理单元可以基本上与实现不显著波动的稳定比特率相关。这可以通过例如改变用于限定第一分布函数和第二分布函数的形状/梯度的值以及调节任何帧数阈值来实现，其中CDF限定了处理单元的帧内刷新的100％概率。
根据一些实施例，多个分布函数包括第三分布函数，第三分布函数是具有线性形状的累积分布函数。该方法然后进一步包括，对于接收的图像帧中的每个处理单元：
·确定处理单元是否对应于图像帧的中等相关性区域。
·在确定处理单元对应于中等相关性区域时，相对于确定的帧计数应用第三分布函数，以确定是否应该对处理单元进行帧内刷新。
在低相关性区域与高相关性区域之间的这种中间地带可以为编码提供更大的灵活性，因为两个以上的ROI分类的相关性等级可以用于优化或平衡比特率使用。
根据一些实施例，方法进一步包括对于视频流的每个图像帧，接收指示图像帧中的每个处理单元的相关性等级的数据的步骤。
这些实施例实质上可以促进用于更新相关性等级的分布式实现架构。因此，相关性等级的计算可以由单独的设备或单元来执行。
根据一些实施例，方法进一步包括以下步骤，对于视频流的每个图像帧：
·计算处理单元中的像素值的总和、均值或中间值，以形成处理单元的组值。
·计算图像帧中空间上相邻的处理单元的组值之间的差，以将每个处理单元与差值相关联。
·通过将关联的差值与预定阈值进行比较，确定图像帧中的每个处理单元的相关性等级。如果所述差值等于或大于所述阈值，则处理单元被识别为对应于高相关性区域。可替代地，如果所述差值小于所述阈值，则处理单元被识别为对应于低相关性区域。
这样的实施例提供了处理单元中的像素的特性(例如，像素的颜色、亮度或对比度的均值)可以用于确定处理单元的相关性等级。
根据一些实施例，该方法进一步包括以下步骤，对于视频流的每个图像帧：
·计算处理单元中的像素值的总和、均值或中间值，以形成处理单元的组值。
·计算图像帧中空间上相邻的处理单元的组值之间的差，以将每个处理单元与差值相关联。
·通过将关联的差值与第一预定阈值和第二预定阈值进行比较，确定图像帧中的每个处理单元的相关性等级。如果所述差值等于或大于第一阈值，则处理单元被识别为对应于高相关性区域。可替代地，如果所述差值在第一阈值与第二阈值之间，则处理单元被识别为对应于中等相关性区域。进一步可替代地，如果所述差值小于第一阈值和第二阈值，则处理单元被识别为对应于低相关性区域。
这样的实施例具有类似的优点，因为处理单元中的像素的特性(例如，像素的颜色、亮度或对比度的均值)可以用于确定处理单元的相关性等级，然而目前更多的相关性等级可以被访问。因此，实现了图像中不同区域的更精细的帧内刷新率。
根据一些实施例，图像帧的处理单元由一个或多个宏块、编码树单元或超级块组成。
这可能是有利的，因为这些类型的处理单元可以与许多视频流格式和编码方法兼容。
根据一些实施例，视频流包括第一图像帧和紧接着的第二图像帧。对于第一图像帧，第一处理单元被确定成对应于高相关性区域。对于第一处理单元，应用第一分布函数以确定第一处理单元是否应该进行帧内刷新。对于第二图像帧，空间上对应于第一处理单元的第二处理单元被确定成对应于低相关性区域，其中对于第二处理单元，应用第二分布函数以确定第二处理单元是否应该进行帧内刷新。
这些实施例指定了视频流的后续图像帧中的空间上对应的处理单元的刷新概率曲线之间的快速转换。更具体地，指定了从凸形曲线(第一分布函数)到凹形曲线(第二分布函数)的转换。有利地，本实施例以低复杂度和可靠的方式处理图像帧的空间上对应的处理单元的相关性等级的突然变化。
这样做的进一步优点是，即使当计数器在分布函数之间变化时，也可以保持从上次刷新开始的计数器。这确保了在这些变化期间不必要的频繁刷新可以被避免，这是很好的，因为它可以将比特率保持为低。同时，两次刷新之间的时间不会比当前分布函数规定的时间更长。
根据一些实施例，视频流包括第一图像帧和紧接着的第二图像帧。对于第一图像帧，第一处理单元被确定对应于低相关性区域。对于第一处理单元，应用第二分布函数以确定第一处理单元是否应该进行帧内刷新。对于第二图像帧，空间上对应于第一处理单元的第二处理单元被确定对应于高相关性区域。对于第二处理单元，应用第一分布函数以确定第二处理单元是否应该进行帧内刷新。
这些实施例还指定了刷新概率曲线之间的快速转换，但目前转换是从凹形曲线(第二分布函数)到凸形曲线(第一分布函数)。有利地，本实施例以低复杂度和可靠的方式处理图像帧的空间上对应的处理单元的相关性等级的突然变化。
特别地，当视频流的先前不感兴趣的部分变得与单个帧更新相关时，该实施例是有利的。例如，如果处理单元并且甚至相邻的处理单元的所有像素颜色瞬间改变，或者如果图像帧的空间区域内的对象的移动突然增加，则可能是这种情况。。这两种情况都可提示需要在相关处理单元或空间区域中立即增加帧内刷新概率。
根据本发明的第二方面，提供了一种包括非暂态计算机可读介质的计算机程序产品，具有存储在其上的计算机代码指令，当由具有处理能力的设备执行时，计算机代码指令适于执行本发明的第一方面的方法。
这样的计算机程序产品能够实现由本发明第一方面先前提供的方法，并且因此具有类似的优点。
根据本发明的第三方面，提供了一种用于视频流的图像帧序列的帧内刷新编码的编码器。编码器包括电路，电路被配置成确定多个分布函数，每个分布函数限定了相对于从视频流中的先前图像帧的空间上对应的处理单元进行帧内刷新开始已经经过的帧的数量，视频流中的图像帧的处理单元的帧内刷新的概率。多个分布函数中的第一分布函数对应于具有凸形的累积分布函数。多个分布函数中的第二分布函数对应于具有凹形的累积分布函数。编码器电路进一步被配置成接收被包括在视频流中的图像帧。对于接收的图像帧中的每个处理单元，编码器电路进一步被配置成：
·确定帧计数，帧计数限定从视频流中的先前图像的空间上对应的处理单元进行帧内刷新开始，在视频流中已经经过了多少个图像帧。
·确定处理单元对应于图像帧的高相关性区域还是低相关性区域。
·在确定处理单元对应于高相关性区域时，相对于确定的帧计数应用第一分布函数，以确定是否应该对处理单元进行帧内刷新。
·在确定处理单元对应于低相关性区域时，相对于确定的帧计数应用第二分布函数，以确定是否应该对处理单元进行帧内刷新。
·如果确定要进行帧内刷新，则对所接收的图像帧的处理单元进行帧内编码。
这样的编码器能够实现由本发明第一方面提供的方法，并且因此具有类似的优点。
如本领域技术人员所理解，编码器的电路可以由一个或多个处理器、ASIC等或处理器、ASIC的组合来实现。
根据本发明的第四方面，提供了一种监视设备，包括图像传感器以及根据本发明第三方面的编码器。编码器被配置成连续地接收由图像传感器捕获的图像帧。
这样的监视设备可以利用由本发明的其他方面提供的方法、计算机程序产品和编码器，并且因此可以具有类似的优点。特别地，比特率优势对于远程监视设备是优选的，该远程监视设备可选地作为具有多个监视设备的监视系统的一部分，其中大量数据由图像传感器记录，并且然后通过有线或无线传输到中央控制站。在这样的系统中，传输带宽以及因此比特率可能被限制。不可预测的比特率波动也可能是有问题的，并且随着时间的推移恒定的比特率得使用是优选的。对于具有多个监视设备的系统，情况更是如此。
第二、第三和第四方面通常可以具有与第一方面相同的特征和优点。还应注意，除非另有明确说明，否则本发明涉及特征的所有可能的组合。
附图说明
通过以下参照附图对本发明的优选实施例的说明性和非限制性的详细描述，将更好地理解本发明的上述以及附加的目的、特征和优点，其中相同的附图标记用于相同的元件，其中：
图1示出了用于对视频流的图像帧进行帧内刷新编码的方法的流程图，该方法需要将凸分布函数和凹分布函数分别应用于高相关性区域和低相关性区域，用于确定是否应该执行帧内刷新。
图2示出了包括一些实施例的可选的步骤的用于帧内刷新编码的方法的流程图。
图3示出了根据一些实施例的包括第三中等相关性等级的用于帧内刷新编码的方法的流程图。
图4示出了根据实施例的用于确定处理单元是否应该具有高相关性等级或低相关性等级的方法的流程图。
图5示出了根据实施例的用于确定处理单元是否应该具有高相关性等级、中等相关性等级或低相关性等级的方法的流程图。
图6示出了具有凸形的指数分布CDF曲线的示例。
图7示出了具有凹形和凸形的正态分布CDF曲线的示例。
图8示出了具有阈值的指数分布CDF曲线。
图9示出了具有阈值的正态分布CDF曲线。
图10示出了线性CDF曲线的示例。
图11示出了被细分成高相关性、中等相关性和低相关性的几个处理单元的图像帧。
图12示意性地示出了包括图像传感器和编码器的监视设备。
图13示出了具有垂直截止的正态分布CDF。
图14示出了具有水平截止的正态分布CDF。
具体实施方式
现在将在下文中参照附图更全面地描述本发明，在附图中示出了本发明的实施例。将描述本文公开的在操作期间的系统和设备。
图1示出了用于对视频流的图像帧序列进行帧内刷新编码的方法的流程图。在图11中图示出了示例性图像帧200。视频流可以包括例如长度为几秒的短的图像帧序列或理想情况下没有中断的连续流。视频流可以源自具有图像传感器的设备，诸如摄像机。图像传感器可以被设置为连续或间断地记录场景的监视设备的一部分。因此，视频流可以包括描绘场景的图像帧。
图11示出了包括对应于图像帧200的空间区域的至少一个处理单元210的图像帧200。在该图的示例中，图像帧200被细分成尺寸相等的正方形处理单元。
图像帧序列中的第二图像帧(未示出)包括空间上对应于第一图像帧100的处理单元210的处理单元。由此，第二图像帧的处理单元可以在尺寸、形状和位置与第一图像帧的处理单元相同，或者与第一图像帧的处理单元完全或部分重叠。空间上的对应关系可以基于图像帧的像素坐标来确定。像素坐标可以以形式(x、y)描述。第一像素坐标值x可以例如确定相对于图像帧的垂直边缘的水平位置，并且第二像素坐标值y可以例如确定相对于图像帧的水平边缘的垂直位置。
例如，从像素(1、1)到像素(30、20)的矩形可以是第一图像帧的处理单元。如果第二图像帧的处理单元对应于从像素(1、1)到像素(30、20)的矩形，则处理单元是相同的。如果第二图像帧的处理单元对应于从像素(10、10)到像素(30、30)的正方形，则这意味着处理单元彼此重叠。在这两种情况以及其他情况下，第二图像帧的处理单元空间上对应于第一图像帧的处理单元。
具有变化的尺度、尺寸和/或位置的处理单元210可以被称为动态处理单元。处理单元可以被设置成随时间改变尺度、尺寸和/或位置。
对于动态处理单元例如可以改变尺寸的处理单元210，可以与跟踪图像的任意小的部分上次被刷新的时间相关。在一些场景下，即使单个的像素也可能具有与场景相关联的计数器。动态处理单元的尺寸意味着动态计数区域的尺寸，或者可以容纳处理单元210中的变化的非常小的计数器区域(例如，宏块)。
动态处理单元尺寸的进一步含义是，处理单元210的不同子区域从刷新开始可能具有不同的帧数。一种处理方式可以是使用处理单元210内的最高计数器。更高级的解决方案可以是使不同时期之间的比例影响曲线选择和/或形状。
图像帧200的处理单元210可以包括一个或多个宏块、编码树单元或超级块，或由一个或多个宏块、编码树单元或超级块组成。换句话说，处理单元210包括至少一个像素组。
方法包括确定S02多个分布函数的步骤，每个分布函数限定了相对于从视频流中的先前图像帧的空间上对应的处理单元进行帧内刷新开始已经经过的帧数fc(在图6至图10中被称为fc)，视频流中的图像帧200的处理单元210的帧内刷新的概率p(在图6至图10中被称为p)。从发生了上次刷新事件开始的帧数fc(也被称为帧计数)可以被记录并存储在查找表中。因此，查找表可以包括每个处理单元的最新刷新帧的指示。换句话说，因此查找表可以包括每个处理单元的从处理单元的最新帧内刷新开始已经经过了多少帧的指示。
可以记录并存储每个处理单元210的帧计数fc。可以记录并存储图像帧200的每个像素的帧计数fc。每个像素的帧计数fc的均值或中间值可以被计算并用作处理单元210或包括估计的像素的图像帧200的空间区域的帧计数值。每个像素的帧计数fc的均值或中间值可以用于促进处理单元尺寸或尺度的改变。
使用均值//中间值帧计数fc的替代方法可以是让最高帧计数fc用于整个处理单元210。如果大多数像素共享帧计数fc，则可以将帧计数fc用于整个处理单元210，而不考虑其他帧计数fc。
帧计数fc可以被理解为对应于时间值。通过将帧计数fc除以例如视频流的每秒帧数(FPS)值，可以计算该时间值。
帧内刷新的概率p可以是0和1之间的值，其中p＝0对应于0％的帧内刷新概率，并且p＝1对应于100％的帧内刷新概率。概率p可以通过随机数生成(RNG)来调制，以输出用于帧内刷新确定的明确的真或假状态。
用于处理单元的帧计数fc可以存储在查找表或帧计数图中。由此，使动态处理单元的尺寸和位置更可行。
多个分布函数包括图6和图7中分别所示的具有凸形的第一分布函数110和具有凹形的第二分布函数120。多个分布函数可以附加地包括第三分布函数130，第三分布函数130是如图10中的示例所示的具有线性形状的累积分布函数。本领域技术人员应理解，多个分布函数可以包括其他的分布函数。
第一分布函数110对应于具有凸形的CDF。凸形可以被描述为相对于帧计数的具有负值的第一分布函数曲线的二阶导数。形状可以整体或部分凸的。在一些实施例中，第一分布函数110可以对应于指数分布CDF的至少一部分。图6示出了指数分布CDF曲线的示例。
指数分布CDF可以数学地被描述为：
p＝1-eλfc
其中，p表示帧内刷新的概率，fc表示帧计数，并且λ表示限定曲线凸出程度的任意值。图6的三条曲线示出了具有不同λ值的三条CDF曲线。虚线的λ值最小，点状线的λ值最大，并且实线的λ值正好在虚线的值与点状线的值之间。
图7的第二分布函数120对应于具有大部分凹形的CDF。凹形可以被描述为相对于帧计数的具有正值的第二分布函数曲线的二阶导数。形状可以整体或部分凹的。在一些实施例中，第二分布函数120可以对应于正态分布CDF的至少一部分。
图7示出了可以考虑的正态分布CDF曲线的示例。第二分布函数120可以被限定为正态分布CDF的一部分，例如朝向较低的帧计数fc值的凹入部分，其中概率p接近0％。
正态分布CDF可以数学地被描述为：
Figure BDA0002795444890000111
其中，p表示帧内刷新的概率，fc表示帧计数，μ表示对应于正态分布的均值的任意值，并且σ表示对应于正态分布的标准差的任意值。μ的值可以确定曲线在哪个帧计数处居中，并且σ的值可以确定曲线在凹凸处倾斜的坡度。图7的三条曲线示出了具有相同的μ值但具有不同的σ值的三条CDF曲线。虚线的σ值最小，点状线的σ值最大，并且实线的σ值正好位在虚线的值与点状线的值之间。
实质上，部分或整体为凸的、凹的或线性的任何曲线或函数可以分别被考虑用于第一分布函数110、第二分布函数120和第三分布函数130。
分布函数110、120、130可以在使用之前通过例如垂直地或水平地任意偏移它们、镜像或翻转曲线、引入与分布相乘的任意因子来进行调制。以上的任何组合也是可用的。
第一分布函数110可以限定在第一帧数阈值ft1之后处理单元210的帧内刷新的100％概率p。第二分布函数限定了在第二帧数阈值ft2之后处理单元210的帧内刷新的100％概率。第一帧数阈值ft1可以小于第二帧数阈值ft2。第一帧数阈值ft1可以等于第二帧数阈值ft2。第一帧数阈值ft1也可以大于第二帧数阈值ft2。阈值ft1、ft2可以被理解为对应于时间值。通过将阈值ft1、ft2除以例如视频流的FPS值，可以计算该时间值。
可以选择图8中所示的第一帧数阈值ft1来通过实质上水平地压缩或拉伸曲线来限定第一分布函数110，使得阈值ft1对应于最低帧计数fc，该最低帧计数fc至少基本上对应于100％的帧内刷新概率。
可以选择图9中所示的第二帧数阈值ft2来通过实质上水平地压缩或拉伸曲线来限定第二分布函数120，使得阈值ft2对应于最低帧计数fc，该最低帧计数fc至少基本上对应于100％的帧内刷新概率。
分布函数110、120、130还可以包括阈值，该阈值在达到例如特定帧计数fc或概率值p之后，用相对于帧计数fc的概率p的固定值来代替曲线。示出了在ft2处垂直截止的正态分布CDF的图13，指示例如可以如何确定超过帧计数阈值的所有帧计数fc对应于p＝1，即100％的帧内刷新概率。
如图14中所图示，选择阈值也可以通过降低上述函数中的p＝1等级来实现，图14示出了在ft2或p＝1处水平截止的类似正态分布CDF。这可以使曲线更早达到100％的概率。与图7的示例相反，这也可限制曲线在达到p＝1之前仅是凹的。这可以被理解为使用CDF的形状，而不是传统限定的CDF，因为这样的CDF可能不会针对p>1的值进行限定。p＝1等级的降低可以通过简单地对图中地p轴上的值进行分级来实现。分级可以包括将曲线上的点乘以每个p值。然后，p>1的结果值可以用p＝1来代替，因为帧内刷新的概率不可能超过100％。
这样的实施例通过代替实际上仅在达到无限帧计数之后才达到100％的帧内刷新概率的CDF曲线的尾部来为帧内刷新过程提供可靠性和可预测性。
应该注意的是，分布函数的实际实现可能会有变化。例如，每个分布函数可以由概率值的向量来限定，对处理单元进行限定的帧内刷新概率的每个限定的概率值，具体取决于：
·从视频流中的先前图像帧的空间上对应的处理单元进行帧内刷新开始，已经经过了多少帧fc，以及
·处理单元的相关性。
例如，第一分布函数110可以由以下概率向量限定：[0、40、70、85、93、96、98、99、100](8是第一分布函数110的阈值ft1)。
例如，第二分布函数120可以由以下概率向量限定：[0、1、2、4、8、16、32、64、100](8是第二分布函数120的阈值ft2)。
这些向量也可以通过将其中的所有值与一个或多个分级因子相乘来分级。由此，由向量限定的曲线可以沿着帧计数fc的轴(即图6至图10的水平轴)被压缩或拉长，。如果分级因子小于1和/或找到分级的曲线与p＝1相交的相交点，则该方法可能需要对p值进行外推。
本领域技术人员应理解，修改向量并且因此修改函数和曲线的其他数学方法也是可能的。本文所使用的数值仅用于提供示例，并且本领域技术人员应理解，其他数值也是完全可能的。
该方法可以进一步包括以下步骤：接收S05视频流中的图像帧200的低相关性区域214与高相关性区域212之间的比率，其中第一分布函数110和第二分布函数120根据接收的比率来确定。图2的流程图包括该附加的步骤。例如，该比率可以是图像帧中的高相关性区域112的数量与低相关性区域114的数量之间的比率。可替代地，该比率可以涉及各个相关性区域的实际区域覆盖的比率。可以配置第一分布函数110和第二分布函数120使得对于视频流的每个图像帧200，平均基本上相等数量的处理单元210被确定为要进行帧内刷新。这可以通过例如乘以分级因子或使曲线偏移来修改分布函数110、120来实现。
该方法可以进一步包括以下步骤：对于视频流的每个图像帧200，接收S07指示图像帧200中的每个处理单元210的相关性等级的数据。图2的流程图包括该附加的步骤。相关性等级可以是指图像帧中的处理单元210或空间区域是否对应于例如高相关性区域212、低相关性区域214或中等相关性区域216。可以考虑其他或可替代的相关性等级。
图1的方法进一步包括接收S04被包括在视频流中的图像帧200。对于接收的图像帧200中的每个处理单元，该方法进一步包括确定S06帧计数fc，帧计数fc限定了从视频流中的先前图像的空间上对应的处理单元进行帧内刷新开始，在视频流中已经经过了多少个图像帧。
对于接收的图像帧200中的每个处理单元210，该方法进一步包括确定S08处理单元210对应于图像帧200的高相关性区域212还是低相关性区域214。当确定处理单元210对应于高相关性区域212时，该方法包括相对于确定的帧计数fc应用S10a第一分布函数110，以确定处理单元210是否应该进行帧内刷新。当确定处理单元210对应于低相关性区域时，该方法包括相对于确定的帧计数fc应用S10b第二分布函数120，以确定处理单元210是否应该进行帧内刷新。
对于接收的图像帧200中的每个处理单元210，该方法可以进一步包括确定S09处理单元是否对应于图像帧200的中等相关性区域216。在确定处理单元210对应于中等相关性区域216时，该方法可以包括相对于确定的帧计数fc应用S10c第三分布函数130，以确定处理单元210是否应该进行帧内刷新。图3的流程图包括这些附加的步骤。
通过应用第一分布函数110、第二分布函数120或第三分布函数130，作为输入帧计数fc的结果，输出帧内刷新的概率p。
与处理单元210或空间上对应的区域是否被确定为高相关性区域212或低相关性区域214相关的数据可以被记录并存储在查找表中。其他相关分级也可能存在，并且可以类似地进行记录和存储。
图4图示出了该方法可以如何进一步包括对于视频流的每个图像帧200，计算S21在处理单元210中的与特定像素相关联的像素值的总和、均值或中间值，以形成处理单元210的组值。像素值，即像素特定值，可以例如与像素的颜色或亮度相关。可替代地，像素值可以与像素相对于相邻像素的对比度相关。
图4进一步图示出了方法如何进一步包括计算S23图像帧200中的空间相邻的处理单元210的组值之间的差，以将每个处理单元210与差值相关联。该方法可以进一步包括通过将相关联的差值与预定阈值进行比较S27来确定S25图像帧200中的每个处理单元210的相关性等级。如果所述差值等于或大于所述阈值，则该方法可以进一步包括将处理单元210识别S29a为对应于高相关性区域212。如果所述差值小于所述阈值，则该方法可以进一步包括将处理单元210识别S29b为对应于低相关性区域214。
可替代地，并且如图5所示，确定S25图像帧中的每个处理单元210的相关性等级的方法可以包括将相关联的差值与第一预定阈值和第二预定阈值进行比较S28。如果所述差值等于或大于第一阈值，则该方法可以进一步包括将处理单元210识别S29a为对应于高相关性区域212。如果所述差值在第一阈值与第二阈值之间，则该方法可以进一步包括将处理单元210识别为对应于中等相关性区域216。如果所述差值小于第一阈值和第二阈值，则该方法可以进一步包括将处理单元210识别S29b为对应于低相关性区域214。
应该注意，可以采用用于确定处理单元的相关性等级的任何其他合适的测量。例如，相应处理单元中的运动等级可以用作测量，其中具有高的运动等级的处理单元(即，与先前图像帧中的空间上对应的处理单元相比，处理单元的像素数据/值有很大差异)被认为比具有较低的运动等级的处理单元更重要。另一示例包括每个处理单元中的边缘检测，其中包括更多边缘的处理单元可以被认为比具有更少边缘的处理单元更相关。相关性等级可以由外部传感器(例如运动传感器、热像仪、辅助摄像机、雷达或其他类型的传感器)触发或确定。
图1的方法进一步包括对于接收图像帧200中的每个处理单元210，如果处理单元被确定为要进行帧内刷新，则对接收的图像帧的处理单元进行帧内编码S12。帧内刷新本身可以根据本领域技术人员可用的常规的帧内刷新方法来执行。
视频流可以包括第一和第二前后紧随的图像帧200。对于第一图像帧，第一处理单元可以被确定对应于高相关性区域212。对于第一处理单元，可以应用第一分布函数110以确定第一处理单元是否应该进行帧内刷新。对于第二图像帧，空间上对应于第一处理单元的第二处理单元可以被确定对应于低相关性区域214。对于第二处理单元，应用第二分布函数120以确定第二处理单元是否应该进行帧内刷新。
可替代地，对于第一图像帧，第一处理单元可以被确定对应于低相关性区域214。对于第一处理单元，可以应用第二分布函数120以确定第一处理单元是否应该进行帧内刷新。对于第二图像帧，空间上对应于第一处理单元的第二处理单元可以被确定对应于高相关性区域212。对于第二处理单元，可以应用第一分布函数110以确定第二处理单元是否应该进行帧内刷新。
例如，考虑上文中具有两个概率值向量的示例。
对于第一帧的第一处理单元，2％的帧内刷新概率被确定(从上次刷新开始已经经过了两个帧)。在该示例中，第一处理单元没有进行帧内刷新。对于第二帧的第二处理单元，相关性等级增加到高相关性。因此，对于第二处理单元，85％的帧内刷新概率被确定(从上次刷新开始已经经过了三个帧)。
计算、确定、比较、应用、识别、编码、接收等步骤可以由具有处理能力和有线或无线地接收数据或指令的能力的设备来执行。这样的设备可以是例如计算机或编码器。
计算机程序产品包括非暂时性计算机可读介质，具有存储在其上的计算机代码指令，当由具有处理能力的设备执行时，计算机代码指令可以适于执行本文提供的方法。
可以提供用于视频流的图像帧序列200的帧内刷新编码的编码器304。编码器304可以包括被配置成执行本文提供的方法的电路。编码器304可以是出于标准化、速度或压缩的目的将信息从一种格式或代码转换成另一种格式或代码的设备、电路、换能器、计算机程序产品或算法。
如图12所图示，编码器304可以是监视设备300的一部分。监视设备300可以进一步包括图像传感器302。图像传感器302可以是摄像机或视频摄像机的一部分。更具体地，图像传感器302可以是云台变焦摄像机。图像传感器302可以被设置成捕获包括描绘一个或多个场景的图像帧的视频流。
编码器304可以被配置成连续地接收由图像传感器302捕获的图像帧200。监视设备300或至少图像传感器302可以被设置成连续或间断地记录感兴趣的场景，以用于法院、安保、安全或研究目的，仅举几个非限制性的示例。
指示每个处理单元的相关性等级的数据可以从被配置成确定这样的相关性等级的图像分析单元(编码器304的外围或与编码器304集成)接收。图像分析单元也可以在监视设备300的外围或与监视设备300集成。
监视设备300、编码器304或图像传感器302可以被配置成执行本文描述的方法。
图像传感器302和编码器304可以一体地形成为单个设备。可替代地，图像传感器302和编码器304可以是分离的并通过有线或无线连接。
上文公开的系统和方法可以被实现为软件、固件、硬件或其组合。在硬件实现方式中，在以上描述中提到的功能单元之间的任务划分不一定对应于物理单元的划分；相反，一个物理组件可以具有多种功能，并且一个任务可以由多个物理组件协同执行。某些组件或所有组件可以被实现为由数字信号处理器或微处理器执行的软件，或被实现为硬件或专用集成电路。这样的软件可以分布在计算机可读介质中，该计算机可读介质包括计算机存储介质(或非暂态介质)和通信介质(或暂态介质)。
以上，主要参照有限数量的示例描述了本发明的各方面。然而，如本领域技术人员容易理解的，在由所附权利要求书限定的本发明构思的范围内，除了以上公开的示例之外的其他示例同样是可能的。

Claims (13)

1.一种用于视频流的图像帧序列的帧内刷新编码的方法，所述方法包括：
确定多个分布函数，每个分布函数限定了相对于从所述视频流中的先前图像帧的空间上对应的像素块进行帧内刷新开始已经经过的帧的数量，所述视频流中的图像帧的像素块的帧内刷新的概率，其中，所述多个分布函数的第一分布函数对应于具有凸形的累积分布函数，其中，所述多个分布函数的第二分布函数对应于具有凹形的累积分布函数，
接收被包括在所述视频流中的图像帧，
对于所接收的图像帧中的每个像素块：
确定帧计数，所述帧计数限定从所述视频流中的先前图像的空间上对应的像素块进行帧内刷新开始，在所述视频流中已经经过了多少个图像帧，
确定所述像素块是否空间上对应于所述图像帧的感兴趣区域ROI，
在确定所述像素块空间上对应于所述ROI时，相对于所确定的帧计数应用所述第一分布函数来确定所述像素块是否应该进行帧内刷新，
在确定所述像素块空间上不对应于所述ROI时，相对于所确定的帧计数应用所述第二分布函数来确定所述像素块是否应该进行帧内刷新，
如果确定所述像素块要进行帧内刷新，则对所接收的图像帧的所述像素块进行帧内编码。
2.根据权利要求1所述的方法，其中，所述第一分布函数限定了在第一帧数阈值之后像素块的100％的帧内刷新概率，其中，所述第二分布函数限定了在第二帧数阈值之后像素块的100％的帧内刷新概率，其中，所述第一帧数阈值小于所述第二帧数阈值。
3.根据权利要求1所述的方法，其中，所述第一分布函数限定了在第一帧数阈值之后像素块的100％的帧内刷新概率，其中，所述第二分布函数限定了在第二帧数阈值之后像素块的100％的帧内刷新概率，其中，所述第一帧数阈值等于所述第二帧数阈值。
4.根据权利要求1所述的方法，进一步包括对于所述视频流中的图像帧接收不对应于所述ROI的空间区域与对应于所述ROI的空间区域之间的比率的步骤，其中，所述第一分布函数和所述第二分布函数根据所接收的比率来确定。
5.根据权利要求4所述的方法，其中，对于所述视频流的每个图像帧，配置所述第一分布函数和所述第二分布函数使得平均相等数量的像素块被确定为要进行帧内刷新。
6.根据权利要求1所述的方法，进一步包括以下步骤：对于所述视频流的每个图像帧，对于所述图像帧中的每个像素块，接收指示所述像素块是否空间上对应于所述图像帧的所述ROI的数据。
7.根据权利要求1所述的方法，进一步包括以下步骤：
对于所述视频流的每个图像帧，
对于所述图像帧中的每个像素块，通过计算所述像素块中的像素值的总和、均值或中间值来计算表示所述像素块的第一值，
计算所述图像帧中的空间上相邻的像素块的第一值之间的差，以将每个像素块与差值相关联，
对于所述图像帧中的每个像素块，通过以下步骤确定所述像素块是否空间上对应于所述图像帧的ROI：
将所述相关联的差值与预定阈值进行比较，
如果所述差值等于或大于所述阈值，则将所述像素块识别为空间上对应于所述ROI，
如果所述差值小于所述阈值，则将所述像素块识别为空间上不对应于所述ROI。
8.根据权利要求1所述的方法，其中，图像帧的像素块由一个或多个宏块、编码树单元或超级块组成。
9.根据权利要求1所述的方法，其中，所述视频流包括第一图像帧和紧接着的第二图像帧，其中，对于所述第一图像帧，第一像素块被确定成空间上对应于所述第一图像帧的所述ROI，其中，对于所述第一像素块，应用所述第一分布函数以确定所述第一像素块是否应该进行帧内刷新，并且其中，对于所述第二图像帧，空间上对应于所述第一像素块的第二像素块被确定成空间上不对应于所述第二图像帧的所述ROI，其中，对于所述第二像素块，应用所述第二分布函数以确定所述第二像素块是否应该进行帧内刷新。
10.根据权利要求1所述的方法，其中，所述视频流包括第一图像帧和紧接着的第二图像帧，其中，对于所述第一图像帧，第一像素块被确定成空间上不对应于所述第一图像帧的所述ROI，其中，对于所述第一像素块，应用所述第二分布函数以确定所述第一像素块是否应该进行帧内刷新，并且其中，对于所述第二图像帧，空间上对应于所述第一像素块的第二像素块被确定成空间上对应于所述第二图像帧的所述ROI，其中，对于所述第二像素块，应用所述第一分布函数以确定所述第二像素块是否应该进行帧内刷新。
11.一种非暂态计算机可读介质，具有存储在其上的计算机代码指令，当由具有处理能力的设备执行时，所述计算机代码指令适于执行根据权利要求1至10中任一项所述的方法。
12.一种用于视频流的图像帧序列的帧内刷新编码的编码器，所述编码器包括电路，所述电路被配置成：
确定多个分布函数，每个分布函数限定了相对于从所述视频流中的先前图像帧的空间上对应的像素块进行帧内刷新开始已经经过的帧的数量，所述视频流中的图像帧的像素块的帧内刷新的概率，其中，所述多个分布函数的第一分布函数对应于具有凸形的累积分布函数，其中，所述多个分布函数的第二分布函数对应于具有凹形的累积分布函数，
接收被包括在所述视频流中的图像帧，
对于所接收的图像帧中的每个像素块：
确定帧计数，所述帧计数限定从所述视频流中的先前图像的空间上对应的像素块进行帧内刷新开始，在所述视频流中已经经过了多少个图像帧，
确定所述像素块是否空间上对应于所述图像帧的感兴趣区域ROI，
在确定所述像素块空间上对应于所述ROI时，相对于所确定的帧计数应用所述第一分布函数来确定所述像素块是否应该进行帧内刷新，
在确定所述像素块空间上不对应于所述ROI时，相对于所确定的帧计数应用所述第二分布函数来确定所述像素块是否应该进行帧内刷新，
如果确定要进行帧内刷新，则对所接收的图像帧的所述像素块进行帧内编码。
13.一种监视设备，包括图像传感器和根据权利要求12所述的编码器，其中，所述编码器被配置成连续地接收由所述图像传感器捕获的图像帧。
CN202011329919.7A 2019-11-29 2020-11-24 使用凸凹分布函数对多个图像帧进行帧内刷新编码的方法 Active CN112887718B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP19212375.0A EP3829169B1 (en) 2019-11-29 2019-11-29 Method for intra refresh encoding of a plurality of image frames using convex and concave distribution functions
EP19212375.0 2019-11-29

Publications (2)

Publication Number Publication Date
CN112887718A CN112887718A (zh) 2021-06-01
CN112887718B true CN112887718B (zh) 2022-05-17

Family

ID=68732813

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011329919.7A Active CN112887718B (zh) 2019-11-29 2020-11-24 使用凸凹分布函数对多个图像帧进行帧内刷新编码的方法

Country Status (6)

Country Link
US (1) US11223834B2 (zh)
EP (1) EP3829169B1 (zh)
JP (1) JP7042318B2 (zh)
KR (1) KR102394371B1 (zh)
CN (1) CN112887718B (zh)
TW (1) TWI764352B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101198058A (zh) * 2007-12-14 2008-06-11 武汉大学 一种感兴趣区域的率失真优化帧内刷新与码率分配方法
CN108632618A (zh) * 2017-03-24 2018-10-09 安讯士有限公司 用于对视频流进行编码的方法、视频编码器和摄像机
CN109076227A (zh) * 2016-04-29 2018-12-21 Ati科技无限责任公司 用于高效、低延迟视频编码的运动自适应帧内刷新
CN109348227A (zh) * 2018-11-22 2019-02-15 上海大学 适用于视频编码的运动自适应帧内刷新方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0537924A (ja) * 1991-07-29 1993-02-12 Hitachi Ltd 画像信号符号化方法および装置
JP2830856B2 (ja) * 1996-09-04 1998-12-02 日本電気株式会社 画像符号化装置
US6304295B1 (en) 1998-09-18 2001-10-16 Sarnoff Corporation Region-based refresh strategy for video compression
US6842484B2 (en) * 2001-07-10 2005-01-11 Motorola, Inc. Method and apparatus for random forced intra-refresh in digital image and video coding
US7106907B2 (en) * 2002-10-18 2006-09-12 Mitsubishi Electric Research Laboratories, Inc Adaptive error-resilient video encoding using multiple description motion compensation
KR100565274B1 (ko) 2003-07-02 2006-03-30 엘지전자 주식회사 중앙 집중형 인트라 모드 리프레시 방법
US20050175109A1 (en) * 2004-02-11 2005-08-11 Anthony Vetro Optimal bit allocation for error resilient video transcoding
US7349472B2 (en) 2004-02-11 2008-03-25 Mitsubishi Electric Research Laboratories, Inc. Rate-distortion models for error resilient video transcoding
US8948266B2 (en) 2004-10-12 2015-02-03 Qualcomm Incorporated Adaptive intra-refresh for digital video encoding
US8437405B1 (en) 2004-12-08 2013-05-07 Nvidia Corporation System and method for intra refresh implementation
US8139642B2 (en) * 2005-08-29 2012-03-20 Stmicroelectronics S.R.L. Method for encoding signals, related systems and program product therefor
US8879856B2 (en) * 2005-09-27 2014-11-04 Qualcomm Incorporated Content driven transcoder that orchestrates multimedia transcoding using content information
US8325822B2 (en) * 2006-01-20 2012-12-04 Qualcomm Incorporated Method and apparatus for determining an encoding method based on a distortion value related to error concealment
US8861585B2 (en) * 2006-01-20 2014-10-14 Qualcomm Incorporated Method and apparatus for error resilience algorithms in wireless video communication
US9113169B2 (en) 2009-05-07 2015-08-18 Qualcomm Incorporated Video encoding with temporally constrained spatial dependency for localized decoding
KR102116985B1 (ko) * 2013-08-16 2020-05-29 삼성전자 주식회사 비디오 인코딩을 위한 인트라 리프레쉬 방법
EP3021583B1 (en) 2014-11-14 2019-10-23 Axis AB Method of identifying relevant areas in digital images, method of encoding digital images, and encoder system
CN106488229B (zh) * 2015-09-01 2022-01-21 恩智浦美国有限公司 具有可调整帧内刷新率的视频编码器
EP3657799B1 (en) * 2018-11-22 2020-11-04 Axis AB Method for intra refresh encoding of a plurality of image frames
US10936055B2 (en) * 2019-01-24 2021-03-02 Dell Products, L.P. Encoding content for virtual, augmented, and mixed reality (xR) applications in connectivity-constrained environments

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101198058A (zh) * 2007-12-14 2008-06-11 武汉大学 一种感兴趣区域的率失真优化帧内刷新与码率分配方法
CN109076227A (zh) * 2016-04-29 2018-12-21 Ati科技无限责任公司 用于高效、低延迟视频编码的运动自适应帧内刷新
CN108632618A (zh) * 2017-03-24 2018-10-09 安讯士有限公司 用于对视频流进行编码的方法、视频编码器和摄像机
CN109348227A (zh) * 2018-11-22 2019-02-15 上海大学 适用于视频编码的运动自适应帧内刷新方法

Also Published As

Publication number Publication date
EP3829169B1 (en) 2021-10-13
CN112887718A (zh) 2021-06-01
KR20210067870A (ko) 2021-06-08
KR102394371B1 (ko) 2022-05-03
US20210168379A1 (en) 2021-06-03
TW202127888A (zh) 2021-07-16
JP2021101533A (ja) 2021-07-08
TWI764352B (zh) 2022-05-11
EP3829169A1 (en) 2021-06-02
US11223834B2 (en) 2022-01-11
JP7042318B2 (ja) 2022-03-25

Similar Documents

Publication Publication Date Title
US11102508B2 (en) Method and image processing unit for forming a video stream
US20160029020A1 (en) Low latency video encoder
JP6016332B2 (ja) 画像処理装置、画像処理方法
US11563961B2 (en) Load balancing method for video decoding in a system providing hardware and software decoding resources
US9723315B2 (en) Frame encoding selection based on frame similarities and visual quality and interests
US20190230277A1 (en) Method and system for auto-setting of cameras
US11778210B2 (en) Load balancing method for video decoding in a system providing hardware and software decoding resources
CN112887718B (zh) 使用凸凹分布函数对多个图像帧进行帧内刷新编码的方法
US10129551B2 (en) Image processing apparatus, image processing method, and storage medium
US10856002B2 (en) Method, device and system for method of encoding a sequence of frames in a video stream
KR101582674B1 (ko) 영상 감시 시스템에서의 활성영상 저장방법 및 장치
US9167244B2 (en) Image coding apparatus and method thereof
EP3989587A1 (en) Image processing device and method of pre-processing images of a video stream before encoding
KR101585951B1 (ko) 영상 감시 시스템 및 영상 감시 시스템에서의 영상저장구간 결정방법
KR100584537B1 (ko) Ｍｐｅｇ4를 이용한 감시용 카메라 정보 저장 방법
JP2008072608A (ja) 画像符号化装置及び画像符号化方法
JPH09214975A (ja) シーンチェンジ適応動画像符号化方法および装置
Yao et al. Dynamic threshold-based keyframe detection and its application in rate control

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant