CN109936741B - 视频编码方法和系统 - Google Patents

视频编码方法和系统 Download PDF

Info

Publication number
CN109936741B
CN109936741B CN201811530852.6A CN201811530852A CN109936741B CN 109936741 B CN109936741 B CN 109936741B CN 201811530852 A CN201811530852 A CN 201811530852A CN 109936741 B CN109936741 B CN 109936741B
Authority
CN
China
Prior art keywords
encoding
block
image frame
block size
level
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811530852.6A
Other languages
English (en)
Other versions
CN109936741A (zh
Inventor
伏莱德瑞克·皮尔
范星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Axis AB
Original Assignee
Axis AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Axis AB filed Critical Axis AB
Publication of CN109936741A publication Critical patent/CN109936741A/zh
Application granted granted Critical
Publication of CN109936741B publication Critical patent/CN109936741B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及视频编码方法和系统，具体地，涉及用于对视频流进行编码的系统和方法。编码包括：确定待被包括在视频流中的图像帧中的区域的相关性水平，确定图像帧中的编码块的块尺寸值，该块尺寸值取决于分别针对包括每个编码块的区域确定的所述相关性水平，基于针对编码块中的每个编码块确定的块尺寸值，使用编码块尺寸对图像帧进行编码。

Description

视频编码方法和系统
技术领域
本发明涉及用于视频编码的方法和系统。
背景技术
今天的视频编码变得越来越高效并且使得视频数据能够被存储在硬盘驱动器上并且通过通信网络被发送。在监控行业中，每天生成许多视频数据。监控系统中的视频数据主要由现场视频数据组成。该现场视频数据需要被联机编码，以便即刻大量地被输送并且被关联以使系统和人根据视频进行迅速且正确的判定。通常，需要在捕捉视频的设备中(例如在视频相机中)或在被布置为靠近相机的联网编码器中对监控系统中的视频数据进行编码，以便保持网络负载低。因此，执行编码的设备常常是具有有限的处理功率和/或存储的设备。
对于电影业开发的用于视频编码而开发的大多数方案，对编码的时间要求不高，并且因此能够为了高压缩和高图像重放质量在延长的时间段内处理视频。因此，用于对电影进行编码的许多编码方案要求多程编码，即，不止一次地连续地对视频进行编码。此类费时的编码在监控系统中不是可行的。另外，与大多数的监控相机的设计方式相比，多程编码要求更多存储器和处理循环。因而，监控视频系统要求其他编码方案来降低网络负载、存储需求和处理需求。
今天所使用的广泛使用的且最高效的视频编码方案中的许多是基于块的，即，对视频中的每个图像帧的图像处理是关于图像的块或单元执行的。在诸如运动JPEG、H.261、MPEG-1部分2、H.262/MPEG-2部分2，和H.264/MPEG 4 AVC之类的视频编码方案中，所使用的块结构包括宏块，在JPEG中，它们被称作MCU，其是这些方案的基本块。然后可以将宏块划分为宏块分区。
对于H.264，编码的图片由多个宏块组成，每个均包含16x16个亮度样本和相关联的色度样本。可以以四种方式划分宏块，请参见图1。划分为16x16宏块分区、划分为两个8x16宏块分区、划分为两个16x8宏块分区，或划分为四个8x8宏块分区。可以进一步将8x8分区划分为一个8x8子宏模块分区、两个4x8子宏模块分区、两个8x4子宏模块分区，或四个4x4子宏模块分区。H.264允许帧中变化的块尺寸。该特征使使用甚至更少的数据来表示视频成为可能，这是因为使用不同尺寸宏块将视频帧中的场景的不同的特性最高效地编码。
在许多编码器中，通过测试编码、使用每个宏模块内的块尺寸的所有可能的组合，并且然后比较使用每个宏模块内的不同的块尺寸组合的编码之间的质量来实现使用更少的数据的视频。如果与更小尺寸的质量相比尺寸16x16的宏模块的质量仅差一点，则选择尺寸16x16的宏模块。然而，差别如果存在质量的显著差别，则选择更小尺寸宏块的适当的一个。可以使用用于不同尺寸的速率失真(RD)成本计算来执行对块尺寸的选择。
在诸如H.265/HEVC(高效视频编码)之类的视频编码方案中，块结构包括编码单元(CU)、预测单元(PU)，和变换单元(TU)。CU是区域分割的基本单元并且用于帧间预测和帧内预测。CU允许递归细分为四个同等尺寸的块并且可以通过四个级别深度的四叉树结构被分离。换句话说，具有64x64像素的原始尺寸的CU可以被再分成尺寸32x32像素、16x16像素，和8x8像素的块，请参见图2。
每个CU然后被划分为一个或多个PU，使用帧内或帧间预测来预测每个PU。PU是用于携带与预测处理有关的信息的基本单元。帧间CU可以具有四个类型的PU，包括N x N分区、N x N/2分区、N/2 x N分区和N/2 x N/2分区，其中，对应的CU的尺寸是N x N。帧内CU可以具有两种类型的Pu：N x N分区和N/2 x N/2分区。根据对应的PU的尺寸，TU可以是分区尺寸32x32像素、16x16像素、8x8像素、4x4像素任何之一。
现在参考图3，在H.264和在HEVC/H.265两者中，用于编码的图像的可能的结构可以如下。图像帧300可以被划分为切片302，该切片302进而可以(在H.264情况下)被划分为宏块304，或(在EVC/H.265情况下)被划分为编码树单元(CTU)304。图像帧可以包括多个切片并且每个切片包括多个宏块304或CTU 304，如由以短划线所绘制的框所指示的。
在H.264中，如上所述，每个宏模块304然后可以被划分为宏模块分区306和子宏模块分区308。对于H.264，图中的分区310不是相关的。在HEVC/H.265中，如上所述，每个CTU304然后可以被划分为CU 306、308、310，其进而可以包括PU和TU形式的另外的分区，未示出。
在以上大体上描述了对宏模块分区尺寸或子宏模块分区尺寸的选择，并且在H.264中，如上所述，常常通过穷举测试来进行选择，即，对尺寸的所有组合进行编码，并且对于每个组合，计算成本。然后，基于计算的成本来选择每个宏模块内的块尺寸的最适当的组合。
在HEVC/H.265中，为了选择用于各种单元的最优尺寸组合的目的，对于CU、PU和TU尺寸的所有可能的组合，如在以上描述的，根据类似的概念来计算成本。成本可以是速率失真(RD)成本，其是描述质量和比特率之间的折衷选择的成本函数。对于最优尺寸的该穷尽性搜索导致高计算复杂度并且将使用具有受限的处理功率和存储容量的设备的不可接受的高数额的处理功率和存储容量。
而且，在实时查看应用中，除将用于表示视频的数据的量保持更低之外，用于编码的时间也是重要的。视频必须被编码并且以最小的延迟和等待时间被输送，使得视频可以在合理时间限制内到达接收机。为了降低H.265编码器的计算负担，一直建议有被安排为减少待被测试的CU和PU的的数量的过剩的编码方法。许多方式包括检查全零块、运动同质、RD成本，或树修剪，以跳过不必要的CU尺寸上的运动估计。其他方式包括早期TU决策算法(ETDA)。
在下文中，术语“基础编码块”将表示像H.264中的宏块、HEVC/H.265中的CTU的特征，以及其他编码方案中的对应的结构。此外，术语“编码块”将在下文表示像在H.264编码方案中发现的宏模块分区和子宏模块分区的以及像在HEVC/H.265编码方案中发现的CU、PU，和TU，以及像其他编码方案中的对应的结构的特征。
根据以上，我们可以得出结论，实施特定编码树结构的许多基于块的编码方案浪费许多用于实现具有高图像质量和使用少数数据比特的编码的处理功率、编码时间，以及数据存储。如上所述，对于此的原因是，大多数编码方案通过对于图像帧中的每个基础编码块对编码块尺寸的所有组合进行编码来解决尽可能得到高质量视频，以及使用尽可能少的比特的问题，并且然后评估基于图像质量和数据使用的成本函数。
此类编码方案可以用于非时间严格的应用，其中可以使用具有对大型数据存储区的访问的强大的计算机来执行编码。然而，在使用具有有限的计算资源、对功率有限的访问，以及优先的数据存储的设备来捕捉现场视频的应用中，这些编码方案是不适用的。对于来自辛迪维出版公司的http://dx.doi.org/10.1155/2014/718189、论文ID 718189的在“Mathematical Problems in Engineering”、卷2014(2014)中公布的由Chou-Chen Wang、Chi-Wei Tung、和Jing-Wein Wang所指的科研论文“An Effective Transform Unit SizeDecision Method for High Efficiency Video Coding(用于高效视频编码的有效变换单元尺寸判定方法)”中的HEVC编码器，已经认识到该问题。
发明内容
本发明的一个目的是实现具体用于现场编码的改善的基于块的编码方案。
借助于用于对视频流进行编码的根据本发明的一些实施例的方法来实现该目的。该方法包括：确定待被包括在视频流中的图像帧中的区域的相关性水平，确定图像帧中的编码块的块尺寸值，其中，该块尺寸值取决于分别针对包括每个编码块的区域确定的所述相关性水平，以及基于针对编码块中的每个编码块确定的块尺寸值，使用编码块尺寸对图像帧进行编码。
在编码处理之前确定块尺寸值以用于对图像帧进行编码以及块尺寸值基于相关性水平的优点可以是节约了时间，因为可以与图像增强、重建和其他预编码处理并行地执行关于减少用于各种块尺寸的编码迭代的数量的这些动作。可以基于还没有经历——或至少没有实际上经历重建或图像增强的图像数据来确定区域的相关性水平。因此，可以在当执行增强、重建和其他预编码处理的时间段期间来针对区域中的相关性水平并且因此块尺寸值来分析图像数据。此外，对于结果得到的视频的所请求的帧速率越高，发明方案的时间方面就变得更重要。
基于确定的块尺寸值使用编码块尺寸对图像帧进行编码可以包括：分别将编码块尺寸设置为与针对每个编码块确定的块尺寸值相对应的尺寸。通过向编码器呈现关于编码块的块尺寸，不需要在编码器中执行关于确定编码块的尺寸的处理，并且系统可以仍然利用使用编码块的变化的块尺寸所编码的视频的质量和比特率优点。因此，允许使用更少处理功率和更少的时间的高质量视频。
在其他实施例中，基于确定的块尺寸值使用编码块尺寸对图像帧进行编码可以包括：将最小编码块尺寸设置为允许将每个编码块分别编码到与针对每个编码块确定的块尺寸值相对应的尺寸。这样的实施例的优点是尝试用于编码块的各种块尺寸的迭代次数是有限的并且因此时间和处理功率被节约。
在又一些其他实施例中，基于确定的块尺寸值使用编码块尺寸对图像帧进行编码包括：基于确定的块尺寸值来在多个预先确定的块尺寸组当中确定一组编码块尺寸，其中，对于特定编码块确定的组中的编码块尺寸是在特定编码块的编码期间所允许的仅仅的编码块尺寸。这些实施例也限制为了实现用于编码块的变化的尺寸的质量和比特率优点所需要的迭代次数。
在开始图像帧的编码之前执行对于待被包括在所述视频流中的图像帧中的区域的相关性水平的确定。
而且，确定关于待被包括在视频流中的图像帧中的区域的相关性水平的动作可以包括：基于当前处理的图像帧和至少一个更早的图像帧来确定图像帧的区域中的运动水平，其中，与对于呈现更少的运动的区域相比，对于呈现更多运动的区域设置关于相关性水平的更高的值。这的优点是，基于也可以在用于其他功能的系统中执行的运动检测分析来改变编码块的尺寸，变得可能。而且，与没有任何运动的区域相比，可以对或许是感兴趣区域的运动的区域允许更小尺寸编码块、允许更好质量。
此外，确定关于待被包括在所述视频流中的图像帧中的区域的相关性水平包括：确定图像帧的区域中的噪声水平，其中，与确定更低的噪声水平的情况相比，在确定更高的噪声水平的情况下设置关于相关性水平的更低值。这的优点是，基于也可以在用于其他功能的系统中测量或计算的图像中的噪声水平来改变编码块的尺寸，变得可能。
而且，可以将更多噪声的区域的质量限制到较大的尺寸编码块，因为将与小尺寸编码块有关的图像质量应用到图像的有噪声部分有较小增益，因为小尺寸编码块的情况下的质量的增强确切地可以增强噪声而非图像。
可以通过基于适合于捕捉图像帧的图像传感器的噪声模型来估计噪声水平，来实现图像帧的区域中的噪声水平的确定，或者可以通过测量图像帧的区域中的噪声水平来实现确定图像帧的区域中的噪声水平。
进一步，确定关于待被包括在视频流中的图像帧中的区域的相关性水平包括：确定区域中的细节水平，其中，如果该区域被确定为与被确定为包括非相关细节的区域相比包括更低水平的细节，则设置更高的相关性水平值，并且其中，如果该区域包括相关细节，则设置更高的相关性水平值。以这种方式，可以将小尺寸编码块应用于相关细节的区域，并且，可以将描绘澄澈的蓝天的、根本不包括细节的图像区域限制到大尺寸编码块。
确定关于待被包括在视频流中的图像帧中的区域的相关性水平可以包括：计算关于邻近像素组的统计度量，关于每个邻近像素组的统计度量被称为关于特定邻近像素组的组值，计算组值之间的差别、将所述差别与预先确定的阈值相比较，如果差别等于或高于阈值，则增加包括组的区域的的相关性水平，并且如果所述差别低于所述阈值，则减小包括组的区域的相关性水平。以这种方式，相关性水平可以避免为例如描绘草坪的图像区域设置更高相关性水平，可以显示所有草簇中的多个细节，而不是所有相关细节。因此，可以将该区域限制到较大尺寸编码块。
统计度量可以是来自由以下项组成的组中的至少一个：所述像素组中的像素数据的和、平均数、中位数、四分位差、标准偏差、方差、偏斜度和峰态。
此外，如果一信号指示捕捉图像帧的相机正在摇摄或倾斜，则把待被包括在视频流中的图像帧的所有区域设置为更低的相关性水平。优点是，当由于在摇摄和/或倾斜操作期间的相机移动为了任何高质量影像将图像处理为模糊时，可以节约许多处理功率和时间。而且，将通过极少的数据来表示得到的图像，考虑到用于输送视频流的网络负载和/或用于存储视频流的存储容量，这是有利的。
在替换实施例中，系统被配置为根据以上实施例中的任何实施例对视频流进行编码。对应优点涉及系统的对应特征。
根据在下面给出的具体实施方式，本发明的应用的进一步范围将变得明显。然而，应当理解，具体实施方式和特定示例在指示本发明的优选的实施例时是仅仅作为说明被给出，这是因为根据该具体实施方式，在本发明的范围内的各种改变和修改将对那些本领域技术人员变得明显。因此，应当理解，本发明不局限于所描述的设备的特定组成部分或所描述的方法的步骤，照此设备和方法可以改变。
也将理解的是，在本文使用的术语仅仅用于描述特定实施例的目的并且不意图进行限制。必须指出，如在说明书和所附权利要求中使用的，冠词“一”、“该”和“所述”旨在意指存在一个或多个要素，除非该上下文清楚地另外指示其他。因此，例如，对“传感器”或“该传感器”的引用可以包括若干传感器，等等。此外，词“包括”不排除其他要素或步骤。
附图说明
根据参考附图的当前优选的实施例的以下详细描述，本发明的其他特征和优点将变得明显，其中
图1描绘在诸如H.264之类的视频编码方案中使用的各种块分区，
图2描绘用于H.262/HEVC的编码单元的各种分区，
图3是描绘用于关于图像帧的块编码方案的通用编码树结构，
图4是其中可以实施本发明的系统和环境的框图，
图5是根据本发明的实施例的用于对视频流进行编码的方法流程图，
图6是在根据本发明的实施例的方法中的相关性水平检测的流程图，
图7是包括用于实施本发明的实施例的装置的相机的框图，
图8是具有遥摄/倾斜能力并且包括用于实施本发明的实施例的装置的相机的框图，并且
图9是存在于图7和图8中的图像处理器的框图，
此外，在图中，遍及若干图，相同附图标记指定相同或对应的部分。
具体实施方式
本发明涉及编码视频流的方法和编码视频流的设备。图4示出了一种换进个，其中可以使用编码视频流的方法的实施例，并且其中可以布置根据本发明的被实现为进行编码的设备的实施例。该环境可以包括用于传输视频流的数据网络402、连接到网络402的数字网络相机404、连接到模拟视频生成器408(例如模拟视频相机408)的网络数字视频编码设备406、用于存储经由网络402接收的编码视频的视频服务器410和用于经由网络402访问和/或显示编码视频流的客户端412。
图4中的设备是典型的本发明环境中的设备。然而，待被实现为根据本发明对视频流进行编码的一个或多个设备连接的网络402可以连接到任何数量的上述设备。而且，网络402也可以连接到其任何组合，例如网络可以仅仅连接到数字网络相机404和视频服务器410。
现在参考图5，根据本发明的一些实施例，用于编码数字图像的方法500包括接收待被编码为视频流中的图像帧的图像数据的动作，步骤502。被接收的图像数据可以是直接从图像传感器接收的数据，或可以是已经被部分地处理的数据，例如数据可能已经被传递通过了拜耳滤波器、色彩校正模块，等等。
图像数据然后被分析以确定图像帧内的区域的相关性水平，步骤504。可以实施分析以识别帧中的各种特征并且在特定情况下时识别从更早的帧开始到当前处理的帧结束的改变中的各种特征。此外，分析可以基于多种类型的特征或者基于单个特征。在一些情况下，可以发现整个帧是具有同一水平的相关性的一个区域。然而，更可能的是，发现图像帧上的不同的区域具有不同水平的相关性。根据相关性水平所基于的特征的类型，可以关于像素等级、基础编码块等级、切片级等等来确定区域。
根据图像帧中的一个或许多区域的相关性水平，然后确定图像帧的编码块的块尺寸值，步骤506。可以对于整个基础编码块，或对于基础编码块来确定块尺寸值。此外，每个块尺寸值可以指定对应的编码块的确切尺寸，例如在特定位置的编码块应当具有指定的尺寸。
替换地，每个块尺寸值可以指定应当在区域中或在基础编码块中被允许的最小编码块尺寸。在又一个替换中，每个块尺寸值指定允许用于区域或基础编码块(即，用于当前使用的编码方案的所有可能的块尺寸的子集)的编码块尺寸的范围。然后，当在对该区域的编码中达到该尺寸时，如果迭代还没有被停止，则编码器可以停止迭代。然后将与图像帧的编码块的尺寸有关的信息与图像数据分开地发送给编码器，步骤508。
在一些实施例中，将与基础编码块的分割有关的信息存储在存储区中。将存储区的起始的地址存储在由编码器读取的寄存器中。编码器然后可以在存储区上读取关于如何划分基础编码块的指令。可以通过值来表示指令，该值可以指示用于每个独立的编码块的允许的尺寸或尺寸的允许的范围。例如，存储区可以被布置为在基础编码块上的映射，其中，表示基础编码块的存储区中的每个位置包括指示关于每个基础编码块的允许的分区或者分区的允许的范围的值。
然后，使用通过具有发送给编码器的块尺寸值所指示的尺寸的编码块来对图像帧进行编码，步骤510。因此，如果块尺寸值指定编码块的确切尺寸，则编码器使用该指定的尺寸简单地对编码块进行编码。以这种方式，所使用的处理功率和时间的量(并且具体是由编码器使用的处理功率)显著减少，这是因为在编码处理外部执行对编码块尺寸的判定。
然而，如果块尺寸值指定最小的允许的编码块尺寸，则编码器将执行正常编码块尺寸选择方案，但是待被限制为不经过指定的编码块尺寸。以这种方式，所使用的处理功率和时间的量也将基本上被减少，并且编码器所必需的处理功率待被减小，这是因为关于要尝试的允许的编码块尺寸的数量对编码器进行限制，并且在编码处理的外部执行对编码块尺寸限制的判定。
在第三替换中，其中，通过块尺寸值来指定编码块尺寸的范围，编码器将执行正常编码块尺寸选择方案，但是将把对于最优编码块尺寸的搜索限制到对于当前处理的图像区域、基础编码块，或编码块在块尺寸值中指定的编码块尺寸。通过对编码器实施该稍后的限制，所使用的处理功率和时间的量(并且，具体是由编码器使用的处理功率)也将显著减少，这是因为将关于要尝试的允许的编码块尺寸的数量对编码器进行限制，并且在编码处理的外部执行对编码块尺寸限制的判定。
然后将编码后的图像帧添加到当前生成的视频流，步骤512。可以以编码器所实施的任何方式来执行编码后的图像帧的添加。然后，处理返回到步骤510并且处理下一帧。
在通过对基础编码块进行编码502并且将编码后的图像帧添加到视频流的步骤在流程图中描绘的编码处理外部执行区域的相关性水平的确定(步骤504)，和块尺寸值确定(步骤506)，并且因此，可以在已经被编码的图像数据的先前的集合之前开始用于图像数据的新的集合的确定区域的相关性水平(步骤504)，和块尺寸值确定(步骤506)。
在图6中更详细地描述区域的相关性水平(步骤504)的确定，和块尺寸值确定(步骤506)的处理。通常，可以借助于对场景的捕捉的图像数据的分析，和/或借助于来自图像数据路径外部的源的输入来识别图像场景中的区域的相关性水平。对所捕捉的图像数据的所述被安排为识别导致通过图像数据所表示的图像场景的不同的区域的相关性水平的特征或特征。
可以被实施以从图像数据得出用于确定图像帧的不同的区域的各种水平的相关性的特征的处理可以是包括以下的组中的任何一个，或其任何组合：检测图像帧中的运动(步骤602)、确定图像帧的区域中的噪声水平(步骤604)，以及确定被接收的图像帧的区域中的相关细节水平(步骤606)。可以生成兴趣级别的另一个处理是处理：从控制遥摄/倾斜相机的遥摄和/或倾斜电动机，或从遥摄和/或倾斜角度传感器接收遥摄/倾斜指示信号，所有以便使得能够进行在遥摄/倾斜相机中的相机头的移动的检测，步骤608。
可以使用对所捕捉的图像数据应用的任何已知运动检测算法来执行检测被接收的图像帧中的运动，步骤602。大多数的运动检测算法需要涉及先前的图像以及当前处理的图像的数据。运动检测算法生成图像帧内的位置和区域，表示其中检测到移动的移动位置和移动区域。其也将生成指示在区域中检测到的移动的量的值。运动检测算法可以被安排为检测图像帧的单独的部分中的同时的移动。然后对于图像帧中的每个基础编码块生成运动水平值，步骤610。
确定被接收的图像帧的区域的噪声水平(步骤604)可以包括确定场景中的光的水平或测量捕捉的图像帧中的噪声。在确定场景中的光的水平的情况下，这样的处理将包括读取捕捉的图像帧中的像素值。像素读取可以基本上是图像帧的所有像素、包括携带像素的图像的子集、包括一个或两个色彩通道的像素的子集，等等。像素值指示已经冲击在已经捕捉了图像的图像传感器的对应的区域上的光的量。因此，值越高，更多光存在于场景中。可以将这些像素值添加到总值，或者可以生成平均或中值。
当处理具有指示场景中的光的量的值时，可以在特别适合于捕捉图像的传感器的噪声模型中应用光值，并且因此处理可以到达对图像帧的不同的区域的噪声水平值的估计。可以使用已知的噪声测量方法来实现对测量不同区域的噪声水平的替换。将所得出的噪声水平形成为噪声水平值用于进一步处理。
可以通过处理表示被接收的图像帧的像素的图像数据来实现被接收的图像帧的区域中的相关细节水平的确定(步骤606)。处理包括为图像帧中的邻近像素组计算所述图像数据的空间统计测量，以形成每个像素组的组值。而且，计算组值之间的差别，并且将差别与预先确定的阈值相比较。如果所述差别等于或高于所述阈值，则处理包括将组识别为具有相关细节水平的区域，并且，如果所述差别低于所述阈值，则处理包括将组识别为处于不具有相关细节水平的区域中。
空间统计度量可以是从由以下项组成的组中选择的至少一个：所述图像数据的和、平均数、中位数、四分位差、标准偏差、方差、偏斜度和峰态。因此可以将相关细节水平确定为数字值，即，相关或非相关。然而，处理可以针对附加的阈值来测试差别值，并且可以通过增加可以针对其进行测试的差别值的离散值的数量以该方式具有相关细节水平的增加的分辨率。因此，可以确定关于每个区域中的细节水平的值。可以使用诸如拉普拉斯、索贝尔、卡恩、高斯型拉普拉斯，或高斯差分之类的任何边缘检测器滤波器来执行对组值的比较。在登记的专利US 9805287中给出对用于确定相关细节水平的方法的更详细的描述，该登记的专利因此通过引用被合并。
根据在步骤608中接收的遥摄/倾斜指示信号，生成用于图像帧的所有基础编码块的运动水平值，步骤612。因为遥摄/倾斜指示信号指示相机在移动并且因此整个场景相对于图像传感器移动，所以运动水平值可以在整个图像帧上被设置为同一值。运动水平值可以根据运动的速度来改变。因此，对于更高的遥摄/倾斜速度设置更高水平的运动值，并且对于更低的遥摄/倾斜速度设置更低水平的运动值。
然后，根据来自步骤610和612的运动水平值、来自步骤604的噪声水平值以及来自步骤606的关于细节水平的值中的一个或者其组合，来生成指示每个基础块内的编码块的尺寸的值。然后将把指示编码块的尺寸的值写入到存储区中由编码器读取用于控制编码器中的编码块尺寸确定，步骤616。值可以指示用于每个独立的编码块的允许的尺寸或尺寸的允许的范围。然后，图6的处理在步骤618结束。然而，图5的编码处理在步骤510接管并且继续。
可以在相机(请参见图7)中或在未示出的将模拟视频转换为数字视频的视频编码设备中实施以上描述的处理。现在参考图7，实施本发明的相机700包括用于将引导来自场景的光以捕捉到图像传感器704上的透镜702。图像传感器可以是任何类型的图像传感器，例如用于可见光的图像传感器(诸如CMOS图像传感器或者CCD图象传感器)，或用于捕捉红外光的图像传感器。图像传感器连接到图像处理器706，并且向图像处理器传递被图像传感器704捕捉的图像数据。从图像传感器704到图像处理器的图像数据的每个传递被称为图像帧并且包括来自图像传感器的未处理的数据。图像数据可以在传输之前已经被放大并且从模拟值转换为数字。图像处理器706被安排为根据本发明处理图像数据用于增强每个帧中的图像的视觉方面并且处理图像数据。将在图9中更加详尽地解释图像处理器。
图像处理器706然后连接到根据例如H.264、HEVC/H.265，等等的图像编码方案进行操作的编码器708。图像处理器经由存储器709向编码器传递增强的图像数据和编码块尺寸数据，如更早所描述的。存储器可以是易失性存储器709，例如各种RAM。相机可以另外包括网络接口710和非易失性存储器712中的一个或两者。网络接口被安排为连接到网络402用于向服务器410或者客户端412传递编码的视频影像。非易失性存储器712可以被安排为内部地存储编码的视频影像用于由客户端412或者服务器410进行稍后访问。
在图8中，图示出实施本发明的相机800的另一个实施例。该相机800是遥摄/倾斜相机包括用于驱动相机头的摇摄的摇摄电动机802和用于驱动相机头的倾斜的倾斜电动机804。来自摇摄电机802和来自倾斜电动机804的信号线连接到运动水平值信号生成器805。运动水平信号生成器然后连接到图像处理器806。图像捕捉操作可以确切地与对于在图7中描述的相机的相同。因此，透镜702、图像传感器704、编码器708、网络接口710，和非易失性存储器可以和与图7结合描述的那些是相同的设备，或是非常类似的设备。图像处理器806与图7的图像处理器706的不同之处在于，其被安排为从摇摄电动机802和倾斜电动机804接收信号。将这些信号转换为运动水平值信号生成器805中的运动水平值信号，以及基础编码块尺寸确定。信号指示相机头的移动，以及因此指示图像视图的移动。
除透镜702、图像传感器704，以及遥摄/倾斜电动机802、804外，根据本发明的实施例的视频编码设备可以包括与图7和图8结合描述的特征。而是，视频编码设备包括视频接口，该视频接口被安排为连接到模拟视频源，并且将模拟信号转换为可以在图像处理器中处理的数字信号。即使没有遥摄/倾斜电动机802、804存在于视频编码设备中，可以如上所述接收和处理来自布置在模拟遥摄/倾斜相机的遥摄/倾斜电动机的I/O端口接收信号。
图9示出关于图8提及的图像处理器806的更详细的图像。经由数据链路或数据总线902来接收图像数据。在图像增强和重建设备904中将图像数据增强和重建，在该图像增强和重建设备904中，可以使图像数据通过去马赛克处理滤波器，例如拜耳滤色器、噪声滤波器、锐化滤波器，等等。而且，在图像增强和重建设计904中，可以调整图像数据的白平衡，可以移除图像数据中的伪影、可以对图像数据执行伽马校正，等等。然后，将增强和重建的图像数据906转发到编码器712，用于编码和插入到视频流中。
数据总线902上的图像数据也连接到诸如运动检测器908、噪声检测器910，和细节检测器912之类的分析设备，其全部都分析图像数据并且生成在编码块尺寸值生成器914中使用的信号。已经在先前关于图6描述了运动检测器908、噪声检测器910，和细节检测器912的功能。而且，编码块尺寸值生成器914从连接到遥摄/倾斜电动机的运动水平值信号生成器805(请参见图8)接收信号916。编码块尺寸生成器914被安排为生成与分析的图像数据有关的关于图像数据的编码块的尺寸值，并且因此编码块尺寸生成器914的输出经由信号线918连接到编码器708。
相机700的图像处理器706可以与在以上详细地描述的图像处理器806相同，差别在于，不存在输送关于遥摄/倾斜电动机的运动水平值的信号线916。也可以在对应的视频编码设备中实施如关于图7和8的相机所描述的详细的图像处理器706、806。而且，图像处理器706、806不一定实施运动检测器908、噪声检测器910，和细节检测器912的所有，但可以实施这些中的单个或者它们的任何组合。
根据本发明的实施例的对视频流进行编码的任何处理可以使用然后可以在实施处理的设备中执行的软件代码指令被部分地或全部地实施。在一些实施例中，可以因此使用逻辑电路来部分地实施这些处理。替换地，可以在逻辑电路中实施整个处理。在软件代码指令在设备中被执行的实施例中，布置有用于存储软件代码的存储器和用于执行它们的处理单元。

Claims (8)

1.一种用于编码视频流的方法，包括：
确定待被包括在所述视频流中的图像帧中的区域的相关性水平，其中所述确定包括确定所述图像帧的区域中的噪声水平，其中，与确定更低噪声水平的情况相比，在确定更高噪声水平的情况下设置更低的相关性水平值；
确定所述图像帧中的编码块的块尺寸值；以及
基于针对所述编码块中的每个编码块确定的块尺寸值，使用编码块尺寸对所述图像帧进行编码，
其特征在于：所述块尺寸值取决于分别针对包括每个编码块的区域确定的所述相关性水平，其中，与更低水平的相关性相比，更高水平的相关性涉及更小的块尺寸。
2.根据权利要求1所述的方法，其中，基于确定的块尺寸值使用编码块尺寸对所述图像帧进行编码包括：分别将所述编码块尺寸设置为与针对每个编码块确定的块尺寸值相对应的尺寸。
3.根据权利要求1所述的方法，其中，基于确定的块尺寸值使用编码块尺寸对图像帧进行编码包括：分别将用于对每个编码块进行编码的所允许的最小编码块尺寸设置为与针对每个编码块确定的块尺寸值相对应的尺寸。
4.根据权利要求1所述的方法，其中，基于确定的块尺寸值使用编码块尺寸对图像帧进行编码包括：基于确定的块尺寸值来在多个预先确定的块尺寸组当中确定一组编码块尺寸，其中，针对特定编码块确定的组中的编码块尺寸是仅仅在特定编码块的编码期间所允许的编码块尺寸。
5.根据权利要求1所述的方法，其中，在开始所述图像帧的编码之前执行待被包括在所述视频流中的图像帧中的区域的所述相关性水平的确定。
6.根据权利要求1所述的方法，其中，通过基于适用于捕捉所述图像帧的图像传感器的噪声模型来估计所述噪声水平，来实现图像帧的区域中的噪声水平的确定。
7.根据权利要求1所述的方法，其中，通过测量所述图像帧的区域中的噪声水平，来实现所述图像帧的区域中的噪声水平的确定。
8.一种包括连接到编码器(708)的图像传感器(704)的系统，所述系统被配置为根据权利要求1所述的方法对视频流进行编码。
CN201811530852.6A 2017-12-19 2018-12-14 视频编码方法和系统 Active CN109936741B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP17208292.7 2017-12-19
EP17208292.7A EP3503548B1 (en) 2017-12-19 2017-12-19 Video encoding method and system

Publications (2)

Publication Number Publication Date
CN109936741A CN109936741A (zh) 2019-06-25
CN109936741B true CN109936741B (zh) 2021-07-30

Family

ID=60673913

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811530852.6A Active CN109936741B (zh) 2017-12-19 2018-12-14 视频编码方法和系统

Country Status (3)

Country Link
US (1) US10652538B2 (zh)
EP (2) EP3506633A1 (zh)
CN (1) CN109936741B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3713235B1 (en) * 2019-03-19 2023-08-02 Axis AB Methods and devices for encoding a video stream using a first and a second encoder

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6529643B1 (en) * 1998-12-21 2003-03-04 Xerox Corporation System for electronic compensation of beam scan trajectory distortion
CN1719904A (zh) * 2004-07-06 2006-01-11 汤姆森许可贸易公司 自适应编码的方法和设备
CN101924889A (zh) * 2009-06-11 2010-12-22 索尼公司 图像处理装置和图像处理方法
WO2017123328A1 (en) * 2016-01-11 2017-07-20 Qualcomm Incorporated Block size decision for video coding

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010072430A (ko) * 1999-06-14 2001-07-31 오노 시게오 압축부호화 방법, 압축부호화 프로그램을 기록한기록매체, 및 촬상장치
US6529634B1 (en) * 1999-11-08 2003-03-04 Qualcomm, Inc. Contrast sensitive variance based adaptive block size DCT image compression
JP2002314999A (ja) * 2001-04-12 2002-10-25 Nikon Corp 画像圧縮装置、画像圧縮プログラムおよび電子カメラ
US7385626B2 (en) * 2002-10-21 2008-06-10 Sarnoff Corporation Method and system for performing surveillance
US20140254659A1 (en) 2013-03-11 2014-09-11 Mediatek Inc. Video coding method using at least evaluated visual quality and related video coding apparatus
JP2014176034A (ja) * 2013-03-12 2014-09-22 Ricoh Co Ltd 映像伝送装置
EP2814253B1 (en) * 2013-06-05 2015-09-16 Axis AB Method for encoding digital video data
US20150350653A1 (en) * 2014-05-28 2015-12-03 Apple Inc. Image compression based on device orientation and location information
EP3021583B1 (en) * 2014-11-14 2019-10-23 Axis AB Method of identifying relevant areas in digital images, method of encoding digital images, and encoder system
EP3029937B1 (en) * 2014-12-03 2016-11-16 Axis AB Method and encoder for video encoding of a sequence of frames
GB2539845B (en) * 2015-02-19 2017-07-12 Magic Pony Tech Ltd Offline training of hierarchical algorithms
EP3136726B1 (en) * 2015-08-27 2018-03-07 Axis AB Pre-processing of digital images
EP3200456A1 (en) * 2016-01-28 2017-08-02 Axis AB Video encoding method and video encoder system for temporal noise reduction
CN106056537B (zh) * 2016-05-20 2019-05-17 东软医疗系统股份有限公司 一种医学图像拼接方法及装置
US10277901B2 (en) * 2017-05-08 2019-04-30 Axis Ab Encoding a video stream having a privacy mask

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6529643B1 (en) * 1998-12-21 2003-03-04 Xerox Corporation System for electronic compensation of beam scan trajectory distortion
CN1719904A (zh) * 2004-07-06 2006-01-11 汤姆森许可贸易公司 自适应编码的方法和设备
CN101924889A (zh) * 2009-06-11 2010-12-22 索尼公司 图像处理装置和图像处理方法
WO2017123328A1 (en) * 2016-01-11 2017-07-20 Qualcomm Incorporated Block size decision for video coding

Also Published As

Publication number Publication date
EP3503548B1 (en) 2019-10-23
EP3506633A1 (en) 2019-07-03
CN109936741A (zh) 2019-06-25
US10652538B2 (en) 2020-05-12
US20190191159A1 (en) 2019-06-20
EP3503548A1 (en) 2019-06-26

Similar Documents

Publication Publication Date Title
CN110267041B (zh) 图像编码方法、装置、电子设备和计算机可读存储介质
CN112534818B (zh) 使用运动和对象检测的用于视频编码的译码参数的基于机器学习的自适应
KR100918480B1 (ko) 스테레오 비전 시스템 및 그 처리 방법
EP1797722B1 (en) Adaptive overlapped block matching for accurate motion compensation
US11184641B2 (en) Coding spherical video data
US7561736B2 (en) Image processing apparatus and method of the same
JP4799438B2 (ja) 画像記録装置、画像記録方法、画像符号化装置、及びプログラム
TWI677239B (zh) 結合多個去雜訊化技術及並行分組圖像補塊的非局部適應性環路濾波器
US20160119588A1 (en) Video encoding method and video encoder system
JP6149707B2 (ja) 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、及び動画像撮影装置
WO2019104635A1 (en) System and method for controlling video coding at frame level
WO2019104611A1 (en) System and method for controlling video coding within image frame
KR100951637B1 (ko) 스테레오 비전 시스템 및 이의 영상 처리 방법
CN108156461B (zh) 一种Bayer图像压缩方法及装置
CN109936741B (zh) 视频编码方法和系统
TWI421798B (zh) 影像壓縮之位元率控制方法及其裝置
KR102402671B1 (ko) 보간 필터의 연산 복잡도를 조절할 수 있는 영상 처리 장치, 영상 보간 방법 및 영상 부호화 방법
Fernandez et al. Integrated H. 264 region-of-interest detection, tracking and compression for surveillance scenes
KR101247024B1 (ko) 루프 내 전처리 필터링을 이용한 움직임 추정 및 보상 방법
JP5165084B2 (ja) 画像符号化装置
EP3989587A1 (en) Image processing device and method of pre-processing images of a video stream before encoding
JP2008072608A (ja) 画像符号化装置及び画像符号化方法
CN116886903A (zh) 跳过hevc帧内编码的编码方法、装置及计算机设备
CN112004090A (zh) 目标边界确定方法、计算机设备及存储介质
Su et al. Low bit-rate motion block detection for uncompressed indoor surveillance

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant