CN111314696A - 用于对图像帧的序列进行编码的方法和设备 - Google Patents

用于对图像帧的序列进行编码的方法和设备 Download PDF

Info

Publication number
CN111314696A
CN111314696A CN201911239728.9A CN201911239728A CN111314696A CN 111314696 A CN111314696 A CN 111314696A CN 201911239728 A CN201911239728 A CN 201911239728A CN 111314696 A CN111314696 A CN 111314696A
Authority
CN
China
Prior art keywords
image
motion
image data
sequence
encoder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911239728.9A
Other languages
English (en)
Other versions
CN111314696B (zh
Inventor
比约恩·阿多
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Axis AB
Original Assignee
Axis AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Axis AB filed Critical Axis AB
Publication of CN111314696A publication Critical patent/CN111314696A/zh
Application granted granted Critical
Publication of CN111314696B publication Critical patent/CN111314696B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/127—Prioritisation of hardware or computational resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及图像编码领域并且涉及用于对图像帧的序列进行编码的方法和设备。具体地，涉及一种用于使用两个单独的编码器对多个图像帧进行编码的方法和设备，其中每个图像帧被划分为两个部分，以使每个部分由两个编码器中的一个编码器进行编码，其中图像帧被划分为使跨越两个部分之间的边界的运动最小化，使得两个编码器可以彼此独立地操作，而没有实质的比特率损失或降低的编码质量。

Description

用于对图像帧的序列进行编码的方法和设备
技术领域
本发明涉及图像编码领域。具体地，涉及一种用于使用两个单独的编码器对多个图像帧进行编码的方法和设备，其中每个图像帧被划分为两个部分，以使每个部分由两个编码器中的一个编码器进行编码。
背景技术
近年来，监视摄像机(例如网络摄像机监视系统)的数量已经增加。类似地，由监视摄像机的图像传感器捕获的图像的可能的图像分辨率已经提高。从监视的角度来看，这是有利的，因为可以捕获监视场景中的更多细节。然而，从编码器的角度来看，这种发展已导致由高分辨率图像传感器捕获的图像对一个编码器(编码器芯片)来说可能太大，而无法以可接受的帧速率进行编码。有利地，可以采用例如H.265编码中的图块/切片的概念，以从由多个编码器(诸如两个编码器)编码的图像数据中生成单个编码图像。相应地，图像帧的图像数据可以被划分为至少图像数据的第一部分和第二部分，其中第一部分由第一编码器编码，并且第二部分由第二编码器编码，其中两个编码器具有用于参考编码的单独的缓冲存储器(参考缓冲)。
当要找到运动矢量时出现问题，因为这意味着理论上两个编码器都需要访问整个参考帧，需要在两个编码器之间的两个方向上进行复制。实际上，不是在整个参考帧中执行运动矢量搜索，而是在有限的搜索窗口中执行运动矢量搜索，以便在足够短的时间内完成搜索以保持期望的帧速率。因此，没有必要将整个参考帧切片或图块从一个编码器复制到另一个编码器，而是仅复制足够大的部分以容纳搜索窗口。
然而，将图像数据从第一编码器复制到第二编码器(反之亦然)是繁琐的。还必须同步，以确保两个编码器在开始新图像帧的编码之前都已经完成了先前图像帧。
为了避免从另一个编码器的参考缓冲读取和复制，可以限制用于运动矢量搜索的搜索窗口。具体地，编码器可以被限制为不在由另一个编码器生成的参考帧中搜索运动矢量。这可以在一系统中实现，该系统通过将运动搜索窗口设置在图像数据的部分之间的边界处使得不越过边界执行运动搜索而允许对图像的不同部分使用不同的搜索窗口。
该方法的缺点在于，由于图像帧之间的图像数据中的运动，在边界附近对图像数据进行编码可能代价比较高(需要更多比特率)。在边界附近的图像数据中运动的情况下，运动预测(使用块匹配算法)将很可能不适合边界附近的像素块，因为图像内容可能从第一图像帧中的由第一编码器编码的图像数据移动到用于后续图像帧的由第二编码器编码的图像数据。这反过来可能导致这些像素块将被编码为I块，或者被编码为具有要被编码的许多剩余数据的P块，从而增大了比特率。
因此在此背景下存在改善的需求。
发明内容
鉴于上文，本发明的目的因此是克服或至少减轻上面讨论的问题。具体地，本发明的目的是提供一种设备和方法，其中图像帧的图像数据被划分为两部分，并且其中用于对图像数据的相应部分进行编码的第一编码器和第二编码器可以彼此独立地操作而没有实质的比特率损失或降低的编码质量。
根据本发明的第一方面，上述目的是通过一种用于使用彼此独立操作的第一编码器和第二编码器对图像帧的序列进行编码的方法来实现的，该方法包括：
估计图像帧的序列中的运动，以确定以下至少一项：图像帧中的运动的主要方向，以及图像帧中存在运动的位置；
基于所估计的运动，将序列中的每个图像帧的图像数据划分为至少图像数据的第一部分和第二部分，其中第一部分与第二部分之间的边界被定位为使所估计的跨越边界的运动最小；
使用第一编码器对序列中的每个图像帧的图像数据的第一部分进行编码；并且
使用第二编码器对序列中的每个图像帧的图像数据的第二部分进行编码。
在本公开中，术语“彼此独立地操作的第一编码器和第二编码器”通常意味着在第一编码器与第二编码器之间不需要为了编码目的的数据的传输。换句话说，在执行帧间编码时，第一编码器和第二编码器中的每个仅参考由其自身生成的参考帧。再换句话说，仅已由第一编码器编码的图像数据将被(以解码版本)存储在第一编码器的参考缓冲中，并且用于帧间编码的目的(作为用于特定图像帧的图像数据的第一部分的块匹配的参考数据)。类似地，仅已由第二编码器编码的图像数据将被(以解码版本)存储在第二编码器的参考缓冲中，并且用于帧间编码的目的(作为用于特定图像帧的图像数据的第二部分的块匹配的参考数据)。
通常，图像数据的划分导致图像数据的(至少)两个相干(coherent)部分，其中图像数据的第一部分可以表示第一图块或切片，并且其中图像数据的第二部分可以表示第二图块或切片。相应地，边界可以是直的或阶梯的。例如，对于图像帧的图像数据中的宏块(CTU)的特定行或列，宏块中的一些可以是图像数据的第一部分的一部分，并且剩余宏块可以是图像数据的第二部分的一部分。
发明人已经认识到，通过估计图像帧的序列中的运动，每个图像帧的图像数据可以被划分为至少第一部分和第二部分，以使跨越第一部分与第二部分之间的边界的(所估计的)运动最小化。通过这样做，由于使用具有单独的缓冲存储器的单独的编码器，两个编码器之间不执行参考数据的复制，因此比特率可能基本不增大。由于完成了根据上述对图像数据进行划分，因此即使在第一编码器与第二编码器之间没有复制数据，运动预测也将通常针对更多像素块(宏块、编码单元[CU]、编码树单元[CTU])更好地工作。换句话说，通过根据上述定位边界，可以减少附加I块或具有用于编码残差的高成本的P块的高比特率成本的问题。
使用彼此独立操作的第一编码器和第二编码器的优点是降低或消除了两个编码器之间的同步要求。由于不需要在第一编码器与第二编码器之间复制数据，因此编码器能够对与其相应的多个图像帧的图像数据的部分进行编码，而不必等待另一个编码器完成例如用于帧间编码目的的数据的编码。
可以以许多不同的方式估计图像帧序列中的运动。例如，单独的运动估计器可以分析先前图像帧(例如，与所捕获的视频序列的一秒、三秒等的时间跨度对应的图像帧)，以估计图像帧的序列中的运动。可以对降采样版本的图像帧执行这种估计，以降低计算复杂度。在其他实施例中，分析先前编码的图像帧的运动矢量，以估计图像帧序列中的运动。在又一些实施例中，可以分析捕获图像帧的序列的视频捕获设备的摇摄/倾斜运动，以确定估计的运动。
所估计的运动可以用于确定图像帧中的运动的主要方向，即，确定运动在图像帧的序列中通常是水平的还是垂直的。在其他实施例中，估计的运动可以用于确定图像帧中存在运动的位置，例如，运动是否主要存在于图像帧的序列的图像帧的上角，或存在于图像帧的序列的图像帧的中间的部分等。
根据一些实施例，对于序列的多个图像帧，第一部分与第二部分之间的边界被定位在同一位置和方向上。有利地，降低了该方法的计算复杂度。在该实施例中，第一部分和第二部分占据所有多个图像帧上的相同的空间区域。编码器因此将运动估计限制为先前帧(参考帧)中的相同空间区域。换句话说，第一编码器和第二编码器都分别将其用于图像数据的第一部分和第二部分中的像素块的块匹配的搜索窗口限制到由自身生成的参考帧。
根据一些实施例，序列的多个图像帧形成第一画面组GOP。因此可以仅针对GOP的第一图像帧完成运动估计，这将降低编码方法的计算复杂度，并且可以针对GOP的其余图像帧类似地执行针对第一图像帧确定的图像数据的划分。
根据一些实施例，第一部分与第二部分之间的边界针对第一GOP被定位在第一位置和方向上并且针对第二GOP被定位在第二位置和方向上。有利地，可以对捕获动态场景的(或由在第一GOP与第二GOP之间不同地移动、摇摄-倾斜等的摄像机捕获的)图像帧的序列进行有效地编码。应当注意，根据一些实施例，边界的方向被保持在第一GOP与第二GOP之间，但是位置被调整，例如，以根据不同的方式或鉴于新的隐私遮挡(进一步内容参见下文)划分在第一编码器与第二编码器之间进行编码的计算负担。
根据一些实施例，在确定图像帧中的运动的主要方向为水平方向时，边界的方向是水平的。类似地，在确定图像帧中的运动的主要方向为垂直方向时，边界的方向是垂直的。有利地，可以实现低复杂度的方法。例如，如果图像中存在很多垂直运动，则图像被垂直(平铺)划分，并且在不同的编码器中对左部分和右部分进行单独地编码。如果图像中存在很多水平运动，则图像被水平(切片)划分，并且在不同的编码器中对图像的顶部和底部进行单独地编码。
根据一些实施例，将序列的每个图像帧的图像数据划分为至少图像数据的第一部分和第二部分进一步基于在对图像帧的序列进行编码时使用的量化参数的映射，量化参数的映射指定在对序列的图像帧的图像数据的不同区域进行压缩时使用的量化参数，其中量化参数被加权，以有利于越过以较低量化参数编码的图像数据的区域将边界定位在以较高量化参数编码的图像数据的区域中。有利地，比特率可以进一步降低，因为通过将第一部分与第二部分之间的边界定位在通常具有相对较高的量化参数(例如，QP值)的图像区域中，所以即使运动存在于该图像区域中，由于较高的量化参数，得到的帧内编码的像素块也将被更多地压缩。
根据一些实施例，将序列的每个图像帧的图像数据划分为至少图像数据的第一部分和第二部分进一步基于应用于图像帧的序列的至少一个隐私遮挡，其中至少一个隐私遮挡中的每个隐私遮挡的位置和大小被加权，以有利于越过不与隐私遮挡对应的图像数据的区域将边界定位在与隐私遮挡对应的图像数据的区域中。有利地，比特率可以进一步降低，因为通过将第一部分与第二部分之间的边界定位在隐私遮挡区域的图像区域部分中，所以即使该图像区域中存在跨越边界的运动，隐私遮挡区域中的像素块也将无论如何例如被编码为单色像素块，并且因此不需要那么多比特率。
根据一些实施例，估计运动的步骤包括接收指示捕获图像帧的序列的视频捕获设备的摇摄-倾斜PT运动的数据，其中在所接收的数据指示摇摄运动时，边界的方向是水平的；其中在所接收的数据指示倾斜运动时，边界的方向也是垂直的。该实施例表示确定图像帧中的运动的主要方向的低复杂度功能。
根据一些实施例，序列中的图像帧的图像数据被划分为至少图像数据的第一部分和第二部分是基于从序列中的先前图像帧估计的运动的。这允许并行处理估计运动的任务和对图像帧进行编码的任务。
根据一些实施例，估计运动的步骤包括接收指示在序列中的先前图像帧中存在的运动的数据，并且使用所接收的数据从先前图像帧估计运动。指示运动的数据可以由与两个编码器分开的运动估计单元确定，有利地允许在不同的单元之间划分本文描述的编码方法的任务，以进一步提高该方法的效率。所接收的数据可以采用任何合适的形式，从非常简单的数据(例如，描述图像帧中的运动的主要方向是垂直还是水平的布尔值)到更复杂的数据(例如描述图像帧的单独的部分中的运动的值的映射或运动矢量)。
根据一些实施例，估计运动的步骤包括在对第一部分和第二部分进行编码时分别分析先前图像帧的由第一编码器和第二编码器计算的运动矢量。有利地，已经由编码器生成的数据可以用于估计运动。例如，可以取所有运动矢量的x值的绝对值的平均值以估计在水平方向上的运动，并将其与所有运动矢量的y值的绝对值的平均值进行比较，以确定图像帧中的运动的主要方向。
根据一些实施例，该方法进一步包括以下步骤：对于序列中的每个图像帧，
由流多路复用器接收由第一编码器编码的图像数据的第一部分和由第二编码器编码的图像数据的第二部分，并且
形成编码后的图像，编码后的图像包括作为第一图块或第一切片的编码后的图像数据的第一部分以及作为第二图块或第二切片的编码后的图像数据的第二部分。
有利地，由单独的编码器编码的数据被多路复用成单个编码流。在一些实施例中，来自第一编码器的编码后的数据和来自第二编码器的编码后的数据被发送到单独的流多路复用器，形成(多路复用成)编码后的的图像流。在其他实施例中，两个编码器中的一个用作流多路复用器。
根据本发明的第二方面，上述目的通过一种计算机程序产品来实现，该计算机程序产品包括具有计算机代码指令的计算机可读介质，该计算机代码指令适于在由具有处理能力的设备执行时实现第一方面的方法。
根据本发明的第三方面，通过一种用于对图像帧的序列进行编码的设备实现上述目的，该设备包括：
处理器，被配置为：
估计图像帧的序列中的运动，以确定以下至少一项：图像帧中的运动的主要方向，以及图像帧中存在运动的位置；
基于所估计的运动，将序列中的每个图像帧的图像数据划分为至少图像数据的第一部分和第二部分，其中第一部分与第二部分之间的边界被定位为使所估计的跨越边界的运动最小化；
第一编码器，被配置为对序列中的每个图像帧的图像数据的第一部分进行编码；以及
第二编码器，被配置为对序列中的每个图像帧的图像数据的第二部分进行编码，
其中第一编码器和第二编码器彼此独立地操作。
根据一些实施例，该设备进一步包括流多路复用器；
其中流多路复用器被设置为接收由第一编码器编码的图像数据的第一部分和由第二编码器编码的图像数据的第二部分，并被设置为形成编码后的图像，编码后的图像包括作为第一图块或第一切片的编码后的图像数据的第一部分以及作为第二图块或第二切片的编码后的图像数据的第二部分。
第二方面和第三方面通常可以具有与第一方面相同的特征和优点。还应注意，除非另外明确说明，否则本发明涉及特征的所有可能组合。
附图说明
本发明的上述以及其他目的、特征和优点将通过本发明的优选实施例的以下参照附图的说明性且非限制性的详细说明而变得更易于理解，附图中相同的参考标记将用于相似的要素，其中：
图1至图3示出了如何基于图像帧中的估计的运动将图像帧划分为图像数据的两部分的示例。
图4示出了图像帧的图像数据的第一部分与第二部分之间的阶梯边界的示例。
图5通过示例的方式示出了基于隐私遮挡在图像帧的图像数据的第一部分与第二部分之间的边界的定位。
图6通过示例的方式示出了基于量化参数的映射在图像帧的图像数据的第一部分与第二部分之间的边界的定位。
图7示出了根据实施例的用于对图像帧序列进行编码的设备。
图8示出了根据实施例的编码方法的示意性概图。
图9通过示例的方式示出了一种用于使用彼此独立地操作的第一编码器和第二编码器对图像帧序列进行编码的方法。
具体实施方式
以下参考在其中示出了本发明的实施例的附图，现在将更充分地描述本发明。将在操作期间描述本文公开的系统和设备。
在更新的编码方法中，例如，高级视频编码(AVC)(也被称为H.264)和高效视频编码(HEVC)(也被称为H.265)，图块(tile)(仅由HEVC编码支持)和切片(slice)的概念已被引入。图块和切片允许图像被划分为能够被并行解码/编码的矩形(或基本上矩形，如下面结合图4将描述的)区域的网格。换句话说，该概念可以用于并行处理的目的，以使单独的编码器或编码器的核并行地对图像帧进行编码。在本公开中，采用具有用于参考编码(帧间编码、P帧编码、B帧编码)的单独的缓冲存储器的单独的编码器(第一编码器和第二编码器)，使用图块/切片的概念对图像帧进行编码。在该设置中，当要找到运动矢量时出现问题，因为这意味着理论上两个编码器都需要访问整个参考帧，或者访问至少根据搜索窗口的大小所需要的部分。本公开的目的在于一种有利于使用上述设置进行编码的编码方法，并且其中编码器不出于帧间编码的目的从彼此复制数据，但在遇到编码图像帧的比特率或降低的质量时仍实现了图像帧的编码而没有实质性的损失。
图1通过示例的方式示出了将图像帧102的图像数据划分为第一部分104和第二部分106的方式。在该实施例中，已估计图像帧102的图像数据中的运动110(在图1至图5中由箭头表示)具有垂直的主要方向，这意味着第一部分104与第二部分106之间的边界108的方向也是垂直的。在此情况下选择边界108的位置以实现图像数据的第一部分104和第二部分106的相等的大小。这将有利地导致将独立地对两个部分104、106进行编码的两个编码器的类似的计算负担。然而，应当注意，如果例如编码器中的一个具有过大的容量，可以不同地放置边界108，以更好地利用可用的计算资源。
在图1的情况下，通过将序列中的每个图像帧的图像数据划分为图像数据的第一部分104和第二部分106，其中第一部分与第二部分之间的边界108是垂直的，估计的跨越边界的运动被最小化。有利地，这将导致在对图像帧序列中的图像帧进行帧间编码时，即使在两个编码器之间没有执行为了帧间编码的目的的图像数据的复制，编码器仍可以成功地在当前编码的图像帧与先前编码的参考帧之间进行块匹配。这在图8中被示意性地示出。
在图8中，示出了包括两个垂直移动的物体802、804的场景800。场景800被摄影机700捕获，摄影机700生成包括第一图像帧102a和第二图像帧102b的图像帧序列102。图像帧102的运动被估计(如下面将进一步描述的)，并且该估计的结果是图像帧102a-b中的运动的主要方向被确定为是垂直的。这导致序列中的图像帧102a-b的图像数据被划分为至少图像数据的第一部分104a-b和第二部分(图8中未示出)。第一部分104a-b被发送到第一编码器706进行编码。第二部分被发送到第二编码器进行编码，但是为了便于描述，从图8中将其省略。对于第一部分104a-b中的第一个104a(即，第一图像帧102a的图像数据)，编码器706在此情况下执行帧内编码成编码数据714a。对于第一部分104a-b中的第二个104b(即，第二图像帧102b的图像数据)，编码器在此情况下执行帧内编码。由于第一编码器和第二编码器如上面限定的彼此独立地操作，因此第一编码器706仅具有与第一部分104a-b中的第一个104a的编码数据714a对应的(即，从第一部分104a-b中的第一个104a的编码数据714a解码的)数据，以用作第一部分104a-b中的第二个104b的帧间编码的参考。然而，由于图像数据先前已经基于估计的图像帧102a-b中的运动的主要方向被划分，因此与捕获的场景802的第一物体802对应的(描绘捕获的场景802的第一物体802的)图像数据的块匹配806会发现由第一编码器706编码的图像数据的部分之间的类似的图像数据，如图8中由虚线正方形所图示的。比特率因此可以被保持得很低。将其与在水平方向上划分图像帧102a-b的图像数据相比，在其中与捕获的场景802的第一物体802对应的(描绘捕获的场景802的第一物体802的)图像数据的块匹配将失败，从而导致增大的比特率。
在图8的示例中，对于序列的多个图像帧102a、102b，第一部分与第二部分之间的边界被定位在相同的位置和方向上。这意味着仅需要估计例如第一图像帧102a的运动，并且该估计用于多个图像帧(在图8中，用于第二图像帧102b，但通常用于更多的多个图像帧)。在一些实施例中，序列的多个图像帧形成GOP，这意味着对于GOP的所有图像帧以相同的方式划分图像数据。在一些实施例中，对于随后的GOP，可以执行新的运动估计，导致图像数据的第一部分与第二部分之间的边界针对第一GOP被定位在第一位置和方向上并且针对第二GOP被定位在第二位置和方向上。在其他实施例中，较不频繁地执行运动估计的步骤，例如基于一天中的一个时间，使得例如与在白天期间相比，在夜间期间较不频繁地执行运动估计。在这些实施例和其他实施例中，对于多个GOP，第一部分与第二部分之间的边界被定位在相同的位置和方向上。
图2至图6示出了基于估计的图像帧中的运动来划分图像帧102的图像数据的其他方式。然而，应当注意，图2和图8的以上描述在必要的修改后适用于图2至6的实施例。
图2通过示例的方式示出了将图像帧102的图像数据划分为第一部分104和第二部分106的另一方式。图2与图1类似。然而，在该实施例中，已经估计图像帧102的图像数据中的运动110具有水平的主要方向，这意味着第一部分104与第二部分106之间的边界108的方向也是水平的。
图3通过示例的方式示出了划分图像帧102的图像数据的另一方式。与图1至图2的实施例不同，在图3中，图像帧102的图像数据中的运动110已经用于估计存在运动的图像帧102中的位置。在图3的示例中，运动110(主要)存在于图像帧102的中间部分。图像帧102可以例如描绘在中间具有繁忙的街道(很多运动)以及在街道的两侧都有房屋(很少运动)的场景。相应地，图像帧102的图像数据被划分，使得包含大部分运动的图像数据106被一个编码器编码。为了有利于两个编码器的类似的计算负担，图像数据被划分为三个部分104a、104b、106，其中编码器中的一个对具有运动的部分106进行编码，并且另一个编码器对图像数据的剩余部分(即，上部分104a和下部分104b)进行编码。在其他实施例中，编码器中的一个将对具有运动的部分106和其他部分104a、104b中的一个(例如，下部分104b)进行编码，同时另一个编码器将对上部分104a进行编码。应当注意，图像帧102可以以与上述类似的方式基于估计的运动被划分为更多区域。例如，可以确定具有运动或不具有运动的更多区域，其中这些区域的编码可以由不同的编码器执行，以例如有利于编码器的类似的计算负担。
在图1至图3中，由第一编码器和第二编码器编码的图像数据的部分之间的边界被示出为直线边界。然而，应该注意，阶梯边界同样是可能的，如图4所示。H.264和H.265支持这种形状的图块/切片，并且相应地，如本文中所述的图像数据的一部分不限于矩形的形状。如图4所示，对于图像帧102的图像数据中的宏块/编码单元(CU、CTU)(在图4示为正方形)的特定行，宏块中的一些可以是图像数据的第一部分104的一部分，并且剩余宏块可以是图像数据的第二部分106的一部分。例如，对于图4中的图像帧102，第三行的宏块在图像数据的第一部分104与图像数据的第二部分106之间被划分。
图像帧的图像数据的划分可以基于除了估计的运动以外的其他数据。由于与远离边界的宏块相比，存在靠近边界的宏块可能需要更多的比特进行编码的更大风险，因此定位到边界以减轻这种风险可能是有利的。图5和图6示出了这样的实施例。
例如，要应用于图像帧序列的隐私遮挡(privacy mask)可以有利地被加权，以进一步降低比特率。隐私遮挡是用于通过使用掩码区域从图中隐藏图像帧的部分来保护个人隐私的特征。这在图5中被示出，其中隐私遮挡502被定位到图像帧102中的右侧。通过将第一部分104与第二部分106之间的边界定位在作为隐私遮挡区域502的部分的图像区域中，即使越过边界108的运动110存在于该图像区域中，隐私遮挡区域502中的像素块也将无论如何例如被编码为单色像素块，并且因此不需要那么多比特率。相应地，根据一些实施例，将序列的每个图像帧的图像数据划分为至少图像数据的第一部分104和第二部分106进一步基于应用于图像帧序列的至少一个隐私遮挡502，其中至少一个隐私遮挡502中的每个的位置和大小被加权，以有利于越过不与隐私遮挡对应的图像数据的区域将边界108定位在与隐私遮挡502对应的图像数据的区域中。
根据其他实施例，基于量化参数值来定位边界。量化参数控制帧中的每个宏块/CU的压缩的量。较大的值意味着将存在更高的量化、更多的压缩和更低的质量。较低的值则相反。图6示意性地示出了当对特定图像帧102进行编码时使用的量化参数的映射602。因此，映射602指定当对序列的图像帧的图像数据的不同区域进行压缩时使用的量化参数。在该实施例中，如图8所示，量化参数被加权以有利于越过以较低量化参数编码的图像数据的区域将边界108定位在以较高量化参数编码的图像数据的区域中。
图7示意性地示出了包括用于对图像帧102的序列进行编码的设备702的视频捕获设备700。在图7的示例中，编码设备702因此在视频捕获设备700中被实现，但编码设备702被实现为与视频捕获设备700分开也同样是适合的，其中编码器设备702(无线或有线地)连接到视频捕获设备700以接收图像帧102的序列。
现在将使用图7结合图9来说明本文中描述的编码方法的实施方式的实施例。
视频捕获设备700包括用于捕获描绘场景的图像帧102的序列的图像传感器720。编码设备702适于接收由图像传感器720捕获的图像帧102的序列。编码设备702包括处理器704，处理器704被配置为估计S802图像帧102的序列中的运动，以确定以下至少一项：图像帧中的运动的主要方向，以及图像帧中存在运动的位置。基于所估计的运动，处理器被配置为将序列中的每个图像帧102的图像数据划分S810为至少图像数据的第一部分104和第二部分106，其中第一部分104与第二部分106之间的边界被定位为使如上所述估计的跨越边界的运动最小。
运动的估计S802可以以许多方式完成，并且将在下面举例说明。
例如，估计运动的步骤可以包括接收S808指示捕获图像帧102的序列的视频捕获设备700的摇摄-倾斜(pan-tilt，PT)运动的数据722。由于该原因，视频捕获设备700可以包括用于感测这种运动(例如，陀螺仪，或者连接至摄像机的PT电动机并从例如控制PT电动机的控制单元接收控制信号的传感器)并且将指示PT运动的数据722发送到处理器704的传感器724。处理器704然后可以在接收到指示摇摄运动的数据722时，确定边界的方向为水平的。在接收到指示倾斜运动的数据722的情况下，边界的方向可以被确定为垂直的。
在一些实施例，基于从序列中的先前图像帧估计的运动，序列中的图像帧102的图像数据被划分为至少图像数据的第一部分104和第二部分106。
例如，处理器704可以被配置成使用所接收S804的指示序列中的先前图像帧中存在的运动的数据718以及使用所接收的用于从先前图像帧估计运动的数据，来估计运动。在该实施例中，编码设备702连接到运动分析单元710，运动分析单元710也接收图像帧102的序列并分析它们相应的图像内容，使用任何合适的方法确定图像帧102中存在的运动。在一个实施例中，运动分析单元710发送针对其接收的图像帧102计算的运动矢量(在一些实施例中，使用它们的下采样版本(down sampled version)以降低计算复杂度)，并将这些作为数据718发送到处理器704，用于估计S802运动。
可替代地或附加地，估计运动的步骤包括在对第一部分和第二部分进行编码时分别分析S806先前图像帧的由第一编码器和第二编码器计算的运动矢量。
当将先前图像帧的运动矢量用于估计S802运动时，可以使用几种方法。
例如，运动矢量的长度和位置可以用于估计图像帧中运动主要存在的位置(例如，如结合图3所述的)。
在低复杂度的实施例中，来自几个先前图像帧中的一个或几个的运动矢量(例如，从运动分析单元710或从编码器706、708接收的运动矢量)被平均，以找到运动的主要方向。在另一实施例中，计算每个运动矢量的绝对值的平均值，以例如确定运动的主要方向是垂直的还是水平的。
应当注意，如由编码器706、708计算的靠近先前图像的边界的运动矢量可能不能精确地估计图像帧102中的运动，因为该区域中的运动矢量被限制跨越边界。在一些实施例中，当估计运动时，靠近边界的运动矢量被忽略。
在一些实施例中，边界附近的宏块的残差的大小可以用于确定所估计的先前图像帧中的运动是否不正确。在此情况下，边界的方向可以从例如水平改变为垂直，反之亦然。
在更复杂但有时更精确的实施例中，可以使用运动矢量测试多个边界，以基于多少运动矢量将延伸超过相应边界位置和方向来确定边界的最佳位置和方向，使得所估计的跨越边界的运动最小化。在一些实施例中，相应运动矢量的长度也被用作权重，使得跨越边界的较短的运动矢量优于较长的运动矢量。
在又一些实施例中，运动矢量是随时间累积的，以建立运动随时间的模型。例如，对于每个宏块/CU，保持正态分布(平均值和标准偏差)，并针对成为模型的一部分的每个新图像帧进行更新。
根据一些实施例，每个宏块保持多个正态分布，每个正态分布定义可以在与宏块对应的场景中发生的不同类型的运动。例如，如果宏块表示道路，则如果没有人在道路上移动，则运动将为零，当汽车经过时，运动将在一个方向上是快速的，并且当人穿过道路时，运动将在另一方向上是较慢的。当模型要使用新图像帧中的运动来更新时，考虑多个正态分布，并且“适合”新图像帧的运动的正态分布被更新。同时，更新每个正态分布的权重参数，权重参数定义与特定正态分布对应的运动在场景中多久发生一次(例如，汽车经过40％，没有什么发生50％，以及和人穿过街道10％)。当基于模型估计运动时，相应正态分布的权重用于估计特定宏块的运动。
该模型因此可以由处理器704用于确定边界的最佳位置和方向，或者换句话说，用于将序列中每个图像帧的图像数据划分S810为至少图像数据的第一部分104和第二部分106。应当注意，这样的模型可以由处理器704或运动分析单元710保持并更新。如果模型由运动分析单元710保持，则由处理器接收S804的数据718可以包括这样的模型。在其他实施例中，运动分析单元710既保持模型，又确定边界的合适位置。在该实施例中，由处理器接收S804的数据718可以包括边界的一个或多个合适的位置和方向。
当运动已经被估计S802时，处理器因此基于估计的运动，将序列中的图像帧102的图像数据划分S810为至少图像数据的第一部分104和第二部分106，其中第一部分104与第二部分106之间的边界被定位成使估计的跨越边界的运动最小。如上所述，可以在图像帧的序列期间(例如，针对每个图像帧、针对每第n图像帧、针对每个GOP等)动态地更新边界。
如上面结合图5至图6所提到的，边界的位置也可以可选地基于量化参数的映射来设置S812和/或基于至少一个隐私遮挡来设置S814。
图像数据的第一部分104被发送到第一编码器706，并且图像数据的第二部分106被发送到第二编码器708。因此使用第一编码器706对序列中的每个图像帧102的图像数据的第一部分104进行编码S816，并且因此使用第二编码器708对序列中的每个图像帧102的图像数据的第二部分106进行编码S818。如上所述，第一编码器706和第二编码器708彼此独立地操作，没有数据为了帧间编码目的在编码器之间被传输/复制。(由第一编码器编码的)用于图像帧102的第一部分的像素块的块匹配的唯一数据因此是已经由第一编码器编码的图像帧102的第一部分的像素数据(像素数据的解码版本)，并且第二编码器类似。编码器706、708因此每个包括单独的缓冲存储器(未示出)，其中用于参考编码(帧间编码、P帧、B帧等)的图像数据被存储并被连续替换。
在图7的实施例中，视频捕获设备700进一步包括用于序列中的每个图像帧的单独的流多路复用器712，接收由第一编码器编码的图像数据的第一部分和由第二编码器编码的图像数据的第二部分，形成S820编码图像722，编码图像包括作为第一图块或第一切片的编码后的图像数据的第一部分714以及作为第二图块或第二切片的编码后的图像数据的第二部分716。在一些实施例中，流多路复用器可以是与视频捕获设备700分开的单元，并且在其他实施例中，流多路复用器在第一编码器706和第二编码器708中的一个中被实现。
另外，从附图、公开和随附的权利要求的学习，在实践所要求保护的发明时，技术人员能够理解并实现对所公开的实施例的变型。例如，在说明书和附图中，使用了两个编码器。然而，可以使用多于两个的编码器将图像数据分成多于两个的切片或图块来完成编码。此外，尽管已经在将一个图像帧分成两个或更多个部分的背景中描述了本发明，但相同的原理可以用于从两个或更多个图像传感器产生一个图像帧。

Claims (15)

1.一种用于使用彼此独立操作的第一编码器(706)和第二编码器(708)对图像帧(102)的序列进行编码的方法，所述方法包括：
估计(S802)所述图像帧的序列中的运动(110)，以确定所述图像帧中的运动的主要方向以及所述图像帧中存在运动的位置中的至少一项；
基于所估计的运动，将所述序列中的每个图像帧的图像数据划分(S810)为至少图像数据的第一部分(104)和第二部分(106)，其中所述第一部分与所述第二部分之间的边界(108)被定位为使所估计的跨越所述边界的运动最小化；
使用所述第一编码器对所述序列中的每个图像帧的图像数据的所述第一部分进行编码(S816)；并且
使用所述第二编码器对所述序列中的每个图像帧的图像数据的所述第二部分进行编码(S818)。
2.根据权利要求1所述的方法，其中，对于所述序列的多个图像帧，所述第一部分与所述第二部分之间的所述边界被定位在同一位置和方向上。
3.根据权利要求2所述的方法，其中，所述序列的所述多个图像帧形成第一画面组GOP。
4.根据权利要求3所述的方法，其中，所述第一部分与所述第二部分之间的所述边界针对所述第一GOP被定位在第一位置和方向上并且针对第二GOP被定位在第二位置和方向上。
5.根据权利要求1所述的方法，
其中在确定所述图像帧中的运动的所述主要方向为水平方向时，所述边界的所述方向是水平的；
其中在确定所述图像帧中的运动的所述主要方向为垂直方向时，所述边界的所述方向是垂直的。
6.根据权利要求1所述的方法，其中，将所述序列的每个图像帧的图像数据划分为至少图像数据的第一部分和第二部分进一步基于在对所述图像帧的序列进行编码时使用的量化参数的映射(602)，所述量化参数的映射指定在对所述序列的所述图像帧的图像数据的不同区域进行压缩时使用的量化参数，其中所述量化参数被加权，以有利于越过以较低量化参数编码的图像数据的区域将所述边界定位(S812)在以较高量化参数编码的图像数据的区域中。
7.根据权利要求1所述的方法，其中，将所述序列的每个图像帧的图像数据划分为至少图像数据的第一部分和第二部分进一步基于应用于所述图像帧的序列的至少一个隐私遮挡(502)，其中所述至少一个隐私遮挡中的每个隐私遮挡的位置和大小被加权，以有利于越过不与隐私遮挡对应的图像数据的区域将所述边界定位(S814)在与隐私遮挡对应的图像数据的区域中。
8.根据权利要求1所述的方法，其中，估计运动的步骤包括接收(S808)指示捕获所述图像帧的序列的视频捕获设备(700)的摇摄-倾斜PT运动的数据(722)，
其中在所接收的数据指示摇摄运动时，所述边界的所述方向是水平的；
其中在所接收的数据指示倾斜运动时，所述边界的所述方向是垂直的。
9.根据权利要求1所述的方法，其中，所述序列中的图像帧的图像数据被划分为至少图像数据的第一部分和第二部分基于从所述序列中的先前图像帧估计的运动。
10.根据权利要求9所述的方法，其中，估计运动的步骤包括接收(S804)指示在所述序列中的所述先前图像帧中存在的运动的数据(718)，并且使用所接收的数据从所述先前图像帧估计运动。
11.根据权利要求9或10所述的方法，其中，估计运动的步骤包括在对所述第一部分和所述第二部分进行编码时分别分析(S806)所述先前图像帧的由所述第一编码器和所述第二编码器计算的运动矢量。
12.根据权利要求1所述的方法，进一步包括以下步骤：
对于所述序列中的每个图像帧，
由流多路复用器(712)接收由所述第一编码器编码的所述图像数据的第一部分和由所述第二编码器编码的所述图像数据的第二部分，并且
形成(S820)编码后的图像(722)，所述编码后的图像包括作为第一图块或第一切片的编码后的所述图像数据的第一部分(714)以及作为第二图块或第二切片的编码后的所述图像数据的第二部分(716)。
13.一种计算机程序产品，包括具有指令的计算机可读存储介质，所述指令适于在由具有处理能力的设备执行时实现根据权利要求1所述的方法。
14.一种用于对图像帧(102)的序列进行编码的设备(702)，包括：
处理器(704)，被配置为：
估计(S802)所述图像帧的序列中的运动(110)，以确定所述图像帧中的运动的主要方向以及所述图像帧中存在运动的位置中的至少一项；
基于所估计的运动，将所述序列中的每个图像帧的图像数据划分(S810)为至少图像数据的第一部分(104)和第二部分(106)，其中所述第一部分与所述第二部分之间的边界(108)被定位为使所估计的跨越所述边界的运动最小化；
第一编码器(706)，被配置为对所述序列中的每个图像帧的图像数据的所述第一部分进行编码(S816)；以及
第二编码器(708)，被配置为对所述序列中的每个图像帧的图像数据的所述第二部分进行编码(S818)，
其中所述第一编码器和所述第二编码器彼此独立地操作。
15.根据权利要求14所述的设备，进一步包括流多路复用器(712)；
其中所述流多路复用器被设置为接收由所述第一编码器编码的所述图像数据的第一部分和由所述第二编码器编码的所述图像数据的第二部分，并被设置为形成(S820)编码后的图像(722)，所述编码后的图像包括作为第一图块或第一切片的编码后的所述图像数据的第一部分(714)以及作为第二图块或第二切片的编码后的所述图像数据的第二部分(716)。
CN201911239728.9A 2018-12-11 2019-12-06 用于对图像帧的序列进行编码的方法和设备 Active CN111314696B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP18211477.7A EP3668096A1 (en) 2018-12-11 2018-12-11 Method and device for encoding a sequence of image frames using a first and a second encoder
EP18211477.7 2018-12-11

Publications (2)

Publication Number Publication Date
CN111314696A true CN111314696A (zh) 2020-06-19
CN111314696B CN111314696B (zh) 2023-03-24

Family

ID=64900733

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911239728.9A Active CN111314696B (zh) 2018-12-11 2019-12-06 用于对图像帧的序列进行编码的方法和设备

Country Status (3)

Country Link
US (1) US11234014B2 (zh)
EP (1) EP3668096A1 (zh)
CN (1) CN111314696B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114374842A (zh) * 2020-10-16 2022-04-19 安讯士有限公司 对包括隐私屏蔽的图像进行编码的方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3664451B1 (en) * 2018-12-06 2020-10-21 Axis AB Method and device for encoding a plurality of image frames
EP4017001A1 (en) 2020-12-17 2022-06-22 Axis AB Method and digital video camera for forming a combined image frame of a combined video stream
CN117876969A (zh) * 2024-03-11 2024-04-12 贵州省公路建设养护集团有限公司 一种用于实现桥梁施工下的安全监测方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101150719A (zh) * 2006-09-20 2008-03-26 华为技术有限公司 并行视频编码的方法及装置
US20140165125A1 (en) * 2012-12-11 2014-06-12 Electronics And Telecommunications Research Institute Broadcasting system and broadcasting method of providing multi-picture
CN104885456A (zh) * 2012-09-18 2015-09-02 Vid拓展公司 使用图块和图块组的感兴趣区域视频编码
US20170269709A1 (en) * 2016-03-15 2017-09-21 Fujitsu Limited Apparatus, method for image processing, and non-transitory medium storing program
CN107197307A (zh) * 2016-03-15 2017-09-22 安讯士有限公司 用于编码视频流的方法和系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8428125B2 (en) * 2006-12-22 2013-04-23 Qualcomm Incorporated Techniques for content adaptive video frame slicing and non-uniform access unit coding
JP5286805B2 (ja) 2008-01-31 2013-09-11 沖電気工業株式会社 動きベクトル検出装置及び方法、動画像符号化装置及び方法、並びに、動画像復号化装置及び方法
US8615039B2 (en) 2009-05-21 2013-12-24 Microsoft Corporation Optimized allocation of multi-core computation for video encoding
WO2011125299A1 (ja) 2010-04-07 2011-10-13 株式会社Ｊｖｃケンウッド 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム、ならびに動画像復号装置、動画像復号方法及び動画像復号プログラム
US9300976B2 (en) 2011-01-14 2016-03-29 Cisco Technology, Inc. Video encoder/decoder, method and computer program product that process tiles of video data
US20140153635A1 (en) 2012-12-05 2014-06-05 Nvidia Corporation Method, computer program product, and system for multi-threaded video encoding
FI20165114A (fi) 2016-02-17 2017-08-18 Nokia Technologies Oy Laitteisto, menetelmä ja tietokoneohjelma videokoodausta ja videokoodauksen purkua varten

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101150719A (zh) * 2006-09-20 2008-03-26 华为技术有限公司 并行视频编码的方法及装置
CN104885456A (zh) * 2012-09-18 2015-09-02 Vid拓展公司 使用图块和图块组的感兴趣区域视频编码
US20140165125A1 (en) * 2012-12-11 2014-06-12 Electronics And Telecommunications Research Institute Broadcasting system and broadcasting method of providing multi-picture
US20170269709A1 (en) * 2016-03-15 2017-09-21 Fujitsu Limited Apparatus, method for image processing, and non-transitory medium storing program
CN107197307A (zh) * 2016-03-15 2017-09-22 安讯士有限公司 用于编码视频流的方法和系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114374842A (zh) * 2020-10-16 2022-04-19 安讯士有限公司 对包括隐私屏蔽的图像进行编码的方法
CN114374842B (zh) * 2020-10-16 2023-06-23 安讯士有限公司 对包括隐私屏蔽的图像进行编码的方法、系统和摄像机

Also Published As

Publication number Publication date
US11234014B2 (en) 2022-01-25
US20200186822A1 (en) 2020-06-11
CN111314696B (zh) 2023-03-24
EP3668096A1 (en) 2020-06-17

Similar Documents

Publication Publication Date Title
CN111314696B (zh) 用于对图像帧的序列进行编码的方法和设备
CN108737837B (zh) 形成视频流的方法及图像处理单元
JP5261376B2 (ja) 画像符号化装置および画像復号化装置
EP3029937B1 (en) Method and encoder for video encoding of a sequence of frames
KR101823537B1 (ko) 디지털 이미지들에서 관련된 영역들을 식별하는 방법, 디지털 이미지들을 인코딩하는 방법 및 인코더 시스템
US8208716B2 (en) Stereo vision system and stereo vision processing method
KR101908639B1 (ko) 비디오 스트림을 인코딩하는 방법 및 시스템
EP2536143B1 (en) Method and a digital video encoder system for encoding digital video data
BR122015024002B1 (pt) Método de decodificar uma imagem
US10382780B2 (en) Method, a video encoder, and a video camera for encoding a video stream
KR20140042860A (ko) 비디오 신호를 리프레이밍 및 인코딩하는 방법 및 장치
US10820010B2 (en) Methods and devices for encoding a video stream using a first and a second encoder
KR102525246B1 (ko) 프라이버시 마스크를 포함하는 이미지를 인코딩하는 방법
US20070160135A1 (en) Multi-view video coding method and apparatus
KR102080456B1 (ko) 압축영상에 대한 신택스 기반의 ptz 카메라의 객체 추적 제어 방법
JP2006005466A (ja) 画像符号化方法及び装置
CN114245114A (zh) 用于对图像帧进行帧内编码的方法和装置
CN111294597B (zh) 用于对多个图像帧编码的方法、装置、系统和介质
KR100926607B1 (ko) 압축 부호화 장치, 신장 복호화 장치
JP4067954B2 (ja) 動画像符号化方法及び動画像符号化装置
KR100926608B1 (ko) 압축 부호화 장치, 신장 복호화 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant