CN111726631B - 使用第一编码器和第二编码器对视频流编码的方法和设备 - Google Patents

使用第一编码器和第二编码器对视频流编码的方法和设备 Download PDF

Info

Publication number
CN111726631B
CN111726631B CN202010175359.8A CN202010175359A CN111726631B CN 111726631 B CN111726631 B CN 111726631B CN 202010175359 A CN202010175359 A CN 202010175359A CN 111726631 B CN111726631 B CN 111726631B
Authority
CN
China
Prior art keywords
image data
encoder
encoded
frame
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010175359.8A
Other languages
English (en)
Other versions
CN111726631A (zh
Inventor
比约恩·阿多
T·亨宁松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Axis AB
Original Assignee
Axis AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Axis AB filed Critical Axis AB
Publication of CN111726631A publication Critical patent/CN111726631A/zh
Application granted granted Critical
Publication of CN111726631B publication Critical patent/CN111726631B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/55—Motion estimation with spatial constraints, e.g. at image or region borders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/88—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving rearrangement of data among different coding units, e.g. shuffling, interleaving, scrambling or permutation of pixel data or permutation of transform coefficient data among different blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及图像编码的领域。具体地，其涉及使用第一编码器和第二编码器对视频流编码的方法和设备，其中可以采用辅助帧的概念以减少或者去除为了参考编码目的在对图像帧的不同的部分进行编码的编码器之间复制数据的需要。通过在使用编码器对源图像数据进行编码(S106、S108)之前空间地修改(S104)其，并且使用(S110)编码的图像数据作为辅助帧的图像数据来实现该目的。辅助帧被包括与辅助帧图像数据恢复回源图像数据的空间布置相对应的运动矢量的间帧参考。

Description

使用第一编码器和第二编码器对视频流编码的方法和设备
技术领域
本发明涉及图像编码的领域。具体地，其涉及如下方法和设备，其中可以采用辅助帧的概念以减少或者去除在对图像帧的不同的部分进行编码的编码器之间的为了参考编码目的来复制数据的需要。
背景技术
近年来，监视照相机(例如，网络照相机监视系统)的数量已经增加。类似地，由监视照相机的图像传感器所捕捉的图像的可能的图像分辨率已经增加。从监视视角看这是有利的，因为可以捕捉所监视的场景中的更多细节。然而，从编码器视角看，该发展已经导致了，由高分辨率图像传感器(或由多个图像传感器)所捕捉的图像对于一个编码器(编码器芯片)以可接受的帧速率编码而言来说可能太大。有利地，可以采用例如H.265中的拼块/切片的概念以从由多个编码器(诸如两个编码器)编码的图像数据产生单个编码的图像。因此，能够将图像帧的图像数据划分为图像数据的至少第一部分和第二部分，其中由第一编码器对第一部分进行编码，并且由第二编码器对第二部分进行编码，其中，两个编码器具有单独的缓冲存储器(参考缓冲器)用于参考编码。
当要找出运动矢量时，问题出现，这是因为这意味着，理论上，两个编码器都需要访问整个参考帧，要求在两个编码器之间在两个方向上进行复制。实际上，不在整个参考帧中而是在有限的搜索窗口中执行运动矢量搜索，以便在足够短的时间内完成搜索以维持期望的帧速率。因此，将不必要从一个编码器向另一个编码器复制整体参考帧切片或拼块，而是仅仅复制足够大的部分来适应搜索窗口。
然而，将图像数据从第一编码器复制到第二编码器，并且反之亦然，是麻烦的。也必要的是，执行同步化以确保在新的图像帧的编码开始之前两个编码器都已经完成了先前的图像帧。
因而需要在此背景环境下的改善。
发明内容
鉴于以上所述，因而本发明的目的是克服或至少减轻以上讨论的问题。具体地，目的是提供如下编码方法和编码器，其中可以采用辅助帧的概念以减少或者去除在对图像帧的不同的部分进行编码的编码器之间的为了参考编码目的来复制数据的需要。可以根据以下示例性方法来限定在本文描述的本发明构思。
提供一种用于使用第一编码器和第二编码器来以视频编码格式对视频流进行编码的方法，其中，视频编码格式支持将辅助帧包括在被编码的视频流中，辅助帧被编码的视频流中的另一个帧参考并且包括补充所述另一个帧的图像数据，其中，辅助帧的图像数据并不旨在对被编码的视频流进行解码时被示出而是被用于与所述另一个帧的数据结合以获得将被示出的图像数据，该方法包括以下步骤：
接收由至少一个图像传感器捕捉的源图像数据；
-通过以下步骤对辅助帧的图像数据进行编码：
ο空间地修改源图像数据；
ο使用第一编码器来对修改的图像数据的第一部分进行编码；
ο使用第二编码器来对修改的图像数据的第二部分进行编码；
-形成辅助帧，其中辅助帧的图像数据包括修改的图像数据的被编码的第一部分和第二部分；
-确定与辅助帧图像数据恢复回源图像数据的空间布置相对应的运动矢量，以及
-对参考辅助帧的间帧进行编码，其中，第一帧的运动矢量对应于所确定的运动矢量。
通过辅助帧通常意指在被编码的视频流中补充另一个帧(也被称为主图像，或显示帧)的图像数据的存储。辅助帧能够以各种形式被使用以帮助显示其补充的帧(在这种情况下，参考辅助帧的间帧)，但是典型地其本身不被显示。辅助帧也可以被称为辅助图像、辅助图像项目、非显示帧、辅助画面等等。辅助帧的已知应用包括使用其来用于阿尔法平面或深度图。
(在上述示例性方法中的最后步骤中所产生的)编码的间帧也可以因此被称作主图像或主帧。
在例如H.265编码标准(和诸如Google的VP10之类的其他更加新的编码标准)内，帧能够被标记为“不显示”，意味着在解码器侧帧将不被显示给用户。在例如H.265中，能够通过将切片报头中的pic_output_flag设置为假或将SEI报头中的no_display标志设置为真来进行标记。
发明人已经认识到，这样的辅助帧结合参考辅助帧的帧能够用于减少或去除在对所接收的源图像数据的单独的部分进行编码的两个(或更多)编码器之间复制数据的需要。通过考虑编码器的限制和功能，以及如何在编码器之间划分源图像数据的编码，能够修改源图像数据，以使得能够减少或完全地去除在编码器之间复制数据(用于参考编码目的，即，为了避免/限制从另一个编码器的参考缓冲器进行读取和复制)的需要。
通过进行此，即使在两个编码器之间不/很少执行参考数据的复制，因为具有单独缓冲存储器的单独编码器的使用，所以也可以基本上不增加比特率。
间帧的运动矢量将在解码器侧用于由支持由编码器使用的视频编码格式的标准视频流解码器以低复杂度方式将辅助帧图像数据恢复回源图像数据的空间布置。
目前实施例因此进一步是有利的，这是因为能够由支持由编码器使用的视频编码格式的标准视频流解码器来对被编码的视频流进行解码，这是因为以上方法遵循这样的视频编码格式的标准。
在下文中，将描述实施以上描述的发明构思的不同的实施例。
在一些系统中，可以通过限制用于编码器的运动矢量搜索的搜索窗口使得编码器被限制为不搜索由另一个编码器产生的参考帧中的运动矢量来移除在对图像帧的不同的部分进行编码的编码器之间为了参考编码目的来复制数据的需要。然而，由于编码器中的限制，这可能不是总是理想的或者甚至是可能的。代之以的是，可以根据以下来采用辅助帧的概念。
根据本发明构思的第一方面，通过用于使用彼此独立地操作的第一编码器和第二编码器以视频编码格式对视频流进行编码的方法来实现以上目的，每个编码器具有用于块匹配的运动矢量搜索范围，其中，视频编码格式支持将辅助帧包括在被编码的视频流中，辅助帧被编码的视频流中的另一个帧参考并且包括补充所述另一个帧的图像数据，其中，辅助帧的图像数据并不旨在对被编码的视频流进行解码时被示出而是被用于与所述另一个帧的数据结合以获得将被示出的图像数据。
该方法包括步骤：
接收由至少一个图像传感器捕捉的源图像数据；
通过对源图像数据进行修改和编码来形成辅助帧，其中，辅助帧是通过以下步骤形成的：
·通过划分线空间地分割源图像数据，由此形成源图像数据的第一空间区域的第一图像数据部分和源图像数据的第二空间区域的第二图像数据部分；
·由第一编码器对第一图像数据部分进行编码，其中，第一编码器中的运动矢量搜索被允许扩展跨过划分线至第一虚拟像素区域中；
·由第二编码器对第二图像数据部分进行编码，其中，第二编码器中的运动矢量搜索被允许扩展跨过划分线至第二虚拟像素区域中；
·提供像素的被编码的缓冲器区域，缓冲器区域具有等于至少第一虚拟像素区域和第二虚拟像素区域中的最大的虚拟像素区域的尺寸的等于；
·其中，第一虚拟像素区域、第二虚拟像素区域和缓冲器区域包括具有对应的像素值的像素；以及
·空间地结合被编码的第一图像数据部分、编码的第二图像数据部分和编码的缓冲器区域，以使得被编码的缓冲器区域被夹在第一图像数据部分和第二图像数据部分之间。
该方法另外包括：确定与辅助帧图像数据恢复回源图像数据的空间布置相对应的运动矢量，以及对参考辅助帧的间帧进行编码，其中，间帧的运动矢量对应于所确定的运动矢量。
在本公开中，术语“彼此独立地操作的第一编码器和第二编码器”通常意指不为了参考编码目的在第一编码器和第二编码器之间进行数据的传递。
在本公开中，术语“对应的像素值”意指第一虚拟像素区域、第二虚拟像素区域和缓冲器区域的像素值在组成方面是类似的。例如，第一虚拟像素区域、第二虚拟像素区域和缓冲器区域可以包括具有相同的像素值(例如，黑色、绿色等等)的像素。有利地，这表示低复杂度实施例。在其他实施例中，第一虚拟像素区域、第二虚拟像素区域和缓冲器区域的像素值都包括类似的或相同的像素值图案，例如，半黑、半白，或从绿色到蓝色的过渡等等...
使用彼此独立地操作的第一第二编码器的优点是减少或去除编码器之间的同步需求。因为不要求在第一编码器和第二编码器之间复制数据，所以编码器能够对用于多个图像帧的图像数据的它们的相应部分进行编码而不用为了帧间编码目的而必需等待另一个编码器完成例如数据的编码。
在该实施例中，单独的编码器每个均创建虚拟像素区域(第一虚拟像素区域和第二虚拟像素区域)并且在运行用于接近划分线的像素的块(宏块、编码单元、编码树单元)的运动矢量搜索时使用这来用于参考编码，而非要求从另一个编码器复制图像数据。该虚拟像素区域从未被包括在从编码器输出的被编码的图像数据中，而是仅仅用于运动矢量搜索。
为了能够对编码的图像数据进行解码，像素的缓冲器区域需要被包括在编码的图像数据中、夹在第一图像数据部分和第二图像数据部分之间。编码器之一(或单独的处理单元)可以负责空间地结合辅助帧的图像数据(将其放在一起)，例如使得辅助帧的图像数据包括作为第一拼块或第一切片的被编码的第一图像数据部分、作为第二拼块或第二切片的被编码的缓冲器区域，以及作为第三拼块或第三切片的被编码的第二图像数据部分。在辅助帧的图像数据中空间地接合编码的第一图像数据部分、编码的第二图像数据部分和编码的缓冲器区域的其它适当的方式同样是可适用的。
通过将像素的被编码的缓冲器区域的尺寸设置为至少第一虚拟像素区域和第二虚拟像素区域中的最大虚拟像素区域的尺寸，避免当对辅助图像进行解码时的问题。
为了在解码器侧去除缓冲器区域，与辅助帧图像数据恢复回源图像数据的空间布置相对应的运动矢量被确定并且被用作参考辅助帧的间帧的运动矢量。
结果得到的被编码的视频流因此包括具有被发送给不同的编码器的图像数据部分(帧片段)之间的添加的界面区的不显示/辅助帧，以及参考不显示/辅助帧的显示帧，该显示帧仅仅包括用于在解码器侧将辅助帧图像数据恢复回源图像数据的空间布置的运动矢量。
根据一些实施例，划分线在垂直方向上空间地分割源图像数据，并且其中，确定运动矢量的步骤包括：
将与第一图像数据部分中的源图像数据相对应的运动矢量设置为零；
将与第二图像数据部分中的源图像数据相对应的运动矢量的垂直分量设置为零；以及
将与第二图像数据部分中的源图像数据相对应的运动矢量的水平分量设置为缓冲器区域的宽度。
而且与编码的缓冲器区域相对应的运动矢量被设置为(w，0)，在这种情况下，w表示缓冲器区域的宽度。因此根据以上来设置参考辅助帧的间帧的运动矢量。
因此，由于参考辅助帧的间帧的运动矢量，当被解码时，第二图像数据部分将在水平方向上被移动以便被放置为直接地与第一图像数据部分相邻。有利地，该实施例提供用于辅助帧图像数据恢复回源图像数据的空间布置的运动矢量的低复杂度计算。应当注意到，运动矢量的计算可以被执行一次，并且然后对于所有显示帧被重新使用，这是因为可以对于由至少一个图像传感器捕捉的(例如，在视频流中)的所有图像帧以相同的方式进行对于所接收的源图像数据的修改。
根据一些实施例，划分线在水平方向上空间地分割源图像数据，其中，确定运动矢量的步骤包括：
将与第一图像数据部分中的源图像数据相对应的运动矢量设置为零；
将与第二图像数据部分中的源图像数据相对应的运动矢量的水平分量设置为零；以及
将与第二图像数据部分中的源图像数据相对应的运动矢量的垂直分量设置为缓冲器区域的高度。
而且与编码的缓冲器区域相对应的运动矢量被设置为(0，h)，在这种情况下，h表示缓冲器区域的高度。因此根据以上来设置参考辅助帧的间帧的运动矢量。
因此，由于参考辅助帧的间帧的运动矢量，当被解码时，第二图像数据部分将在垂直方向上被移动以便被放置为直接地与第一图像数据部分相邻。有利地，该实施例提供用于辅助帧图像数据恢复回源图像数据的空间布置的运动矢量的低复杂度计算。类似于以上，运动矢量的计算在该实施例中可以被执行一次，并且然后对于所有显示帧被重新使用，这是因为可以对于由至少一个图像传感器捕捉的(例如，在视频流中)的所有图像帧以相同的方式进行对于所接收的源图像数据的修改。
根据一些实施例，该方法另外包括在间帧的报头中包括结果得到的解码的图像帧的显示尺寸，其中，显示尺寸等于源图像数据的尺寸。因此，如果运动矢量取代缓冲器区域至例如解码的图像帧的底部，则间帧(显示帧)的报头中的显示尺寸能够被用于剪切解码的图像帧，以使得缓冲器区域不被显示。
根据一些实施例，通过分析源图像数据来确定第一虚拟像素区域、第二虚拟像素区域和缓冲器区域的像素的对应值。例如，可以确定将要用于区域中的所有像素的色彩，或可以确定将要用于区域中的像素的色彩之间的适当的过渡。该实施例增加接近划分线的像素的块能够受益于至虚拟像素区域中的运动搜索(更可能找出虚拟像素区域中的像素的适当匹配的块)的机会，这进而可以减小编码比特流的比特率。
根据一些实施例，对第一虚拟像素区域、第二虚拟像素区域和缓冲器区域的像素的对应值进行预定义。例如，可以使用黑色，或绿色或任意其它适当的颜色(像素值)。该实施例降低编码方法的复杂度。
根据一些实施例，第一虚拟像素区域的尺寸取决于第一编码器的运动搜索窗口的尺寸，并且第二虚拟像素区域的尺寸取决于第二编码器的运动搜索窗口的尺寸。因此，实现更灵活的编码方法，允许用于编码器的单独的运动搜索窗口(例如，基于编码器的计算能力等被设置)，同时仍然仅仅定义足够大的相应虚拟像素区。
根据一些实施例，缓冲器区域具有等于第一虚拟像素区域和第二虚拟像素区域中的最大的虚拟像素区域的尺寸，其对缓冲器区域给出对应于编码器的最大运动矢量搜索范围的高度(或宽度，根据划分线的方向)。因此，可以节省比特率。
根据一些实施例，视频编码格式是以下的列表之一：高级视频编码、高效视频编码，H.265、H.266、VP9、VP10，以及AV1。
根据本发明的第二方面，通过包括具有计算机代码指令的计算机可读介质的计算机程序产品来实现以上目的，该计算机代码指令适配为当由具有处理能力的设备执行时用于执行第一方面的方法。
根据本发明的第三方面，通过用于以视频编码格式来编码视频流的设备来实现以上目的，该设备包括彼此独立地操作的第一编码器和第二编码器，每个编码器具有用于块匹配的运动矢量搜索范围，其中，视频编码格式支持将辅助帧包括在被编码的视频流中，辅助帧被编码的视频流中的另一个帧参考并且包括补充所述另一个帧的图像数据，其中，辅助帧的图像数据并不旨在对被编码的视频流进行解码时被示出而是被用于与所述另一个帧的数据结合以获得将被示出的图像数据，该设备包括被配置为进行以下的电路：
接收由至少一个图像传感器捕捉的源图像数据；
通过对源图像数据进行修改和编码来形成辅助帧，其中，辅助帧是通过以下步骤形成的：
通过划分线空间地分割源图像数据，由此形成源图像数据的第一空间区域的第一图像数据部分和源图像数据的第二空间区域的第二图像数据部分；
由第一编码器对第一图像数据部分进行编码，其中，第一编码器中的运动矢量搜索被允许扩展跨过划分线至第一虚拟像素区域中；
由第二编码器对第二图像数据部分进行编码，其中，第二编码器中的运动矢量搜索被允许扩展跨过划分线至第二虚拟像素区域中；
提供像素的被编码的缓冲器区域，缓冲器区域具有等于至少第一虚拟像素区域和第二虚拟像素区域中的最大的虚拟像素区域的尺寸的尺寸，其中，第一虚拟像素区域、第二虚拟像素区域和缓冲器区域包括具有对应的像素值的像素；
空间地结合被编码的第一图像数据部分、编码的第二图像数据部分和编码的缓冲器区域，以使得被编码的缓冲器区域被夹在第一图像数据部分和第二图像数据部分之间；
确定与辅助帧图像数据恢复回源图像数据的空间布置相对应的运动矢量，
对参考辅助帧的间帧进行编码，其中，间帧的运动矢量对应于所确定的运动矢量。
第二和第三方面可以大体上具有与第一方面相同的特征和优点。
存在多芯片编码器的其他配置和将被编码的图像数据，其中在编码器之间为了参考编码目的，图像数据的常规编码可能需要数据的大量复制。
以下是实施以上描述的发明构思的另外的实施例的描述用于实现减少或去除在对图像帧的不同的部分进行编码的编码器之间为了参考编码目的来复制数据的需要的以上目的。
在图像捕捉系统的一些设定中，由多个图像传感器来捕捉将被编码的源图像数据，其中图像传感器被配置为使得多个图像传感器的图像数据被定位为在源图像数据中在一个方向上紧邻彼此。在这些设定中，如果将要用于对源图像数据进行编码的两个(或更多)编码器被限制为在图像传感器的配置的竖直方向上划分传入的源图像，则可能存在问题。在这种情况下，如果执行常规编码，可以预期在用于参考编码的两个编码器之间将被复制的大量数据。然而，同样在这种情况下，可以根据以下、采用辅助帧的概念来减少复制数据的需要。
根据本发明的第四方面，通过用于使用第一编码器和第二编码器以视频编码格式对视频流进行编码的方法来实现以上目的，其中，视频编码格式支持将辅助帧包括在被编码的视频流中，辅助帧被编码的视频流中的另一个帧参考并且包括补充所述另一个帧的图像数据，其中，辅助帧的图像数据并不旨在对被编码的视频流进行解码时被示出而是被用于与所述另一个帧的数据结合以获得将被示出的图像数据，该方法包括以下步骤：
接收由至少第一图像传感器和第二图像传感器捕捉的源图像数据；
通过对源图像数据进行修改和编码来形成辅助帧，其中，辅助帧是通过以下步骤形成的：
·空间地将源图像数据重新布置为空间地重新布置的图像数据，以使得能够通过划分线空间地分割重新布置的图像数据，由此形成重新布置的图像数据的第一空间区域的第一图像数据部分和重新布置的图像数据的第二空间区域的第二图像数据部分，其中，第一图像数据部分包括由第一图像传感器捕捉的源图像数据的图像数据，并且其中，第二部分包括由第二图像传感器捕捉的源图像数据的图像数据；
·通过划分线来空间地分割重新布置的图像数据以形成第一图像数据部分和第二图像数据部分；
·由第一编码器对第一图像数据部分进行编码；
·由第二编码器对第二图像数据部分进行编码；
·在划分线处空间地结合被编码的第一图像数据部分和编码的第二图像数据部分；
该方法另外包括：确定与辅助帧图像数据恢复回源图像数据的空间布置相对应的运动矢量，以及对参考辅助帧的间帧进行编码，其中，第一帧的运动矢量对应于所确定的运动矢量。
在该实施例中，思想将在图像数据被编码器系统分段并且发送到不同的编码器之前空间地重新布置图像数据。重新布置对图像数据进行组织，以使得来自同一传感器的数据被定位在同一编码器片段中。
因此利用重新布置图像数据对第一帧进行编码。该第一帧被设置为不显示(亦称辅助)帧。随后的帧是显示帧(即，没有被设置为不显示/辅助)并且该随后的帧仅仅包含运动矢量。显示帧参考不显示/辅助帧。关于将图像数据布置回其源结构来选择运动矢量。
通过在将图像数据分割为数个部分以便被单独编码器处置之前空间地对源图像数据进行重新布置，有利地，可以保证，来自特定图像传感器的所有图像数据由单个编码器处置，这进而减少为了编码目的在编码器之间复制数据的需要。如果在视频捕捉设备中在同一芯片中实施捕捉图像数据的图像传感器和对由图像传感器捕捉的图像数据进行编码的编码器，则这尤其是有利的。
为了在解码器侧将图像数据恢复回源图像数据的空间布置，与辅助帧图像数据恢复回源图像数据的空间布置相对应的运动矢量被确定并且用作参考辅助帧的间帧的运动矢量。
结果得到的被编码的视频流因此包括具有由第一编码器和第二编码器编码的空间地重新布置的图像数据的不显示/辅助帧以及参考不显示/辅助帧的显示帧，并且该参考不显示/辅助帧的显示帧仅仅包括用于在解码器侧将辅助帧图像数据恢复回源图像数据的空间布置的运动矢量。
根据一些实施例，第一编码器和第二编码器彼此独立地操作。使用彼此独立地操作的第一第二编码器的优点是减少或去除编码器之间的同步需求。因为不在第一编码器和第二编码器之间复制数据，所编码器能够对用于多个图像帧的图像数据的它们的相应部分进行编码而不用为了帧间编码目的而必需等待另一个编码器完成例如数据的编码。
根据某些实施例，辅助帧的图像数据包括作为第一切片或拼块的被编码的第一图像数据部分，以及作为第二切片或拼块的被编码的第二图像数据部分。编码器之一(或单独处理单元)可以负责空间地结合辅助帧的图像数据(将其放在一起/组装其)。
根据一些实施例，第一编码器和第二编码器支持在切片中的编码并且不支持在拼块中的编码，其中，划分线在水平方向上空间地分割重新布置的图像数据。在该实施例中，即使在拼块中组织源图像数据(例如，由第一图像传感器来捕捉所接收的图像数据的第一拼块，并且由第二图像传感器来捕捉所接收的图像数据的第二拼块)，图像数据的空间重新布置将导致较少或没有运动矢量移动跨过划分线，因此减少或者甚至去除为了预测编码在编码器之间复制数据的需要。
根据某些实施例，空间地将源图像数据重新布置为空间地重新布置的图像数据的步骤包括交换与源图像数据的左下象限和源图像数据的右上象限的空间位置相对应的数据。
有利地，实现空间地重新布置源图像数据的低复杂度方式，这同样也引起确定用于辅助帧图像数据恢复回源图像数据的空间布置的运动矢量的步骤被简化。
根据一些实施例，视频编码格式是以下的列表之一：高级视频编码、高效视频编码，H.265、H.266、VP9、VP10，以及AV1。
根据本发明的第五方面，通过包括具有计算机代码指令的计算机可读介质的计算机程序产品来实现以上目的，该计算机代码指令适配为当由具有处理能力的设备执行时用于执行第四方面的方法。
根据本发明的第六方面，提供用于以视频编码格式来编码视频流的设备来实现以上目的，该设备包括第一编码器和第二编码器，其中，视频编码格式支持将辅助帧包括在被编码的视频流中，辅助帧被编码的视频流中的另一个帧参考并且包括补充所述另一个帧的图像数据，其中，辅助帧的图像数据并不旨在对被编码的视频流进行解码时被示出而是被用于与所述另一个帧的数据结合以获得将被示出的图像数据，该设备包括被配置为进行以下的电路：
接收由至少第一图像传感器和第二图像传感器捕捉的源图像数据；
通过对源图像数据进行修改和编码来形成辅助帧，其中，辅助帧是通过以下步骤形成的：
空间地将源图像数据重新布置为空间地重新布置的图像数据，以使得能够通过划分线空间地分割重新布置的图像数据，由此形成重新布置的图像数据的第一空间区域的第一图像数据部分和重新布置的图像数据的第二空间区域的第二图像数据部分，其中，第一图像数据部分包括由第一图像传感器捕捉的源图像数据的图像数据，并且其中，第二部分包括由第二图像传感器捕捉的源图像数据的图像数据；
通过划分线来空间地分割重新布置的图像数据以形成第一图像数据部分和第二图像数据部分；
由第一编码器对第一图像数据部分进行编码；
由第二编码器对第二图像数据部分进行编码；
在划分线处空间地结合被编码的第一图像数据部分和编码的第二图像数据部分；
确定与辅助帧图像数据恢复回源图像数据的空间布置相对应的运动矢量，
对参考辅助帧的间帧进行对进行编码，其中，第一帧的运动矢量对应于所确定的运动矢量。
第五和第六方面可以通常具有与第四方面相同的特征和优点。
附图说明
通过参考附图(其中将对类似的要素使用相同的附图标记)进行的以下对本发明的优选实施例的说明性的且非限制性的详细描述将更好地理解本发明的以上以及附加的目的、特征和优点，其中：
图1示出在本文描述的本发明构思的流程图，
图2示出根据第一实施例的、用于以支持辅助帧的视频编码格式对视频流进行编码的方法，
图3示出具有如图2中所示被编码的多个显示帧和辅助帧的被编码的视频流，
图4和5示出根据实施例的、在图像数据部分之间插入缓冲器区域的不同的方式，
图6示出描述本发明构思的实施例的图1的流程图的扩展，
图7示出划分由多个图像传感器捕捉的源图像数据，并且将源图像数据的结果得到的部分发送到不同的编码器的典型方式，
图8示出在划分重新布置的图像数据之前空间地将图7的源图像数据重新布置为空间地重新布置的图像数据并且将重新布置的图像数据的结果得到的部分发送到不同的编码器的实施例，
图9示出包括图8的实施例的、用于以支持辅助帧的视频编码格式对视频流进行编码的方法，
图10示出具有如图9中所示被编码的多个显示帧和辅助帧的被编码的视频流，
图11示出描述本发明构思的实施例的图1的流程图的扩展。
具体实施方式
现在将在下文参考其中示出本发明的实施例的附图来更全面地描述本发明。将在操作期间对在本文公开的系统和设备进行描述。
在较新的编码方法(例如，高级视频编码(AVC)(也称作H.264)和高效视频编码(HEVC)(也称作H.265))中，已经引入了拼块(仅仅被HEVC编码支持)以及切片的概念。拼块和切片允许图像被划分到能够被并行地解码/编码的矩形(或基本上矩形的)区域的栅格中。换句话说，该概念可以用于并行处理目的，以使单独的编码器或编码器的各核并行地对图像帧进行编码。在本公开中，使用拼块/切片的概念、采用每个均具有用于参考编码(帧间编码、P帧编码、B帧编码)的单独的缓冲存储器的单独的编码器(第一编码器和第二编码器)来对图像帧进行编码。在该设定中，当要找出运动矢量时，问题出现，这是因为这意味着，理论上，两个编码器都需要访问整个参考帧，或至少根据搜索窗口的尺寸所需要的部分。本公开目标是使用以上描述的设定来促进编码的编码方法，并且其中去除或至少减少为了帧间编码目的在编码器之间复制数据的需要，但是其中编码方法在没有当其达到编码的图像帧的比特率或降低的质量时的实质的惩罚的情况下仍然实现图像帧的编码。具体地，本发明目标在于提供对于支持将辅助帧包括在被编码的视频流中的视频编码格式在包括多个单独的编码器的以上描述的多芯片编码器设定中对图像数据进行编码的新方式。这样的视频编码格式的示例包括高级视频编码、高效视频编码、H.265、H.266、VP9、VP10和AV1。
图1示出用于实现以上的不同的实施例的概括总结。图2至图6、8-11示出根据实施例的图1的本发明构思的应用。图1因此图示出全部涉及用于使用第一编码器和第二编码器以视频编码格式来编码视频流的方法和设备的图2至图6、8-11的不同的实施例的共同的特征，其中，视频编码格式支持将辅助帧包括在被编码的视频流中，辅助帧被编码的视频流中的另一个帧参考并且包括补充所述另一个帧的图像数据，其中，辅助帧的图像数据并不旨在对被编码的视频流进行解码时被示出而是被用于与所述另一个帧的数据结合以获得将被示出的图像数据。共同的特征包括：接收S102由至少一个图像传感器捕捉的源图像数据。源数据可以是如由传感器捕捉的原始图像数据(例如，拜耳滤波器照相机的原始输出)，其中原始图像数据常常被内插，以使得对于每个像素定义完整的红色、绿色和蓝色值的集合。对于其他传感器，可以接收其他形式的源图像数据。
源图像数据然后形成用于辅助帧的图像数据的基础。通过以下项来定义S103辅助帧的图像数据：
-空间地修改S104源图像数据；
-使用第一编码器来对修改的图像数据的第一部分进行编码S106；
-使用第二编码器来对修改的图像数据的第二部分进行编码S108；
然后将修改的图像数据的被编码的第一部分和第二部分包括在因此被形成S110的辅助帧的图像数据中。
源图像数据的修改S104已经改变了源图像数据的空间布置。然而，稍后解码的图像数据的观察者典型地对看见具有源图像数据的空间布置的解码的图像流感兴趣。鉴于此，编码方法包括
-确定(S112)与辅助帧图像数据恢复回源图像数据的空间布置相对应的运动矢量，以及
-对参考辅助帧的间帧进行编码(S114)，其中，第一帧的运动矢量对应于所确定的运动矢量。
当对间帧进行解码时，间帧的运动矢量将因此使解码器来重新布置(间帧所参考的)辅助帧的修改的图像数据，以使得解码的图像帧将示出具有如同最初捕捉的图像数据的空间布置的图像数据。
图2示意地示出图1的编码方法的第一实施例。现在将结合图6来描述该实施例。
接收由至少一个图像传感器捕捉的源图像数据102。在该实施例中，源图像数据的修改和编码(在图1中S104-S108被统称为S103)包括通过划分线103空间地分割S602源图像数据102，由此形成源图像数据102的第一空间区域的第一图像数据部分102a和源图像数据102的第二空间区域的第二图像数据部分102b。在图2中，划分线103将图像数据102分割成两半，但是在其他的实施例中，划分线可以将图像数据102分割为具有不同尺寸的部分。有利地，将对部分102a、102b进行编码的编码器104的可用的处理功率可以用于确定划分线103的位置。
因此由第一编码器104a对第一图像数据部分102a进行编码S604，并且因此由第二编码器104b对第二图像数据部分102b进行编码S606。
为了实现本发明构思的目的，在该实施例中，为了完全地去除在编码器之间复制数据的需要(用于参考编码目的，即，为了避免从另一个编码器的参考缓冲器进行读取和复制)，允许当对第一图像数据部分102a的进行编码时的运动矢量搜索扩展跨过划分线103至第一虚拟像素区域106中。
第一虚拟像素区域106包括全部定义单色的(虚拟)像素。当执行用于接近划分线103的像素的宏块的运动矢量搜索时，运动矢量搜索将把宏块与围绕宏模块的位置的区域中的(较早的被编码的图像帧的)像素的块相比较以便关于足够低的成本来找出能够被参考的适合的匹配。可以分别在编码器中预置(并且能够在其中配置)用于帧内和帧间编码的成本。因为允许运动矢量搜索扩展跨过划分线103至第一虚拟像素区域106中，所以不存在从另一个编码器104b的参考缓冲器进行读取和复制的需要。在图2中将该概念示意地示出为箭头108。
类似地，对于第二编码器104b，第二编码器104b中的运动矢量搜索被允许扩展跨过划分线103至第二虚拟像素区域110中。在图2中将该概念示意地示出为箭头112。
第一虚拟像素区域和第二虚拟像素区域可以被预存在编码器中，或可以对于将被编码的每个图像数据被定义。
在图2中，虚拟像素区域106、110的尺寸是相等的。在另一个实施例中，尺寸可以不同。根据一些实施例，第一虚拟像素区域106的尺寸取决于第一编码器104a的运动搜索窗口的尺寸，并且第二虚拟像素区域110的尺寸取决于第二编码器104b的运动搜索窗口的尺寸。例如，如果第一编码器104a的运动矢量搜索窗口具有64像素的垂直分量，则第一虚拟像素区域106的高度可以被设置为64，并且宽度等于源图像数据102的宽度。类似地，如果第二编码器104a的运动矢量搜索窗口具有32像素的垂直分量，则第二虚拟像素区域106的高度可以被设置为32，并且宽度等于源图像数据102的宽度。任意其它适当的尺寸是可适用的。应当注意到，可以在视频流的编码期间，例如在编码画面组(GOP)之间改变编码器的搜索窗口。例如，如果对于特定GOP由于某种原因编码器之一的处理功率是有限的，所以可以减少用于该编码器的搜索窗口的尺寸。在该情况下，可以相应地调整对应的虚拟像素区域的尺寸。如果用于编码器的搜索窗口的尺寸增加，作必要修改后，同样适用。
为了能够对编码的图像进行解码，在运动矢量搜索导致用于第一102a或第二102b图像数据区域中的像素的块的运动矢量扩展跨过划分线103至第一106或第二虚拟像素区域110中的情况下，提供了一种像素的被编码的缓冲器区域116。编码的缓冲器区域116被夹在编码的第一114a和第二114b图像数据部分之间，以使得空间地结合S608编码的第一图像数据部分114a、编码的第二图像数据部分114b和编码的缓冲器区域116以形成辅助帧126的图像数据。在该实施例中，辅助帧的图像数据包括作为第一切片的被编码的第一图像数据部分114a、作为第二切片的被编码的第二图像数据部分114b，以及作为夹在第一切片和第二切片之间的第三切片的被编码的缓冲器区域116。
对于每个接收的源图像数据102可以(通过第一104a和第二104b编码器任意之一)对缓冲器区域116进行编码。在其他实施例中，缓冲器区域116被编码一次，并且然后被存储以用于若干接收的源图像数据。编码的缓冲器区域116也可以被预存在多芯片编码器中。
可以通过流复用器(在图2中未示出)来执行编码的第一图像数据部分114a、编码的第二图像数据部分114b和编码的缓冲器区域116的空间地的结合S608，该流复用器对于每个图像帧接收编码的第一图像数据部分114a、编码的第二图像数据部分114b和编码的缓冲器区域116并且形成结合的被编码的图像数据以被用作辅助帧126的图像数据。流复用器可以在一些实施例中是与编码器104a至104b分开的单元，并且在其他的实施例中被实施在第一104a和第二104b编码器之一中。
编码的缓冲器区域116的尺寸等于至少第一103和第二虚拟像素区域110中的最大虚拟像素区域的尺寸。例如，缓冲器区域可以具有第一106和第二110虚拟像素区域中的最大虚拟像素区域的尺寸。在以上的示例中，其中第一虚拟像素区域106的高度是64，并且第二虚拟像素区域110的高度是32，编码的缓冲器区域116的高度h被设置为64(并且宽度等于源图像数据102的宽度)。
第一虚拟像素区域106、第二虚拟像素区域110和缓冲器区域116的像素值在组成方面是类似的，例如定义类似的像素值图案。在一些实施例中，第一虚拟像素区域106、第二虚拟像素区域110和缓冲器区域116可以包括具有相同的像素值的像素。例如，可以预定义第一虚拟像素区域、第二虚拟像素区域和缓冲器区域的像素的值，诸如定义颜色黑色或绿色。根据其他实施例，通过分析源图像数据来确定第一虚拟像素区域106、第二虚拟像素区域110和缓冲器区域102的像素的值。可以例如每画面组(GOP)进行一次这样的分析并且这样的分析然后用于整个GOP。在另一个示例中，可以例如当捕捉图像的照相机改变视场时进行这样的分析，并且这样的分析然后被使用直到视场的接下来的改变为止。
为了能够将解码的图像数据恢复回源图像数据的空间布置(即，去除缓冲器区域并且再次直接地结合(解码的)第一图像数据部分和第二图像数据部分)，确定与辅助帧图像数据恢复回源图像数据的空间布置相对应的运动矢量120、122、124。对包括所确定的运动矢量120、122、124的参考130辅助帧126的间帧128进行编码。为了简化，在图2中，通过恒定运动矢量区域来表示运动矢量120、122、124，意味着区域内的所有运动矢量旨在是相同的。换句话说，间帧128中的最上区域内的所有运动矢量120具有相同的值，其在该示例中是(0、0)。典型地，辅助帧的图像数据的像素的每个单独的块(CU、CTU、宏模块)具有间帧128中的对应的运动矢量。
换句话说，对参考130辅助帧126的间帧128进行编码，其中所确定的运动矢量120、122、124被用作(不包括图像数据的)帧间编码的帧的运动矢量。如上所述，将不在解码器侧上直接地对辅助帧126进行解码。替换地辅助帧126的图像数据114a、116、114b将帧间编码的帧128的数据(运动矢量120、122、124)结合被使用以获得将被示出的图像数据。
在图2的实施例中，其中，划分线103在水平方向上空间地分割源图像数据，如以下来进行确定S112运动矢量120、122、124的步骤：
将与第一图像数据部分中的源图像数据相对应的运动矢量120设置为零。将与第二图像数据部分中的源图像数据相对应的运动矢量124的水平分量将设置为零。与第二图像数据部分中的源图像数据相对应的运动矢量124的垂直分量为缓冲器区域的高度h。也将与缓冲器区域相对应的运动矢量122设置为(0,h)。如上所述设置如上所述导致将在解码器侧恢复源图像数据的空间布置，其中当第二图像数据部分114b被解码时，由于运动矢量122、124将在垂直方向上被移动以被放置为直接地与第一图像数据部分114a相邻。
在一些实施例中，间帧128的报头包括结果得到的解码的图像帧的显示尺寸，其中，显示尺寸等于源图像数据102的尺寸。有利地，这允许解码器以低复杂度方式了解旨在被示出的解码的图像帧的什么部分。在图2的示例中，如果示出了整个解码的图像帧，则在直接结合的解码的第一图像数据部分和第二图像数据部分下面，在解码的图像的底部将示出具有编码的缓冲器区域116的高度的黑色(或其他色彩)区域。通过例如通过间帧128的报头使解码器了解解码的图像帧的预定显示尺寸，不将该黑色部分包括在解码的图像帧中。在其他实施例中，以显示尺寸的其他方式(诸如显示尺寸在解码器中被预定义)来通知解码器。
在具有1080p分辨率的解码的图像帧的实施例中，编码的缓冲器区域的8像素的高度可以是有利的，这是因为在该分辨率，1080p-报头已经定义了在解码的图像帧中应当省略8像素的区域。因此，解码器可以不对在解码的图像帧的底部的与编码的缓冲器区域相对应的黑色区域进行解码，而无需编码器一定对标准报头进行调整，或定义定制报头。
图3示意地示出具有多个(帧间编码的)显示帧128a、128b和辅助帧126a、126b的被编码的视频流。可以对于这样的流中的所有显示帧128a、128b重新使用所确定的运动矢量120、122、124。将第二辅助帧126b编码为参考第一辅助帧126a的、结合图2如上所述的帧间编码的帧。可以对第一辅助帧126a进行帧间编码或帧内编码。在任意情况下，第一辅助帧(类似于第二辅助帧126b)包括编码的缓冲器区域(在图3中利用‘///’加阴影线)，以允许如上所述使用虚拟像素区域对第二辅助帧126b的图像数据进行编码。
图4示意地示出辅助帧402的图像数据，其包括作为第一拼块的被编码的第一图像数据部分，以及作为第二拼块的被编码的第二图像数据部分，以及作为夹在第一图像数据部分和第二图像数据部分之间的第三拼块的被编码的缓冲器区域(利用‘///’加阴影线)。在这种情况下，其中划分线在垂直方向上空间地分割源图像数据，确定运动矢量的步骤包括：将与第一图像数据部分中的源图像数据相对应的运动矢量设置为零、将与第二图像数据部分中的源图像数据相对应的运动矢量的垂直分量设置为零，以及将与第二图像数据部分中的源图像数据相对应的运动矢量的水平分量设置为缓冲器区域的宽度。
图5示意地示出在其中超过两个彼此独立地操作的单独编码器被用于进行编码的实施例中的辅助帧502的图像数据。在图5的情况下，使用四个独立的编码器。关于如何实现辅助帧的图像数据以及如何确定将辅助帧图像数据恢复回源图像数据的空间布置的运动矢量的以上描述作必要修改后也适用于该实施例。
可以在包括被配置为执行编码方法的电路的编码设备中实施图2至图6中示出的编码方法。在一个示例中，使用包括具有指令的(非暂时性)计算机可读存储介质的计算机程序产品来执行以上方法，该指定被适配为当由具有处理能力的设备执行时被执行方法。
图7示出划分由多个图像传感器捕捉的源图像数据，并且将源图像数据的每个结果得到的部分发送到不同的编码器的典型方式。如图7中所图示的，通过第一图像传感器和第二图像传感器来捕捉源图像数据702。在该示例中，第一图像传感器捕捉表示人的缩小视图的图像数据704，而第二图像传感器捕捉表示在人的头部的视图中被放大的图像数据706。因此将源图像数据“逐拼块地”布置为在水平方向上紧邻彼此。如果将由包括(至少)两个编码器708a、708b的多芯片编码器对这样的数据进行编码，该(至少)两个编码器708a、708b被限制为利用具有图像传感器的配置的竖直方向的划分线710将传入的源图像分割为切片(在这种情况下)，则结果可以是为了参考编码需要在两个编码器708a、708b之间复制大量数据。在图7中示意地示出这，其中由第一图像传感器捕捉的图像数据704中的运动可以导致图像内容在图像数据704的(由第一编码器708a编码的)上部704a和(由第二编码器708b编码的)下部704b之间被移动。因此，为了避免当其达到编码的图像帧的比特率或降低的质量时的实质的惩罚，为了参考编码需要在第一编码器708a和第二编码器708b之间复制数据。这同样适用于由第二图像传感器捕捉的图像数据706，这可以导致图像内容在图像数据706的(由第一编码器708a编码的)上部706a和(由第二编码器708b编码的)下部706b之间被移动。
然而，同样在这种情况下，可以根据以下、采用辅助帧的概念来减少复制数据的需要。
图8至图9示意地示出图1的编码方法的第二实施例。现在将结合图11来描述该实施例。
类似于图7，在图8中，在多芯片编码器接收由第一图像传感器和第二图像传感器所捕捉的源图像数据702。
在该实施例中，源图像数据的修改和编码(在图1中S104至S108被统称为S103)包括空间地将源图像数据702重新布置S1102为空间地重新布置的图像数据802。进行重新布置S1102，以使得能够通过划分线710空间地分割重新布置的图像数据802，由此形成重新布置的图像数据802的第一空间区域806的第一图像数据部分704a、704b和重新布置的图像数据802的第二空间区域808的第二图像数据部分706a、706b。因此，如图8中所图示的，第一图像数据部分704a、704b包括由第一图像传感器所捕捉的源图像数据的图像数据704，并且第二部分706a、706b包括由第二图像传感器所捕捉的源图像数据的图像数据706。在图8至图9的实施例中，空间地将源图像数据重新布置S1102为空间地重新布置的图像数据包括交换804与源图像数据的左下象限和源图像数据的右上象限的空间位置相对应的数据。
因此至少减少为了参考编码在第一编码器708a和第二编码器708b之间复制数据的需要。在一些实施例中，如以上限定的，第一编码器708a和第二编码器708b彼此独立地操作。
应当注意到，可以考虑由编码器编码的数据的特定布置来适配为了第一编码器708a的图像数据部分704a、704b的帧内编码所执行的运动矢量搜索。例如，可以也通过在图像数据704a的下部中(在先前编码的图像中)搜索类似的图像数据，等等来进行用于图像数据704b的上部的运动矢量搜索。可以以类似的方式来适配为了第二编码器708b的图像数据部分706a、706b的帧内编码所执行的运动矢量搜索。
因此通过划分线710空间地分割S1104重新布置的图像数据802以形成第一图像数据部分704a、704b和第二图像数据部分706a、706b。在图8至图9的示例中第一编码器和第二编码器支持在切片中的编码并且不支持在拼块中的编码，其中，划分线710在水平方向上空间地分割重新布置的图像数据802。在其他实施例中(在图中未示出)，第一编码器和第二编码器支持拼块中的编码并且不支持切片中的编码，其中，在适合于该应用的空间修改之后，划分线在垂直方向上空间地分割重新布置的图像数据。
由第一编码器708a对第一图像数据部分704a、704b进行编码S1106以形成编码的第一图像数据部分902a。
由第二编码器708b对第二图像数据部分706a、706b进行编码S1108以形成编码的第二图像数据部分902b。
然后通过空间地在划分线710处结合S1110编码的第一图像数据部分902a和编码的第二图像数据部分902b以及使用结果得到的结合的图像数据作为辅助帧916的图像数据来形成辅助帧916。
在图9的示例中，辅助帧916的图像数据包括作为第一切片的被编码的第一图像数据部分902a，以及作为第二切片的被编码的第二图像数据部分902b。在其他设定中，辅助帧916的图像数据可以包括作为第一拼块的被编码的第一图像数据部分，以及作为第二拼块的被编码的第二图像数据部分。
可以通过流复用器(未在图9中示出)来执行对于编码的第一图像数据部分902a和编码的第二图像数据部分902b的空间地的结合S1110，其图像帧(源图像数据)接收编码的第一图像数据部分902a和编码的第二图像数据部分902b，并且形成结合的编码图像数据以用作辅助帧916的图像数据。流复用器可以在一些实施例中是与编码器708a至708b分开的单元，并且在其他的实施例中被实施在第一编码器708a和第二编码器708b之一中。
为了能够将解码的图像数据恢复回源图像数据702的空间布置，确定与辅助帧916的图像数据恢复回源图像数据702的空间布置相对应的运动矢量908、910、912、914。类似于在以上对于图2描述的内容，为了简单起见，在图9中，通过恒定运动矢量区域来表示运动矢量908、910、912、914，意味着区域内的所有运动矢量旨在是相同的。对参考906辅助帧916的间帧918进行编码，其中所确定的运动矢量908、910、912、914被用作(不包括图像数据的)帧间编码的帧918的运动矢量。如上所述，将不在解码器侧上直接地对辅助帧126进行解码。替换地，将结合帧间编码的帧918的数据(运动矢量908、910、912、914)来使用辅助帧916的图像数据902a、902b以获得将被示出的图像数据。
在图8至图9的实施例中，其中图像数据的重新布置包括交换与源图像数据的左下象限和源图像数据的右上象限的空间位置相对应的数据，根据以下来确定运动矢量：
·将与辅助帧的图像数据的左上象限相对应的运动矢量908设置为零。
·将与辅助帧的图像数据的左下象限相对应的运动矢量910设置为(w/2、-h/2)，其中w＝源图像数据702的宽度，并且h＝源图像数据702的高度。
·将与辅助帧的图像数据的右上象限相对应的运动矢量912设置为(-w/2、h/2)，其中w＝源图像数据702的宽度，并且h＝源图像数据702的高度。
·将与辅助帧的图像数据的右下象限相对应的运动矢量914设置为零。
如果不同地进行图像数据的重新布置S1102，则以对应的方式来调整运动矢量的确定。
应当注意到，通过示例来提供图像传感器的设定和图8至图9中示出的源图像数据的结果得到的布置。其他设定同样是可能的。例如，可以由四个图像传感器来捕捉源图像数据。如果使用两个编码器，则可以如上所述执行图像数据的重新布置和运动矢量的确定，但是如果例如使用四个编码器，则需要相应地对方法进行适配。
图10示意地示出具有多个(帧间编码的)显示帧918a、918b和辅助帧916a、916b的被编码的视频流。可以对于这样的流中的所有显示帧918a、918b重新使用所确定的运动矢量908、910、912、914。将第二辅助帧916b编码为参考第一辅助帧916a的、结合图8至图9如上所述的帧间编码的帧。可以对第一辅助帧916a进行帧间编码或帧内编码。
可以在包括被配置为执行编码方法的电路的编码设备中实施图8-11中所描述的编码方法。在一个示例中，使用包括具有指令的(非暂时性)计算机可读存储介质的计算机程序产品来执行以上方法，该指令被适配为当由具有处理能力的设备执行时执行方法。
总之，本发明涉及图像编码的领域。具体地，其涉及如下方法和设备，其中可以采用辅助帧的概念以减少或者甚至去除在对图像帧的不同的部分进行编码的编码器之间的为了参考编码目的来复制数据的需要。通过在使用编码器对源图像数据进行编码之前空间地修改其，并且使用编码的图像数据作为辅助帧的图像数据来实现该目的。辅助帧被包括与辅助帧图像数据恢复回源图像数据的空间布置相对应的运动矢量的间帧参考。
另外地，能够由本领域技术人员根据对附图、本公开和所附权利要求的研究在实践所要求保护的发明时来理解和实现所公开的实施例的变化。例如，在说明书和附图中，使用两个编码器。然而，可以使用超过两个编码器、将图像数据分割为超过两个切片或拼块来进行编码。应当进一步注意到，可以以任意适当的方式组合在本文描述的实施例。例如，可以在图9中的(由第一编码器708a编码的)图像数据部分704a和图像数据部分704b之间包括结合图2至图6所描述的缓冲器区域。在该情况下，需要相应地修改运动矢量918。

Claims (16)

1.一种用于使用彼此独立地操作的第一编码器和第二编码器以视频编码格式对视频流进行编码的方法，每个编码器具有用于块匹配的运动矢量搜索范围，其中，所述视频编码格式支持将辅助帧包括在被编码的视频流中，所述辅助帧由所述被编码的视频流中的另一个帧参考并且包括补充所述另一个帧的图像数据，其中，所述辅助帧的所述图像数据旨在被用于与所述另一个帧的数据结合以获得将被示出的图像数据，所述方法包括以下步骤：
接收由至少一个图像传感器捕捉的源图像数据；
通过对所述源图像数据进行修改和编码来形成辅助帧，其中，所述辅助帧是通过以下步骤形成的：
通过划分线空间地分割所述源图像数据，由此形成所述源图像数据的第一空间区域的第一图像数据部分和所述源图像数据的第二空间区域的第二图像数据部分；
由所述第一编码器对所述第一图像数据部分进行编码，其中，所述第一编码器中的运动矢量搜索被允许扩展跨过所述划分线至第一虚拟像素区域中；
由所述第二编码器对所述第二图像数据部分进行编码，其中，所述第二编码器中的运动矢量搜索被允许扩展跨过所述划分线至第二虚拟像素区域中；
提供像素的被编码的缓冲器区域，所述缓冲器区域具有等于至少所述第一虚拟像素区域和所述第二虚拟像素区域中的最大的虚拟像素区域的尺寸的尺寸；
其中，所述第一虚拟像素区域、所述第二虚拟像素区域和所述缓冲器区域包括具有对应的像素值的像素；并且
空间地结合被编码的第一图像数据部分、被编码的第二图像数据部分和被编码的缓冲器区域，以使得所述被编码的缓冲器区域被夹在所述第一图像数据部分和所述第二图像数据部分之间，以及使用结合的编码数据作为所述辅助帧的图像数据，
确定与所述辅助帧图像数据恢复回所述源图像数据的空间布置相对应的运动矢量，
对参考所述辅助帧的间帧进行编码，其中，所述间帧的运动矢量对应于所确定的运动矢量。
2.根据权利要求1所述的方法，其中，所述辅助帧的图像数据包括作为第一切片或拼块的所述被编码的第一图像数据部分，以及作为第二切片或拼块的所述被编码的第二图像数据部分。
3.根据权利要求1所述的方法，其中，所述划分线在垂直方向上空间地分割所述源图像数据，并且其中，确定运动矢量的步骤包括：
将与所述第一图像数据部分中的源图像数据相对应的运动矢量设置为零；
将与所述第二图像数据部分中的源图像数据相对应的运动矢量的垂直分量设置为零；以及
将与所述第二图像数据部分中的源图像数据相对应的运动矢量的水平分量设置为所述缓冲器区域的宽度。
4.根据权利要求1所述的方法，其中，所述划分线在水平方向上空间地分割所述源图像数据，其中，确定运动矢量的步骤包括：
将与所述第一图像数据部分中的源图像数据相对应的运动矢量设置为零；
将与所述第二图像数据部分中的源图像数据相对应的运动矢量的水平分量设置为零；并且
将与所述第二图像数据部分中的源图像数据相对应的运动矢量的垂直分量设置为所述缓冲器区域的高度。
5.根据权利要求1所述的方法，其中，通过分析所述源图像数据来确定所述第一虚拟像素区域、所述第二虚拟像素区域和所述缓冲器区域的像素的对应值。
6.根据权利要求1所述的方法，其中，所述第一虚拟像素区域、所述第二虚拟像素区域和所述缓冲器区域的像素的对应值是预定义的。
7.根据权利要求1所述的方法，其中，所述第一虚拟像素区域的尺寸取决于所述第一编码器的运动搜索窗口的尺寸，并且其中，所述第二虚拟像素区域的尺寸取决于所述第二编码器的运动搜索窗口的尺寸。
8.一种用于以视频编码格式来编码视频流的设备，所述设备包括彼此独立地操作的第一编码器和第二编码器，每个编码器具有用于块匹配的运动矢量搜索范围，其中，所述视频编码格式支持将辅助帧包括在被编码的视频流中，所述辅助帧由所述被编码的视频流中的另一个帧参考并且包括补充所述另一个帧的图像数据，其中，所述辅助帧的图像数据旨在被用于与所述另一个帧的数据结合以获得将被示出的图像数据，所述设备包括被配置为进行以下步骤的电路：
接收由至少一个图像传感器数据捕捉的源图像；
通过对所述源图像数据进行修改和编码来形成辅助帧，其中，所述辅助帧是通过以下步骤形成的：
通过划分线空间地分割所述源图像数据，由此形成所述源图像数据的第一空间区域的第一图像数据部分和所述源图像数据的第二空间区域的第二图像数据部分；
由所述第一编码器对所述第一图像数据部分进行编码，其中，所述第一编码器中的运动矢量搜索被允许扩展跨过所述划分线至第一虚拟像素区域中；
由所述第二编码器对所述第二图像数据部分进行编码，其中，所述第二编码器中的运动矢量搜索被允许扩展跨过所述划分线至第二虚拟像素区域中；
提供像素的被编码的缓冲器区域，所述缓冲器区域具有等于至少所述第一虚拟像素区域和所述第二虚拟像素区域中的最大的虚拟像素区域的尺寸的尺寸，其中，所述第一虚拟像素区域、所述第二虚拟像素区域和所述缓冲器区域包括具有对应的像素值的像素；
空间地结合被编码的第一图像数据部分、被编码的第二图像数据部分和被编码的缓冲器区域，以使得所述被编码的缓冲器区域被夹在所述第一图像数据部分和所述第二图像数据部分之间；以及使用结合的编码数据作为所述辅助帧的图像数据；
确定与所述辅助帧图像数据恢复回所述源图像数据的空间布置相对应的运动矢量，
对参考所述辅助帧的间帧进行编码，其中，所述间帧的运动矢量对应于所确定的运动矢量。
9.一种用于使用第一编码器和第二编码器以视频编码格式对视频流进行编码的方法，其中，所述视频编码格式支持将辅助帧包括在被编码的视频流中，所述辅助帧由所述被编码的视频流中的另一个帧参考并且包括补充所述另一个帧的图像数据，其中，所述辅助帧的图像数据旨在被用于与所述另一个帧的数据结合以获得将被示出的图像数据，所述方法包括以下步骤：
接收由至少第一图像传感器和第二图像传感器捕捉的源图像数据；
通过对所述源图像数据进行修改和编码来形成辅助帧，其中，所述辅助帧是通过以下步骤形成的：
空间地将所述源图像数据重新布置为空间地重新布置的图像数据，以使得能够通过划分线空间地分割所述重新布置的图像数据，由此形成所述重新布置的图像数据的第一空间区域的第一图像数据部分和所述重新布置的图像数据的第二空间区域的第二图像数据部分，其中，所述第一图像数据部分包括由所述第一图像传感器捕捉的源图像数据的图像数据，并且其中，所述第二图像数据部分包括由所述第二图像传感器捕捉的所述源图像数据的图像数据；
通过所述划分线来空间地分割所述重新布置的图像数据以形成所述第一图像数据部分和所述第二图像数据部分；
由所述第一编码器对所述第一图像数据部分进行编码；
由所述第二编码器对所述第二图像数据部分进行编码；
在所述划分线处空间地结合被编码的第一图像数据部分和被编码的第二图像数据部分，以及使用结合的编码数据作为所述辅助帧的图像数据；
确定与所述辅助帧图像数据恢复回所述源图像数据的空间布置相对应的运动矢量，
对参考所述辅助帧的间帧进行编码，其中，所述间帧的运动矢量对应于所确定的运动矢量。
10.根据权利要求9所述的方法，其中，所述第一编码器和所述第二编码器彼此独立地操作。
11.根据权利要求9所述的方法，其中，所述辅助帧的图像数据包括作为第一切片或拼块的所述被编码的第一图像数据部分，以及作为第二切片或拼块的所述被编码的第二图像数据部分。
12.根据权利要求9所述的方法，其中，所述第一编码器和所述第二编码器支持在切片中的编码并且不支持在拼块中的编码，其中，所述划分线在水平方向上空间地分割所述重新布置的图像数据。
13.根据权利要求12所述的方法，其中，空间地将所述源图像数据重新布置为空间地重新布置的图像数据的步骤包括：
交换与所述源图像数据的左下象限和所述源图像数据的右上象限的空间位置相对应的数据。
14.一种用于以视频编码格式来编码视频流的设备，所述设备包括第一编码器和第二编码器，其中，所述视频编码格式支持将辅助帧包括在被编码的视频流中，所述辅助帧由所述被编码的视频流中的另一个帧参考并且包括补充所述另一个帧的图像数据，其中，所述辅助帧的图像数据旨在被用于所述另一个帧的数据结合以获得将被示出的图像数据，所述设备包括被配置为进行以下步骤的电路：
接收由至少第一图像传感器和第二图像传感器捕捉的源图像数据；
通过对所述源图像数据进行修改和编码来形成辅助帧，其中，所述辅助帧是通过以下步骤形成的：
空间地将所述源图像数据重新布置为空间地重新布置的图像数据，以使得能够通过划分线空间地分割所述重新布置的图像数据，由此形成所述重新布置的图像数据的第一空间区域的第一图像数据部分和所述重新布置的图像数据的第二空间区域的第二图像数据部分，其中，所述第一图像数据部分包括由所述第一图像传感器捕捉的源图像数据的图像数据，并且其中，所述第二图像数据部分包括由所述第二图像传感器捕捉的所述源图像数据的图像数据；
通过所述划分线来空间地分割所述重新布置的图像数据以形成所述第一图像数据部分和所述第二图像数据部分；
由所述第一编码器对所述第一图像数据部分进行编码；
由所述第二编码器对所述第二图像数据部分进行编码；
在所述划分线处空间地结合被编码的第一图像数据部分和被编码的第二图像数据部分，以及使用结合的编码数据作为所述辅助帧的图像数据；
确定与所述辅助帧图像数据恢复回所述源图像数据的空间布置相对应的运动矢量，
对参考所述辅助帧的间帧进行编码，其中，所述间帧的运动矢量对应于所确定的运动矢量。
15.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，所述指令被适配为当由具有处理能力的设备执行时实施根据权利要求1所述的方法。
16.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，所述指令被适配为当由具有处理能力的设备执行时实施根据权利要求9所述的方法。
CN202010175359.8A 2019-03-19 2020-03-13 使用第一编码器和第二编码器对视频流编码的方法和设备 Active CN111726631B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP19163607.5A EP3713235B1 (en) 2019-03-19 2019-03-19 Methods and devices for encoding a video stream using a first and a second encoder
EP19163607.5 2019-03-19

Publications (2)

Publication Number Publication Date
CN111726631A CN111726631A (zh) 2020-09-29
CN111726631B true CN111726631B (zh) 2022-03-08

Family

ID=65818419

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010175359.8A Active CN111726631B (zh) 2019-03-19 2020-03-13 使用第一编码器和第二编码器对视频流编码的方法和设备

Country Status (3)

Country Link
US (1) US10820010B2 (zh)
EP (1) EP3713235B1 (zh)
CN (1) CN111726631B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3664451B1 (en) * 2018-12-06 2020-10-21 Axis AB Method and device for encoding a plurality of image frames
US20220103831A1 (en) * 2020-09-30 2022-03-31 Alibaba Group Holding Limited Intelligent computing resources allocation for feature network based on feature propagation
CN115633176B (zh) * 2022-12-08 2023-03-21 北京蔚领时代科技有限公司 动态调整画面群组长度的方法、装置和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2775712A1 (en) * 2011-12-19 2014-09-10 Huawei Technologies Co., Ltd. Video encoding method and device
US9554131B1 (en) * 2013-07-23 2017-01-24 Harmonic, Inc. Multi-slice/tile encoder with overlapping spatial sections
CN108737837A (zh) * 2017-04-25 2018-11-02 安讯士有限公司 形成视频流的方法及图像处理单元

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040120398A1 (en) * 2002-12-19 2004-06-24 Ximin Zhang System and method for adaptive field and frame video encoding using rate-distortion characteristics
US8824553B2 (en) * 2003-05-12 2014-09-02 Google Inc. Video compression method
KR20060043115A (ko) * 2004-10-26 2006-05-15 엘지전자 주식회사 베이스 레이어를 이용하는 영상신호의 엔코딩/디코딩 방법및 장치
US8873625B2 (en) 2007-07-18 2014-10-28 Nvidia Corporation Enhanced compression in representing non-frame-edge blocks of image frames
WO2009094591A2 (en) * 2008-01-24 2009-07-30 Micropower Appliance Video delivery systems using wireless cameras
US20090245374A1 (en) * 2008-03-26 2009-10-01 Mediatek Inc. Video encoder and motion estimation method
US8213503B2 (en) * 2008-09-05 2012-07-03 Microsoft Corporation Skip modes for inter-layer residual video coding and decoding
KR101510108B1 (ko) * 2009-08-17 2015-04-10 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
HUE041324T2 (hu) * 2010-05-25 2019-05-28 Lg Electronics Inc Új síkbani elõrejelzés üzemmód
US9300976B2 (en) 2011-01-14 2016-03-29 Cisco Technology, Inc. Video encoder/decoder, method and computer program product that process tiles of video data
US20120263225A1 (en) * 2011-04-15 2012-10-18 Media Excel Korea Co. Ltd. Apparatus and method for encoding moving picture
EP2536143B1 (en) * 2011-06-16 2015-01-14 Axis AB Method and a digital video encoder system for encoding digital video data
EP2919468A3 (en) * 2011-06-28 2016-02-17 Samsung Electronics Co., Ltd Method and apparatus for image encoding and decoding using intra prediction
EA201492099A1 (ru) 2012-05-14 2015-04-30 Лука Россато Разложение остаточных данных при кодировании, декодировании и реконструкции сигнала в многоуровневой иерархии
US20140092969A1 (en) * 2012-10-01 2014-04-03 Mediatek Inc. Method and Apparatus for Data Reduction of Intermediate Data Buffer in Video Coding System
EP2814253B1 (en) * 2013-06-05 2015-09-16 Axis AB Method for encoding digital video data
US9774881B2 (en) * 2014-01-08 2017-09-26 Microsoft Technology Licensing, Llc Representing motion vectors in an encoded bitstream
US9749642B2 (en) * 2014-01-08 2017-08-29 Microsoft Technology Licensing, Llc Selection of motion vector precision
US20150215631A1 (en) 2014-01-23 2015-07-30 Broadcom Corporation Parallel Coding with Overlapped Tiles
EP3107297A4 (en) 2014-02-10 2017-09-06 Nec Corporation Video encoding device, video encoding method, and program
KR101834237B1 (ko) 2014-02-12 2018-03-06 주식회사 칩스앤미디어 동영상 처리 방법 및 장치
US10070130B2 (en) 2015-01-30 2018-09-04 Qualcomm Incorporated Flexible partitioning of prediction units
KR20160105203A (ko) * 2015-02-27 2016-09-06 삼성전자주식회사 멀티미디어 코덱, 상기 멀티미디어 코덱을 포함하는 애플리케이션 프로세서, 및 상기 애플리케이션 프로세서의 동작 방법
JP2017169001A (ja) * 2016-03-15 2017-09-21 富士通株式会社 表示画面データの伝送装置、伝送方法及び伝送プログラム
EP3220642B1 (en) * 2016-03-15 2018-03-07 Axis AB Method, apparatus and system for encoding a video stream by defining areas within a second image frame with image data common to a first image frame
US10034026B2 (en) 2016-04-22 2018-07-24 Akila Subramaniam Device for and method of enabling the processing of a video stream
US20190191171A1 (en) 2016-05-13 2019-06-20 Sharp Kabushiki Kaisha Prediction image generation device, video decoding device, and video coding device
US10277901B2 (en) * 2017-05-08 2019-04-30 Axis Ab Encoding a video stream having a privacy mask
EP3404913B1 (en) * 2017-05-16 2019-11-06 Axis AB A system comprising a video camera and a client device and a method performed by the same
US10861196B2 (en) * 2017-09-14 2020-12-08 Apple Inc. Point cloud compression
EP3474225B1 (en) * 2017-10-18 2019-09-25 Axis AB Method and encoder for encoding a video stream in a video coding format supporting auxiliary frames
EP3499886A1 (en) * 2017-12-18 2019-06-19 Canon Kabushiki Kaisha Method and device for encoding video data
EP3499885A1 (en) * 2017-12-18 2019-06-19 Canon Kabushiki Kaisha Method and device for encoding video data
EP3506633A1 (en) * 2017-12-19 2019-07-03 Axis AB Video encoding method and system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2775712A1 (en) * 2011-12-19 2014-09-10 Huawei Technologies Co., Ltd. Video encoding method and device
US9554131B1 (en) * 2013-07-23 2017-01-24 Harmonic, Inc. Multi-slice/tile encoder with overlapping spatial sections
CN108737837A (zh) * 2017-04-25 2018-11-02 安讯士有限公司 形成视频流的方法及图像处理单元

Also Published As

Publication number Publication date
EP3713235A1 (en) 2020-09-23
US10820010B2 (en) 2020-10-27
CN111726631A (zh) 2020-09-29
US20200304825A1 (en) 2020-09-24
EP3713235B1 (en) 2023-08-02

Similar Documents

Publication Publication Date Title
CN111726631B (zh) 使用第一编码器和第二编码器对视频流编码的方法和设备
CN114071165B (zh) 视频编码器、视频解码器及对应方法
TWI580249B (zh) An image processing apparatus, an image processing method, an image processing program, and a recording medium
CN107277530B (zh) 用于解码视频的方法
WO2018116924A1 (ja) 符号化装置、符号化方法及びプログラム、復号装置、復号方法及びプログラム
US20220329792A1 (en) Method and apparatus for encoding and decoding a video stream with subpictures
US20150262404A1 (en) Screen Content And Mixed Content Coding
JP2010110007A (ja) 画像符号化方法および画像復号方法、画像符号化装置および画像復号装置、並びに画像符号化ビットストリーム及び記録媒体
JP2013102298A (ja) 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
CN114650428B (zh) 使用标识符指示的视频译码码流提取的方法、设备和介质
CA3165820A1 (en) An encoder, a decoder and corresponding methods for adaptive loop filtering
KR20220160038A (ko) 비디오 코딩 데이터를 시그널링하기 위한 방법들
BR122022009674A2 (pt) Método implementado por um codificador, dispositivo e aparelho de codificação, sistema e meio para codificação
CN113273193A (zh) 用于分块配置指示的编码器，解码器及对应方法
WO2016003209A1 (ko) 다시점 비디오 신호 처리 방법 및 장치
US10972659B2 (en) Image capturing device, a method and a computer program product for forming an encoded image
WO2019083119A1 (ko) 360도 비디오에 대한 영상 코딩 시스템에서 회전 파라미터를 사용한 영상 디코딩 방법 및 장치
CN114650371B (zh) 用于形成组合视频流的组合图像帧的方法和数字摄像机
RU2794483C1 (ru) Сигнализирование передискретизации опорного изображения с индикацией постоянного размера окна в битовом потоке видео
RU2792176C2 (ru) Кодер видео, декодер видео и соответствующие способы
JP7492023B2 (ja) 混成ｎａｌユニットタイプに基づく画像符号化／復号化方法及び装置、並びにビットストリームを保存する記録媒体
US20240040130A1 (en) Compresssed picture-in-picture signaling
WO2018128248A1 (ko) 360도 비디오에 대한 영상 코딩 시스템에서 인밸리드 유닛 기반 영상 디코딩 방법 및 장치
JP2001218206A (ja) 画像符号化装置及び方法、媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant