CN109688413A - 以支持辅助帧的视频编码格式编码视频流的方法和编码器 - Google Patents

以支持辅助帧的视频编码格式编码视频流的方法和编码器 Download PDF

Info

Publication number
CN109688413A
CN109688413A CN201811187888.9A CN201811187888A CN109688413A CN 109688413 A CN109688413 A CN 109688413A CN 201811187888 A CN201811187888 A CN 201811187888A CN 109688413 A CN109688413 A CN 109688413A
Authority
CN
China
Prior art keywords
frame
image data
image
encoded
ancillary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811187888.9A
Other languages
English (en)
Other versions
CN109688413B (zh
Inventor
维克托·埃德帕尔姆
汉普斯·林瑟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Axis AB
Original Assignee
Axis AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Axis AB filed Critical Axis AB
Publication of CN109688413A publication Critical patent/CN109688413A/zh
Application granted granted Critical
Publication of CN109688413B publication Critical patent/CN109688413B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Studio Devices (AREA)

Abstract

本发明涉及以支持辅助帧的视频编码格式编码视频流的方法和编码器。特别地，本发明涉及视频编码领域。提供一种方法，该方法包括以下步骤：接收由视频捕获设备捕获的第一图像数据；将第一图像数据用作第一辅助帧的图像数据；将第一辅助帧编码为帧内帧；以及将第一帧编码为引用第一辅助帧的帧间帧，其中第一帧的运动矢量正表示要应用于第一图像数据的第一图像变换。

Description

以支持辅助帧的视频编码格式编码视频流的方法和编码器
技术领域
本发明涉及视频编码领域。特别地，本发明涉及以支持辅助帧的视频编码格式对视频流进行编码的方法和编码器。
背景技术
视频捕获设备或视频摄像机用于捕获数字图像或帧的流，数字图像或帧可以在被传输到显示器以被显示或由例如软件进一步处理之前被编码和解码。由于视频捕获设备的光学系统的缺陷或限制，经解码的数字图像可能显示几何失真。不期望的失真的另一示例可能由视频捕获设备的振动引起。在其中操作员的工作质量或者来自视频分析软件的输出可取决于经解码的视频流的质量的监视情形下，这些类型的失真可能是不利的。
如今，许多监视系统允许在对视频流进行编码之前对捕获的视频流中的数字图像进行复杂变换。这样的复杂变换的示例包括拼接、反扭曲、数字平移倾斜变焦(DPTZ)、电子稳像(EIS)、桶形失真校正(BDC)等。这些变换需要特定硬件，并且对监视系统资源(例如存储器带宽)的负荷很重。作为副作用，这些变换可能去除捕获的数字图像的原始视场的部分，以及数字图像的失真部分。
因此在此背景下存在改进的需求。
发明内容
鉴于以上，本发明的目的因此是克服或至少减轻上面讨论的问题。特别地，目的在于提供一种编码方法和编码器，在需要对视频流的捕获帧进行复杂的变换时，编码方法和编码器减少对视频捕获系统的资源的负荷，并且便于获取原始捕获的图像数据。
根据本发明的第一方面，通过一种以视频编码格式对视频流进行编码的方法来实现上述目的，其中视频编码格式支持在经编码的视频流中包括辅助帧，辅助帧由经编码的视频流中的另一帧引用并且包括补充该另一帧的图像数据，其中辅助帧的图像数据不旨在当对经编码的视频流进行解码时显示，而是与该另一帧的数据结合使用，以获得要显示的图像数据，方法包括以下步骤：
接收由视频捕获设备捕获的第一图像数据；
将第一图像数据用作第一辅助帧的图像数据；
将第一辅助帧编码为帧内帧；以及
将第一帧编码为引用第一辅助帧的帧间帧，其中第一帧的运动矢量正表示要应用于第一图像数据的第一图像变换。
辅助帧通常意味着图像数据的存储，该图像数据补充经编码的视频流中的另一帧(也称为主图像)。换句话说，该另一帧引用辅助帧。辅助帧可以以各种形式使用，以帮助显示用于补充但通常不如此显示的帧。辅助帧也可以称为辅助图像、辅助图像项、非显示帧、辅助图片等。辅助帧的已知应用包括将其用于α平面或深度图。
因此，第一帧(以及下面的第二帧、第三帧等)也可以称为主图像或主帧。
“第一帧的运动矢量正表示要应用于第一图像数据的第一图像变换”(以及针对第二帧、第三帧等的类似表达)通常意味着运动矢量以典型地连续的图像变换对某些坐标的图像变换进行采样。对坐标进行采样通常由用于第一帧的一个或多个宏块大小确定，如下面将进一步解释的。
在例如H.265编码标准(以及诸如Google的VP10的其他较新的编码标准)内，帧可以被标记为“不显示”，这意味着帧不被显示给用户。例如，在H.265中，可以通过将切片头(slice header)中的pic_output_flag设置为假或者将SEI头中的no_display_flag设置为真来完成标记。
发明人已经认识到，除了正常编码/压缩数据之外，这些辅助帧与引用辅助帧的帧一起可用于存储与复杂图像变换有关的数据，以提供其中需要对原始图像数据(由视频捕获设备捕获)进行复杂图像变换的视频流的有效编码。对于本实施例，在编码处理开始之前不需要对原始图像数据进行预处理(例如，用于桶形失真校正等)，这减少了例如视频捕获设备的资源的负荷，并且不需要执行这种预处理步骤的硬件或软件。
本实施例还可以是有利的，原因在于经编码的视频流可以由支持编码器使用的视频编码格式的标准视频流解码器来解码，因为上述方法遵循这种视频编码格式的标准。另一个优点可能是，由于辅助帧的图像数据是由视频捕获设备捕获的原始图像数据，因此这样的数据被包括在经编码的视频流中，并且如果需要，稍后可以由定制解码器获取。
根据一些实施例，方法还包括以下步骤：接收由视频捕获设备捕获的第二图像数据，将第二辅助帧编码为引用第一辅助帧的帧间帧，其中第二辅助帧的编码是基于第二图像数据和第一图像数据之间的比较进行的，以及将第二帧编码为引用第二辅助帧的帧间帧，其中第二帧的运动矢量正表示要应用于第二图像数据的第二图像变换。
诸如本文所述的视频编码格式等一些视频压缩标准规定了根据帧内帧(例如，I-帧)以及帧间帧(例如P-帧或B-帧)实现的时间视频压缩。帧内帧基本上是仅使用要编码的图像帧中的信息进行编码的图像帧。此外，根据对于要编码的图像帧捕获的所有图像数据来计算帧内帧。因此，帧内帧有时称为全帧。帧间帧(也称为预测帧或差分帧)是基于来自先前(以及可选地随后)编码的图像帧的信息以及当前编码的帧的信息，即帧间帧可被描述为利用先前(以及可选地随后)图像帧中的时间冗余信息。实现这种类型的编解码器(压缩标准)的编码器通常生成帧内帧，接着是预定数量的帧间帧，以及然后是新的帧内帧，接着是相同数量的帧间帧。若干帧间帧跟随帧内帧的这种序列的长度常常被称为图片组长度(GOP长度)。对于一些压缩标准(例如H.265)，可以在编码期间调整GOP长度。
关于本实施例，第二辅助帧的编码利用了时间视频压缩。因此，第二辅助帧的编码利用了先前的、第一、辅助帧中的时间冗余信息。因此，经编码的第二辅助帧可以包含与第一辅助帧的图像数据(即，第一图像数据)和描述第一辅助帧中不存在的图像内容的图像数据相关的第二图像数据的运动矢量位移以及预测误差(也称为残值)二者。
应当注意，上面公开的实施例可以以迭代的方式实现，这意味着可以根据定义的GOP长度对视频捕获设备捕获的第三、第四等图像数据进行重复。此后，如本领域技术人员所理解的，可以开始若干帧间帧跟随帧内帧的新序列。
根据一些实施例，第二图像变换等于第一图像变换。在对第二帧进行编码时，该实施例可能是有利的，原因在于第二帧的运动矢量可等于第一帧的运动矢量，并且因此不需要再次确定/计算。因此，可以降低编码处理的复杂性。例如，在一些实施例中，对第二帧进行编码的步骤包括复制第一帧并将第一帧的副本引用到第二辅助帧。在其他实施例中，复制第一帧的运动矢量并将其用作第二帧的运动矢量。在又一实施例中，其中预先计算第一帧的运动矢量和第二帧的运动矢量，对第一帧和第二帧进行编码的步骤分别包括(例如，从编码器的存储器或连接到编码器的设备的存储器)获取预先计算的运动矢量。由于第一图像变换和第二图像变换是相等的(例如，由于视频记录设备的恒定镜头失真)，因此可以预先计算特定视频记录设备的运动矢量并将其用于由该视频记录设备记录的所有图像数据。
根据一些实施例，第一图像变换和第二图像变换至少部分地中和由视频记录设备的镜头引起的第一图像数据和第二图像数据的失真。这种失真的示例可以是桶形失真、枕形失真、胡子失真以及由视频记录设备的广角镜头引起的失真。在这样的实施例中，第一图像变换和第二图像变换通常是相等的，但是例如由于视频捕获设备的图像传感器的功能不规则，可能出现小的差异。在一些实施例中，忽略这种不规则并且假设第一图像变换和第二图像变换是相等的。
根据一些实施例，第二图像变换不同于第一图像变换。这增加了编码方法的灵活性。
根据一些实施例，第一图像变换和第二图像变换涉及包括以下的列表中的一种：电子稳像(EIS)和数字平移倾斜变焦(DPTZ)。
根据一些实施例，对第一帧进行编码的步骤包括以下步骤：确定要应用于第一图像数据的第一图像变换；以及通过根据第一帧的运动矢量的确定的宏块大小对第一图像变换进行采样来计算表示第一图像变换的运动矢量。这样的实施例当然也可以应用于第二、第三等帧。在这样的实施例中，在整个图像区域上以均匀的方式对图像变换进行采样，这可以降低采样过程的复杂性。
根据一些实施例，对第一帧进行编码的步骤包括以下步骤：确定要应用于第一图像数据的第一图像变换；以及通过根据第一帧的运动矢量的确定的多个宏块大小对第一图像变换进行采样来计算表示第一图像变换的运动矢量。这样的实施例当然也可以应用于第二、第三等帧。在这样的实施例中，在整个图像区域上以非均匀的方式对图像变换进行采样，这可以增加采样过程(基于例如图像变换的特性)的灵活性和适应性。
根据一些实施例，视频编码格式是包括以下的列表中的一种：高效图像文件格式，高级视频编码H.264，高效视频编码H.265、H.266、VP9、VP10和AV1。然而，应注意，本发明涵盖了支持如本文所述的辅助帧的任何视频编码格式。
根据本发明的第二方面，上述目的通过一种计算机程序产品来实现，计算机程序产品包括具有计算机代码指令的计算机可读介质，计算机代码指令在由具有处理能力的设备执行时适于实现第一方面的方法。
根据第三方面，上述目的通过一种编码器来实现，编码器适于以视频编码格式对由视频捕获设备捕获的视频流进行编码，其中视频编码格式支持在经编码的视频流中包括辅助帧，辅助帧被经编码的视频流中的另一帧引用并且包括补充该另一帧的图像数据，其中辅助帧的图像数据不旨在当对经编码的视频流进行解码时显示，而是与该另一帧的数据结合使用，以获得要显示的图像数据，其中编码器还适于：
接收由视频捕获设备捕获的第一图像数据；
将第一图像数据用作第一辅助帧的图像数据；
将第一辅助帧编码为帧内帧，
将第一帧编码为引用第一辅助帧的帧间帧，其中第一帧的运动矢量正表示要应用于第一图像数据的第一图像变换。
第二方面和第三方面通常可以具有与第一方面相同的特征和优点。还应注意，除非另外明确说明，否则本发明涉及特征的所有可能组合。
附图说明
通过以下参照附图的本发明优选实施例的说明性和非限制性详细描述，将更好地理解本发明的上述以及其他目的、特征和优点，其中相同的附图标记将用于相似的元素，其中：
图1示意性地图示了由视频捕获设备的镜头引起的图像数据的失真的示例，
图2示意性地图示了计算出的用于中和图1的图像数据的失真的运动矢量，
图3示意性地图示了用于以支持辅助帧的视频编码格式对视频流进行编码的方法的第一实施例，
图4示意性地图示了用于以支持辅助帧的视频编码格式对视频流进行编码的方法的第二实施例，
图5示意性地图示了用于以支持辅助帧的视频编码格式对视频流进行编码的方法的第三实施例，
图6示意性地图示了用于以支持辅助帧的视频编码格式对视频流进行编码的方法的第四实施例。
具体实施方式
现在将在下文中参照附图更全面地描述本发明，附图中示出了本发明的实施例。将在操作期间描述本文公开的系统和设备。
本发明旨在提供一种处理编码器中图像数据的复杂变换的新方法，用于支持在经编码的视频流中包括辅助帧的视频编码格式。这种复杂变换的示例包括用于(至少部分地)中和由捕获图像数据的视频捕获设备的镜头引起的图像数据的失真的变换。在几何光学中，失真是与直线投影的偏差，直线投影是一种投影，其中场景中的直线在图像中保持笔直。在图1中举例说明了这种失真，其中示出了一种称为桶形失真的失真。场景102被简化为直线网格。在摄像机104捕获场景时，输出或图像数据106看起来像网格已经围绕球体(或桶)映射。由视频捕获设备106的镜头引起的其他类型的类似失真包括枕形失真、胡子失真以及由视频捕获设备的广角镜头(鱼眼镜头)引起的失真。这些类型的失真常常是静态的，这意味着第一捕获的帧(或图像)将以与随后捕获的帧相同的方式失真。然而，由于例如视频捕获设备104的图像传感器的功能不规则，可能发生一些小的失真差异。
在现有技术中，常常在编码处理开始之前通过专用硬件来减轻镜头失真或下面详述的其他类型的失真，该专用硬件将失真的图像数据106变换回类似于所捕获的场景的数据。这种方式不仅资源密集，而且可能导致所捕获的场景的某些部分丢失。
图2通过示例示出了失真的图像数据106和原始场景102之间的映射方案202。映射方案202中的箭头的长度和方向表示应如何移动箭头原点处的像素/宏块以中和由视频捕获设备104的镜头引起的失真。应注意，图2中的映射方案202不是完整的。
图3至图4将举例说明用于以视频编码格式对视频流进行编码的方法的实施例，该视频编码格式支持在经编码的视频流中包括辅助帧，用于根据图1的示例使捕获的场景失真(即桶形失真)的摄像机系统。该示例可以容易地转移到其他类型的镜头失真。
图3示出了由导致视频流304a-d的视频捕获设备104捕获的场景302，其中视频流304a-d的捕获图像数据由于视频捕获设备的镜头而遭受桶形失真。图3的下部示出了由视频捕获设备104捕获的第一图像数据(或帧、图像等)304a的编码，其中根据本发明进行桶形失真校正(BDC)。
编码器306接收第一图像数据304a。第一图像数据304a用作第一辅助帧308a的图像数据，第一辅助帧308a然后编码为帧内帧。编码器还对引用第一辅助帧308a的第一帧310a进行编码。如上所述，在第一帧310a随后被解码时，第一辅助帧308a的图像数据(即，第一图像数据304a)将补充第一帧310a的数据。第一帧310a被编码为引用辅助帧308a的帧间帧。通过使用与应当应用于第一图像数据304a的图像变换(图像变换、图像变换等式等)有关的信息(在这种情形下为桶形失真校正)来确定第一帧310a的运动矢量(由图3的第一帧310a中的箭头示意性地示出)，以使第一图像数据304a如期望的出现，其中运动矢量310正表示图像变换。
可以以许多方式确定第一帧310a(第二帧、第三帧等)的运动矢量。根据一些实施例，通过确定要应用于第一图像数据的第一图像变换(在此情形下为反向桶形失真)来确定运动矢量，并且通过根据第一帧的运动矢量的确定的宏块大小对第一图像变换进行采样来计算表示第一图像变换的运动矢量。例如，如果图像变换导致某个像素应该向右移动5个像素并向下移动3个像素，则基于采样大小(宏块大小)和相邻像素的变换来确定该像素的实际移动。根据其他实施例，多个宏块大小用于采样，其中用于映射方案的特定区域的宏块大小取决于图像变换对于该对应区域看起来是什么样子。例如，宏块大小可以从16x16向下改变至4x4。这样的实施例将降低运动矢量的比特率成本，并且可以以有效的方式将大多数比特用于图像变换的高度不规则的局部区域，以及对于变换更均匀的局部区域使用更少的比特。
为了进一步降低运动矢量的比特率成本，可以使采样更稀疏(增加宏块的大小)，由此留给解码器以在接收的运动矢量之间进行插值来计算较小大小的宏块的运动矢量，以实现辅助帧中的图像数据的更平滑的变换。这可以通过在经编码的比特流中包括插值参数或者在帧间帧的头中设置标志等来实现。
根据其他实施例，基于辅助帧中的图像数据的对应区域中的细节水平来进行图像变换的采样以获得运动矢量。例如，对于包括高直线度的图像数据中的局部区域(可以使用任何合适的边缘检测算法确定)，图像变换中的对应区域可能需要更密集的采样(较小的宏块大小)。对于具有较低线条度的区域，可以采用较稀疏的采样。
采样可以例如通过最近邻采样、双线性采样或双三次采样来完成。在其中视频捕获设备104捕获的图像数据的失真可能随时间改变的情况下，这样的两个实施例可能是有利的，并且提供计算运动矢量的灵活方式。
根据一些实施例，预先计算第一帧310a的运动矢量。在图3的示例中，可以预先知道由视频记录设备104的镜头引起的桶形失真。在这种情形下，中和桶形失真(因此提供BDC)的运动矢量可以被预先计算并且例如存储在由编码器可访问的存储器中。在这种情形下，对第一帧310a进行编码的步骤包括获取预先计算的运动矢量并将这些运动矢量用作第一帧310a的运动矢量。这样的实施例提供了不太复杂的编码过程，该过程也可以是时间有效的。
如上所述，本发明的一个优点在于：支持编码器所使用的视频编码格式(例如H.265)的标准解码器可以根据图3对视频流进行解码。解码器会将第一帧310a的运动矢量应用于第一辅助帧308a的失真图像数据，以实现第一辅助帧308a的图像数据的BDC，并且因此以类似于捕获的场景302的方式结束。此外，由于第一辅助帧308的图像数据是由视频捕获设备104捕获的原始图像数据，因此如果需要，随后可以由定制解码器获取该数据。这例如在监视情况下可能是有利的，其中由视频捕获设备104捕获的原始图像数据中的部分在BDC期间被移除，但是这些移除的部分潜在地可能包括感兴趣的信息。
图4示出了图3中描述的方法的扩展，其中视频流304a-d的所有四个捕获图像帧(图像数据)由编码器306编码。在图4中，如图3中所描述的那样对第一图像数据304a进行编码，以获得经编码的第一帧310a和经编码的第一辅助帧308a。在对第一图像数据304a进行编码之后，编码器306接收由视频捕获设备104捕获的第二图像数据304b。第二辅助帧308b有利地被编码为引用第一辅助帧308a的帧间帧(例如，P-帧)，以利用先前图像帧中(在这种情况下是第一辅助帧308a)的时间冗余信息。因此，根据一些实施例，基于第二图像数据304b和第一图像数据304a之间的比较来对第二辅助帧进行编码。在图4中，经编码的第二辅助帧308b由运动矢量示意性地表示，但是描述不存在于第一辅助帧的图像数据304a中但存在于第二图像数据304b中的图像内容的图像数据和/或预测误差(也称为残值)当然也可以被包括在经编码的第二辅助帧308b中。
根据其他实施例，第二辅助帧308b也被编码为I-帧。
编码器306通过将第二帧310b编码为引用第二辅助帧308b的帧间帧来继续，其中第二帧310b的运动矢量正表示要应用于第二图像数据304b的第二图像变换。如上所述，要应用于第二图像数据304b的图像变换可以与要应用于第一图像数据304a的图像变换(例如BDC)相同。在这种情形下，对第二帧310b进行编码的步骤可以包括复制第一帧310a并将第一帧的副本引用到第二辅助帧308b。这可以提供有效且低复杂度的编码过程。根据其他实施例，如上所述预先计算第二帧310b的运动矢量，并且对第二帧310b进行编码的步骤包括获取预先计算的运动矢量。当然，运动矢量也可以针对第二帧310b单独计算(如上所述)，这将在下面结合图6进一步描述。
在图3中，针对第三图像数据304c迭代针对第二图像数据304b的上述编码过程。如上所述，帧内编码的辅助帧之后的帧间编码的辅助帧的数量可以通过针对编码器306设置图片组长度(GOP长度)来确定。在这种情形下，GOP长度定义两个完整图像(I-帧、帧内帧)之间的距离是2。
对于第四图像数据304d，再次采用上面结合图3描述的编码处理，从而导致帧内编码的第四辅助帧308d。
在图4中，括号内的数字描述了经编码的辅助帧308(AF)和“常规”帧310(RF)被包括在经编码的视频流中的顺序。对于图4的示例，该顺序为：AF1 308a、RF1 310a、AF2 308b、RF2 310b、AF3 308c、RF3 310c、AF4 308d、RF4 310d。
图5至图6描述了可能需要应用于由视频捕获设备104捕获的图像数据504a-b的另一种类型的图像变换。在图5至图6的示例中，电子稳像(EIS)被应用。例如，这可能需要安装在暴露位置(例如，在繁忙道路附近的高杆或路标上)的监视摄像机。在这种情形下，摄像机可能会被风或过往的车辆摇动。如在图5的顶部所示，场景502中的对象(该对象不在竖直方向上移动)在捕获的第一图像数据504a和捕获的第二图像数据504b之间沿竖直方向移动，这可能在不应用EIS的情况下使视频模糊。
在图5的下部，示出了第一图像数据504a的编码过程。除了在这种情形下需要在编码时计算运动矢量之外，编码过程与针对图3中的第一图像数据304a描述的编码过程没有不同。需要被应用以实现EIS的图像变换可以使用由安迅士网络通信公司(AxisCommunications)开发的EIS算法或本领域技术人员已知的任何其他合适的算法来计算。然后可以通过如上所述对图像变换进行采样来确定运动矢量。
图6示出了针对捕获的图像数据504a-b二者由编码器306执行的编码过程。如图6所示，第一图像帧602a的运动矢量与第二图像帧602b的运动矢量不同。换句话说，第一图像变换和第二图像变换不同。在这种情形下，第一图像变换和第二图像变换与EIS相关，但是诸如数字平移倾斜变焦(DPTZ)等其他图像变换同样是可能的。除此之外，编码过程类似于结合图4描述的编码过程。
因此，如上所述，编码器306适于对视频流304a-d、504a-b进行编码。编码器306可以直接提供在视频捕获设备104中，或者有线或无线连接到视频捕获设备104，以接收视频流304a-d、504a-b的图像数据。编码器306可以包括或连接到存储器，该存储器用于获取预先计算的运动矢量。编码器306可以包括用于计算图像变换和/或来自图像变换的样本运动矢量的处理单元。替代地或附加地，编码器可以适于从单独计算单元接收图像变换和/或运动矢量，该单独计算单元适于计算/确定这样的图像变换和/或运动矢量。编码器通常包括一个或多个处理单元(例如CPU)，用于如上所述对接收的图像数据进行编码。CPU可以例如适于运行从计算机可读存储介质安装的软件，该软件具有在由CPU执行时适于实现任何上述实施例的编码方法的指令。编码器还可以适于(经由例如因特网)将经编码的视频流无线或有线地发送到适于对经编码的视频流进行解码的解码器。
在上文中公开的系统(例如编码器306)和方法可以实施为软件、固件、硬件或者他们的组合。在硬件实施方式中，在以上描述中提及的功能单元或部件之间的任务划分不一定与物理单元的划分相对应；相反，一个物理部件可以具有多个功能，而一个任务可以由多个物理部件协作实现。某些部件或所有部件可以被实施为由数字信号处理器或微处理器执行的软件，或者可以被实施为硬件或专用集成电路。这种软件可以分布在计算机可读介质上，该计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域技术人员所熟知的，术语计算机存储介质包括以任意方法或技术实施的、用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的易失性和非易失性、可移动的和不可移动的介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储技术、CD-ROM、数字多功能盘(DVD)或其他光盘储存器、盒式磁带、磁带、磁盘储存器或其他磁存储设备，或者可以用来存储所需信息并且可由计算机访问的任何其他介质。
将理解，本领域技术人员可以以多种方式修改上面描述的实施例并且仍然使用在上面的实施例中示出的本发明的优点。例如，可以以任何合适的方式改变对辅助帧进行编码的顺序以及对辅助帧进行补充的帧。例如，在包括引用与经编码的视频流中的经编码的辅助帧交错的辅助帧的帧间编码帧之前，可以首先对GOP内的所有辅助帧进行编码。此外，可能需要将至少部分地中和由视频记录设备的镜头引起的图像数据的失真的图像变换(例如BCD)以及其他图像变换(例如，EIS)二者应用于特定图像数据。因此，本发明不应限于所示出的实施例，而是应由所附权利要求限定。另外，如技术人员所理解的，可以组合所示实施例。

Claims (14)

1.一种用于以视频编码格式对视频流进行编码的方法，其中所述视频编码格式支持在经编码的视频流中包括辅助帧，所述辅助帧由所述经编码的视频流中的另一帧引用并且包括补充所述另一帧的图像数据，其中所述辅助帧的所述图像数据不旨在当对所述经编码的视频流进行解码时显示，而是与所述另一帧的数据结合使用，以获得要显示的图像数据，所述方法包括以下步骤：
接收第一图像数据，所述第一图像数据为由视频捕获设备捕获的原始图像数据；
将所述第一图像数据用作第一辅助帧的图像数据；
将所述第一辅助帧编码为帧内帧；以及
将第一帧编码为引用所述第一辅助帧的帧间帧，其中所述第一帧的运动矢量正表示要应用于所述第一图像数据的第一图像变换。
2.根据权利要求1所述的方法，进一步包括以下步骤：
接收第二图像数据，所述第二图像数据为由所述视频捕获设备捕获的原始图像数据；
将第二辅助帧编码为引用所述第一辅助帧的帧间帧，其中所述第二辅助帧的所述编码是基于所述第二图像数据和所述第一图像数据之间的比较进行的；以及
将第二帧编码为引用所述第二辅助帧的帧间帧，其中所述第二帧的运动矢量正表示要应用于所述第二图像数据的第二图像变换。
3.根据权利要求2所述的方法，其中所述第二图像变换等于所述第一图像变换。
4.根据权利要求2所述的方法，其中所述第一图像变换和所述第二图像变换不同。
5.根据权利要求2所述的方法，其中所述第一图像变换和所述第二图像变换至少部分地中和由所述视频记录设备的镜头引起的所述第一图像数据和所述第二图像数据的失真。
6.根据权利要求5所述的方法，其中所述失真是包括以下的列表中的一种：桶形失真、枕形失真、胡子失真和由所述视频记录设备的广角镜头引起的失真。
7.根据权利要求3所述的方法，其中对所述第二帧进行编码的所述步骤包括复制所述第一帧并将所述第一帧的副本引用到所述第二辅助帧。
8.根据权利要求2所述的方法，其中所述第一图像变换和所述第二图像变换涉及包括以下的列表中的一种：电子稳像和数字平移倾斜变焦DPTZ。
9.根据权利要求1所述的方法，其中对所述第一帧进行编码的所述步骤包括以下步骤：
确定要应用于所述第一图像数据的第一图像变换；以及
通过根据所述第一帧的所述运动矢量的确定的宏块大小对所述第一图像变换进行采样，来计算表示所述第一图像变换的所述运动矢量。
10.根据权利要求1所述的方法，其中对所述第一帧进行编码的所述步骤包括以下步骤：
确定要应用于所述第一图像数据的第一图像变换；以及
通过根据所述第一帧的所述运动矢量的确定的多个宏块大小对所述第一图像变换进行采样，来计算表示所述第一图像变换的运动矢量。
11.根据权利要求3所述的方法，其中预先计算所述第一帧的所述运动矢量和所述第二帧的所述运动矢量，对所述第一帧进行编码的所述步骤和对所述第二帧进行编码的所述步骤分别包括获取所预先计算的运动矢量。
12.根据权利要求1所述的方法，其中所述视频编码格式是包括以下的列表中的一种：高效图像文件格式，高级视频编码H.264，高效视频编码H.265、H.266、VP9、VP10和AV1。
13.一种计算机程序产品，包括具有指令的计算机可读存储介质，所述指令在由具有处理能力的设备执行时适于实现根据权利要求1所述的方法。
14.一种适于以视频编码格式对由视频捕获设备捕获的视频流进行编码的编码器，其中所述视频编码格式支持在经编码的视频流中包括辅助帧，所述辅助帧由所述经编码的视频流中的另一帧引用并且包括补充所述另一帧的图像数据，其中所述辅助帧的所述图像数据不旨在当对所述经编码的视频流进行解码时显示，而是与所述另一帧的数据结合使用，以获得要显示的图像数据，其中所述编码器进一步适于：
接收第一图像数据，所述第一图像数据为由所述视频捕获设备捕获的原始图像数据；
将所述第一图像数据用作第一辅助帧的图像数据；
将所述第一辅助帧编码为帧内帧；以及
将第一帧编码为引用所述第一辅助帧的帧间帧，其中所述第一帧的运动矢量正表示要应用于所述第一图像数据的第一图像变换。
CN201811187888.9A 2017-10-18 2018-10-12 以支持辅助帧的视频编码格式编码视频流的方法和编码器 Active CN109688413B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP17197036.1A EP3474548A1 (en) 2017-10-18 2017-10-18 Method and encoder for encoding a video stream in a video coding format supporting auxiliary frames
EP17197036.1 2017-10-18

Publications (2)

Publication Number Publication Date
CN109688413A true CN109688413A (zh) 2019-04-26
CN109688413B CN109688413B (zh) 2021-10-22

Family

ID=60186021

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811187888.9A Active CN109688413B (zh) 2017-10-18 2018-10-12 以支持辅助帧的视频编码格式编码视频流的方法和编码器

Country Status (6)

Country Link
US (1) US10798418B2 (zh)
EP (1) EP3474548A1 (zh)
JP (1) JP6975121B2 (zh)
KR (1) KR102161888B1 (zh)
CN (1) CN109688413B (zh)
TW (1) TWI743402B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3745706B1 (en) * 2019-05-29 2021-06-30 Axis AB System and method for video processing with picture stabilization and predictive compression
EP3796655B1 (en) * 2019-09-20 2021-11-03 Axis AB Video privacy mask in forward predicted video frame
EP3796652B1 (en) 2019-09-23 2022-05-18 Axis AB Video encoding method and method for reducing file size of encoded video
CN111131857A (zh) * 2019-12-31 2020-05-08 北京金山云网络技术有限公司 图像压缩方法、装置及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1069529A2 (en) * 1999-07-16 2001-01-17 Eastman Kodak Company Representing digital images in a plurality of image processing states
EP1178666A1 (en) * 2000-08-02 2002-02-06 Eastman Kodak Company Producing a final modified digital image using a source digital image and a difference digital image
CN101127900A (zh) * 2006-08-17 2008-02-20 上海乐金广电电子有限公司 利用基本层的图像信号的编码/解码方法及装置
CN101494790A (zh) * 2001-10-17 2009-07-29 松下电器产业株式会社 动态图像编码方法及装置
US20150271356A1 (en) * 2014-03-18 2015-09-24 Panasonic Intellectual Property Management Co., Ltd. Image coding apparatus, image decoding apparatus, image processing system, image coding method, and image decoding method

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62299187A (ja) * 1986-06-18 1987-12-26 Fujitsu Ltd 動画像符号化処理方式
CA2208950A1 (en) 1996-07-03 1998-01-03 Xuemin Chen Rate control for stereoscopic digital video encoding
US6757326B1 (en) * 1998-12-28 2004-06-29 Motorola, Inc. Method and apparatus for implementing wavelet filters in a digital system
US6414992B1 (en) 1999-01-27 2002-07-02 Sun Microsystems, Inc. Optimal encoding of motion compensated video
US7646817B2 (en) * 2003-03-28 2010-01-12 Microsoft Corporation Accelerating video decoding using a graphics processing unit
US7706626B2 (en) * 2005-12-20 2010-04-27 Carestream Health, Inc. Digital image reconstruction using inverse spatial filtering
US9344682B2 (en) * 2006-10-02 2016-05-17 Telefonaktiebolaget L M Ericsson Multi-media management
US8023562B2 (en) * 2007-09-07 2011-09-20 Vanguard Software Solutions, Inc. Real-time video coding/decoding
JP5154361B2 (ja) 2008-10-20 2013-02-27 三星電子株式会社 撮像装置及び撮像装置の制御方法
JP2010199656A (ja) * 2009-02-23 2010-09-09 Panasonic Corp 動画撮像装置
US8542737B2 (en) * 2010-03-21 2013-09-24 Human Monitoring Ltd. Intra video image compression and decompression
JP5631229B2 (ja) 2011-01-31 2014-11-26 キヤノン株式会社 撮像装置、その制御方法及びプログラム
CN103167283B (zh) * 2011-12-19 2016-03-02 华为技术有限公司 一种视频编码方法及设备
US9560353B2 (en) 2012-01-27 2017-01-31 Sun Patent Trust Video encoding method, video encoding device, video decoding method and video decoding device
US9609275B2 (en) * 2015-07-08 2017-03-28 Google Inc. Single-stream transmission method for multi-user video conferencing
AU2015207825A1 (en) 2015-07-28 2017-02-16 Canon Kabushiki Kaisha Method, apparatus and system for encoding video data for selected viewing conditions
JP6539580B2 (ja) * 2015-12-28 2019-07-03 Kddi株式会社 インター予測装置、インター予測方法、動画像符号化装置、動画像復号装置及びコンピュータ可読記録媒体
JP6883218B2 (ja) * 2016-03-07 2021-06-09 ソニーグループ株式会社 符号化装置および符号化方法
US20180130022A1 (en) * 2016-11-04 2018-05-10 Ihab Ayoub Message management system and method
EP3396952B1 (en) * 2017-04-25 2019-04-17 Axis AB Method and image processing unit for forming a video stream
US10728573B2 (en) * 2017-09-08 2020-07-28 Qualcomm Incorporated Motion compensated boundary pixel padding
EP3499870B1 (en) * 2017-12-14 2023-08-23 Axis AB Efficient blending using encoder
EP3591972A1 (en) * 2018-07-02 2020-01-08 Axis AB Method and system for encoding video with overlay

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1069529A2 (en) * 1999-07-16 2001-01-17 Eastman Kodak Company Representing digital images in a plurality of image processing states
EP1178666A1 (en) * 2000-08-02 2002-02-06 Eastman Kodak Company Producing a final modified digital image using a source digital image and a difference digital image
CN101494790A (zh) * 2001-10-17 2009-07-29 松下电器产业株式会社 动态图像编码方法及装置
CN101127900A (zh) * 2006-08-17 2008-02-20 上海乐金广电电子有限公司 利用基本层的图像信号的编码/解码方法及装置
US20150271356A1 (en) * 2014-03-18 2015-09-24 Panasonic Intellectual Property Management Co., Ltd. Image coding apparatus, image decoding apparatus, image processing system, image coding method, and image decoding method

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HWANG,KYEONGTAE等: "《Correction of lens distortion using point correspondence》", 《PROCEEDINGS OF IEEE. IEEE REGION 10 CONFERENCE. TENCON 99.》 *

Also Published As

Publication number Publication date
US20190116382A1 (en) 2019-04-18
EP3474548A1 (en) 2019-04-24
US10798418B2 (en) 2020-10-06
CN109688413B (zh) 2021-10-22
JP2019097157A (ja) 2019-06-20
KR20190043465A (ko) 2019-04-26
JP6975121B2 (ja) 2021-12-01
TW201924352A (zh) 2019-06-16
KR102161888B1 (ko) 2020-10-05
TWI743402B (zh) 2021-10-21

Similar Documents

Publication Publication Date Title
CN109688413A (zh) 以支持辅助帧的视频编码格式编码视频流的方法和编码器
US20230388647A1 (en) Image data encoding/decoding method and apparatus
US11831818B2 (en) Method and apparatus for reconstructing 360-degree image according to projection format
US20240007602A1 (en) Image data encoding/decoding method and apparatus
US11539979B2 (en) Method and apparatus of encoding/decoding image data based on tree structure-based block division
WO2008010929A2 (en) Methods and apparatus for adaptive reference filtering
US11902578B2 (en) Method and apparatus of encoding/decoding image data based on tree structure-based block division
CN107646194B (zh) 用于视频运动补偿的装置和方法
CN111010495A (zh) 一种视频降噪处理方法及装置
CN109688410A (zh) 以支持辅助帧的视频编码格式编码视频流的方法及编码器
CN114157870A (zh) 编码方法、介质及电子设备
CN116723183A (zh) 一种基于轻量化的视频文件设备及处理方法
CN112468826B (zh) 一种基于多层gan的vvc环路滤波方法及系统
CN111953982B (zh) 编码失真的图像帧的方法、设备和介质
JP4258879B2 (ja) 画像符号化方法とその装置、画像復号化方法とその装置、コンピュータに画像符号化方法および画像復号化方法を実現させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体
CN107483936B (zh) 一种基于宏像素的光场视频帧间预测方法
JP2015115901A (ja) 符号化装置、符号化装置の制御方法、及び、コンピュータプログラム
US20240187647A1 (en) Method and apparatus of encoding/decoding image data based on tree structure-based block division
WO2023133888A1 (zh) 图像处理方法、装置、遥控设备、系统及存储介质
CN117979031A (zh) 图像滤波方法、存储介质、电子设备及产品
CN116847090A (zh) 一种基于桌面视频感兴趣区域的并行编解码方法及系统
CN116156186A (zh) 一种视频的时空域协同预处理方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant