CN109688410A - 以支持辅助帧的视频编码格式编码视频流的方法及编码器 - Google Patents

以支持辅助帧的视频编码格式编码视频流的方法及编码器 Download PDF

Info

Publication number
CN109688410A
CN109688410A CN201811197067.3A CN201811197067A CN109688410A CN 109688410 A CN109688410 A CN 109688410A CN 201811197067 A CN201811197067 A CN 201811197067A CN 109688410 A CN109688410 A CN 109688410A
Authority
CN
China
Prior art keywords
image data
frame
scaled
resolution ratio
ancillary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811197067.3A
Other languages
English (en)
Other versions
CN109688410B (zh
Inventor
维克托·埃德帕尔姆
汉普斯·林瑟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Axis AB
Original Assignee
Axis AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Axis AB filed Critical Axis AB
Publication of CN109688410A publication Critical patent/CN109688410A/zh
Application granted granted Critical
Publication of CN109688410B publication Critical patent/CN109688410B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种以支持辅助帧的视频编码格式编码视频流的方法及编码器。本发明涉及视频编码领域。尤其是，它涉及一种以支持辅助帧的视频编码格式编码视频流的方法及编码器，其中此类辅助帧结合引用所述辅助帧的帧，能够用于码率控制，因为所述辅助帧的图像数据包括由视频捕获设备捕获的图像数据的按比例缩小版本，且计算并确定引用所述辅助帧的帧的移动矢量，以对所述图像数据的按比例缩小版本进行按比例放大，从而再次具有预期分辨率。

Description

以支持辅助帧的视频编码格式编码视频流的方法及编码器
技术领域
本发明涉及视频编码领域。尤其是，它涉及一种以支持辅助帧的视频编码格式编码视频流的方法及编码器。
背景技术
过去几年见证了数字及在线视频和他们的应用大受欢迎。经例如互联网的视频流播、直播视频和录制视频，变得比观看诸如电视之类的视频或租DVD的传统方式更为流行。流播视频时可能出现的问题是其上进行流播的互联网连接的带宽对于流播视频的分辨率(HD，4K，1080P等)太低，或是互联网连接的带宽波动。带宽不足可能导致流播视频断断续续，这使得视频因延迟而无法观看。一种在有限带宽的互联网连接上对视频进行流播而准备的方法为码率控制。码率控制在视频编码中起着重要作用，其中码率控制确保编码的比特流能够被成功传输、并充分利用有限带宽。换言之，它根据固定或可变的带宽来调整视频输出比特。通常，码率控制与压缩和帧频一起作用，这在低比特率时往往造成糟糕的质量。
US2004/120398(Zhang等)公开了一种用于对包含图像序列的视频进行适配性编码的方法，其中各图像为具有两个域的图片。将视频的各图像编码为帧，从编码的帧中提取速率失真特性，同时将视频的各图像并行地编码为两个域，并从域中提取速率失真特性。根据提取的速率失真特性来确定成本函数的参数值λ，并根据提取的速率失真特性和参数λ来构造成本函数。然后，取决于构造的用于图像的成本函数的值，为各图像选择帧编码或域编码。
US62263276(Igarashi等)公开了一种将表示图片的帧视为由区域构成的编码器。对于各区域，编码器决定基于帧或基于域的正交变换哪一个在减少那一区域的空间冗余方面会最有效。对于各区域，编码器决定基于帧或基于与的预测编码哪个在减少那一区域的时间冗余方面会最有效。编码器使用最有效的正交变换技术、并使用最有效的预测编码技术对图片帧的各区域进行编码，以生成编码的信号。解码器对编码的信号进行解码。编码的信号记录在记录介质上，在传输信道上传送、或广播。
“用于H.264/AVC的帧内帧的适配性划分预测编码”(Piao等)公开了一种为H.264/AVC的渐进式时序列提出的帧内帧编码策略。在提出的方法中，在水平或垂直方向对每个其它像素进行采样，无任何反混淆过滤，接着生成偶像素和奇像素的两个子帧。分别用帧内及帧间帧编码方法对偶像素及奇像素子帧进行编码。该提出的方法能够扩展到多层情况，其中将偶像素子帧再次细分为偶像素子帧和奇像素子帧，等等，以进一步提高编码效率。
因此在这种背景下，有改进的需求。
发明内容
鉴于上述情况，因此本申请的目的是克服或至少减轻上面讨论的问题。尤其是，目的是提供一种当需要视频流的捕获帧的复杂变换时减轻视频捕获系统的资源负担、便于检索原始捕获的图像数据的编码方法及编码器。
根据本发明的第一方面，提供了一种用于以视频编码格式对视频流进行编码的方法，其中视频编码格式支持将辅助帧纳入编码的视频流，辅助帧被编码的视频流中的另一帧引用，并且该辅助帧包括对编码的视频流中的另一帧进行补充的图像数据，该辅助帧包括标记值，所述标记值指示：不旨在当对编码的视频流进行解码时显示辅助帧的图像数据、而是将所述辅助帧(110)的图像数据用于与所述另一帧的数据结合以用于获取要显示的图像数据。
该方法包括步骤：
-接收由视频捕获设备捕获的第一图像数据
-确定解码时、用于视频流的预期分辨率，
-对第一图像数据进行按比例缩小，以获得按比例缩小的第一图像数据，其中按比例缩小的第一图像数据具有低于预期分辨率的第一分辨率，
-准备空的第一辅助帧，其中第一辅助帧的图像数据具有等于预期分辨率的分辨率，并包括全都具有同一预定义值的比特，
-将按比例缩小的第一图像数据粘贴到第一辅助帧的图像数据，
-将第一辅助帧编码为帧内帧，
-确定第一图像变换，用于将第一辅助帧的图像数据中的按比例缩小的第一图像数据按比例放大到具有预期分辨率的按比例放大的第一图像数据，
-根据至少一个预定的宏块尺寸，通过对由第一图像变换所导致的像素的移动进行采样来确定第一移动矢量，
-将第一图像数据编码成作为引用第一辅助帧的帧间帧的第一帧，其中第一帧的移动矢量与第一移动矢量相对应。
辅助帧通常意指对编码的视频流中的另一帧(也叫作主图像)进行补充的图像数据的存储。换言之，所述另一帧引用辅助帧。辅助帧能够以各种形式用于辅助显示它所补充的帧，但一般本身不被显示。辅助帧可以称作辅助图形，辅助图像项、非显示的帧、辅助图片等。辅助帧的公知应用包括将它用于提供透明信息的图像平面或深度图。
第一帧(以下为第二、第三等)因而也可以叫做主图像或主帧。
在此公开文本中，术语“分辨率”通常指图像中的像素数目。分辨率有时用图像的宽及高以及图像中的像素总数来标识。用于分辨率的另一术语为“尺寸”或像素尺寸。
“预期分辨率”通常意指旨在以例如4K、1080P、720P、DVD、VCD、1920x1080等来显示视频流的分辨率。例如，客户端可以请求某个分辨率(例如1080P)的视频流，或编码器可以以其它方式知晓旨在以哪个分辨率对编码的视频流进行解码，例如编码器中的硬编码值，或基于IP地址或类似于请求的客户端。预期分辨率还可以包括像素总数和长宽比，例如3.6百万像素和16*9。根据一些实施方式，预期分辨率可以基于旨在显示编码的视频流的电子图像设备的像素密度。
术语“第一辅助帧的图像数据具有与预期分辨率相对应的分辨率”(用于第二、第三帧等的类似表达)通常意指辅助帧的图像数据的尺寸与具有预期分辨率的图像的尺寸相对应，例如用于1080P的预期分辨率的1920x1080。
在例如H.265编码标准(诸如谷歌的VP10指令之类的其它较新的编码标准)内，一个帧能够被标记为“不显示”，意指不向用户显示该帧。在例如H.265中，能够通过将片头中的pic_output_flag设为假或将SEI头中的no_display标记设为真，进行标记。
发明人已意识到此类辅助帧连同引用辅助帧的帧能够用于码率控制，因为辅助帧的图像数据包括由视频捕获设备捕获的图像数据的按比例缩小版本，计算/确定引用辅助帧的帧的移动矢量，以对图像数据的按比例缩小版本进行按比例放大，从而再次具有预期分辨率。按比例缩小因子，即第一分辨率，能够被确定为实现编码的视频流的比特尺寸按需缩小。因相较于具有预期分辨率的图像数据、能够使用较少的比特对辅助帧的按比例缩小的图像数据进行编码，所以可以减少用于传输编码的视频流所需的带宽。在此实施方式中，辅助帧的、不包括按比例缩小的图像数据的部分图像数据将为空，因此能用极少的比特编码。例如，将第一辅助帧编码为I-帧的步骤可以包括将第一宏块尺寸用于第一辅助帧的、对包括按比例缩小的第一图像数据的图像数据进行编码，将第二宏块数据用于对第一辅助帧的、不包括按比例缩小的第一图像数据的图像数据进行编码，其中第一宏块尺寸小于第二宏块尺寸。结果，可以提供进一步的实现码率控制的方法。
本实施方式可以进一步有利，在于因上面的方法遵循此类视频编码格式的标准，所以支持编码器所用的视频编码格式的标准视频解码器能够对编码的视频流进行解码。而且，用户将受益于能够以标准的兼容方式接收低分辨率的视频流，而不必重启流。
根据一些实施方式，该方法进一步包括步骤：
-接收由视频捕获设备捕获的第二图像数据，
-对第二图像数据进行按比例缩小，以获得按比例缩小的第二图像数据，其中按比例缩小的第二图像数据的分辨率为第一分辨率，
-准备空的第二的第二辅助帧，其中第二辅助帧的图像数据具有等于预期分辨率的分辨率，
-将按比例缩小的第二图像数据粘贴到第二辅助帧的图像数据，
-将第二辅助帧编码为引用第一辅助帧的帧间帧，
-确定第二图像变换，用于将第二辅助帧的图像数据中的按比例缩小的第二图像数据按比例放大为具有预期分辨率的按比例放大图像数据，
-通过对第二图像变换进行采样来确定第二移动矢量，
-将第二图像数据编码成作为引用第二辅助帧的帧间帧的第二帧，其中第二帧的移动矢量与第二移动矢量相对应。
一些视频压缩标准，诸如本文描述的视频编码格式之类，规定了根据例如I-帧的帧内帧和例如P-帧或B-帧的帧间帧所实现的时间视频压缩。帧内帧基本上为仅使用要编码的图像帧中的信息来编码的图像帧。而且，根据捕获的、用于要编码的图像帧的所有图像数据来计算帧内帧。因此，帧内帧有时称作全帧。帧间帧，也称作预测帧或差分帧，基于来自前面(可选地后面)编码的图像帧的信息以及当前编码的帧的信息，即帧间帧可以被描述为利用前面(可选地后面)图像帧中的时间冗余信息。实现此类编解码(压缩标准)的编码器一般生成帧内帧，跟着是预定数目的帧间帧，然后是新的帧内帧，跟着是同样数目的帧间帧。帧内帧、跟着是若干帧间帧的这一序列的长度通常称作图片组长度(GOP长度)。对于一些压缩标准，例如H.265，编码期间能够对GOP长度进行调整。
使用当前实施方式，第二辅助帧的编码利用时间视频压缩。第二辅助帧的编码因而利用之前的第一辅助帧中的时间冗余信息。编码的第二辅助帧因而可以包含与第一辅助帧的图像数据相关的第二图像数据的移动矢量偏移和描述第一辅助帧中不存在的图像内容和预测误差(也称作余值)的图像数据。
应该注意到可以以迭代方式执行上面公开的实施方式，意指根据定义的GOP长度，它可以重复用于由视频捕获设备捕获的第三、第四图像数据等。此后，可以启动帧内帧、跟着是若干帧间帧的新序列。结果，根据一些实施方式，该方法进一步包括步骤：
-由视频记录设备捕获第三图像数据，
-对第三数据进行按比例缩小，以获得按比例缩小的第三图像数据，其中按比例缩小的第三图像数据具有第二分辨率，第二分辨率不同于第一分辨率并且且低于预期分辨率，
-准备空的第三辅助帧，其中第三辅助帧的图像数据具有等于预期分辨率的分辨率，
-将按比例缩小的第三图像数据粘贴到第三辅助帧的图像数据，
-将第三辅助帧编码为帧内帧，
-确定第三图像变换，用于将第三辅助帧的图像数据中的按比例缩小的第三图像数据按比例放大为具有预期分辨率的按比例放大的第三图像数据
-通过对第三图像变换进行采样来确定第三移动矢量，
-将第三图像数据编码成作为引用第三辅助帧的帧间帧的第三帧，其中第三帧的移动矢量与第三移动矢量相对应。
在启动新GOP的情况下改变帧上的按比例缩小因子(第二分辨率不同于第一分辨率)，产生帧间帧编码的辅助帧，可能是有利的，在于根据辅助帧的所有图像数据计算帧间帧，因此不依赖于基于不同的按比例缩小因子(第一分辨率)所编码的前一帧。通过编码期间允许按比例缩小因子改变，编码器能够非常迅速地对关于减小编码的视频流的尺寸的新需求做出反应，例如可用带宽的变化，从而提供改进的码率控制。根据一些实施方式，GOP长度也在编码期间变化，以使得编码器能够更快地适应新需求。
根据一些实施方式，该方法进一步包括步骤：
-确定要被以第三分辨率纳入编码的视频流的第一图像数据的一部分ROI1，第三分辨率高于第一分辨率
-将具有第三分辨率的ROI1粘贴到第一辅助帧的图像数据，以使得ROI1不会覆写按比例缩小的第一图像数据，或变得被按比例缩小的第一图像数据覆写，从而使ROI1不与按比例缩小的第一图像数据重叠，
-确定第四图像变换，用于将具有期望分辨率的ROI1插入第一升格图像数据，
-通过对第四图像变换进行采样来确定第四移动矢量，
其中，将第一图像数据编码成作为帧间帧的第一帧的步骤包括：将第一帧的移动矢量确定为与第一移动矢量和第四移动矢量相对应。
在此实施方式中，第一辅助帧的图像数据的空部分用于提供较高分辨率的图像数据，其对于观看者(或图像分析软件)可能具有特殊兴趣，例如人的脸部或车的牌照。通过重新配置第一帧的移动矢量，对于由视频捕获设备捕获的图像数据的任一指定兴趣区，能够在解码的视频流中实现较高的分辨率。第四移动矢量因此将ROI1映射入第一升格图像数据中的正确位置(与第一图像数据中ROI1的位置相对应)。
根据一些实施方式，该方法进一步包括步骤：
-确定要被以第三分辨率纳入编码的视频流的第二图像数据的一部分ROI2，
-将具有第三分辨率的ROI2粘贴到第二辅助帧的图像数据，以使得ROI2不会覆写按比例缩小的第二图像数据，或变得被按比例缩小的第二图像数据覆写，
-根据将具有期望分辨率的ROI2插入按比例缩小的第二图像数据，确定第五图像变换，
-通过对第四图像变换进行采样来确定第五移动矢量，
其中将第二图像数据编码成作为帧间帧的第二帧的步骤包括：将第二帧的移动矢量确定为与第二移动矢量和第五移动矢量相对应。
ROI2一般显示与ROI1相同的主体，从编码角度这可能是有利的，因为第二辅助帧的帧间帧编码是可能更有效的情况。然而，情况并非总是如此。确定为纳入辅助帧中较高分辨率的版本的第一及第二图像数据的部分可以不同，例如在第一辅助帧中显示牌照，在第二辅助帧中显示司机脸部。第五移动矢量因而将ROI2映射入按比例放大的第二图像数据中的正确位置(与第二图像数据中ROI2的位置相对应)。
根据一些实施方式，将ROI1和ROI2分别在对应的位置上粘贴到第一及第二辅助帧的图像数据。当对第二辅助帧的图像数据进行帧间帧编码时，从编码的角度这可能是有利的，因为当编码器在前一(第一)辅助帧中搜索较小的宏块时，那么编码器的块匹配算法的搜索窗口可能较小。
根据一些实施方式，第三分辨率为来自以下项的列表中的一个第三分辨率：等于期望分辨率的第三分辨率，和大于期望分辨率的第三分辨率。此实施方式可以在解码并显示时增加用于ROI1的细节层次。
根据一些实施方式，预期分辨率等于由视频记录设备捕获的图像数据的分辨率。这可以增加编码方法的灵活性，因为按比例缩小因子能够改变，以使得相较于取决于需求、降至高细节损失的捕获的图像数据(低按比例缩小因子)，按比例缩小的图像数据几乎不会带来细节损失。然而，根据一些实施方式，预期分辨率还可以低于由视频记录设备捕获的图像数据的分辨率。
根据一些实施方式，视频编码格式为列表之一：高效图像文件格式、高效视频编码H.265、H.264、VP10、VP9、AV1、高级视频编码和H.266。然而，应该注意到本发明涵盖了如本文所述的任意支持辅助帧的视频编码格式。
根据一些实施方式，该方法包括基于编码器连接到的数字网络的比特率，确定第一分辨率。例如，编码器和/或码率控制器可以从例如推动传输的视频流的编码器和接收器之间的链路上的持续流量的应用、接收关于比特率的报告，并随着时间过去计算平均值。比特率的另一示例为编码器连接到的数字网络的最大上传速度(预设值)。术语“比特率”通常意指编码器连接到的数字网络的有效吞吐量。上面对于第二分辨率同样有效。下面将描述确定第一/第二分辨率的其它方式。
根据本发明的第二方面，上面的目的由包括计算机可读存储介质的计算机程序产品实现，计算机可读存储介质具有被适配为由具有处理能力的设备执行时、执行第一方面的方法的指令。
根据第三方面，上面的目的由被适配为以视频编码格式对由视频记录设备捕获的视频流进行编码的编码器来实现，其中视频编码格式支持将辅助帧纳入编码的视频流，辅助帧由编码的视频流中的另一帧引用，并且该辅助帧包括对编码的视频流中的另一帧进行补充的图像数据，该辅助帧包括标记变量，所述标记变量指示：不旨在当对编码的视频流进行解码时显示辅助帧的图像数据、而是将所述辅助帧(110)的图像数据用于与所述另一帧的数据结合以用于获取要显示的图像数据，其中编码器进一步被适配为：
-接收由视频捕获设备捕获的第一图像数据，
-确定解码时、用于视频流的预期分辨率，
-对第一图像数据进行按比例缩小，以获得按比例缩小的第一图像数据，其中按比例缩小的第一图像数据具有低于预期分辨率的第一分辨率，
-准备空的第一辅助帧，其中第一辅助帧的图像数据具有等于预期分辨率的分辨率，并包括全都具有同一预定义值的比特，
-将按比例缩小的第一图像数据粘贴到第一辅助帧的图像数据，
-将第一辅助帧编码为帧内帧，
-确定第一图像变换，用于将第一辅助帧的图像数据中的按比例缩小的第一图像数据按比例放大为具有预期分辨率的按比例放大的第一图像数据，
-根据至少一个预定的宏块尺寸，通过对由第一图像变换所导致的像素的移动进行采样来确定第一移动矢量，
-将第一图像数据编码成作为引用第一辅助帧的帧间帧的第一帧，其中第一帧的移动矢量与第一移动矢量相对应。
根据第四方面，上面的目的由包括根据第三方面的编码器的系统来实现，编码器经数字网络连接到解码器，解码器被布置为对以编码器的视频编码格式编码的视频流进行解码，其中编码器被适配为：
-经数字网络接收预期分辨率，
-接收第一分辨率，
-根据接收到的预期分辨率和接收到的第一分辨率对视频流进行编码，
-经数字网络传送编码的视频流，
其中解码器被适配为：
-经数字网络接收编码的视频流，
-对编码的视频流进行解码，以获取解码的视频流。
根据一些实施方式，该系统进一步包括显示器，其中编码器进一步被适配为：
-确定要被以第三分辨率纳入编码的视频流的第一图像数据的一部分ROI1，第三分辨率高于第一分辨率
-将具有第三分辨率的ROI1粘贴到第一辅助帧的图像数据，以使得ROI1不会覆写按比例缩小的第一图像数据，或变得被按比例缩小的第一图像数据覆写，从而使ROI1不与按比例缩小的第一图像数据重叠，
-确定第四图像变换，用于将具有预期分辨率的ROI1插入按比例放大的第一图像数据，
-通过对第四图像变换进行采样来确定第四移动矢量，
其中，将第一图像数据编码成作为帧间帧的第一帧的步骤包括：将第一帧的移动矢量确定为与第一移动矢量和第四移动矢量相对应，
其中解码器进一步被适配为：
-对编码的视频流进行解码，以获取解码的视频流，其中解码包括从第一辅助帧的图像数据提取ROI1，
-在显示器上、与解码的视频流分离地显示ROI1。
在此实施方式中，自定义解码器既根据支持编码器的视频解码格式的解码器的标准解码方法、对编码的视频流进行解码，同时又从第一辅助帧提取ROI1的图像数据，以提供例如包括ROI1(可选地来自随后的辅助帧的其它兴趣区)的图像数据的静止图像或第二解码的视频流。此实施方式可以是有利的，因为分离地显示特殊兴趣区(ROI1)，以使得观看者能够看到ROI1的图像内容，而未受到从其提取ROI1的图像数据的剩余部分的图像内容的干扰。倘若解码的ROI1的分辨率大于解码的视频流的分辨率、因而当插入解码的视频流的图像内容时被按比例缩小ROI1的分离显示可能尤其有利。出于此因，根据一些实施方式，第三分辨率大于预期分辨率，其中在显示器上、与解码的视频流分离地显示ROI1的步骤包括：在显示器上以第三分辨率显示ROI1。
第二、第三及第四方面通常可以具有与第一方面相同的特征及优点。进一步注意到本发明涉及特征的所有可能组合，除非另有明确规定。
附图说明
参考附图，通过下面本发明的优选实施方式的说明性及非限制性的详细描述，将更好理解本发明上述及额外的目的、特征及优点，相同的引用编号将用于类似的元件，其中：
图1示意性图示了用于以支持辅助帧的视频编码格式对视频流进行编码的方法的第一实施方式，
图2示意性图示了用于以支持辅助帧的视频编码格式对视频流进行编码的方法的第二实施方式，
图3示意性图示了用于以支持辅助帧的视频编码格式对视频流进行编码的方法的第三实施方式，
图4示意性图示了包括根据图3的编码器的系统，编码器经数字网络连接到解码器，解码器被布置为对以编码器的视频编码格式编码的视频流进行解码，
图5为根据实施方式、示出用于以支持辅助帧的视频编码格式对视频流进行编码的方法的流程图。
具体实施方式
现在，下文将参考附图更完整地描述本发明，其中示出了本发明的实施方式。本文公开的系统及设备将被描述为在操作期间。
本发明旨在针对支持将辅助帧纳入编码的视频流的视频编码格式提供持续视频流的动态缩放。这提供了了码率控制器在被要求降低编码的视频流的比特大小(比特率)时一起作用的另一可能性(除了压缩和帧频)，这在低的可用比特率时可能尤其有利。作为一个示例，相较于具有高压缩比率(例如量化参数QP为46)的高分辨率视频(例如FHD视频)，低分辨率视频流(例如VGA视频)在使压缩率(例如量化参数QP为28)保持较低的同时产生较好的质量，即使两个编码的视频流具有相同的比特率。
现在结合图1至图2及图5来描述本发明的实施方式。
图1示出了由视频捕获设备104捕获的场景102，其产生包括三个图像帧106a至106c的视频流106。图1的下部举例说明了以支持将辅助帧纳入编码的视频流的视频编码格式编码视频流的方法的实施例。编码器108接收视由频记录设备104捕获的第一图像数据106a。编码器108确定解码时视频流的预期分辨率。如本文所述的，预期分辨率可以等于由视频记录设备104捕获的图像数据106的分辨率。然而，预期分辨率还可以不同于由视频记录设备104捕获的图像数据106的分辨率。例如，视频记录设备可以以非常高的分辨率捕获视频，对编码的视频流进行传输且后面进行解码所用的分辨率可以无需同样高。出于那一原因，预期分辨率可以低于由视频记录设备104捕获的图像数据106a-至106c的图像数据的分辨率，预期分辨率可以以不同的方式为编码器所知。例如，预期分辨率可以是可从编码器108检索的硬编码的值(例如在编码器108的存储器中)。预期分辨率还可以是编码器108中的可配置值。该配置可以在那一情况下例如由用户进行，或从请求编码的视频流的设备设置。其它确定预期分辨率的方法当然是可能的。
编码器接着对第一图像数据106a进行按比例缩小S504，以获取按比例缩小的第一图像数据114，其中按比例缩小的第一图像数据具有低于预期分辨率的第一分辨率118x*118y。可以使用任一公知的图像算法来执行按比例缩小，诸如最近邻插值、双线性及二元三次算法、盒采样等之类。
第一分辨率可以基于编码器108连接到的数字网络的比特率来确定/设置S502。可以根据可从编码器108(例如在编码器的存储器中)检索的硬编码的值进一步对第一分辨率进行设置S502。第一分辨率还可以是编码器中的可配置值。在那一情况下，该配置可以例如由用户进行，或从请求编码的视频流的设备设置。确定/设置S502第一分辨率，以使得编码的视频流满足比特率需求。可以以迭代方式设置S502第一分辨率，以使得对编码的视频流的比特率/大小进行持续测量，且基于测量和比特率需求对预期分辨率进行适配。无论如何，第一分辨率，还可以称作按比例缩小因子，被设置S502，且用于对接收到的图像数据106a至106c进行按比例缩小。
编码器108然后准备第一辅助帧110a，其中第一辅助帧110a的图像数据具有与预期分辨率相对应的分辨率116x*116y。辅助帧110的图像数据此时将为空(所有比特具有0值)，替换地，所有比特将具有缺省值，例如与颜色黑、白或绿相对应。从编码器的角度，具有与预定义的颜色相对应的缺省值可能是有利的。例如，如果各处使用相同的值(颜色)，可以降低比特率成本，在此情况下值易于编码(诸如颜色黑、白或绿)。然后，将按比例缩小的第一数据114插入S506随后被编码为帧内帧的第一辅助帧110a的图像数据。在图1的示例中，将按比例缩小的第一数据114插入辅助帧110a的图像数据的“右上角”(在图1中图像数据被可视化为矩阵)。然而，可以在任何位置将按比例缩小的第一数据插入第一辅助帧110a的图像数据，只要后面确定第一移动矢量(参见下面)时记住属于按比例缩小的第一数据的比特的索引。
为了后面能够将按比例缩小的第一图像数据114按比例放大到预期分辨率116x*116y，确定S508移动矢量120。移动矢量120与将第一辅助帧110a的图像数据中按比例缩小的第一图像数据114按比例放大(数字材料的放大叫做按比例放大或分辨率增强)为具有预期分辨率116x*116y的按比例放大的第一图像数据相对应。移动矢量会因此将按比例缩小的第一数据114中的宏块“移”到具有预期分辨率的按比例放大的第一图像数据中的新位置。用于在解码器处实际按比例放大的算法取决于解码器的实现方式，但通常可以使用任意公知的图像缩放算法，诸如最近邻插值、双线性及二元三次算法、盒采样等。
按比例放大由基于预期分辨率116x*116y、第一分辨率118x*118y和将按比例缩小的第一图像数据114插入辅助图像110a的图像数据的方式所确定的图像变换方程(图像变换、图像转换等)来定义。图像变换方程应用于按比例缩小的第一图像数据114(第二、按比例缩小的第三图像数据等)时，将具有第一分辨率118x*118y的按比例缩小的第一图像数据114按比例放大到具有预期分辨率116x*116y的图像数据。移动矢量表示图像变换方程，并可以以许多方式确定。根据一些实施方式，根据确定的宏块尺寸通过对图像变换方程进行采样来确定移动矢量。例如，如果图像变换方程导致将特定像素右移5个像素、下移3个像素，此像素的实际移动是基于采样尺寸(宏块尺寸)和用于邻近像素的变换来确定的。根据其它实施方式，多个宏块尺寸用于采样，其中用于映射策略的特定区域的宏块尺寸取决于图像变换方程对于那一对应区域如何呈现。例如，宏块尺寸能够从16x16变为降至4x4。此实施方式将降低用于移动矢量的比特率方面的成本，可以以有效的方式将大多数比特用于图像变换方程的、较小的宏块导致更正确的采样/映射的局部区域，并将较少的比特用于变换更一致的局部区域。
为了进一步降低用于移动矢量的比特率成本，能够使采样更稀疏(增大宏块尺寸)，以使得由解码器来在接收到的移动矢量之间插值以计算用于较小尺寸的宏块的移动矢量，以实现辅助帧中图像数据更流畅的变换。这能够通过将插值参数纳入编码的比特流或在p-帧的头中设置标记等来实现。
根据其它实施方式，基于辅助帧110a中按比例缩小的图像数据114的对应区域内的细节级别，进行获取移动矢量的图像变换方程的采样。例如，对于包括高度直线(能够使用任意合适的边缘检测算法来确定)的按比例缩小的图像数据114中的局部区域，图像变换中的对应区域可能需要较密集的采样(较小的宏块尺寸)。对于低度线的区域，可以采用较稀疏的采样。
当确定了第一移动矢量120时，可以将第一帧112a编码S510为引用第一辅助帧110a(如上所述被编码为帧内帧)的帧间帧，其中第一帧112a的移动矢量120(由第一帧112a中的箭头示意性图示)与如上所述所确定的第一移动矢量120相对应。可以注意第一帧112a的移动矢量120可以是预先计算的，并且例如存储在编码器可访问的存储器中。第一分辨率与预期分辨率之间的比率可以用作例如具有比率和对应的移动矢量的数据库中的查找值(此类数据库中的值可以假设以特定方式将按比例缩小的图像数据插入辅助帧的图像数据，例如在左上角或在左下角等)。基于如上所述的预期分辨率和第一分辨率，可以在编码器108运行时进一步计算运动矢量。
如上所述，本发明的优点是支持编码器所用的视频编码格式(例如H.265)的标准解码器能够根据图1对视频流进行解码。解码器将第一帧112a的移动矢量120应用于第一辅助帧110a的按比例缩小的第一图像数据114，以实现第一辅助帧110a的按比例缩小的第一图像数据114的按比例放大，从而以具有预期分辨率116x*116y的解码的图像数据结束。
图2示出了图1中描述的方法的扩展，其中视频流106的所有三个捕获的图像帧(图像数据)106a至106c由编码器108编码。在图2中，如图1和图5中的步骤S502-S510所描述的对第一图像数据106a进行编码，以获取编码的第一帧112a和编码的第一辅助帧110a。对第一图像数据106a进行编码后，编码器108接收第二图像数据106b。以用于第一辅助帧110a的如上所述的类似方式对第二辅助帧110b的图像数据进行编辑。
第二辅助帧110b被有利地编码为引用第一辅助帧110a的帧间帧(例如P帧)，以利用之前图像帧(在此情况下为第一辅助帧110a)中的时间冗余信息。根据一些实施方式，第二辅助帧110b的编码因此基于第二图像数据106b和第一图像数据106a之间的比较进行。在图2中，编码的第二辅助帧110b由移动矢量(在右上角)示意性地表示，但当然也可以将描述不存在于第一辅助帧的图像数据、但存在于第二图像数据和/或预测误差(也称作余值)的图像内容的图像数据纳入编码的第二辅助帧110b。
根据其它实施方式，还将第二辅助帧110b编码为I帧。
编码器108通过对引用第二辅助帧110b的第二帧112b进行编码来继续，第二帧被编码为帧间帧。确定第二帧的移动矢量，以使得它们与间第二辅助帧110b的图像数据中的按比例缩小的第二图像数据按比例放大到具有预期分辨率的的按比例放大的第二图像数据的相对应。在此情况下，第二帧112b的移动矢量等于第一帧112a的移动矢量，因为使用了关于第一图像数据106a而言的相同的缩放因子对第二图像数据106b进行了按比例缩小，将按比例缩小的第二图像数据插入与如何将按比例缩小的第一图像数据114插入第一辅助帧110a相对应的第二辅助帧110b的图像数据中的位置。结果，可以通过复制第一帧的移动矢量来确定第二帧11b的移动矢量。如上结合用于第一帧112a的图1所描述的，可以使用确定第二帧的移动矢量的任一其它方式。换言之，使用另一图像数据106b、且根据预期分辨率和按比例缩小因子/第一分辨率来确定另一辅助帧110b和另一帧112b。将另一辅助帧110b编码为引用前一辅助帧110a的帧间帧。将另一帧112b编码为引用另一辅助帧110b的帧间帧。只要未达到GOP的结束(如图5的步骤512所确定的)，就为排列的下一图像数据(例如第三图像数据106c)重复/迭代上面的过程S512，以对帧间帧编码的辅助帧和帧间帧编码的常规帧进行编码。
如果到达GOP的结束(如图5的步骤512所确定的)，确定S516是否需要新的按比例缩小因子(例如有改变比特率的需求，以使得需要新的按比例缩小因子来满足新需求，或者，之前的按比例缩小因子不足以满足当前需求)。若否，编码过程在步骤S504继续，以用于排列的下一图像数据(例如第三图像数据106c)。
本发明的优点是能够实现捕获的图像数据106a至106c的动态缩放。结果，编码器能够非常快速地对关于减小编码的视频流的比特大小(比特率)的新需求做出反应，例如可用带宽的变化。在图2的示例中，对于第三图像数据106c，确定S516需要新的按比例缩小因子，在此示例中，例如因更可用的带宽等而使用/设置S502较低的按比例缩小因子。接着，用新的较低按比例缩小因子重复步骤S504-S510。由于按比例缩小因子在第二图像数据106b和第三图像数据106c之间变化，将第三辅助帧110c编码S506为帧内帧是有利的。对于由视频捕获设备104捕获的第三图像数据106c，根据此实施方式的编码过程包括：对第三图像数据106c进行按比例缩小S504，以获取按比例缩小的第三图像数据116，其中按比例缩小的第三图像数据116具有第二分辨率，第二分辨率(图2未示出)不同于第一分辨率(即如图1所示，118x*118y)、且低于预期分辨率(即如图1所示，116x*116y)。准备第三辅助帧110c，第三辅助帧110c的图像数据具有预期分辨率116x*116y，将按比例缩小的第三图像数据116插入S506以帧内帧编码的第三辅助帧110c的图像数据。编码器然后确定S508与将第三辅助帧110c的图像数据中的按比例缩小的第三图像数据116按比例放大到预期分辨率116x*116y相对应的第三移动矢量(在图2中由第三帧112c的箭头示意性图示)。可以如上所述为第一帧112a确定第三移动矢量。在此之后，编码器能够将第三帧112c编码S510为引用第三辅助帧110c的帧间帧，其中第三帧的移动矢量与第三移动矢量相对应。
在图2(类似地在下面的图3-4)中，括号内的数字描述了将编码的辅助帧110(AF)和“常规”帧112(RF)纳入编码的视频流的次序。对于图2的示例，次序为：AF1 110a，RF1112a，AF2 110b，RF2 112b，AF3 110c，RF3 112c。
仅将辅助帧110的图像数据的一部分用于传输由图像捕获设备104所获的图像数据106a至106c的进一步优点(除了动态码率控制可能性)是可以将辅助帧110的图像数据的空部分用于提供较高分辨率的捕获的图像数据106a至106c的一部分304。此类部分有利地对于观看者(或图像分析软件)具有特殊兴趣，例如人的面部或车的牌照。图3中举例说明了此实施方式。
在图3中，确定第一图像数据的一部分304。要以第三分辨率将部分304纳入编码的视频流，其中第三分辨率高于第一分辨率。例如，如果第一分辨率为720P，那么第三分辨率可以是4K。根据一些实施方式，第一分辨率可以等于预期分辨率。然而，倘若以高于预期分辨率的分辨率来捕获图像数据106a至106b，如果第三分辨率大于预期分辨率，例如等于由视频捕获设备捕获的图像数据106a至106b的分辨率，或介于图像数据106a至106b的分辨率和预期分辨率之间，这可能是有利的。
在部分304被确定后，它被可选地按比例缩小到第三分辨率(倘若它还不是第三分辨率，即如果第三分辨率为捕获的图像数据106a的分辨率)。下文将第三分辨率的部分304称作ROI1，在图3中示为具有引用302。然后，将ROI1302插入第一辅助帧110a的图像数据，以使得ROI1 302不会覆写按比例缩小的第一图像数据114，或变得被按比例缩小的第一图像数据114覆写，即使得ROI1 302将不会与按比例缩小的第一图像数据114重叠。
下一步骤是确定与将具有预期分辨率的ROI1 302插入按比例缩小的图像数据114的按比例放大版本相对应的(第四)移动矢量。例如通过基于第三分辨率、预期分辨率和第一辅助图像110a的图像数据中ROI1的位置对图像变换方程进行采样，能够以与如上所释的用于第一、第二、第三移动矢量的相同的方式来确定这些移动矢量。第四移动矢量在图3中被示意性示为第一帧112a的右上角的箭头。然后，将第四移动矢量用于确定帧间帧编码的第一帧112a的移动矢量。换言之，将第一帧112a编码为帧间帧的步骤包括：确定与第一移动矢量(用于将按比例缩小的图像数据114按比例放大至预期分辨率)和第四移动矢量相对应的第一帧112a的移动矢量。
仍然将第一辅助帧110a编码为帧内帧。
对于第二图像数据106b，可以如上所述、利用时间视频压缩来进行此图像数据中兴趣部分的编码，以使得将第二辅助帧110b编码为帧间帧。出于那一原因，如果将第三分辨率的部分第二图像数据、ROI2插入与第一辅助帧110a的图像数据中ROI1的位置相对应的第二辅助帧110b的图像数据中的位置，这可能是有利的。将ROI2插入第二辅助帧的图像数据，以使得ROI2不会覆写按比例缩小的第二图像数据，或变得被按比例缩小的第二图像数据覆写。然后，确定与将具有预期分辨率的ROI2插入按比例放大的第二图像数据相对应的第五移动矢量，将第二帧110b编码为帧间帧包括确定与第二移动矢量和第五移动矢量相对应的第二帧的移动矢量。
如上结合图1至图3所述的，编码器108因而被被适配为对视频流106进行编码。编码器108可以直接在视频捕获设备104中提供，或有线或无线连接到视频捕获设备104，以接收视频流106的图像数据106a-d。编码器108可以包括或连接到用于检索预先计算的移动矢量的存储器。编码器108可以包括用于计算图像变换方程(即用于按比例缩小的图像数据的按比例放大的方程和/或用于将ROI1/ROI2置于按比例放大图像数据中正确位置和比例的方程)、和/或根据图像变换方程对移动矢量进行采样的处理单元。或者或另外，编码器可以被被适配为从被适配为计算/确定此类图像变换方程和/或移动矢量的独立计算单元接收图像变换方程和/或移动矢量。根据一些实施方式，此类独立的计算单元创建整个第一/第二/第三帧，其后来与编码器108中的辅助帧互连。如上所述，编码器108可以进一步被被适配为对由视频捕获设备104捕获的图像数据106a-d进行按比例缩小。根据一些实施方式，编码器从独立的缩放单元接收按比例缩小的图像数据。编码器一般包括一个或数个用于如上所述、对接收到的图像数据进行编码的处理单元(例如CPU)。CPU可以例如被被适配为运行从计算机可读存储介质安装的软件，计算机可读存储介质具有被适配为由CPU执行时、执行任一上面描述的实施方式的编码方法的指令。编码器可以进一步被被适配为无线或有线地将编码的视频流传送(经例如互联网)给被适配为对编码的视频流进行解码的解码器。
图4通过举例公开了一种包含如上公开的编码器108的系统。编码器108经数字网络402连接到解码器404，解码器404布置为对以编码器108的视频编码格式编码的视频流416进行解码。视频编码格式可以是列表之一：高效图像文件格式、高效视频编码H.265、H.264、VP10、VP9、AV1、高级视频编码及H.266。然而，应该注意到本发明涵盖了如本文所描述的任一支持辅助帧的视频编码格式。
编码器108因而根据预期分辨率和第一分辨率(按比例缩小因子)，对由视频捕获设备捕获的多个图像数据106a-b进行编码。根据一些实施方式，预期分辨率可以从数字网络402接收408，例如由客户端应用418或接收编码的视频流416的用户确定并经数字网络402传送405到编码器。第一分辨率可以基于编码器连接到的数字网络的比特率来确定406，即编码器108和解码器404之间数字网络402的有效吞吐量。或者，它可以是独立的、基于如上所述测量的此类比特率来确定第一分辨率的码率控制单元。码率控制单元可以持续地将第一(第二等)分辨率传递给编码器，或只有它从当前所用的发生改变，例如当带宽条件改变时，才传递此类分辨率。第一分辨率可以以其它方式确定，并由编码器108接收。例如，可以基于由视频捕获设备捕获的视频流106的质量来确定第一分辨率(类似地图2的第二分辨率)。如果在黑暗条件下、例如夜间捕获视频流，视频流106(图像数据106a至106c)通常包括许多噪声，降低了视频流的质量，因而相较于如果日间捕获视频流106，使得较低的分辨率有利。其它确定第一分辨率的示例包括从意欲观看后面解码的视频流的用户、或从将分析后面解码的视频流的视频分析软件接收此类信息。
编码器108被被适配为经数字网络402传输编码的视频流。解码器404被被适配为经数字网络402接收编码的视频流416，并对编码的视频流416进行解码以获取解码的视频流。
根据一些实施方式，该系统包括显示器418。解码器可以连接到显示器418，并将解码的视频流传送给显示器418，从而以预期分辨率显示410。
根据如上所述、以第三分辨率将第一图像数据106a的部分304(本文称作ROI1)纳入编码的视频流416的实施方式，解码器404可以进一步被被适配为对编码的视频流进行解码，以获取解码的视频流，其中解码包括从第一辅助帧的图像数据提取ROI1，且在显示器上、例如以第三分辨率(或解码器404确定的任一其它分辨率)、与解码的视频流分离地412显示ROI1。ROI1还被纳入414从辅助帧取出的、使用例如第一/第二帧112a-b的移动矢量按比例放大的图像数据410。
要理解本领域技术人员能够以许多方式修改上面描述的实施方式，且仍利用如上面的实施方式所示的本发明的优点。例如，能够以任意适当的方式改变对辅助帧和对辅助帧进行补充的帧进行编码的次序。例如，在将引用与编码的辅助帧交错的辅助帧的帧间编码的帧纳入编码的视频流之前，可以首先对GOP内的所有辅助帧进行编码。因此，本发明不该受限于所示的实施方式，但应该仅由所附的权利要求限定。另外，如本领域技术人员所理解的，可以对所示的实施方式进行组合。

Claims (15)

1.一种以视频编码格式编码视频流的方法，其中所述视频编码格式支持将辅助帧(110)纳入编码的视频流(416)，所述辅助帧(110)被所述编码的视频流(416)中的另一帧(112)引用，并且所述辅助帧(110)包括对所述编码的视频流(416)中的另一帧进行补充的图像数据，所述辅助帧(110)包括标记值，所述标记值指示：不旨在当对所述编码的视频流(416)进行解码时显示所述辅助帧(110)的图像数据、而是将所述辅助帧(110)的图像数据用于与所述另一帧的数据结合以获得要显示的图像数据，所述方法包括步骤：
接收由视频捕获设备(104)捕获的第一图像数据(106a)，
确定(S502)解码时所述视频流(106)的预期分辨率，
对所述第一图像数据(106a)进行按比例缩小(S504)，以获取按比例缩小的第一图像数据(114)，其中所述按比例缩小的第一图像数据(114)具有低于所述预期分辨率的第一分辨率，
准备空的第一辅助帧(110a)，其中所述第一辅助帧(110a)的图像数据具有等于所述预期分辨率的分辨率，并包括全都具有同一预定义值的比特，
将所述按比例缩小的第一图像数据(114)粘贴(S506)到所述第一辅助帧(110a)的图像数据，
将所述第一辅助帧(110a)编码为帧内帧，
确定第一图像变换，用于将所述第一辅助帧(110a)的图像数据(106)中的按比例缩小的第一图像数据(114)按比例放大到具有所述预期分辨率的按比例放大的第一图像数据，
根据至少一个预定的宏块尺寸，通过对所述第一图像变换导致的像素的移动进行采样来确定(S508)第一移动矢量(120)，以及
将所述第一图像数据(106a)编码成作为引用所述第一辅助帧(110a)的帧间帧的第一帧(112a)，其中所述第一帧(112a)的移动矢量(120)与所述第一移动矢量(120)相对应。
2.根据权利要求1所述的方法，进一步包括步骤：
接收由所述视频捕获设备(104)捕获的第二图像数据(106b)，
对所述第二图像数据(106b)进行按比例缩小，以获得按比例缩小的第二图像数据，其中所述按比例缩小的第二图像数据的分辨率为所述第一分辨率，
准备空的第二辅助帧(110b)，其中所述第二辅助帧(110b)的图像数据具有等于所述预期分辨率的分辨率，
将所述按比例缩小的第二图像数据粘贴到所述第二辅助帧(110b)的图像数据，
将所述第二辅助帧(110b)编码为引用所述第一辅助帧(110a)的帧间帧，
确定第二图像变换，用于将所述第二辅助帧(110b)的图像数据中的所述按比例缩小的第二图像数据按比例放大为具有所述预期分辨率的按比例放大的第二图像数据，
通过对所述第二图像变换进行采样来确定第二移动矢量，
将所述第二图像数据(106b)编码成作为引用所述第二辅助帧(110b)的帧间帧的第二帧(112b)，其中所述第二帧(112b)的移动矢量与第二移动矢量相对应。
3.根据权利要求1所述的方法，进一步包括步骤：
由视频记录设备(104)捕获第三图像数据(106c)，
对所述第三图像数据(106c)进行按比例缩小，以获得按比例缩小的第三图像数据(116)，其中所述按比例缩小的第三图像数据(116)具有第二分辨率，所述第二分辨率不同于所述第一分辨率并且且低于所述预期分辨率，
准备空的第三辅助帧(110c)，其中所述第三辅助帧(110c)的图像数据具有等于所述预期分辨率的分辨率，
将所述按比例缩小的第三图像数据(116)粘贴到所述第三辅助帧(110c)的图像数据，
将所述第三辅助帧(110c)编码为帧内帧，
确定第三图像变换，用于将所述第三辅助帧(110c)的图像数据中的所述按比例缩小的第三图像数据按比例放大为具有所述预期分辨率的按比例放大的第三图像数据，
通过对所述第三图像变换进行采样来确定第三移动矢量，
将所述第三图像数据编码成作为引用所述第三辅助帧(110c)的帧间帧的第三帧(112c)，其中所述第三帧(112c)的移动矢量与所述第三移动矢量相对应。
4.根据权利要求1所述的方法，进一步包括步骤：
确定要被以第三分辨率纳入所述编码的视频流(416)的所述第一图像数据(106a)的一部分ROI1(302)，所述第三分辨率高于所述第一分辨率，
将具有所述第三分辨率的ROI1(302)粘贴(S506)到所述第一辅助帧(110a)的图像数据，以使得所述ROI1(302)不会覆写所述按比例缩小的第一图像数据(114)、或变得被所述按比例缩小的第一图像数据(114)覆写，从而使所述ROI1(302)不与所述按比例缩小的第一图像数据(114)重叠，
确定第四图像变换，用于将具有所述预期分辨率的ROI(302)插入所述按比例放大的第一图像数据，
通过对所述第四图像变换进行采样来确定第四移动矢量(120)，
其中将所述第一图像数据(106a)编码(S510)成作为帧间帧的所述第一帧(112a)的步骤包括：将所述第一帧(112a)的移动矢量确定为与所述第一移动矢量和所述第四移动矢量相对应。
5.根据权利要求4所述的方法，进一步包括步骤：
接收由所述视频捕获设备(104)捕获的第二图像数据(106b)，
对所述第二图像数据(106b)进行按比例缩小，以获得按比例缩小的第二图像数据，其中所述按比例缩小的第二图像数据的分辨率为所述第一分辨率，
准备空的第二辅助帧(110b)，其中所述第二辅助帧(110b)的图像数据具有等于所述预期分辨率的分辨率，
将所述按比例缩小的第二图像数据粘贴到所述第二辅助帧(110b)的图像数据，
将所述第二辅助帧(110b)编码为引用所述第一辅助帧(110a)的帧间帧，
确定第二图像变换，用于将所述第二辅助帧(110b)的图像数据中的所述按比例缩小的第二图像数据按比例放大为具有所述预期分辨率的按比例放大的第二图像数据，
通过对所述第二图像变换进行采样来确定第二移动矢量，
将所述第二图像数据(106b)编码成作为引用所述第二辅助帧(110b)的帧间帧的第二帧(112b)，其中所述第二帧(112b)的移动矢量与所述第二移动矢量相对应，
确定要被以所述第三分辨率纳入所述编码的视频流(416)的所述第二图像数据(106b)的一部分ROI2，
将具有所述第三分辨率的所述ROI2粘贴到所述第二辅助帧(110b)的图像数据，以使得所述ROI2不会覆写所述按比例缩小的第二图像数据、或变得被所述按比例缩小的第二图像数据覆写，
确定第五图像变换，用于将具有所述预期分辨率的所述ROI2插入所述按比例放大的第二图像数据，
通过对所述第四图像变换进行采样来确定第五移动矢量，
其中将所述第二图像数据(106b)编码成作为帧间帧的第二帧(112b)的步骤包括：将所述第二帧(112b)的移动矢量确定为与所述第二移动矢量和所述第五移动矢量相对应。
6.根据权利要求5的所述方法，其中将所述ROI1(302)和所述ROI2分别在对应的位置上粘贴到所述第一辅助帧(110a)和所述第二辅助帧(110b)的图像数据。
7.根据权利要求4所述的方法，其中所述第三分辨率为来自以下项的列表中的一个第三分辨率：等于所述预期分辨率的第三分辨率，和大于所述预期分辨率的第三分辨率。
8.根据权利要求1所述的方法，其中所述预期分辨率等于由所述视频记录设备(104)捕获的图像数据(106)的分辨率。
9.根据权利要求1所述的方法，其中所述视频编码格式为来自以下项的列表中的一个格式：高效图像文件格式、高效视频编码H.265、H.264、VP10、VP9、AV1、高级视频编码和H.266。
10.根据权利要求1所述的方法，进一步包括步骤：
基于所述编码器(108)连接到的数字网络(402)的比特率来确定(S502)所述第一分辨率。
11.一种计算机程序产品，包括计算机可读存储介质，所述计算机可读存储介质具有被适配为当由具有处理能力的设备执行时执行如权利要求1所述的方法的指令。
12.一种视频流编码器(108)，被适配为以视频编码格式对由视频记录设备(104)捕获的视频流(106)进行编码，其中所述视频编码格式支持将辅助帧(110)纳入编码的视频流(416)，所述辅助帧(110)被所述编码的视频流(416)中的另一帧引用，并且所述辅助帧(110)包括对所述编码的视频流(416)中的另一帧进行补充的图像数据，所述辅助帧包括标记值，所述标记值指示：不旨在当对编码的视频流(416)进行解码时显示所述辅助帧(110)的图像数据、而是将所述辅助帧(110)的图像数据用于与所述另一帧的数据结合以获取要显示的图像数据，其中所述编码器(108)进一步被适配为：
接收由所述视频捕获设备(104)捕获的第一图像数据(106a)，
确定解码时所述视频流的预期分辨率(S502)，
对所述第一图像数据(106a)进行按比例缩小(S504)，以获得按比例缩小的第一图像数据(114)，其中所述按比例缩小的第一图像数据(114)具有低于所述预期分辨率的第一分辨率，
准备空的第一辅助帧(110a)，其中所述第一辅助帧(110a)的图像数据具有等于所述预期分辨率的分辨率，并包括全都具有同一预定义值的比特，
将所述按比例缩小的第一图像数据(114)粘贴(S506)到所述第一辅助帧(110a)的图像数据，
将所述第一辅助帧(110a)编码为帧内帧，
确定第一图像变换，用于将所述第一辅助帧(110a)的图像数据(106a)中的所述按比例缩小的第一图像数据(114)按比例放大为具有所述预期分辨率的按比例放大的第一图像数据，
根据至少一个预定的宏块尺寸，通过对所述第一图像变换导致的像素的移动进行采样来确定(S508)第一移动矢量(120)，并且
将所述第一图像数据(106a)编码成作为引用所述第一辅助帧(110a)的帧间帧的第一帧(112a)，其中所述第一帧(112a)的移动矢量(120)与所述第一移动矢量(120)相对应。
13.一种包括根据权利要求12所述的编码器(108)的系统，所述编码器(108)经数据网络(402)连接到解码器(404)，所述解码器(404)被布置为对以所述编码器(108)的视频编码格式编码的视频流进行解码，其中所述编码器(108)被适配为：
经所述数字网络(402)接收所述预期分辨率，
接收第一分辨率，
根据接收到的所述预期分辨率和接收到的所述第一分辨率对所述视频流(106)进行编码，
经所述数字网络(402)传送编码的视频流(416)，
其中所述解码器(404)被适配为：
经所述数字网络(402)接收所述编码的视频流(416)，
对所述编码的视频流(416)进行解码，以获取解码的视频流。
14.根据权利要求13所述的系统，进一步包括显示器(418)，其中所述编码器(108)进一步被适配为：
确定要被以第三分辨率纳入所述编码的视频流(416)的所述第一图像数据的一部分ROI1(302)，所述第三分辨率高于所述第一分辨率，
将具有所述第三分辨率的所述ROI1(302)粘贴到所述第一辅助帧(110a)的图像数据，以使得所述ROI1(302)不会覆写所述按比例缩小的第一图像数据(114)、或变得被所述按比例缩小的第一图像数据(114)覆写，从而使所述ROI1不与所述按比例缩小的第一图像数据(114)重叠，
确定第四图像变换，用于将具有所述预期分辨率的所述ROI1(302)插入所述按比例放大的第一图像数据，
通过对所述第四图像变换进行采样来确定第四移动矢量，
其中将所述第一图像数据(106a)编码到作为帧间帧的所述第一帧(112a)的步骤包括：将所述第一帧(112a)的移动矢量确定为与所述第一移动矢量(120)和所述第四移动矢量相对应，
其中所述解码器(404)进一步被适配为：
对所述编码的视频流(416)进行解码，以获取解码的视频流，其中所述解码包括从所述第一辅助帧(110a)的图像数据(106)提取所述ROI1(302)，并且
在所述显示器(418)上与所述解码的视频流分离地显示(412)所述ROI1(302)。
15.根据权利要求14所述的系统，其中所述第三分辨率大于所述预期分辨率，其中在所述显示器(418)上与所述解码的视频流分离(412)地显示所述ROI1(302)的步骤包括：在所述显示器(418)上以所述第三分辨率显示所述ROI1(302)。
CN201811197067.3A 2017-10-18 2018-10-15 以支持辅助帧的视频编码格式编码视频流的方法及编码器 Active CN109688410B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP17197037.9 2017-10-18
EP17197037.9A EP3474225B1 (en) 2017-10-18 2017-10-18 Method and encoder for encoding a video stream in a video coding format supporting auxiliary frames

Publications (2)

Publication Number Publication Date
CN109688410A true CN109688410A (zh) 2019-04-26
CN109688410B CN109688410B (zh) 2021-01-29

Family

ID=60138279

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811197067.3A Active CN109688410B (zh) 2017-10-18 2018-10-15 以支持辅助帧的视频编码格式编码视频流的方法及编码器

Country Status (6)

Country Link
US (1) US10616592B2 (zh)
EP (1) EP3474225B1 (zh)
JP (1) JP6854795B2 (zh)
KR (1) KR102118265B1 (zh)
CN (1) CN109688410B (zh)
TW (1) TWI763937B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110248192A (zh) * 2019-06-12 2019-09-17 腾讯科技（深圳）有限公司 编码器切换、解码器切换、屏幕分享方法和屏幕分享系统
CN113556462A (zh) * 2020-04-23 2021-10-26 安讯士有限公司 控制平移倾斜变焦相机

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3713235B1 (en) * 2019-03-19 2023-08-02 Axis AB Methods and devices for encoding a video stream using a first and a second encoder
CN111836080B (zh) * 2019-04-19 2022-07-19 浙江宇视科技有限公司 视频参数优化方法及装置
JP7151654B2 (ja) 2019-07-26 2022-10-12 トヨタ自動車株式会社 検索装置、学習装置、検索システム、検索プログラム、及び学習プログラム
GB201914348D0 (en) * 2019-10-04 2019-11-20 Vaion Ltd Encoding and decoding a video
GB2590152A (en) * 2019-10-04 2021-06-23 Vaion Ltd Encoding and decoding a video
KR102313651B1 (ko) * 2020-05-12 2021-10-15 수니코리아 엘엘씨(한국뉴욕주립대학교) 서버와 클라이언트 장치 간 비디오 스트리밍 방법
JP2022038979A (ja) * 2020-08-27 2022-03-10 ソニーセミコンダクタソリューションズ株式会社 画像処理装置および方法
US20220394073A1 (en) * 2021-06-08 2022-12-08 Comcast Cable Communications, Llc Method and apparatus for determining bitrate switch points
EP4387228A1 (en) 2022-12-15 2024-06-19 Axis AB Method and device for combining image data from two or more encoded image frames

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6057884A (en) * 1997-06-05 2000-05-02 General Instrument Corporation Temporal and spatial scaleable coding for video object planes
US6226327B1 (en) * 1992-06-29 2001-05-01 Sony Corporation Video coding method and apparatus which select between frame-based and field-based predictive modes
EP1351502A1 (en) * 2002-04-03 2003-10-08 STMicroelectronics, Inc. Enhanced resolution video construction method and apparatus
US20040120398A1 (en) * 2002-12-19 2004-06-24 Ximin Zhang System and method for adaptive field and frame video encoding using rate-distortion characteristics
CN104811722A (zh) * 2015-04-16 2015-07-29 华为技术有限公司 一种视频数据的编解码方法及装置
CN106162180A (zh) * 2016-06-30 2016-11-23 北京奇艺世纪科技有限公司 一种图像编解码方法及装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6310919B1 (en) * 1998-05-07 2001-10-30 Sarnoff Corporation Method and apparatus for adaptively scaling motion vector information in an information stream decoder
KR100885443B1 (ko) 2005-04-06 2009-02-24 엘지전자 주식회사 레이어간 예측방식를 사용해 엔코딩된 영상신호를디코딩하는 방법
KR100896279B1 (ko) * 2005-04-15 2009-05-07 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
US8508659B2 (en) * 2009-08-26 2013-08-13 Nxp B.V. System and method for frame rate conversion using multi-resolution temporal interpolation
GB2488815C (en) * 2011-03-09 2018-03-28 Canon Kk Video decoding
US9661340B2 (en) * 2012-10-22 2017-05-23 Microsoft Technology Licensing, Llc Band separation filtering / inverse filtering for frame packing / unpacking higher resolution chroma sampling formats
EP3038370A1 (en) 2014-12-22 2016-06-29 Alcatel Lucent Devices and method for video compression and reconstruction
US20160286226A1 (en) 2015-03-24 2016-09-29 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding
AU2015207825A1 (en) 2015-07-28 2017-02-16 Canon Kabushiki Kaisha Method, apparatus and system for encoding video data for selected viewing conditions

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6226327B1 (en) * 1992-06-29 2001-05-01 Sony Corporation Video coding method and apparatus which select between frame-based and field-based predictive modes
US6057884A (en) * 1997-06-05 2000-05-02 General Instrument Corporation Temporal and spatial scaleable coding for video object planes
EP1351502A1 (en) * 2002-04-03 2003-10-08 STMicroelectronics, Inc. Enhanced resolution video construction method and apparatus
US20040120398A1 (en) * 2002-12-19 2004-06-24 Ximin Zhang System and method for adaptive field and frame video encoding using rate-distortion characteristics
CN104811722A (zh) * 2015-04-16 2015-07-29 华为技术有限公司 一种视频数据的编解码方法及装置
CN106162180A (zh) * 2016-06-30 2016-11-23 北京奇艺世纪科技有限公司 一种图像编解码方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YINJI PIAO 等: "An adaptive divide-and-predict coding for intra-frame of H.264/AVC", 《IMAGE PROCESSING(ICIP),2009 16TH IEEE INTERNATIONAL CONFERENCE ON,IEEE,POSCATAWAY,NJ,USA》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110248192A (zh) * 2019-06-12 2019-09-17 腾讯科技（深圳）有限公司 编码器切换、解码器切换、屏幕分享方法和屏幕分享系统
CN110248192B (zh) * 2019-06-12 2021-10-15 腾讯科技（深圳）有限公司 编码器切换、解码器切换、屏幕分享方法和屏幕分享系统
CN113556462A (zh) * 2020-04-23 2021-10-26 安讯士有限公司 控制平移倾斜变焦相机

Also Published As

Publication number Publication date
KR20190043469A (ko) 2019-04-26
CN109688410B (zh) 2021-01-29
EP3474225A1 (en) 2019-04-24
TWI763937B (zh) 2022-05-11
TW201929547A (zh) 2019-07-16
EP3474225B1 (en) 2019-09-25
US20190116371A1 (en) 2019-04-18
JP2019075783A (ja) 2019-05-16
KR102118265B1 (ko) 2020-06-02
JP6854795B2 (ja) 2021-04-07
US10616592B2 (en) 2020-04-07

Similar Documents

Publication Publication Date Title
CN109688410A (zh) 以支持辅助帧的视频编码格式编码视频流的方法及编码器
CN112913237B (zh) 使用深度神经网络的人工智能编码和人工智能解码方法和设备
JP6121518B2 (ja) ビデオストリームの選択された空間部分を符号化するための方法および装置
CN103650504B (zh) 基于图像捕获参数对视频编码的控制
KR20200044665A (ko) 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
KR100971835B1 (ko) 화상 복호 방법 및 장치
WO2022104498A1 (zh) 帧内预测方法、编码器、解码器以及计算机存储介质
JP6975121B2 (ja) 補助フレームをサポートするビデオコーディングフォーマットでビデオストリームを符号化するための方法およびエンコーダ
CN112465698A (zh) 一种图像处理方法和装置
US9607349B2 (en) Method and device for determining a set of modifiable elements in a group of pictures
CN111510731B (zh) 交通图像的拼接系统及方法
CN111800653B (zh) 视频解码方法、系统、设备及计算机可读存储介质
CN110620924A (zh) 编码数据的处理方法、装置、计算机设备及存储介质
US20190020851A1 (en) Image encoding apparatus, and control method thereof
JP6209026B2 (ja) 画像符号化装置及びその制御方法
JP6905184B2 (ja) 画像圧縮プログラム、画像圧縮装置、及び画像圧縮方法
JP2008028707A (ja) 画質評価装置、符号化装置及び画質評価方法
WO2024198897A1 (zh) 一种视频传输方法、装置、存储介质和系统
WO2023132163A1 (ja) 映像圧縮方法、映像圧縮装置、コンピュータプログラム、及び映像処理システム
JP2009021786A (ja) 画像符号化装置及び画像符号化方法
US9154793B1 (en) Apparatus and method for processing image recorded in black box for vehicle
CN103813170B (zh) 一种视频码流局部内容转换编码系统及方法
WO2020042724A1 (zh) 帧间预测方法、装置以及视频编码器和视频解码器
CN116248888A (zh) 视频标注方法、装置和存储介质
JP2009021736A (ja) 画像符号化装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant