CN112543329B - 视频编码方法和用于减小编码视频的文件大小的方法 - Google Patents

视频编码方法和用于减小编码视频的文件大小的方法 Download PDF

Info

Publication number
CN112543329B
CN112543329B CN202010985007.9A CN202010985007A CN112543329B CN 112543329 B CN112543329 B CN 112543329B CN 202010985007 A CN202010985007 A CN 202010985007A CN 112543329 B CN112543329 B CN 112543329B
Authority
CN
China
Prior art keywords
frames
frame
video stream
encoded video
intra
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010985007.9A
Other languages
English (en)
Other versions
CN112543329A (zh
Inventor
维克托·埃德帕尔姆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Axis AB
Original Assignee
Axis AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Axis AB filed Critical Axis AB
Publication of CN112543329A publication Critical patent/CN112543329A/zh
Application granted granted Critical
Publication of CN112543329B publication Critical patent/CN112543329B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/1883—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit relating to sub-band structure, e.g. hierarchical level, directional tree, e.g. low-high [LH], high-low [HL], high-high [HH]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/39—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability involving multiple description coding [MDC], i.e. with separate layers being structured as independently decodable descriptions of input picture data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/507—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction using conditional replenishment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及视频编码方法和用于减小编码视频的文件大小的方法。该视频编码方法包括：将原始视频数据的一系列图像编码成包括关键帧和增量帧的编码视频流，其中，增量帧以包括多个时间层的分层预测模式被组织。该视频编码方法进一步包括：针对关键帧中的至少一些关键帧，将隐藏增量帧添加到编码视频流。每个隐藏增量帧：对应于关键帧、基于与所对应的关键帧相同的原始视频数据并且参考编码视频流中的先前关键帧。另外，公开了一种减小根据该视频编码方法编码的视频流的文件大小的方法。

Description

视频编码方法和用于减小编码视频的文件大小的方法
技术领域
本发明涉及视频编码方法。本发明还涉及一种减小根据该视频编码方法编码的编码视频流的文件大小的方法。另外，被配置为执行该视频编码方法的解码器以及处理器形成本发明的部分，该处理器被配置为执行减小根据该视频编码方法编码的编码视频流的文件大小的方法。
背景技术
针对捕获的视频(例如，针对监控视频)，存在对长期视频存储的日益增长的需求。然而，长期视频存储需要存储空间。一些用于减小长期视频存储的存储空间的可用选项是接受针对已被长时间存储的未使用视频的较低质量和/或较低帧速率。然而，这通常需要对未使用视频的转码。
另一不需要转码的选项是，针对编码视频流首先移除增量帧(在H.264情况下的P-帧和/或B-帧)，并且其后移除关键帧(在H.264情况下的I-帧)。因为关键帧是文件大小的主要贡献者，从仅移除增量帧(delta frame)中将会收益甚微。因此，为了节省文件大小，视频流中的许多信息需要被移除。
因此，存在对不需要转码和/或不用牺牲太多视频流的信息而减小未使用视频的文件大小的方法的需要。
发明内容
目标在于缓解、减轻或消除本领域中的上述缺陷和单一或任何组合中的不足中的一个或多个，并且至少部分解决上述问题。
根据第一方面，提供了一种视频编码方法。该视频编码方法包括：将原始视频数据的一系列图像编码成包括关键帧和增量帧的编码视频流。结合编码，增量帧以包括多个时间层的分层预测模式被组织。该方法进一步包括：针对关键帧中的至少一些关键帧，将隐藏增量帧添加到编码视频流，其中，每个隐藏增量帧：对应于关键帧、基于与所对应的关键帧相同的原始视频数据并且参考编码视频流中的先前关键帧。
本方法提供具有帧结构的编码视频流，该帧结构提供对编码视频流的方便和容易处理的文件大小减小。这因为至少一些关键帧可稍后被对应的隐藏增量帧取代。因此，具有通过本方法所得到的帧结构的编码视频流的文件大小，可稍后通过用对应的隐藏增量帧取代一个或多个关键帧的容易处理的技巧而被减小。相应地，提供了具有改进的帧结构的编码视频流。在该编码视频流中的改进层可以以简单且容易的处理方式在稍后的时间点上被减小文件大小。
每个隐藏增量帧可直接参考编码视频流中的先前关键帧。
编码视频流中的至少两个随后隐藏增量帧可直接参考编码视频流中的同一先前关键帧。
在编码视频流中，奇数增量帧可直接或间接参考每个关键帧。
分层预测模式可包括两个或更多个时间层。
根据第二方面，提供了一种非瞬态计算机可读存储介质。该非瞬态计算机可读存储介质具有存储在其上的指令，指令用于当在具有处理能力的设备上执行时，实现根据第一方面所述的方法。
根据第三方面，提供了一种减小根据第一个方面所述的方法编码的编码视频流的文件大小的方法。减小编码视频流的文件大小的方法包括：用对应的增量帧取代编码视频流中的一个或多个关键帧。通过以下方式执行取代：从编码视频流中移除一个或多个关键帧以及取消对与所移除的一个或多个关键帧相对应的隐藏增量帧的隐藏。从而，形成具有减小的文件大小的编码视频流。这是因为，通常增量帧比关键帧占用更少的存储器空间。
减小编码视频流的文件大小的方法可进一步包括：移除分层预测模式的上部时间层中的增量帧。这样做，文件大小可被进一步减小。进一步，通过这样做，可减小(通常减半)编码视频流的帧速率。
用增量帧取代编码视频流中的一个或多个关键帧的步骤可针对编码视频流中的每一个第二关键帧执行。
减小编码视频流的文件大小的方法可进一步包括：用增量帧取代具有减小的文件大小的编码视频流中的一个或多个关键帧。再次，该取代可通过以下方式执行：从具有减小的文件大小的编码视频流中移除一个或多个关键帧，以及取消对与所移除的一个或多个关键帧相对应的隐藏增量帧的隐藏。从而形成具有进一步减小的文件大小的编码视频流。
根据第四方面，提供了一种非瞬态计算机可读存储介质。该非瞬态计算机可读存储介质具有存储在其上的指令，指令用于当在具有处理能力的设备上执行时，实现根据第三方面所述的方法。
根据第五方面，提供了一种视频编码器。该视频编码器被配置为将视频数据的一系列图像编码成包括关键帧和增量帧的编码视频流，其中，增量帧以包括多个时间层的分层预测模式被组织。该编码器进一步被配置为：针对关键帧中的至少一些关键帧，将隐藏增量帧添加到编码视频流。每个隐藏增量帧：对应于关键帧、基于与所对应的关键帧相同的原始视频数据并且参考编码视频流中的先前关键帧。
视频编码器可被实现在视频摄像机中。
根据第六方面，提供了一种视频管理服务器。该视频管理服务器被配置为：减小根据第一方面所述的方法编码的或由根据第五方面所述的视频编码器编码的编码视频流的文件大小。该视频管理服务器包括处理电路，该处理电路被配置为：使用关键帧取代功能来用对应的增量帧取代编码视频流中的一个或多个关键帧，其中，关键帧取代功能被配置为：从编码视频流中移除一个或多个关键帧以及取消对与所移除的一个或多个关键帧相对应的隐藏增量帧的隐藏。
处理电路可进一步被配置为：使用增量帧移除功能来移除编码视频流的分层预测模式的上部时间层中的增量帧。
本发明的进一步的适应性范围将从下面给出的详细描述中变得明显。然而，应理解的是，虽然指示本发明的优选实施例，但是详细描述和特定示例仅通过说明的方式给出，因为从该详细描述中本发明范围内的各种变化和修改对于本领域技术人员将变得明显。
因此，要理解的是，本发明不限于所述设备的特定组成部分或所述方法的动作，因此设备和方法可改变。还要理解的是，本文所使用的术语仅是为了描述特定实施例的目的，并且不意在限制。必须注意的是，如说明书和所附权利要求书中所使用的，冠词“一”、“该”以及“所述”意在意味着存在一个或多个元件，除非上下文另外明确规定。因此，例如，对“一单元”或“该单元”的参考可包括几个设备等。此外，词语“包括”、“包含”、“含有”以及类似用词不排除其他元件或步骤。
附图说明
现在将参照附图更详细地描述本发明的上面和其他方面。附图不应被认为是限制性的，相反它们用于解释和理解。
如在图中所图示的，层和区域的大小可为了图示的目的而被夸大，并且因此，被提供以图示一般结构。贯穿全文，相同的附图标记指的是相同的元件。
图1示意性地图示编码器。
图2示意性地图示包括图1的编码器的摄像机。
图3示意性地图示根据现有技术的编码视频流的帧结构。
图4示意性地图示根据本发明的编码视频流的帧结构。
图5是视频编码方法的框图。
图6是减小编码视频流的文件大小的方法的框图。
图7示意性地图示图4中图示的编码视频流的文件大小的减小。
图8示意性地图示图7中图示的编码视频流的文件大小的减小。
图9示意性地图示视频管理服务器。
具体实施方式
现在，在下文中将参照其中示出了本发明的当前优选实施例的附图更充分地描述本发明。然而，本发明可以以许多不同的形式体现并且不应被解释为限于本文阐述的实施例；相反，这些实施例为了彻底性和完整性而被提供，并且被提供以向技术人员充分地传达本发明的范围。
结合图1的视频编码系统100。视频编码系统100包括视频源102、编码器110以及存储器120。编码器110被配置为将视频数据的一系列图像编码成编码视频流。采用一系列图像形式的视频数据从视频源102接收。视频源可以是图像传感器。视频编码器110可被设定为使用任何合适的编码方案。非限制性的示例是H.264、H.265以及AV1。视频编码器100可与存储器120进行通信。存储器120在视频数据的编码期间可被用作缓冲存储器。存储器120可包括多个存储器部分中的一个。特定存储器部分可以是易失性存储器部分。特定存储器部分可以是非易失性存储器部分。因此，存储器120可包括易失性存储器部分和非易失性存储器部分两者。
如图2中所图示，视频编码系统100可在视频摄像机200中实现。视频摄像机200可以是数字视频摄像机。视频摄像机200可以是监控摄像机。视频摄像机200可以是被安装在诸如车辆的运动物体上的视频摄像机。视频摄像机200可由人穿戴。
视频编码器100被配置为将视频数据的一系列图像编码成编码视频流。视频编码器100被配置为将视频流的一些图像编码为关键帧。关键帧是不需要来自要被解码的其他编码视频帧的信息的编码视频帧。因此，关键帧基于来自视频数据的被设定为与之相对应的图像的信息被编码。通常，图像内的相似度被用来将图像编码成关键帧。在视频编码中，关键帧也被认为是帧内帧，经常被称为I-帧。视频编码器100进一步被配置为将视频流的在两个关键帧中间的图像编码为增量帧。通常，增量帧只包括从一帧到下一帧所发生的变化。增量帧通常比关键帧包括更少的数据。在视频编码中，增量帧也被认为是帧间帧，经常被称为P-帧或B-帧。P-帧参考先前帧以用于数据参考。因此，为了对P-帧进行解码，先前帧的内容必须是已知的。B-帧可参考先前帧和前向帧两者以用于数据参考。因此，为了对B-帧进行解码，先前帧和前向帧两者的内容必须是已知的。
进一步，视频编码器100被配置为以包括多个时间层的分层预测模式被组织。因此，编码视频流以多个分层组织的图片组(GOP)被编码。每个分层组织的GOP包括关键帧和多个分层组织的增量帧。分层组织的增量帧以时间层被组织。
这种包括I-帧和P-帧的分层预测模式的示例在图3中被图示。在图3中，每四帧为一I-帧示例被图示，并且分层预测模式导致P-帧的两个时间层。这种编码方式通常指的是分层编码结构。在分层编码结构中，参考结构的分层帧导致编码视频流的时间分层。值得注意的是，帧结构应被视为连续的帧流。向上扩展的分支的使用仅是用来明确分层编码结构的结构和分层预测模式的分层结构。
至此，视频编码器100被设定为根据已知的编码方案进行编码。因此，结合图3所公开的是根据分层编码结构的现有技术编码方案。然而，根据本发明，视频编码器100进一步被配置为针对关键帧中的至少一些关键帧将隐藏增量帧添加到编码视频流。隐藏增量帧被视为编码视频流中的当解码器对视频流进行解码时通常不被在解码器侧处的解码器输出的帧。因此，隐藏增量帧例如可以是非显示帧或辅助帧。另一种用于指示隐藏帧的方式是根据可用的标准(非指定的)使用报头中的位或位组合。例如，在H.264和H.265标准中，网络抽象层(NAL)单元被提供有包括NAL单元的类型的报头信息。指示可通过设定与增量帧相关联的NAL值、NAL单元的单元类型来提供。该值可被设定为指示NAL单元不应被标准化的解码器解码。因此，通过以这种方式提供指示，标准化的编码器将自动无视与NAL单元相关联的增量帧。因此，提供了隐藏增量帧。NAL值可稍后被重写以“取消”对隐藏增量帧的“隐藏”。
视频编码器100被配置为基于视频数据的与特定的隐藏增量帧所对应的关键帧相同的图像对特定的隐藏增量帧进行编码。因此，特定的隐藏增量帧基于与对应的关键帧所基于的相同的原始视频数据被编码。因此，每个隐藏增量帧与关键帧相对应。进一步，视频编码器100被配置为将先前关键帧用作隐藏增量帧的参考帧。因此，隐藏增量帧被设定为参考编码视频流中的先前关键帧。更准确地，可以说，隐藏增量帧被设定为直接参考编码视频流中的先前关键帧。
根据本发明的通过视频编码器100被编码的编码视频流的结构结合图4被图示。在图4中，隐藏增量帧被使用虚线图示。进一步，在图4中，隐藏增量帧被图示为P-帧，但也可使用其他种类的增量帧。使用先前关键帧作为隐藏增量帧的参考帧在图4中被用虚线箭头图示。
视频编码器100可进一步被配置为在编码视频流中使用同一先前关键帧作为两个或更多个后续隐藏增量帧的参考帧。因此，两个或更多个后续隐藏增量帧可直接参考编码视频流中的同一先前关键帧。
结合图5，将论述被配置为将原始视频数据的一系列图像编码成编码视频流的视频编码方法500。视频编码方法可被配置为对由摄像机捕获的视频数据进行编码。摄像机可以是监控摄像机。视频处理方法包括以下步骤/动作。
将原始视频数据的一系列图像编码S502成包括关键帧和增量帧的编码视频流。上面结合视频编码器100论述了关键帧和增量帧，并且参考上面的论述以避免过度的重复。在编码S502期间，增量帧以包括多个时间层的分层预测模式被组织。上面结合视频编码器100论述了分层预测模式，并且参考上面的论述以避免过度的重复。
针对关键帧中的至少一些关键帧，将隐藏增量帧添加S504到编码视频流。隐藏增量帧例如可以是非显示帧或辅助帧。每个特定的隐藏增量帧基于视频数据的与它所对应的关键帧相同的图像。因此，特定的隐藏增量帧基于与对应的关键帧所基于的相同的原始视频数据被编码。因此，每个隐藏增量帧与关键帧相对应。进一步，先前关键帧被用作隐藏增量帧的参考帧。因此，隐藏增量帧被设定为参考编码视频流中的先前关键帧。根据本方法500编码的编码视频流的结构结合图4被图示。如上所述，在图4中，隐藏增量帧使用虚线被图示。进一步，在图4中，隐藏增量帧被图示为P-帧，但也可使用其他种类的增量帧。
结合图6，将论述减小根据视频编码方法500编码的编码视频流的文件大小的方法600。减小编码视频流的文件大小的方法600包括用对应的增量帧取代S602编码视频流中的一个或多个关键帧的步骤。取代S602通过从编码视频流中移除一个或多个关键帧以及取消对与所移除的一个或多个关键帧相对应的隐藏增量帧的隐藏而执行。由此，减小了编码视频流的文件大小。因此，可形成具有减小的文件大小的编码视频流。这是因为，与增量帧相比，通常关键帧占用更多的存储器空间。因此，通过用增量帧取代关键帧，减小了编码视频流的文件大小。
用增量帧取代S602编码视频流中的一个或多个关键帧的步骤可针对编码视频流中的每一个第二关键帧执行。
减小编码视频流的文件大小的方法600可进一步包括移除S604分层预测模式的上部时间层中的增量帧。由此，具有减小的文件大小的编码视频流的文件大小可被进一步减小。这是因为，帧被从编码视频流中删除。这个步骤也导致编码视频流的帧速率被减小，其被减半。
结合图7，将减小文件大小的方法600第一次应用于由视频编码方法500编码的、结合图5所图示的编码视频流的结果被图示。如图5的顶部中可看出，每一个第二关键帧(在每一个第二I-帧的情况下)被对应的隐藏增量帧(在隐藏P-帧的情况下)取代。进一步，如通过在上部时间层P-帧上画叉字形所图示，在分层预测模式的上部时间层中的增量帧(在P-帧的情况下)被移除。具有减小的文件大小的结果编码视频流在图7的下部中被图示。
减小文件大小的方法600可进一步被应用于通过对由视频编码方法500编码的编码视频流第一次应用方法600而获得的、具有减小的文件大小的结果编码视频流。减小文件大小的方法600的这种第二次运行的结果结合根据与图7相同的方案制作的图8被图示。
结合图9，视频管理服务器900被配置为减小由上述视频编码器100编码的或根据上述视频编码方法500编码的编码视频流的文件大小。视频管理服务器900可包括处理电路902、收发器906和存储器908。
收发器906被配置为从视频管理服务器900接收信息和/或将信息发送到视频管理服务器900。具体地，收发器906可被配置为接收由上述视频编码器100编码的或根据上述视频编码方法500编码的编码视频流。
存储器908可以是缓冲器、闪存、硬盘驱动器、可移动介质、易失性存储器、非易失性存储器、随机存取存储器(RAM)或另一合适的设备中的一个或多个。在典型设置中，存储器908可包括用于长期数据存储的非易失性存储器和用作处理电路902的系统存储器的易失性存储器。处理器908可在数据总线之上与处理电路902交换数据。还可以存在存储器908和处理电路908之间的伴随控制线和地址总线。存储器可进一步被配置为存储编码视频流。
处理电路902被配置为执行视频管理服务器900的整体功能。处理电路902可包括诸如中央处理单元(CPU)、微控制器或微处理器的处理器904。处理器904被配置为执行存储在存储器908中的程序代码，以便执行视频管理服务器900的功能。
视频管理服务器900的功能可以以存储在视频管理服务器900的非瞬态计算机可读介质(例如，存储器908)上且由处理电路902(例如，使用处理器904)执行的可执行逻辑例程(例如，代码行、软件程序等)的形式体现。此外，视频管理服务器900的功能可以是独立的软件应用或形成执行与视频管理服务器900有关的附加任务的软件应用的一部分。所述功能可被认为是对应的设备被配置以执行的方法。另外，尽管所述功能可以以软件实现，但是这种功能也可经由专用硬件或固件、或某些硬件、固件和/或软件的组合来执行。
处理电路902可执行关键帧取代功能910。关键帧取代功能910被配置为用对应的增量帧取代编码视频流中的一个或多个关键帧。更准确地，关键帧取代功能910被配置为通过从编码视频流中移除一个或多个关键帧以及取消对与所移除的一个或多个关键帧相对应的隐藏增量帧的隐藏来执行取代。通过执行关键帧取代功能910，可减小编码视频流的文件大小，并且形成减小的大小的编码视频流。这在上面结合减小编码视频流的文件大小的方法600更详细地论述了。参考以上以避免过度的重复。
处理电路902可执行增量帧移除功能912。增量帧移除功能912被配置为移除编码视频流的分层预测模式的上部时间层中的增量帧。通过执行增量帧移除功能912，可减小编码视频流的文件大小，并且形成减小的大小的编码视频流。这在上面结合减小编码视频流的文件大小的方法600更详细地论述了。参考以上以避免过度的重复。
本领域技术人员会意识到，本发明决不限于上述优选实施例。相反，在所附的权利要求范围内的许多修改和变型是可能的。
例如，视频编码器100可被配置为将视频数据的一系列图像编码成编码视频流，使得奇数增量帧直接或间接参考特定关键帧。
而且，结合移除分层预测模式的上部时间层中的增量帧，所移除的增量帧可用空帧取代。这样做，尽管视频流中的信息将被减少，但是帧速率将被维持。空帧不包括信息，相反空帧参考更早的帧，这种更早的帧还可被称为跳帧。用空帧取代增量帧可尤其适用于需要修复两个帧之间的时间段的解码器。
此外，上面提到的用于视频编码的方法可使用诸如SVC、SHVC和SVT的可扩展的视频编解码器来使用。
此外，公开的实施例的变型可在由技术人员通过学习附图、公开的内容和所附的权利要求而实践所要求保护的发明时理解和实现。

Claims (14)

1.一种减小编码视频流的文件大小的方法，包括：
将原始视频数据的一系列图像编码(S502)成包括帧内帧和帧间帧的编码视频流，其中，所述帧间帧是P帧和/或B帧并且以包括多个时间层的分层预测模式被组织；
其特征在于：
针对所述帧内帧中的至少一些帧内帧，将隐藏帧间帧添加(S504)到所述编码视频流，其中，每个隐藏帧间帧：
是所述编码视频流中的被设定为当解码器对所述视频流进行解码时不被在解码器侧处的所述解码器输出的帧，
对应于帧内帧，
基于与所述隐藏帧间帧相对应的所述帧内帧相同的原始视频数据，并且
参考所述编码视频流中的先前帧内帧；以及
通过以下方式用对应的帧间帧取代(S602)所述编码视频流中的一个或多个帧内帧：
从所述编码视频流中移除所述一个或多个帧内帧，以及
取消对与所移除的一个或多个帧内帧相对应的所述隐藏帧间帧的隐藏；
从而形成具有减小的文件大小的所述编码视频流。
2.根据权利要求1所述的方法，其中，每个隐藏帧间帧直接参考所述编码视频流中的先前帧内帧。
3.根据权利要求1所述的方法，其中，所述编码视频流中的至少两个随后隐藏帧间帧直接参考所述编码视频流中的同一先前帧内帧。
4.根据权利要求1所述的方法，其中，在所述编码视频流中，奇数帧间帧直接或间接参考每个帧内帧。
5.根据权利要求1所述的方法，所述分层预测模式包括两个或更多个时间层。
6.一种非瞬态计算机可读存储介质，所述非瞬态计算机可读存储介质上存储有指令，所述指令用于当在具有处理能力的设备上执行时，实现根据权利要求1所述的方法。
7.根据权利要求1所述的方法，进一步包括：
移除(S604)所述分层预测模式的上部时间层中的帧间帧。
8.根据权利要求1所述的方法，其中，用帧间帧取代所述编码视频流中的一个或多个帧内帧的步骤针对所述编码视频流中的每一个第二帧内帧执行。
9.一种用于进一步减小根据权利要求1形成的、具有减小的文件大小的所述编码视频流的所述文件大小的方法，所述方法包括：
通过以下方式用帧间帧取代根据权利要求1形成的、具有减小的文件大小的所述编码视频流中的一个或多个帧内帧：
从根据权利要求1形成的、具有减小的文件大小的所述编码视频流中移除所述一个或多个帧内帧，以及
取消对与所移除的一个或多个帧内帧相对应的所述隐藏帧间帧的隐藏；
从而形成具有进一步减小的文件大小的编码视频流。
10.一种非瞬态计算机可读存储介质，所述非瞬态计算机可读存储介质上存储有指令，所述指令用于当在具有处理能力的设备上执行时，实现根据权利要求9所述的方法。
11.一种视频编码器，被配置为：
将视频数据的一系列图像编码(S502)成包括帧内帧和帧间帧的编码视频流，其中，所述帧间帧是P帧和/或B帧并且以包括多个时间层的分层预测模式被组织；
针对所述帧内帧中的至少一些帧内帧，将隐藏帧间帧添加(S504)到所述编码视频流，其中，每个隐藏帧间帧：
是所述编码视频流中的被设定为当解码器对所述视频流进行解码时不被在解码器侧处的所述解码器输出的帧，
对应于帧内帧，
基于与所述隐藏帧间帧相对应的所述帧内帧相同的原始视频数据，并且
参考所述编码视频流中的先前帧内帧；以及
通过以下方式用对应的帧间帧取代(S602)所述编码视频流中的一个或多个帧内帧：
从所述编码视频流中移除所述一个或多个帧内帧，以及
取消对与所移除的一个或多个帧内帧相对应的所述隐藏帧间帧的隐藏；
从而形成具有减小的文件大小的所述编码视频流。
12.根据权利要求11所述的视频编码器，被实现在视频摄像机中。
13.一种视频管理服务器，所述视频管理服务器包括：
收发器(906)，所述收发器(906)被配置为接收编码视频流，其中，所述编码视频流通过以下方式生成：
将原始视频数据的一系列图像编码(S502)成包括帧内帧和帧间帧，其中，所述帧间帧是P帧和/或B帧并且以包括多个时间层的分层预测模式被组织；以及
针对所述帧内帧中的至少一些帧内帧，将隐藏帧间帧添加(S504)到所述编码视频流，其中，每个隐藏帧间帧：
是所述编码视频流中的被设定为当解码器对所述视频流进行解码时不被在解码器侧处的所述解码器输出的帧，
对应于帧内帧，
基于与所述隐藏帧间帧相对应的所述帧内帧相同的原始视频数据，并且参考所述编码视频流中的先前帧内帧；以及
处理电路(902)，所述处理电路(902)被配置为：使用关键帧取代功能(910)来用对应的帧间帧取代(S602)所述编码视频流中的一个或多个帧内帧，其中，所述关键帧取代功能(910)被配置为：从所述编码视频流中移除所述一个或多个帧内帧以及取消对与所移除的一个或多个帧内帧相对应的所述隐藏帧间帧的隐藏。
14.根据权利要求13所述的视频管理服务器，其中，所述处理电路(902)进一步被配置为：使用增量帧移除功能(912)来移除(S604)所述编码视频流的所述分层预测模式的上部时间层中的帧间帧。
CN202010985007.9A 2019-09-23 2020-09-18 视频编码方法和用于减小编码视频的文件大小的方法 Active CN112543329B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP19198966.4 2019-09-23
EP19198966.4A EP3796652B1 (en) 2019-09-23 2019-09-23 Video encoding method and method for reducing file size of encoded video

Publications (2)

Publication Number Publication Date
CN112543329A CN112543329A (zh) 2021-03-23
CN112543329B true CN112543329B (zh) 2023-07-04

Family

ID=68051715

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010985007.9A Active CN112543329B (zh) 2019-09-23 2020-09-18 视频编码方法和用于减小编码视频的文件大小的方法

Country Status (4)

Country Link
US (1) US11457228B2 (zh)
EP (1) EP3796652B1 (zh)
JP (1) JP7374872B2 (zh)
CN (1) CN112543329B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113259673B (zh) * 2021-07-05 2021-10-15 腾讯科技（深圳）有限公司 伸缩性视频编码方法、装置、设备及存储介质
CN114302177B (zh) * 2021-11-18 2024-02-06 中国船舶重工集团公司第七0九研究所 一种面向流媒体存储系统的数据安全管理方法及系统
CN115086780A (zh) * 2022-07-07 2022-09-20 北斗星通智联科技有限责任公司 一种视频流传输方法、系统、装置和终端设备

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2208950A1 (en) * 1996-07-03 1998-01-03 Xuemin Chen Rate control for stereoscopic digital video encoding
GB0600217D0 (en) 2006-01-06 2006-02-15 Forbidden Technologies Plc A method of compressing video data and a media player for implementing the method
KR20090129412A (ko) * 2007-03-02 2009-12-16 엘지전자 주식회사 비디오 신호 디코딩/인코딩 방법 및 장치
WO2008133455A1 (en) * 2007-04-25 2008-11-06 Lg Electronics Inc. A method and an apparatus for decoding/encoding a video signal
CN101272494B (zh) 2008-01-25 2011-06-08 浙江大学 利用合成参考帧的视频编解码方法及装置
EP2224745B1 (en) * 2009-02-27 2019-11-06 STMicroelectronics Srl Temporal scalability in case of scene changes
US20110090965A1 (en) * 2009-10-21 2011-04-21 Hong Kong Applied Science and Technology Research Institute Company Limited Generation of Synchronized Bidirectional Frames and Uses Thereof
CN102075756B (zh) 2011-01-27 2012-10-24 北京视博云科技有限公司 视频多帧预测编解码方法和装置
US9578333B2 (en) * 2013-03-15 2017-02-21 Qualcomm Incorporated Method for decreasing the bit rate needed to transmit videos over a network by dropping video frames
US10506230B2 (en) * 2017-01-04 2019-12-10 Qualcomm Incorporated Modified adaptive loop filter temporal prediction for temporal scalability support
EP3396952B1 (en) * 2017-04-25 2019-04-17 Axis AB Method and image processing unit for forming a video stream
EP3474548A1 (en) * 2017-10-18 2019-04-24 Axis AB Method and encoder for encoding a video stream in a video coding format supporting auxiliary frames
JP6641344B2 (ja) * 2017-12-05 2020-02-05 三菱電機株式会社 符号化装置
US10904540B2 (en) * 2017-12-06 2021-01-26 Avago Technologies International Sales Pte. Limited Video decoder rate model and verification circuit
EP3499870B1 (en) * 2017-12-14 2023-08-23 Axis AB Efficient blending using encoder

Also Published As

Publication number Publication date
JP7374872B2 (ja) 2023-11-07
EP3796652B1 (en) 2022-05-18
US20210092412A1 (en) 2021-03-25
CN112543329A (zh) 2021-03-23
EP3796652A1 (en) 2021-03-24
US11457228B2 (en) 2022-09-27
JP2021064938A (ja) 2021-04-22

Similar Documents

Publication Publication Date Title
CN112543329B (zh) 视频编码方法和用于减小编码视频的文件大小的方法
CN115623200B (zh) 神经网络驱动型编解码器
US11050903B2 (en) Video encoding and decoding
JP6087940B2 (ja) 復号化ピクチャ・バッファおよび参照ピクチャ・リストのための状態情報のシグナリング
US9210430B2 (en) Reference picture set signaling and restriction on an electronic device
US8693793B2 (en) Reducing reference picture set signal overhead on an electronic device
HUE028853T2 (en) Indication of reference image
JP2015501098A5 (zh)
JP5869047B2 (ja) デジタルビデオデータを符号化するための方法
US8805098B2 (en) Inter reference picture set signaling and prediction on an electronic device
CN117834916A (zh) 访问单元中图片信息的信令
EP2959688B1 (en) Coding and decoding of a picture block
KR102114520B1 (ko) 화상 블록의 코딩 및 디코딩 방법들, 대응하는 디바이스들 및 데이터 스트림
GB2486901A (en) Video encoding and decoding with improved error resilience
CN111194552A (zh) 运动补偿参考帧压缩
CN118044197A (zh) 用于视频处理的方法、装置和介质
CN118077200A (zh) 用于视频处理的方法、装置和介质
KR20120110609A (ko) 계층적 영상 부호화 및 복호화 방법 및 이러한 방법을 사용하는 장치
KR20130107094A (ko) 부호화 효율을 높인 인트라 프레임 처리 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant