CN110677672B - 用于对具有叠加的视频进行编码的方法和系统 - Google Patents

用于对具有叠加的视频进行编码的方法和系统 Download PDF

Info

Publication number
CN110677672B
CN110677672B CN201910554268.2A CN201910554268A CN110677672B CN 110677672 B CN110677672 B CN 110677672B CN 201910554268 A CN201910554268 A CN 201910554268A CN 110677672 B CN110677672 B CN 110677672B
Authority
CN
China
Prior art keywords
image frame
output image
additional
frame
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910554268.2A
Other languages
English (en)
Other versions
CN110677672A (zh
Inventor
亚历山大·特雷松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Axis AB
Original Assignee
Axis AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Axis AB filed Critical Axis AB
Publication of CN110677672A publication Critical patent/CN110677672A/zh
Application granted granted Critical
Publication of CN110677672B publication Critical patent/CN110677672B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/27—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding involving both synthetic and natural picture components, e.g. synthetic natural hybrid coding [SNHC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/16—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter for a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)

Abstract

本发明涉及一种用于对具有叠加的视频进行编码的方法和系统。该方法包括：接收包括第一输入图像帧和第二输入图像帧的图像序列，将叠加添加到第一输入图像帧和第二输入图像帧，从而生成包括第一生成图像帧和第二生成图像帧的叠加图像序列，以及编码包含不具有叠加的输出图像帧和相应的具有叠加的输出图像帧的视频流。第一输入图像帧被编码为帧内帧(S41)，以形成第一输出图像帧。第二输入图像帧参考第一输出图像帧被编码为帧间帧(43)，以形成第二输出图像帧。第一生成图像帧参考第一输出图像帧被编码为帧间帧(S42)，以形成第一叠加输出图像帧。第二生成图像帧被编码为帧间帧(S44)，以形成第二叠加输出图像帧。

Description

用于对具有叠加的视频进行编码的方法和系统
技术领域
本发明涉及视频编码领域，并且更具体地，涉及对具有一个或多个叠加的视频进行编码。
背景技术
当显示视频时，在许多情况下期望在视频上应用叠加。例如，在监视场景中，具有示出当捕获视频时的时间戳是有用的。如果可以在一个位置(诸如控制中心)查看来自多个不同相机的视频，则在对标签(例如，指示“相机5”或“装卸口”)进行显示的情况下，操作员可以更容易地定位捕获特定视频序列的位置。如果在视频上运行视频分析，则可以以叠加的形式应用事件指示符。作为示例，如果对象检测算法检测到人，则可以将该人周围的边界框应用为视频上的叠加。标识形式的叠加广泛用于广播，并且还可以用于诸如监视的其他应用。这种标识通常是静态的，但是可以是动态的，例如用于指示视频流仍然是激活的，即使捕获的场景是静态的。类似地，字幕可以应用为叠加。叠加的另一个应用是一个视频流显示在另一个视频流的前面的画中画。
叠加可以以不同方式应用于视频。一种常见的方法是在要应用叠加的像素位置中用叠加的像素数据替换捕获的视频的像素数据。这意味着这些位置中的原始像素数据会丢失。
在广播中，叠加的应用通常不成问题，因为诸如电影或电视节目的原始视频序列通常以区域后来被例如不重要的电视台标识覆盖的方式捕获。视频序列通常也可以从没有叠加的生产公司获得。在诸如监视的其他应用中，场景中的事件几乎不被改编为脚本，并且感兴趣的细节或对象可能出现在将被叠加覆盖的区域中。有时，这只会让操作员烦恼，但对于取证(forensic)的使用，这可能是至关重要的。
该问题的一个解决方案是传输和存储具有叠加和不具有叠加两者的视频序列。然而，如果要保持足够的图像质量，传输带宽可能使这变得不可行。此外，存储相同视频序列的两个版本增加了对存储容量的需求，这通常是监视或监控系统的大部分成本的原因。
因此，存在用于对具有叠加的视频进行编码的改进的方法和系统的需要。
发明内容
本发明的一个目的是提供一种使得可以访问由叠加覆盖的视频数据的编码视频的方法。
本发明的又一个目的是提供一种对具有叠加的视频进行编码的方法，其使得可以在保持可接受的图像质量的同时限制带宽和存储要求。
本发明的另一个目的是提供一种用于对具有叠加的视频进行编码的系统，其改善了编码视频的取证可用性。
又一个目的是提供一种编码系统，其能够提供有用的视频而不会过度增加对传输带宽或存储容量的需求。
根据第一方面，通过对视频数据进行编码的方法全部或至少部分地实现这些和其他目的，包括：接收包括第一输入图像帧和第二输入图像帧的图像序列，接收要应用于图像序列的叠加，叠加包括图片元素和用于将图片元素定位在第一输入图像帧和第二输入图像帧中的空间坐标，根据空间坐标将图片元素添加到第一输入图像帧和第二输入图像帧，从而生成包括第一生成图像帧和第二生成图像帧的叠加图像序列，对包含没有叠加的输出图像帧和相应的具有叠加的输出图像帧的视频流进行编码，其中：第一输入图像帧被编码为帧内帧，以形成第一输出图像帧，第二输入图像帧参考第一输出图像帧被编码为帧间帧，以形成第二输出图像帧，第一生成图像帧参考第一输出图像帧被编码为帧间帧，以形成第一叠加输出图像帧，第二生成图像帧被编码为帧间帧，以形成第二叠加输出图像帧，其中第二生成图像帧的第一部分参考第一叠加输出图像帧被编码，并且第二生成图像帧的第二部分参考第二输出图像帧被编码。这种方法使得有可能以有效的方式传输具有叠加和不具有叠加的视频。通过明智地选择具有叠加或不具有叠加的哪个帧作为参考帧，可以抑制如果视频简单地与叠加和不与叠加分别进行编码而发生的比特率增加。
第一输出图像帧和第一叠加输出图像帧两者都可以用第一图片顺序计数编码，并且第二输出图像帧和第二叠加输出图像帧两者都可以用第二图片顺序计数编码。以这种方式，可以通知解码器输出图像帧和叠加输出图像帧是同一帧的版本。
在该方法的一些变型中，第一输出图像帧和第二输出图像帧每个被用非显示指示符编码。以这种方式，即使所编码的序列还包含不具有叠加的图像帧，但也仅显示具有叠加的图像帧。取决于所使用的视频压缩标准，非显示指示符可以采用诸如“非显示SEI消息”或“非显示标志”的不同的形式。
第二生成帧的第一部分可以包含图片元素的至少一部分。因此，如果第二生成帧的宏块或像素组位于应用叠加的位置，则可以参考第一叠加输出图像帧对该宏块或像素组进行编码。这利用了第一生成帧和第二生成帧之间的时间冗余，特别是如果叠加是静态的。第一部分可以是宏块或相应的编码单元，或多个这样的宏块或编码单元。
第二生成帧的第二部分可以在叠加的空间坐标之外。因此，如果第二生成帧的宏块或像素组位于未应用叠加的位置，则可以参考第二输出图像帧对该宏块或像素组进行编码。因此，编码可以是有效的，因为使用编码的第二输出图像，除了叠加之外通常与第二叠加输出图像帧相同，使得不必重复编码工作。以与针对第一部分所讨论的相同的方式，第二部分可以是宏块或对应的编码单元，或者多个这样的宏块或编码单元。
在一些变型中，该方法进一步包括：接收要应用于图像序列的附加叠加，附加叠加包括附加图片元素和用于将附加图片元素定位在第一输入图像帧和第二输入图像帧中的附加空间坐标，根据附加空间坐标将附加图片元素添加到第一输入图像帧和第二输入图像帧，从而生成包括第一附加生成图像帧和第二附加生成图像帧的附加叠加图像序列，其中对包含不具有叠加的输出图像帧和相应的具有叠加的输出图像帧的视频流进行编码还包括：对相应的具有附加叠加的输出图像帧进行编码，其中：第一附加生成图像帧参考第一输出图像帧被编码为的帧间帧，以形成第一附加叠加输出图像帧，第二附加生成图像帧被编码为帧间帧，以形成第二附加叠加输出图像帧，其中，第二附加生成图像帧的第一部分参考第一附加叠加输出图像帧被编码，并且第二附加生成图像帧的第二部分参考第二输出图像帧被编码。可以看出，相同的原理可以用于对应用在视频序列上的任何数量的不同叠加进行编码。
第二附加生成帧的第一部分可以包含附加图片元素的至少一部分。以与当对仅具有一个叠加的视频进行编码相同的方式，这可以使得能够对附加叠加进行有效编码。
类似地，第二附加生成帧的第二部分可以在附加叠加的附加空间坐标之外。与一个叠加的情况一样，这使得可以限制编码工作。
根据第二方面，上述目的全部或至少部分地通过视频编码系统实现，该视频编码系统包括：图像接收器，该图像接收器被设置为接收包括第一输入图像帧和第二输入图像帧的图像序列，叠加接收器，该叠加接收器被设置为接收要应用于图像序列的叠加，叠加包括图片元素和用于将图片元素定位在第一输入图像帧和第二输入图像帧中的空间坐标，叠加应用器，该叠加应用器被设置为根据空间坐标将图片元素添加到第一输入图像帧和第二输入图像帧，从而生成包括第一生成图像帧和第二生成图像帧的叠加图像序列，编码器，该编码器被设置为对包含不具有叠加的输出图像帧和相应的具有叠加的输出图像帧的视频流进行编码，其中：第一输入图像帧被编码为帧内帧，以形成第一输出图像帧，第二输入图像帧参考第一输出图像帧被编码为帧间帧，以形成第二输出图像帧，第一生成图像帧参考第一输出图像帧被编码为帧间帧，以形成第一叠加输出图像帧，第二生成图像帧被编码为帧间帧，以形成第二叠加输出图像帧，其中，第二生成图像帧的第一部分参考第一叠加输出图像帧被编码，并且第二生成图像帧的第二部分参考第二输出图像帧被编码。这种系统使得可以对具有叠加和不具有叠加的图像序列进行编码，使得如果被叠加覆盖则将丢失的视频数据仍然是可访问的。该系统还可以避免带宽和存储要求的过度增加，同时保持有用的图像质量。
在视频编码系统的一些实施例中，编码器被设置为用非显示指示符对第一输出图像帧和第二输出图像帧中的每一个进行编码。因此，即使所编码的视频序列包含具有叠加以及不具有叠加的图像帧，也仅显示具有叠加的图像帧。不具有叠加的图像帧仍然可以存储以供以后使用。如上所述，取决于所使用的视频压缩标准，非显示指示符可以以各种方式实现。
在一些实施例中，叠加接收器还被设置为接收要应用于图像序列的附加叠加，附加叠加包括附加图片元素和用于将附加图片元素定位在第一输入图像帧和第二输入图像帧中的附加空间坐标，叠加应用器还被设置为根据附加空间坐标将附加图片元素添加到第一输入图像帧和第二输入图像帧，从而生成包括第一附加生成图像帧和第二附加生成图像帧的附加叠加图像序列，并且编码器被设置为还对包含相应的具有附加叠加的输出图像帧的视频流进行编码，其中：第一附加生成图像帧参考第一输出图像被编码为的帧间帧，以形成第一附加叠加输出图像帧，第二附加生成图像帧被编码为帧间帧，以形成第二附加叠加输出图像帧，其中第二附加生成图像帧的第一部分参考第一附加叠加输出图像帧被编码，并且第二附加生成图像帧的第二部分参考第二输出图像帧被编码。这种系统使得能够对具有叠加和不具有叠加的视频序列进行有效编码，而且当期望应用一个或多个附加叠加时同样如此。
根据第三方面，上述目的全部或至少部分地由包括解码系统和根据第一方面的编码系统的视频传输系统实现，该解码系统包括：视频接收器，该视频接收器被设置为从编码系统接收所编码的视频流，以及解码器，该解码器被设置为对所编码的视频流进行解码。这种视频传输系统提供了以有效的方式传输具有叠加和不具有叠加的视频数据的可能性，允许访问将被叠加隐藏的视频数据。
解码器可以被设置为用非显示指示符对第一输出图像和第二输出图像进行解码，类似于上面针对编码器所提到的。
视频传输系统可以进一步包括代码转换器，该代码转换器包括解码器，其中该代码转换器被设置为对第一输出图像帧和第二输出图像帧进行解码，以形成包含解码后的不具有叠加的图像帧的第一解码视频流，并且对第一叠加输出图像帧和第二叠加输出图像帧进行解码，以形成包含解码后的具有叠加的图像帧的第二解码视频流。这使得可以分别处理具有叠加和不具有叠加的视频序列。例如，可以存储不具有叠加的第一解码视频流以用于稍后的取证使用，并且可以将具有叠加的第二解码视频流传输到例如控制中心，其中可以将其显示给操作员。在一些场景中，可以将第一解码视频流传输给需要看到不具有叠加的视频流的用户，并且可以将第二解码视频流传输给应该看到具有叠加的视频流的用户。
根据第四方面，上述目的全部或至少部分地由包括根据第二方面的编码系统的相机实现。
根据下面给出的详细描述，本发明的进一步适用范围将变得显而易见。然而，应该理解的是，详细描述和具体示例虽然表明了本发明的优选实施例，但仅以说明的方式给出，因为对本领域技术人员而言，本发明范围内的各种变化和修改将根据详细描述变得显而易见。
因此，应该理解，本发明不限于所描述的设备的特定组成部分或所描述的方法的步骤，因为这样的设备和方法可以变化。还应理解，本文所使用的术语仅用于描述特定实施例的目的，而不意在限制。必须注意的是，如说明书和所附权利要求中所使用的，冠词“一”、“该”和“所述”意在表示存在一个或多个元素，除非上下文另有明确规定。因此，例如，对“一对象”或“该对象”的引用可以包括若干对象等。此外，词语“包括”不排除其他元素或步骤。
附图说明
现在将通过示例的方式并且参考随附的示意性附图更详细地描述本发明，其中：
图1是场景图像的图示，
图2是应用叠加的图1的图像的图示，
图3是输入图像帧序列和相应的叠加图像序列的示意图，
图4是包含与附图3中的图像帧相对应的具有叠加和不具有叠加的输出图像帧的编码后的图像流的示意图，
图5a至图5d是图2的叠加图像的分区的示例的图示，
图6是根据变型的视频编码的方法的流程图，
图7是图6中的方法的一部分的流程图，
图8是视频编码系统的实施例的框图，
图9是具有如图5中的视频编码系统的相机的框图，以及
图10是视频传输系统的实施例的框图。
具体实施方式
在图1中示出图像1，并且在图2中示出相应的应用了叠加10的图像1’。如下面将进一步讨论的，叠加10包括图片元素11和指明图片元素11应该应用于图像1’中何处的空间坐标。可以以诸如文本字符串、基于矢量的格式或者作为位图的多个不同的格式接收图片元素11。在所示的示例中，叠加10是静态的，并且图片元素11是文本“CAM 1”，其为操作者识别捕获图像的相机。进一步，在该示例中，还存在附加叠加20，其包括附加图片元素21和指明图像1’中何处应用附加图片元素21的附加空间坐标。附加叠加20是动态的，并且附加图片元素21显示捕获图像1’的时间。应该注意，所示的叠加数量决不是限制性的，并且本发明可以与一个或多个叠加一起使用。还应注意，在两个或更多个叠加的情况下，它们可以是静态叠加或动态叠加的任何组合。
在下文中，将描述具有至少一个叠加的视频序列的编码。在这种情况下，没有叠加的图像1将被称为第一输入图像帧1，而相应的具有叠加的图像1’将被称为第一生成图像帧1’，因为具有叠加的图像1’是通过将叠加添加到第一输入图像帧1而生成的。
图3图示包括第一输入图像帧1、第二输入图像帧2和第三输入图像帧3的图像的序列。参考图6，在步骤S1中接收该图像序列。还示出相应的具有叠加的图像序列，包括第一生成图像帧1’、第二生成图像帧2’和第三生成图像帧3’。在步骤S2中接收叠加10和附加叠加20。
生成的图像帧1’、2’、3’是通过将图片元素11和附加图片元素20添加到输入图像帧1、2、3的由空间坐标和附加空间坐标指示的位置中而生成的。在图6中，这表示为步骤S3。静态叠加10在每个生成图像1’至图3’中是相同的，而动态叠加20根据图像捕获期间的时间流逝而从一个生成图像变化到下一个生成图像。
为了能够传输和存储具有叠加和不具有叠加的视频序列，对该视频序列进行编码以便减少表示图像帧所需的比特数。可以根据各种视频压缩标准来进行编码，例如根据H.264或H.265标准。根据本发明，编码被修改以使得能够对具有叠加的视频序列进行特别有效的编码，还允许可以访问不具有叠加的视频序列。在图6中，编码表示为步骤S4。对于编码的更详细说明，参考图7。
图4中的图像帧之间的箭头指示什么参考帧被用于对特定图像帧1至特定图像帧3或生成图像帧1’至生成图像帧3’进行编码。
现在将参考图3至图7描述根据本发明的编码的示例。图4类似于图3，但示出了编码后的图像帧。当对输入图像帧1至输入图像帧3和生成图像帧1’至生成图像帧3’进行编码时，第一输入图像帧1被编码为帧内帧，即，不参考任何其他图像帧(S41)。该编码的帧将被称为第一输出图像帧1E。这与通常根据所使用的视频压缩标准所进行的方式相同。第一生成图像帧1’以第一输出图像帧的解码版本作为参考帧而被编码为帧间帧(S42)，形成第一叠加输出帧1’E。除了叠加10和附加叠加20之外，第一生成图像帧1与第一输入图像帧相同。对于第一生成图像帧1’的不包含任何叠加的那些部分，因此可以有利地使用跳块来进行帧间编码，这意味着编码宏块的数据从参考帧复制。还可以使用帧间编码对第一生成图像1’的包含叠加的部分进行编码，即编码为P块，但是由于第一输入图像帧不包含叠加，所以在大多数情况下，通过帧内编码对叠加区域和附加叠加中的宏块进行编码将更有效，即编码为I块。第一个生成图像帧的帧间编码以与通常相同的方式进行。
参考第一输出图像帧1的解码版本，第二输入图像帧2被编码为帧间帧(S43)，形成第二输出图像帧2E。这也是以通常的压缩标准进行的。
第二生成图像帧2’被编码为帧间帧(S44)，形成第二叠加输出帧2’E。与第一输入图像帧1和第二输入图像帧2以及第一生成图像帧1’不同，第二生成图像帧2’使用两个参考帧进行编码。参考帧的选择对于第二生成图像帧2’的不同部分是不同的。转到图5，第二生成输入帧2’被分成两部分，其中叠加被定位的第一部分A和其中不存在叠加的第二部分B。可以以各种方式进行划分。在图5a中，第二生成图像帧2’被简单地一分为二。在图5b中，第一部分A是图像帧的顶部处的条带。在图5c中，第一部分A由两个区域组成，一个区域围绕每个叠加，并且在图5d中，第一部分A是包含叠加10的一部分的宏块，而第二部分B是不包含任何叠加的宏块。
在下文中，假设第一部分A是叠加10的区域中的宏块，并且第二部分B是图像中没有叠加的区域中的宏块(即在空间坐标和附加空间坐标之外)。当对第一部分A进行编码时，第一叠加输出帧1’E用作参考帧，如步骤S441中所指示。由于第一部分A包含叠加10的至少一部分，因此与第二输出图像帧2E相比，它可能更类似于第一叠加输出帧1’E的对应部分，特别是如果叠加10是静态的。如果场景中存在大量移动，使得第一输入图像帧1与第二输入图像帧2相差很多，则使用第二输出图像帧2E作为参考帧可能更有效，特别是如果仅第一部分A的一小部分被叠加10覆盖。如果叠加是动态的(诸如附加叠加20)，也可能是这种情况，因为可能有许多像素从一帧变化到另一帧。因此，如果第一部分A仅被叠加10部分覆盖，则可以做出选择，使得最可能产生最小比特率的参考帧被选择为第一叠加输出帧1’E或者第二输出图像帧2E。
当对第二叠加图像帧2’的第二部分B进行编码时，第二输出图像帧2E用作参考，如步骤S442中所指示。由于第二部分位于叠加10、20之外，因此它应该基本上与第二输出图像帧2E的对应部分相同。
然后，对第三输入图像帧3和第三生成图像帧3’继续以相同的方式编码。因此，第三输出图像帧被编码为帧间帧，使用第二输出图像帧2E作为参考帧。第三生成图像帧3’也被编码为帧间帧，但是对于图像帧的不同部分使用不同的参考帧。当对第三生成图像帧的包含叠加10或附加叠加20的一部分的那些宏块进行编码时，第二叠加输出图像帧2’E用作参考，并且当对位于叠加10和附加叠加20之外的宏块进行编码时，第三输出图像帧3E用作参考帧。
继续这样编码直到到达一组图片(简称GOP)的结尾。该组图片的长度也称为GOP长度，并且这可以是固定的、由用户设置的、或者是动态控制的。当新的GOP开始时，再次以帧内帧开始编码，如步骤S41中所指示，继之以帧间帧，如步骤S42、S43、S44、S441和S442，直到已达到该GOP的结尾。
利用如上所述的方法，可以在同一流中对具有叠加和不具有叠加的图像帧进行编码。使用两个不同的参考帧来对具有叠加的图像进行编码限制了以两个版本对每个图像帧进行编码所需的比特数。在所示的示例中，存在两个叠加，但如果仅使用一个或多于两个叠加，则该方法同样适用。
当编码后的视频序列例如在控制中心中实时显示或从记录中重放时，可以采取不同的方法以用于显示期望的图像。例如，H.265标准支持非显示标志。这意味着当对图像帧进行编码时，可以用非显示标志对其进行标记，并且当兼容的解码器对该图像帧进行解码时，它将读取非显示标志，因此不显示图像帧。如果在H.265编解码器中实现本发明，则该特征可用于确保在解码之后仅显示叠加输出图像帧。因此，每个输出图像帧1E至3E用非显示标志编码。因此，尽管编码后的视频序列和解码后的视频序列包含具有叠加和不具有叠加的图像，但是仅显示具有叠加的图像。
还存在诸如H.264的不支持非显示标志的视频压缩标准。在这种情况下，如果输出图像帧1E至3E用非显示标志编码，则标准H.264解码器不会如预期的那样处理它们。因此，将需要使用修改的解码器，该修改的解码器被编程为处理非显示标志。
参考图8，现在将描述根据本发明实施例的编码系统。示出具有图像接收器81的编码系统80。图像接收器81被设置为接收诸如如上所述的包括第一输入图像帧和第二输入图像帧的图像序列。编码系统进一步包括叠加接收器82和叠加应用器83。叠加接收器82被设置为接收要应用于图像序列的叠加，叠加包括图片元素和用于将图片元素定位在第一输入图像帧和第二输入图像帧中的空间坐标。叠加应用器83被设置为根据空间坐标将图片元素添加到第一输入图像帧和第二输入图像帧，从而生成包括第一生成图像帧和第二生成图像帧的叠加图像序列。视频编码系统80还包括编码器84，编码器84被设置为对包含不具有叠加的输出图像帧和相应的具有叠加的输出图像帧的视频流进行编码。如上文所述，当编码时，编码器被设置为将第一输入图像帧编码为帧内帧以形成第一输出图像帧、参考第一输出图像帧将第二输入图像帧编码为帧间帧以形成第二输出图像帧、参考第一输出图像帧将第一生成图像帧编码为帧间帧以形成第一叠加输出图像帧、以及将第二生成图像帧编码为帧间帧形成第二叠加输出图像帧，其中第二生成图像帧的第一部分参考第一叠加输出图像帧被编码，并且第二生成图像帧的第二部分参考第二输出图像帧被编码。视频编码系统80可以根据上述方法操作，并且因此这里将不再进一步描述该操作。
参考图9，编码系统80可以集成在相机90中。相机90具有镜头91、用于捕获图像的图像传感器92以及用于处理图像的图像处理器93。应当理解，相机90也可以包括其他部件，但是由于它们与本发明无关，所以它们未在图9中示出并且这里将不再讨论。应当注意，视频编码系统80不必须集成在相机中，而是可以被设置为分立的单元，或者集成在另一设备中。
转到图10，将描述根据本发明的实施例的传输系统100。视频传输系统100包括解码系统101和如上所述的视频编码系统80。解码系统101包括被设置为从编码系统80接收所编码的视频流的视频接收器102和被设置为对所编码的视频流进行解码的解码器103。
可以直接在解码器的位置查看或存储解码后的视频序列。无论编码系统80是否已经用非显示标志对输出图像帧进行编码，解码器都可以被设置为用非显示标志对输出图像帧进行解码。
解码器103可以是代码转换器104的一部分，代码转换器104被设置为对第一输出图像帧和第二输出图像帧进行解码，以形成包含解码后的不具有叠加的图像帧的第一解码视频流，并且对第一叠加输出图像帧和第二叠加输出图像帧进行解码，以形成包含解码后的具有叠加的图像帧的第二解码视频流。代码转换器104可以进一步包括重新编码器105，重新编码器105被设置为分别对第一解码视频流和第二解码视频流中的每一个进行编码，形成第一重新编码视频流和第二重新编码视频流。例如，第一重新编码视频流可以存储在存储设备106中，并且第二重新编码视频流可以显示在例如控制中心中的显示器107上。显示器107可以连接到视频管理系统。在图10中，示出了连接视频传输系统的部件的网络108。这可以是本地网络或广域网。作为示例，编码系统80可以位于第一位置，并且所编码的视频流可以经由网络108传输到代码转换器104。代码转换器104可以位于远离第一位置的第二位置。存储设备106和显示器107可以与代码转换器104并置(collocated with)，或者位于第三位置。进一步，存储设备106和显示器107可以位于不同的位置。取决于传输系统100的不同用户被给予的访问权限，他们可以访问第一解码视频流或第二解码视频流，或者第一重新编码视频流或第二重新编码视频流。例如，安全中心中的运营商可以仅访问第二解码视频流或第二重新编码视频流，而警察可以访问第一解码视频流或第一重新编码视频流。
应当理解，本领域技术人员可以以多种方式修改上述实施例，并且仍然使用如上面的实施例中所示的本发明的优点。作为示例，输入图像帧可以使用任何种类的相机捕获，任何种类的相机诸如采用可见光或IR的相机、热相机(thermal camera)或ToF相机。相机可以是数码相机。相机可以是连接到数字化单元的模拟相机。输入图像可以直接从相机接收，或者它们可能先前已经被捕获并且已经在编码之前被存储。
输出图像帧和叠加输出图像帧可以连续编号，使得输出图像帧被给予奇数，而叠加输出图像帧被给予偶数，或反之亦然。可以指示解码器仅显示奇数帧或偶数帧，以便要么示出输出图像帧要么示出叠加输出图像帧。
本发明的方法可以实现为由处理器执行的软件。处理器可以是任何种类的处理器，例如中央处理单元(CPU)、图形处理单元(GPU)、在集成电路中实现的定制处理设备、ASIC、FPGA或包括分离部件的逻辑电路。
编码系统和传输系统可以实现为硬件、固件或软件，或者其任何组合。
因此，本发明不应限于所示实施例，而应仅由所附权利要求限定。

Claims (15)

1.一种对相机中执行的视频数据进行编码的方法，包括：
接收包括第一未视频编码的输入图像帧和第二未视频编码的输入图像帧的图像序列，
接收要应用于所述图像序列的叠加，所述叠加包括图片元素和用于将所述图片元素定位在所述第一未视频编码的输入图像帧和所述第二未视频编码的输入图像帧中的空间坐标，
根据所述空间坐标将所述图片元素添加到所述第一未视频编码的输入图像帧和所述第二未视频编码的输入图像帧，从而生成包括第一生成图像帧和第二生成图像帧的叠加图像序列，
对包含不具有叠加的输出图像帧和相应的具有叠加的输出图像帧的视频流进行编码，其中：
所述第一未视频编码的输入图像帧被编码为帧内帧，以形成第一输出图像帧，
所述第二未视频编码的输入图像帧参考所述第一输出图像帧被编码为帧间帧，以形成第二输出图像帧，
所述第一生成图像帧参考所述第一输出图像帧被编码为帧间帧，以形成第一叠加输出图像帧，
所述第二生成图像帧被编码为帧间帧，以形成第二叠加输出图像帧，其中所述第二生成图像帧的第一部分参考所述第一叠加输出图像帧被编码，并且所述第二生成图像帧的第二部分参考所述第二输出图像帧被编码，
其中，由所述叠加输出图像帧中的所述叠加覆盖的视频数据在不具有叠加的所述输出图像帧中可访问。
2.根据权利要求1所述的方法，其中所述第一输出图像帧和所述第二输出图像帧每个被用非显示指示符编码。
3.根据权利要求1所述的方法，其中所述第二生成帧的所述第一部分包含所述图片元素的至少一部分。
4.根据权利要求1所述的方法，其中所述第二生成帧的所述第二部分在所述叠加的所述空间坐标之外。
5.根据权利要求1所述的方法，进一步包括：
接收要应用于所述图像序列的附加叠加，所述附加叠加包括附加图片元素和用于将所述附加图片元素定位在所述第一未视频编码的输入图像帧和所述第二未视频编码的输入图像帧中的附加空间坐标，
根据所述附加空间坐标将所述附加图片元素添加到所述第一未视频编码的输入图像帧和所述第二未视频编码的输入图像帧，从而生成包括第一附加生成图像帧和第二附加生成图像帧的附加叠加图像序列，
其中，对包含不具有叠加的输出图像帧和相应的具有叠加的输出图像帧的视频流进行编码还包括：对相应的具有附加叠加的输出图像帧进行编码，其中：
所述第一附加生成图像帧参考所述第一输出图像帧被编码为帧间帧，以形成第一附加叠加输出图像帧，
所述第二附加生成图像帧被编码为帧间帧，以形成第二附加叠加输出图像帧，其中所述第二附加生成图像帧的第一部分参考所述第一附加叠加输出图像帧被编码，并且所述第二附加生成图像帧的第二部分参考所述第二输出图像帧被编码。
6.根据权利要求5所述的方法，其中，所述第二附加生成图像帧的所述第一部分包含所述附加图片元素的至少一部分。
7.根据权利要求5所述的方法，其中，所述第二附加生成图像帧的所述第二部分在所述附加叠加的所述附加空间坐标之外。
8.一种视频编码系统，包括：
图像接收器，所述图像接收器被设置为接收包括第一未视频编码的输入图像帧和第二未视频编码的输入图像帧的图像序列，
叠加接收器，所述叠加接收器被设置为接收要应用于所述图像序列的叠加，所述叠加包括图片元素和用于将所述图片元素定位在所述第一未视频编码的输入图像帧和所述第二未视频编码的输入图像帧中的空间坐标，
叠加应用器，所述叠加应用器被设置为根据所述空间坐标将所述图片元素添加到所述第一未视频编码的输入图像帧和所述第二未视频编码的输入图像帧，从而生成包括第一生成图像帧和第二生成图像帧的叠加图像序列，
编码器，所述编码器被设置为对包含不具有叠加的输出图像帧和相应的具有叠加的输出图像帧的视频流进行编码，其中：
所述第一未视频编码的输入图像帧被编码为帧内帧，以形成第一输出图像帧，
所述第二未视频编码的输入图像帧参考所述第一输出图像帧被编码为帧间帧，以形成第二输出图像帧，
所述第一生成图像帧参考所述第一输出图像帧被编码为帧间帧，以形成第一叠加输出图像帧，
所述第二生成图像帧被编码为帧间帧，以形成第二叠加输出图像帧，其中所述第二生成图像帧的第一部分参考所述第一叠加输出图像帧被编码，并且所述第二生成图像帧的第二部分参考所述第二输出图像帧被编码，
其中，由所述叠加输出图像帧中的所述叠加覆盖的视频数据在不具有叠加的所述输出图像帧中可访问。
9.根据权利要求8所述的视频编码系统，其中所述编码器被设置为用第一图片顺序计数对所述第一输出图像帧和所述第一叠加输出图像帧两者进行编码，并且用第二图片顺序计数对所述第二输出图像帧和所述第二叠加输出图像帧两者进行编码。
10.根据权利要求8所述的视频编码系统，其中所述编码器被设置为用非显示指示符对所述第一输出图像帧和所述第二输出图像帧中的每一个进行编码。
11.根据权利要求8所述的视频编码系统，其中，
所述叠加接收器还被设置为接收要应用于所述图像序列的附加叠加，所述附加叠加包括附加图片元素和用于将所述附加图片元素定位在所述第一未视频编码的输入图像帧和所述第二未视频编码的输入图像帧中的附加空间坐标，
所述叠加应用器还被设置为根据所述附加空间坐标将所述附加图片元素添加到所述第一未视频编码的输入图像帧和所述第二未视频编码的输入图像帧，从而生成包括第一附加生成图像帧和第二附加生成图像帧的附加叠加图像序列，
并且所述编码器被设置为还对包含相应的具有附加叠加的输出图像帧的所述视频流进行编码，其中：
所述第一附加生成图像帧参考所述第一输出图像帧被编码为帧间帧，以形成第一附加叠加输出图像帧，
所述第二附加生成图像帧被编码为帧间帧，以形成第二附加叠加输出图像帧，其中所述第二附加生成图像帧的第一部分参考所述第一附加叠加输出图像帧被编码，并且所述第二附加生成图像帧的第二部分参考所述第二输出图像帧被编码。
12.一种视频传输系统，包括解码系统和根据权利要求8所述的编码系统，所述解码系统包括：
视频接收器，所述视频接收器被设置为从所述编码系统接收所编码的视频流，以及
解码器，所述解码器被设置为对所编码的视频流进行解码。
13.根据权利要求12所述的视频传输系统，其中所述解码器被设置为用非显示指示符对所述第一输出图像和所述第二输出图像进行解码。
14.根据权利要求12所述的视频传输系统，进一步包括代码转换器，所述代码转换器包括所述解码器，其中所述代码转换器被设置为：
对所述第一输出图像帧和所述第二输出图像帧进行解码，以形成包含解码后的不具有叠加的图像帧的第一解码视频流，并且
对所述第一叠加输出图像帧和所述第二叠加输出图像帧进行解码，以形成包含解码后的具有叠加的图像帧的第二解码视频流。
15.一种相机，包括根据权利要求8至11中任一项所述的编码系统。
CN201910554268.2A 2018-07-02 2019-06-25 用于对具有叠加的视频进行编码的方法和系统 Active CN110677672B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP18181175.3 2018-07-02
EP18181175.3A EP3591972A1 (en) 2018-07-02 2018-07-02 Method and system for encoding video with overlay

Publications (2)

Publication Number Publication Date
CN110677672A CN110677672A (zh) 2020-01-10
CN110677672B true CN110677672B (zh) 2024-06-07

Family

ID=62909358

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910554268.2A Active CN110677672B (zh) 2018-07-02 2019-06-25 用于对具有叠加的视频进行编码的方法和系统

Country Status (6)

Country Link
US (1) US11070833B2 (zh)
EP (1) EP3591972A1 (zh)
JP (1) JP7309478B2 (zh)
KR (1) KR20200003715A (zh)
CN (1) CN110677672B (zh)
TW (1) TWI771590B (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101905830B1 (ko) 2016-11-15 2018-10-08 울산과학기술원 국부 냉각 마취 장치, 국부 냉각 마취 장치의 제어 방법 및 국부 냉각 마취 장치의 냉각 온도 조절기
KR20180131357A (ko) 2017-05-30 2018-12-10 주식회사 리센스메디컬 의료용 냉각 장치
EP3474548A1 (en) * 2017-10-18 2019-04-24 Axis AB Method and encoder for encoding a video stream in a video coding format supporting auxiliary frames
KR102517065B1 (ko) 2017-12-29 2023-04-03 주식회사 리센스메디컬 냉각발생장치
EP4154832B1 (en) 2018-04-27 2024-05-22 Recensmedical, Inc. Cooling apparatus and cooling method
US11666479B2 (en) 2018-08-19 2023-06-06 Recensmedical, Inc. Device for cooling anesthesia by chilled fluidic cooling medium
USD921211S1 (en) 2019-06-21 2021-06-01 Recensmedical, Inc. Medical cooling device
USD921911S1 (en) 2019-06-21 2021-06-08 Recensmedical, Inc. Medical cooling device
US11336902B1 (en) * 2019-06-27 2022-05-17 Meta Platforms, Inc. Systems and methods for optimizing video encoding
EP3796655B1 (en) * 2019-09-20 2021-11-03 Axis AB Video privacy mask in forward predicted video frame
USD968626S1 (en) 2020-08-07 2022-11-01 Recensmedical, Inc. Medical cooling device
USD968627S1 (en) 2020-08-07 2022-11-01 Recensmedical, Inc. Medical cooling device
USD977633S1 (en) 2020-08-07 2023-02-07 Recensmedical, Inc. Cradle for a medical cooling device
US11490036B1 (en) * 2020-09-15 2022-11-01 Meta Platforms, Inc. Sharing videos having dynamic overlays
EP3996367B1 (en) * 2020-11-05 2023-07-26 Axis AB Method and image-processing device for video processing
EP4020998A1 (en) 2020-12-23 2022-06-29 Axis AB Encoding of modified video
US20220254037A1 (en) * 2021-02-10 2022-08-11 Objectvideo Labs, Llc Augmenting training samples for motion detection systems using image additive operations
EP4231638A1 (en) * 2022-02-17 2023-08-23 Axis AB Encoding of a video stream including an overlay
EP4387228A1 (en) * 2022-12-15 2024-06-19 Axis AB Method and device for combining image data from two or more encoded image frames

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102572560A (zh) * 2012-02-08 2012-07-11 北京数码视讯科技股份有限公司 传输流台标字幕插入系统中跳过宏块的处理方法和装置
WO2014071728A1 (en) * 2012-11-12 2014-05-15 Tencent Technology (Shenzhen) Company Limited A hybrid-resolution encoding and decoding method and a video apparatus using the same
CN104469402A (zh) * 2014-12-13 2015-03-25 深圳国微技术有限公司 在压缩视频流中叠加应用数据的方法、装置及条件接收器
EP3021579A1 (en) * 2014-11-14 2016-05-18 Axis AB Method and encoder system for encoding video
WO2016180486A1 (en) * 2015-05-12 2016-11-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Composite scalable video streaming
CN107018413A (zh) * 2016-01-28 2017-08-04 安讯士有限公司 视频编码方法和视频编码器系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4375305B2 (ja) * 2004-10-26 2009-12-02 ソニー株式会社 情報処理装置および情報処理方法、記録媒体、並びに、プログラム
US20110109721A1 (en) * 2009-11-06 2011-05-12 Sony Corporation Dynamic reference frame reordering for frame sequential stereoscopic video encoding
US9485515B2 (en) * 2013-08-23 2016-11-01 Google Inc. Video coding using reference motion vectors
EP2814253B1 (en) * 2013-06-05 2015-09-16 Axis AB Method for encoding digital video data
EP3183878B1 (en) * 2014-08-20 2019-11-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Video composition
US10701400B2 (en) * 2017-03-21 2020-06-30 Qualcomm Incorporated Signalling of summarizing video supplemental information

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102572560A (zh) * 2012-02-08 2012-07-11 北京数码视讯科技股份有限公司 传输流台标字幕插入系统中跳过宏块的处理方法和装置
WO2014071728A1 (en) * 2012-11-12 2014-05-15 Tencent Technology (Shenzhen) Company Limited A hybrid-resolution encoding and decoding method and a video apparatus using the same
EP3021579A1 (en) * 2014-11-14 2016-05-18 Axis AB Method and encoder system for encoding video
CN104469402A (zh) * 2014-12-13 2015-03-25 深圳国微技术有限公司 在压缩视频流中叠加应用数据的方法、装置及条件接收器
WO2016180486A1 (en) * 2015-05-12 2016-11-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Composite scalable video streaming
CN107018413A (zh) * 2016-01-28 2017-08-04 安讯士有限公司 视频编码方法和视频编码器系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种基于多参考块的多视点视频编码方案;潘峰;马力妮;杜小钰;;北京机械工业学院学报;20080901(第03期);全文 *

Also Published As

Publication number Publication date
JP2020025251A (ja) 2020-02-13
TWI771590B (zh) 2022-07-21
CN110677672A (zh) 2020-01-10
EP3591972A1 (en) 2020-01-08
US20200007883A1 (en) 2020-01-02
KR20200003715A (ko) 2020-01-10
TW202013972A (zh) 2020-04-01
US11070833B2 (en) 2021-07-20
JP7309478B2 (ja) 2023-07-18

Similar Documents

Publication Publication Date Title
CN110677672B (zh) 用于对具有叠加的视频进行编码的方法和系统
TWI606718B (zh) 規定視覺動態範圍編碼操作及參數
US10999583B2 (en) Scalability of multi-directional video streaming
KR20170044169A (ko) 비디오 구성
JP2015517281A (ja) ビデオランダムアクセスを簡素化する制約及びユニットタイプ
KR20140085492A (ko) 디코딩된 픽쳐 버퍼 및 참조 픽쳐 목록들에 관한 상태 정보의 시그널링
EP1816871A1 (en) Moving image decoding apparatus and moving image decoding method
CN110121065B (zh) 空间排序视频编码应用中的多向图像处理
US10045037B2 (en) Method for encoding digital video data
KR20110111544A (ko) 입체적 3ｄ-비디오 이미지 디지털 코딩 시스템 및 방법
US20150222918A1 (en) Inter-prediction method and video encoding/decoding method using the inter-prediction method
EP3796655B1 (en) Video privacy mask in forward predicted video frame
CN111225277A (zh) 转码方法、转码装置和计算机可读存储介质
US6151413A (en) Method of coding an arbitrary shape of an object when all pixels of an entire region of a display are used as texture for the object
US20070086519A1 (en) Apparatus for managing multipurpose video streaming and method of the same
CN111225211A (zh) 转码方法、转码装置和计算机可读存储介质
US20080117970A1 (en) Method and apparatus for encoding and decoding rgb image
CN114531528B (zh) 用于视频处理的方法和图像处理设备
US11323730B2 (en) Temporally-overlapped video encoding, video decoding and video rendering techniques therefor
CN112911299B (zh) 一种视频码率控制方法、装置、电子设备和存储介质
US20050105811A1 (en) Processing images
JP2005300943A (ja) 情報表示位置制御方法及び装置
EP3989566A1 (en) Motion information list construction method in video encoding and decoding, device, and apparatus
JP2006109060A (ja) 画像符号化情報を利用した手ぶれ補正方法及び装置
JP3196753B2 (ja) 画像表示方法及び画像表示装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant