CN109963156B - 用于控制图像编码的方法及控制器、电子设备 - Google Patents

用于控制图像编码的方法及控制器、电子设备 Download PDF

Info

Publication number
CN109963156B
CN109963156B CN201811520173.0A CN201811520173A CN109963156B CN 109963156 B CN109963156 B CN 109963156B CN 201811520173 A CN201811520173 A CN 201811520173A CN 109963156 B CN109963156 B CN 109963156B
Authority
CN
China
Prior art keywords
image
values
frame
encoded
macroblock
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811520173.0A
Other languages
English (en)
Other versions
CN109963156A (zh
Inventor
S·袁
V·埃帕尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Axis AB
Original Assignee
Axis AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Axis AB filed Critical Axis AB
Publication of CN109963156A publication Critical patent/CN109963156A/zh
Application granted granted Critical
Publication of CN109963156B publication Critical patent/CN109963156B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/23—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with coding of regions that are present throughout a whole video segment, e.g. sprites, background or mosaic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

公开了一种控制器和方法，用于控制一组图像的编码以使得能够混合第一图像和第二图像彼此重叠的重叠区域。控制器使用一组基本量化参数值，QP值，对第一图像中的非重叠区域的宏块进行编码，并将相同的一组基本QP值添加到每个宏块的头部。控制器使用一组第一QP值对第一图像中的重叠区域的宏块进行编码，并将修改的一组第一QP值添加到每个宏块的头部。控制器使用一组第二QP值对第二图像中的重叠区域的宏块进行编码，并将修改的一组第二QP值添加到每个宏块的头部。

Description

用于控制图像编码的方法及控制器、电子设备
技术领域
本文的实施例涉及其中用于控制图像的编码的装置和方法。特别地，实施例涉及在包括相机和编码器的组件中控制一组图像的编码以使得能够混合重叠区域。
背景技术
在诸如网络相机监控系统的数字视频系统中，视频序列在传输之前使用各种视频编码方法压缩。在许多数字视频编码系统中，使用两种主要模式来压缩视频帧序列的视频帧：帧内模式和帧间模式。在帧内模式中，经由预测、变换和熵编码在单个帧的给定信道中利用像素的空间冗余来编码亮度(luminance)和色度(chrominance)信道。编码帧被称为帧内帧，也可以称为I帧。帧间模式则替代地利用了单独帧之间的时间冗余，并且依赖于运动补偿预测技术，其通过对于所选择的像素块编码像素中的从一帧到另一帧的运动来预测来自一个或多个先前帧的帧的部分。编码帧被称为帧间帧，并且可以称为P帧(前向预测帧)，其可以参考解码顺序中的先前帧，或者可以称为B帧(双向预测帧)，其可以参考两个或更多个先前解码的帧，并且能够具有用于预测的帧的任何任意的显示顺序关系。此外，编码帧被排列成图像组(GOP)，其中每组图像以I帧开始，并且接着的帧是P帧或B帧。图像组中的帧数通常称为GOP长度。GOP长度可以从1(意味着在图像组中仅存在帧内帧而没有帧间帧)变化到例如37(意味着在图像组中存在一个帧内帧，而其后是36个帧间帧)。在编码视频序列的接收位置处解码编码帧。
对于视频编码，速率控制和量化参数(QP)是很重要的事项。速率控制算法动态地调整编码器参数以实现目标比特率。它为视频序列中的每组图像和/或单个图像分配比特预算。量化参数(QP)调节保存例如空间上和时间上的多少信息。当QP非常小时，几乎保留所有信息。随着QP的增加，一些信息被聚合，因此比特率下降，但代价是质量的一些损失。
多传感器相机在当今的监控市场中越来越受欢迎，因为它们可以以极好的细节显著改善广域监控覆盖。多传感器相机提供高质量图像，其可以被无缝拼接以传递全景视图，其实际上将观看者置于场景中。多传感器相机产生具有重叠区域或地区的多个摄影图像或多传感器视图。图像拼接或照片拼接是以重叠视野组合多个摄影图像以产生分割的全景图或高分辨率图像的过程。
为了成功地将多传感器视图或图像拼接在一起，在图像之间的重叠区域中需要某种形式的混合。混合的一般形式是组合来自对重叠区域有贡献的每个源的像素值，例如阿尔法(alpha)混合，其中：(混合像素)＝(权重源1)*(像素源1)+(权重源2)*(像素源2)，其中权重加起来为1 以保持亮度水平。通常选择权重以产生平滑的过渡区域，例如对于十像素宽的水平混合重叠区域，可以选择源1的权重为0.95、0.85、0.75、0.65、 0.55、045、0.35、0.25、0.15、0.05。然后匹配源2的权重，即0.05、0.15 等，使得总和等于1。当存在多于两个源时，将对应地调整权重。
混合的问题在于手动处理重叠区域中的像素在计算上非常昂贵。它通常需要例如现场可编程门阵列(FPGA)的特殊硬件，并且可能需要非常大的权重掩模(mask)，对于重叠区域中的每个像素有两个值。由于多传感器相机通常具有非常高的分辨率的事实，这个问题被扩大了。
发明内容
鉴于以上所述，本文的实施例的目的是提供用于图像混合的改进的方法和装置。
根据本文实施例的第一方面，该目的通过一种用于控制一组图像的编码以实现其中第一图像和第二图像彼此重叠的重叠区域的混合的方法来实现。该方法在包括相机和编码器的组件中的控制器中执行。
控制器使用一组基本量化参数值，QP值，对第一图像中的第一区域的宏块(macroblock)进行编码，并将相同的一组基本QP值添加到每个宏块的头部。
控制器使用一组第一QP值对第一图像中的第二区域的宏块进行编码，并将修改的一组第一QP值添加到每个宏块的头部。
控制器使用一组第二QP值对第二图像中的第一区域的宏块进行编码，并将修改的一组第二QP值添加到每个宏块的头部。
控制器使用一组基本量化参数值，QP值，对第二图像中的第二区域的宏块进行编码，并将相同的一组基本QP值添加到每个宏块的头部。
根据本文实施例的第二方面，该目的通过一种包括相机和编码器的组件中的控制器来实现，其用于控制一组图像的编码以实现其中第一图像和第二图像彼此重叠的重叠区域的混合。
控制器被配置为使用一组基本量化参数值，QP值，对第一图像中的第一区域的宏块进行编码，并将相同的一组基本QP值添加到每个宏块的头部。
控制器还被配置为使用一组第一QP值对第一图像中的第二区域的宏块进行编码，并将修改的一组第一QP值添加到每个宏块的头部。
控制器还被配置为使用一组第二QP值对第二图像中的第一区域的宏块进行编码，并将修改的一组第二QP值添加到每个宏块的头部。
控制器还被配置为使用一组基本量化参数值，QP值，对第二图像中的第二区域的宏块进行编码，并将相同的一组基本QP值添加到每个宏块的头部。
根据本文的实施例，图像中的不同区域的宏块用不同组的QP值编码，并且不同组的QP值被添加到对应宏块的头部。以这种方式，在编码视频序列的接收位置中，当在接收位置中的解码器中对编码帧进行解码时，能够混合其中第一图像和第二图像彼此重叠的重叠区域。
本文的实施例实现了多传感器图像的混合，而不需要添加额外的硬件支持，因为通过控制一组图像的编码实现这一点的方法完全在编码器内部。即，欺骗(trick)编码器以比在编码视频中发送的QP值更高的QP值来压缩重叠区域宏块。通常在编码视频中，基本上通过因子修改像素值以提供可能的权重矩阵。本文的实施例利用此，以通过与图像中的非重叠区域的像素值相比不同地修改像素值，来将来自不同源的像素值混合到同一宏块中。
因此，本文的实施例提供了一种用于图像混合的改进的方法和装置。
附图说明
将参考附图更详细地描述实施例的示例，其中：
图1是示出包括相机和在其中可以实现本文的实施例的编码器的组件的框图；
图2是示出根据本文的实施例的编码一组图像的方法的流程图；
图3是示出根据本文的实施例的编码一组图像的示例的图；
图4是示出根据本文的实施例的编码一组图像的另一示例的图；
图5是示出根据本文的实施例的编码一组图像的又另一示例的图；以及
图6是示出其中可以实现本文的实施例的电子设备的框图。
具体实施方式
图1是示出包括相机和在其中可以实现本文的实施例的编码器的组件 100的框图。
组件100包括相机110、图像信号处理120、编码器130和控制器140。相机110是多传感器相机，并产生序列图像，例如第一图像、第二图像、第三图像、第四图像等，其中每个图像与其之前或之后的图像具有重叠区域。每个图像可以被分成多个宏块。每个宏块可以包含像素阵列。图像信号处理120被配置为以本领域技术人员已知的方式(例如颜色校正、去扭曲、变换等)处理接收的图像数据。编码器130被配置为将图像数据编码为用于传输的帧。控制器140被配置为控制编码器130、图像信号处理120。然后编码图像帧通过无线通信系统或电缆发送到网络150。
图1还示出了接收位置中解码所接收的图像帧的解码器160。
图2是示出根据本文的实施例的编码方法的流程图。该方法在图1所示的包括相机和编码器的组件100中的控制器中执行。控制器140控制一组图像的编码以实现在其中第一图像和第二图像图像彼此重叠的重叠区域的混合或融合。第一图像可以包括第一和第二区域，第二图像可以包括第一和第二区域。第一图像可以与第二图像完全重叠，即第一图像的第一和第二区域可以分别与第二图像的第一和第二区域重叠。第一图像可以与第二图像部分重叠，即第一图像的第二区域可以与第二图像的第一区域重叠。该方法包括以下动作，其中可以以任何合适的顺序执行这些动作。
动作210
图像中的非重叠区域不需要特殊处理，因此将被正常(即使用一组基本量化参数值，QP值，)编码。也就是，控制器使用一组基本QP值对第一图像中的第一或非重叠区域的宏块进行编码，并将相同的一组基本 QP值添加到每个宏块的头部。每个宏块具有头部，其包含用于该宏块的编码的QP值。
动作220
图像中的重叠区域需要压缩并且将不同地编码。在编码器中，宏块值从空间域转移到频域，并且每个结果值被除以因子2^(QP/6)，其中 QP是基本QP值。因此解码时将结果值乘以相同的因子2^(QP/6)。然而，通过将修改一组的QP值添加到每个宏块的头部，将使用与其编码的QP值不同的QP值来对流进行解码，并且因此“缩放(scaled)”宏块的值。下面将详述这种“缩放”的细节。因此总之，控制器使用一组第一 QP值对第一图像中的第二或重叠区域的宏块进行编码，并将修改的一组第一QP值添加到每个宏块的头部。
动作230
出于与上述相同的原因，控制器使用一组第二QP值对第二图像中的第一或重叠区域的宏块进行编码，并将修改的一组第二QP值添加到每个宏块的头部。
动作240
第二图像中的非重叠区域将被正常编码，如同第一图像中的非重叠区域。因此，控制器使用一组基本量化参数值，QP值，对第二图像中的第二或非重叠区域的宏块进行编码，并将相同的一组基本QP值添加到每个宏块的头部。
根据本文的一个实施例，添加到宏块头部的修改的第一和第二组QP 值小于第一和第二组QP值，并且通过平衡第一和第二组修改的QP值，可以实现混合。也就是说，添加到宏块头部并且在解码时使用的每个修改的QP值必须小于用于编码的QP值。当组合多个图像的重叠区域时，用于两个图像源的QP权重
Figure GDA0002940504630000061
之和应为1，以保持与非重叠区域相同的照度，其中QPencode是第一组/第二组QP值，QPheader是修改的第一/第二组QP值。
举例来说，在简化的情况下，考虑修改的一组第一/第二QP值被设置为28，即，QPheader＝28。如果将以2：1(即在来自第一图像的第一源S1 和来自第二图像的第二源S2之间的67％：33％)的比例分割重叠区域的当前宏块，当使用QP＝31(～70％)的S1数据时，即QPencode＝31，以及当使用QP＝38(～31％)的S2数据时，即QPencode＝38，可以压缩宏块。这将给出混合时的比率2.2：1。如果对于分别使用QPencode＝32(～63％)和 QPencode＝37(～35％)的对应情况，结果将是1.8：1的比率。QPencode＝31和 QPencode＝37分别给出2：1的比例，然而，会有一些百分点的照度增加，这可能是也可能不是可接受的。照度的增加可以计算或估计为： 2(-(31-28)/6+2(-(37-28)/6＝0.70711+0.35355＝1.0607，即，照度增加6％。期望最小化该亮度差异，但是小差异通常完全可接受，因为它是人眼不可见的。注意，在选择编码QP值和头部QP值方面有很大的自由度，即，当混合来自两个图像的图像数据时，可以定制四个不同的QP值。
根据本文的一些实施例，控制器对具有不显示指示的第一帧进行编码，其中第一帧包括两个图块(tile)，第一图块包含编码的第一图像，第二图块包含编码的第二图像的非重叠区域。
控制器将后续帧编码为包括两个图块的帧间帧，其中第一图块包含编码的第一图像的非重叠区域，第二图块包含编码的第二图像。
GOP中的第一帧将是帧内帧或I帧，后续帧将是帧间帧或P帧。这对于GOP的第一帧是正确的。第三帧将是P帧，第四帧也如此，依此类推，直到用I帧启动新的GOP。
使用这种编码方法，水平地从两个源拼接的视频可以每第二帧从相应的源图像获取重叠区域数据。这将在图3所示的示例中示出，其中使用两个源图像S1和S2对场景进行成像，每个源图像具有6x1宏块的分辨率, 其中有两个重叠的宏块，如图中所示。源图像S1和S2以垂直偏移示出，以便更好地说明重叠。根据上述编码方法，源图像将形成具有10×1宏块分辨率的混合流。
图3中，每个GOP中第一帧的结构由“帧n”表示，后续帧由“帧n +1”表示。
接收侧的解码器处的结果帧也在图3中示出，其是具有包含3个区域 a1、a2、a3的10×1宏块的分辨率的混合流或帧。
对于帧速率FPS(S1，S2)＝30Hz，完全取自相应源S1和S2的区域a1和a3的有效帧速率将变为30Hz，而重叠区域a2将在30Hz提供部分更新，但需要15Hz进行完全更新。
在该实施例中，产生P帧的两倍的帧。但是，将播放正确的P帧。所有解码器都应该支持这种编码方法，实际中则并非每个解码器都如此。但是，可以根据需要相当容易地添加这种支持。
根据本文的一些实施例，不需要像前一实施例使用“非显示帧”。但是，控制器将编码和发送P帧的两倍的帧，因此帧速率FPS将会加倍，使得重叠区域的间歇性更新。市场上100％的解码器支持这种编码方法。
因此，根据一些实施例，控制器可以编码第一帧，其包括编码的第一图像非重叠区域、编码的第一图像重叠区域和编码的第二图像非重叠区域，并且编码后续帧，其包括编码的第二图像重叠区域。
该实施例中的帧的结构如图4所示，其中第一帧由“帧n”表示，后续帧由“帧n+1”表示。对于后续帧“帧n+1”，仅示出阴影区域以帮助理解帧的结构，其不表示任何编码动作。
根据一个实施例，第一帧被编码为帧内帧。
根据一个实施例，后续帧被编码为帧间帧。
因此，根据该实施例，本发明的方法既可以应用于GOP的开始，也可以应用于GOP的连续图像。
该实施例可以覆盖任何GOP长度。GOP长度可以是静态的，即总是相同的长度，例如30、60等，或动态的，例如随场景变化，其中通常包含大量运动的场景导致比静态场景更短的GOP长度。
处理重叠区域中的运动的改进可以是动态地选择仅使用来自一个源的数据，或者创建仅具有重叠区域中的变化的额外帧以将其帧速率提高到源图像的帧速率。
根据本文的一些实施例，与图3中所示的示例的情况略有不同的情况如图5所示。在图5中，示出了第一和第二传感器如何与一个相同的图像处理管道(pipeline)相关联。通常，图像来自不同的相机，因此，是两个图像管道，或者即使使用相同的硬件，也需要至少两个虚拟图像管道来编码图3和图4中描述和示出的帧。但是，如图5所示。首先组合来自两个源的图像，因此只需要一个相同的图像处理管道，从而得到本发明的第二实施例。该设置可以基本上对应于标准输入，并且当对场景成像时，将生成来自每个传感器的一个图像。
概述图5的图表，有第一和第二图像传感器510、520，两者都提供完全或部分重叠的图像信息。首先在合并步骤中组合图像以生成合并图像 530。在该合并步骤中，相机处理器可以在为后续编码器540生成帧时在确定要组合哪些区域时自由选择。编码器540可以优选地是标准编码器，其中确定了接收帧和参考帧542(如果这样的参考帧可用的话)之间的差异 (示出为DELTA541)，即，使用诸如h.264、h.265等的已知视频编解码器对帧进行编码。合并步骤的结果帧，即合并图像530，在图像处理管道中被编码和转发，并且最终处理后的帧被发送到客户端。还通过使用内部解码器543在编码器540中重建编码图像，以生成参考帧。
为便于理解，可以想象第一图像具有两个区域，一个是独特的(非重叠的)，另一个与第二图像重叠。同样，第二图像具有两个区域，一个与第一图像重叠，另一个区域不重叠。在简化的设置中，像素响应在同一传感器的每个区域中是恒定的，并且最终目标是使用编码器/解码器实现可预测的混合。
参考图5的客户端，一切都可以是标准设置。解码器550依次接收编码帧，对它们进行解码，并根据接收的指令显示它们。在相机端，目标是拼接和混合两个图像，或者如果它们完全重叠则融合它们，并在客户端显示单个图像。
在该第二实施例中，通过与非重叠区域(如果有的话)分开处理重叠区域来拼接和混合或融合两个图像。用于编码目的考虑每个像素对应于单独宏块。控制器对类似于图4中所示的帧结构的帧进行编码，其在下面描述：
前两帧：
第一和第二图像合并为单个图像，其中重叠区域仅包括自第一图像的重叠区域成。因此，在该阶段忽略第二图像的重叠区域的像素值。
如果得到的编码帧是GOP的第一帧，则合并的图像将被编码为I帧。根据动作210和220中描述的方法对合并图像中的非重叠区域和重叠区域进行编码。即使用一组基本QP值对第一合并图像中的第一或非重叠区域的宏块进行编码，并将相同的一组基本QP值添加到每个宏块的头部，以及使用第一组QP值对重叠区域进行编码，并将修改的一组QP值添加到每个宏块的头部。值得注意的是，通过简单地调整最初用于帧的QP值，优选地在编码器之后的阶段添加头部中的QP值。该方法的一个优点在于，当实现根据本文的实施例的解决方案时，可以使用任何编码器。如果帧是 GOP的第一帧并因此是I帧，则它还具有“无显示”标志，这意味着解码器将对帧进行解码，但不转发它用于显示。
当对第二帧进行编码时，再次使用合并图像。第二帧仅对应于第二图像的重叠区域的像素值，忽略非重叠区域。使用第二组QP值将该第二帧编码为具有零参考的P帧，并且再次调整第二组QP值并将其添加到宏块的头部。
在客户端，第二帧将被解码和显示，并且由于它是P帧，所以当显示时它将包含来自参考帧的信息，并且为了本实施例的目的，参考帧被设置为第一帧。由于重叠区域的精确平衡的QP值，结果显示图像将是混合图像，包括来自第一帧和第二帧的信息。
第二对帧和后续帧：
在两个第一帧之后，将以第一和第二图像的形式提供新的传感器输入，并且将重复该过程。在客户端，当然会逐步更新所使用的参考帧。不同之处在于第三帧将是P帧而不是I帧，因此使用参考帧。参考帧由编码器540 的解码器543提供，并且值得注意的是，由编码器540的解码器543解码的帧可以包含头部中的“真实”QP值，而不是调整或修改的QP值。对于该第三帧，使用的参考帧将对应于第一帧。同样，编码的信息是第一和第二图像的非重叠区域以及第一图像的重叠区域。
在客户端，将不显示第三帧。第四帧被编码为包含来自第二图像的重叠区域的信息的P帧，并使用对应于第二帧的参考帧。在传输第四帧之后，利用调整后的QP值，组合图像将显示在客户端侧。然而，效果将是显示组合的和混合的图像。
将重复参考第三和第四帧所描述的过程，直到正好用于新GOP的时间为止，此时将利用如对第一对帧所描述的I帧重新开始全过程。对于第一实施例，该技术使得能够在不要求具有高处理性能的相机的情况下进行混合。
替代编码方法可以是将图像信号处理ISP 120中的增益减小应用于重叠区域中的所有像素，然后在编码器中将其“正常”编码，但在具有仅来自当前编码的源图像的数据的重叠区域中填充编码器参考缓冲器。因此，该数据基本上是错误的，但是，当由解码器显示时它将是正确的。
因此，根据本文的一些实施例，控制器可以将图像信号处理单元120 中的增益减小应用于第一和第二图像的重叠区域中的所有像素。然后，所述第一和第二组QP值可以等于或小于所述一组基本QP值。当第一和第二组QP值等于所述一组基本QP值时，则正常编码重叠区域。在上面的例子中，第一和第二图像的重叠区域中的所有像素值减少到一半，即0.5 的增益减小。
平衡第一组QP值与修改的第一组QP值和第二组QP值与修改的第二组QP值，以及QP值和修改的QP值的任何进一步组合之间的关系，使得重叠区域的强度与非重叠区域的强度大致相同。
根据一些实施例，可以通过激活调整图像处理单元120中的增益的反馈回路来补偿强度中的任何现有差异。
根据一些实施例，为了实现多处理的目的，可以将第一和/或第二图像划分为图块或切片。例如，本文的实施例可以进行混合而不必在芯片(例如在具有两个或更多个芯片的相机中、或者两个或更多个相机中)之间共享数据。图块在这里是重要的，因为它们不共享任何数据，因此可以单独编码。
根据一些实施例，第一和/或第二组QP值以每宏块或每帧而不同。通过这种方式，可以实现智能编码器、速率控制器等。
根据一些实施例，编码器可以使用各种去块(deblocking)工具将重叠区域划分为专门的图块或切片，并将不同的去块滤波器设置应用于第一和/或第二图像。这是为了让解码器执行混合的额外动态平滑。也就是说，甚至可以对重叠区域使用专门的图块/切片，并为该区域选择不同的去块滤波器设置。
尽管在上述示例实施例中，组合来自仅两个图像的重叠区域，但是用于实现重叠区域的混合的方法和装置可以应用于组合多于两个图像的情况。此外，用于实现重叠区域的混合的方法和装置可以应用于彼此完全重叠的两个或多于两个图像，即，能够融合两个或多于两个图像。
根据本文的实施例用于控制一组图像帧(例如第一和第二图像)的编码的方法，可以在包括相机和编码器的组件100中包括的控制器150中执行。第一图像可以包括第一和第二区域，第二图像可以包括第一和第二区域。第一图像可以与第二图像完全重叠，即第一图像的第一和第二区域可以分别与第二图像的第一和第二区域重叠。第一图像可以与第二图像部分重叠，即第一图像的第二区域可以与第二图像的第一区域重叠。
控制器150被配置为使用一组基本量化参数值QP值对第一图像中的第一或非重叠区域的宏块进行编码，并将相同的一组基本QP值添加到每个宏块的头部。
控制器150还被配置为使用一组第一QP值对第一图像中的第二或重叠区域的宏块进行编码，并将修改的一组第一QP值添加到每个宏块的头部。
控制器150还被配置为使用一组第二QP值对第二图像中的第一或重叠区域的宏块进行编码，并将修改的一组第二QP值添加到每个宏块的头部。
控制器150还被配置为使用一组基本量化参数值QP值对第二图像中的第二或非重叠区域的宏块进行编码，并将相同的一组基本QP值添加到每个宏块的头部。
可以平衡第一组QP值与修改的第一组QP值和第二组QP值与修改的第二组QP值以及QP值和修改的QP值的任何进一步组合之间的关系，使得重叠区域的强度与非重叠区域的强度大致相同。可以通过激活调整图像处理单元中的增益的反馈回路来补偿强度中的任何现有差异。
根据一些实施例，控制器150还被配置为：对具有不显示指示的第一帧进行编码，其中第一帧包括两个图块，第一图块包含编码的第一图像，第二图块包含编码的第二图像的第二或非重叠区域；并且将后续帧编码为包括两个图块的帧间帧，其中第一图块包含编码的第一图像的第一或非重叠区域，第二图块包含编码的第二图像。
根据一些实施例，控制器150还被配置为：对包括编码的第一图像和编码的第二图像的第二区域或非重叠区域的第一帧进行编码；并对包括编码的第二图像的第一或重叠区域的后续帧进行编码。
根据一些实施例，控制器150还被配置为将图像信号处理单元中的增益减小应用于第一和第二图像的重叠区域中的所有像素，其中所述第一和第二组QP值等于或高于所述一组基本QP值。
根据一些实施例，控制器150还被配置为将重叠区域划分为专门的图块或切片，并将不同的去块滤波器设置应用于第一和/或第二图像。
根据本文的实施例的用于编码一组图像的控制器和方法适用于其中需要图像混合的任何电子设备，例如相机系统。图6示出了其中可以实施根据本文的实施例的控制器和方法的电子设备600。电子设备600包括组件 100，组件100包括相机和编码器、用于信息存储和信号处理的处理单元 620、用于将图像数据传输到网络或其他设备的传输器630、用于存储图像数据、配置、用于在执行时执行本文的编码方法的程序代码等的存储器 640。组件100中的ISP 120、编码器130和控制器150可以位于处理单元 620中或者与处理单元620组合。电子设备600可以是相机系统、网络视频记录器、监控相机中的任何一个，即包括成像单元、处理单元和编码器的常规网络相机，或者具有“摄像头”并且包含成像单元和一些处理的网络相机，而进一步的图像处理和编码可以在摄像头经由电缆连接到的单独单元中执行。
总之，根据本文的实施例用于控制一组图像的编码的控制器和方法的一些优点包括：
当在接收位置的解码器中对编码帧进行解码时，在接收位置中实现第一图像和第二图像彼此重叠的重叠区域的混合。这是通过用不同组QP值对图像中不同区域的宏块进行编码，并且将不同组QP值添加到对应宏块的头部来实现的。
因为通过控制一组图像的编码来实现这一点的方法完全在编码器内部，实现多传感器图像的混合而无需添加额外的硬件支持。这通过欺骗编码器以比在编码视频中发送的QP值更高的QP值压缩重叠区域宏块来实现的。在接收位置，当用与非重叠区域的QP值相比不同的修改的QP值解码重叠区域时，实现来自两个或更多个图像的重叠区域的混合。
因此，本文的实施例提供了一种用于图像混合的改进的方法和装置。
当使用词语“包括”或“包含”时，它应被解释为非限制性的，即意味着“至少包括”。
本文的实施例不限于上述优选实施例。可以使用各种替代、修改和等同物。因此，上述实施例不应视为限制本发明的范围，本发明的范围由所附权利要求限定。

Claims (15)

1.一种用于控制在包括相机和编码器的组件中的一组图像的编码的方法，使得能够混合第一图像和第二图像彼此重叠的重叠区域，该方法包括：
使用第一组基本QP值(量化参数值)，对所述第一图像中的第一区域的宏块进行编码，并将用于宏块的被编码的基本QP值添加到该宏块的头部；
使用一组第一QP值对所述第一图像中的第二区域的宏块进行编码，并将修改后的一组所述第一QP值添加到每个宏块的头部，其中用于解码的添加到宏块的头部的每个修改的第一QP值小于用于编码该宏块的所述第一QP值；
使用一组第二QP值对所述第二图像中的第一区域的宏块进行编码，并将修改后的一组所述第二QP值添加到每个宏块的头部，其中用于解码的添加到宏块的头部的每个修改的第二QP值小于用于编码该宏块的所述第二QP值；
使用第二组基本QP值，对所述第二图像中的第二区域的宏块进行编码，并将用于宏块的被编码的基本QP值添加到该宏块的头部；
其中，所述重叠区域是所述第一图像的所述第二区域和所述第二图像的所述第一区域；
其中，当编码图像被解码时，在所述编码图像的接收位置中使得能够进行所述第一图像和所述第二图像或多于两个图像的重叠区域的混合，并且在接收位置的解码器中组合两个或多于两个图像的重叠区域。
2.根据权利要求1所述的方法，还包括：
编码具有不显示指示的第一帧，其中所述第一帧包括两个图块，第一图块和第二图块，所述第一图块包含所述编码的第一图像，并且所述第二图块包含所述编码的第二图像的所述第二区域；
将后续帧编码为包括两个图块的帧间帧，其中所述第一图块包含所述编码的第一图像的所述第一区域，所述第二图块包含所述编码的第二图像。
3.根据权利要求2所述的方法，其中，所述第一帧被编码为帧内帧，所述后续帧被编码为帧间帧。
4.根据权利要求1所述的方法，还包括：
编码包括所述编码的第一图像和所述编码的第二图像的所述第二区域的第一帧；以及
编码包括所述编码的第二图像的所述第一区域的后续帧。
5.根据权利要求4所述的方法，其中所述第一帧被编码为帧内帧，所述后续帧被编码为帧间帧。
6.根据权利要求1所述的方法，还包括：将图像信号处理单元中的增益减小应用于所述第一图像和所述第二图像的所述重叠区域中的所有像素，其中所述一组第一QP值和所述一组第二QP值等于或小于一组基本QP值。
7.根据权利要求1所述的方法，其中所述重叠区域中的任一组QP值和修改的QP值之间的关系是使得用于所述重叠区域的QP权重
Figure FDA0003034743650000021
的和与1之间的差最小化，以使得所述重叠区域与非重叠区域的亮度之间的差最小化，其中QPencode是用于编码的一组第一QP值/一组第二QP值中的QP值，QPheader是用于解码的修改的一组第一QP值/一组第二QP值中的QP值。
8.一种控制器，用于控制一组图像帧的编码，以使得能够在包括相机和编码器的组件中混合第一图像帧和第二图像帧彼此重叠的重叠区域，所述控制器被配置至：
使用第一组基本QP值(量化参数值)对所述第一图像中的第一区域的宏块进行编码，并将用于宏块的被编码的基本QP值添加到该宏块的头部；
使用一组第一QP值对所述第一图像中的第一区域的宏块进行编码，并将修改后的一组所述第一QP值添加到每个宏块的头部，其中用于解码的添加到宏块的头部的每个修改的第一QP值小于用于编码该宏块的所述第一QP值；
使用一组第二QP值对所述第二图像中的第一区域的宏块进行编码，并将修改后的一组所述第二QP值添加到每个宏块的头部，其中用于解码的添加到宏块的头部的每个修改的第二QP值小于用于编码该宏块的所述第二QP值；
使用第二组基本QP值，对所述第二图像中的第二区域的宏块进行编码，并将用于宏块的被编码的基本QP值添加到该宏块的头部；
其中，所述重叠区域是所述第一图像的所述第二区域和所述第二图像的所述第一区域。
9.根据权利要求8所述的控制器，还被配置为：
编码具有不显示指示的第一帧，其中所述第一帧包括两个图块，第一图块和第二图块，所述第一图块包含所述编码的第一图像，并且所述第二图块包含所述编码的第二图像的所述第二区域；
将后续帧编码为包括两个图块的帧间帧，其中所述第一图块包含所述编码的第一图像的所述第一区域，并且所述第二图块包含所述编码的第二图像。
10.根据权利要求9所述的控制器，其中所述第一帧被编码为帧内帧，所述后续帧被编码为帧间帧。
11.根据权利要求8所述的控制器，还被配置为：
编码包括所述编码的第一图像和所述编码的第二图像的所述第二区域的第一帧；以及
编码包括所述编码的第二图像的所述第一区域的后续帧。
12.根据权利要求11所述的控制器，其中所述第一帧被编码为帧内帧，所述后续帧被编码为帧间帧。
13.根据权利要求12所述的控制器，还被配置为将图像信号处理单元中的增益减小应用于所述第一图像和所述第二图像的所述重叠区域中的所有像素，其中所述一组第一QP值和一组第二QP值等于或小于一组基本QP值。
14.根据权利要求8所述的控制器，还被配置为
编码包括所述编码的第一图像和所述编码的第二图像的所述第二区域的第一帧；以及
编码包括所述编码的第二图像的所述第一区域的后续帧。
15.一种电子设备，包括相机和编码器、用于信息存储和信号处理的处理单元、用于将图像数据传输到网络或其他设备的传输器、用于存储图像数据、配置、和/或用于在执行时执行编码方法的程序代码的存储器；
其中，所述处理单元包括权利要求8所述的控制器，或者与权利要求8所述的控制器组合。
CN201811520173.0A 2017-12-14 2018-12-12 用于控制图像编码的方法及控制器、电子设备 Active CN109963156B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP17207342.1A EP3499870B1 (en) 2017-12-14 2017-12-14 Efficient blending using encoder
EP17207342.1 2017-12-14

Publications (2)

Publication Number Publication Date
CN109963156A CN109963156A (zh) 2019-07-02
CN109963156B true CN109963156B (zh) 2021-08-17

Family

ID=60673572

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811520173.0A Active CN109963156B (zh) 2017-12-14 2018-12-12 用于控制图像编码的方法及控制器、电子设备

Country Status (6)

Country Link
US (1) US10841513B2 (zh)
EP (1) EP3499870B1 (zh)
JP (1) JP6867362B2 (zh)
KR (1) KR102315998B1 (zh)
CN (1) CN109963156B (zh)
TW (1) TWI708500B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3474548A1 (en) * 2017-10-18 2019-04-24 Axis AB Method and encoder for encoding a video stream in a video coding format supporting auxiliary frames
US11055976B2 (en) * 2019-09-19 2021-07-06 Axis Ab Using a skip block mask to reduce bitrate from a monitoring camera
EP3796655B1 (en) 2019-09-20 2021-11-03 Axis AB Video privacy mask in forward predicted video frame
EP3796652B1 (en) * 2019-09-23 2022-05-18 Axis AB Video encoding method and method for reducing file size of encoded video

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101035261A (zh) * 2007-04-11 2007-09-12 宁波大学 一种交互式多视点视频系统的图像信号处理方法
CN101094367A (zh) * 2006-06-21 2007-12-26 松下电器产业株式会社 流式编码器及流式解码器
US9497457B1 (en) * 2012-10-18 2016-11-15 Altia Systems Inc Repacking of panoramic video based on standard image formats
CN107040783A (zh) * 2015-10-22 2017-08-11 联发科技股份有限公司 视频编码系统的非拼接图片的视频编码、解码方法及装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7382927B2 (en) * 1999-01-08 2008-06-03 Sharp Laboratories Of America, Inc. System for constructing mosaic images
US8913667B2 (en) * 1999-11-09 2014-12-16 Broadcom Corporation Video decoding system having a programmable variable-length decoder
US7034897B2 (en) * 2002-04-01 2006-04-25 Broadcom Corporation Method of operating a video decoding system
JP2005175620A (ja) * 2003-12-08 2005-06-30 Canon Inc 画像処理方法及び装置
KR100724134B1 (ko) * 2006-01-09 2007-06-04 삼성전자주식회사 이미지 매칭 속도와 블렌딩 방법을 개선한 파노라마 영상제공 방법 및 장치
WO2011142279A1 (ja) * 2010-05-13 2011-11-17 シャープ株式会社 符号化装置、復号装置、およびデータ構造
WO2012014471A1 (ja) * 2010-07-30 2012-02-02 パナソニック株式会社 画像復号化装置、画像復号化方法、画像符号化装置および画像符号化方法
JP2017050857A (ja) * 2015-08-31 2017-03-09 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
CN105894449B (zh) * 2015-11-11 2019-11-08 法法汽车(中国)有限公司 克服图像融合中颜色突变的方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101094367A (zh) * 2006-06-21 2007-12-26 松下电器产业株式会社 流式编码器及流式解码器
CN101035261A (zh) * 2007-04-11 2007-09-12 宁波大学 一种交互式多视点视频系统的图像信号处理方法
US9497457B1 (en) * 2012-10-18 2016-11-15 Altia Systems Inc Repacking of panoramic video based on standard image formats
CN107040783A (zh) * 2015-10-22 2017-08-11 联发科技股份有限公司 视频编码系统的非拼接图片的视频编码、解码方法及装置

Also Published As

Publication number Publication date
EP3499870A1 (en) 2019-06-19
US20190191105A1 (en) 2019-06-20
TWI708500B (zh) 2020-10-21
JP6867362B2 (ja) 2021-04-28
US10841513B2 (en) 2020-11-17
JP2019106708A (ja) 2019-06-27
KR102315998B1 (ko) 2021-10-25
KR20190071607A (ko) 2019-06-24
EP3499870B1 (en) 2023-08-23
TW201929546A (zh) 2019-07-16
CN109963156A (zh) 2019-07-02

Similar Documents

Publication Publication Date Title
CN109963156B (zh) 用于控制图像编码的方法及控制器、电子设备
US10425652B2 (en) Video composition
CN105791882A (zh) 视频编码方法及装置
CA2941085C (en) Method for low-latency illumination compensation process and depth lookup table based coding
US8947498B2 (en) Method and device for processing multi-picture video image
US7650036B2 (en) System and method for three-dimensional video coding
KR102343700B1 (ko) 독립적으로 인코딩된 배경 업데이트들에 기초한 비디오 송신
US20150262404A1 (en) Screen Content And Mixed Content Coding
EP1725042A1 (en) Fade frame generating for MPEG compressed video data
KR20170101227A (ko) 고프레임율-저프레임율 전송 기술
KR20190142326A (ko) 송신 장치, 송신 방법, 수신 장치 및 수신 방법
US20140165125A1 (en) Broadcasting system and broadcasting method of providing multi-picture
BR112021012769A2 (pt) Codificador, decodificador, método de codificação e método de decodificação
JP2010004142A (ja) 動画像符号化装置、復号化装置、符号化方法及び復号化方法
US20180352240A1 (en) Generalized Temporal Sub-Layering Frame Work
US20130250055A1 (en) Method of controlling a 3d video coding rate and apparatus using the same
JP5760458B2 (ja) Ｔｖ会議システム
JP2006165664A (ja) 画像送受信システム
CN112019703A (zh) 用于视频处理的系统和方法
US20160100164A1 (en) Video encoding and decoding methods for a video comprising base layer images and enhancement layer images, corresponding computer programs and video encoder and decoder
JPH08340521A (ja) 画像通信端末装置
JP2011109528A (ja) 動画像符号化復号化装置
JP2001309387A (ja) 動画像符号列多重化装置及び動画像符号列多重化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant