CN113170134A - 用于语境分割和处理的基于块的图片融合 - Google Patents

用于语境分割和处理的基于块的图片融合 Download PDF

Info

Publication number
CN113170134A
CN113170134A CN201980077960.9A CN201980077960A CN113170134A CN 113170134 A CN113170134 A CN 113170134A CN 201980077960 A CN201980077960 A CN 201980077960A CN 113170134 A CN113170134 A CN 113170134A
Authority
CN
China
Prior art keywords
information
region
encoder
video frame
blocks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980077960.9A
Other languages
English (en)
Inventor
V·阿季奇
H·卡瓦
B·富尔赫特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
OP Solutions LLC
Original Assignee
OP Solutions LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by OP Solutions LLC filed Critical OP Solutions LLC
Publication of CN113170134A publication Critical patent/CN113170134A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data

Abstract

一种编码器，包括电路，电路配置为：接收视频帧；将所述视频帧拆分成多个块；确定所述视频帧内的第一区域，第一区域包括块的第一子集的第一分组；确定所述第一区域的信息的第一平均度量；以及对所述视频帧编码；所述编码包括：基于所述第一区域的信息的第一平均度量控制量化参数。还描述相关装置、系统、技术以及制品。

Description

用于语境分割和处理的基于块的图片融合
相关申请的交叉引用
本申请要求申请号为62/771,907、申请日为2018年11月27日且标题为“用于语境分割和处理的基于块的图片融合(BLOCK-BASED PICTURE FUSION FOR CONTEXTUALSEGMENTATION AND PROCESSING)”的美国临时专利申请的优先权，其全部内容在此引入本申请作为参考。
技术领域
本发明一般涉及视频压缩领域。本发明尤其涉及用于语境分割和处理的基于块的图片融合。
背景技术
视频编解码器可包括压缩或解压数字视频的电子电路或软件。该视频编解码器可将未压缩的视频转换为压缩格式，反之亦然。在视频压缩领域，压缩视频(和/或执行其一些功能)的设备通常称为编码器，而解压视频(和/或执行其一些功能)的设备则称为解码器。
压缩数据的格式可以是符合标准视频压缩规范的。但也可能会因压缩视频中缺失了原始视频中的一些信息而出现损耗。其后果是解压视频因信息不足无法准确重建原始视频，从而使其质量低于原始未压缩的视频。
视频质量与用于表征视频的数据量(例如，由比特率确定)、编码和解码算法的复杂性、数据损失和误差的敏感性、编辑简便性、随机存取、端到端延迟(例如，时延)等之间存在复杂的关系。
编码期间，将图片(例如，视频帧)分割(例如，拆分)为相对较大的块，如128×128，并且此结构是固定的。但是，通过将图片切割成较大块进行压缩且不考虑底层视频信息(例如，视频内容)，大块可能无法以有效编码方式将图片分区，从而导致比特率性能差。
发明内容
在一个方面，一种编码器包括电路，电路配置为：接收视频帧；将视频帧拆分成块；确定视频帧内的第一区域，第一区域包括块的第一子集的第一分组；确定第一区域的信息的第一平均度量；以及对视频帧编码，编码包括基于第一区域的信息的第一平均度量控制量化参数。
在另一方面，一种方法包括通过编码器接收视频帧并将视频帧拆分成块。该方法包括确定视频帧内的第一区域，第一区域包括块的第一子集的第一分组。该方法包括确定第一区域的信息的第一平均度量。该方法包括对视频帧编码，该编码包括基于第一区域的信息的第一平均度量控制量化参数。
本发明中所描述的主题的一种或多种变形在下面的附图和说明书中有详细描述。结合说明书、附图和权利要求，本发明中所描述的主题的其他特征和优点将变得显而易见。
附图说明
为了对本发明进行说明，附图中示出了本发明的一个或多个实施例的方面。然而，应当理解本发明并不限于附图所示的精确配置和装置，其中：
图1是以4×4块为基本分割尺寸的用于编码视频的示例性过程的流程图，该过程可通过编码器使粒度更细，且该尺寸与设定的变换块尺寸一致；
图2是带人脸图片的分割和融合过程的说明性示例；
图3是根据当前主题的一些实施方式的分割和融合过程的另一示例的一系列图像；
图4是能够基于块融合、语境分割和处理图片的示例性视频编码器的系统方框图；和
图5是可用以实现本公开的方法中的任何一种或多种及其任何一部分或多个部分的计算系统的方框图。
附图并非一定按比例绘制，而是以虚线、示意图和局部视图示出。在某些情况下，省略了对于理解实施例并非必要的或者使得其他细节难以理解的细节。在各附图中，相同的标号表示相同的要素。
具体实施方式
当前主题的一些实施方式涉及一种以样本块为基本单元执行图片分割的视频编码方法。样本块的尺寸一致，块尺寸可以是边长尺寸，以正方形像素为单位，例如但不限于，本公开的实施例可使用4×4样本块作为基本单元，以便与视频和图像编码中变换的一些典型标准尺寸保持一致。通过将4×4块作为基本分割尺寸，当前主题的一些实施方式允许通过编码器使粒度更细并且该尺寸与变换块的设定尺寸一致，使得可利用标准和定义的变换矩阵提高编码效率。另外，该方法与一些现有编码方法形成对比，现有的编码方法使用相对较大尺寸的固定块结构。本领域技术人员在阅读本公开的全部内容后应当理解，根据任何测量方法，通常任何尺寸或形状的样本块均可用于图片拆分和/或分割，尽管为了简洁起见，在后面的许多示例中仅描述了4×4的样本块。
在一些实施方式中，当前主题包括使用可分析和处理语境和语义图片的基于区域的块融合方法。
图1是使用4×4块作为基本分割尺寸的用于编码视频的示例性过程的流程图，该过程允许通过编码器实施和/或执行，以使粒度更细；该尺寸与变换块的设定尺寸一致。在步骤105中，视频帧由编码器接收。也可以以任何适用于从任何设备和/或输入端口以视频流和/或文件形式接收视频的方式来实现。接收视频帧可包括从编码器的存储器和/或与编码器通信、整合和/或已整合入编码器的计算设备的存储器中检索。接收可包括通过网络从远程设备接收。接收视频帧可包括接收由一个或多个视频组成的多个视频帧。
在步骤110中，并且继续参照图1，编码器将视频帧分割成块，例如，通过拆分将视频帧分成块，包括但不限于尺寸为4像素×4像素(4×4)的块。4×4的尺寸可与许多可分为整数个4×4块的标准视频分辨率相兼容。
在步骤115中，并继续参照图1，执行块融合。块融合包括确定视频帧内的第一区域，第一区域包括块的第一子集的第一分组。在块融合中，每个块可分配一个区域。分配逻辑，例如但不限于语义信息，可从外源获取；语义信息可在130中接收。作为非限制性示例，语义信息可包括面部检测器提供的信息，以使语义信息包括表征面部检测的数据。因此，第一分组可基于接收到的语义信息来确定。在一些实施方式中，分配逻辑可以是预设的，例如，根据多个聚类或分组算法预设。编码器可进一步配置为确定视频帧内的第二区域，第二区域包括块的第二子集的第二分组。
图2是带人脸图片的分割和融合过程的说明性示例的视图。例如，根据接收到的语义信息，将任何含有至少一个像素(例如但不限于脸部)属于目标对象(例如，通过接收到的语义信息识别的)的块分配给阴影区(A2)，并与该区域内的其他块融合。
再参照图1，在步骤120中，确定第一区域的信息的第一平均度量。例如，信息度量可包括该区域的细节层次。例如，平滑区域或高度纹理化的区域中含有不同数量的信息。
仍参照图1，作为非限制性示例，信息的第一平均度量可根据第一区域中各块的信息度量总和来确定，该信息度量可由显著性系数加权和/或与显著性系数相乘得出，例如，求和公式如下所示：
Figure BDA0003085302520000031
式中，N是第一区域的序列号；SN是显著性系数；k是对应于构成第一区域的多个块中的一个块的索引；n是构成第一区域的块的数量，Bk是该多个块中的一个块的信息度量；以及AN是信息的第一平均度量。例如，Bk包括利用块离散余弦变换矩阵计算出的空间活动度量。例如，在上述块为4×4像素块的情况下，广义离散余弦变换矩阵可包括以下形式的广义离散余弦变换矩阵II：
Figure BDA0003085302520000041
式中，
Figure BDA0003085302520000042
且
Figure BDA0003085302520000043
在一些实施方式中，可使用变换矩阵的整数近似算法，该整数近似算法可使用高效的硬件和软件来实现。例如，在上述块为4×4像素块的情况下，广义离散余弦变换矩阵可包括以下形式的广义离散余弦变换矩阵II：
Figure BDA0003085302520000044
对于每个块Bi，块频谱利用以下公式计算：
FBi＝T×Bi×T’
式中，T’是余弦变换矩阵T的横向；Bi是对应于块中像素的以数值矩阵表示的块，如以4×4矩阵表示上述的4×4像素块；运算符号×表示矩阵乘法。空间活动度量可替代地或附加地使用边缘和/或角点检测、模式检测的卷积核和/或频率分析进行，例如但不限于下面将做进一步详细描述的FFT过程。
继续参照图1，其中，编码器进一步配置为确定视频帧内的第二区域(如上参照图1所做的描述)，例如但不限于第二子块的第二分组；编码器配置为确定该第二区域的信息的第二平均度量；信息第二平均度量的确定可如上面所描述的确定信息的第一平均度量来完成。
仍参照图1，显著性系数SN可由外部专家提供和/或基于第一区域的特征值(例如，融合块)计算得出。本发明中使用的区域“特征值”是区域的可基于区域内容确定的测量属性，特征值可使用在第一区域执行的一次或多次计算的输出以数字表示。一次或多次计算包括对表示第一区域的任何信号的任何分析。一个非限制性示例包括：在质量建模应用中，为具有平滑背景的区域分配较高的SN，而为具有较低平滑背景的区域分配较低的SN。作为非限制性示例，可使用Canny边缘检测算法测定边缘数量，以确定平滑度；其中，数量越低平滑度越高。自动平滑度检测的另一示例可包括对一个区域的空间变量信号进行快速傅里叶变换(FFT)，其中的信号可在任何二维坐标系上进行分析，并对表示红、绿和蓝色值等的信道进行FFT。利用FFT计算时，在频率分量较低的频域中，相对优势越高表示平滑度越高，反之，在频率分量较高的频域中，相对优势越高表示背景区域中的颜色和/或阴影值过渡越频繁、越快，使得平滑度分值越低。重要语义对象可通过用户输入来识别。语义重要性可替代地或附加地根据边缘配置和/或纹理模式进行检测。背景可通过但不限于接收和/或检测表示重要或“前景”对象(如面部或其他项，包括但不限于重要语义对象)的一部分区域来识别。另一个示例包括为含重要语义对象的区域分配较高的SN，如人脸。
图3示出了根据当前主题的一些实施方式的分割和融合过程的另一示例的一系列图像。输入图像(a)可分割成4×4的块，如(b)所示。在(c)中，可使用预设逻辑将块融合到一组较大区域中，该区域包括但不限于一组16×16的相同区域，例如，如(d)所示。在(e)中，使用语义信息进行分割，在相应区域(A1、A2和A3)分割花田、云和晴空的其余部分，如(f)所示。在该示例中，区域A3的显著性系数最低，而区域A1的最高(背景最平滑)。
再参照图1，在步骤125中，对视频帧编码。该编码包括基于第一区域的信息的第一平均度量控制量化参数。量化参数包括、等于和/或与量化尺寸度量和/或量化级成比例和/或成线性关系。本公开中使用的“量化级”和/或“量化尺寸”是表示压缩视频帧中丢失信息量的数量数字。量化级可包括但不限于如整数的数字，用一个或多个包括但不限于变换系数的系数除以和/或减去该整数数字，减少编码及后续编码帧信息内容。控制可包括基于第一信息度量确定第一量化尺寸；量化级可表示捕获像素块中描述亮度和/或色度的信息所需的存储器直接或间接存储的度量，其中，通过信息的第一度量确定的信息的方差越大，存储所需的位数也越大。量化尺寸可基于上述的信息的第一度量，其中，信息的第一度量越大，量化尺寸越大，而信息的第一度量越小，量化尺寸越小。量化尺寸可与信息的第一度量成比例和/或线性相关。通常，信息内容越多，量化尺寸越大。通过控制量化尺寸，可将块融合区域的相关信息用于优化编码的率失真。控制可进一步基于第二区域的信息的第二平均度量进行。
在一些实施方式中，信息的第一平均度量可用于计算质量。
图4是能够基于块的图片融合和语境分割及处理的示例性视频编码器400的系统方框图。示例性视频编码器400接收输入视频404，输入视频可初始分割或拆分成4×4块，以供进一步处理用。
继续参照图4，示例性视频编码400包括帧内预测处理器408、运动估计和补偿处理器412(也称为帧间预测处理器)、变换/量化处理器416、逆量化和逆变换处理器420、环路滤波器424、解码图片缓冲器428和熵编码处理器432。可将比特流参数输入熵编码处理器432，使其包含在输出比特流436中。
仍参照图4，变换/量化处理器416能够执行块融合，并计算每个区域的信息的度量。
继续参照图4，在运行中，确定是通过图片内预测，还是利用运动估计/补偿来处理输入视频404的帧的每个块。可将块提供给帧内预测处理器408或运动估计和补偿处理器412。如果通过帧内预测处理该块，则由帧内预测处理器408执行处理，以输出预测变量；如果通过运动估计和补偿处理，则由运动估计和补偿处理器412执行处理。
仍参照图4，可通过从输入视频中减去预测变量来形成残差。残差可由变换/量化处理器416接收，由变换/量化处理器执行变换处理，例如离散余弦变换(DCT)，以生成可量化的系数。将量化系数及任何相关联的信令信息提供给熵编码处理器432，用以进行熵编码并将其包含在输出比特流436中。另外，可将量化系数提供给逆量化和逆变换处理器420，以再现像素，像素可与预测变量组合并由环路滤波器424处理；将其输出存储在解码图片缓冲器428中，以供运动估计和补偿处理器412使用。
应当注意的是，本发明中描述的方面和实施例中的任何一个或多个都便于用数字电子电路、集成电路、专门设计的应用型专用集成电路(ASIC)、现场可编程门阵列(FPGA)、计算机硬件、固件、软件和/或其组合实施。可在根据本说明书的教导编程的一个或多个机器(例如，用作用户电子文档计算设备的一个或多个计算设备、一个或多个服务器设备，例如文档服务器)中实现和/或实施对计算机领域的普通技术人员是显而易见的。这些各个方面或特征可包括在一个或多个可由可编程系统执行和/或解读的计算机程序和/或软件中实现的方式，该可编程系统包括至少一个可编程处理器，该可编程处理器可以是专用或通用的，耦接用以从存储系统、至少一个输入设备和至少一个输出设备接收数据和指令以及向其传送数据和指令。熟练程序员可基于本公开的教导很容易地准备相应的软件编码，这对软件领域的普通技术人员是显而易见的。上述方面和实施方式采用的软件和/或软件模块还可包括用于协助实现机器执行软件和/或软件模块指令的相应硬件。
此种软件可以是采用机器可读存储介质的计算机程序产品。机器可读存储介质可以是任何能够存储和/或编码可由机器(例如，计算设备)执行的指令序列且使机器执行本发明中描述的方法和/或实施例中的任何一种的介质。机器可读存储介质的示例包括但不限于磁盘、光盘(例如，CD、CD-R、DVD和DVD-R等)、磁光盘、只读存储设备“ROM”、随机存取存储设备“RAM”、磁卡、光卡、固态存储设备、可擦可编程只读存储器(EPROM)、电可擦可编程只读存储器(EEPROM)、可编程逻辑设备(PLD)和/或其任意组合。本发明中所用的机器可读存储介质旨在包括单一介质和物理上相分离的介质集合，例如，光盘集合或一个或多个硬盘驱动器与计算机存储器的组合。本发明中所用的机器可读存储介质不包括信号传输中的瞬态存储形式。
此种软件还可包括作为数据信号在载波等数据载体上携带的信息(例如，数据)。例如，作为承载的数据信号在数据载体上实现的机器可读信息，其中，信号对指令序列或其一部分进行编码，以供机器(例如，计算设备)执行，以及任何可使机器执行本发明中描述的方法和/或实施例中的任何一个的相关信息(例如，数据结构和数据)。
计算设备的示例包括但不限于电子书阅读设备、计算机工作站、终端计算机、服务器计算机、手持设备(例如，平板电脑和智能手机等)、网络计算机、网络路由器、网络交换机、网桥、任何能够执行用于指示机器采取动作的指令序列的机器及其任意组合。在一个示例中，计算设备可包括和/或被包括在自助服务终端中。
图5示出了计算机系统500的示例形式的计算设备的一个实施例，在该计算机系统中，可执行一系列用于使控制系统执行本公开的方面和/或方法中的任何一个或多个的一组指令。还设想利用多个计算设备执行一组专门配置的指令，以使设备中的一个或多个执行本公开的方面和/或方法中的任何一个或多个。计算机系统500包括处理器504和存储器508，通过总线512相互通信，并且与其他组件通信。总线512可包括多种总线结构中的任何一种，包括但不限于使用各种总线体系结构中的任何一种的存储器总线、存储控制器、外围总线、本地总线及其任何组合。
存储器508可包括各种组件(例如，机器可读介质)，包括但不限于随机存取存储器组件、只读组件及其任意组合。在一个示例中，基本输入/输出系统516(BIOS)可存储在存储器508中，该基本输入/输出系统包括基本例程，帮助计算机系统500内的元件之间传递信息，如在启动期间。存储器508还可包括(例如，存储在一个或多个机器可读介质上的)实现本公开的方面和/或方法中的任何一个或多个的指令(例如，软件)520。在另一示例中，存储器508可进一步包括任意数量的程序模块，包括但不限于操作系统、一个或多个应用程序、其他程序模块、程序数据及其任意组合。
计算机系统500还可包括存储设备524。存储设备(例如，存储设备524)的示例包括但不限于硬盘驱动器、磁盘驱动器、光盘驱动器与光学介质的组合、固态存储设备及其任意组合。存储设备524可通过相应的接口(未示出)连接至总线512。示例性接口包括但不限于小型计算机系统接口(SCSI)、高级技术附件(ATA)、串行高级技术附件(SATA)、通用串行总线(USB)，IEEE 1394接口(火线)及其任意组合。在一个示例中，存储设备524(或其一个或多个组件)可以与计算机系统500可移除地连接，例如，经由外部端口连接器(未示出)。具体地，存储设备524及相关联的机器可读介质528可为计算机系统500的机器可读指令、数据结构、程序模块和/或其他数据提供非易失性和/或易失性存储。在一个示例中，软件520可全部或部分地驻留在机器可读介质528内。在另一示例中，软件520可全部或部分地驻留在处理器504中。
计算机系统500还可包括输入设备532。在一个示例中，计算机系统500的用户可经由输入设备532将命令和/或其他信息输入计算机系统500中。输入设备532的示例包括但不限于字母数字输入设备(例如，键盘)、定点设备，操纵杆、游戏手柄、音频输入设备(例如，麦克风和语音响应系统等)、光标控制设备(例如，鼠标)、触摸板、光学扫描仪、视频捕获设备(例如，照相机和摄像机)、触摸屏及其任意组合。输入设备532可经由各种接口(未示出)中的任何一个连接至总线512；接口包括但不限于串行接口、并行接口、游戏端口、USB接口、火线接口、总线直接接口512及其任意组合。输入设备532可包括触摸屏界面，该触摸屏界面可以是显示器436的一部分或与显示器536分开，下面将做进一步探讨。输入设备532可用作用户选择设备，用以在如上所述的图形界面中选择一个或多个图形表示。
用户还可经由存储设备524(例如，可移动盘驱动器和闪存驱动器等)和/或网络接口设备540将指令和/或其他信息输入计算机系统500。网络接口设备(如网络接口设备540)可用于将计算机系统500连接至多个网络中的一个或多个，如网络544，以及连接至与其连接的一个或多个远程设备548。网络接口设备的示例包括但不限于网络接口卡(例如，移动网络接口卡、局域网LAN接口卡)、调制解调器及其任意组合。网络示例包括但不限于广域网(例如，互联网和企业网络)、局域网(例如，与办公室、建筑物、校园或其他相对较小的地理空间相关联的网络)、电话网络、与电话/语音提供商相关联的数据网络(例如，移动通信提供商的数据和/或语音网络)、两个计算设备之间的直接连接及其任意组合。网络可采用有线和/或无线通信模式，如网络544。通常，可使用任何网络拓扑结构。信息(例如，数据和软件520等)可经由网络接口设备540传送给计算机系统400和/或从计算机系统500传送。
计算机系统500可进一步包括视频显示适配器552，用以将可显示图像传送至显示设备，如显示设备536。显示设备的示例包括但不限于液晶显示器(LCD)、阴极射线管(CRT)、等离子显示器、发光二极管(LED)显示器及其任意组合。显示适配器552和显示设备536可与处理器504结合使用，以提供本发明的方面的图形表示。除显示设备外，计算机系统500可包括一个或多个其他外围输出设备，包括但不限于音频扬声器、打印机及其任意组合。该外围输出设备可经由外围接口556连接至总线512。外围接口的示例包括但不限于串行端口、USB接口、火线接口、并行接口及其任意组合。
上文中已经对本发明的说明性实施例进行了详细描述。在不脱离本发明精神与范围的前提下，可对本发明做各种修改和增添。上述多个实施例中的每一个实施例的特征都可根据情况与其他所述实施例的特征相组合，以便在相关的新实施例中提供多种特征组合。此外，虽然上文中描述了多个单独的实施例，但是本发明中的描述仅仅是对本发明原理的应用的说明。另外，尽管本发明的特定方法被示出和/或描述为以特定顺序执行，但该顺序在普通技术内是高度可变的，以实现本公开的实施例。因此，本说明书仅作示例之用，而并非旨在限制本发明的范围。
在以上的说明书和权利要求中，可出现“至少一个”或“一个或多个”等短语，其后跟元素或特征的关联列表。术语“和/或”也可用于包含两个或两个以上元素或特征的列表中。除非另有暗示或明确说明与上下文中使用的短语相矛盾，否则该短语旨在意指单独列出的任何元素或特征，或与其他列举的元素或特征相结合的任何列举的元素或特征。例如，短语“A和B中的至少一个”、“A和B中的一个或多个”以及“A和/或B”分别旨在意指“单独的A、单独的B或A和B”。类似的解释还适用于包含三个或三个以上项目的列表。例如，短语“A、B和C中的至少一个”、“A、B和C中的一个或多个”以及“A、B和/或C”分别旨在意指“单独的A、单独的B、单独的C、A和B、A和C、B和C，或A、B和C”。
本发明中描述的主题可根据期望配置在系统、装置、方法和/或物品中实现。前面说明书中阐述的实施方式并不代表与本发明中所描述的主题相一致的所有实施方式。相反，它们仅是与所述主题相关的方面相一致的一些示例。尽管上面已经详细描述了一些变化，但是其他修改或增添也是可以的。除了前面阐述的变化之外，尤其是还可提供其他特征和/或变化。例如，上面所描述的实施方式旨在提供公开特征和/或组合的多种组合和子组合和/或上面公开的几个其他特征的组合和子组合。另外，附图中所示和/或本发明中所描述的逻辑流程不一定需要按所示的特定顺序或先后顺序来实现期望的结果。其他实施方式也可在所附权利要求的范围内。

Claims (20)

1.一种编码器，所述编码器包括电路，所述电路配置为：
接收视频帧；
将所述视频帧拆分成块；
确定所述视频帧内的第一区域，所述第一区域包括所述块的第一子集的第一分组；
确定所述第一区域的信息的第一平均度量；和
对所述视频帧编码，所述编码包括利用所述第一区域的信息的第一平均度量控制量化参数。
2.根据权利要求1所述的编码器，其中，所述块的块尺寸为4×4。
3.根据权利要求1所述的编码器，进一步配置为接收语义信息，其中，所述第一分组基于接收到的语义信息确定。
4.根据权利要求4所述的编码器，其中，所述语义信息包括表征面部检测的数据。
5.根据权利要求1所述的编码器，其中，所述信息的第一平均度量通过计算多个块的多个信息度量的总和来确定。
6.根据权利要求5所述的编码器，其中，所述信息的第一平均度量进一步通过所述总和乘以显著性系数来确定。
7.根据权利要求6所述的编码器，其中，所述显著性系数基于所述第一区域的特征值来确定。
8.根据权利要求1所述的编码器，其中，所述控制包括基于信息的第一度量确定第一量化尺寸。
9.根据权利要求1所述的编码器，进一步包括：
变换和量化处理器；
逆量化和逆变换处理器；
环路滤波器；
解码图片缓冲器；
运动估计和补偿处理器；和
帧内预测处理器。
10.根据权利要求1所述的编码器，进一步配置为：
确定所述视频帧内的第二区域，所述第二区域包括所述块的第二子集的第二分组；和
确定所述第二区域的信息的第二平均度量；其中，所述控制进一步基于所述第二区域的信息的第二平均度量进行。
11.一种方法，包括：
通过编码器接收视频帧；
将所述视频帧拆分成块；
确定所述视频帧内的第一区域，所述第一区域包括所述块的第一子集的第一分组；
确定所述第一区域的信息的第一平均度量；和
对所述视频帧编码；所述编码包括利用所述第一区域的信息的第一平均度量控制量化参数。
12.根据权利要求11所述的方法，其中，所述块的块尺寸为4×4。
13.根据权利要求11所述的方法，进一步包括接收语义信息，其中，所述第一分组基于接收到的语义信息确定。
14.根据权利要求13所述的方法，其中，所述语义信息包括表征面部检测的数据。
15.根据权利要求11所述的方法，其中，所述信息的第一平均度量通过计算多个块的多个信息度量的总和来确定。
16.根据权利要求16所述的方法，其中，所述信息的第一平均度量进一步通过所述总和乘以显著性系数来确定。
17.根据权利要求17所述的方法，其中，所述显著性系数基于所述第一区域的特征值来确定。
18.根据权利要求11所述的方法，其中，所述控制包括基于信息的第一度量确定第一量化尺寸。
19.根据权利要求11所述的方法，其中，所述编码器包括：
变换和量化处理器；
逆量化和逆变换处理器；
环路滤波器；
解码图片缓冲器；
运动估计和补偿处理器；和
帧内预测处理器。
20.根据权利要求11所述的方法，进一步包括：
确定所述视频帧内的第二区域，所述第二区域包括所述块的第二子集的第二分组；和
确定所述第二区域的信息的第二平均度量，其中，所述控制进一步基于所述第二区域的信息的第二平均度量进行。
CN201980077960.9A 2018-11-27 2019-11-27 用于语境分割和处理的基于块的图片融合 Pending CN113170134A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862771907P 2018-11-27 2018-11-27
US62/771,907 2018-11-27
PCT/US2019/063698 WO2020113068A1 (en) 2018-11-27 2019-11-27 Block-based picture fusion for contextual segmentation and processing

Publications (1)

Publication Number Publication Date
CN113170134A true CN113170134A (zh) 2021-07-23

Family

ID=70851843

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980077960.9A Pending CN113170134A (zh) 2018-11-27 2019-11-27 用于语境分割和处理的基于块的图片融合

Country Status (10)

Country Link
US (2) US11438594B2 (zh)
EP (1) EP3888366B1 (zh)
JP (2) JP2022508245A (zh)
KR (1) KR20210094030A (zh)
CN (1) CN113170134A (zh)
BR (1) BR112021010170A2 (zh)
MX (1) MX2021006201A (zh)
PH (1) PH12021551221A1 (zh)
SG (1) SG11202105607VA (zh)
WO (1) WO2020113068A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022047144A1 (en) * 2020-08-28 2022-03-03 Op Solutions, Llc Methods and systems for combined lossless and lossy coding
WO2024077799A1 (en) * 2022-10-11 2024-04-18 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method and system for image data processing

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150281693A1 (en) * 2014-03-28 2015-10-01 Canon Kabushiki Kaisha Coding apparatus, coding method, and storage medium
CN106993188A (zh) * 2017-03-07 2017-07-28 北京航空航天大学 一种基于多人脸视频显著性的hevc压缩编码方法

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10164581A (ja) * 1996-12-03 1998-06-19 Sony Corp 画像信号符号化方法及び装置、信号記録媒体
JP2894335B2 (ja) * 1997-10-09 1999-05-24 日本電気株式会社 画像符号化装置、方法及びプログラムを記録した記録媒体
JP4153454B2 (ja) * 2004-03-22 2008-09-24 日本電信電話株式会社 動画像符号化装置，動画像符号化方法，動画像符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2007259411A (ja) * 2006-02-21 2007-10-04 Seiko Epson Corp 露出判別装置およびその方法
US8503536B2 (en) 2006-04-07 2013-08-06 Microsoft Corporation Quantization adjustments for DC shift artifacts
JP5128389B2 (ja) * 2008-07-01 2013-01-23 株式会社日立国際電気 動画像符号化装置及び動画像符号化方法
EP2144449A1 (en) * 2008-07-07 2010-01-13 BRITISH TELECOMMUNICATIONS public limited company Video quality measurement
WO2010085125A2 (ko) 2009-01-22 2010-07-29 삼성전자 주식회사 영상의 변환 방법 및 장치, 역변환 방법 및 장치
US9069713B2 (en) 2009-06-05 2015-06-30 Qualcomm Incorporated 4X4 transform for media coding
EP2373049A1 (en) 2010-03-31 2011-10-05 British Telecommunications Public Limited Company Video quality measurement
US20110268180A1 (en) * 2010-04-29 2011-11-03 Naveen Srinivasamurthy Method and System for Low Complexity Adaptive Quantization
GB201007351D0 (en) 2010-04-30 2010-06-16 Imagination Tech Ltd Varying temporal interpolation in a motion compensated frame interpolation system
KR20130108457A (ko) * 2011-03-09 2013-10-02 닛본 덴끼 가부시끼가이샤 영상 부호화 장치, 영상 복호 장치, 영상 부호화 방법 및 영상 복호 방법
JP5627617B2 (ja) * 2012-02-22 2014-11-19 株式会社東芝 画像処理装置及び画像表示システム
JP2013229666A (ja) * 2012-04-24 2013-11-07 Toshiba Corp 異常点検装置および遠隔監視点検システム
US20140010278A1 (en) * 2012-07-09 2014-01-09 Motorola Mobility Llc Method and apparatus for coding adaptive-loop filter coefficients
GB201312382D0 (en) * 2013-07-10 2013-08-21 Microsoft Corp Region-of-interest aware video coding
JP5800077B2 (ja) * 2014-09-29 2015-10-28 富士通株式会社 動画像復号方法
FR3029055B1 (fr) * 2014-11-24 2017-01-13 Ateme Procede d'encodage d'image et equipement pour la mise en oeuvre du procede
KR102273670B1 (ko) 2014-11-28 2021-07-05 삼성전자주식회사 움직임 보상 정보를 수정하는 데이터 처리 시스템과 데이터 처리 방법
US10356416B2 (en) * 2015-06-09 2019-07-16 Qualcomm Incorporated Systems and methods of determining illumination compensation status for video coding
KR102503900B1 (ko) * 2015-10-05 2023-02-27 삼성전자주식회사 양자화 파라미터를 적응적으로 결정하는 인코더 및 이를 포함하는 애플리케이션 프로세서
EP3361726A4 (en) 2015-11-24 2018-08-15 Samsung Electronics Co., Ltd. Method and device for video decoding and method and device for video encoding
JP6822121B2 (ja) * 2016-12-19 2021-01-27 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
US10742894B2 (en) * 2017-08-11 2020-08-11 Ut-Battelle, Llc Optical array for high-quality imaging in harsh environments
JP6806916B2 (ja) 2017-09-26 2021-01-06 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 復号装置及び復号方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150281693A1 (en) * 2014-03-28 2015-10-01 Canon Kabushiki Kaisha Coding apparatus, coding method, and storage medium
CN106993188A (zh) * 2017-03-07 2017-07-28 北京航空航天大学 一种基于多人脸视频显著性的hevc压缩编码方法

Also Published As

Publication number Publication date
PH12021551221A1 (en) 2021-12-06
EP3888366A1 (en) 2021-10-06
SG11202105607VA (en) 2021-06-29
US20220377339A1 (en) 2022-11-24
US20210360249A1 (en) 2021-11-18
KR20210094030A (ko) 2021-07-28
BR112021010170A2 (pt) 2021-08-17
JP2022508245A (ja) 2022-01-19
EP3888366A4 (en) 2022-05-04
WO2020113068A1 (en) 2020-06-04
EP3888366B1 (en) 2024-04-10
JP2023062136A (ja) 2023-05-02
US11438594B2 (en) 2022-09-06
MX2021006201A (es) 2021-09-10

Similar Documents

Publication Publication Date Title
CN108271024B (zh) 图像编码、解码方法及装置
US20220377339A1 (en) Video signal processor for block-based picture processing
CN113597757A (zh) 具有区域数自适应的几何划分的形状自适应离散余弦变换
CN113647105A (zh) 指数分区的帧间预测
CN115917611B (zh) 使用参考区域的视频编解码的方法和系统
US20210289206A1 (en) Block-based spatial activity measures for pictures
RU2782583C1 (ru) Слияние изображений на блочной основе для контекстной сегментации и обработки
RU2796934C2 (ru) Измерения пространственных действий изображений на основе блоков
US11889055B2 (en) Methods and systems for combined lossless and lossy coding
US11825075B2 (en) Online and offline selection of extended long term reference picture retention
JP7482536B2 (ja) 適応的な数の領域を伴う幾何学的分割のための形状適応離散コサイン変換
US20230388483A1 (en) Methods and Systems of Video Coding Using Reference Regions
WO2022047144A1 (en) Methods and systems for combined lossless and lossy coding
CN115442617A (zh) 一种基于视频编码的视频处理方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination