CN110460861B - 表示经编码的比特流中的运动向量 - Google Patents

表示经编码的比特流中的运动向量 Download PDF

Info

Publication number
CN110460861B
CN110460861B CN201910847304.4A CN201910847304A CN110460861B CN 110460861 B CN110460861 B CN 110460861B CN 201910847304 A CN201910847304 A CN 201910847304A CN 110460861 B CN110460861 B CN 110460861B
Authority
CN
China
Prior art keywords
precision
frames
region
frame
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910847304.4A
Other languages
English (en)
Other versions
CN110460861A (zh
Inventor
S·西尔金
S·萨布林
Y·周
C-L·林
李明杰
G·J·沙利文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN110460861A publication Critical patent/CN110460861A/zh
Application granted granted Critical
Publication of CN110460861B publication Critical patent/CN110460861B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/55—Motion estimation with spatial constraints, e.g. at image or region borders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

一种用于在对运动图像数据进行编码时使用的格式，包括：包括多个帧的帧序列，其中帧中的至少一个区域是使用运动估计来编码的；表示针对这些帧中的相应的每个帧或者这样的帧中的每个帧内的一个或多个区域中的相应的每个区域的运动估计的运动向量的运动向量值的相应的集合；以及与相应的帧或区域中的每个帧或区域相关联的至少一个相应的指示符，其指示相应的帧或区域的相应的运动向量值是以第一分辨率来编码的还是以第二分辨率来编码的。

Description

表示经编码的比特流中的运动向量
本申请是申请日为2015年1月7日、申请号为201580004117.X的发明专利申请“表示经编码的比特流中的运动向量”的分案申请。
背景技术
在现代通信系统中，可以通过诸如有线和/或无线网络之类的(常常是基于分组的网络(例如，互联网))的介质而将视频信号从一个终端发送至另一个终端。例如，视频可以是通过在用户终端(例如，台式或膝上型计算机、平板计算机、或智能电话)上执行的VoIP(互联网协议语音)应用而进行的VoIP通话的一部分。
通常而言，视频的帧由在发射终端处的编码器进行编码，以便对视频的帧进行压缩以用于通过网络传输。针对给定帧的编码可以包括帧内编码，通过帧内编码，将块相对于同一帧中的其它块而进行编码。在该情况下，目标块是根据该块与相邻的块之间的差(残差)来编码的。可替代地，针对一些帧的编码可以包括帧间编码，通过帧间编码，目标帧中的块是通常基于运动预测而相对于前一帧中的对应的部分来编码的。在该情况下，目标块是根据运动向量而编码的，所述运动向量标识了该块与将从中预测该块的块的对应的部分之间的偏移，以及该块与将从中预测该块的块的对应的部分之间的差(残差)。在接收机处的对应的解码器基于合适的类型的预测来对所接收到的视频信号中的帧进行解码，以便将其解压以用于输出至解码器侧的屏幕。
当对视频进行编码(压缩)时，使用运动向量来生成针对当前的帧的帧间预测。编码器首先针对与当前的块(目标块)最匹配的相似的块(参考块)而在先前经编码的帧中进行搜索，并且作为经编码的比特流的一部分而通过信号向解码器发送参考块与目标块之间的位移。所述位移通常被表示为水平方向的x坐标和竖直方向的y坐标，并且被称为运动向量。
参考“块”实际上不限于在参考帧中的实际的块位置处(即，不限于与目标块相同的网格)，而是，其是相对于目标块的位置而偏移了运动向量的参考帧的对应大小的部分。根据本标准，以分数像素来表示运动向量。例如，在H.264标准中，以1/4像素分辨率来表示每个运动向量。因此作为示例，如果当前帧中的16×16的块将根据先前一帧中的目标块的位置的左边1像素处的另一个16×16的块来预测，则运动向量是(4，0)。或者，如果目标块将根据目标块的左边例如仅仅3/4像素的参考块来预测，则运动向量是(3，0)。分数向量位置处的参考块本身实际上不存在，而相反，其是由参考帧的像素之间的插值而生成的。亚像素运动向量在压缩效率方面可以获得显著的成效。
发明内容
然而，相比于以整数像素分辨率来估计运动，使用分数像素分辨率招致更多比特对运动向量进行编码，并且在针对最匹配的参考进行搜索时，使用分数像素分辨率还招致更多处理资源。针对视频编码而言，这可以是值得的，例如，这是由于降低的大小的更佳匹配的残差通常可以比对运动向量进行编码所招致的比特更加重要，或者所达到的质量可以认为是正当利用了资源。然而，不是所有待编码的运动图像都是视频(即，通过相机所捕获的)。在本文中公认的是，当对从屏幕中所捕获的图像进行编码(压缩)而不是对通过相机所捕获的运动图像进行编码(压缩)时，经编码的比特流中的大多数运动向量通常将指向整数像素，而它们中极少部分被发现处于分数像素位置。因此，尽管编码器一般以1/4像素的单位来表示比特流中的运动向量，但针对屏幕分享或记录应用，通过以仅1像素的单位来对运动向量进行编码，可以实际上节省带宽而不过分损失质量。
尽管如此，考虑到分数运动向量可以仍然对一般视频(由相机所捕获的)有用或可能对其它运动图像(例如，动画)有用，可以以如下的灵活的方式通过信号传输运动向量：当视频源来自所捕获的屏幕时，可以以1像素的单位通过信号传输运动向量，但是对于一般视频和/或其它运动图像，仍然可以使用分数像素。
更加概括而言，存在有各种环境，其中，对使用分数像素运动向量分辨率还是使用整数像素运动向量分辨率进行控制可以是有用的，这例如取决于编码器的设计者想要如何实现任何期望的权衡或效果。例如，由于它们的性质的一些方面，一些视频或动画在运动估计中可以更高效地由整数像素分辨率来服务，而其它视频或其它类型的运动图像可以由分数像素分辨率来更高效地服务。
因此，根据在本文中所公开的一个方面，提供了用于在对运动图像数据进行编码时使用的格式，从而根据所述格式所编码的运动图像数据包括：
·帧的序列，其包括其中的至少一个区域是使用运动估计来编码的多个所述帧；
·运动向量值的相应的集合，其表示针对所述帧中的相应的每一个帧、或所述帧中的每个内的一个或多个区域中的相应的每一个区域的运动估计的运动向量；以及
·与所述相应的帧或区域中的每个帧或区域相关联的至少一个相应的指示符，其指示相应的帧或区域的相应的运动向量值是以第一分辨率来编码的还是以第二分辨率来编码的。
运动向量值是根据协议而编码的，通过该协议，将以第一分辨率来编码的运动向量值表示在具有较大数量的较精细的间距(step)的刻度(scale)上，并且将以第二分辨率来编码的运动向量值表示在具有较小数量的较粗的间距的刻度上，并且由此，在经编码的比特流中招致平均较少的比特。较粗的间距表示整数像素单元，而较精细的间距表示分数像素单元。
根据在本文中所公开的进一步的方面，提供了承载根据这样的格式或协议所编码的运动图像数据的比特流的网络元件或者计算机可读存储介质。
在实施中，可以提供有比特流，其包括以第一分辨率来编码的所述多个帧或区域中的一些帧或区域以及以第二分辨率来编码的所述多个帧或区域中的其它一些，以及独立地指示针对所述多个帧(帧间编码)或区域中的每个的分辨率的相应的指示符。
在实施例中，每个帧或区域的运动向量值中的每个都可以被包括在经编码的比特流的运动向量场中，并且根据所述协议，运动向量分区可以具有其运动向量以第二分辨率来编码的帧和区域的降低的大小。
根据在本文中所公开的另一个方面，提供了解码器，该解码器包括用于接收经编码的形式的运动图像数据的输入端、以及运动预测模块。运动图像数据包括多个帧，其中，至少一个区域是基于根据在本文中所公开的实施例中的任何一个的格式或协议，而使用运动估计来编码的(即，帧间编码的帧)。运动预测模块基于运动向量值对所述(帧间编码的)帧或区域进行解码。这包括读取指示符中的每个来确定相应的帧或区域的运动向量值是以第一分辨率来编码的还是以第二分辨率来编码的，并且如果是以第一分辨率来编码的，则以分数像素的单位来解译运动向量值，而如果是以第二分辨率来编码的，则以整数像素的单位来解译运动向量值。
在实施例中，运动图像数据可以包括与所述帧或区域中的每个帧或区域相关联的相应的两个指示符，所述两个指示符指示相应的运动向量在两个维度上的分辨率，并且运动预测模块可以被配置为读取全部两个指示符，并且相应地解译相应的运动向量值。
在实施例中，所述帧的至少一些中的每个都可以被分成多个区域；所述运动图像数据可以包括与多个区域中的相应的每一个相关联的至少一个相应的指示符，以独立地指示相应的区域的运动向量值是以第一分辨率来编码的还是以第二分辨率来编码的；并且运动预测模块可以被配置为读取指示符以确定每一个相应的区域的运动向量值示意第一分辨率来编码的还是以第二分辨率来编码的，并且相应地以所述分数像素的单位或整数像素的单位来解译相应的运动向量值。在实施例中，所述区域可以是H.26x标准的片段(slice)。
在实施例中，运动图像数据还可以包括用于将运动向量值的分辨率设置为是按每区域指示的还是按每帧指示的设置，并且运动预测模块可以被配置为读取该设置并且相应地解译运动向量值。
在进一步的实施例中，运动预测模块可以被配置为如果针对所述帧或区域中的一个帧或区域的相应的指示符不存在，则默认以分数像素来解译相应的运动向量值。
在进一步的事实例中，还可以根据无损编码技术来对包括运动向量的运动图像数据进行编码。解码器可以包括在由运动预测模块进行所述解码之前的无损编码阶段的逆过程。
根据进一步的方面，提供了计算机程序产品，其在计算机可读存储介质上实施，并且被配置为当被执行时，根据在本文中所公开的实施例中的任何一个来执行解码器的操作。
提供了该发明内容以用简化的形式介绍在下文的具体实施方式中所进一步描述的概念的选择。该发明内容不旨在标识所要求保护的主题的关键特征或本质特征，也不旨在用于限制所要求保护的主题的范围。不旨在将所要求保护的主题限于解决在本文中所提出的缺点中的任何一个或全部的实现。
附图说明
为了帮助理解本公开并且展示实施例是如何实施的，作为示例对附图进行了参考，其中：
图1是视频流的示意表示，
图2是通信系统的示意框图，
图3是经编码的视频流的示意表示，
图4是编码器的示意框图，
图5是解码器的示意框图，
图6是帧间编码方案的示意表示，并且
图7是另一个帧间编码方案的示意表示。
具体实施方式
图1给出了输入视频信号的示意图，所述输入视频信号是通过相机所捕获的，并且被分成待由视频编码器来编码的空间分区以便生成经编码的比特流。信号包括在时间上被分成多个帧(F)的运动视频图像，每个帧都表示在时间上的不同的相应的时刻(…t-1、t、t+1…)的图像。在每个帧内，所述帧都在空间上被分成多个分区，每个分区都表示多个像素。这些分区可以被称为块。在某些方案中，帧被分割并再分割为不同等级的块。例如，可以将每个帧分成宏块(MB)，并且每个宏块可以被分成块(b)，例如，每个块表示帧内8×8像素的区域，而每个宏块表示2×2块的区域(16×16像素)。在某些方案中，每个帧还可以被分成能够被独立解码的片段(S)，每个片段包括多个宏块。片段S通常可以取任何形状，例如，每个片段是一行或多行宏块、或者不规则的或任意定义的宏块的选择(例如，对应于图像中的兴趣区ROI)。
关于术语“像素”，在下文中，该术语用于指代图片阵列的采样网格中的样本和采样位置(有时在字面上，术语“像素”反而用于指代对应于单个空间位置的所有三种颜色成分，并且有时其用于指代单个阵列中的单个位置或单个整数采样值)。亮度采样阵列和色度采样阵列的采样网格的分辨率通常是不同的。在实施例中，下文可以应用于4：4：4表示，但其还可以潜在地应用于例如4：2：2和4：2：0中。
还应当注意，尽管任何给定的标准都可以对术语块或宏块给出具体的意义，但在本领域中也常常更加概括地使用术语块来指代在执行编码和解码操作(例如，帧内或帧间预测)的级别上的帧的分区，并且除非另外特别声明，否则在本文中将使用该更加一般化的意义。例如，在本文中块实际上可以是在H.26x标准中被称为块或宏块的分区，并且各种编码和解码阶段可以在适合于讨论中的编码模式、应用、和/或标准的任何这样的分区的级别上操作。
如所捕获的输入信号中的块通常是在空间域中被表示的，其中，每个颜色空间通道都被表示为块内的空间位置的函数。例如在YUV颜色空间中，亮度(Y)通道和色度(U，V)通道都可以被表示为笛卡尔坐标x和y(Y(x，y)、U(x，y)和V(x，y))的函数；或者在RGB颜色空间中，红色(R)通道、绿色(G)通道和蓝色(B)通道中的每个都可以被表示为笛卡尔坐标R(x，y)、G(x，y)、B(x，y)的函数。在该表示中，每个块或部分都是由在不同空间坐标(例如，x和y坐标)处的一组像素值所表示的，使得颜色空间的每个通道都是根据在一组离散的像素位置的每个处的该通道的相应的大小来表示的。
然而，在量化之前，可以作为编码过程的一部分而将块变换成变换域表示，通常是空间频域表示(有时直接被称为频域)。在频域中，块中的每个颜色-空间通道都被表示为两个维度的每个中的空间频率的函数(尺寸为1/长度)。例如，这可以分别由水平方向和竖直方向上的波数kx和ky来表示，使得在YUV空间中可以将通道表达为Y(kx，ky)、U(kx，ky)、和V(kx，ky)；或者在RGB空间中表达为R(kx，ky)、G(kx，ky)、B(kx，ky)。因此，变换根据与组成该块的一组离散的空间频率分量中的每个相关联的系数(即，与跨块的不同频率的空间变化相对应的一组离散的空间频率项的每个的幅度)来表示每个颜色-空间通道，而不是根据在一组离散的像素位置的每个处的大小来表示颜色-空间通道。针对这样的变换的可能性包括傅里叶变换、离散余弦变换(DCT)、Karhunen-Loeve变换(KLT)等。
图2的框图给出了其中可以应用该公开的技术的通信系统的示例。该通信系统包括第一发射终端12和第二接收终端22。例如，每个终端12、22都可以包括以下设备中的一个：移动电话或智能电话、平板计算机、膝上型计算机、台式计算机、或者诸如电视机、机顶盒、立体音响系统等之类的其它家用电器。第一终端12和第二终端22每个都可操作地耦合至通信网络32，并且第一发射终端12由此被设置为发送将由第二接收终端22所接收的信号。当然，发射终端12还可以能够从接收终端22中接收信号，反之亦然，但是出于讨论的目的，在本文中传输是从第一终端12的角度来描述的，而接收是从第二终端22的角度来描述的。通信网络32可以包括例如诸如广域互联网和/或局域网、和/或移动蜂窝网络之类的基于分组的网络。
第一终端12包括计算机可读存储介质14，例如，闪速存储器或其它电子存储器、磁存储设备、和/或光存储设备。第一终端12还包括以具有一个或多个执行单元的处理器或CPU为形式的处理装置16、具有发射机18的收发机(例如，有线或无线调制解调器)、视频相机15和屏幕17(即，显示器或监视器)。相机15和屏幕17中的每个都可以或可以不与终端12的其余部分封装在相同的外壳内(并且，甚至发射机18可以是内置的或外置的，例如，在外置的情况下包括加密锁或无线路由器)。存储介质14、相机15、屏幕17和发射机18每个都可操作地耦合至处理装置16，而发射机18经由有线或无线链路可操作地耦合至网络32。类似地，第二终端22包括计算机可读存储介质24，例如，电子存储设备、磁存储设备、和/或光存储设备；以及以具有一个或多个执行单元的CPU为形式的处理装置26。第二终端包括具有至少一个接收机28和一个屏幕25的收发机(例如，有线或无线调制解调器)，所述屏幕25可以或可以不与终端22的其余部分封装在相同的外壳内。第二终端的存储介质24、屏幕25、和接收机28每个都可操作地耦合至相应的处理装置26，而接收机28经由有线或无线链路可操作地耦合至网络32。
第一终端12上的存储14存储至少一个编码器以用于对运动图像数据进行编码，所述编码器被设置为在相应的处理装置16上执行。当被执行时，编码器从摄像机15中接收“原始”(未编码的)输入视频流，该编码器可以操作以对视频流进行编码以便将视频流压缩成较低比特率的流，并且输出经编码的视频流以用于经由发射机18和通信网络32传输至第二终端22的接收机28。第二终端22上的存储24存储被设置为在其自身的处理装置26上执行的至少一个视频解码器。当被执行时，所述解码器从接收机28中接收经编码的视频流，并且对其进行解码以用于输出至屏幕25。
编码器和解码器还可操作以对包括屏幕共享流的其它类型的运动图像数据进行编码和解码。屏幕共享流是这样一种图像数据，其从编码器侧处的屏幕17中捕获，以使得一个或多个其它的远程用户可以看到编码器侧处的用户正在屏幕上看到什么，或者因此，该屏幕的用户可以记录屏幕上正在发生的内容，以用于之后为一个或多个其它用户回放。在通话是在发射端12和接收端22之间执行的情况下，发射端12处的屏幕17的运动内容将实时地(以实时的方式)被编码并传输以在接收端22的屏幕25上被解码并显示。例如，编码器侧的用户可以希望与另一个用户共享他或她在如何使用他或她的操作系统的桌面或一些应用。
应当注意，在已知屏幕共享流是从屏幕等中所捕获的情况下，这不限于用于这样做的任何特定的机制。例如，数据可以从屏幕17的屏幕缓冲器中被读取，或者通过接收从操作系统中输出的或者从用于在屏幕17上显示的应用中输出的相同的图形数据的实例而被捕获。
图3给出了如将从在发射终端12上运行的编码器传输至在接收终端22上运行的解码器的、经编码的比特流33的示意性表示。比特流33包括针对每个帧或每个片段的经编码的图形数据34，所述图形数据包括针对该帧或片段的块的经编码的采样以及任何相关联的运动向量。在一个应用中，比特流可以作为直播(实时)通话(例如，VoIP通话)的一部分在发射端12与接收端22之间传输(VoIP通话还可以包括视频和屏幕共享)。比特流33还包括与每个帧或每个片段相关联的报头信息36。在实施例中，报头36被设置为包括以指示运动向量的分辨率的至少一个标记37为形式的至少一个额外的元素，这将在下文中更加详细地讨论。
图4是示出了例如可以在发射终端12上实现的编码器的框图。编码器包括主编码模块40，所述主编码器模块40包括：离散余弦变换(DCT)模块51、量化器53、逆变换模块61、逆量化器63、帧内预测模块41、帧间预测模块43、开关47、减法级(-)49、以及无损编码级65。编码器还包括耦合至帧间预测模块43的控制模块50。这些模块或级中的每个都可以被实现为存储在发射终端的存储介质14上，并且被设置为用于在其处理装置16上执行的代码的一部分，尽管不排除以专用硬件电路来全部或部分地实现这些中的一些或全部。
减法级49被设置为接收包括多个帧(F)上的多个块的输入信号的实例。输入流是通过相机15所接收的或者是从在屏幕17上所显示的内容中所捕获的。帧内预测41或帧间预测43生成当前(目标)块的经预测的版本，以基于来自另一个已经编码的块或对应大小的参考部分的预测来对其进行编码。将经预测的版本提供至减法级49的输入端，该经预测的版本是在空间域中从输入信号(即，实际信号)中减去的，以产生表示经预测的版本的块与实际输入信号中的对应的块之间的差的残差信号。
在帧内预测模式中，帧内预测模块41生成当前(目标)块的经预测的版本，以基于来自相同的帧中的另一个已经编码的块(通常是相邻的块)的预测来对其进行编码。当执行帧内编码时，想法是仅仅对帧内的图像数据的一部分与同一帧内的另一部分如何不同的测量进行编码并进行发送。可以接着在解码器处预测该部分(给定一些绝对数据来开始)，并且仅仅需要发送预测与实际数据之间的差而不用发送实际信号本身。差信号通常大小较小，因此占用较少的比特来编码(由于无损压缩级65的操作——见下文)。
在帧间预测模式中，帧间预测模块43生成当前(目标)块的经预测的版本，以基于来自与当前块不同的帧中的另一个已经编码的参考部分的预测来对其进行编码，所述参考部分具有块的大小，但是其在空间域中相对于目标块偏移了由帧间预测模块43所预测的一运动向量(帧间预测还可以被称为运动预测或运动估计)。帧间预测模块43通过在空间域中在除了目标帧之外的一个或多个帧中搜索偏移了多个相应的可能运动向量的多个候选参考部分，并且选择根据合适的度量使关于目标块的残差最小化的候选者，从而针对给定的目标块来选择最佳的参考。由开关47将帧间预测模块43切换到反馈通道中，替代帧内预测级41，并且因此在一个帧的块与另一个帧的块之间创建反馈环，以便相对于另一个帧中的那些块进行帧间编码。即，残差现在表示帧间预测块与实际输入块之间的差。这通常甚至比帧内编码占用更少的比特来进行编码。
残差信号的采样(包括从输入信号中减去预测之后的残差块)从减法级49中输出，通过变换(DCT)模块51(或其它合适的变换)，接着去往量化器53，其中在变换(DCT)模块51中将它们的残差值转换到频域中，并且在量化器53中将经变换的值转化成大体上离散的量化指标。如由变换模块51和量化模块53所生成的残差的经量化的、经变换的指标，以及对在预测模块41、43中所使用的预测和由帧间预测模块43所生成的任何运动向量的指示，全部用于包括在经编码的视频流33中以进行输出(见图3中的元素34)；经由进一步的、无损的编码级65(例如，Golomb编码器或熵编码器)，其中，使用在本领域公知的无损编码技术来进一步压缩运动向量和经变换的、经量化的指标。
经量化的、经变换的信号的实例还可以被反馈通过逆量化器63和逆变换模块61，以生成块的经预测的版本(如将在解码器处可见)，以用于在对随后的待编码的块进行预测时由经选择的预测模块41或43来使用，这与基于先前所编码的块的逆量化后和逆变换后的版本来预测经编码的当前的目标块的方式相同。开关47被设置为视针对当前所编码的帧或块所使用的编码，而将逆量化器63的输出传递至帧内预测模块41或帧间预测模块43两者之一。
图5是示出了例如可以在接收终端22上被实现的解码器的框图。该解码器包括无损编码的逆过程95、逆量化级83、逆DCT变换级81、开关70、以及帧内预测级71和运动偏移级73。这些模块或级中的每个都可以被实现为存储在接收终端的存储介质24上并且被设置以用于在其处理装置26上执行的代码的一部分，但是不排除以专用硬件电路来全部或部分地实现这些中的一些或全部的可能性。
逆量化器83被设置为经由接收机28和逆无损编码级95而从编码器中接收经编码的信号33。逆量化器83将经编码的信号中的量化指标转换成残差信号(包括残差块)的去量化采样，并且将去量化采样传递至逆DCT模块81，在逆DCT模块81中，将所述去量化采样从频域转换回空间域。开关70接着视针对所解码的当前帧或块所使用的预测模式，而将经量化的、空间域残差采样传递至帧内预测模块71或帧间预测模块73，并且帧内预测模块71或帧间预测模块73分别使用帧内预测或帧间预测来对块进行解码。使用随着编码的位流33中的编码的样本34一起接收到的预测和/或任何运动向量的指示来确定使用哪种模式。从该级继续，输出经解码的块以通过接收终端22处的屏幕25来播出。
如所提及的，根据传统标准的编码解码器以四分之一像素的分辨率来执行运动预测，这意味着运动向量也可以根据四分之一像素的间距来表达。在图6中示出了四分之一像素的分辨率运动估计的示例。在该示例中，根据一个帧中的目标块与其它帧中的参考部分(这些块是在图6中用粗体的点划线所示出的)之间的偏移，根据像素a、b、c和d之间的插值来预测目标块的左上角中的像素p，并且也将基于参考帧中的像素的相应的分组之间类似的插值来预测目标块的其它像素。然而，如在下文中所讨论的，以该粒度级来执行运动估计具有如下所述的后果。
参考无损编码器65和无损解码器95，无损编码是一种压缩形式，其不通过丢弃信息(类似量化)而工作，但通过根据这些值在待由无损编码级65编码的数据中多可能出现、或者它们多频繁地出现而使用不同长度的代码字来表示不同的值而工作。例如，在遇到1之前代码字中的前导0的数量可以指示代码字的长度，因此1是最短的代码字，接着010和011是第二短的，接着00100……，以此类推。因此，最短的代码字比如果使用均匀的代码字长度所需要的要短得多，但最长的代码字要比使用均匀的代码字长度所需要的要长。但是通过将最频繁或最可能的值分配至最短的代码字，并且仅将最不可能或最不频繁出现的值分配至较长的代码字，则相比于如果使用均匀的代码字长度，所得到的比特流33通常可以对于每个经编码的值平均招致较少的比特，并且因此实现压缩而不损失任何进一步的信息。
在无损编码级65之前的大部分编码器40被设计为尝试使尽可能多的值在被传递通过无损编码级65之前尽可能小。由于这些值接着更加经常地出现，则较小的值将比较大的值在经编码的比特流33中招致较低的比特率。这就是为什么残差被编码为与绝对采样相反的原因。这也是变换51的理论依据，因为很多样本趋于变换成变换域中的零或小系数。
可以将类似的考虑应用至对运动向量的编码。
例如，在H.264/MPEG-4Part 10和H.265/HEVC中，运动向量是利用指数Golomb编码来编码的。以下的表格示出了运动向量值与经编码的比特。
Figure BDA0002195687540000121
从上图中可以看到，值越大，则使用越多的比特。这意味着运动向量的分辨率越高，就招致越多的比特。例如，因此利用四分之一像素分辨率，1像素的偏移必须由值4来表示，其在经编码的比特流中招致5比特。
在对(通过相机所捕获的)视频进行编码时，运动向量中的该分辨率的成本可以是值得的，这是因为更精细的分辨率可以在针对较低成本的残差参考进行搜索时提供更多的机会。然而，在本文中所观察到的是，针对从屏幕中所捕获的运动图像，大多数空间位移倾向于是以完整像素位移，而极少的空间位移倾向于处于分数像素位置，因此大多数运动向量倾向于指向整数像素值，而极少数运动向量倾向于指向分数像素值。
在这样的基础上，可以期望的是以1像素的分辨率对从屏幕中所捕获的图像数据的运动向量进行编码。考虑到对于这样的内容来说无需在运动向量的分数部分上花费任何比特的事实，这意味着在对这样的内容进行编码时所招致的比特率可以被降低。
例如，尽管编码器通常以1/4像素偏移的单位来对比特流中的运动向量进行解译，但编码器可以实际上经常能够通过放弃该分辨率，而取而代之以整数像素偏移的单位对针对屏幕编码应用的运动向量进行编码来节省比特率。尽管这将会使运动向量的精度以因数4降低，但这样的精度对于屏幕共享或记录应用而言较不值得，并且这还降低对向量进行编码所需的比特的数量。为了根据目标块左边1像素的参考块来预测当前(目标)块，运动向量将是(1，0)而不是(4，0)。使用上文中的Golomb编码，这意味着对运动向量进行编码所招致的比特从(00111，1)变为(010，1)，并且因此在该情况下节省了两比特。
此外，在实施例中，降低的分辨率的运动向量还可以通过将运动向量搜索限制为整数值而降低在编码器处所执行的运动估计的复杂度，因此降低了由搜索而招致的处理资源。可替代地，执行正常搜索并且将结果运动向量舍入为整数值将是可能的。
图7示出了将运动预测限制为仅整像素的分辨率的示例，其中将运动向量限制为仅整像素间距。与图6不同，像素p仅仅是根据的单个整像素a预测的，而没有插值。可替代地，可以根据取决于一个帧中的目标块与其它帧(再一次用粗体点划线示出)中的参考部分之间的偏移的像素b、c、d或另一个像素来预测出像素p，但是由于限制，不能从像素间的插值中预测出像素p。注意：对于任何给定的块，作为示例在图6中所示出的四分之一像素预测可以恰好生成了整像素偏移而没有插值，如果这给出了最低的残差。然而，这样做将不会受到限制，并且在相当大的图像上，针对所有的块发生这样的情况是很不可能的。
考虑到分数运动向量值可以仍然对相机所捕获的内容非常有用，在实施例中，编码器40被提供有耦合至运动预测模块43的控制器50，其中该控制器50被配置为以以下的灵活的方式来选择运动向量分辨率：当源数据来自所捕获的屏幕17并且不存在分数像素运动时，将运动向量以仅整像素的单位进行编码和传输；但是对于相机内容视频，仍然利用分数像素精度来编码和传输运动向量。
为了这样做，控制器50可以被配置为对所捕获的内容的类型是屏幕内容的事实的性能启发式指示进行测量。作为响应，控制器50接着禁用针对屏幕内容编码的分数像素运动补偿。可替代地，控制器50可以从应用或操作系统中接收关于其正在向编码器供应用于编码的何种类型的数据的指示，并且控制器50可以在该基础上在模式间进行选择。作为另一个选项的是可以基于历史数据来做出选择。可以基于每帧的基础做出选择，或者可以针对一帧内的不同的区域(例如，基于每片段的基础)来独立地选择模式。
因此，在对帧或片段进行编码之前，编码器能够基于诸如历史统计数据、其应用的类型的知识、多通分析、或者一些其它这样的技术之类的因素来决定运动向量分辨率。如果编码器决定仅使用完整像素运动估计，则跳过分数像素搜索。如果经缩放的运动向量预测具有分数部分，则可以将预测舍入成整数值。
在进一步的实施例中，可以可选地将控制单独地应用至向量的竖直分量或水平分量。这对于对在水平方向或竖直方向上缩放了的屏幕视频进行编码可以是有用的。例如，考虑编码器针对在水平方向或竖直方向上重新调整了大小的屏幕共享而操作的情况。在该情况下，运动向量的分量中的一个分量将具有分数部分，而另一个分量将没有分数部分。为了控制比特率，编码器可以在预先定义的范围中调整量化参数(QP)。如果QP已经达到所允许的上限而比特率仍然过高，则编码器可以触发内部重调器(resizer)。该重调器在水平方向上重新调整输入的图片的大小，并且在解码器端将经解码的图片拉伸回原来的宽度。因此可能出现这样的情况：不同地对待水平运动向量和竖直运动向量也是有用的。
为了以整数像素的单位或间距在降低了分辨率的刻度上来表示运动向量，并且因此实现比传统编码解码器节省的相关联的比特流，将必须更新用于通过信号来发送运动向量的协议以用于未来的编码解码器标准。在实施例中，这可以被实现为对H.265(HEVC，高效视频编码)标准的更新。为了对所捕获的屏幕内容进行编码，将针对每个运动向量而给经编码的数据34的格式以降低大小的运动向量场。对于以整数像素模式来编码的经编码的屏幕捕获流，相关的数据34将因此包括比特流33中的整数运动向量，并且在实施例中仅包括比特流33中的整数运动向量。
在实施例中，这将是可选的，同时标记37也被包括在报头36中以指示在对相关联的帧或片段进行编码时是使用分数像素(例如，1/4像素)分辨率还是整数像素分辨率(再次参考图3)。如果可以单独地选择水平分辨率和竖直分辨率，则每帧或每片段将需要两个标记37。
下文公开了基于对H.265标准的更新的示例性实施例。修改使得运动向量能够在经编码的比特流33中在降低的、整数像素刻度上来表示，并且将每片段两个标记37加入到经压缩的流的报头信息36中，以便通过信号来发送运动向量的水平分量和竖直分量上的分辨率。
修改不改变除了在报头等级的句法或解析过程，但是通过将运动向量差解译为整数并且将经缩放的MV预测子(predictor)舍入为整数值来修改解码过程。已经发现该修改将编码效率提高了多达7％，并且对于经测试的屏幕内容序列平均提高了大约2％，并且修改也可以降低编码和解码过程的复杂度。
(在SPS、PPS、和/或片段报头等级处)加入了高级指示符以指示对运动向量的解译的分辨率。
在解码过程中，如果运动向量被指示为是完整像素分辨率并且经缩放的运动向量预测具有分数部分，则在实施例中，将预测舍入为整数值。简单地将运动向量差解译为整数偏移而不是1/4采样偏移。所有其它解码过程保持不变。解析过程(在报头等级以下)也是不改变的。当运动向量是以完整采样精度编码的并且输入图像数据使用4：2：2或4：2：0采样时，可以以通常的方式得到色度运动向量，这将产生1/2采样色度运动位移。可替代地，还可以将色度运动向量舍入为整数值。
关于用于通过信号来传输运动向量分辨率的句法改变，在实施例中，存在三种可能的模式，其中以较高的(每帧)报头等级(例如，图片参数集(PPS))通过信号来发送模式指示符、或者可替代地以甚至更高的等级(例如，序列参数集(SPS))通过信号来发送模式指示符。模式指示符具有三个可选择的值。一个值指示运动向量总是被解译为表示1/4采样偏移(在使用该PPS的图片中)。第二个值指示运动向量总是被解译为表示整数偏移(在使用该PPS的图片中)。第三个值指示存在较低等级的信号，该信号适应性地选择待在该较低的等级应用的解译。该较低等级的指示可以是仅当在该第三模式中操作时才将被呈现的片段报头中的标记。
为了对此进行实现，在实施例中，新的两比特指示符将被包括在PPS扩展中以指示运动向量分辨率控制模式。该指示符可以被称为motion_vector_resolution_control_idc。当模式是0时，运动向量以1/4像素精度来编码，并且所有解码过程保持不变。当模式是1时，片段中参考PPS的全部运动向量都以整像素精度来编码。并且当模式是2时，由片段报头中的标记逐个片段地控制运动向量分辨率。当motion_vector_resolution_control_idc不存在时，其值被称为0。
当motion_vector_resolution_control_idc等于2时，被称为slice_motion_vector_resolution_flag的额外的标记在片段报头中通过信号被发送。当标记是零时，以1/4像素精度来编码该片段的运动向量，并且当标记是1时，以完整像素精度来编码运动向量。当标记不存在时，其值被称为等于motion_vector_resolution_control_idc的值。
经修改的PPS句法如下所示：
Figure BDA0002195687540000171
Figure BDA0002195687540000181
经修改的片段报头句法如下所示：
Figure BDA0002195687540000182
关于在上文中所提及的缩放，这是例如在HEVC(H.265)中可以发生的事情。想法是，如果运动向量用于对其它帧进行编码，则可以计算关于(i)当前图片与(ii)其参考图片之间的相对定位位移方面而言等同的运动向量是什么。这基于由另一个图片中位于同样位置的部分中的运动向量所指示的位移的相对定位，并且基于(iii)该图片与(iv)作为其参考图片来参考的图片之间的相对定位位移。即，运动向量本身可以基于预测来编码，其中，针对当前的、目标帧中的目标块的运动向量是相对于前一帧中的在空间上对应的块的先前的运动向量来编码的。接着，仅仅根据经预测的版本和实际的版本之间的差(例如，通常是增量(delta))，通过信号在经编码的比特流33中来发送目标块的运动向量。解码器可以接着通过在解码器端执行相同的预测并且加入增量来重新创建经编码的运动向量。
然而，经编码的数据的时间帧速率不是总是恒定的，并且图片在比特流中被编码的顺序与图片被捕获和显示的顺序之间也可以存在区别。这些时间关系可以被计算并且接着用于对运动向量进行缩放，以使得运动向量基本上表示在相同方向上的相同运动速度。即，运动向量的经预测的版本不仅仅等于参考向量，而相反是运动向量的经缩放的版本。这被称为时间运动向量预测。
在HEVC标准中对当前的运动向量(MV)解码过程可以概括如下。
1、确定在解码器处如何预测MV，以及是否已经从编码器处在经编码的比特流中发送了运动向量增量(MVD)(这可以包含一些句法指示)。
2、生成经预测的运动向量(PMV)。这创建了整数对(px，py)。假设整数表示亮度域中的具有四分之一采样位置精度的偏移。
3、如果没有发送MVD，则将MV值(mx，my)设置为(px，py)；否则，将整数对(px，py)解码为(dx，dy)，并且将MV(mx，my)设置为(px+dx，py+dy)。将MV解译为表示亮度域中的1/4采样偏移。注意，只有当视频处于在亮度通道中使用与在色度通道中不同的分辨率的格式(例如，4：2：2或4：2：0)中时，亮度差别才要紧；如果相反，视频是例如4：4：4格式的，则将所述偏移解译为针对所有采样网格都具有1/4采样单位。
4、存储最终的值(mx，my)以供随后使用以生成随后的PMV(并且控制解块滤波器等)。
在本公开的实施例中，当使用整数像素运动向量模式时，可以在解码过程中将经缩放的运动向量舍入以适应对整数像素分辨率的限制。例如，可以对运动向量解码过程进行如下修改。
1、确定在解码器处如何预测MV，以及是否已经从编码器中在经编码的比特流中发送了运动向量增量(MVD)(这可以包含一些句法指示)。
2、生成经预测的运动向量(PMV)。这创建了整数对(px，py)。假设整数表示亮度域中的具有四分之一采样位置精度的偏移。
3、如果在整数精度模式中操作，则进行以下操作：
a、对预测值舍入以使其对应于整数偏移——例如，creat(rx，ry)＝(round(px/4)，round(py/4))。
b、如果没有发送MVD，则将MV值(mx，my)设置为(4*rx，4*ry)；否则，将整数对(px，py)解码为(dx，dy)，并且将MV(mx，my)设置为(4*(rx+dx)，4*(ry+dy))。接着，将MV解译为表示亮度域中的1/4采样偏移(注意，再一次，只有当视频处于4：2：2或4：2：0的格式中时，亮度差别才要紧)。
4、否则(即，当在1/4采样精度模式中操作时)，进行如下操作：如果没有发送MVD，则将MV(mx，my)设置为(px，py)；否则，将整数对(px，py)解码为(dx，dy)，并且将MV(mx，my)设置为(px+dx，py+dy)。MV再一次被解译为表示亮度域中的1/4采样偏移。
5、存储最终的值(mx，my)以供随后使用以生成随后的PMV(并且控制解块滤波器等)。
然而，以上的过程不是针对所有可能的实施例所必需的。在上文中所概述的方法假设解码器一开始就在1/4像素域中操作，以使得在运动向量预测中的缩放在1/4像素域中发生。然而，实际上解码器非必须一定要知道在该阶段的单位意味着什么。因此，采用可替代的方式从而直到之后当实际上使用该方法来生成图像为止才对单位进行解译是有可能的。
下文描述了根据这样的可替代的方法的实施例的解码过程。如上所述，运动向量值中的至少一个是被区别地解码的，其中运动预测模块73被配置为通过对所述运动向量值中的另一个值进行缩放来预测运动向量值。运动向量值中的至少一个是根据增量值而被区别地编码的，并且运动预测模块73可以被配置为通过对所述运动向量值中的另一个值进行缩放以生成经缩放的运动向量值，并且接着向该经缩放的运动向量值中加入增量来预测运动向量值。然而，与上文不同，运动预测模块73还被配置为以所述整数像素单位(当使用整数模式时)来解译运动向量值，而在缩放后不将其舍入为整数像素分辨率。通过抑制在缩放中对单位进行解译，这是可能的。运动预测模块73可以被配置为通过执行将增量值加入经缩放的运动向量值，而不将经缩放的运动向量值舍入为整数像素分辨率，从而以所述整数像素单位来解译运动向量值。仅当用于生成图像时，才根据整数或分数像素单位来解译结果运动向量值。还可以存储所得到的值以用于在预测一个或多个随后的运动向量时使用，而不根据整数或分数单位来对所存储的值执行解译。
例如，根据这样的可替代方法，运动向量解码过程可以按如下步骤实现。
1、确定在解码器处将如何预测MV，以及是否已经从编码器处在经编码的比特流中发送了运动向量增量(MVD)(这可以包含一些句法指示)。
2、生成经预测的运动向量(PMV)。这创建了整数对(px，py)。然而，不用理会这可以表示什么——即，在该阶段不要进行任何解译。
3、如果没有发送MVD，则将MV值(mx，my)设置为(px，py)；否则，将整数对(px，py)解码为(dx，dy)，并且将MV(mx，my)设置为(px+dx，py+dy)。如果在整数精度模式中操作，将MV解译为表示亮度域中的全整数偏移，即，解译为表示1/4采样偏移单位中的值(4*mx，4*my)。否则(即，当在1/4采样精度模式中操作时)，将MV解译为表示亮度域中的1/4采样偏移，即，解译为表示1/4采样偏移单位中的值(mx，my)(注意，再一次，只有当视频在4：2：2或4：2：0的格式中时，亮度差别才要紧)。
4、存储最终的值(mx，my)以供随后使用以生成随后的PMV(并且控制解块滤波器等)。再一次，不用理会该值将会表示什么。
因此，现在消除了之前所描述的舍入步骤3a。仅仅修改了对数字的解译。这使得解码过程不那么复杂，这是因为对MV预测过程进行修改不是必须的。
注意，在上文中所讨论的舍入是将1/4(或分数)分辨率舍入为整数分辨率。在本标准中，还存在作为运动向量预测的一部分将甚至更精细的精度舍入为1/4分辨率的舍入——并且在上文的可替代的实施例中，不排除仍然存在这样的初步的舍入。
以该方式进行操作可能存在一些副作用。一个副作用可能是，如果一些图片使用不同于其它图片的模式，则在针对时间MV预测的MV预测过程中所使用的缩放将不正确。然而，这将是非常小的影响——尤其是由于在不同的模式中进行操作的情况非常少有，并且还因为时间MV预测一般仅仅有非常小的益处。另一个副作用可能是去块滤波器控制的结果可以取决于以不同的缩放因数被解译的MV值。然而，该影响也将很小，尤其是由于去块可以被禁用或者当对屏幕内容进行编码时可能没有很大影响。
另一个可能性将是，每当仅使用整数运动时，就禁用时间运动向量预测。在HEVC中已经存在使得编码器禁止该特征的使用的句法。这是一种避免需要解码器具有根据差值被编码为整数还是分数值而不同地操作的特殊过程的可能的方式。从时间运动向量预测获得的增益可以在这些使用情况下很小(或为0)，因此禁用时间运动向量预测不必是不期望的。
应当理解的是，上文中的实施例仅仅是作为示例来描述的。
例如，尽管已经在上文中关于块进行了描述，但这非必须限于任何特定的标准中被称为块的分区。例如，在本文中所提及的块可以是在H.26x标准中被称为块或宏块的分区。
本公开的范围限于任何特定的编码解码器或标准，并且通常而言，在本文中所公开的技术可以在现有的标准或对现有的标准的更新(无论是诸如H264或H.265之类的H.26x标准还是另一个其它标准)的上下文中实现，或者可以在定制的编码解码器中实现。此外，本公开的范围不具体限制于对视频采样的任何特定的表示(无论是根据RGB、YUV还是其它)。本公开的范围也不限于任何特定的量化或DCT变换。例如，可以使用诸如Karhunen-loeve变换(KLT)之类的可替代的变换，或者可以不使用变换。此外，本公开不限于VoIP通信或通过任何特定类型的网络的通信，但可以在任何网络或能够传送数据的介质中使用。
在已知运动向量偏移限于或不限于整数数量的像素等的情况下，这可以指的是在颜色空间通道中的任何一个或两个中的运动估计、或者是在全部三个颜色通道中的运动估计。
此外，本发明不限于在整数像素分辨率与四分之一像素分辨率之间进行选择。一般而言，在本文中所描述的技术可以应用至在整数像素分辨率与任何分数像素分辨率(例如，1/2像素分辨率)之间进行选择；或者应用至在整数像素分辨率与多个不同的分数像素模式之间进行选择(例如，在整数、1/2、和1/4像素模式之间进行选择)。
此外，本公开的范围不限于其中将经编码的视频和/或屏幕捕获流通过网络进行传输的应用，也不限于其中流是实时流式传输的应用。例如在另一个应用中，可以将流存储在诸如光盘、硬盘驱动器或其它磁存储、或者“闪速”存储器条或其它电子存储器之类的存储设备上。因此应当注意，屏幕共享流非必须一定意指实时共享(尽管其确实是一个选项)。可替代地或额外地，可以对流进行存储以用于之后与一个或多个其它用户共享，或者所捕获的图像数据可以不被共享，而是仅仅为当时正在使用屏幕的用户而记录。概括而言，屏幕捕获可以是由以下构成的任何运动图像数据：所捕获的编码器端的屏幕内容、由任何合适的方式所捕获(非必须通过从屏幕缓冲器中读取，尽管这是一个选项)、待与一个或多个其它用户共享(实时的或非实时的)、或者仅仅为了有益于捕获用户而被记录或者仅仅为了完成(由于其可能被淘汰，因此可能永远不会实际上被查看)。
还应当注意的是，编码解码器非必须限于仅仅对屏幕捕获数据和视频进行编码。在实施例中，所述编码解码器也可以能够对其它类型的运动图像数据进行编码，例如，动画。这样的其它类型的运动图像数据可以以分数像素模式或整数像素模式来编码。
此外，应当注意的是，帧间编码非必须总是一定相对前一帧进行编码，但更加概括而言，一些编码解码器可以允许相对于除了目标帧之外的不同的帧(领先或先于目标帧的帧)进行编码(假设合适的输出缓冲器)。
此外，如前文所讨论的，应当注意的是可以对运动向量本身区别地编码。在已知如在比特流中通过信号发送的运动向量限于整数数量的像素等的情况下，这意味着运动向量的被区别地编码的形式被限于此(例如，增量)。
此外，解码器非必须一定要在末端用户终端处实现，也不一定要输出运动图像数据以用于在接收终端即时消耗。在可替代的实现中，接收终端可以是中介终端(例如，运行解码器软件的服务器)，其用于将运动图像数据以经解码或经转码的形式输出至另一个终端，或者用于存储经解码的数据以供之后消耗。类似地，解码器不一定要在末端用户终端处被实现，也不一定要对源自发射端的运动图像数据进行编码。在其它实施例中，发射终端可以例如是中介终端(例如，执行解码器软件的服务器)，以用于从另一个终端中以未经编码或可替代地编码的形式接收运动图像数据，并且将所述数据进行编码或转码以用于在服务器处存储或者转发至接收终端。
概括而言，可以使用软件、固件、硬件(例如，固定逻辑电路)或这些实现的组合来实现在本文中所描述的功能中的任何一个。如在本文中所使用的术语“模块”、“功能”、“组件”和“逻辑”通常表示软件、固件、硬件、或其组合。在软件实现的情况下，模块、功能、或逻辑表示当在处理器(例如，CPU或多个CPU)上执行时执行具体任务的程序代码。可以将程序代码存储在一个或多个计算机可读存储器设备中。在下文中所描述的技术的特征是与平台无关的，这意味着可以在具有多种处理器的多种商业计算平台上实现所述技术。
例如，终端可以包括使得用户终端的硬件执行操作的实体(例如，软件)，例如，处理器功能模块等。例如，终端可以包括可以被配置为保存指令，所述指令使得用户终端并且更加特定而言使得操作系统和相关联的用户终端的硬件执行操作。因此，所述指令用于配置操作系统以及相关联的硬件以执行操作，并且以这样的方式使得操作系统和相关联的硬件的变换而执行功能。可以由计算机可读介质通过多种不同的配置来所述指令提供至终端。
计算机可读介质的一个这样的配置是信号承载介质，并且因此被配置为例如经由网络将指令(例如，载波)传输至计算设备。计算机可读介质还可以被配置为计算机可读存储介质，并且因此不是信号承载介质。计算机可读存储介质的示例包括随机存取存储器(RAM)、只读存储器(ROM)、光盘、闪速存储器、硬盘存储器、以及可以使用磁、光、和其它技术来存储指令和其它数据的其它存储器设备。
尽管已经用特定于结构特征和/或方法行为的语言描述了主题，但应当理解的是，在所附权利要求中所定义的主题非必须限于在上文中所描述的具体的特征或行为。相反，在上文中所描述的具体的特征和行为是作为实现权利要求的示例形式而公开的。

Claims (20)

1.一种解码器系统，包括：
用于接收在经编码的比特流中的运动图像数据的经编码的数据的输入，所述运动图像数据包括多个帧，所述帧中的至少一个区域是使用运动估计来编码的，所述经编码的数据包括与所述帧中的相应的至少一个区域相关联的运动向量MV值的相应的集合，所述经编码的数据还包括：
与所述帧中的至少一个相关联的高等级报头中的模式指示符，所述模式指示符指示(a)所述帧中的所述至少一个的MV精度是否是按一帧内每区域控制的，以及(b)在所述帧中的所述至少一个的MV精度不是按一帧内每区域控制的情况下，所述帧中的所述至少一个的MV精度是整数采样精度还是四分之一采样精度；以及
在所述帧中的所述至少一个的MV精度是按一帧内每区域控制的情况下，对于所述帧中的所述至少一个中的每个相应区域，所述区域的报头中的标记的值，所述标记的值指示所述区域的MV精度是整数采样精度还是四分之一采样精度；
用于对所述帧进行解码的视频解码器，其中，对所述帧进行解码包括帧内预测操作和帧间预测操作，所述帧间预测操作是至少部分地基于所述MV值的，对所述帧进行解码还包括：
根据所述模式指示符确定所述帧中的所述至少一个的MV精度是否是按一帧内每区域控制的；
在所述帧中的所述至少一个的MV精度不是按一帧内每区域控制的情况下，根据还指示所述帧中的所述至少一个的MV精度不是按一帧内每区域控制的所述模式指示符，确定所述帧中的所述至少一个的MV精度是整数采样精度还是四分之一采样精度，从而确定所述帧中的所述至少一个的相应区域的MV值是以整数采样精度还是四分之一采样精度解译的；以及
在所述帧中的所述至少一个的MV精度是按一帧内每区域控制的情况下，对于所述帧中的所述至少一个中的每个相应区域，基于所述区域的所述标记的值，确定所述区域的MV精度是整数采样精度还是四分之一采样精度，从而确定所述区域的所述MV值是以整数采样精度还是以四分之一采样精度解译的；以及
以四分之一采样精度的分数像素单位来解译所述MV值，或以整数采样精度的整数像素单位来解译所述MV值；以及
用于输出经解码的帧以供显示的缓冲器。
2.如权利要求1所述的解码器系统，其中，所述高等级报头是序列参数集或图片参数集，其中，所述区域是片段，并且其中，所述区域的报头是片段报头。
3.根据权利要求1所述的解码器系统，其中，所述模式指示符和/或所述标记的值指示所述MV值的水平分量的MV精度或指示所述MV值的垂直分量的MV精度，并且其中，所述解码还包括在水平方向或竖直方向上重新调整所述帧中的所述至少一个的大小。
4.如权利要求3所述的解码器系统，其中，所述MV值的水平分量和所述MV值的垂直分量具有不同的MV精度。
5.如权利要求1所述的解码器系统，其中，在内容类型是屏幕捕获内容的情况下，所述MV精度是整数采样精度，并且在内容类型是摄像机视频内容的情况下，所述MV精度是四分之一采样精度。
6.如权利要求1所述的解码器系统，其中，所述模式指示符是两比特值，并且其中，对于所述模式指示符：
第一可能值指示所述帧中的所述至少一个的MV精度不是按一帧内每区域控制的，并且还指示所述帧中的所述至少一个的MV精度是四分之一采样精度；
第二可能值指示所述帧中的所述至少一个的MV精度不是按一帧内每区域控制的，并且还指示所述帧中的所述至少一个的MV精度是整数采样精度；以及
第三个可能值指示所述帧中的所述至少一个的MV精度是按一帧内每区域控制的。
7.如权利要求1所述的解码器系统，其中，对于所述帧中的所述至少一个的相应区域的给定区域，在所述比特流中不存在所述给定区域的所述标记的值的情况下，所述给定区域的所述标记的值被推断为其值等于所述模式指示符。
8.一种应用于包括一个或多个处理单元和存储器的计算机系统中的方法，其特征在于，包括：
作为比特流的一部分，接收视频序列的帧的经编码的数据，所述帧中的每一个包括一个或多个区域，所述比特流包括：
在应用于所述视频序列的所述帧中的至少一个的报头中，关于以下的指示符的值：(a)所述帧中的所述至少一个的运动向量MV精度是否是按一帧内每区域控制的，以及(b)在所述帧中的所述至少一个的MV精度不是按一帧内每区域控制的情况下，所述帧中的所述至少一个的MV精度是整数采样精度还是四分之一采样精度；以及
在所述帧中的所述至少一个的MV精度是按一帧内每区域控制的情况下，对于所述帧中的所述至少一个中的一个或多个区域中的每个区域，所述区域的报头中的标记的值，所述标记的值指示所述区域的MV精度是整数采样精度还是四分之一采样精度；
使用所述经编码的数据对所述帧进行解码，其中，对所述帧进行解码包括帧内预测操作和帧间预测操作，并且其中，对所述帧进行解码还包括：
基于所述指示符的值，确定所述帧中的所述至少一个的MV精度是否是按一帧内每区域控制的；
在所述帧中的所述至少一个的MV精度不是按一帧内每区域控制的情况下，基于还指示所述帧中的所述至少一个的MV精度不是按一帧内每区域控制的所述指示符的值，确定所述帧中的所述至少一个的MV精度是整数采样精度还是四分之一采样精度；以及
在所述帧中的所述至少一个的MV精度是按一帧内每区域控制的情况下，对于所述帧中的所述至少一个中的所述一个或多个区域中的每个区域，基于所述区域的所述标记的值，确定所述区域的MV精度是整数采样精度还是四分之一采样精度；以及
输出经解码的帧以供显示。
9.根据权利要求8所述的方法，其中，应用于所述帧中的至少一个的所述报头是序列参数集或图片参数集，其中，所述区域是片段，并且其中，所述区域的报头是片段报头。
10.根据权利要求8所述的方法，其中，所述指示符和/或所述标记的值指示所述MV值的水平分量的MV精度或所述MV值的垂直分量的MV精度，所述方法还包括在解码期间，在水平方向或竖直方向上重新调整所述帧中的所述至少一个的大小。
11.如权利要求10所述的方法，其中，所述MV值的水平分量和所述MV值的垂直分量具有不同的MV精度。
12.如权利要求8所述的方法，其中，在内容类型是屏幕捕获内容的情况下，所述MV精度是整数采样精度，并且在内容类型是摄像机视频内容的情况下，所述MV精度是四分之一采样精度。
13.如权利要求8所述的方法，其中，所述指示符是两比特值，并且其中，对于所述指示符：
第一可能值指示所述帧中的所述至少一个的MV精度不是按一帧内每区域控制的，并且还指示所述帧中的所述至少一个的MV精度是四分之一采样精度；
第二可能值指示所述帧中的所述至少一个的MV精度不是按一帧内每区域控制的，并且还指示所述帧中的所述至少一个的MV精度是整数采样精度；以及
第三个可能值指示所述帧中的所述至少一个的MV精度是按一帧内每区域控制的。
14.如权利要求8所述的方法，其中，对于所述帧中的所述至少一个的相应区域的给定区域，在所述比特流中不存在所述给定区域的所述标记的值的情况下，所述给定区域的所述标记的值被推断为其值等于所述指示符。
15.一种计算机可读存储介质，具有存储于其上的计算机可执行指令，所述计算机可执行指令用于在被编程时促使一个或多个处理单元执行包括以下各项的操作：
作为比特流的一部分，接收视频序列的帧的经编码的数据，所述帧中的每一个包括一个或多个区域，所述比特流包括：
在应用于所述视频序列的所述帧中的至少一个的报头中，关于以下的指示符的值：(a)所述帧中的所述至少一个的运动向量MV精度是否是按一帧内每区域控制的，以及(b)在所述帧中的所述至少一个的MV精度不是按一帧内每区域控制的情况下，所述帧中的所述至少一个的MV精度是整数采样精度还是四分之一采样精度；以及
在所述帧中的所述至少一个的MV精度是按一帧内每区域控制的情况下，对于所述帧中的所述至少一个中的一个或多个区域中的每个区域，所述区域的报头中的标记的值，所述标记的值指示所述区域的MV精度是整数采样精度还是四分之一采样精度；
使用所述经编码的数据对所述帧进行解码，其中，对所述帧进行解码包括帧内预测操作和帧间预测操作，并且对所述帧进行解码还包括：
基于所述指示符的值，确定所述帧中的所述至少一个的MV精度是否是按一帧内每区域控制的；
在所述帧中的所述至少一个的MV精度不是按一帧内每区域控制的情况下，基于还指示所述帧中的所述至少一个的MV精度不是按一帧内每区域控制的所述指示符的值，确定所述帧中的所述至少一个的MV精度是整数采样精度还是四分之一采样精度；以及
在所述帧中的所述至少一个的MV精度是按一帧内每区域控制的情况下，对于所述帧中的所述至少一个中的所述一个或多个区域中的每个区域，基于所述区域的标记的值，确定所述区域的MV精度是整数采样精度还是四分之一采样精度；以及
输出经解码的帧以供显示。
16.如权利要求15所述的计算机可读存储介质，其中，应用于所述帧中的至少一个的所述报头是序列参数集或图片参数集，其中，所述区域是片段，并且其中，所述区域的报头是片段报头。
17.如权利要求15所述的计算机可读存储介质，其中，所述指示符和/或所述标记的值指示所述MV值的水平分量的MV精度或所述MV值的垂直分量的MV精度，并且其中，所述解码还包括在水平方向或竖直方向上重新调整所述帧中的所述至少一个的大小。
18.如权利要求17所述的计算机可读存储介质，其中，所述MV值的水平分量和所述MV值的垂直分量具有不同的MV精度。
19.如权利要求15所述的计算机可读存储介质，其中，所述指示符是两比特值，并且其中，对于所述指示符：
第一可能值指示所述帧中的所述至少一个的MV精度不是按一帧内每区域控制的，并且还指示所述帧中的所述至少一个的MV精度是四分之一采样精度；
第二可能值指示所述帧中的所述至少一个的MV精度不是按一帧内每区域控制的，并且还指示所述帧中的所述至少一个的MV精度是整数采样精度；以及
第三个可能值指示所述帧中的所述至少一个的MV精度是按一帧内每区域控制的。
20.如权利要求15所述的计算机可读存储介质，其中，对于所述帧中的所述至少一个的相应区域的给定区域，在所述比特流中不存在所述给定区域的所述标记的值的情况下，所述给定区域的所述标记的值被推断为其值等于所述指示符。
CN201910847304.4A 2014-01-08 2015-01-07 表示经编码的比特流中的运动向量 Active CN110460861B (zh)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
US201461925108P 2014-01-08 2014-01-08
US61/925,108 2014-01-08
US201461934506P 2014-01-31 2014-01-31
US61/934,506 2014-01-31
US14/530,625 2014-10-31
US14/530,625 US9774881B2 (en) 2014-01-08 2014-10-31 Representing motion vectors in an encoded bitstream
CN201580004117.XA CN105900425B (zh) 2014-01-08 2015-01-07 表示经编码的比特流中的运动向量
PCT/US2015/010391 WO2015105816A2 (en) 2014-01-08 2015-01-07 Representing motion vectors in an encoded bitstream

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201580004117.XA Division CN105900425B (zh) 2014-01-08 2015-01-07 表示经编码的比特流中的运动向量

Publications (2)

Publication Number Publication Date
CN110460861A CN110460861A (zh) 2019-11-15
CN110460861B true CN110460861B (zh) 2022-11-18

Family

ID=53496190

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201580004117.XA Active CN105900425B (zh) 2014-01-08 2015-01-07 表示经编码的比特流中的运动向量
CN201910847304.4A Active CN110460861B (zh) 2014-01-08 2015-01-07 表示经编码的比特流中的运动向量

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201580004117.XA Active CN105900425B (zh) 2014-01-08 2015-01-07 表示经编码的比特流中的运动向量

Country Status (11)

Country Link
US (4) US9774881B2 (zh)
EP (2) EP4192014A1 (zh)
JP (3) JP6588441B2 (zh)
KR (3) KR102523311B1 (zh)
CN (2) CN105900425B (zh)
AU (1) AU2015204953B2 (zh)
BR (1) BR112016015618A8 (zh)
CA (1) CA2935425C (zh)
MX (1) MX361790B (zh)
RU (1) RU2679979C1 (zh)
WO (1) WO2015105816A2 (zh)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101448162B (zh) 2001-12-17 2013-01-02 微软公司 处理视频图像的方法
US10554985B2 (en) 2003-07-18 2020-02-04 Microsoft Technology Licensing, Llc DC coefficient signaling at small quantization step sizes
US9774881B2 (en) 2014-01-08 2017-09-26 Microsoft Technology Licensing, Llc Representing motion vectors in an encoded bitstream
US9942560B2 (en) 2014-01-08 2018-04-10 Microsoft Technology Licensing, Llc Encoding screen capture data
US9749642B2 (en) 2014-01-08 2017-08-29 Microsoft Technology Licensing, Llc Selection of motion vector precision
WO2016050219A1 (en) 2014-09-30 2016-04-07 Mediatek Inc. Method of adaptive motion vetor resolution for video coding
US10075712B2 (en) * 2014-11-20 2018-09-11 Hfi Innovation Inc. Method of motion vector and block vector resolution control
KR102349788B1 (ko) * 2015-01-13 2022-01-11 인텔렉추얼디스커버리 주식회사 영상의 부호화/복호화 방법 및 장치
GB2539213A (en) * 2015-06-08 2016-12-14 Canon Kk Schemes for handling an AMVP flag when implementing intra block copy coding mode
WO2017034113A1 (ko) * 2015-08-24 2017-03-02 엘지전자(주) 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
WO2017156669A1 (en) 2016-03-14 2017-09-21 Mediatek Singapore Pte. Ltd. Methods for motion vector storage in video coding
US10362307B2 (en) * 2016-09-09 2019-07-23 Hanwha Techwin Co., Ltd. Quantization parameter determination method and image capture apparatus
US10841794B2 (en) * 2017-09-18 2020-11-17 Futurewei Technologies, Inc. Adaptive motion vector resolution
CN109756739B (zh) * 2017-11-07 2022-09-02 华为技术有限公司 图像预测方法和装置
US10638137B2 (en) * 2018-03-07 2020-04-28 Tencent America LLC Method and apparatus for video coding
WO2019194501A1 (ko) * 2018-04-01 2019-10-10 엘지전자 주식회사 움직임 벡터 리파인먼트에 기반한 영상 코딩 방법 및 그 장치
KR102516233B1 (ko) 2018-04-02 2023-03-30 엘지전자 주식회사 움직임 벡터에 기반한 영상 코딩 방법 및 그 장치
US11057617B2 (en) * 2018-08-03 2021-07-06 Tencent America LLC Method and apparatus for video coding
WO2020084473A1 (en) 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Multi- iteration motion vector refinement
CN109413344B (zh) * 2018-10-26 2022-04-19 北京计算机技术及应用研究所 基于视频采集及编码技术的多分辨率屏幕操作状态监视装置
JP7146086B2 (ja) * 2018-11-12 2022-10-03 北京字節跳動網絡技術有限公司 インター予測のためのバンド幅制御方法
CN113016185B (zh) 2018-11-17 2024-04-05 北京字节跳动网络技术有限公司 以运动矢量差分模式控制Merge
WO2020103852A1 (en) 2018-11-20 2020-05-28 Beijing Bytedance Network Technology Co., Ltd. Difference calculation based on patial position
EP3868107A4 (en) 2018-12-21 2021-12-15 Beijing Bytedance Network Technology Co. Ltd. MOTION VECTOR ACCURACY IN INTERACTING WITH MOTION VECTOR DIFFERENCE MODE
WO2020125754A1 (en) * 2018-12-21 2020-06-25 Beijing Bytedance Network Technology Co., Ltd. Motion vector derivation using higher bit-depth precision
CN115348449A (zh) * 2018-12-29 2022-11-15 华为技术有限公司 编码器，解码器和使用压缩mv存储的对应方法
EP3915259A4 (en) 2019-03-06 2022-03-30 Beijing Bytedance Network Technology Co., Ltd. USE OF A CONVERTED UNIVERSITY PREDICTION CANDIDATE
EP3713235B1 (en) * 2019-03-19 2023-08-02 Axis AB Methods and devices for encoding a video stream using a first and a second encoder
AU2020250609B2 (en) 2019-04-01 2023-09-07 Beijing Bytedance Network Technology Co., Ltd. Using interpolation filters for history based motion vector prediction
JP7359942B2 (ja) 2019-08-20 2023-10-11 北京字節跳動網絡技術有限公司 映像処理における代替の補間フィルタの選択的使用
JP7409802B2 (ja) * 2019-08-22 2024-01-09 シャープ株式会社 動画像復号装置および動画像符号化装置
CN110650357B (zh) * 2019-09-27 2023-02-10 腾讯科技（深圳）有限公司 视频解码方法及装置
CN110636294B (zh) * 2019-09-27 2024-04-09 腾讯科技（深圳）有限公司 视频解码方法及装置，视频编码方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003189312A (ja) * 2001-12-20 2003-07-04 Oki Electric Ind Co Ltd 動画像符号化装置及び動画像復号化装置
US7224731B2 (en) * 2002-06-28 2007-05-29 Microsoft Corporation Motion estimation/compensation for screen capture video
CN101185342A (zh) * 2005-04-29 2008-05-21 三星电子株式会社 支持快速精细可分级的视频编码方法和装置
CN101658044A (zh) * 2007-04-09 2010-02-24 诺基亚公司 以低编码器和解码器复杂度进行视频编码的高精度运动矢量
CN102224734A (zh) * 2008-10-02 2011-10-19 索尼公司 图像处理设备和方法
CN102227134A (zh) * 2002-06-28 2011-10-26 杜比实验室认证公司 改进的视频压缩帧插值
CN102946533A (zh) * 2011-09-02 2013-02-27 斯凯普公司 视频编码
CN103202016A (zh) * 2010-10-13 2013-07-10 高通股份有限公司 用于视频译码的自适应运动向量分辨率信令

Family Cites Families (222)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60158786A (ja) 1984-01-30 1985-08-20 Kokusai Denshin Denwa Co Ltd <Kdd> 画像動き量検出方式
US4661849A (en) 1985-06-03 1987-04-28 Pictel Corporation Method and apparatus for providing motion estimation signals for communicating image sequences
US4661853A (en) 1985-11-01 1987-04-28 Rca Corporation Interfield image motion detector for video signals
DE3854171T2 (de) 1987-06-09 1995-12-21 Sony Corp Bewertung von Bewegungsvektoren in Fernsehbildern.
DE3854337T2 (de) 1987-06-09 1996-02-01 Sony Corp Bewegungskompensierte Interpolation von digitalen Fernsehbildern.
JP2712645B2 (ja) 1989-10-14 1998-02-16 ソニー株式会社 動きベクトル伝送方法及びその装置並びに動きベクトル復号化方法及びその装置
DE69033782T2 (de) 1989-10-14 2002-06-20 Sony Corp Verfahren und Anordnung zum Kodieren/Dekodieren eines Videosignales
US5103306A (en) 1990-03-28 1992-04-07 Transitions Research Corporation Digital image compression employing a resolution gradient
EP0484140B1 (en) 1990-10-31 1996-12-18 Victor Company Of Japan, Ltd. Compression method of interlace moving image signals
CA2087946A1 (en) 1991-05-24 1992-11-25 Michael Burl Video image processing
US5467136A (en) 1991-05-31 1995-11-14 Kabushiki Kaisha Toshiba Video decoder for determining a motion vector from a scaled vector and a difference vector
US5317397A (en) 1991-05-31 1994-05-31 Kabushiki Kaisha Toshiba Predictive coding using spatial-temporal filtering and plural motion vectors
JPH0541862A (ja) 1991-08-03 1993-02-19 Sony Corp 動きベクトルの可変長符号化方式
US5428396A (en) 1991-08-03 1995-06-27 Sony Corporation Variable length coding/decoding method for motion vectors
ATE148607T1 (de) 1991-09-30 1997-02-15 Philips Electronics Nv Bewegungsvektorschätzung, bewegungsbildkodierung- und -speicherung
JP2962012B2 (ja) 1991-11-08 1999-10-12 日本ビクター株式会社 動画像符号化装置及びその復号装置
GB2262854B (en) 1991-12-24 1995-05-24 Sony Broadcast & Communication Image processing apparatus
US5594813A (en) 1992-02-19 1997-01-14 Integrated Information Technology, Inc. Programmable architecture and methods for motion estimation
US6441842B1 (en) 1992-02-19 2002-08-27 8×8, Inc. Video compression/decompression processing and processors
US5436665A (en) * 1992-03-03 1995-07-25 Kabushiki Kaisha Toshiba Motion picture coding apparatus
US6226327B1 (en) 1992-06-29 2001-05-01 Sony Corporation Video coding method and apparatus which select between frame-based and field-based predictive modes
JPH0662386A (ja) * 1992-08-04 1994-03-04 G C Technol Kk 解像度変換復号方法と装置
JP3348310B2 (ja) 1992-09-28 2002-11-20 ソニー株式会社 動画像符号化方法および動画像符号化装置
JP3200196B2 (ja) 1992-10-15 2001-08-20 株式会社リコー 動きベクトル検出方法
CA2118118C (en) 1993-03-24 2004-02-24 Motoki Kato Method for coding and decoding motion vectors and apparatus therefor
US5442400A (en) 1993-04-29 1995-08-15 Rca Thomson Licensing Corporation Error concealment apparatus for MPEG-like video data
JPH06343172A (ja) 1993-06-01 1994-12-13 Matsushita Electric Ind Co Ltd 動きベクトル検出方法及び動きベクトル符号化方法
US5477272A (en) 1993-07-22 1995-12-19 Gte Laboratories Incorporated Variable-block size multi-resolution motion estimation scheme for pyramid coding
CN1099723A (zh) 1993-08-31 1995-03-08 张智新 硫酸铵分解法
KR970003102B1 (ko) * 1993-09-17 1997-03-14 대우전자 주식회사 영상 복호기에서의 하프 픽셀 움직임 보상 회로
TW283289B (zh) 1994-04-11 1996-08-11 Gen Instrument Corp
US5594504A (en) 1994-07-06 1997-01-14 Lucent Technologies Inc. Predictive video coding using a motion vector updating routine
US5684538A (en) 1994-08-18 1997-11-04 Hitachi, Ltd. System and method for performing video coding/decoding using motion compensation
EP0710033A3 (en) 1994-10-28 1999-06-09 Matsushita Electric Industrial Co., Ltd. MPEG video decoder having a high bandwidth memory
US5623311A (en) 1994-10-28 1997-04-22 Matsushita Electric Corporation Of America MPEG video decoder having a high bandwidth memory
US6301299B1 (en) * 1994-10-28 2001-10-09 Matsushita Electric Industrial Co., Ltd. Memory controller for an ATSC video decoder
GB2301971B (en) 1995-06-06 1999-10-06 Sony Uk Ltd Video compression
GB2301972B (en) 1995-06-06 1999-10-20 Sony Uk Ltd Video compression
US5796855A (en) 1995-10-05 1998-08-18 Microsoft Corporation Polygon block matching method
US5929940A (en) 1995-10-25 1999-07-27 U.S. Philips Corporation Method and device for estimating motion between images, system for encoding segmented images
US5991463A (en) 1995-11-08 1999-11-23 Genesis Microchip Inc. Source data interpolation method and apparatus
JP2798035B2 (ja) 1996-01-17 1998-09-17 日本電気株式会社 適応動きベクトル補間による動き補償フレーム間予測方法
US5799113A (en) 1996-01-19 1998-08-25 Microsoft Corporation Method for expanding contracted video images
US5692063A (en) 1996-01-19 1997-11-25 Microsoft Corporation Method and system for unrestricted motion estimation for video
US5787203A (en) 1996-01-19 1998-07-28 Microsoft Corporation Method and system for filtering compressed video images
US6957350B1 (en) 1996-01-30 2005-10-18 Dolby Laboratories Licensing Corporation Encrypted and watermarked temporal and resolution layering in advanced television
US5768537A (en) * 1996-02-22 1998-06-16 International Business Machines Corporation Scalable MPEG2 compliant video encoder
US5982438A (en) 1996-03-22 1999-11-09 Microsoft Corporation Overlapped motion compensation for object coding
US5847776A (en) 1996-06-24 1998-12-08 Vdonet Corporation Ltd. Method for entropy constrained motion estimation and coding of motion vectors with increased search range
US6233017B1 (en) 1996-09-16 2001-05-15 Microsoft Corporation Multimedia compression system with adaptive block sizes
US6130963A (en) 1996-11-22 2000-10-10 C-Cube Semiconductor Ii, Inc. Memory efficient decoding of video frame chroma
US6377628B1 (en) 1996-12-18 2002-04-23 Thomson Licensing S.A. System for maintaining datastream continuity in the presence of disrupted source data
US6330344B1 (en) * 1997-02-14 2001-12-11 Sony Corporation Image processing device and method employing motion detection to generate improved quality image from low resolution image
US6201927B1 (en) 1997-02-18 2001-03-13 Mary Lafuze Comer Trick play reproduction of MPEG encoded signals
US5991447A (en) 1997-03-07 1999-11-23 General Instrument Corporation Prediction and coding of bi-directionally predicted video object planes for interlaced digital video
US6005980A (en) 1997-03-07 1999-12-21 General Instrument Corporation Motion estimation and compensation of video object planes for interlaced digital video
US5844613A (en) 1997-03-17 1998-12-01 Microsoft Corporation Global motion estimator for motion video signal encoding
US6404813B1 (en) 1997-03-27 2002-06-11 At&T Corp. Bidirectionally predicted pictures or video object planes for efficient and flexible video coding
US6661470B1 (en) 1997-03-31 2003-12-09 Matsushita Electric Industrial Co., Ltd. Moving picture display method and apparatus
US5973755A (en) 1997-04-04 1999-10-26 Microsoft Corporation Video encoder and decoder using bilinear motion compensation and lapped orthogonal transforms
JP3129986B2 (ja) 1997-04-09 2001-01-31 日本車輌製造株式会社 杭施工機のトルク管理装置
US6067322A (en) 1997-06-04 2000-05-23 Microsoft Corporation Half pixel motion estimation in motion video signal encoding
EP2271116B1 (en) 1997-06-09 2013-09-11 Hitachi, Ltd. Image decoding method and image decoder
US6574371B2 (en) 1997-06-09 2003-06-03 Hitachi, Ltd. Image decoding method
JPH1169345A (ja) 1997-06-11 1999-03-09 Fujitsu Ltd フレーム間予測動画像符号化装置及び復号装置並びにフレーム間予測動画像符号化方法及び復号方法
JP2897763B2 (ja) 1997-07-28 1999-05-31 日本ビクター株式会社 動き補償符号化装置、復号化装置、符号化方法及び復号化方法
US6266091B1 (en) 1997-07-31 2001-07-24 Lsi Logic Corporation System and method for low delay mode operation video decoding
US6310918B1 (en) 1997-07-31 2001-10-30 Lsi Logic Corporation System and method for motion vector extraction and computation meeting 2-frame store and letterboxing requirements
FR2766946B1 (fr) 1997-08-04 2000-08-11 Thomson Multimedia Sa Procede et dispositif de pretraitement pour estimation de mouvement
US6281942B1 (en) 1997-08-11 2001-08-28 Microsoft Corporation Spatial and temporal filtering mechanism for digital motion video signals
US6339656B1 (en) 1997-12-25 2002-01-15 Matsushita Electric Industrial Co., Ltd. Moving picture encoding decoding processing apparatus
US6122017A (en) 1998-01-22 2000-09-19 Hewlett-Packard Company Method for providing motion-compensated multi-field enhancement of still images from video
JP3856262B2 (ja) 1998-03-09 2006-12-13 日本ビクター株式会社 動き補償符号化装置、動き補償符号化方法、及び動き補償符号記録媒体
US6611624B1 (en) * 1998-03-13 2003-08-26 Cisco Systems, Inc. System and method for frame accurate splicing of compressed bitstreams
US6020934A (en) * 1998-03-23 2000-02-01 International Business Machines Corporation Motion estimation architecture for area and power reduction
US6195389B1 (en) * 1998-04-16 2001-02-27 Scientific-Atlanta, Inc. Motion estimation system and methods
JP3888597B2 (ja) 1998-06-24 2007-03-07 日本ビクター株式会社 動き補償符号化装置、及び動き補償符号化復号化方法
JP4026238B2 (ja) 1998-07-23 2007-12-26 ソニー株式会社 画像復号装置及び画像復号方法
US6219070B1 (en) 1998-09-30 2001-04-17 Webtv Networks, Inc. System and method for adjusting pixel parameters by subpixel positioning
US6466624B1 (en) * 1998-10-28 2002-10-15 Pixonics, Llc Video decoder with bit stream based enhancements
GB2343579A (en) 1998-11-07 2000-05-10 Ibm Hybrid-linear-bicubic interpolation method and apparatus
US6584154B1 (en) * 1998-11-26 2003-06-24 Oki Electric Industry Co., Ltd. Moving-picture coding and decoding method and apparatus with reduced computational cost
US6983018B1 (en) 1998-11-30 2006-01-03 Microsoft Corporation Efficient motion vector coding for video compression
US6418166B1 (en) 1998-11-30 2002-07-09 Microsoft Corporation Motion estimation and block matching pattern
US6496608B1 (en) 1999-01-15 2002-12-17 Picsurf, Inc. Image data interpolation system and method
US6259741B1 (en) 1999-02-18 2001-07-10 General Instrument Corporation Method of architecture for converting MPEG-2 4:2:2-profile bitstreams into main-profile bitstreams
US6320593B1 (en) 1999-04-20 2001-11-20 Agilent Technologies, Inc. Method of fast bi-cubic interpolation of image information
JP2000308064A (ja) 1999-04-22 2000-11-02 Mitsubishi Electric Corp 動きベクトル検出装置
EP1050850A1 (en) * 1999-05-03 2000-11-08 THOMSON multimedia Process for estimating a dominant motion between two frames
US6968008B1 (en) 1999-07-27 2005-11-22 Sharp Laboratories Of America, Inc. Methods for motion estimation with adaptive motion accuracy
US6556624B1 (en) * 1999-07-27 2003-04-29 At&T Corp. Method and apparatus for accomplishing multiple description coding for video
US6647061B1 (en) 2000-06-09 2003-11-11 General Instrument Corporation Video size conversion and transcoding from MPEG-2 to MPEG-4
US7206453B2 (en) 2001-05-03 2007-04-17 Microsoft Corporation Dynamic filtering for lossy compression
US6950469B2 (en) 2001-09-17 2005-09-27 Nokia Corporation Method for sub-pixel value interpolation
US20030095603A1 (en) 2001-11-16 2003-05-22 Koninklijke Philips Electronics N.V. Reduced-complexity video decoding using larger pixel-grid motion compensation
GB2382940A (en) * 2001-11-27 2003-06-11 Nokia Corp Encoding objects and background blocks
CN101448162B (zh) 2001-12-17 2013-01-02 微软公司 处理视频图像的方法
WO2003055224A1 (en) * 2001-12-20 2003-07-03 Koninklijke Philips Electronics N.V. Video encoding and decoding method and device
KR100962759B1 (ko) * 2002-01-24 2010-06-09 가부시키가이샤 히타치세이사쿠쇼 동화상 신호의 부호화 방법 및 복호화 방법
US7003035B2 (en) 2002-01-25 2006-02-21 Microsoft Corporation Video coding methods and apparatuses
US7620109B2 (en) * 2002-04-10 2009-11-17 Microsoft Corporation Sub-pixel interpolation in motion estimation and compensation
US7116831B2 (en) 2002-04-10 2006-10-03 Microsoft Corporation Chrominance motion vector rounding
US7110459B2 (en) 2002-04-10 2006-09-19 Microsoft Corporation Approximate bicubic filter
US7305034B2 (en) 2002-04-10 2007-12-04 Microsoft Corporation Rounding control for multi-stage interpolation
US7277587B2 (en) 2002-04-26 2007-10-02 Sharp Laboratories Of America, Inc. System and method for lossless video coding
US6980695B2 (en) 2002-06-28 2005-12-27 Microsoft Corporation Rate allocation for mixed content video
US7016547B1 (en) * 2002-06-28 2006-03-21 Microsoft Corporation Adaptive entropy encoding/decoding for screen capture content
MXPA05000559A (es) * 2002-07-15 2005-04-19 Nokia Corp Metodo para ocultamiento de errores en secuencias de video.
JP4724351B2 (ja) * 2002-07-15 2011-07-13 三菱電機株式会社 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法、および通信装置
US7072512B2 (en) 2002-07-23 2006-07-04 Microsoft Corporation Segmentation of digital video and images into continuous tone and palettized regions
US8824553B2 (en) 2003-05-12 2014-09-02 Google Inc. Video compression method
WO2004114063A2 (en) * 2003-06-13 2004-12-29 Georgia Tech Research Corporation Data reconstruction using directional interpolation techniques
US20050013498A1 (en) 2003-07-18 2005-01-20 Microsoft Corporation Coding of motion vector information
US7738554B2 (en) 2003-07-18 2010-06-15 Microsoft Corporation DC coefficient signaling at small quantization step sizes
US7609763B2 (en) * 2003-07-18 2009-10-27 Microsoft Corporation Advanced bi-directional predictive coding of video frames
EP1536647A1 (en) 2003-11-26 2005-06-01 STMicroelectronics Limited A video decoding device
KR100631777B1 (ko) 2004-03-31 2006-10-12 삼성전자주식회사 다 계층의 모션 벡터를 효율적으로 압축하는 방법 및 장치
KR100586882B1 (ko) 2004-04-13 2006-06-08 삼성전자주식회사 모션 스케일러빌리티를 지원하는 코딩 방법 및 장치
US8130825B2 (en) * 2004-05-10 2012-03-06 Nvidia Corporation Processor for video data encoding/decoding
KR100678949B1 (ko) * 2004-07-15 2007-02-06 삼성전자주식회사 비디오 코딩 및 디코딩 방법, 비디오 인코더 및 디코더
US7558428B2 (en) 2004-09-13 2009-07-07 Microsoft Corporation Accelerated video encoding using a graphics processing unit
JP4241588B2 (ja) 2004-11-30 2009-03-18 日本ビクター株式会社 動画像符号化装置、及び動画像復号化装置
JP4216796B2 (ja) 2004-12-15 2009-01-28 日本電信電話株式会社 動きベクトル探索方法，動きベクトル探索装置，動きベクトル探索プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
WO2006096612A2 (en) * 2005-03-04 2006-09-14 The Trustees Of Columbia University In The City Of New York System and method for motion estimation and mode decision for low-complexity h.264 decoder
US8340175B2 (en) * 2005-04-13 2012-12-25 Ntt Docomo, Inc. Dynamic image encoding device, dynamic image decoding device, dynamic image encoding method, dynamic image decoding method, dynamic image encoding program, and dynamic image decoding program
US20070121728A1 (en) 2005-05-12 2007-05-31 Kylintv, Inc. Codec for IPTV
US20070025442A1 (en) 2005-07-28 2007-02-01 Sanyo Electric Co., Ltd. Coding method for coding moving images
US8761259B2 (en) 2005-09-22 2014-06-24 Qualcomm Incorporated Multi-dimensional neighboring block prediction for video encoding
GB0600141D0 (en) * 2006-01-05 2006-02-15 British Broadcasting Corp Scalable coding of video signals
US7956930B2 (en) * 2006-01-06 2011-06-07 Microsoft Corporation Resampling and picture resizing operations for multi-resolution video coding and decoding
US7929599B2 (en) 2006-02-24 2011-04-19 Microsoft Corporation Accelerated video encoding
US8130828B2 (en) 2006-04-07 2012-03-06 Microsoft Corporation Adjusting quantization to preserve non-zero AC coefficients
US8155195B2 (en) 2006-04-07 2012-04-10 Microsoft Corporation Switching distortion metrics during motion estimation
US7965767B2 (en) 2006-06-30 2011-06-21 Intel Corporation Two-dimensional filtering architecture
US9014280B2 (en) * 2006-10-13 2015-04-21 Qualcomm Incorporated Video coding with adaptive filtering for motion compensated prediction
US9445128B2 (en) * 2006-12-08 2016-09-13 Freescale Semiconductor, Inc. System and method of determining deblocking control flag of scalable video system for indicating presentation of deblocking parameters for multiple layers
US8861591B2 (en) 2007-05-11 2014-10-14 Advanced Micro Devices, Inc. Software video encoder with GPU acceleration
US9648325B2 (en) 2007-06-30 2017-05-09 Microsoft Technology Licensing, Llc Video decoding implementations for a graphics processing unit
SG152082A1 (en) 2007-10-19 2009-05-29 Creative Tech Ltd A method and system for processing a composite video image
US8582652B2 (en) * 2007-10-30 2013-11-12 General Instrument Corporation Method and apparatus for selecting a coding mode
US20090141808A1 (en) * 2007-11-30 2009-06-04 Yiufai Wong System and methods for improved video decoding
US8279936B1 (en) 2007-12-11 2012-10-02 Marvell International Ltd. Method and apparatus for fractional pixel expansion and motion vector selection in a video codec
US20090168871A1 (en) * 2007-12-31 2009-07-02 Ning Lu Video motion estimation
KR20100099723A (ko) 2008-01-09 2010-09-13 미쓰비시덴키 가부시키가이샤 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 및 화상 복호 방법
KR101431543B1 (ko) * 2008-01-21 2014-08-21 삼성전자주식회사 영상 부호화/복호화 장치 및 방법
US9584710B2 (en) 2008-02-28 2017-02-28 Avigilon Analytics Corporation Intelligent high resolution video system
JP2009230537A (ja) 2008-03-24 2009-10-08 Olympus Corp 画像処理装置、画像処理プログラム、画像処理方法、および、電子機器
US8266665B2 (en) 2008-03-25 2012-09-11 Verizon Patent And Licensing Inc. TV screen capture
US20090245374A1 (en) 2008-03-26 2009-10-01 Mediatek Inc. Video encoder and motion estimation method
US8831086B2 (en) 2008-04-10 2014-09-09 Qualcomm Incorporated Prediction techniques for interpolation in video coding
US20090257499A1 (en) 2008-04-10 2009-10-15 Qualcomm Incorporated Advanced interpolation techniques for motion compensation in video coding
US20090262801A1 (en) 2008-04-17 2009-10-22 Qualcomm Incorporated Dead zone parameter selections for rate control in video coding
JP2010016453A (ja) 2008-07-01 2010-01-21 Sony Corp 画像符号化装置および方法、画像復号装置および方法、並びにプログラム
US9078007B2 (en) 2008-10-03 2015-07-07 Qualcomm Incorporated Digital video coding with interpolation filters and offsets
US8295623B2 (en) 2008-10-14 2012-10-23 France Telecom Encoding and decoding with elimination of one or more predetermined predictors
TWI428022B (zh) * 2008-10-24 2014-02-21 Nat Univ Chung Cheng Video control method for instant video encoding chips
DE102008064280A1 (de) 2008-12-20 2010-06-24 Bayer Technology Services Gmbh Verfahren zur Herstellung von Bis(Para-Aminocyclohexyl)Methan
US8428145B2 (en) 2008-12-31 2013-04-23 Entropic Communications, Inc. System and method for providing fast trick modes
US9472167B2 (en) 2009-04-17 2016-10-18 International Business Machines Corporation Video capture through hardware
US8346915B2 (en) 2009-05-04 2013-01-01 Qualcomm Incorporated System and method of recording and sharing mobile application activities
US8498493B1 (en) 2009-06-02 2013-07-30 Imagination Technologies Limited Directional cross hair search system and method for determining a preferred motion vector
JPWO2010143583A1 (ja) * 2009-06-09 2012-11-22 ソニー株式会社 画像処理装置および方法
JP2010288110A (ja) * 2009-06-12 2010-12-24 Sony Corp 画像処理装置および画像処理方法
BRPI0924908B1 (pt) 2009-06-18 2021-05-11 Kabushiki Kaisha Toshiba aparelhos de codificação e decodificação de vídeo, métodos para codificação e decodificação de vídeo
JP5353532B2 (ja) 2009-07-29 2013-11-27 ソニー株式会社 画像処理装置及び画像処理方法
US20110255589A1 (en) 2009-08-03 2011-10-20 Droplet Technology, Inc. Methods of compressing data and methods of assessing the same
JP2011041037A (ja) * 2009-08-12 2011-02-24 Sony Corp 画像処理装置および方法
KR20110017302A (ko) 2009-08-13 2011-02-21 삼성전자주식회사 움직임 벡터의 정확도 조절을 이용한 영상 부호화, 복호화 방법 및 장치
EP2302588B1 (en) * 2009-08-21 2012-02-29 Telefonaktiebolaget L M Ericsson (Publ) Method and apparatus for estimation of interframe motion fields
KR101678968B1 (ko) * 2009-08-21 2016-11-25 에스케이텔레콤 주식회사 참조 픽처 보간 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101356613B1 (ko) * 2009-08-21 2014-02-06 에스케이텔레콤 주식회사 적응적 움직임 벡터 해상도를 이용한 영상 부호화/복호화 방법 및 장치
WO2011021915A2 (ko) 2009-08-21 2011-02-24 에스케이텔레콤 주식회사 적응적 움직임 벡터 해상도를 이용한 영상 부호화/복호화 방법 및 장치
JP5922579B2 (ja) * 2009-10-14 2016-05-24 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 動き情報の適応型符号化方法及び装置
US8411750B2 (en) * 2009-10-30 2013-04-02 Qualcomm Incorporated Global motion parameter estimation using block-based motion vectors
US20110176611A1 (en) * 2010-01-15 2011-07-21 Yu-Wen Huang Methods for decoder-side motion vector derivation
EP2362655B1 (en) * 2010-02-10 2013-07-17 Telefonaktiebolaget L M Ericsson (Publ) Motion-vector estimation
US20110200108A1 (en) 2010-02-18 2011-08-18 Qualcomm Incorporated Chrominance high precision motion filtering for motion interpolation
US9237355B2 (en) 2010-02-19 2016-01-12 Qualcomm Incorporated Adaptive motion resolution for video coding
US9313526B2 (en) * 2010-02-19 2016-04-12 Skype Data compression for video
WO2011126272A2 (en) * 2010-04-05 2011-10-13 Samsung Electronics Co., Ltd. Method and apparatus for encoding video by using dynamic-range transformation, and method and apparatus for decoding video by using dynamic-range transformation
EP2590407A4 (en) 2010-06-04 2017-05-10 Nec Corporation Communication system, method, and device
US20120008686A1 (en) 2010-07-06 2012-01-12 Apple Inc. Motion compensation using vector quantized interpolation filters
JP5563403B2 (ja) 2010-08-12 2014-07-30 日本電信電話株式会社 映像符号化方法，映像復号方法，映像符号化装置，映像復号装置およびそれらのプログラム
RU2010135495A (ru) * 2010-08-24 2012-02-27 ЭлЭсАй Корпорейшн (US) Видеотранскодер с гибким управлением качеством и сложностью
US20120051431A1 (en) * 2010-08-25 2012-03-01 Qualcomm Incorporated Motion direction based adaptive motion vector resolution signaling for video coding
WO2012042893A1 (ja) * 2010-09-30 2012-04-05 パナソニック株式会社 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置、プログラムおよび集積回路
US10045046B2 (en) * 2010-12-10 2018-08-07 Qualcomm Incorporated Adaptive support for interpolating values of sub-pixels for video coding
JP2012126040A (ja) 2010-12-16 2012-07-05 Ricoh Co Ltd 画像形成装置
US9215473B2 (en) 2011-01-26 2015-12-15 Qualcomm Incorporated Sub-slices in video coding
US9001883B2 (en) * 2011-02-16 2015-04-07 Mediatek Inc Method and apparatus for slice common information sharing
TWI466550B (zh) * 2011-02-23 2014-12-21 Novatek Microelectronics Corp 多媒體裝置及其移動偵測方法
US9271005B2 (en) 2011-02-24 2016-02-23 Vixs Systems, Inc. Multi-pass video encoder and methods for use therewith
WO2012120863A1 (ja) 2011-03-08 2012-09-13 パナソニック株式会社 動画像符号化方法および動画像復号方法
US20120236115A1 (en) * 2011-03-14 2012-09-20 Qualcomm Incorporated Post-filtering in full resolution frame-compatible stereoscopic video coding
US8780996B2 (en) 2011-04-07 2014-07-15 Google, Inc. System and method for encoding and decoding video data
JP2012231301A (ja) 2011-04-26 2012-11-22 Sony Corp 係数学習装置および方法、画像処理装置および方法、プログラム、並びに記録媒体
EP2727359B1 (en) 2011-06-30 2019-08-07 Telefonaktiebolaget LM Ericsson (publ) A method as well as a decoder and encoder for processing a motion vector
US10536701B2 (en) 2011-07-01 2020-01-14 Qualcomm Incorporated Video coding using adaptive motion vector resolution
US9277228B2 (en) * 2011-07-18 2016-03-01 Qualcomm Incorporated Adaptation parameter sets for video coding
US9521418B2 (en) * 2011-07-22 2016-12-13 Qualcomm Incorporated Slice header three-dimensional video extension for slice header prediction
US9288505B2 (en) * 2011-08-11 2016-03-15 Qualcomm Incorporated Three-dimensional video with asymmetric spatial resolution
IN2014CN01784A (zh) * 2011-08-30 2015-05-29 Nokia Corp
CN102946534A (zh) 2011-09-02 2013-02-27 斯凯普公司 视频编码
RU2487489C2 (ru) 2011-10-18 2013-07-10 Федеральное государственное автономное образовательное учреждение высшего профессионального образования "Национальный исследовательский университет "МИЭТ" Способ поиска векторов перемещений в динамических изображениях
JP5364219B1 (ja) * 2011-12-16 2013-12-11 パナソニック株式会社 動画像符号化方法、および動画像符号化装置
US9451252B2 (en) * 2012-01-14 2016-09-20 Qualcomm Incorporated Coding parameter sets and NAL unit headers for video coding
US9538200B2 (en) * 2012-01-19 2017-01-03 Qualcomm Incorporated Signaling of deblocking filter parameters in video coding
US20130188719A1 (en) * 2012-01-20 2013-07-25 Qualcomm Incorporated Motion prediction in svc using motion vector for intra-coded block
US9215266B2 (en) 2012-01-26 2015-12-15 Zoom International S.R.O. System and method for zero-footprint screen capture
CA2807786C (en) * 2012-03-08 2016-06-21 Research In Motion Limited Motion vector sign bit hiding
US20130287109A1 (en) * 2012-04-29 2013-10-31 Qualcomm Incorporated Inter-layer prediction through texture segmentation for video coding
US20130294513A1 (en) * 2012-05-07 2013-11-07 Qualcomm Incorporated Inter layer merge list construction for video coding
CN102740073B (zh) 2012-05-30 2015-06-17 华为技术有限公司 一种编码方法及装置
US9253487B2 (en) * 2012-05-31 2016-02-02 Qualcomm Incorporated Reference index for enhancement layer in scalable video coding
US9584805B2 (en) * 2012-06-08 2017-02-28 Qualcomm Incorporated Prediction mode information downsampling in enhanced layer coding
US9258562B2 (en) * 2012-06-13 2016-02-09 Qualcomm Incorporated Derivation of depth map estimate
US9219913B2 (en) * 2012-06-13 2015-12-22 Qualcomm Incorporated Inferred base layer block for TEXTURE—BL mode in HEVC based single loop scalable video coding
US9338452B2 (en) 2012-07-09 2016-05-10 Qualcomm Incorporated Motion vector difference coding extension for enhancement layer
US9674519B2 (en) * 2012-11-09 2017-06-06 Qualcomm Incorporated MPEG frame compatible video coding
US9942560B2 (en) 2014-01-08 2018-04-10 Microsoft Technology Licensing, Llc Encoding screen capture data
US9774881B2 (en) 2014-01-08 2017-09-26 Microsoft Technology Licensing, Llc Representing motion vectors in an encoded bitstream
US9749642B2 (en) 2014-01-08 2017-08-29 Microsoft Technology Licensing, Llc Selection of motion vector precision

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003189312A (ja) * 2001-12-20 2003-07-04 Oki Electric Ind Co Ltd 動画像符号化装置及び動画像復号化装置
US7224731B2 (en) * 2002-06-28 2007-05-29 Microsoft Corporation Motion estimation/compensation for screen capture video
CN102227134A (zh) * 2002-06-28 2011-10-26 杜比实验室认证公司 改进的视频压缩帧插值
CN101185342A (zh) * 2005-04-29 2008-05-21 三星电子株式会社 支持快速精细可分级的视频编码方法和装置
CN101658044A (zh) * 2007-04-09 2010-02-24 诺基亚公司 以低编码器和解码器复杂度进行视频编码的高精度运动矢量
CN102224734A (zh) * 2008-10-02 2011-10-19 索尼公司 图像处理设备和方法
CN103202016A (zh) * 2010-10-13 2013-07-10 高通股份有限公司 用于视频译码的自适应运动向量分辨率信令
CN102946533A (zh) * 2011-09-02 2013-02-27 斯凯普公司 视频编码

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
H.264预测编码关键技术的研究分析;何书前;《海南师范学院学报(自然科学版)》;20060930(第03期);全文 *

Also Published As

Publication number Publication date
KR20220104075A (ko) 2022-07-25
US11546629B2 (en) 2023-01-03
EP3075156A2 (en) 2016-10-05
CN105900425A (zh) 2016-08-24
BR112016015618A8 (pt) 2020-06-02
JP2022017234A (ja) 2022-01-25
US20200169750A1 (en) 2020-05-28
CN105900425B (zh) 2019-10-01
CA2935425A1 (en) 2015-07-16
MX2016008974A (es) 2016-10-04
US20180109806A1 (en) 2018-04-19
EP4192014A1 (en) 2023-06-07
BR112016015618A2 (zh) 2017-08-08
WO2015105816A3 (en) 2016-04-28
AU2015204953A1 (en) 2016-07-21
RU2679979C1 (ru) 2019-02-14
CA2935425C (en) 2021-11-23
JP6588441B2 (ja) 2019-10-09
KR102523311B1 (ko) 2023-04-18
CN110460861A (zh) 2019-11-15
JP2020022170A (ja) 2020-02-06
KR102306845B1 (ko) 2021-09-30
US9774881B2 (en) 2017-09-26
US10587891B2 (en) 2020-03-10
US20150195527A1 (en) 2015-07-09
US20230086944A1 (en) 2023-03-23
JP2017508349A (ja) 2017-03-23
KR20210118986A (ko) 2021-10-01
MX361790B (es) 2018-12-17
AU2015204953B2 (en) 2018-11-01
KR20160106127A (ko) 2016-09-09
KR102427065B1 (ko) 2022-07-28
WO2015105816A2 (en) 2015-07-16

Similar Documents

Publication Publication Date Title
CN110460861B (zh) 表示经编码的比特流中的运动向量
US11425397B2 (en) On block level bi-prediction with weighted averaging
JP6576351B2 (ja) 画面キャプチャデータの符号化
JP2017511620A (ja) オーバーラップエリア内の再構成されたサンプル値のブロックベクトル予測及び推定におけるイノベーション
KR20160106703A (ko) 움직임 벡터 정밀도의 선택
JP2022511873A (ja) ビデオピクチャの復号および符号化の方法ならびに装置
EP4268460A1 (en) Temporal filter

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant