CN104995918B - 用于将帧的格式转换成色度子采样格式的方法 - Google Patents

用于将帧的格式转换成色度子采样格式的方法 Download PDF

Info

Publication number
CN104995918B
CN104995918B CN201480008516.9A CN201480008516A CN104995918B CN 104995918 B CN104995918 B CN 104995918B CN 201480008516 A CN201480008516 A CN 201480008516A CN 104995918 B CN104995918 B CN 104995918B
Authority
CN
China
Prior art keywords
frame
yuv
coefficient
plane
format
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480008516.9A
Other languages
English (en)
Other versions
CN104995918A (zh
Inventor
L·朱
S·桑库拉提
B·A·库马
N·阿布多
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN104995918A publication Critical patent/CN104995918A/zh
Application granted granted Critical
Publication of CN104995918B publication Critical patent/CN104995918B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/88—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving rearrangement of data among different coding units, e.g. shuffling, interleaving, scrambling or permutation of pixel data or permutation of transform coefficient data among different blocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

用于将第一格式帧(402)转换为一个或多个第二格式帧(404)的方法。在一个实施例中，该方法包括访问使用n个系数的第一格式帧的步骤，其中n是供第一格式帧的Y平面(408)、U平面(410)和V平面(416)使用的系数的总数。该方法还包括将第一格式帧的系数映射成一个或多个第二格式帧的系数的步骤。该一个或多个第二格式帧跨全部第二格式帧具有与第一格式帧的n个系数相匹配的n个系数。

Description

用于将帧的格式转换成色度子采样格式的方法
技术领域
本申请涉及视频格式转换，更具体而言，涉及将一种格式帧转换为一个或多个另一格式帧的技术。
背景技术
计算机和计算系统已经影响了现代生活的近乎每一个方面。计算机通常涉及工作、休闲、医疗保健、运输、娱乐、家政管理等。计算机系统通常能向用户输出视频图像。
尤其消费级计算机产品中的许多目前可用的视频编码器和解码器优选地支持YUV4:2:0色度子采样格式。然而，视频通常处于YUV 4:4:4格式。因此，视频帧从YUV 4:4:4格式转换成4:2:0格式。4:2:0格式可以提供对没有平凡纹理的正常自然视频的令人满意的用户体验，因为大多数人都不会注意到可能存在的视觉伪像。然而，对于屏幕和动画内容，4:2:0子采样格式导致非常明显的伪像(尤其在本文中)。
此处要求保护的主题不限于解决任何缺点或仅在诸如上述环境这样的环境中操作的各实施例。相反，提供该背景仅用于解说其中可实现所述一些实施例的一个示例性技术领域。
发明内容
此处解说的一个实施例包括可在计算环境中实施的方法。该方法包括用于将YUV4:4:4帧转换成一个或多个YUV 4:2:0帧的动作。该方法包括访问使用n个系数的YUV 4:4:4帧，其中n是供YUV 4:4:4帧的Y、U和V平面使用的系数的总数。该方法还包括将YUV 4:4:4帧的系数映射到一个或多个YUV 4:2:0帧的系数。该一个或多个YUV 4:2:0帧跨全部YUV 4:2:0帧具有与YUV 4:4:4帧的n个系数相匹配的n个系数。
提供本概述是为了以精简的形式介绍将在以下详细描述中进一步描述的一些概念。该概述不意图标识所要求保护的主题的关键特征或基本特征，也不意图被用来帮助确定所要求保护的主题的范围。
附加特征和优点将在以下描述中提出，且部分会从描述中显而易见，或者可以通过实践此处的原理来获悉。本发明的特征和优点可以通过在所附权利要求书中特别指出的工具和组合来实现和获得。本发明的特征从以下描述和所附权利要求书中将更完全显而易见，或者可以通过如下文所述实践本发明而获悉。
附图说明
为了描述可获得以上记载的及其他优点和特征的方式，将参照各具体实施例呈现以上简述的主题的更具体描述，各具体实施例在附图中解说。理解这些附图仅描述典型的实施例，因此不应被视为限制本发明的范围，各实施例将通过使用附图以附加的具体性和细节来描述和解释，附图中：
图1解说了用于将YUV 4:4:4帧转换成YUV 4:2:0帧的空间增强方法的工作流；
图2解说了用于将YUV 4:4:4帧转换成YUV 4:2:0帧的时间交织方法的工作流；
图3示出用于将YUV 4:4:4帧转换成YUV 4:2:0帧的信道复用器方法的工作流；
图4解说了关于空间增强方法的附加细节；
图5解说了关于空间增强方法的附加细节；
图6解说了关于时间交织方法的附加细节；
图7解说了关于时间交织方法的附加细节；
图7A解说了关于时间交织方法的附加细节；
图7B解说了关于时间交织方法的附加细节；
图8解说了关于复用器方法的附加细节；
图9解说了关于复用器方法的附加细节；
图9A解说了关于复用器方法的附加细节；
图9B解说了关于复用器方法的附加细节；
图10解说了用于将YUV 4:4:4帧转换成一个或多个YUV 4:2:0帧的方法。
具体实施方式
以下解说了用于按以下方式将YUV 4:4:4转换成YUV 4:2:0的三种帧转换方法：该方式不仅解决了令人烦恼的伪像，而且被执行以使经转换的帧具有高时间和纹理相关性，高时间和纹理相关性可带来给出更好的压缩结果的好处。由于高时间和纹理相关性，这些方法是运动估计和过滤友好的，以使编解码复杂度可被降低且编解码效率可得以改善。而且，这些方法(特别是第一和第二种方法)可与许多基于现有标准的编解码器联用，诸如与MPEG-2、MPEG-4第2部分、MPEG AVC/H.264、VC1、HEVC等联用。
在YUV 4:4:4布局中，每个平面(即，Y、U和V)对于帧中的每个像素具有一个系数。将YUV 4:4:4帧转换为YUV 4:2:0帧得到一半数量的系数。例如，YUV 4:4:4格式的10像素乘10像素的帧将有300个系数，其中Y平面100个系数、U平面100个系数、V平面100个系数。在传统的方法中，将该帧转换为YUV 4:2:0帧由于UV平面中的下采样而得到具有150个系数的帧，也就是在Y平面中有100个系数，在U平面中有25个系数，并且在V平面中有25个系数。特别是，尽管YUV 4:4:4帧对于每个平面具有相等数量的系数，但是YUV 4:2:0帧在Y平面中具有其系数的100％，在U平面中具有其系数的25％，在Z平面中具有其系数的25％。这在帧从YUV4:4:4被转换成YUV 4:2:0时可以导致信息丢失。因此，一些实施例可以通过在将YUV 4:4:4帧转换成YUV 4:2:0帧之前使YUV 4:4:4帧的系数数量实质上翻倍来克服此信息丢失。或者，YUV 4:4:4的系数可以被映射到一个或多个YUV 4:2:0帧，其中(诸)YUV 4:2:0帧(作为总和)与YUV 4:4:4帧具有相同数量的系数。
例如，一些实施例中，具有n个系数的YUV 4:4:4帧可以被映射成具有n个系数的空间上等价的YUV 4:2:0帧。作为替换，具有n个系数的YUV4:4:4帧可以在时间上被映射成两个具有n/2个系数的YUV 4:2:0帧(或四个具有n/4个系数的YUV 4:2:0帧等等)。在又一示例中，具有n个系数的YUV 4:4:4帧可以被复用成两个具有n/2个系数的YUV 4:2:0帧(或四个具有n/4个系数的YUV 4:2:0帧等等)。
图1、2和3解说了可用于三种不同的转换方法的工作流。
图1解说了用于空间增强方法的工作流102。用于空间帧增强模块104的输入是YUV4:4:4帧。空间帧增强模块104会生成具有原始YUV 4:4:4帧的双倍高度的YUV 4:2:0帧。所生成的帧可以被直接输入至视频编码器106。
视频编码器106可以以各种不同的形式来实现。例如，在一些实施例中，视频编码器106可以是包括在电子设备中的硬件视频编码器，该电子设备为诸如手持式或其他消费电子设备。在一些实施例中，视频编码器106可以是针对YUV 4:2:0视频编码进行了优化(或有其他优化的编码格式)而不具有经优化的针对YUV 4:4:4视频编码的功能(或有其他非优化编码格式)的基于硬件的视频编码器，从而在处理硬件未针对其优化的格式时比在处理硬件针对其优化的格式时导致更多失真。或者，视频编码器106可以通过执行被配置成执行视频编码的软件模块来实现的软件视频编码器。视频编码器106将生成比特流作为到传输信道108的输入。
传输信道108可以以各种形式来实现。例如，在一些实施例中，传输信道可以包括存储。例如，传输信道可以包括数据库、平面文件存储、磁盘存储、存储器存储器等中的一个或多个。替换地或另选地，传输信道可以包括一个或多个网络信道，诸如有线或无线以太网信道、设备互连总线信道、等等。
解码器站点110将从传输信道108中检索比特流以便对YUV 4:2:0帧进行解码。通过使用空间增强的逆向过程，已解码的YUV 4:2:0帧可由帧解耦模块112重新组织为YUV 4:4:4帧，以使它可以被显示在显示器114上。
如图4所示，空间增强方法使用YUV 4:2:0容器帧404，该YUV 4:2:0容器帧404具有为原始YUV 4:4:4帧402的两倍的高度分辨率。YUV 4:2:0帧404的Y信道406(或平面)由来自原始YUV 4:4:4帧402的Y信道408和U信道410的系数组成。YUV 4:2:0帧404的Y信道406的上半平面可以是YUV 4:4:4帧402的Y平面408，YUV 4:2:0帧404的Y信道406的下半平面可以是YUV 4:4:4帧的U平面410的系数。YUV 4:2:0帧404的U信道412和V信道414从来自YUV 4:4:4帧402的V信道416生成。为了保证所生成的Y、U和V信道间的时间相关性，图5示出如何将YUV4:4:4帧402重新组织为YUV 4:2:0帧404。图5中的箭头示出所生成的Y、U和V信道间的相关性。以下解说该相关性：
Y0420(x,y)＝Y444(x,y)，其中Y0420是YUV 4:2:0的Y信道的上半平面，且Y444是YUV 4:4:4的整个Y平面。
Y1420(x,y)＝U444(x,y)，其中Y1420是YUV 4:2:0的Y信道的下半平面，且U444是YUV 4:4:4的整个U平面。
U0420(x,y)＝V444(2*t,2*s)，其中U0420是YUV 4:2:0的U信道的上半平面，且V444是YUV 4:4:4的V平面的一部分(parth)。
t∈(0，m/2-1)s∈(0，n/2-1)
V0420(x,y)＝V444(2*t,2*s+1)，其中V0420是YUV 4:2:0的V信道的上半平面，且V444是YUV 4:4:4的V平面的一部分。
t∈(0，m/2-1)s∈(0，n/2-1)
U1420(x,y)＝V444(2*t+1,2*s)，其中U1420是YUV 4:2:0的U信道的下半平面，且V444是YUV 4:4:4的V平面的一部分。
t∈(0，m/2-1)s∈(0，n/2-1)
V1420(x,y)＝V444(2*t+1,2*s+1)，其中V1420是YUV 4:2:0的V信道的下半平面，且V444是YUV 4:4:4的V平面的一部分。
t∈(0，m/2-1)s∈(0，n/2-1)
图2示出时间交织方法的工作流202。该时间交织模块接受YUV 4:4:4帧602(见图6)。时间交织模块将生成两个YUV 4:2:0帧，一个具有奇字段205a、一个具有偶字段205b，这两个YUV 4:2:0帧604a和604b的每一个均与原始YUV 4:4:4帧602具有相同的分辨率。所生成的帧604a和604b可以被依序直接馈入视频编码器206(或取决于编码器设计并行馈入视频编码器206)。视频编码器206将生成比特流作为到传输信道208的输入，传输信道208可以是例如在先示例中解说的存储或网络。解码器站点将从传输信道208检索比特流以便对这两个YUV 4:2:0帧604a和604b进行解码。经解码的YUV 4:2:0帧可以在帧交织器模块212处被交织成YUV 4:4:4帧。
如图6所示，时间交织方法使用两个YUV 4:2:0容器帧604a和604b，这两个YUV 4:2:0容器帧604a和604b具有与原始YUV 4:4:4帧602相同的分辨率。第一YUV 4:2:0帧604a的Y信道606a由来自原始YUV 4:4:4帧602偶字段的Y信道608和U信道610组成。第一YUV 4:2:0帧604a的Y信道606a的上半平面可以是YUV 4:4:4帧602偶字段的Y平面608，第一YUV 4:2:0帧604a的Y信道606a的下半平面可以是YUV 4:4:4帧602偶字段的U平面610。第一YUV 4:2:0帧604a的U信道612a和V信道614a从来自YUV 4:4:4帧602偶字段的V信道616生成。相同策略应用于第二YUV 4:2:0帧604b，该第二YUV 4:2:0帧604b由原始YUV 4:4:4帧602的奇字段组成。为了保证所生成的Y、U和V信道间的时间相关性，图7示出如何将YUV 4:4:4帧602重新组织为两个YUV 4:2:0帧604a和604b。图7中的箭头示出所生成的Y、U和V信道间的相关性。
以下解说这些帧如何排列：
Ye0420(x,y)＝Y444(2*t,s)，其中Ye0420是第一YUV 4:2:0的Y信道的上半平面，且Y444是YUV 4:4:4的整个Y平面。
t∈(0，m/2-1)s∈(0，n-1)
Ye1420(x,y)＝U444(2*t,s)，其中Ye1420是第一YUV 4:2:0的Y信道的下半平面，且U444是YUV 4:4:4的整个U平面。
t∈(0，m/2-1)s∈(0，n-1)
Ue0420(x,y)＝V444(4*t,2*s)，其中Ue0420是第一YUV 4:2:0的U信道的上半平面，且V444是YUV 4:4:4的V平面的一部分。
t∈(0，m/4-1)s∈(0，n/2-1)
Ve0420(x,y)＝V444(4*t,2*s+1)，其中Ve0420是第一YUV 4:2:0的V信道的上半平面，且V444是YUV 4:4:4的V平面的一部分。
t∈(0，m/4-1)s∈(0，n/2-1)
Ue1420(x，y)＝V444(4*t+2，2*s)，其中Ue1420是第一YUV 4：2：0的U信道的下半平面，且V444是YUV 4：4：4的V平面的一部分。
t∈(0，m/4-1)s∈(0，n/2-1)
Ve1420(x，y)＝V444(4*t+2，2*s+1)，其中Ve1420是第一YUV 4：2：0的V信道的下半平面，且V444是YUV 4：4：4的V平面的一部分。
t∈(0，m/4-1)s∈(0，n/2-1)
Yo0420(x，y)＝Y444(2*t+1，s)，其中Yo0420是第二YUV 4：2：0的Y信道的上半平面，且Y444是YUV 4：4：4的整个Y平面。
t∈(0，m/2-1)s∈(0，n-1)
Yo1420(x，y)＝U444(2*t+1，s)，其中Yo1420是第二YUV 4：2：0的Y信道的下半平面，且U444是YUV 4：4：4的整个U平面。
t∈(0，m/2-1)s∈(0，n-1)
Uo0420(x，y)＝V444(4*t+1，2*s)，其中Uo0420是第二YUV 4：2：0的U信道的上半平面，且V444是YUV 4：4：4的V平面的一部分。
t∈(0，m/4-1)s∈(0，n/2-1)
Vo0420(x，y)＝V444(4*t+1，2*s+1)，其中Vo0420是第二YUV 4：2：0的V信道的上半平面，且V444是YUV 4：4：4的V平面的一部分。
t∈(0，m/4-1)s∈(0，n/2-1)
Uo1420(x，y)＝V444(4*t+3，2*s)，其中Uo1420是第二YUV 4：2：0的U信道的下半平面，且V444是YUV 4：4：4的V平面的一部分。
t∈(0，m/4-1)s∈(0，n/2-1)
Vo1420(x，y)＝V444(4*t+3，2*s+1)，其中Vo1420是第二YUV 4：2：0的V信道的下半平面，且V444是YUV 4：4：4的V平面的一部分。
t∈(0，m/4-1)s∈(0，n/2-1)
图3示出信道复用器方法的工作流302。该信道复用器模块302接受YUV 4：4：4帧802(见图8)。信道复用器模块302将生成与原始YUV 4：4：4帧802具有相同分辨率的两个YUV4：2：0帧804a和804b。所生成的帧表示YU信道305a和UV信道305b(如下解说)并且可以依序被直接馈入视频编码器306(或取决于编码器设计被并行馈入视频编码器306)。视频编码器306将生成比特流作为到传输信道308的输入，传输信道308如上所述可以是存储或网络。解码器站点将从传输信道308中检索比特流以便在解码器模块310a和310b处对这两个YUV 4:2:0帧进行解码。经解码的YUV 4:2:0帧可以在信道分解模块312处被分解为YUV 4:4:4帧并且被显示在显示器314处。
如图8所示，信道复用器方法使用两个YUV 4:2:0容器帧804a和804b，这两个YUV4:2:0容器帧804a和804b具有与原始YUV 4:4:4帧相同的分辨率。第一YUV 4:2:0帧804a的Y信道806a由原始YUV 4:4:4帧802的Y信道808组成。第一YUV 4:2:0帧804a的U信道812a和V信道814a分别从YUV 4:4:4帧802的V信道816生成。第二YUV 4:2:0帧804b的Y信道806b由原始YUV 4:4:4帧802的U信道810组成。第二YUV 4:2:0帧804b的U信道812b和V信道814b分别从YUV 4:4:4帧802的V信道816生成。为了保证所生成的Y、U和V信道间的时间相关性，图9示出如何将YUV 4:4:4帧重新组织为YUV 4:2:0帧。图9中的箭头示出所生成的Y、U和V信道间的相关性。以下定义可用于执行系数的相关：
Y0420(x,y)＝Y444(x,y)，其中Y0420是第一YUV 4:2:0的Y信道，且Y444是YUV 4:4:4的整个Y平面。
U0420(x,y)＝V444(2*t,2*s)，其中U0420是第一YUV 4:2:0的U信道，且V444是YUV4:4:4的V平面的一部分。
t∈(0，m/2-1)s∈(0，n/2-1)
V0420(x,y)＝V444(2*t,2*s+1)，其中V0420是第一YUV 4:2:0的V信道，且V444是YUV 4:4:4的V平面的一部分。
t∈(0，m/2-1)s∈(0，n/2-1)
Y1420(x,y)＝U444(x,y)，其中Y1420是第二YUV 4:2:0的Y信道，且U444是YUV 4:4:4的整个U平面。
U1420(x,y)＝V444(2*t+1,2*s)，其中U1420是第二YUV 4:2:0的U信道，且V444是YUV 4:4:4的V平面的一部分。
t∈(0，m/2-1)s∈(0，n/2-1)
V1420(x,y)＝V444(2*t+1,2*s+1)，其中V1420是第二YUV 4:2:0的V信道，且V444是YUV 4:4:4的V平面的一部分。
t∈(0，m/2-1)s∈(0，n/2-1)
以下讨论现在是指可执行的多种方法和方法动作。尽管这些方法动作可以以特定次序被讨论或在流程图中图示为以特定次序发生，但是除非特别指明否则不需要任何特定排序，也没有特定排序是必须的，因为一个动作取决于在该动作被执行之前完成的另一个动作。
现在参考图10，图示方法1000。方法1000可以在计算环境中实现。方法1000包括用于将第一格式帧(特别图示为YUV 4:4:4帧，但可以被实现为任何适当格式帧)转换成一个或多个第二格式帧(图示为YUV 4:2:0帧，但可以被实现为任何适当格式帧)的动作。方法1000包括访问使用n个系数的YUV 4:4:4帧(动作1002)。n是供YUV 4:4:4帧的Y、U和V平面使用的系数的总数。
方法1000还包括将YUV 4:4:4帧的系数映射到一个或多个YUV 4:2:0帧的系数。该一个或多个YUV 4:2:0帧跨全部YUV 4:2:0帧具有与YUV 4:4:4帧的n个系数相匹配的n个系数(动作1004)。
在映射是基于空间等效性基础在YUV 4:4:4帧和一个或多个YUV 4:2:0帧之间执行的情况下，可执行方法1000。例如，如以上在图1、4和5所示的第一算法中所解说的，一个或多个YUV 4:2:0帧包括单个YUV 4:2:0帧，该单个YUV 4:2:0帧具有与YUV 4:4:4帧的系数空间上相关的n个系数。图5解说在一个这样的示例中，YUV 4:4:4帧的Y平面的系数被映射为YUV4:2:0帧的Y平面的系数，YUV 4:4:4帧的U平面的系数被映射为YUV 4:2:0帧的Y平面的系数，且YUV 4:4:4帧的V平面的系数被映射为YUV 4:2:0帧的U和V平面的系数。
在映射是基于时间等效性基础在YUV 4:4:4帧和一个或多个YUV 4:2:0帧之间执行的情况下，可执行方法1000。以上解说了时间等效性的两个示例。第一示例由图2、6和7的交织方法所示的第二算法示出，第二示例由图3、8和9的复用器方法所示的第三算法示出。
因此，这种时间等效性可以在以下情况下实现：一个或多个YUV 4:2:0帧包括m个YUV 4:2:0帧且每个帧具有n/m个系数以及包括一个或多个YUV4:2:0帧中的全部系数的系数集与YUV 4:4:4帧的系数集在时间上相关。
方法1000可以在一个或多个YUV 4:2:0帧包括两个YUV 4:2:0帧且每个帧具有n/2个系数的情况下实现。YUV 4:4:4帧的Y平面系数的第一部分被映射成第一YUV 4:2:0帧的Y平面系数，YUV 4:4:4帧的Y平面系数的第二部分被映射成第二YUV 4:2:0帧的Y平面系数。YUV 4:4:4帧的U平面系数的第一部分被映射成第一YUV 4:2:0帧的Y平面系数，YUV 4:4:4帧的U平面系数的第二部分被映射成第二YUV 4:2:0帧的Y平面系数。YUV 4:4:4帧的V平面系数的第一部分被映射成第一YUV 4:2:0帧的V平面系数，YUV4:4:4帧的V平面系数的第二部分被映射成第二YUV 4:2:0帧的V平面系数。该情况的示例在图6和7中解说。
方法1000可以在一个或多个YUV 4:2:0帧包括两个YUV 4:2:0帧且每个帧具有n/2个系数的情况下实现。YUV 4:4:4帧的Y平面系数被映射成第一YUV 4:2:0帧的Y平面系数。YUV 4:4:4帧的U平面系数被映射成第二YUV 4:2:0帧的Y平面。YUV 4:4:4帧的V平面系数的第一部分被映射成第一YUV 4:2:0帧的U和V平面，YUV 4:4:4帧的V平面系数的第二部分被映射成第二YUV 4:2:0帧的U和V平面。该情况的示例在图8和9中解说。
方法1000还可以包括将一个或多个YUV 4:2:0帧的系数映射成输出YUV 4:4:4帧的系数并且显示该输出帧。例如，如图1、2和3所示，帧可以是YUV 4:4:4帧并且被显示在显示器114、214或314上。
尽管以上示例被图示为从YUV 4:4:4转换为YUV 4:2:0，但应当理解可以实现其他转换。例如，各实施例可用于将YUV 4:4:4转换为YUV 4:1:1、YUV 4:2:2或其他格式。
而且，各方法可由计算机系统实现，计算机系统包括一个或多个处理器以及诸如计算机存储器这样的计算机可读介质。特别是，计算机存储器可以存储计算机可执行指令，该计算机可执行指令在由一个或多个处理器执行时使各种功能得以被执行，诸如各实施例中记载的动作。
本发明的各实施例可以包括或使用包括计算机硬件的专用或通用计算机，如以下更详细讨论的。本发明范围内的各实施例也包括用于实现或存储计算机可执行指令和/或数据结构的实体及其他计算机可读介质。这种计算机可读介质可以使可由通用或专用计算机系统接入的任何可用介质。存储计算机可执行指令的计算机可读介质是物理存储介质。实现计算机可执行指令的计算机可读介质是传输介质。因此，作为示例但非限制，本发明的实施例可以包括至少两种完全不同种类的计算机可读介质：物理计算机可读存储介质和传输计算机可读介质。
物理计算机可读存储介质包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储器(诸如CD、DVD等)、磁盘存储器或其他磁性存储设备、或者可用于存储计算机执行指令或数据结构形式的期望程序代码装置并且可被通用或专用计算机访问的任何其他介质。
“网络”被定义为允许在计算机系统和/或模块和/或其他电子设备间传输电子数据的一个或多个数据链路。当信息通过网络或另一通信连接(或硬连线、无线或者硬连线或无线的组合)被传输或提供至计算机时，计算机将该连接正确地视为传输介质。传输介质可以包括可用于携带计算机可执行指令或数据结构形式的期望程序代码装置并可被通用或专用计算机访问的网络和/或数据链路。以上的组合也被包括在计算机可读介质的范围内。
而且，在到达各个计算机系统组件之际，计算机可执行指令或数据结构形式的程序代码装置可被自动地从传输计算机可读介质传输至物理计算机可读存储介质(或反之亦然)。例如，通过网络或数据链路接收到的计算机可执行指令或数据结构可被缓存在网络接口模块(例如，“NIC”)内的RAM中，并且然后最终被传输至计算机系统RAM和/或计算机系统处的较不易失性的计算机可读物理存储介质。因此，计算机可读物理存储介质可以被包括在同样(或甚至主要)利用传输介质的计算机系统组件中。
计算机可执行指令包括例如使通用计算机、专用计算机或专用处理设备执行某一功能或一组功能的指令和数据。计算机可执行指令可以是例如二进制代码、诸如汇编语言这样的中间格式指令、或甚至是源代码。尽管已经用对于结构特征和/或方法动作特定的语言描述了主题，但是应当理解，在所附权利要求书中定义的主题不必要限于上述的特征或上述动作。相反，所述特征和动作被公开作为实现权利要求的示例形式。
本领域的技术人员将领会，本发明可以在具有许多类型的计算机系统配置的网络计算环境中实现，包括个人计算机、台式计算机、膝上型计算机、消息处理器、手持式设备、多处理器系统、基于微处理器的或可编程消费电子设备、网络PC、小型计算机、大型计算机、移动电话、PDA、寻呼机、路由器、交换机等等。本发明也可以在分布式系统环境中实现，在分布式系统环境中，通过网络链接(通过硬连线数据链路、或通过无线数据链路、或通过硬连线和无线数据链路的组合)的本地和远程计算机系统两者均执行任务。在分布式系统环境中，程序模块可位于本地和远程存储器存储设备两者中。
替换地或另选地，此处描述的功能可以至少部分由一个或多个硬件逻辑组件来执行。例如、但非限制，可使用的硬件逻辑组件的说明性类型包括现场可编程门阵列(FPGA)、程序专用的集成电路(ASIC)、程序专用的标准产品(ASSP)、片上系统系统(SOC)、复杂可编程逻辑器件(CPLD)、等等。
本发明可以以其他具体形式来体现，而不背离其精神或特征。所述实施例要被视为在全部方面仅仅为说明性的且非限制性的。因此，本发明的范围由所附权利要求书指示，而非由以上描述指示。在权利要求书的等价物的含义和范围内的所有变化应被包含在其范围内。

Claims (5)

1.一种在计算环境中用于将第一格式帧转换为一个第二格式帧的方法，所述方法包括：
访问使用n个系数的第一格式帧，其中n是供所述第一格式帧的Y平面、U平面和V平面使用的系数的总数；以及
将所述第一格式帧的系数映射成一个第二格式帧的系数，其中所述第一格式帧的Y平面的系数被映射成所述第二格式帧的Y平面的系数，所述第一格式帧的U平面的系数被映射成所述第二格式帧的Y平面的系数，且所述第一格式帧的V平面的系数被映射成所述第二格式帧的U和V平面的系数，其中所述第二格式帧跨全部第二格式帧具有与所述第一格式帧的n个系数相匹配的n个系数。
2.如权利要求1所述的方法，其特征在于，所述映射是基于空间等效性基础在所述第一格式帧以及所述一个第二格式帧之间执行的。
3.如权利要求1所述的方法，还包括将所述一个第二格式帧的系数映射成输出第一格式帧的系数并且显示所述输出帧。
4.如权利要求1所述的方法，其特征在于，所述第一格式帧是YUV 4:4:4帧，且所述第二格式帧是YUV 4:2:0帧。
5.一种具有指令的计算机可读存储介质，当所述指令被执行时使得机器执行如权利要求1-4中任一权利要求所述的方法。
CN201480008516.9A 2013-01-08 2014-01-07 用于将帧的格式转换成色度子采样格式的方法 Active CN104995918B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/736,688 US8817179B2 (en) 2013-01-08 2013-01-08 Chroma frame conversion for the video codec
US13/736,688 2013-01-08
PCT/US2014/010394 WO2014109998A1 (en) 2013-01-08 2014-01-07 Method for converting the format of a frame into a chroma subsampling format

Publications (2)

Publication Number Publication Date
CN104995918A CN104995918A (zh) 2015-10-21
CN104995918B true CN104995918B (zh) 2019-05-17

Family

ID=50029250

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480008516.9A Active CN104995918B (zh) 2013-01-08 2014-01-07 用于将帧的格式转换成色度子采样格式的方法

Country Status (5)

Country Link
US (1) US8817179B2 (zh)
EP (1) EP2944088B1 (zh)
CN (1) CN104995918B (zh)
BR (1) BR112015016316B1 (zh)
WO (1) WO2014109998A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9979960B2 (en) 2012-10-01 2018-05-22 Microsoft Technology Licensing, Llc Frame packing and unpacking between frames of chroma sampling formats with different chroma resolutions
US9661340B2 (en) 2012-10-22 2017-05-23 Microsoft Technology Licensing, Llc Band separation filtering / inverse filtering for frame packing / unpacking higher resolution chroma sampling formats
USRE48920E1 (en) * 2014-02-21 2022-02-01 Lattice Semiconductor Corporation Adaptive processing of video streams with reduced color resolution
US9749646B2 (en) 2015-01-16 2017-08-29 Microsoft Technology Licensing, Llc Encoding/decoding of high chroma resolution details
US9854201B2 (en) 2015-01-16 2017-12-26 Microsoft Technology Licensing, Llc Dynamically updating quality to higher chroma sampling rate
US10575007B2 (en) 2016-04-12 2020-02-25 Microsoft Technology Licensing, Llc Efficient decoding and rendering of blocks in a graphics pipeline
US20170300312A1 (en) 2016-04-13 2017-10-19 Microsoft Technology Licensing, Llc Progressive updates with motion
WO2017211306A1 (zh) * 2016-06-08 2017-12-14 同济大学 视频数据压缩码流的解码、视频数据的编码方法及装置
US10157480B2 (en) 2016-06-24 2018-12-18 Microsoft Technology Licensing, Llc Efficient decoding and rendering of inter-coded blocks in a graphics pipeline
US11197010B2 (en) 2016-10-07 2021-12-07 Microsoft Technology Licensing, Llc Browser-based video decoder using multiple CPU threads
US10368080B2 (en) 2016-10-21 2019-07-30 Microsoft Technology Licensing, Llc Selective upsampling or refresh of chroma sample values
CN107948652B (zh) * 2017-11-21 2021-04-13 海信视像科技股份有限公司 一种进行图像转换的方法和设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1542476A2 (en) * 2003-12-10 2005-06-15 Microsoft Corporation Color space coding framework
CN101617539A (zh) * 2007-02-21 2009-12-30 微软公司 基于变换的数字媒体编解码器中的计算复杂度和精度控制
CN101742317A (zh) * 2009-12-31 2010-06-16 北京中科大洋科技发展股份有限公司 一种带阿尔法透明通道的视频压缩编码方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5692063A (en) 1996-01-19 1997-11-25 Microsoft Corporation Method and system for unrestricted motion estimation for video
US6529244B1 (en) 1999-12-22 2003-03-04 International Business Machines Corporation Digital video decode system with OSD processor for converting graphics data in 4:4:4 format to 4:2:2 format by mathematically combining chrominance values
US6859235B2 (en) 2001-05-14 2005-02-22 Webtv Networks Inc. Adaptively deinterlacing video on a per pixel basis
US7136417B2 (en) 2002-07-15 2006-11-14 Scientific-Atlanta, Inc. Chroma conversion optimization
US7474355B2 (en) 2003-08-06 2009-01-06 Zoran Corporation Chroma upsampling method and apparatus therefor
ATE490519T1 (de) * 2007-07-05 2010-12-15 Siemens Industry Inc Anordnung und verfahren zur verarbeitung von bilddaten
US8625666B2 (en) 2010-07-07 2014-01-07 Netzyn, Inc. 4:4:4 color space video with 4:2:0 color space video encoders and decoders systems and methods

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1542476A2 (en) * 2003-12-10 2005-06-15 Microsoft Corporation Color space coding framework
CN101617539A (zh) * 2007-02-21 2009-12-30 微软公司 基于变换的数字媒体编解码器中的计算复杂度和精度控制
CN101742317A (zh) * 2009-12-31 2010-06-16 北京中科大洋科技发展股份有限公司 一种带阿尔法透明通道的视频压缩编码方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Frame packing arrangement SEI for 4:4:4 content in 4:2:0 bitstreams;Yongjun Wu et al;《Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11－JCTVC-K0240》;20121019;1-7

Also Published As

Publication number Publication date
CN104995918A (zh) 2015-10-21
EP2944088B1 (en) 2017-03-15
EP2944088A1 (en) 2015-11-18
US20140192261A1 (en) 2014-07-10
US8817179B2 (en) 2014-08-26
BR112015016316B1 (pt) 2023-04-11
BR112015016316A2 (pt) 2017-07-11
WO2014109998A1 (en) 2014-07-17
BR112015016316A8 (pt) 2017-11-07

Similar Documents

Publication Publication Date Title
CN104995918B (zh) 用于将帧的格式转换成色度子采样格式的方法
CN105379279B (zh) 屏幕映射以及用于屏幕内容编码的基于标准的渐进式编解码器
CN104982036B (zh) 用于帧包装和帧解包的方法及计算设备
CN101516031B (zh) 图像处理装置和图像处理方法
US10116965B2 (en) Three-dimensional video encoding method, three-dimensional video decoding method, and related apparatus
CN105052141B (zh) 用于可伸缩视频编码空间模式的带宽节省架构
US10097833B2 (en) Method and system of entropy coding using look-up table based probability updating for video coding
JP2015505189A5 (zh)
CN104284187B (zh) 在压缩视频数据中包括缩略图的方法、设备、系统及存储介质
CN109923864B (zh) 数据处理设备、方法、计算机程序和计算机可读介质
CN102067605B (zh) 用集成的时间滤波器降噪的视频编码器
JP2014534746A (ja) クロスチャネル残差予測
US11395010B2 (en) Massive picture processing method converting decimal element in matrices into binary element
WO2018129924A1 (zh) 图像处理方法和电子设备
CN105144726B (zh) 指示媒体内容的样本的标称范围的定制数据
CN103607581A (zh) 基于三维图像视频监控图像显示方法
US20150124875A1 (en) Cross-layer cross-channel residual prediction
CN110324668A (zh) 图像块编码中的变换方法、解码中的反变换方法及装置
CN109274972A (zh) 包括置信度水平和混合内容信息的补充增强信息
US10904579B2 (en) Method and apparatus for annealing iterative geometry smoothing
CN105874800A (zh) 在相同帧中处理多个图像区域或处理多个帧的多个句法解析电路的句法解析装置和相关句法解析方法
US20150288979A1 (en) Video frame reconstruction
US20140192877A1 (en) Cross-layer cross-channel sample prediction
US20160021369A1 (en) Video coding including a stage-interdependent multi-stage butterfly integer transform
CN105359508A (zh) 视频多级时空分辨率的增加

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20171016

Address after: Washington State

Applicant after: Micro soft technique license Co., Ltd

Address before: Washington State

Applicant before: Microsoft Corp.

GR01 Patent grant
GR01 Patent grant