CN106031168A - 具有减少色彩分辨率的视频流的自适应处理 - Google Patents

具有减少色彩分辨率的视频流的自适应处理 Download PDF

Info

Publication number
CN106031168A
CN106031168A CN201580009702.9A CN201580009702A CN106031168A CN 106031168 A CN106031168 A CN 106031168A CN 201580009702 A CN201580009702 A CN 201580009702A CN 106031168 A CN106031168 A CN 106031168A
Authority
CN
China
Prior art keywords
component
pixels
digital picture
luminance
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580009702.9A
Other languages
English (en)
Other versions
CN106031168B (zh
Inventor
L·A·汤普森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lattice Semiconductor Corp
Original Assignee
Lattice Semiconductor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lattice Semiconductor Corp filed Critical Lattice Semiconductor Corp
Publication of CN106031168A publication Critical patent/CN106031168A/zh
Application granted granted Critical
Publication of CN106031168B publication Critical patent/CN106031168B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

在此说明一具有减少色彩分辨率的自适应处理数字图像的方法。一来源装置藉由重新对映视频帧的亮度分量与色度分量来预先处理具有减少色彩分辨率的一视频帧，并编码该预先处理的视频帧。来源装置将视频帧的一扫描线上的一半的亮度分量重新对映至一来源线的数据通道至一编码器，并将该扫描线上该视频帧的另一半亮度分量重新对映至该来源线的另一数据通道。该来源装置将该对应的色度分量重新对映至一来源线的一第三数据通道。藉由同样方式地使用一数据通道去传输色度分量，该分辨率使一视频编/解码器(codec)，不需在编码前转换该数字图像至全彩分辨率，能自适应编码一具有减少色彩分辨率的数字图像。

Description

具有减少色彩分辨率的视频流的自适应处理
技术领域
本发明的实施例大体上是有关于数字媒体的内容处理的领域，特定而言是有关于具有减少色彩分辨率的视频流的自适应处理。
背景技术
在现代数字语音/视频接口系统中透过一视频通道传输视频数据一般来说是受到一些储存与传输的限制，例如：网路频宽。为提供高分辨率视频内容，正发展新的电视与视频格式。然而，因为对支援高数据率(data rate)的需求，这样的发展带出语音/视频接口标准的新挑战。视频压缩工具(也称为视频编/解码器(video codecs)，例如编码器与解码器，通常使用在语音/视频接口标准以藉由压缩视频数据的信号来减少传输于一语音/视频通道上的数据率。
另一数据减量技术是藉由色度子取样(chroma subsampling)去减少视频数据的信号中比亮度(明亮)信息低的色度(色彩)信息的分辨率。色度子取样的范例包含YCbCr色彩空间的4:2:2与4:2:0。色度子取样在编码视频数据的信号时使用较全色度分辨率(例如：4:4:4取样比例)视频数据的信号更少的位元，在维持可接受的视觉品质时使视频传输更有效率。然而，目前已存在的视频压缩编/解码器的编码程序通常只接受在全分辨率(例如：4:4:4抽样比例)上的视频数据信号。换言之，若一视频信号使用其他取样比例，例如：4:2:2或4:2:0，该信号在编码前必须转换至4:4:4，如此可能会增加计算复杂度与效能延迟。
发明内容
在此描述一种在一视频接口环境(video interface environment)中自适应处理一具有减少色彩分辨率的数字图像的方法，例如：在YCbCr色彩空间的4:2:0子取样比例。藉由一般配置以使用一数据通道去传输色度像素，该解决方法使一视频编/解码器，不需在编码前转换该数字图像至全彩分辨率，能自适应编码一具有减少色彩分辨率的数字图像。
上述解决方法的一来源装置藉由重新对映视频帧的亮度分量与色度分量来预先处理具有减少色彩分辨率的一视频帧，幷编码该预先处理的视频帧。在一实施例中，该来源装置具有一预先处理模组与一编码器。预先处理模组将视频帧分成多重子画面并重新对映视频帧的每一子画面内的色度分量与亮度分量。举例而言，预先处理模组将在视频帧的一子画面的一扫描线上的亮度分量重新对映至一编码器的一数据通道，并将在扫描线上的另一半亮度分量重新对映至编码器的另一数据通道。来源装置将对应的色度分量重新对映至编码器的一第三数据通道。
上述解决方法的一接收装置(sink device)随后处理一具减少色彩分辨率的一已编码视频帧。在一实施例中，接收装置具有一解码器与一后处理模组。该后处理模组接收已解码视频帧幷根据数据结构的重新对映方式重新对映该已解码视频帧的亮度分量与色度分量。依据该重新对映，该后处理重建一具有适当格式化的减少色彩分辨率视频帧。
附图说明
本发明各种实施例藉由实例所阐明，而非用以限制本发明。后附图示中的图片如标号，指类似的元件。
图1为根据一实施例阐明一视频接口环境的方框图。
图2为根据一实施例阐明一视频接口环境具有以4:2:0取样比例格式的输入数据的方框图。
图3为根据一实施例阐明一视频帧分为多个子画面的方框图。
图4A阐明在预先处理前一视频帧的亮度分量。
图4B根据一实施例阐明在预先处理后，已阐明于图4A视频帧的亮度分量。
图5为根据一实施例阐明在一接收装置上对于后处理一视频帧像素的亮度分量与色度分量的一方法流程图。
图6根据一实施例显示一视频帧的对应的色度分量后处理的一范例。
图7根据一实施例显示一数据结构的一范例，该数据结构呈现一具有预先处理的亮度分量与对应的色度分量。
图8为根据一实施例阐明在一来源装置上对于一视频帧像素的预先处理亮度分量与色度分量的一方法流程图。
具体实施方式
本发明提供一方法允许只接受全彩分辨率视频，例如：4:4:4取样比例，的一视频压缩编/解码器，去处理具有减少色彩分辨率的视频，例如：4:2:0取样比例。本发明实施例藉由将该视频帧像素的亮度与色度分量重新对映至一压缩编码器的三个输入通道上，在视频帧每一部分内重新对映之前维持该色度与亮度分量空间关系，来预先处理一4:2:0取样视频帧。
在此所使用的“网路”或“通讯网路”意指在使用任何各式技术，例如串线ATA(Serial ATA,SATA)、帧信息结构(FrameInformation Structure,FIS)等，于各装置间用以传递数字媒体内容(包括音乐、语音/视频、游戏、照片/图片，与其他)的互连网。一网路包含一区域网路(Local Area Network,LAN)、广域网路(Wide AreaNetwork,WAN)、都会区域网路(Metropolitan Area Network,MAN)、内部网路，网际网路等。在一网路内，某些网路装置可为媒体内容的一来源，例如一数字电视调谐器(digital television tuner)、缆线式机上盒(cable set-top box)、手持装置(例如：个人数字助理(personaldevice assistant,PDA)、视频储存伺服器、和其他来源装置。这类装置在此归类为“来源装置(source devices)”或“传输装置(transmittingdevices)”。其他装置可接收、显示、使用、或储存媒体内容，例如一数字电视、家用剧场系统、游戏系统、视频与语音储存伺服器，诸如此类。此类装置在此归类为“接收装置(sink devices or receivingdevices)”。
在此所使用的一“视频接口环境”指的是一环境包含耦合至一视频通道的一来源装置与一接收装置。一视频接口环境的一例为一高分辨率多媒体接口(High-Definition Multimedia Interface,HDMI)，在HDMI环境，一来源装置(例如一DVD拨放器)系配置以根据在一HDMI通道上或一MHL3通道上而提供根据HDMI协定编码的媒体内容至一来源装置(例如电视或其他显示器)。
应注意的是，一些装置可执行多重媒体功能，例如一缆线式机上盒，其可以作为一接收器(从一缆线头尾端接受信息)以及作为一传输器(传输信息至一电视)，反之亦然。在一些实施例中，来源装置与接收装置可共同置于一单一区域网路。在其他实施例中，这些装置可跨越多重网路段，例如藉由在区域网路间穿隧的方式。应注意，虽然预先处理具有减少色彩分辨率的一视频帧与后处理该视频帧系在此叙述于一视频接口环境的内容中，在此描述的预先处理与后处理技术仍可应用于在一来源装置与一接受装置间的其他数据转换类型，例如在一网路环境内的网路数据，诸如此类。
图1根据一实施例阐明一视频接口环境的方框图。图1所述的环境包含一来源装置100，藉由一数据传输通道108耦合至一接收装置105。来源装置100包含一图像来源102、一预先处理模组104以及一编码器106。接收装置包含一后处理模组112以及一显示模组114。图1的环境的其他实施例能包含与在此阐明不同的及/或附加的元件。举例而言，数据传输通道108能为视频的任一适合类型或通讯通道，例如一HDMI通道、一MHL3通道或其他串联式通道。
该图像来源102可以为一非暂态计算机可读取储存媒体，例如一记忆体，加以配置以储存一或多个视频及/或数字图像，用来传输至接收装置105。图像来源102也能加以配置以存取储存于来源装置100外部的视频。举例而言，藉由网际网路或一些其他类型的网路，从一外部视频伺服器通信地耦合至来源装置100。在此处所揭露的“数字内容”或“数字媒体内容”，一般来说指为任何机器可读取与机器可储存的事物。数字内容能包含，举例而言，视频、语音或一语音与视频的组合。可替代地，数字内容可为一静态图像，例如一JPEG或GIF或一文字档案。为了简化与说明一实施例，来自图像来源102的数字内容将以一“视频”或“视频档案”为代表，而幷非限制能加以处理的数字内容型态的专门用语。因此，在此描述用以预先处理与后处理一视频帧像素的操作，能加以应用至任一数字内容的类型，包括视频与其他数字内容的合适类型例如语音档案(例如：音乐、广播、语音书，诸如此类)。
预先处理模组104从图像来源102接收在YCbCr色彩空间上具有全彩分辨率(例如：4:4:4取样比例)或减少色彩分辨率(例如：4:2:0取样比例)的一输入视频帧。对于具有减少色彩分辨率的该视频帧，预先处理模组104根据一数据结构的重新排序方式，重新排序视频帧的亮度与色度像素，将视频帧的亮度与色度像素重新对映至编码器106的三个输入通道。编码器106编码已预先处理视频帧，且只接受具有全彩分辨率4:4:4子取样比例的视频帧。下图2、图4A、图4B、图5以及图6进一步说明预先处理模组104。
编码器106配置以编码已经由预先处理模组104预先处理过的视频帧。在一实施例中，编码器106只接受以4:4:4子取样比例的全彩分辨率视频帧。编码器106可具有一记忆体或储存媒体，配置以缓冲部分或全部视频帧，其中视频帧由编码器106所编码。编码器106能执行任何合适型态的编码，举例而言，编码意图去减少传输视频帧的品质，例如视频电子标准协会(Video Electronics StandardsAssociation,VESA)的显示串流压缩标准(Display Stream Compression,DSC)及其他诸如此类，编码意图去保护视频数据免于非法复制或截取，例如高分辨率内容保护(High-Definition Content Protection,HDCP)及其他诸如此类，或是以上两种的任意组合。编码器106的实施例可以使用任何已知于此领域中的一般技术的视频压缩方案，包含，举例而言，离散余弦转换(Discrete Cosine Transform,DCT)、小波转换(wavelet transform)、量化(quantization)，以及熵编码(entropyencoding)。编码器106根据一语音/视频接口协定，例如：一HDMI协定，加以配置以传输已编码视频数据，通过传输通道108，传送至接收装置105的解码器110。
解码器系配置以用来解码从编码器106接收的一已编码视频帧。在一实施例中，解码器110可以具有一记忆体或储存媒体，用来配置以缓冲部分或全部视频帧，其中视频帧由解码器110所解码。解码器110所执行的解码过程为由编码器106所执行编码过程的每一阶段的反向(除了在有损压缩(lossy compression)的量化阶段(quantization stage))。举例而言，解码器110执行逆DCT/小波转换、逆量化以及熵解码，以解码一已编码帧来重建原来输入视频帧。对于另一例来说，相对于编码器106根据该VESA/DSC编码标准来编码视频帧，解码器110根据VESA/DSC编码标准执行解码程序。
后处理模组112从解码器110接收一已解码视频帧并判定是否去重组该已解码视频帧的像素。为响应一已解码的具有减少色彩分辨率视频帧，后处理模组112执行与预先处理模组104相同的动作-─但以反向的顺序。举例而言，后处理模组112在传输视频帧的像素至显示模组114之前，根据一数据结构的重新排序方式，重新排序视频帧的像素。
显示模组114系配置以用来显示后处理模组112所处理的视频帧。可替代地，显示模组能储存从后处理模组112所接收的视频帧，或能输出视频帧至(举例而言)一外部显示器、储存器或装置(例如一手机装置)。
图2为根据一实施例阐明一视频接口环境具有以4:2:0取样比例格式化输入数据的方框图。图2的环境包含藉由一传输通道108耦合至一接收装置105的一来源装置100。来源装置100包括一预先处理模组104与一编码器106。接收装置105包含一视频解码器110与一后处理模组112。来源装置100接收一4:2:0格式图像/视频帧202，例如：具有以4:2:0子取样比例的一减少色彩的解析分辨率的一视频串流的一视频帧，预先处理视频帧并编码视频帧。已编码视频帧系通过传输通道108传输至接收装置105。接收装置105解码所接收的视频帧并后处理已解码帧，以重建一4:2:0格式化视频帧204以显示。
以4:2:0子取样比例格式的该视频帧202具有多重数量的像素，其视频帧的大小为分辨率所决定。视频帧202的每一像素由一亮度信号和色度信号所组成。注意到，亮度信号较色度信号更显著地重要，所以能使用较低分辨率的色度信号去达成更有效的数据减量。在图2中阐明的实施例，在一像素的亮度与色度信号的间的子取样比例系储存在三个数据通道Y、Cb以及Cr的Y:Cb:Cr格式中，其中Y代表亮度信号而Cb与Cr代表色度信号。4:2:0子取样比例指出色度信号(由Cb与Cr表示)对照于亮度信号具有一一半水平分辨率以及一一半垂直分辨率。
预先处理模组104接收4:2:0格式化视频帧202，将亮度像素与色度像素分开并重新对映亮度像素与色度像素至三个像素数据通道，也就是通道1、通道2以及通道3。预先处理模组104能使用任何已知关于色彩空间转换与将像素的亮度信号分离自像素的色度信号的技术。现有方法的一视频压缩编/解码器方法正常来说接受在Y、Cb、Cr格式中以4:4:4子取样比例的视频数据，其中编/解码器将亮度像素对应至Y通道，色度Cb像素映至Cb通道，以及色度Cr映至Cr通道。为了使编码器106去编码4:2:0格式视频帧，预先处理模组104将亮度像素重新对映至两数据通道与将色度信息(Cb与Cr)重新对映至第三通道，并以数据结构(代表已预先处理视频帧)所定义的一特定顺序，来表示重新排序的像素的亮度与色度分量(如下图7所显示)。
编码器106接收由预先处理模组104预先处理的视频帧202，编码视频帧202并传输已编码视频帧经过传输通道108至接收装置105。解码器110解码已接收的视频帧，接着传送已解码视频帧至该后处理模组112，根据从来源装置100所接收并重新排序的数据结构，重建一4:2:0格式化视频帧204以显示。
一视频帧的像素在扫描线上的Y、Cr，与Cb数据通道具有一以位置为依据的相对空间关系，定义了一像素位置相对于视频帧的其他像素位置。为了编码一4:2:0格式视频帧，预先处理模组104在重新排序像素后，保存了像素间的原始空间关系。在一实施例中，预先处理模组104将一视频帧分为多重的子画面，其中每一个子画面皆为视频帧的一部分。图3为根据一实施例阐明一视频帧分为许多相等大小子画面的方框图。预先处理模组104将视频帧302分为四个子画面，304a-304h。每一子画面有一具多重像素的矩型框且每一子画面在预先处理及后处理时系独立于其他子画面。子画面的数量及子画面的大小可为配置所设定，换言之，不同实施例依图3所阐明方式，可能有不同数目的子画面与其不同的大小。为了编码一4:2:0格式化视频帧，预先处理模组104将每一个子画面内的4:2:0格式化视频帧重新对映至三个输入通道到达编码器106，并在重新排序每一子画面的像素后保存像素的原始空间关系。
图4A阐明预先处理前的一视频帧的亮度分量。在图4A，水平亮度分量的分辨率(Y分量)以参数h代表分量的数量。图4A显示Y分量的四线，线0(410a)、线1(410b)、线2(410c)，线3(410d)。在每一线的该Y分量根据一扫描光栅视频帧的一扫描线来固定位置，所以在扫描线上第一个分量系为Y0，扫描线上最后一个分量为Yh-1。
图4B根据一实施例阐明在预先处理后，已阐明于图4A视频帧的亮度分量。在图4B的例子显示三来源线，420a、420b、420c，其中每一列对映至两个编码处理通道，Y通道与Cb通道，以用来输入Y分量的扫描线(显示于图4A)至一编码器，例如：图2的编码器106。预先处理模组104将扫描线上Y分量的一半对映至一编码器的Y处理输入，一半对映至一编码器的一Cb通道输入。如图4A显示的全部水平分辨率，每一个数据通道有一半水平分辨率。举例而言，假设在图4B的来源线420a系为了输入图4A线410a的Y分量，预先处理模组104将在线410a左半部Y分量(也就是分量Y0至Yh/2-1)对映至编码器420a的Y通道，并将在线410a右半部Y分量(也就是分量Y2/h至Yh)对映至编码器420a的Cb通道。预先处理模组104将扫描线上Y分量分裂成两个串流而没有改变一子画面范围内两个串流中每一个分量的相对空间位置。在对映后，扫描线上Y分量中原始空间关系维持着Y分量的每一半。预先处理模组104同样地对映至Y分量的其他线，例如：Y分量的410b线对映至来源线420b与Y分量的410c线对映至来源线420c。
为了对映一视频帧的一子画面的对应色度分量至一数据通道，预先处理模组104使用一来源线的一第三数据通道。Cb与Cr分量代表色度分量，在一实施例中，预先处理模组104将色度分量的第一型态，例如：Cb分量，对映至一来源线的第三数据通道，并且将色度分量的第二型态，例如：Cr分量，对映至下一来源线的一第三数据通道。
图6根据一实施例显示一视频帧的对应色度分量后处理的一范例。在图6所阐明的范例显示一视频帧的两色度子画面，子画面602与子画面604。每一个子画面有一水平分辨率与一垂直分辨率，其为8-像素高(亦即具有8列像素分量)。如上所述，该子画面的高度典型上地可程序化。色度分量被预先处理的两子画面的顺序系从子画面602的第一来源线(来源线0)至子画面604的最后来源线(来源线15)。
如图6所显示，预先处理模组104重新排序所插入的色度分量至八个连续线已用于的度分量的每一型态。举例而言，所有插入的Cb分量在一子画面602重新排序，所有插入的Cr分量同样地在一子画面604重新排序，如上所述，预先处理模组104从其他子画面的处理独立地产生每一子画面。因为一子画面内色度分量的所有线皆具有相通色度分量，例如，在子画面内602所有Cb分量与在子画面内604所有Cr分量，所以此独立性可使在子画面内色度分量的空间关系能保存。
图7根据一实施例显示一视频帧像素具有已预先处理的亮度分量与对应的色度分量的范例。在图7中的范例，Y分量代表的亮度分量系根据图4B阐明的实施例加以预先处理；Cb与Cr分量代表的色度分量系根据图6阐明的实施例加以预先处理。相似于图6的该子画面，在图7的子画面高度为8。预先处理模组104从第一个输入视频帧的16线建立第一个两子画面的编码器的通道1、2与3。对于第一个子画面，在通道1的数据(也就是Y通道)来自于输入线0至7的左半部，在通道2的数据(也就是Cb通道)来自于于该输入列0至7的右半部。而在通道3的数据(也就是Cr通道)来自于输入帧的第一个前8个偶数色度线，且皆为Cb分量。对于第二个子画面，在通道1的数据来自于输入线8至15的左半部，在通道2的数据来自于于输入线8至15的右半部。而在通道3的数据来自于输入帧的第一个前8个奇数的色度线，且皆为Cb分量。后处理器模组112执行与预先处理模组在此所描述的相同动作，但以反向的顺序。
在图7的范例具有三数据输入单元。每一数据输入单元具有三数据通道，Y通道、Cb通道以及Cr通道，以输入预先处理模组104所重新排序的分量至一编码器，例如：图2中编码器106。Cb通道依惯例地被设计用以输入Cb色度成分，为预先处理模组104所使用，用来输入在一扫描线上一第二半部Y分量，例如：来源线0的Cb通道。预先处理模组104重新对映对应的色度分量至一来源线的一第三数据通道，例如：来源线0的Cr通道与来源线2的Cr通道。预先处理模组104更跨过两子画面重新排序相同类型的色度像素，例如：在一子画面的所有Cb分量与在其他子画面所有Cr分量。
在一实施例中，预先处理模组104产生一数据结构以纪录一4:2:0格式化视频帧像素的亮度与色度分量的重新排序。用于视频帧的数据结构可包含将一亮度分量的扫描线信息对映至其对应亮度分量的来源线，例如：扫描线(0，Yleft-half)映至扫描线(0，Cb)。同样地，用于视频帧的数据结构也可以包含将一色度分量的扫描线的信息对于色度像素与色度分量的型态(例如：Cb像素或Cr分量)对映至其对映来源线。为因应视频帧分为子画面以及在子画面上执行重新对映，数据结构纪录每个子画面的重新排序信息。纪录对映的数据结构可以与已编码视频一起传输或藉由编码器分开而传输至接收装置105。
图8为根据一实施例阐明在一来源装置上对于一视频帧像素的预先处理亮度分量与色度分量的一方法的流程图。首先，一来源装置的一预先处理模组，例如：在图2上来源装置100的预先处理模组104，在步骤810中，接收一图像，例如：以4:2:0子取样比例的一视频帧，并在步骤820中，提取视频帧的亮度信号与色度信号。在一实施例中，预先处理模组104可将视频帧分为多重子画面并在多个单位的子画面上处理视频像素的亮度与色度分量。接收的视频帧的每一子画面代表视频帧的一部份并具有以像素分量的数量来表示的一可配置高度。
在步骤830中，预先处理模组将在视频帧扫描线上亮度分量重新排序至一编码器的两数据通道。编码器的两个数据通道各接受原始来源线的一半亮度分量；其中一个数据通道包含在扫描线上另一半的亮度分量，数据通道惯例地加以使用以输入色度分量，例如：对应的Cb分量，至一编码器。
在步骤840中，预先处理模组也重新排序对映的色度分量。在一实施例中，当藉由群集同样类型的色度成分，例如：Cb或Cr分量，至他们各自的子画面来维持在相关的扫描线上色度分量的原始空间关系，预先处理模组104将该色度分量重新对映至编码器的一第三数据通道。在步骤850中，预先处理模组104产生一数据结构以记录亮度成分与色度成分的重新排序信息。数据结构能为帧基(frame based)或子画面基(subpicture based)。来源装置的一编码器，例如：图2中的来源装置106的编码器106，在步骤860中，根据产生的数据结构编码该帧并传输已编码帧至一接收装置，例如：图2中的接收装置105。
图5为根据一实施例阐明在一接收装置上对于后处理一视频帧像素的亮度分量与色度分量的一方法流程图。首先，一来源装置的解码器，例如：在图2中的接收装置105的解码器110，在步骤510中，从来源装置接收一已编码图像并在步骤520中解码已接收的图像。将已解码影样的分量经由三数据通道传输至一后处理模组，例如：在图2中后处理模组112。在步骤530中，后处理模组112提取一数据结构，此数据结构系为亮度分量与色度分量的对映方式，在步骤540中，后处理模组112并从解码器接收亮度分量与色度分量。
在步骤550中，后处理模组112根据接收的数据结构，重新排序映在解码器的两数据通道上亮度分量对映的一扫描线上一Y通道上的亮度分量。在步骤560中，后处理模组112重新排序在数据通道上对应的色度分量的两色度线，一为Cb分量，一为Cr分量。在步骤570中，后处理模组112在重新排序后重建570该图像，其中重建图像系显示为一适当的4:2:0格式。
对于上述实施例的先前描述已为阐明的目的而呈现出来；在此无意以精确形式揭露来概括而论或限制该实施例。在此相关领域的技术人员能领会依照上述揭露的许多的修正与延伸系为可行。
此说明一些部分以在信息系统上操作的演算法或符号表示来描述实施例。这些演算法的描述与表示常见地使用于在该数据处理领域的技术，以有效率地传达他们的工作本质至此领域的其他技术。这些操作，以功能地、运算地或逻辑地描述，藉由计算机程序或对等的电子电路、微指令(microcode)，诸如此类，可合理实施。此外，有时为了提供方便，将这些操作的安排模组化，而幷不失去普及性。所描述的操作与它们相关的模组可加以实施在软体上、韧体、硬体或其中任何组合。在此领域的其一寻常技术者将可知该硬体、所述模组的实施，包含至少一处理器与一记忆体，该记忆体包含用以执行所描述该模组功能的指令。
在此描述的任一步骤、操作或方法，可与一或多硬体或软体模组，随着其他装置或与其他装置组合，加以执行或实施。在一实施例中，一软体模组与一计算机程序产品加以实施，该计算机程序包含一具有计算机程序码的一计算机可读取媒体，且能藉由一计算机处理器加以执行任何或所有步骤、操作，或所叙述的程序。
实施例也可对应到一装置，用来执行在此的操作。该装置可为所需的用途特别地建设，及/或应包含一通常用途的运算装置，该运算装置藉由一储存在计算机里的计算机程序选择性地启动或重新配置。此计算机程序应储存在一非暂态、有形体计算机可读取储存媒体，或是任何合适的媒体总类，以储存电子指令，而上述所提及的媒体可耦合至一计算机系统汇流排。此外，任何运算系统的规格应包含一单一处理器或可为一内部结构，该内部结构使用多重处理器设计来增加运算能力。
实施例也可对应至一产品，由在此叙述的一运算处理所生产。此一产品可包含一运算处理产生的信息，该信息可储存在一非暂态、实体计算机可读取储存媒体幷可包含一计算机程序产品的任何实施例或其他在此叙述的数据组合。
最后，使用在规格的语言基本上以可读性与指导性的用途作为选择，且不应选择来描述或限制发明性的主体事实。本实施例的范围不为在此叙述性的描述所限制，也不为在此应用的任何范围所限制。因此，本实施例的揭露意图在于说明而非限制。

Claims (18)

1.一种编码一数字图像的方法，其特征在于，该方法包含：
接收一复数个像素的该数字图像，其每一像素具有一亮度分量与两色度分量；
从该复数个像素中提取亮度分量与色度分量；
重新排序该亮度分量与重排序该色度分量；以及
依据亮度分量的重新排序与色度分量的重新排序，产生一数据结构以表示该数字图像。
2.根据权利要求1所述的编码一数字图像的方法，其特征在于，还包含根据该数据结构以编码该数字图像。
3.根据权利要求1所述的编码一数字图像的方法，其特征在于，该复数个像素中的每一个为一样本格式，该像素的两色度分量在水平和垂直方向以该像素的亮度分量的一半样本率来取样。
4.根据权利要求1所述的编码一数字图像的方法，其特征在于，该数字图像的该复数个像素以根据该复数个像素的一扫描线的一顺序接收，而每一扫描线具有一预先决定的水平分辨率。
5.根据权利要求1所述的编码一数字图像的方法，其特征在于，该亮度分量的重新排序包含：
对于在一扫描线上所接收的一复数个像素：
分离扫描线上该复数个像素的复数个亮度分量为两部分，其中每一部分具有在该扫描线上该复数个像素的该复数个亮度分量的一半；
从三个数据通道中选择两个数据通道，其中该三个数据通道配置以传输在扫描线上的该复数个像素的该复数个亮度分量与色度分量；
提供该所选择数据通道的一上的该复数个亮度分量的第一部分；以及
提供该所选择数据通道的另一上的该复数个亮度分量的第二部分。
6.根据权利要求1所述的编码一数字图像的方法，其特征在于，该数字图像系划分为一复数个子画面，每一子画面具有该数字图像上对应至水平分辨率的一局部水平分辨率，且每一子画面具有该数字图像上对应至垂直分辨率的一局部垂直分辨率。
7.根据权利要求1所述的编码一数字图像的方法，其特征在于，进一步包含在重新排序后，在一子画面内维持每一像素分量的空间关系，使得该子画面内的独立像素分量的该空间关系与子画面内对应的独立分量的空间关系相等。
8.一种解码一已编码的数字图像的方法，其特征在于，该方法包含：
接收一复数个像素的该已编码数字图像，每一像素具有一亮度分量与两色度分量；
从该复数个像素中提取亮度分量与色度分量；
根据一数据结构叙述的一重新排序，以重新排序该亮度分量与重新排序该色度分量；以及
依据该数字图像的该复数个亮度分量与该复数个色度分量的该重新排序，重新建构一具有减少色彩分辨率的一数字图像。
9.根据权利要求8所述的解码一已编码的数字图像的方法，其特征在于，该亮度分量的重新排序包含：
选择两个数据通道上该复数个像素的该复数个亮度分量，其中每一数据通道在一扫描线上具有该复数个像素的该复数个亮度分量的一半；以及
根据该数据结构叙述的重新排序，重新排序在该扫描线上该所选择的亮度分量。
10.一种非暂态计算机可读取媒体，其特征在于，其储存可执行性计算机程序指令，以编码一数字图像，该计算机程序指令包含执行时使得一计算机处理器：
接收一复数个像素的该已编码数字图像，每一像素具有一亮度分量与两色度分量；
从该复数个像素中提取亮度分量与色度分量；
依据亮度分量的重新排序与色度分量重新排序，产生一数据结构以表现该数字图像。
11.根据权利要求10所述的计算机可读取媒体，其特征在于，还包含计算机程序指令执行时使得一计算机处理器根据该数据结构以编码该数字图像。
12.根据权利要求10所述的计算机可读取媒体，其特征在于，该复数个像素中的每一个为一样本格式，该像素的两色度分量在水平和垂直方向以该像素的亮度分量的一半样本率来取样。
13.根据权利要求10所述的计算机可读取媒体，其特征在于，该数字图像的该复数个像素以根据该复数个像素的一扫描线的一顺序接收，而每一扫描线具有一预先决定的水平分辨率。
14.根据权利要求10所述的计算机可读取媒体，其特征在于，该计算机程序指令系用来重新排序该亮度分量，该亮度分量包含该指令执行时使得一计算机处理器：
对于在一扫描线上所接收的一复数个像素：
分离在扫描线上该像素的亮度分量为两部分，其中每一部分具有在该扫描线上该复数个像素的该复数个亮度分量的一半；
从三个数据通道中选择两个数据通道，其中该三个数据通道系配置以传输在扫描线上该复数个像素的该复数个亮度分量与色度分量；
提供该所选择数据通道的一上的该复数个亮度分量的第一部分；以及
提供该所选择资通道的另一上的该复数个亮度分量的第二部分。
15.根据权利要求10所述的计算机可读取媒体，其特征在于，该数字图像划分为一复数个子画面，每一子画面具有该数字图像上对应至水平分辨率的一局部水平分辨率，且每一子画面具有该数字图像上对应至垂直分辨率的一局部垂直分辨率。
16.根据权利要求10所述的计算机可读取媒体，其特征在于，进一步包含计算机程序指令，用来在重新排序后，在一子画面内维持每一像素分量的空间关系，使得该子画面内的独立像素分量的该空间关系与子画面内对应的独立分量的空间关系相等。
17.一种非暂态计算机可读取媒体，其特征在于，其储存可执行性计算机程序指令，以解码一已编码的数字图像，该计算机程序指令包含执行时使得一计算机处理器：
接收一复数个像素的该已编码数字图像，每一像素具有一亮度分量与两色度分量；
从该复数个像素中提取亮度分量与色度分量；
根据一数据结构叙述的一重新排序，以重新排序该亮度分量与重新排序该色度分量；以及
依据该数字图像的该复数个亮度分量与该复数个色度分量的该重新排序，重新建构一具有减少色彩分辨率的数字图像。
18.根据权利要求17所述的计算机可读取媒体，其特征在于，该计算机程序指令用来重新排序该亮度分量，包含执行时使得一计算机处理器：
选择两个数据通道上该复数个像素的该复数个亮度分量，其中每一数据通道具在扫描线上的该复数个像素的该复数个亮度分量的一半；以及
根据该数据结构叙述的重新排序方式，重新排序在扫描线上该所选择的亮度分量。
CN201580009702.9A 2014-02-21 2015-02-19 具有减少色彩分辨率的视频流的自适应处理 Active CN106031168B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201461943267P 2014-02-21 2014-02-21
US61/943,267 2014-02-21
PCT/US2015/016640 WO2015134198A1 (en) 2014-02-21 2015-02-19 Adaptive processing of video streams with reduced color resolution

Publications (2)

Publication Number Publication Date
CN106031168A true CN106031168A (zh) 2016-10-12
CN106031168B CN106031168B (zh) 2018-02-06

Family

ID=53883525

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580009702.9A Active CN106031168B (zh) 2014-02-21 2015-02-19 具有减少色彩分辨率的视频流的自适应处理

Country Status (4)

Country Link
US (1) US9699469B2 (zh)
CN (1) CN106031168B (zh)
TW (1) TWI626841B (zh)
WO (1) WO2015134198A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108897513A (zh) * 2018-07-11 2018-11-27 深圳市东微智能科技股份有限公司 分布式显示设备及其节点备份方案生成方法和装置
WO2020200077A1 (zh) * 2019-03-29 2020-10-08 华为技术有限公司 图像摄取模组及电子终端

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10506243B2 (en) * 2014-03-06 2019-12-10 Samsung Electronics Co., Ltd. Image decoding method and device therefor, and image encoding method and device therefor
US10354690B2 (en) 2016-12-19 2019-07-16 Modulus Media Systems, Inc. Method for capturing and recording high-definition video and audio output as broadcast by commercial streaming service providers
US10861302B2 (en) * 2017-08-17 2020-12-08 Bossa Nova Robotics Ip, Inc. Robust motion filtering for real-time video surveillance
US20230186435A1 (en) * 2021-12-14 2023-06-15 Netflix, Inc. Techniques for component-based image preprocessing

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1154378A2 (en) * 2000-05-11 2001-11-14 Eastman Kodak Company Image processing method and apparatus for generating low resolution, low bit depth images
US20060132660A1 (en) * 2004-07-01 2006-06-22 Takashi Kurumisawa Image processing unit, image processing method, image display device using such image processing unit, and electronic apparatus using such image display device
US20070046684A1 (en) * 2005-08-23 2007-03-01 Eric Jeffrey Methods and Apparatus for Efficiently Accessing Reduced Color-Resolution Image Data
CN101589625A (zh) * 2006-10-25 2009-11-25 弗劳恩霍夫应用研究促进协会 质量可缩放编码
CN101594536A (zh) * 2008-05-28 2009-12-02 富士通株式会社 编码/解码设备、编码/解码方法以及存储介质

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0134871B1 (ko) * 1992-07-17 1998-04-22 사또오 후미오 고능률 부호화 복호화 시스템
US6427025B1 (en) * 1992-08-14 2002-07-30 Canon Kabushiki Kaisha Image processing with selection between reversible and irreversible compression
KR940026915A (ko) * 1993-05-24 1994-12-10 오오가 노리오 디지탈 비디오신호 기록장치 및 재생장치 및 기록방법
US6539120B1 (en) * 1997-03-12 2003-03-25 Matsushita Electric Industrial Co., Ltd. MPEG decoder providing multiple standard output signals
US6519287B1 (en) * 1998-07-13 2003-02-11 Motorola, Inc. Method and apparatus for encoding and decoding video signals by using storage and retrieval of motion vectors
US6100941A (en) * 1998-07-28 2000-08-08 U.S. Philips Corporation Apparatus and method for locating a commercial disposed within a video data stream
US6961063B1 (en) * 2000-06-30 2005-11-01 Intel Corporation Method and apparatus for improved memory management of video images
US6989837B2 (en) * 2002-12-16 2006-01-24 S3 Graphics Co., Ltd. System and method for processing memory with YCbCr 4:2:0 planar video data format
US8428349B2 (en) * 2003-05-21 2013-04-23 Broadcom Corporation Method and apparatus for DRAM 2D video word formatting
US7426308B2 (en) * 2003-07-18 2008-09-16 Microsoft Corporation Intraframe and interframe interlace coding and decoding
US7643675B2 (en) * 2003-08-01 2010-01-05 Microsoft Corporation Strategies for processing image information using a color information data structure
US7471850B2 (en) * 2004-12-17 2008-12-30 Microsoft Corporation Reversible transform for lossy and lossless 2-D data compression
US8509551B2 (en) * 2005-07-22 2013-08-13 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recording with image encoding program and computer readable recording medium recorded with image decoding program
US7565018B2 (en) * 2005-08-12 2009-07-21 Microsoft Corporation Adaptive coding and decoding of wide-range coefficients
US8363969B1 (en) * 2008-08-01 2013-01-29 Marvell International Ltd. Systems and methods for image coding and processing
US8180165B2 (en) * 2008-12-19 2012-05-15 Microsoft Corp. Accelerated screen codec
US8406569B2 (en) * 2009-01-19 2013-03-26 Sharp Laboratories Of America, Inc. Methods and systems for enhanced dynamic range images and video from multiple exposures
US20120230418A1 (en) * 2011-03-08 2012-09-13 Qualcomm Incorporated Coding of transform coefficients for video coding
JP2013021408A (ja) * 2011-07-07 2013-01-31 Sony Corp 信号送信装置、信号送信方法、信号受信装置、信号受信方法及び信号伝送システム
US9077943B2 (en) * 2012-05-31 2015-07-07 Apple Inc. Local image statistics collection

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1154378A2 (en) * 2000-05-11 2001-11-14 Eastman Kodak Company Image processing method and apparatus for generating low resolution, low bit depth images
US20060132660A1 (en) * 2004-07-01 2006-06-22 Takashi Kurumisawa Image processing unit, image processing method, image display device using such image processing unit, and electronic apparatus using such image display device
US20070046684A1 (en) * 2005-08-23 2007-03-01 Eric Jeffrey Methods and Apparatus for Efficiently Accessing Reduced Color-Resolution Image Data
CN101589625A (zh) * 2006-10-25 2009-11-25 弗劳恩霍夫应用研究促进协会 质量可缩放编码
CN101594536A (zh) * 2008-05-28 2009-12-02 富士通株式会社 编码/解码设备、编码/解码方法以及存储介质

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108897513A (zh) * 2018-07-11 2018-11-27 深圳市东微智能科技股份有限公司 分布式显示设备及其节点备份方案生成方法和装置
CN108897513B (zh) * 2018-07-11 2021-06-08 深圳市东微智能科技股份有限公司 分布式显示设备及其节点备份方案生成方法和装置
WO2020200077A1 (zh) * 2019-03-29 2020-10-08 华为技术有限公司 图像摄取模组及电子终端
CN111756963A (zh) * 2019-03-29 2020-10-09 华为技术有限公司 图像摄取模组及电子终端
CN111756963B (zh) * 2019-03-29 2022-01-14 华为技术有限公司 图像摄取模组及电子终端
EP3926946A4 (en) * 2019-03-29 2022-05-04 Huawei Technologies Co., Ltd. IMAGE CAPTURE MODULE AND ELECTRONIC TERMINAL
US11716544B2 (en) 2019-03-29 2023-08-01 Huawei Technologies Co., Ltd. Image capture module and electronic terminal

Also Published As

Publication number Publication date
WO2015134198A1 (en) 2015-09-11
TWI626841B (zh) 2018-06-11
US20150245042A1 (en) 2015-08-27
US9699469B2 (en) 2017-07-04
TW201540045A (zh) 2015-10-16
CN106031168B (zh) 2018-02-06

Similar Documents

Publication Publication Date Title
CN106031168B (zh) 具有减少色彩分辨率的视频流的自适应处理
CN109348226B (zh) 一种图片文件处理方法及智能终端
CN106375759B (zh) 一种视频图像数据的编、解码方法及装置
CN102523367B (zh) 基于多调色板的实时图像压缩和还原方法
US9838715B2 (en) Image processing apparatus and method
TWI606718B (zh) 規定視覺動態範圍編碼操作及參數
US11212539B2 (en) Efficient lossless compression of captured raw image information systems and methods
US8170095B2 (en) Faster image processing
CN111316625B (zh) 用于从第一图像生成第二图像的方法和设备
CN108028944A (zh) 使用核心视频标准的高动态范围hdr视频译码的视频解码器符合性
TWI733986B (zh) 用以編碼和解碼視頻資料之方法、設備及系統
CN109643456A (zh) 图像压缩方法与设备
CN104982036A (zh) 用于对较高分辨率色度采样格式进行帧包装/解包的带分离滤波/逆滤波
KR20090093747A (ko) 하나의 비디오 파일에서 비디오 데이터의 다중 투사를처리하는 시스템 및 방법
EP4020370A1 (en) Image processing method and device
US9955173B2 (en) Transparency information retention
CN106464923A (zh) 用于在比特流中用信号通知ldr画面的画面/视频格式和根据所述ldr画面和照明画面获得的解码的hdr画面的画面/视频格式的方法和设备
CN109963176A (zh) 视频码流处理方法、装置、网络设备和可读存储介质
KR100746005B1 (ko) 다중 목적의 비디오 스트림을 처리하는 장치 및 방법
CN105144726A (zh) 指示媒体内容的样本的标称范围的定制数据
USRE48740E1 (en) Adaptive processing of video streams with reduced color resolution
CN111246208A (zh) 视频处理方法、装置及电子设备
CN103517068A (zh) 图像压缩方法和装置
WO2024119420A1 (zh) 编解码方法、码流、编码器、解码器以及存储介质
US8340195B2 (en) Buffer size reduction for wireless analog TV receivers

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant