CN112995664B - 图像采样格式转换方法、计算机可读存储介质和编码器 - Google Patents

图像采样格式转换方法、计算机可读存储介质和编码器 Download PDF

Info

Publication number
CN112995664B
CN112995664B CN202110421791.5A CN202110421791A CN112995664B CN 112995664 B CN112995664 B CN 112995664B CN 202110421791 A CN202110421791 A CN 202110421791A CN 112995664 B CN112995664 B CN 112995664B
Authority
CN
China
Prior art keywords
coding unit
image information
sampling
sampling format
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110421791.5A
Other languages
English (en)
Other versions
CN112995664A (zh
Inventor
刘骏
马飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Magewell Electronic Technology Co ltd
Original Assignee
Nanjing Magewell Electronic Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Magewell Electronic Technology Co ltd filed Critical Nanjing Magewell Electronic Technology Co ltd
Priority to CN202110421791.5A priority Critical patent/CN112995664B/zh
Publication of CN112995664A publication Critical patent/CN112995664A/zh
Application granted granted Critical
Publication of CN112995664B publication Critical patent/CN112995664B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals

Abstract

本发明公开了一种图像采样格式转换方法以及存储有能实现该方法的程序的计算机可读存储介质和相应的编码器，根据源图像的采样格式和编码器所支持的采样格式进行图像信息的提取，将源图像信息以编码单元为单位进行分组，对每组中的编码单元提取完主图像信息块后，将剩余的图像信息进行同类重组得到该编码单元组的子图像信息块，配合现有常见编码采样格式，可以支持更高采样规格的图片和视频，提高恢复图像的图像质量。

Description

图像采样格式转换方法、计算机可读存储介质和编码器
技术领域
本发明涉及视频采集、编码领域，尤其涉及一种图像采样格式转换方法、计算机可读存储介质和编码器。
背景技术
色彩空间是坐标系统和子空间的阐述，在视频压缩中常用的色彩空间有RGB、YUV和YCbCr，在表示数字彩色信息时，YUV和YCbCr是相同的。Y表示亮度（Luminance或Luma），即灰阶值；U、V、Cb、Cr表示色度，（Chrominance或Chroma），用于指定像素的颜色，色度U、Cb均表示RGB输入信号蓝色部分与信号亮度值之间的差异，色度V、Cr均表示RGB输入信号红色部分与信号亮度值之间的差异。
一般采用“ A：B：C”表示方法描述亮度分量和两个色度分量的相对采样频率，YUV、YCbCr主要的采样格式有4:4:4、4:2:2、4:2:0和4:1:1。其中，4:4:4表示完全取样，使用相同的空间采样率对图像的亮度分量和色度分量进行采样；而后三者对色度分量使用的空间采样率比亮度分量使用的空间采样率低，称为色度亚采样，4:2:2表示2:1水平取样，垂直完全采样；4:2:0表示2:1水平取样，2:1垂直采样；4:1:1表示4:1水平取样，垂直完全采样。
如图1所示，在视频通信过程中，不同格式的视频源经过前处理模块转换成统一的数据格式，编解码器只需要应对少量几种统一的视频数据格式，解码后的视频再经过后处理模块转换成与视频源格式一致的恢复视频。
由于人类对色度的感知没有亮度敏感，因而，现有编解码器多支持4:2:0或者4:2:2采样格式，处理具有相对编码器所支持的采样格式更高采样规格的视频源，如采用4:2:0采样格式的编码器来处理4:4:4或者4:2:2采样格式的视频源，亦或是采用4:2:2采样格式的编码器来处理4:4:4采样格式的视频源，前处理模块通常的做法是先对图像进行下采样，得到4:2:0或者4:2:2采样格式的像素信息，相应的后处理模块通常采用插值补偿的方法再得到与视频源采样格式一致的恢复视频，但通过插值补偿的色度分量相较于视频源的色度分量存在一定差异，在一些对恢复视频质量要求较高情况下，如包括文字的视频源，这些视频源中往往包括了大量高频信息，通过现有插值补偿方式会影响恢复视频的图像质量，影响用户体验。
另外，某些视频源中还包括透明度信息，如阿尔法通道（α Channel或AlphaChannel）指一张图片的透明和半透明度，若采用支持4:2:0或者4:2:2采样格式的编解码器，则无法保留该信息，所得到的恢复视频还原度较低。
发明内容
有鉴于此，为了解决现有技术在视频通信过程中因色度信息损失影响恢复视频质量的问题，本发明提供一种图像采样格式转换方法，能够在兼容现有大多数编码器采样格式的基础上，提高恢复视频的图像质量。
为了解决上述问题，本发明的图像采样格式转换方法，配合编码器使用，该方法包括以下步骤：
根据源图像的采样格式和所述编码器所支持的采样格式，将源图像信息中的编码单元在水平方向上进行分组得到若干编码单元组，所述编码单元中包括像素点的亮度分量采样、第一色度分量采样和第二色度分量采样；
对于某个编码单元组，根据所述编码器所支持的采样格式，提取每个编码单元中像素点的亮度分量采样、第一色度分量采样和第二色度分量采样作为所述编码单元对应的主图像信息块，所述编码单元组中的主图像信息块与其所包括的编码单元一一对应；
将所述编码单元组中所有编码单元中剩余像素点的第一色度分量采样和第二分量采样按照所述编码器所支持的采样格式进行同类重组，得到所述编码单元组的子图像信息块。
其中，所述源图像和所述编码器采用的色彩空间为YUV或YCbCr。
作为一种实施方式，若所述源图像的采样格式为4:4:4，所述编码器所支持的采样格式为4:2:2，
则每个编码单元组中包括两个编码单元，每个编码单元对应的主图像信息块包括所述编码单元的每个像素点的亮度分量采样，以及在水平方向上每相邻两个像素点处所提取的一个像素点的第一色度分量采样和第二色度分量采样；
每个编码单元组中包括一个子图像信息块，所述编码单元组的子图像信息块中包括两个编码单元中剩余像素点的第一色度分量采样和第二色度分量采样。
作为一种实施方式，若所述源图像的采样格式为4:4:4，所述编码器所支持的采样格式为4:2:0，
则每个编码单元组中包括两个编码单元，每个编码单元对应的主图像信息块包括所述编码单元的每个像素点的亮度分量采样，以及利用水平下采样和垂直下采样在每四个像素点处所提取的一个像素点的第一色度分量采样和第二色度分量采样；
每个编码单元组中包括两个子图像信息块，其中一个子图像信息块包括了两个编码单元中剩余像素点的第一色度分量采样，另一个子图像信息块包括了两个编码单元中剩余像素点的第二色度分量采样。
作为一种实施方式，若所述源图像的采样格式为4:2:2，所述编码器所支持的采样格式为4:2:0，
则每个编码单元组中包括六个编码单元，每个编码单元对应的主图像信息块包括所述编码单元的每个像素点的亮度分量采样，以及利用垂直下采样在每两个像素处所提取的一个像素点的第一色度分量采样和第二色度分量采样；
每个编码单元组中包括两个子图像信息块，其中一个子图像信息块包括了六个编码单元中剩余像素点的第一色度分量采样，另一个子图像信息块包括了六个编码单元中剩余像素点的第二色度分量采样。
进一步，若所述编码单元中包括透明度分量采样，则所述编码单元组的子图像信息块中也包括透明度分量采样。
作为一种实施方式，若所述源图像的采样格式为4:4:4:4，所述编码器所支持的采样格式为4:2:2，
则每个编码单元组中包括一个编码单元，每个编码单元对应的主图像信息块包括所述编码单元的每个像素点的亮度分量采样，以及在水平方向上每相邻两个像素点处所提取的一个像素点的第一色度分量采样和第二色度分量采样；
每个编码单元组中包括一个子图像信息块，所述编码单元组中的子图像信息块包括所述编码单元的每个像素点的透明度分量采样、剩余像素点的第一色度分量采样和第二色度分量采样。
作为一种实施方式，若所述源图像的采样格式为4:4:4:4，所述编码器所支持的采样格式为4:2:0，
则每个编码单元组中包括三个编码单元，每个编码单元对应的主图像信息块包括所述编码单元的每个像素点的亮度分量采样，以及利用水平下采样和垂直下采样在每四个像素点处所提取的一个像素点的第一色度分量采样和第二色度分量采样作为第一下采样部分；
每个编码单元组中包括五个子图像信息块，其中三个子图像信息块中包括了所述编码单元的透明度分量采样以及其所在编码单元中第一色度分量、第二色度分量的第二下采样部分；
其余两个子图像信息块中分别包括了三个编码单元中剩余像素点的第一色度分量采样和第二色度分量采样；
所述第一色度分量、第二色度分量的第一下采样部分与第二下采样部分为水平方向相同、垂直方向相邻的像素点。
进一步，本发明还提供一种计算机可读存储介质以及包括该存储介质的编码器，存储有计算机程序，该程序被执行时实现上述图像采样格式转换方法。
与现有技术相比，本发明具有以下优势：
本发明中图像采样格式转换方法根据源图像的采样格式和编码器所支持的采样格式进行图像信息的提取，将源图像信息以编码单元为单位进行分组，对每组中的编码单元提取完主图像信息块后，将剩余的图像信息进行同类重组得到该编码单元组的子图像信息块。对于单个图像亦或者是视频帧，利用本发明方法得到主图像信息块和子图像信息块，再配合现有的常见编码器和解码器使用，可以支持更高采样规格的图片和视频，对颜色平面保留更高的采样规格，单个图像或视频帧中的文字等经过本发明中图像采样格式转换方法进行转换后再经过编解码会得到更加清晰的恢复图像或视频；本发明方法还可以让4:4:4:4格式经过编解码之后，仍保留透明度信息，得到更高质量的恢复图像。
附图说明
图1是视频通信的原理框图；
图2是本发明中图像采样格式转换方法的原理示意图；
图3是4:4:4:4采样格式的源图像信息转换为4:2:2采样格式的一种实施例；
图4是4:4:4:4采样格式的源图像信息转换为4:2:2采样格式U、V分量的提取方式示意图；
图5是4:4:4采样格式的源图像信息转换为4:2:2采样格式的一种实施例；
图6是4:4:4采样格式的源图像信息转换为4:2:0采样格式的一种实施例；
图7是4:4:4采样格式的源图像信息转换为4:2:0采样格式U、V分量的提取方式示意图；
图8是4:4:4:4采样格式的源图像信息转换为4:2:0采样格式的一种实施例；
图9是4:2:2采样格式的源图像信息转换为4:2:0采样格式的一种实施例；
图10是4:2:2采样格式的源图像信息转换为4:2:0采样格式U、V分量的提取方式示意图。
具体实施方式
下面结合实施例对本发明作更进一步的说明。
视频流传输中的编解码标准主要有国际电联的H.26x系列标准、运动静止图像专家组的MJPEG、国际标准化组织运动图像专家组的MPEG系列标准，谷歌公司的AV标准以及我国的AVS标准。这些标准均采用块的形式划分编码结构，如H.26x系列中H.264标准的宏块（Macro Block，MB）、H.265标准的树形编码单元（Coding Tree Unit，CTU）、AVS系列标准的最大编码单元（Largest Coding Unit，LCU）、AV标准的超块（superblock）、MJPEG系列标准中的最小编码单元（Minimum Coding Unit，MCU），MPEG系列标准的宏块，在这些标准中虽然称谓不同，但均表示用于编码的基本单元，在本发明中统称为编码单元。
对于本领域技术人员来说，视频即连续的图像，本发明中源图像包括视频帧和单个图像，恢复图像包括恢复的视频帧和单个图像。在本发明中视频帧和单个图像是等同的。
如图2所示，前处理模块采用本发明的图像采样格式转换方法依据编码器所支持的采样格式，将源图像分成主图像序列和子图像序列，源图像信息中包括编码单元，编码单元包括像素点的亮度分量采样、第一色度分量（如U、Cb分量）采样和第二色度分量（如V、Cr分量）采样，若源图像中包括透明度信息，则所述编码单元中还包括透明度分量（如α分量）采样。将源图像信息以编码单元为单位进行像素点处各分量采样的提取得到主图像信息块和子图像信息块，主图像信息块按顺序形成主图像序列，子图像信息块按顺序形成子图像序列，主图像序列和子图像序列分别经由编码器编码形成不同的数据流（主码流和子码流），数据流再经由解码器解码后分别得到解码后主图像信息块和解码后子图像信息块，对应前处理模块的格式转换方式，后处理模块将解码后主图像信息块和解码后子图像信息块再次进行格式转换得到恢复图像，与源图像信息对应，恢复图像信息中也包括像素点的亮度分量采样、第一色度分量（如U、Cb分量）采样和第二色度分量（如V、Cr分量）采样，若源图像中包括透明度信息，则恢复图像中还包括透明度分量（如α分量）采样。
作为一种实施方式，主码流和子码流可以采用两组编、解码器同时进行视频通信，也可以采用一组编、解码器以时分复用方式进行视频通信。
在H.264标准中，将视频中连续几帧图像分为一组称为一个序列，将每帧图像划分成片，将每片按照16x16的像素大小划分成宏块（Macro Block，MB），宏块是基本的编码单元。
与H.264标准宏块尺寸相同，MJPEG系列标准最小编码单元、MPEG系列标准宏块的尺寸为16×16；H.265标准中树形编码单元尺寸可以被设置为64×64、32×32或16×16，AVS系列标准中最大编码单元的固定尺寸为128×128，AV标准超块的尺寸为64×64和128×128。编码单元的尺寸大小并不会影响本发明中图像采样格式转换方法的实现，下文的实施例均主要以H.264标准中的宏块为例对本发明方法做详细介绍。
在本发明图像采样格式转换方法对于色彩空间YUV和YCbCr无本质区别，故下文及相关附图仅以采样空间YUV为例进行说明。
实施例1
本实施例中，编码器支持的采样格式为YUV4:2:2，则对于YUV4:4:4:4采样格式的源图像，即该源图像信息中Y、U、V以及α分量采用等比例采样，对于一个宏块，按照水平下采样的方式得到主图像信息块，再将剩余的像素点中色度分量采样进行对应比例同类重组得到子图像信息块，如图3所示，源图像信息中的一个宏块包括16x16个像素点，在YUV4:4:4:4采样格式下，在每个像素点上均对Y1、U1、V1、α分量进行采样，对于每个宏块，根据4:2:2采样格式，在每个像素点提取Y1分量采样，而在水平方向上每相邻两个像素点分别提取U1、V1分量采样，所提取的Y1分量采样、U1分量采样中U11部分、V1分量采样中V11部分构成主图像信息块；在每个像素点提取α分量采样，在水平方向上每相邻两个像素点上提取剩余的U1、V1分量采样，所提取的α分量采样、U1分量采样中U12部分、V1分量采样中V12部分进行同类重组，构成子图像信息块。如图4所示，若用坐标来表示一个宏块中的像素位置，则U11部分包括了(2i,j)坐标处像素点的U1分量采样，V11部分包括了(2i,j)坐标处像素点的V1分量采样，U12部分包括了(2i+1,j)坐标处像素点的U1分量采样，V12部分包括了(2i+1,j)坐标处像素点的V1分量采样，i为区间[0,7]的自然数，j为区间[0,15]的自然数。
图3、图4仅示出了编码单元尺寸为16x16时主图像信息块、子图像信息块中各分量采样像素点的个数，若编码单元的尺寸为32×32（64×64、128×128），则每个编码单元组中包括两个编码单元，每个编码单元组中包括一个主图像信息块、一个子图像信息块，按照水平方向下采样，主图像信息块中Y1分量采样像素点的个数为32×32（64×64、128×128）、U1分量采样中U11部分、V1分量采样中V11部分像素点的个数为32×16（64×32、128×64），子图像信息块中α分量采样像素点的个数为32×32（64×64、128×128）、U1分量采样中U12部分、V1分量采样中V12部分像素点的个数为32×16（64×32、128×64）。
实施例2
本实施例中，编码器支持的采样格式为YUV4:2:2，则对于YUV4:4:4采样格式的源图像，即该源图像信息中Y、U、V采用等比例采样，如图5所示，将水平相邻的两个宏块MB1、MB2作为一组，根据4:2:2采样格式，对于每个宏块，按照实施例1所描述的方式分别提取出主图像信息块M1、M2，即主图像信息块M1中包括了宏块MB1中Y1分量采样、U1分量采样中U11部分、V1分量采样中V11部分，主图像信息块M2中包括了宏块MB2中Y2分量采样、U2分量采样中U21部分、V2分量采样中V21部分；而在子图像信息块S中包括了宏块MB1中U1分量采样的U12部分、V1分量采样中V12部分，以及宏块MB2中U2分量采样中U22部分、V2分量采样中V22部分。图5中仅示出了子图像信息块S的一种组合顺序，即将相同色度分量放置在一起，U1分量采样的U12部分、U2分量采样中U22部分同类重组，V1分量采样中V12部分、V2分量采样中V22部分同类重组，这样的重组方式便于各分量样本在内存中的存储和提取，以及编、解码器相邻宏块组的图像信息处理。
图5仅示出了编码单元尺寸为16x16时主图像信息块、子图像信息块中各分量采样像素点的个数，若编码单元的尺寸为32×32（64×64、128×128），则每个编码单元组中包括两个编码单元，每个编码单元组中包括两个主图像信息块、一个子图像信息块，按照水平方向下采样，主图像信息块M1中Y1分量采样、主图像信息块M2中Y2分量采样像素点的个数为32×32（64×64、128×128）；主图像信息块M1中U1分量采样的U11部分、V1分量采样中V11部分，主图像信息块M2中U2分量采样中U21部分、V2分量采样中V21部分像素点的个数为32×16（64×32、128×64）；子图像信息块S中U1分量采样中U12部分、U2分量采样中U22部分、V1分量采样中V12部分、V2分量采样中V22部分像素点的个数为32×16（64×32、128×64）。
实施例3
本实施例中，编码器支持的采样格式为YUV4:2:0，则对于YUV4:4:4采样格式的源图像，即该源图像信息中Y、U、V采用等比例采样，根据4:2:0采样格式，对于每个宏块，按照水平下采样和垂直下采样的方式得到主图信息，即在每个像素点处提取Y分量，每四个像素点处提取一个像素点的U分量采样和一个V分量采样，得到宏块对应的主图像信息块。如图6所示，将水平相邻的两个宏块MB1、MB2作为一组，提取宏块MB1中Y1分量采样、U1分量采样中U11部分、V1分量采样中V11部分得到主图像信息块M1，提取宏块MB2中Y2分量采样、U2分量采样中U21部分、V2分量采样中V21部分得到主图像信息块M2；提取两个宏块中剩余像素点的U、V分量采样进行同类重组得到子图像信息块，子图像信息块S1中包括了宏块MB1中U1分量采样的U13部分、U12部分以及宏块MB2中U2分量采样的U23部分、U22部分，子图像信息块S2中包括了宏块MB1中V1分量采样的V13部分、V12部分以及宏块MB2中V2分量采样的V23部分、V22部分。
如图7所示，若用坐标来表示一个宏块中的像素位置，则U11、U21、V11、V21部分分别包括了(2i,2j)坐标处像素点的U1、U2、V1、V2分量采样，U12、U22、V12、V22部分分别包括了(2i,2j+1)坐标处像素点的U1、U2、V1、V2分量采样，U13、U23、V13、V23部分分别包括了(2i+1,k)坐标处像素点的U1、U2、V1、V2分量采样，i、j为区间[0,7]的自然数，k为区间[0,15]的自然数。
图6、图7仅示出了编码单元尺寸为16x16时主图像信息块、子图像信息块中各分量采样像素点的个数，若编码单元的尺寸为32×32（64×64、128×128），则每个编码单元组中包括两个编码单元，每个编码单元组中包括两个主图像信息块、两个子图像信息块，按照水平方向、垂直方向下采样，主图像信息块M1中Y1分量采样像素点的个数为32×32（64×64、128×128）、U1分量采样中U11部分、V1分量采样中V11部分像素点的个数为16×16（32×32、64×64）；主图像信息块M2中Y2分量采样像素点的个数为32×32（64×64、128×128）、、U2分量采样中U21部分、V2分量采样中V21部分像素点的个数为16×16（32×32、64×64）；子图像信息块S1中U13部分、U23部分像素点的个数为32×16（64×32、128×64），U12部分、U22部分像素点的个数为16×16（32×32、64×64）；子图像信息块S2中V13部分、V23部分像素点的个数为32×16（64×32、128×64），V12部分、V22部分像素点的个数为16×16（32×32、64×64）。
实施例4
本实施例中，编码器支持的采样格式为YUV4:2:0，则对于YUV4:4:4:4采样格式的源图像，即该源图像信息中Y、U、V以及α分量采用等比例采样，根据4:2:0采样格式，对于每个宏块，按照水平下采样和垂直下采样的方式得到主图像信息块，即在每个像素点处提取Y分量采样，每四个像素点处提取一个像素点的U分量采样和V分量采样，得到宏块对应的主图像信息块。如图8所示，将水平相邻的三个宏块MB1、MB2、MB3作为一组，提取宏块MB1中Y1分量采样、U1分量采样中U11部分、V1分量采样中V11部分得到主图像信息块M1，提取宏块MB2中Y2分量采样、U2分量采样中U21部分、V2分量采样中V21部分得到主图像信息块M2，提取宏块MB3中Y3分量采样、U3分量采样中U31部分、V3分量采样中V31部分得到主图像信息块M3；提取两个宏块中剩余像素点的部分分量进行同类重组得到子图像信息块，子图像信息块S1中包括了宏块MB1中α1分量采样、U1分量采样中U12部分、V1分量采样中V12部分，子图像信息块S2中包括了宏块MB2中α2分量采样、U2分量中U22部分、V2分量采样中V22部分，子图像信息块S3中包括了宏块MB3中α3分量采样、U3分量采样中U32部分、V3分量采样中V32部分，子图像信息块S4中包括了宏块MB1中U1分量的U13部分、宏块MB2中U2分量的U23部分、宏块MB3中U3分量采样的U33部分，子图像信息块S5中包括了宏块MB1中V1分量采样的V13部分、宏块MB2中V2分量采样的V23部分、宏块MB3中V3分量采样的V33部分。
本实施例中三个宏块的U、V分量均按照与实施例3相同的方式进行提取，即若用坐标来表示一个宏块中的像素位置，则U11、U21、U31、V11、V21、V31部分分别包括了(2i,2j)坐标处像素点的U1、U2、U3、V1、V2、V3分量采样，U12、U22、U32、V12、V22、V32部分分别包括了(2i,2j+1)坐标处像素点的U1、U2、U3、V1、V2、V3分量采样，U13、U23、U33、V13、V23、V33部分分别包括了(2i+1,k)坐标处像素点的U1、U2、U3、V1、V2、V3分量采样，i、j为区间[0,7]的自然数，k为区间[0,15]的自然数。
图8仅示出了编码单元尺寸为16x16时主图像信息块、子图像信息块中各分量采样像素点的个数，若编码单元的尺寸为32×32（64×64、128×128），则每个编码单元组中包括三个编码单元，每个编码单元组中包括三个主图像信息块、五个子图像信息块，按照水平方向、垂直方向下采样，三个主图像信息块中Y1、Y2、Y3分量采样像素点的个数为32×32（64×64、128×128），U11、U21、U31、V11、V21、V31部分像素点的个数为16×16（32×32、64×64）；三个子图像信息块中α1、α2、α3分量采样像素点的个数为32×32（64×64、128×128），U12、U22、U32、V12、V22、V32部分像素点的个数为16×16（32×32、64×64）；两个子图像信息块中U13、U23、U33、V13、V23、V33部分像素点的个数为32×16（64×32、128×64）。
实施例5
本实施例中，编码器支持的采样格式为YUV4:2:0，则对于YUV4:2:2采样格式的源图像，即该源图像信息中在每个像素上采样Y1分量，而在水平方向上每相邻两个像素上采样U1、V1分量，根据4:2:0采样格式，对于源图像的每个宏块，按照垂直下采样的方式得到主图信息块，即在每个像素点处提取Y分量采样，垂直方向上每两个像素点处提取一个像素点的U分量和V分量，得到宏块对应的主图像信息块。
如图9所示，将水平相邻的六个宏块MB1、MB2、MB3、MB4、MB5、MB6作为一组，提取宏块MB1中Y1分量采样、U1分量采样中U11部分、V1分量采样中V11部分得到主图像信息块M1，提取宏块MB2中Y2分量采样、U2分量采样中U21部分、V2分量采样中V21部分得到主图像信息块M2，按照相同的分量提取方式对该组中其他宏块MB3、MB4、MB5、MB6进行提取分别得到主图像信息块M3、M4、M5、M6，将该组中剩余像素点的U分量采样和V分量采样进行同类重组分别得到子图像信息块S1、子图像信息块S2。
结合图9和图10，若用坐标来表示一个宏块中的像素位置，则U11、U21、U31、U41、U51、U61、V11、V21、V31、V41、V51、V61部分分别包括了(i,2j)坐标处像素点的U1~U6、V1~V6分量，U12~U62、V12~V62部分分别包括了(i,2j+1)坐标处像素点的U1~U6、V1~V6分量，i、j为区间[0,7]的自然数；子图像信息块S1中包括了宏块MB1~ MB6中U分量的U12~U62部分，子图像信息块S2中包括了宏块MB1~ MB6中V分量的V12~V62部分。
图9仅示出了编码单元尺寸为16x16时主图像信息块、子图像信息块中各分量采样像素点的个数，若编码单元的尺寸为32×32（64×64、128×128），则每个编码单元组中包括六个编码单元，每个编码单元组中包括六个主图像信息块、两个子图像信息块，按垂直方向下采样，六个主图像信息块中Y1~Y6分量采样像素点的个数为32×32（64×64、128×128），U11~U61、V11~V61部分像素点的个数为16×16（32×32、64×64）；两个子图像信息块中U12~U62部分，V12~V62部分像素点的个数为16×16（32×32、64×64）。
简而言之，对于以块的形式划分编码结构，本发明的图像采样格式转换方法中并不会因为编码单元尺寸而影响编码单元组的分组方式、编码单元组中编码单元的数目、编码单元组中主图像信息块和子图像信息块的数目以及像素点中各分量采样的比例关系，只是会影响主图像信息块和子图像信息块中像素点的个数。
对于本领域技术人员来说，本发明的图像采样格式转换方法可以通过软件或软、硬件结合的方式实现，作为一种实施方式，本发明还提供一种计算机存储介质，在该存储介质中存储有程序，这样的计算机存储介质可以内置于单独的前处理模块中，与编码器配合使用，执行所存储的程序实现本发明中图像采样格式转换方法，将源图像分成主图形序列和子图像序列后输送至编码器。
上述前处理模块也可集成在编码器中，也可以将上述计算机存储介质内置于编码器中，对源图像进行采样格式的转换后再进行编码。对于本领域技术人员来说，这样的功能组合无需付出创造性劳动即可获得。
以上详细描述了本发明的优选实施方式，但是，本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种等同变换，这些等同变换均属于本发明的保护范围。

Claims (10)

1.一种图像采样格式转换方法，配合编码器使用，其特征在于，该方法包括以下步骤：
根据源图像的采样格式和所述编码器所支持的采样格式，将源图像信息中的编码单元在水平方向上进行分组得到若干编码单元组，所述编码单元中包括像素点的亮度分量采样、第一色度分量采样和第二色度分量采样；
对于某个编码单元组，根据所述编码器所支持的采样格式，提取每个编码单元中像素点的亮度分量采样、第一色度分量采样和第二色度分量采样作为所述编码单元对应的主图像信息块，所述编码单元组中的主图像信息块与其所包括的编码单元一一对应；
将所述编码单元组中所有编码单元中剩余像素点的第一色度分量采样和第二色度分量采样按照所述编码器所支持的采样格式进行同类重组，得到所述编码单元组的子图像信息块。
2.根据权利要求1所述的图像采样格式转换方法，其特征在于，所述源图像和所述编码器采用的色彩空间为YUV或YCbCr。
3.根据权利要求1所述的图像采样格式转换方法，其特征在于，若所述源图像的采样格式为4:4:4，所述编码器所支持的采样格式为4:2:2，
则每个编码单元组中包括两个编码单元，每个编码单元对应的主图像信息块包括所述编码单元的每个像素点的亮度分量采样，以及在水平方向上每相邻两个像素点处所提取的一个像素点的第一色度分量采样和第二色度分量采样；
每个编码单元组中包括一个子图像信息块，所述编码单元组的子图像信息块中包括两个编码单元中剩余像素点的第一色度分量采样和第二色度分量采样。
4.根据权利要求1所述的图像采样格式转换方法，其特征在于，若所述源图像的采样格式为4:4:4，所述编码器所支持的采样格式为4:2:0，
则每个编码单元组中包括两个编码单元，每个编码单元对应的主图像信息块包括所述编码单元的每个像素点的亮度分量采样，以及利用水平下采样和垂直下采样在每四个像素点处所提取的一个像素点的第一色度分量采样和第二色度分量采样；
每个编码单元组中包括两个子图像信息块，其中一个子图像信息块包括了两个编码单元中剩余像素点的第一色度分量采样，另一个子图像信息块包括了两个编码单元中剩余像素点的第二色度分量采样。
5.根据权利要求1所述的图像采样格式转换方法，其特征在于，若所述源图像的采样格式为4:2:2，所述编码器所支持的采样格式为4:2:0，
则每个编码单元组中包括六个编码单元，每个编码单元对应的主图像信息块包括所述编码单元的每个像素点的亮度分量采样，以及利用垂直下采样在每两个像素处所提取的一个像素点的第一色度分量采样和第二色度分量采样；
每个编码单元组中包括两个子图像信息块，其中一个子图像信息块包括了六个编码单元中剩余像素点的第一色度分量采样，另一个子图像信息块包括了六个编码单元中剩余像素点的第二色度分量采样。
6.根据权利要求1所述的图像采样格式转换方法，其特征在于，若所述编码单元中包括透明度分量采样，则所述编码单元组的子图像信息块中也包括透明度分量采样。
7.根据权利要求6所述的图像采样格式转换方法，其特征在于，若所述源图像的采样格式为4:4:4:4，所述编码器所支持的采样格式为4:2:2，
则每个编码单元组中包括一个编码单元，每个编码单元对应的主图像信息块包括所述编码单元的每个像素点的亮度分量采样，以及在水平方向上每相邻两个像素点处所提取的一个像素点的第一色度分量采样和第二色度分量采样；
每个编码单元组中包括一个子图像信息块，所述编码单元组中的子图像信息块包括所述编码单元的每个像素点的透明度分量采样、剩余像素点的第一色度分量采样和第二色度分量采样。
8.根据权利要求6所述的图像采样格式转换方法，其特征在于，若所述源图像的采样格式为4:4:4:4，所述编码器所支持的采样格式为4:2:0，
则每个编码单元组中包括三个编码单元，每个编码单元对应的主图像信息块包括所述编码单元的每个像素点的亮度分量采样，以及利用水平下采样和垂直下采样在每四个像素点处所提取的一个像素点的第一色度分量采样和第二色度分量采样作为第一下采样部分；
每个编码单元组中包括五个子图像信息块，其中三个子图像信息块中包括了所述编码单元的透明度分量采样和其所在编码单元中第一色度分量、第二色度分量的第二下采样部分；
其余两个子图像信息块中分别包括了三个编码单元中剩余像素点的第一色度分量采样和第二色度分量采样；
所述第一色度分量、第二色度分量的第一下采样部分与第二下采样部分为水平方向相同、垂直方向相邻的像素点。
9.一种计算机可读存储介质，存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-8中任意一项所述的图像采样格式转换方法。
10.一种编码器，其特征在于，包括权利要求9所述的计算机可读存储介质。
CN202110421791.5A 2021-04-20 2021-04-20 图像采样格式转换方法、计算机可读存储介质和编码器 Active CN112995664B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110421791.5A CN112995664B (zh) 2021-04-20 2021-04-20 图像采样格式转换方法、计算机可读存储介质和编码器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110421791.5A CN112995664B (zh) 2021-04-20 2021-04-20 图像采样格式转换方法、计算机可读存储介质和编码器

Publications (2)

Publication Number Publication Date
CN112995664A CN112995664A (zh) 2021-06-18
CN112995664B true CN112995664B (zh) 2021-08-13

Family

ID=76341252

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110421791.5A Active CN112995664B (zh) 2021-04-20 2021-04-20 图像采样格式转换方法、计算机可读存储介质和编码器

Country Status (1)

Country Link
CN (1) CN112995664B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113596581B (zh) * 2021-07-30 2023-10-27 上海商汤临港智能科技有限公司 一种图像格式转换方法、装置、计算机设备和存储介质
CN117201789B (zh) * 2023-11-07 2024-01-26 南京美乐威电子科技有限公司 视频码流生成方法、计算机存储介质及编码器
CN117528098B (zh) * 2024-01-08 2024-03-26 北京小鸟科技股份有限公司 基于深压缩码流提升画质的编解码系统、方法及设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050129130A1 (en) * 2003-12-10 2005-06-16 Microsoft Corporation Color space coding framework
US8625666B2 (en) * 2010-07-07 2014-01-07 Netzyn, Inc. 4:4:4 color space video with 4:2:0 color space video encoders and decoders systems and methods
WO2013152736A1 (en) * 2012-04-12 2013-10-17 Mediatek Singapore Pte. Ltd. Method and apparatus for block partition of chroma subsampling formats
US9979960B2 (en) * 2012-10-01 2018-05-22 Microsoft Technology Licensing, Llc Frame packing and unpacking between frames of chroma sampling formats with different chroma resolutions
CN110381278A (zh) * 2019-09-05 2019-10-25 无锡思朗电子科技有限公司 用于色彩空间4:4:4传输的方法及设备

Also Published As

Publication number Publication date
CN112995664A (zh) 2021-06-18

Similar Documents

Publication Publication Date Title
CN112995664B (zh) 图像采样格式转换方法、计算机可读存储介质和编码器
US20230276061A1 (en) Scalable video coding system with parameter signaling
US8467617B2 (en) Compressing high resolution images in a low resolution video
CN109951715B (zh) 一种基于h.264的yuv444图像编解码方法
TW202107898A (zh) 具有子圖像之視訊解碼
US10805606B2 (en) Encoding method and device and decoding method and device
CN107251557A (zh) 高色度分辨率细节的编码/解码
US20080232477A1 (en) Method and Device For Coding and Decoding of Video Error Resilience
WO2011157084A1 (en) Apparatus and method of adaptive offset restoration for video coding
CN104904216A (zh) 在视频译码中具有时间可扩缩性支持的逐渐解码刷新
KR20110025888A (ko) 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치, 프로그램, 및 집적 회로
JP2017508415A (ja) 画像符号化／復号方法及び装置
CN108810552B (zh) 图像预测方法和相关产品
JP2002510177A (ja) デジタル画像の領域ベース情報短縮
CN106464887A (zh) 图像解码方法及其装置以及图像编码方法及其装置
CN103458242A (zh) 基于颜色分类与聚类的图像压缩和解压缩方法
WO2023020560A1 (zh) 视频编解码的方法、装置、电子设备及存储介质
CN107483942B (zh) 视频数据压缩码流的解码、视频数据的编码方法及装置
KR20160003689A (ko) 합성 이미지 전송 및 수신
WO2022141515A1 (zh) 视频的编解码方法与装置
WO2024078066A1 (zh) 视频解码方法、视频编码方法、装置、存储介质及设备
CN113014920A (zh) 图像编码、解码方法及装置
CN113068030A (zh) 视频图像分量预测方法及装置、计算机存储介质
KR20060056558A (ko) 영상의 인코딩 및 디코딩 방법
CN108989820B (zh) 各阶段采用各自相应色度采样格式的数据压缩方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant