CN113271466B - 图像编码方法、解码方法、传输方法以及存储装置和处理装置 - Google Patents

Abstract

本发明公开了一种图像编码方法、解码方法、传输方法以及存储装置和处理装置，属于图像传输的技术领域，本发明旨在将图像数据拆分为主数据和辅数据，主数据和辅数据包含的信息较少但整合起来能还原出完整的图像数据，通过双流方式传输完整视频信息，解决了原YUV420视频采样方式造成的计算机非自然图像色彩信息缺失、图像字体模糊偏色的问题。

Description

图像编码方法、解码方法、传输方法以及存储装置和处理装置

技术领域

本发明属于图像传输的技术领域，具体涉及一种图像编码方法、解码方法、传输方法以及存储装置和处理装置。

背景技术

随着视频网络化传输、交换、存储需求的增长，视频编解码技术在互联网、安防、专业视听等领域都有了广泛的应用。无论是使用计算机进行软件编解码，还是使用专用的嵌入式芯片编解码，使用的多为H.264、H.265等压缩标准，可以将带宽压缩的非常低，对于传输、存储和交换非常有利。这些压缩标准支持YUV采样格式，YUV采样格式包括YUV444、YUV422和YUV420等。

在众多采样格式中，YUV444格式的成像质量最好，但信息量也是最大的，所以通常使用的采样格式是YUV420，因为这种方式可以直接节省传输的信息量，有利于压缩带宽，在自然图像下也有较好的效果，是一种折中的方案。但是对于计算机的非自然图像，由于转换过程丢失了部分色彩信息，会导致视频画面中字符图像的边缘细节失真，造成字体模糊或者偏色。

在计算机视频信号应用越来越广泛的情况下，这种技术的使用不能满足人们对图像质量的需求。但是图像的质量越高，其数据量就越大，数据过大就会造成传输的负担，这是一种矛盾的局面。但是图像质量的提高是一种必然的趋势，所以这一问题亟需解决。

发明内容

为解决上述问题，本发明的目的是提供一种图像编码方法，该方法基于YUV444色彩空间的图像数据拆分为主数据和辅数据；所述主数据采用YUV420数据格式，其Y分量包括所有像素点的Y值、其U 分量包括每个像素单元的U_AVG、其V分量包括每个像素单元的V_AVG；所述辅数据采用YUV420数据格式，其包括所述像素单元中3个像素点的U值和V值；所述像素单元为预设的4个相邻的像素点所组成的像素点阵；所述U_AVG是将像素单元中各像素点的U值按照第一规则映射的关联值；所述V_AVG是将像素单元中各像素点的V值按照第二规则映射的关联值。

在一些优选实例中，各像素点的Y值依照相对位置关系排列到所述主数据的Y分量中；各所述U_AVG依照各所述像素单元的相对位置关系排列到所述主数据的U分量；各所述V_AVG依照各所述像素单元的相对位置关系排列到所述主数据的V分量。

在一些优选实例中,所述辅数据的Y分量由U_Lc和V_Lc 组成；其中，c为奇数，U_Lc为所述图像数据的奇数行各像素点的U值的集合，V_Lc为所述图像数据的奇数行个像素点的V值的集合；所述辅数据的U分量由U_LaPb和V_LaPb组成；所述辅数据的V分量由U_LAPb和V_LAPb组成；其中，a＝0，4，8……；A＝a+2；b为奇数；U_LaPb为所述图像数据第a行b列的像素点的U值；V_LaPb为所述图像数据第a 行b列的像素点的V值；U_LAPb为所述图像数据第A行b列的像素点的U值；V_LAPb为所述图像数据第A行b列的像素点的V值。

在一些优选实例中，各所述U_Lc依照相对位置关系排列到所述辅数据中Y分量的上半部或下半部；各所述V_Lc依照相对位置关系排列到所述辅数据中Y分量中与所述U_Lc相对立的区域，即Y分量的下半部或上半部；各所述U_LaPb依照相对位置关系排列到所述辅数据中U分量的上半部或下半部；各所述V_LaPb依照相对位置关系排列到所述辅数据中U分量中与所述U_LaPb相对立的区域，即U分量的下半部或上半部；各所述U_LAPb依照相对位置关系排列到所述辅数据中V 分量的上半部或下半部；各所述V_LAPb依照相对位置关系排列到所述辅数据中V分量中与所述U_LAPb相对立的区域，即V分量的下半部或上半部。

在一些优选实例中，所述辅数据的Y分量由U_Pc和V_Pc 组成；其中，c为奇数，U_Pc为所述图像数据的奇数列各像素点的U值的集合，V_Pc为所述图像数据的奇数列各像素点的V值的集合；所述辅数据的U分量由U_LaPb和V_LaPb组成；所述辅数据的V分量由U_LaPB和V_LaPB组成；其中，a奇数；b＝0，4，8……；B＝b+2；U-LaPb为所述图像数据第a行b列的像素点的U值；V_LaPb为所述图像数据第a行 b列的像素点的V值；U_LaPB为所述图像数据第a行B列的像素点的U 值；V_LaPB为所述图像数据第a行B列的像素点的V值。

在一些优选实例中，各所述U_Pc依照相对位置关系排列到所述辅数据中Y分量的左半部或右半部；各所述V_Pc依照相对位置关系排列到所述辅数据中Y分量中与所述U_Pc相对立的区域，即Y分量的右半部或左半部；各所述U_LaPb依照相对位置关系排列到所述辅数据中 U分量的左半部或右半部；各所述V_LaPb依照相对位置关系排列到所述辅数据中U分量中与所述U_LaPb相对立的区域，即U分量的右半部或左半部；各所述U_LaPB依照相对位置关系排列到所述辅数据中V分量的左半部或右半部；各所述V_LaPB依照相对位置关系排列到所述辅数据中V分量中与所述U_LaPB相对立的区域，即V分量的右半部或左半部。

在一些优选实例中，所述第一规则为公式：U_AVG＝(U₁+U₂+ U₃+U₄)/4，其表示U_AVG等于所述像素单元内全部4个像素点的U值求平均值；所述第二规则为公式：V_AVG＝(V₁+V₂+V₃+V₄)/4，其表示 V_AVG等于所述像素单元内全部4各像素点的V值求平均值。

本发明的目的之二是提供一种图像解码方法，基于上述所述的图像编码方法，将所述主数据和所述辅数据进行整合以还原出所述图像数据；“整合”具体包括以下步骤：S401、根据所述第一规则和所述第二规则的逆规则求解出所述像素单元中每个像素点的U值和V值； S402、将步骤S401中解算出的U值和V值和所述主数据进行合并。

本发明的目的之三是提供一种图像传输方法，通过双流方式传输完整视频信息，解决了原YUV420视频采样方式造成的计算机非自然图像色彩信息缺失、图像字体模糊偏色的问题，包括以下步骤：S1、获取上述所述的图像数据；S2、对所述图像数据执行上述所述的图像编码方法，以得到上述所述的主数据和所述辅数据；S3、将所述主数据和所述辅数据由发送端传输至接收端；S4、对传输后的所述主数据和所述辅数据执行上述所述的图像解码方法以得到所述图像数据；S5、将所述图像数据用于显示。

在一些优选实例中，所述图像数据为RGB色彩空间转换至 YUV色彩空间的数据，或者YUV原始数据。

在一些优选实例中，所述发送端和所述接收端对所述主数据和所述辅数据进行解压缩时采用H.264或H.265标准。

本发明的目的之四是提供一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述所述的图像传输方法。

本发明的目的之五是提供一种处理装置，包括处理器和存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述所述的图像传输方法。

本发明的有益效果为：

1)本发明采用双流拆分整合的方式，主数据可以脱离辅数据而进行显示，同时也能够兼容其他成熟的编解码设备。

2)主数据较于其他YUV420格式的数据，显示效果更好。

3)本发明利用双流拆分整合的方式，保证了YUV444的图像质量，经过网络传输后无损、无色偏、无模糊。

4)本发明有着广泛的应用场景，可以实现各种视频源的高质量压缩、传输、交换和显示。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是图像数据中一个像素单元的数据内容示意图；

图2是主数据中一个像素单元的数据内容示意图；

图3是图像数据基于第一种拆分方式的拆分过程中的数据内容示意图；

图4是第一种拆分方式下主数据的数据内容示意图；

图5是第一种拆分方式下辅数据的数据内容示意图；

图6是图像数据基于第二种拆分方式的拆分过程中的数据内容示意图；

图7是第二种拆分方式下主数据的数据内容示意图；

图8是第二种拆分方式下辅数据的数据内容示意图。

具体实施方式

下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。

实施例1：

本实施例公开了一种图像编码方法，该方法是将基于 YUV444色彩空间的图像数据拆分为主数据和辅数据。

主数据采用YUV420数据格式，其Y分量包括所有像素点的Y值、其U分量包括每个像素单元的U_AVG、其V分量包括每个像素单元的V_AVG。像素单元为预设的4个相邻的像素点所组成的像素点阵。图1示出了图像数据中一个像素单元所包含的信息情况，图2示出了主数据的一个像素单元所包含的信息情况。

对于主数据的内容作如下理解：参考图3和图4，在拆分的过程中，图像数据的像素单元中记录了该像素单元的U_AVG和V_AVG，在本实施例中该数据记录在像素单元中左上角的一个像素点内。拆分后，各数据移动到方格样式相对应的位置。在主数据包括有每个像素点所对应的Y值以及每个像素单元各自的U_AVG和V_AVG。各像素点的Y值依照相对位置关系排列到主数据的Y分量中；各U_AVG依照各像素单元的相对位置关系排列到主数据的U分量；各V_AVG依照各像素单元的相对位置关系排列到主数据的V分量。

辅数据包括像素单元中3个像素点的U值和V值。

辅数据同样采用YUV420数据格式，并且可以采用如下两种组合数据的方式：

其一，辅数据的Y分量由U_Lc和V_Lc组成；辅数据的U 分量由U_LaPb和V_LaPb组成；辅数据的V分量由U_LAPb和V_LAPb 组成。

其中，c为奇数，U_Lc为图像数据的奇数行各像素点的U 值的集合，V_Lc为图像数据的奇数行个像素点的V值的集合；a＝0，4， 8……；A＝a+2；b为奇数；U_LaPb为图像数据第a行b列的像素点的U 值；V_LaPb为图像数据第a行b列的像素点的V值；U_LAPb为图像数据第A行b列的像素点的U值；V_LAPb为图像数据第A行b列的像素点的V值。

请参考图3至图5，在拆分过程中，数据同样依照附图中的样式移动到方格样式相对应的位置，具体拆分后的辅数据内容如图5所示。各U_Lc依照相对位置关系排列到辅数据中Y分量的上半部或下半部；各V_Lc依照相对位置关系排列到辅数据中Y分量中与U_Lc相对立的区域，即Y分量的下半部或上半部；各U_LaPb依照相对位置关系排列到辅数据中U分量的上半部或下半部；各V_LaPb依照相对位置关系排列到辅数据中U分量中与U_LaPb相对立的区域，即U分量的下半部或上半部；各U_LAPb依照相对位置关系排列到辅数据中V分量的上半部或下半部；各V_LAPb依照相对位置关系排列到辅数据中V分量中与 U_LAPb相对立的区域，即V分量的下半部或上半部。

其二、辅数据的Y分量由U_Pc和V_Pc组成；辅数据的U 分量由U_LaPb和V_LaPb组成；辅数据的V分量由U_LaPB和V_LaPB 组成；

其中，c为奇数，U_Pc为所述图像数据的奇数列各像素点的U值的集合，V_Pc为所述图像数据的奇数列各像素点的V值的集合； a为奇数；b＝0，4，8……；B＝b+2；U-LaPb为图像数据第a行b列的像素点的U值；V_LaPb为图像数据第a行b列的像素点的V值；U_LaPB 为图像数据第a行B列的像素点的U值；V_LaPB为图像数据第a行B 列的像素点的V值。

请参考图6至图8，在拆分过程中，数据同样依照附图中的样式移动到方格样式相对应的位置，具体拆分后的辅数据内容如图8所示。各U_Pc依照相对位置关系排列到辅数据中Y分量的左半部或右半部；各V_Pc依照相对位置关系排列到辅数据中Y分量中与U_Pc相对立的区域，即Y分量的右半部或左半部；各U_LaPb依照相对位置关系排列到辅数据中U分量的左半部或右半部；各V_LaPb依照相对位置关系排列到辅数据中U分量中与U_LaPb相对立的区域，即U分量的右半部或左半部；各U_LaPB依照相对位置关系排列到辅数据中V分量的左半部或右半部；各V_LaPB依照相对位置关系排列到辅数据中V分量中与 U_LaPB相对立的区域，即V分量的右半部或左半部。

辅数据按照上述两种方式任选其一设置即可，进行上述方式设置主要的目的是为了保证了采样方式符合YUV420格式要求，同时保证了YUV420的数据关联性。满足编解码的要求，提高编解码的效果。

将主数据和辅数据的格式均设置为YUV420是因为最为常规的解压缩标准是H.264和H.265标准，而H.264和H.265常用软硬件编解码器只兼容YUV420的格式，所以为了控制开发成本，YUV420格式是主数据和辅数据的第一选择。

U_AVG是将像素单元中各像素点的U值按照第一规则映射的关联值，第一规则为公式：U_AVG＝(U₁+U₂+U₃+U₄)/4，其表示U_AVG 等于像素单元内全部4个像素点的U值求平均值。

V_AVG是将像素单元中各像素点的V值按照第二规则映射的关联值，第二规则为公式：V_AVG＝(V₁+V₂+V₃+V₄)/4，其表示V_AVG 等于像素单元内全部4各像素点的V值求平均值。

编码数据采用均值处理，有助于缓解解码显示时文本图像色偏、显示模糊的现象。

拆分后的主数据和辅数据可以利用现有压缩算法进行压缩传输，并且拆分后的主数据和辅数据能够解压后重新整合以还原出图像数据，这将在后面提出的实施例中详细介绍。

实施例2：

本实施例基于实施例1公开了一种图像解码方法，该方法将主数据和辅数据进行整合以还原出图像数据。

“整合”具体包括以下步骤：

S401、根据第一规则和第二规则的逆规则求解出像素单元中每个像素点的U值和V值(即已知3个像素点的U值和V值以及关联值 U_AVG和V_AVG，便可以得到像素单元中所有像素点的U值和V值。)；

S402、步骤S401中解算出的U值和V值和主数据进行合并。

经过整合之后，主数据中的每个像素点都包含了其各自的Y 值、U值和V值，即还原出了图像数据，这时候的图像数据包含了全部的图像信息，进行显示时不会出现图像色彩信息缺失、图像字体模糊偏色的问题。

实施例3：

本实施例基于实施例1和实施例2公开了一种图像传输方法，包括以下步骤：

S1、获取实施例1中的图像数据。图像数据可以是RGB色彩空间转换到YUV色彩空间的数据；也可以是YUV色彩空间的数据，这样可以直接使用。

S2、对图像数据执行实施例1中的图像编码方法，以得到实施例1中的主数据和辅数据。

S3、将主数据和辅数据由发送端传输至接收端。在传输过程中采用H.264或H.265标准。

S4、对传输后的主数据和辅数据执行实施例2中的图像解码方法以得到图像数据。

S5、将图像数据用于显示。

在本方法中，通过将图像数据拆分传输，并且传输后的主数据和辅数据整合还原出图像数据，在显示时又保证了图像质量。并且，传输后的主数据也可以不与辅数据整合而单独显示。

解决了原YUV420视频采样方式造成的计算机非自然图像色彩信息缺失、图像字体模糊偏色的问题。本发明有着广泛的应用场景，可以实现各种视频源的高质量压缩、传输、交换和显示。

实施例4：

本实施例公开了一种存储装置，其中存储有多条程序，程序适于由处理器加载并执行以实现实施例3中的图像传输方法。

实施例5：

本实施例公开了一种处理装置，包括处理器和存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；程序适于由处理器加载并执行以实现实施例3中的图像传输方法。

虽然已经参考优选实施例对本发明进行了描述，但在不脱离本发明的范围的情况下，可以对其进行各种改进并且可以用等效物替换其中的部件，尤其是，只要不存在结构冲突，各个实施例中所提到的各项技术特征均可以任意方式组合起来。本发明并不局限于文中公开的特定实施例，而是包括落入权利要求的范围内的所有技术方案。

在本发明的描述中，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示方向或位置关系的术语是基于附图所示的方向或位置关系，这仅仅是为了便于描述，而不是指示或暗示所述装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

此外，还需要说明的是，在本发明的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域技术人员而言，可根据具体情况理解上述术语在本发明中的具体含义。

术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、物品或者设备/装置所固有的要素。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (9)

1.一种图像编码方法，其特征在于：基于YUV444色彩空间的图像数据拆分为主数据和辅数据；

所述主数据采用YUV420数据格式，其Y分量包括所有像素点的Y值、其U分量包括每个像素单元的U_AVG、其V分量包括每个像素单元的V_AVG；

各像素点的Y值依照相对位置关系排列到所述主数据的Y分量中；

各所述U_AVG依照各所述像素单元的相对位置关系排列到所述主数据的U分量；

各所述V_AVG依照各所述像素单元的相对位置关系排列到所述主数据的V分量；

所述辅数据采用YUV420数据格式，其包括所述像素单元中3个像素点的U值和V值；

辅数据的Y分量由U_Lc和V_Lc组成；

其中，c为奇数，U_Lc为所述图像数据的奇数行各像素点的U值的集合，V_Lc为所述图像数据的奇数行个像素点的V值的集合；

辅数据的U分量由U_LaPb和V_LaPb组成；

辅数据的V分量由U_LAPb和V_LAPb组成；

其中，a＝0，4，8……；A＝a+2；b为奇数；U_LaPb为所述图像数据第a行b列的像素点的U值；V_LaPb为所述图像数据第a行b列的像素点的V值；U_LAPb为所述图像数据第A行b列的像素点的U值；V_LAPb为所述图像数据第A行b列的像素点的V值；

各所述U_Lc依照相对位置关系排列到所述辅数据中Y分量的上半部或下半部；

各所述V_Lc依照相对位置关系排列到所述辅数据中Y分量中与所述U_Lc相对立的区域，即Y分量的下半部或上半部；

各所述U_LaPb依照相对位置关系排列到所述辅数据中U分量的上半部或下半部；

各所述V_LaPb依照相对位置关系排列到所述辅数据中U分量中与所述U_LaPb相对立的区域，即U分量的下半部或上半部；

各所述U_LAPb依照相对位置关系排列到所述辅数据中V分量的上半部或下半部；

各所述V_LAPb依照相对位置关系排列到所述辅数据中V分量中与所述U_LAPb相对立的区域，即V分量的下半部或上半部；

所述像素单元为预设的4个相邻的像素点所组成的像素点阵；

所述U_AVG是将像素单元中各像素点的U值按照第一规则映射的关联值；所述V_AVG是将像素单元中各像素点的V值按照第二规则映射的关联值；

所述第一规则为公式：U_AVG＝(U₁+U₂+U₃+U₄)/4，其表示U_AVG等于所述像素单元内全部4个像素点的U值求平均值；

所述第二规则为公式：V_AVG＝(V₁+V₂+V₃+V₄)/4，其表示V_AVG等于所述像素单元内全部4个像素点的V值求平均值。

2.根据权利要求1所述的图像编码方法，其特征在于：

所述辅数据的Y分量由U_Pc和V_Pc组成；

其中，c为奇数，U_Pc为所述图像数据的奇数列各像素点的U值的集合，V_Pc为所述图像数据的奇数列各像素点的V值的集合；

所述辅数据的U分量由U_LaPb和V_LaPb组成；

所述辅数据的V分量由U_LaPB和V_LaPB组成；

其中，a奇数；b＝0，4，8……；B＝b+2；U-LaPb为所述图像数据第a行b列的像素点的U值；V_LaPb为所述图像数据第a行b列的像素点的V值；U_LaPB为所述图像数据第a行B列的像素点的U值；V_LaPB为所述图像数据第a行B列的像素点的V值。

3.根据权利要求2所述的图像编码方法，其特征在于：

各所述U_Pc依照相对位置关系排列到所述辅数据中Y分量的左半部或右半部；

各所述V_Pc依照相对位置关系排列到所述辅数据中Y分量中与所述U_Pc相对立的区域，即Y分量的右半部或左半部；

各所述U_LaPb依照相对位置关系排列到所述辅数据中U分量的左半部或右半部；

各所述V_LaPb依照相对位置关系排列到所述辅数据中U分量中与所述U_LaPb相对立的区域，即U分量的右半部或左半部；

各所述U_LaPB依照相对位置关系排列到所述辅数据中V分量的左半部或右半部；

各所述V_LaPB依照相对位置关系排列到所述辅数据中V分量中与所述U_LaPB相对立的区域，即V分量的右半部或左半部。

4.一种图像解码方法，其特征在于，基于权利要求1至3中任意一项所述的图像编码方法，将所述主数据和所述辅数据进行整合以还原出所述图像数据；

“整合”具体包括以下步骤：

S401、根据所述第一规则和所述第二规则的逆规则求解出所述像素单元中每个像素点的U值和V值；

S402、将步骤S401中解算出的U值和V值和所述主数据进行合并。

5.一种图像传输方法，其特征在于，包括以下步骤：

S1、获取权利要求1-3中任意一项所述的图像数据；

S2、对所述图像数据执行权利要求1-3中任意一项所述的图像编码方法，以得到权利要求1-3中任意一项所述的主数据和所述辅数据；

S3、将所述主数据和所述辅数据由发送端传输至接收端；

S4、对传输后的所述主数据和所述辅数据执行权利要求4所述的图像解码方法以得到所述图像数据；

S5、将所述图像数据用于显示。

6.根据权利要求5所述的图像传输方法，其特征在于：所述图像数据为RGB色彩空间转换至YUV色彩空间的数据，或者YUV原始数据。

7.根据权利要求5述的图像传输方法，其特征在于：所述发送端和所述接收端对所述主数据和所述辅数据进行解压缩时采用H.264或H.265标准。

8.一种存储装置，其中存储有多条程序，其特征在于，所述程序适于由处理器加载并执行以实现权利要求6-7中任意一项所述的图像传输方法。

9.一种处理装置，包括处理器和存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；其特征在于：所述程序适于由处理器加载并执行以实现权利要求6-7中任意一项所述的图像传输方法。

Images