CN101742320A - 图像处理方法 - Google Patents

Abstract

本发明提出一种用于视频编解码的图像处理方法。将高分辨率视频图像进行压缩编码处理之前分解为多个低分辨率全景图像，并计算所述多幅相同分辨率的低分辨率图像的加权平均值图像，对每幅相同分辨率的低分辨率图像赋予的加权系数相同或不同，在极大的减少进行数据压缩编码的信息量、提高编码效率和提升视频信息传输效率的基础上提高图像的质量，并在一定程度上解决图像边沿被模糊化的问题。在后续压缩编码过程中只需要处理低分辨率的基准参考图像数据和相关系数，可以极大的减少进行数据压缩编码的信息量、提高编码效率和提升视频信息传输效率。可以用于各种图像压缩编解码标准当中。

Description

图像处理方法

技术领域

本发明涉及一种用于视频编解码的图像处理方法，尤其是通过将原始图像信息分解为多个低分辨率相似图像信息后采用相似性计算方法以降低后续信息编/解码的信息量和提高信息处理效率；属于图像视频编/解码技术领域。

背景技术

高效的视频编解码技术是实现高质量、低成本多媒体数据存储与传输的关键。现在流行的图像编解码国际标准都是基于这样的一种编码理论，采用的是基于块匹配的运动补偿、离散余弦变换和量化相结合的编码方法。典型的有国际标准化组织/国际电工技术委员会第一联合技术组推出的MPEG-1、MPEG-2和MPEG-4等国际标准。我国颁布的AVS国家标准也是采用相似的混合视频编码策略：预测、变换、量化、和信息熵编码等模块。

这些视频编码标准处理信息的方法都是将原始图像按空间分成一定大小的信息块，如8X8的块、16X16的块等。这些信息块之间没有相似性，因此即使采用帧内预测方式，其信息预测结果不会理想。不能有效降低帧内信息冗余量。

随着人们对于图像质量要求的提高，图像的分辨率也不断提高，相应增加了信息编解码的信息处理量、降低了每帧信息处理速度、提升了对传输信息带宽的要求。

但实际上高分辨率图像帧内信息冗余量是比较大的。在图像采集过程中，我们都有这样的结果：以较低分辨率的图像采集获得图像与以较高分辨率的图像采集获得图像有相似性。同样将以较高分辨率的图像采集获得图像通过等间隔抽取图像点信息形成的低分辨率的图像与原始高分辨率的图像具有相似性。而且将较高分辨率的图像采集获得图像通过等间隔抽取图像点信息形成的多个低分辨率的图像之间也具有相似性。这个特点表明高分辨率图像信息内部实际上是有较大的信息冗余量。可以用低分辨率图像信息通过相关性处理重新构建高分辨率图像信息。

在本申请人的专利号为ZL200610075904.6，发明名称为“一种提高图象编解码效率的图象处理方法”的专利文件中公开了将高分辨率图像分成较低分辨率的图像后采用图像相似性算法减小信息数据量的方法。但由于该方法以其中一幅低分辨率图像作为基准参考图像，在实际实现中存在图像的轮廓被模糊化的问题，也没有给出如何得到更好的图像质量与信息数据量之间进行优化的方法。同时由于以其中一幅低分辨率图像作为基准参考图像，无法通过相似性算法恢复出其他幅低分辨率图像与基准参考图像的差异信息。

发明内容

本发明所要解决的技术问题在于：提出一种将高分辨率视频图像进行压缩编码处理之前分解为多个低分辨率全景图像，并按一种更优化的算法进行处理后，在极大的减少进行数据压缩编码的信息量、提高编码效率和提升视频信息传输效率的基础上提高图像的质量，并在一定程度上解决图像边沿被模糊化的问题。

本发明的第一种技术方案是改变基准参考图像的选择方法，具体方案包括

1、一种图像处理方法，其特征在于：

信息发送端包含如下步骤：

1)将需要处理的高分辨率视频图像信息采用等间隔取样生成多幅相同分辨率的低分辨率图像；

2)计算所述多幅相同分辨率的低分辨率图像的加权平均值图像，对每幅相同分辨率的低分辨率图像赋予的加权系数相同或不同，所述加权系数不小于0且加权系数之和大于0；

3)以所述加权平均值图像为基准参考图像，用相关性分析方法获得所述多幅相同分辨率的低分辨率图像分别与基准参考图像的相关系数，其中所述相关性分析方法为线性或非线性方法；

4)将所述基准参考图像和所述相关系数、所述加权系数作为进行信息处理的原始数据或者将所述基准参考图像和所述相关系数、所述加权系数作为信息发送数据；

信息接收端包含如下步骤：

5)收到数据是进行信息处理后的数据或者收到数据是基准参考图像和相关系数、所述加权系数；当收到数据是进行信息处理后的数据时，通过所述信息处理的对应处理方法得到基准参考图像和相关系数、所述加权系数；

6)根据所述基准参考图像和所述相关系数、所述加权系数计算得到多幅低分辨率图像；

7)将所述计算得到的多幅低分辨率图像重新组合形成一幅高分辨率图像或者将所述基准参考图像和所述计算得到的多幅低分辨率图像重新组合形成一幅高分辨率图像。

所述的步骤1)中，优选的是所述等间隔取样是按行等间隔取样或按列等间隔取样或同时按行等间隔和按列等间隔取样，所述按行等间隔取样是单行等间隔或多行等间隔，所述按列等间隔取样是单列等间隔或多列等间隔。使生成的低分辨率图像都是原始图像的低分辨率全景图像。低分辨率图像之间具有视觉相似性。

所述的步骤3)中，优选的是采用相关性分析方法计算其余每个低分辨率图像数据与基准参考图像数据的最优相关系数。如果采用线性相关分析方法，其余每个低分辨率图像数据可以只用两个系数表示。为提高系数的精度，可以用两个字节表示一个系数，其中一个字节表示系数整数部分，另外一个字节表示小数部分。

所述的步骤4)中，进行后续信息处理的图像数据是低分辨率的基准参考图像和计算出来的反映其余低分辨率图像数据的相关系数。基准参考图像和相关系数的存放顺序可以预先约定。所述信息处理是可以现有已知的图像压缩编码处理算法之一或组合，如JPEG算法、MPEG算法、AVS算法等。优化的是所述信息处理对所述相关系数的处理为信息无损处理。

所述的步骤5)中，在信息接收端，通过图像解压缩解编码处理得到的图像数据是低分辨率的基准参考图像和反映多幅低分辨率图像数据的相关系数。由于基准参考图像和相关系数是按预先约定的存放顺序存放的，可以分别提取出来。

所述的步骤6)中，在信息接收端，将步骤5)中得到的低分辨率的基准参考图像和反映多幅低分辨率图像数据的相关系数进行计算得到多幅低分辨率的图像。

所述的步骤7)中，在信息接收端，将步骤6)中得到的低分辨率的基准参考图像和多幅低分辨率的图像按预先约定的方式进行重新组合形成一幅高分辨率图像。从而有效再现发送端的原始图像信息。这种组合方式有多种实现方法，第一种方式是多幅低分辨率的图像按信息发送端的抽样顺序对应插入数据进行组合；第二种方式是用基准参考图像替代其中一幅低分辨率的图像，然后与其余低分辨率的图像按信息发送端的抽样顺序对应插入数据进行组合；第三种方式是先将基准参考图像和计算得到多幅低分辨率的图像与加权系数采用加权平均计算的逆运算计算得到原始多幅低分辨率的图像的计算数据，然后用计算得到原始多幅低分辨率的图像的计算数据按信息发送端的抽样顺序对应插入数据进行组合。数学描述式如下：

设定在信息发送端生成的多幅低分辨率的图像分别为Y1、Y2、Y3、…、Yn；每幅图像的加权系数分别为K1、K2、K3、…、Kn；则加权平均值图像Y为：

Y＝(K1*Y1+K2*Y2+…+Kn*Yn)/(K1+K2+…+Kn)

以加权平均值图像为基准参考图像，设各幅低分辨率的图像与基准参考图像的线性相关系数分别为r1，b1；r2，b2；…；rn，bn。设多幅低分辨率的图像的计算图像分别为Y1’、Y2’、Y3’、…、Yn’，则：

Y1’＝r1*Y+b1

Y2’＝r2*Y+b2

………

Yn’＝rn*Y+bn

对于第一种方式是直接将Y1’、Y2’、Y3’、…、Yn’按信息发送端的抽样顺序对应插入数据进行组合得到高分别率图像；对于第二种方式是先用Y代替Y1’、Y2’、Y3’、…、Yn’中的一幅，假设代替Y1’，然后将Y、Y2’、Y3’、…、Yn’按信息发送端的抽样顺序对应插入数据进行组合得到高分别率图像；第三种方式是把Y1’、Y2’、Y3’、…、Yn’看成是原始低分辨率图像的加权平均值，即：

Y1’＝(K1*Y1”+K2*Y2”+…+Kn*Yn”)/(K1+K2+…+Kn)

Y2’＝(K1*Y1”+K2*Y2”+…+Kn*Yn”)/(K1+K2+…+Kn)

………

Yn’＝(K1*Y1”+K2*Y2”+…+Kn*Yn”)/(K1+K2+…+Kn)

通过求解上述方程组计算得到Y1”、Y2”、Y3”、…、Yn”，然后将Y1”、Y2”、Y3”、…、Yn”按信息发送端的抽样顺序对应插入数据进行组合得到高分别率图像。

在上述方案中由于采用加权平均值图像为基准参考图像，已经包含了多幅相同分辨率的低分辨率图像的数据信息，特别是对于多幅相同分辨率的低分辨率图像之间的差异信息部分在基准参考图像存在部分信息，因此在信息接收端接收的信息数据量没有增加的情况下，提高了组合得到高分别率图像的质量。

本发明的第二种技术方案是改变基准参考图像的选择方法的同时并将多幅相同分辨率的低分辨率图像进行分别按不同的加权系数进行处理得到每幅相同分辨率的低分辨率图像的加权平均值图像，然后计算这些相同分辨率的低分辨率图像的加权平均值图像之间的相似性，提高了参与计算的图像之间的相似性，具体方案包括：

1、一种图像信息处理方法，其特征在于：

信息发送端包含如下步骤：

1)将需要处理的高分辨率视频图像信息采用等间隔取样生成多幅相同分辨率的低分辨率图像；

2)设定多个加权系数，并设定其中一个加权系数大于其余加权系数，所述多个加权系数中最大的一个称为第一加权系数，其余加权系数称为第二加权系数组，所述第二加权系数组内的数据相同或不同，所述第二加权系数组与每幅低分辨率图像的对应关系预先确定；所述加权系数不小于0且加权系数之和大于0

3)所述多幅相同分辨率的低分辨率图像分别以其中一幅低分辨率图像乘以第一加权系数加上其余低分辨率图像分别乘以第二加权系数组中所对应的加权系数后再除以加权系数之和生成多幅加权平均值图像；

4)以所述多幅加权平均值图像的其中一幅作为基准参考图像，用相关性分析方法获得所述多幅加权平均值图像的其余各幅分别与基准参考图像的相关系数，其中所述相关性分析方法为线性或非线性方法；

5)将所述基准参考图像、所述相关系数、第一加权系数和第二加权系数组作为进行信息处理的原始数据或者将所述基准参考图像、所述相关系数、第一加权系数和第二加权系数组作为信息发送数据；

信息接收端包含如下步骤：

6)收到数据是进行信息处理后的数据或者收到数据是基准参考图像、相关系数、第一加权系数和第二加权系数组；当收到数据是进行信息处理后的数据时，通过所述信息处理的对应处理方法得到基准参考图像、相关系数、第一加权系数和第二加权系数；

7)根据所述基准参考图像、所述相关系数、第一加权系数和第二加权系数组计算得到多幅低分辨率图像和/或计算得到多幅低分辨率图像的加权平均值图像；

8)将所述计算得到的多幅低分辨率图像和/或多幅低分辨率图像的加权平均值图像重新组合形成一幅高分辨率图像或者将所述基准参考图像和所述计算得到的多幅低分辨率图像重新组合形成一幅高分辨率图像或者将所述基准参考图像和所述计算得到的多幅低分辨率图像的加权平均值图像重新组合形成一幅高分辨率图像。

其中线性相似性数学描述式如下：

设定在信息发送端生成的多幅低分辨率的图像分别为Y1、Y2、Y3、…、Yn；加权系数分别为K1、K2、K3、…、Kn，并设定其中一个加权系数大于其余加权系数，假设为K1，即K1大于其余加权系数K2、K3、…、Kn，所述加权系数K2、K3、…、Kn与每幅低分辨率图像的对应关系可以预先确定，则每幅低分辨率的图像的加权平均值图像S1、S2…、Sn：

S1＝(K1*Y1+K2*Y2+K3*Y3…+Kn*Yn)/(K1+K2+…+Kn)

S2＝(K1*Y2+K2*Y1+K3*Y3+…+Kn*Yn)/(K1+K2+…+Kn)

………

Sn＝(K1*Yn+Kn*Y1+K2*Y2+K3*Y3+…+K(n-1)*Y(n-1))/(K1+K2+…+Kn)

以加权平均值图像S1、S2…、Sn中的一个作为基准参考图像，例如设定为S1，计算其他加权平均值图像S2…、Sn与基准参考图像的线性相关系数分别为r2，b2；r3，b3；…；rn，bn。设多幅低分辨率的图像的计算图像分别为Y2’、Y3’、…、Yn’，则：

Y2’＝r2*Y+b2

Y3’＝r3*Y+b3

………

Yn’＝rn*Y+bn

可以将S1、Y2’、Y3’、…、Yn’按信息发送端的抽样顺序对应插入数据进行组合得到高分别率图像。也可以把S1、Y2’、Y3’、…、Yn’看成是原始低分辨率图像的加权平均值图像的近似值，即：

S1＝(K1*Y1”+K2*Y2”+K3*Y3”…+Kn*Yn”)/(K1+K2+…+Kn)

Y2’＝(K1*Y2”+K2*Y1”+K3*Y3”+…+Kn*Yn”)/(K1+K2+…+Kn)

Y3’＝(K1*Y3”+K3*Y1”+K2*Y2”+K4*Y4”+…+Kn*Yn”)/(K1+K2+…+Kn)

Yn’＝(K1*Yn”+Kn*Y1”+K2*Y2”+K3*Y3”+…+K(n-1)*Y(n-1)”)/(K1+K2+…+Kn)

通过求解上述方程组计算得到Y1”、Y2”、Y3”、…、Yn”，然后将Y1”、Y2”、Y3”、…、Yn”按信息发送端的抽样顺序对应插入数据进行组合得到高分别率图像。

该方案的优化方案是加权系数分别为K1、K2、K3、…、Kn只取两个值，其中一个值大于另一个，即设定K1＞K2＝K3＝…＝Kn。

在上述方案中由于先计算每幅低分辨率的图像的加权平均值图像并以其中一幅加权平均值图像作为基准参考图像提高了参与相似性计算的图像之间的相似性，而且线性化程度更高，更适合线性相关性计算。每幅低分辨率的图像的加权平均值图像已经包含了多幅相同分辨率的低分辨率图像的数据信息，特别是对于多幅相同分辨率的低分辨率图像之间的差异信息部分在每幅低分辨率的图像的加权平均值图像存在部分信息，因此在信息接收端接收的信息数据量没有增加的情况下，提高了组合得到高分别率图像的质量。

本发明的第三种技术方案是改变基准参考图像的选择方法的同时并将多幅相同分辨率的低分辨率图像进行分别按不同的加权系数进行处理得到每幅相同分辨率的低分辨率图像的加权图像，然后计算这些相同分辨率的低分辨率图像的加权图像之间的相似性，提高了参与计算的图像之间的相似性，具体方案包括：

1、一种信息处理方法，其特征在于：

信息发送端包含如下步骤：

1)将需要处理的高分辨率视频图像信息采用等间隔取样生成多幅相同分辨率的低分辨率图像；

2)设定多个加权系数，并设定其中一个加权系数大于其余加权系数，所述多个加权系数中最大的一个称为第一加权系数，其余加权系数称为第二加权系数组，所述第二加权系数组内的数据相同或不同，所述第二加权系数组与每幅低分辨率图像的对应关系预先确定；所述加权系数不小于0且加权系数之和大于0

3)所述多幅相同分辨率的低分辨率图像分别以其中一幅低分辨率图像乘以第一加权系数加上其余低分辨率图像分别乘以第二加权系数组中所对应的加权系数生成多幅加权图像；

4)以所述多幅加权图像的其中一幅作为基准参考图像，用相关性分析方法获得所述多幅加权图像的其余各幅分别与基准参考图像的相关系数，其中所述相关性分析方法为线性或非线性方法；

5)将所述基准参考图像、所述相关系数、第一加权系数和第二加权系数组作为进行信息处理的原始数据或者将所述基准参考图像、所述相关系数、第一加权系数和第二加权系数组作为信息发送数据；

信息接收端包含如下步骤：

6)收到数据是进行信息处理后的数据或者收到数据是基准参考图像、相关系数、第一加权系数和第二加权系数组；当收到数据是进行信息处理后的数据时，通过所述信息处理的对应处理方法得到基准参考图像、相关系数、第一加权系数和第二加权系数组；

7)根据所述基准参考图像、所述相关系数、第一加权系数和第二加权系数组计算得到多幅低分辨率图像和/或计算得到多幅低分辨率图像的加权平均值图像；

8)将所述计算得到的多幅低分辨率图像和/或多幅低分辨率图像的加权平均值图像重新组合形成一幅高分辨率图像或者将所述基准参考图像除以加权系数之和得到的加权平均值图像与所述计算得到的多幅低分辨率图像重新组合形成一幅高分辨率图像。

其中线性相似性数学描述式如下：

设定在信息发送端生成的多幅低分辨率的图像分别为Y1、Y2、Y3、…、Yn；加权系数分别为K1、K2、K3、…、Kn，并设定其中一个加权系数大于其余加权系数，假设为K1，即K1大于其余加权系数K2、K3、…、Kn，则每幅低分辨率的图像的加权图像S1、S2…、Sn：

S1＝(K1*Y1+K2*Y2+K3*Y3…+Kn*Yn)

S2＝(K1*Y2+K2*Y1+K3*Y3+…+Kn*Yn)

………

Sn＝(K1*Yn+Kn*Y1+K2*Y2+K3*Y3+…+K(n-1)*Y(n-1))

以加权图像T1、T2…、Tn中的一个作为基准参考图像，例如设定为T1，计算其他加权平均值图像T2…、Tn与基准参考图像的线性相关系数分别为r2，b2；r3，b3；…；rn，bn。设多幅低分辨率的图像的计算图像分别为Y2’、Y3’、…、Yn’，则：

Y2’＝r2*Y+b2

Y3’＝r3*Y+b3

………

Yn’＝rn*Y+bn

把T1、Y2’、Y3’、…、Yn’看成是原始低分辨率图像的加权图像的近似值，即：

T1＝(K1*Y1”+K2*Y2”+K3*Y3”…+Kn*Yn”)

Y2’＝(K1*Y2”+K2*Y1”+K3*Y3”+…+Kn*Yn”)

Y3’＝(K1*Y3”+K3*Y1”+K2*Y2”+K4*Y4”+…+Kn*Yn”)

………

Yn’＝(K1*Yn”+Kn*Y1”+K2*Y2”+K3*Y3”+…+K(n-1)*Y(n-1)”)

通过求解上述方程组计算得到Y1”、Y2”、Y3”、…、Yn”，然后将Y1”、Y2”、Y3”、…、Yn”按信息发送端的抽样顺序对应插入数据进行组合得到高分别率图像。

也可以根据T1、Y2’、Y3’、…、Yn’计算得到多幅低分辨率图像的加权平均值图像Y1”’、Y2”’、Y3”’、…、Yn”’计算式为：

Y1”’＝T1/(K1+K2+K3+...+Kn)

Y2”＝Y2’/(K1+K2+K3+...+Kn)

Y3”’＝Y3/(K1+K2+K3+...+Kn)

………

Yn”’＝Yn’/(K1+K2+K3+...+Kn)

然后将Y1”’、Y2”’、Y3”’、…、Yn”’按信息发送端的抽样顺序对应插入数据进行组合得到高分别率图像。

该方案的优化方案是加权系数分别为K1、K2、K3、…、Kn只取两个值，其中一个值大于另一个，即设定K1＞K2＝K3＝…＝Kn。

当第三种方案满足K1+K2+K3+…+Kn＝1时，第三种方案与第一种方案一致。

当第三种方案满足K1+K2+K3+…+Kn＞1时，每幅低分辨率的图像的加权图像T1、T2…、Tn中每个像素点的数据值被扩大，因此需要更多的数据位来表示像素点的数据，因此该方案所传输的基准参考图像的数据量大于第一种方案和第二种方案。比如当K1+K2+K3+…+Kn＝256时，每个像素点的数值被扩大256倍，每个像素点的每个颜色数据量增加了一个字节。但优选的是当K1+K2+K3+…+Kn大于或等于256时，其图像恢复的质量很高，加权图像S1、S2…、Sn之间的线性相关性很高。

优选的是K1、K2、K3、…、Kn之间大小相近，线性度会提高，但当K1、K2、K3、…、Kn基本相等时会造成图像边沿的模糊。优选的是当K1+K2+K3+…+Kn＝1时，K1取0.3至0.4之间，K2＝K3＝…＝Kn取0.2至0.3之间可以得到较好的图像质量；优选的是当K1+K2+K3+…+Kn＝256时，K1取70至90之间，K2＝K3＝…＝Kn取50至70之间可以得到较好的图像质量

在上述方案中由于先计算每幅低分辨率的图像的加权图像并以其中一幅加权图像作为基准参考图像提高了参与相似性计算的图像之间的相似性，而且线性化程度更高，更适合线性相关性计算。每幅低分辨率的图像的加权图像已经包含了多幅相同分辨率的低分辨率图像的数据信息，特别是对于多幅相同分辨率的低分辨率图像之间的差异信息部分在每幅加权图像存在部分信息，因此在信息接收端接收的信息量更多，提高了组合得到高分别率图像的质量。

上述方案的数学描述中以线性函数拟合为例进行了描述，本领域的技术人员可以完全以本发明的思想采用其他非线性函数进行拟合，比如采用二次或更高次的曲线函数进行拟合。

在进行编码压缩处理前，将高分辨率图像数据通过间隔取样形成多个低分辨率的相似图像，然后采用相关性最优算法计算这些低分辨率相似图像的相关系数。在信息后续处理和传输中只需要一个低分辨率的图像和其它低分辨率的相似图像的相关系数信息。大大降低了信息传输的数据量，从而提高图像编码压缩效率和传输效率。同时对于作为基准参考图像的低分辨率图像的选择方法，进一步提高了所恢复的高分辨率图像的质量，减少了图像轮廓、边沿等的模糊，进行相关性计算的图像之间的相关性更好，数据拟合的偏差度更小。采用相关性计算多个低分辨率的相似图像的相关系数，计算量少，相对于不采用该技术的图像编解码技术，计算效率更高。

附图说明

图1是现有技术将一个8X8大小的图像数据按行等间隔和按列等间隔取样数据生成4个低分辨率4X4大小的全景图像方法示例示意图。

图2是现有技术将4个低分辨率4X4大小的全景图像通过选择基准参考图像、计算线性相关系数、按约定顺序存放基准参考图像和线性系数的方法示例示意图。

图3是本发明将4个低分辨率4X4大小的全景图像通过选择基准参考图像、计算线性相关系数、按约定顺序存放基准参考图像和线性系数的方法第一种实现示意图。

图4和图5是本发明将4个低分辨率4X4大小的全景图像通过选择基准参考图像、计算线性相关系数、按约定顺序存放基准参考图像和线性系数的方法第二种实现示意图。

图6是本发明第一种技术方案实现在信息发送端的流程图

图7本发明第一种技术方案实现在信息接收端的流程图

图8是本发明第二种技术方案实现在信息发送端的流程图

图9本发明第二种技术方案实现在信息接收端的流程图

图10是本发明第三种技术方案实现在信息发送端的流程图

图11本发明第三种技术方案实现在信息接收端的流程图

具体实施方式

下面结合附图和实施示例对本发明的技术方案进一步详细说明：

图1是现有技术将一个8X8大小的图像数据按行等间隔和按列等间隔取样数据生成4个低分辨率4X4大小的全景图像方法示例示意图，图中假定高分辨率视频原始图像数据是8X8的数据阵列，采用隔行隔列等间隔抽取数据生成4个4X4大小的低分辨率图像数据。这4个4X4大小的低分辨率图像数据包含了原8X8图像的全部数据。这样的数据抽取方法是4个4X4大小的低分辨率图像数据具有很强的视觉相似性。并且其中任何一个4X4大小的低分辨率图像数据都是均匀的从原图像抽取的，与原图像也具有视觉相似性。

图2是现有技术将4个低分辨率4X4大小的全景图像通过选择基准参考图像、计算线性相关系数、按约定顺序存放基准参考图像和线性系数的方法示例示意图。在图中，我们选定第一个低分辨率4X4大小的全景图像作为基准参考图像，然后分别计算其余低分辨率4X4大小的全景图像与基准参考图像的最优线性相关系数S1、S2、S3、S4、S5、S6。将基准参考图像数据阵列与线性相关系数S1、S2、S3、S4、S5、S6按预先约定的存放顺序存放形成新的数据阵列6X4大小。这个6X4大小数据阵列是图像进行后续压缩编码的原始数据信息。显然需要压缩编码处理的信息量大大减少。

现有技术中由于选择基准参考图像的方法是从多幅低分辨率全景图像中选择一幅，当图像的轮廓或边沿很细小时，比如当图像中有一条仅有一个像素点粗细的线段或曲线，由于在将高分辨率图像等间隔取样生成低分辨率全景图像时，这些细小的线段或曲线数据不会同时出现在多幅低分辨率全景图像中，选择任何一幅低分辨率全景图像都无法通过现有技术的相关性算法恢复出线段或曲线的全部信息，因此出现边沿模糊、轮廓不清晰的情况。

图3是本发明将4个低分辨率4X4大小的全景图像通过选择基准参考图像、计算线性相关系数、按约定顺序存放基准参考图像和线性系数的方法第一种实现示意图。相比于现有技术，本发明的第一种实现中对于基准参考图像的选择进行了特殊处理。即基准参考图像的信息包含了每幅低分辨率全景图像的信息，在进行相似性计算中可以基本恢复出高分辨率图像的全部轮廓信息和边沿信息。所述基准参考图像的特殊处理可以采用为每幅低分辨率全景图像赋予不同或相同的加权系数，然后计算每个像素点的加权平均值作为基准参考图像的对应像素点信息。比如图3中的基准参考图像的像素点b11的计算式如下：

b11＝(K1*a11+K2*a12+K3*a21+K4*a22)/(K1+K2+K3+K4)

其中K1、K2、K3、K4为加权系数，K1、K2、K3、K4的取值为非负数且加权系数之和大于0。优化的选择是K1＝K2＝K3＝K4且K1+K2+K3+K4＝1。

图6是本发明第一种技术方案实现在信息发送端的流程图。相应于图3的基准参考图像选择方法，图中表明在信息发送端，将高分辨率图像数据按如下处理步骤完成后再进行压缩编码。

对于信息发送端：在步骤601获取高分辨率视频图像数据阵列，经过步骤602按行等间隔和按列等间隔取样生成多幅低分辨率图像数据阵列，然后在步骤603计算所述多幅分辨率的低分辨率图像的加权平均值图像并在步骤604时以加权平均值图像作为基准参考图像数据，随后在步骤605中计算其余低分辨率视频图像数据分别与基准参考图像数据的最优线性系数，最后在步骤606中将基准参考图像数据和其余低分辨率图像的线性相关系数按约定顺序存放后进入步骤607后续压缩编码处理。

图7本发明第一种技术方案实现在信息接收端的流程图。相应于图3的基准参考图像选择方法，图中表明在信息接收端，将经过解码解压缩获得的数据信息是基准参考图像数据信息和其余低分辨率图像数据的相关系数，按如下处理步骤完成后才能生成一幅高分辨率视频图像数据信息。

对于信息接收端，在步骤701通过解码解压缩后的数据经过步骤702按约定信息存放顺序获得基准参考图像数据和其余低分辨率图像的线性相关系数；然后在步骤703中用基准参考图像数据和线性相关系数计算其余低分辨率视频图像数据并在步骤704中确定基准参考图像数据和其余低分辨率视频图像数据的抽样顺序；最后在步骤705中按行列等间隔插入数据方式将基准参考图像数据和多个低分辨率图像数据阵列合成为高分辨率视频图像数据并在步骤706中再现高分辨率视频图像数据阵列。

由于高分辨率图像数据按本发明所述的方法进行分解生成的低分辨率图像之间存在着较大的视觉相似性，并采用把所有低分辨率图像进行加权平均值计算选取基准参考图像，使对应的图像数据具有较好的线性相关性并使边沿及轮廓信息部分得到恢复，因此在信息压缩编码和传输中可以只需要处理和传输一个基准参考图像的数据和其他低分辨率图像数据的相关系数即可，从而大大降低后续处理的信息数据量，使信息压缩、编解码和传输效率更高。

图4和图5是本发明将4个低分辨率4X4大小的全景图像通过选择基准参考图像、计算线性相关系数、按约定顺序存放基准参考图像和线性系数的方法第二种实现示意图。相比于现有技术，本发明的第二种实现中不仅对于基准参考图像的选择进行了特殊处理，而且对于参与相似性计算的低分辨率图像进行了处理以提高参与计算的低分辨率图像之间的相关性。在图4中将4个低分辨率4X4大小的全景图像分别按如下方法计算加权平均值图像：

设定四个加权系数K1、K2、K3、K4其中K1大于其余加权系数K2、K3、K4，所述加权系数K2、K3、K4与每幅低分辨率图像的对应关系可以预先确定，K1、K2、K3、K4的取值为非负数且加权系数之和大于0。则每幅低分辨率的图像的加权平均值图像B1、B2、B3、B4：

B1＝(K1*Y1+K2*Y2+K3*Y3+K4*Y4)/(K1+K2+K3+K4)

B2＝(K1*Y2+K2*Y1+K3*Y3+K4*Y4)/(K1+K2+K3+K4)

B3＝(K1*Y3+K3*Y1+K2*Y2+K4*Y4)/(K1+K2+K3+K4)

B4＝(K1*Y4+K4*Y1+K2*Y2+K3*Y4)/(K1+K2+K3+K4)

例如，图4中加权平均值图像B1的一个像素点b11的图像数据信息按如下计算：

b11＝(K1*a11+K2*a12+K3*a21+K4*a22)/(K1+K2+K3+K4)

例如，图4中加权平均值图像B2的一个像素点b12的图像数据信息按如下计算：

b12＝(K1*a12+K2*a11+K3*a21+K4*a22)/(K1+K2+K3+K4)

例如，图4中加权平均值图像B3的一个像素点b21的图像数据信息按如下计算：

b21＝(K1*a21+K3*a11+K2*a12+K4*a22)/(K1+K2+K3+K4)

例如，图4中加权平均值图像B4的一个像素点b22的图像数据信息按如下计算：

b22＝(K1*a22+K4*a11+K2*a12+K3*a21)/(K1+K2+K3+K4)

然后在图5中选择加权平均值图像B1、B2、B3、B4中的一个座位基准参考图像，比如选择B1，然后计算其余加权平均值图像B2、B3、B4项对于基准参考图B1的相关系数S1、S2、S3、S4。需要进行后续信息压缩处理的信息包含基准参考图B1和相关系数S1、S2、S3、S4总共数据信息量为6X4大小，在进行相似性计算中可以基本恢复出高分辨率图像的全部轮廓信息和边沿信息。

图8是本发明第二种技术方案实现在信息发送端的流程图。相应于图4、图5的基准参考图像选择方法，图中表明在信息发送端，将高分辨率图像数据按如下处理步骤完成后再进行压缩编码。

对于信息发送端：在步骤801获取高分辨率视频图像数据阵列，经过步骤802按行等间隔和按列等间隔取样生成n幅相同分辨率的低分辨率图像Y1、Y2、......、Yn，在步骤803中设定第一加权系数K1和第二加权系数K2，所述第一加权系数K1大于所述第二加权系数K2，然后在步骤804按计算式Bi＝((K1-K2)*Yi+K2*(Y1+Y2+......+Yn))/(K1+(n-1)*K2)生成n幅加权平均值图像，并在步骤805时以其中一幅加权平均值图像作为基准参考图像数据，随后在步骤806中计算其余加权平均值图像数据分别与基准参考图像数据的最优线性系数，最后在步骤807中将基准参考图像数据和其余加权平均值图像的线性相关系数按约定顺序存放后进入步骤808后续压缩编码处理。

图9本发明第二种技术方案实现在信息接收端的流程图。相应于图4、图5的基准参考图像选择方法，图中表明在信息接收端，将经过解码解压缩获得的数据信息是基准参考图像数据信息和其余加权平均值图像的相关系数，按如下处理步骤完成后才能生成一幅高分辨率视频图像数据信息。

对于信息接收端，在步骤901通过解码解压缩后的数据经过步骤902按约定信息存放顺序获得基准参考图像数据和其余加权平均值图像的线性相关系数；然后在步骤903中用基准参考图像数据和线性相关系数计算其余加权平均值图像数据并在步骤904中用基准参考图像数据和其余加权平均值图像数据计算多个低分辨率图像数据并在步骤905中确定基准参考图像数据和多个低分辨率图像数据的抽样顺序；最后在步骤906中按行列等间隔插入数据方式将基准参考图像数据和多个低分辨率图像数据阵列合成为高分辨率视频图像数据并在步骤907中再现高分辨率视频图像数据阵列。

由于高分辨率图像数据按本发明所述的方法进行分解生成的低分辨率图像之间存在着较大的视觉相似性，并采用把所有低分辨率图像进行加权平均值计算得到多幅加权平均值图像并从中选择一幅作为选取基准参考图像，使对应多幅加权平均值图像数据具有较好的线性相关性并使边沿及轮廓信息部分得到恢复，因此在信息压缩编码和传输中可以只需要处理和传输一个基准参考图像的数据和其他多幅加权平均值图像数据的相关系数即可，从而大大降低后续处理的信息数据量，使信息压缩、编解码和传输效率更高。

图10是本发明第三种技术方案实现在信息发送端的流程图。图中表明在信息发送端，将高分辨率图像数据按如下处理步骤完成后再进行压缩编码。

对于信息发送端：在步骤1001获取高分辨率视频图像数据阵列，经过步骤1002按行等间隔和按列等间隔取样生成n幅相同分辨率的低分辨率图像Y1、Y2、......、Yn，在步骤1003中设定第一加权系数K1和第二加权系数K2，所述第一加权系数K1大于所述第二加权系数K2，然后在步骤1004按计算式Yi＝(K1-K2)*Yi+K2*(Y1+Y2+......+Yn)生成n幅加权图像，并在步骤1005时以其中一幅加权图像作为基准参考图像数据，随后在步骤1006中计算其余加权图像数据分别与基准参考图像数据的最优线性系数，最后在步骤1007中将基准参考图像数据和其余加权图像的线性相关系数按约定顺序存放后进入步骤1008后续压缩编码处理。

图11本发明第二种技术方案实现在信息接收端的流程图。图中表明在信息接收端，将经过解码解压缩获得的数据信息是基准参考图像数据信息和其余加权图像的相关系数，按如下处理步骤完成后才能生成一幅高分辨率视频图像数据信息。

对于信息接收端，在步骤1101通过解码解压缩后的数据经过步骤1102按约定信息存放顺序获得基准参考图像数据和其余加权图像的线性相关系数；然后在步骤1103中用基准参考图像数据和线性相关系数计算其余加权图像数据并在步骤1104中用基准参考图像数据和其余加权图像数据计算得到多幅低分辨率图像并在步骤1105中确定计算所得到多幅低分辨率图像数据的抽样顺序；最后在步骤1106中按行列等间隔插入数据方式将计算所得到多幅低分辨率图像数据合成为高分辨率视频图像数据并在步骤1107中再现高分辨率视频图像数据阵列。

由于高分辨率图像数据按本发明所述的方法进行分解生成的低分辨率图像之间存在着较大的视觉相似性，并采用把所有低分辨率图像进行加权计算得到多幅加权图像并从中选择一幅作为选取基准参考图像，使对应多幅加权图像数据具有较好的线性相关性并使边沿及轮廓信息部分得到恢复，因此在信息压缩编码和传输中可以只需要处理和传输一个基准参考图像的数据和其他多幅加权图像数据的相关系数即可，从而大大降低后续处理的信息数据量，使信息压缩、编解码和传输效率更高。

Claims (10)

1.一种图像处理方法，其特征在于：

信息发送端包含如下步骤：

1)将需要处理的高分辨率视频图像信息采用等间隔取样生成多幅相同分辨率的低分辨率图像；

2)计算所述多幅相同分辨率的低分辨率图像的加权平均值图像，对每幅相同分辨率的低分辨率图像赋予的加权系数相同或不同；

3)以加权平均值图像为基准参考图像，用相关性分析方法获得所述多幅相同分辨率的低分辨率图像分别与基准参考图像的相关系数，其中所述相关性分析方法为线性或非线性方法；

4)将所述基准参考图像和所述相关系数、所述加权系数作为进行信息处理的原始数据或者将所述基准参考图像和所述相关系数、所述加权系数作为信息发送数据；

信息接收端包含如下步骤：

5)收到数据是进行信息处理后的数据或者收到数据是基准参考图像和相关系数、所述加权系数；当收到数据是进行信息处理后的数据时，通过所述信息处理的对应处理方法得到基准参考图像和相关系数、所述加权系数；

6)根据所述基准参考图像和所述相关系数、所述加权系数计算得到多幅低分辨率图像；

7)将所述计算得到的多幅低分辨率图像重新组合形成一幅高分辨率图像或者将所述基准参考图像和所述计算得到的多幅低分辨率图像重新组合形成一幅高分辨率图像。

2.根据权利要求1所述的图像处理方法，其特征在于所述的步骤1)中，所述等间隔取样是按行等间隔取样或按列等间隔取样或同时按行等间隔和按列等间隔取样，所述按行等间隔取样是单行等间隔或多行等间隔，所述按列等间隔取样是单列等间隔或多列等间隔。

3.根据权利要求1所述的图像处理方法，其特征在于所述步骤3)中，采用相关性分析方法计算其余每个低分辨率图像数据与基准参考图像数据的最优相关系数。

4.根据权利要求1所述的图像处理方法，其特征在于所述的步骤7)中，所述多幅低分辨率的图像按信息发送端的抽样顺序对应插入数据进行组合；或者用基准参考图像替代其中一幅低分辨率的图像，然后与其余低分辨率的图像按信息发送端的抽样顺序对应插入数据进行组合；或者先将基准参考图像和计算得到多幅低分辨率的图像与加权系数采用加权平均计算的逆运算计算得到原始多幅低分辨率的图像的计算数据，然后用计算得到原始多幅低分辨率的图像的计算数据按信息发送端的抽样顺序对应插入数据进行组合。

5.根据权利要求2所述的图像处理方法，其特征在于所述步骤3)中，采用相关性分析方法计算其余每个低分辨率图像数据与基准参考图像数据的最优相关系数。

6.根据权利要求2所述的图像处理方法，其特征在于所述的步骤7)中，所述多幅低分辨率的图像按信息发送端的抽样顺序对应插入数据进行组合；或者用基准参考图像替代其中一幅低分辨率的图像，然后与其余低分辨率的图像按信息发送端的抽样顺序对应插入数据进行组合；或者先将基准参考图像和计算得到多幅低分辨率的图像与加权系数采用加权平均计算的逆运算计算得到原始多幅低分辨率的图像的计算数据，然后用计算得到原始多幅低分辨率的图像的计算数据按信息发送端的抽样顺序对应插入数据进行组合。

7.根据权利要求3所述的图像处理方法，其特征在于所述的步骤7)中，所述多幅低分辨率的图像按信息发送端的抽样顺序对应插入数据进行组合；或者用基准参考图像替代其中一幅低分辨率的图像，然后与其余低分辨率的图像按信息发送端的抽样顺序对应插入数据进行组合；或者先将基准参考图像和计算得到多幅低分辨率的图像与加权系数采用加权平均计算的逆运算计算得到原始多幅低分辨率的图像的计算数据，然后用计算得到原始多幅低分辨率的图像的计算数据按信息发送端的抽样顺序对应插入数据进行组合。

8.根据权利要求5所述的图像处理方法，其特征在于所述的步骤7)中，所述多幅低分辨率的图像按信息发送端的抽样顺序对应插入数据进行组合；或者用基准参考图像替代其中一幅低分辨率的图像，然后与其余低分辨率的图像按信息发送端的抽样顺序对应插入数据进行组合；或者先将基准参考图像和计算得到多幅低分辨率的图像与加权系数采用加权平均计算的逆运算计算得到原始多幅低分辨率的图像的计算数据，然后用计算得到原始多幅低分辨率的图像的计算数据按信息发送端的抽样顺序对应插入数据进行组合。

9.根据权利要求1至8中任一项所述的图像处理方法，其特征在于所述进行信息处理的图像数据是低分辨率的基准参考图像和计算出来的反映其余低分辨率图像数据的相关系数，所述基准参考图像和所述相关系数的存放顺序是预先约定。

10.根据权利要求1至8中任一项所述的图像处理方法，其特征在于所述信息处理包含图像的编码运算和/或压缩运算；所述信息处理的对应处理方法包含解码运算和/或解压缩运算。

Images