CN105611303A

CN105611303A - 图像压缩系统、解压缩系统、训练方法和装置、显示装置

Info

Publication number: CN105611303A
Application number: CN201610127676.6A
Authority: CN
Inventors: 那彦波; 张丽杰; 李晓宇; 何建民
Original assignee: BOE Technology Group Co Ltd
Current assignee: BOE Technology Group Co Ltd
Priority date: 2016-03-07
Filing date: 2016-03-07
Publication date: 2016-05-25
Anticipated expiration: 2036-03-07
Also published as: CN105611303B; WO2017152499A1; US20180184102A1; US10015510B1

Abstract

本发明公开一种图像压缩系统、解压缩系统、训练方法和装置、显示装置，该图像压缩系统中，采用卷积神经网络模块完成更新和预测的过程，这样通过对卷积神经网络模块中的各个滤波器单元中的权值进行训练即可使得相应的图像压缩系统具有较佳的压缩率，降低了图像压缩单元及图像解压缩单元中滤波参数设定的难度。

Description

图像压缩系统、解压缩系统、训练方法和装置、显示装置

技术领域

本发明涉及显示技术领域，尤其是涉及一种图像压缩系统、解压缩系统、训练方法和装置、显示装置。

背景技术

小波转换是多分辨率图像转换的一种方式，常用于对图像压缩中。小波变换的应用包括JPEG2000标准中的变换转码。小波变换的目的是以整幅图像的一部分图像代表整幅原始图像，利用低分辨率图像(原始图像中的一部分图像)以及恢复到整幅原始图像的所需的一些差异特征能够得到原始图像。提升法是小波变换中的一种有效的实施方式，并且也是构造小波时的一种灵活的工具。图1中示出了1D数据一种典型结构。左边对应于编码器。编码器使用预测滤波器p和一个更新滤波器u对图像进行压缩得到低分辨率图像A和细节(D)。在压缩应用中，D的期望值大约为0，这样大部分信息都能包含在A中。在解压缩时，利用相同的更新滤波器u和预测滤波器p，不过相反排列。很容易证明，这种设置导致输出＝输入，而对滤波器p和u没有要求。一般的，这样的滤波器p和u中各个滤波单元的滤波参数都是人为设定的，这样设定的权重值很难使得相应的编码器获得最佳或者近似最佳的压缩率，且人为设定过程及其繁琐复杂，容易出错。

发明内容

本发明的一个目的在于降低图像压缩单元及图像解压缩单元中各个滤波参数设定的难度。

本发明提供了一种图像压缩系统，包括第一图像压缩单元或者第二图像压缩单元，并具有输出接口；

第一图像压缩单元和所述第二图像压缩单元均具有一个第一图像输入端、多个第二图像输入端、第一卷积神经网络模块、图像差异获取模块、第二卷积神经网络模块、图像叠加模块；

其中，第一图像压缩单元中，

所述第一卷积神经网络模块与所述第一图像输入端相连，用于在接收到所述第一图像输入端提供的第一图像后，根据所述第一图像分别预测各第二图像输入端接收到的各第二图像，得到多幅与各第二图像一一对应的预测图像；

所述图像差异获取模块与所述第一卷积神经网络模块、所述输出接口以及与各所述第二图像输入端相连，用于获取所述多幅预测图像和每幅预测图像对应的第二图像，确定每个第二图像和对应的预测图像之间的差异特征，将各差异特征作为一个差异特征集合，并将得到的差异特征集合通过所述输出接口输出；

所述第二卷积神经网络模块与所述图像差异获取模块相连，对所述差异特征集合进行更新得到对应的更新特征；

所述图像叠加模块与所述第二卷积神经网络模块、所述输出接口以及所述第一图像输入端相连，用于将所述更新特征和所述第一图像进行叠加，得到叠加图像，将所述叠加图像从输出接口输出；

其中，第二图像压缩单元中，

所述第二卷积神经网络模块与所述多个第二图像输入端相连，用于对各个第二图像输入端提供的各幅第二图像进行更新，得到对应的更新特征；

所述图像叠加模块与所述第二卷积神经网络模块、所述第一图像输入端以及所述输出接口相连，用于将所述更新特征与所述第一图像输入端提供的第一图像进行叠加得到叠加图像，并将叠加图像通过所述输出接口输出；

所述第一卷积神经网络模块与所述图像叠加模块相连，用于根据所述叠加图像预测各幅第二图像；

所述图像差异获取模块与所述第一卷积神经网络模块、所述输出接口以及各个第二图像输入端相连，用于获取所述多幅预测图像和每幅预测图像对应的第二图像，确定每个第二图像和对应的预测图像之间的差异特征，将各差异特征作为一个差异特征集合，并将得到的差异特征集合通过所述输出接口输出。

本发明还提供了一种图像压缩系统，包括多级图像压缩单元以及输出接口；所述多级图像压缩单元中的每一级图像压缩单元为第一图像压缩单元或者第二图像压缩单元；

其中，第一图像压缩单元和所述第二图像压缩单元均具有第一图像输入端、第二图像输入端、第一卷积神经网络模块、图像差异获取模块、第二卷积神经网络模块、图像叠加模块；其中，第一图像压缩单元中，

所述图像叠加模块与所述第二卷积神经网络模块以及所述第一图像输入端相连，用于将所述更新特征和所述第一图像进行叠加，得到叠加图像；

第二图像压缩单元中，

所述第二卷积神经网络模块与所述多个第二图像输入端相连，用于对各个第二图像输入端提供的各幅第二图像进行更新，得到各第二图像的更新特征；

所述图像叠加模块与所述第二卷积神经网络模块、所述第一图像输入端相连，用于将所述更新特征与所述第一图像输入端提供的第一图像进行叠加得到叠加图像；

所述第一卷积神经网络模块与所述图像叠加模块相连，用于根据所述叠加图像预测各个第二图像；

所述图像差异获取模块与所述第一卷积神经网络模块、所述输出接口以及各个第二图像输入端相连，用于获取所述多幅预测图像和每幅预测图像对应的第二图像，确定每个第二图像和对应的预测图像之间的差异特征，将各差异特征作为一个差异特征集合，并将得到的差异特征集合通过所述输出接口输出；

相邻两级的图像压缩单元中，上一级图像压缩单元的第一图像输入端的个数为多个，且其图像叠加单元与下一级图像压缩单元的第一图像输入端和第二图像输入端相连，还用于将得到的多幅叠加图像中的一部分图像作为第一图像一对一输入到所连接的下一级图像压缩单元的第一图像输入端，将另一部分图像作为第二图像一对一输入到所连接的第二图像输入端；

最后一级图像压缩单元的图像叠加单元与所述输出接口相连，还用于将得到的叠加图像通过所述输出接口输出。

本发明还提供了一种图像解压缩系统，包括图像解压缩单元；所述图像解压缩单元为第一图像解压缩单元或第二图像解压缩单元；

所述第一图像解压缩单元和第二图像解压缩单元均包括叠加图像输入端、差异特征输入端、第一卷积神经网络模块、去差异模块、第二卷积神经网络模块、图像去叠加模块和输出端；

所述第一图像解压缩单元中，

所述第二卷积神经网络模块与所述去差异模块以及差异特征输入端相连，用于对差异特征输入端提供的差异特征集合进行更新得到对应的更新特征；所述差异特征集合为各个第二图像中每一幅图像与其对应的预测图像的差异特征的集合；

所述图像去叠加模块与所述第二卷积神经网络模块、所述输出端以及所述叠加图像输入端相连，用于使用更新特征对叠加图像输入端提供的叠加图像进行去叠加，得到第一图像通过所述输出端输出；所述叠加图像为所述差异特征集合对应的更新特征与第一图像进行叠加得到的图像；

所述第一卷积神经网络模块与所述图像去叠加模块相连，用于利用第一图像预测各个第二图像，并将预测结果输出到所述去差异模块；

所述去差异模块与所述第一卷积神经网络模块、所述差异特征输入端以及所述输出端相连，用于获取各个第二图像的预测图像以及所述差异特征集合，并根据每一个第二图像的预测图像以及该第二图像对应的差异特征得到该第二图像并通过所述输出端输出；

所述第二图像解压缩单元中；

所述第一卷积神经网络模块与所述叠加图像输入端相连，用于根据叠加图像输入端接收到的叠加图像预测各个第二图像；所述叠加图像为所述差异特征集合对应的更新特征与第一图像进行叠加得到的图像；所述叠加图像为所述差异特征集合对应的更新特征与第一图像进行叠加得到的图像；

所述去差异模块与所述第一卷积神经网络模块、所述输出端以及所述差异特征输入端相连，用于获取差异特征集合以及各幅第二图像对应的多幅预测图像；并根据每一幅第二图像的预测图像和该第二图像对应的差异特征得到该第二图像并通过所述输出端输出；

所述第二卷积神经网络模块与所述去差异模块相连，用于对各幅第二图像进行更新得到对应的更新特征；

所述图像去叠加模块与所述第二卷积神经网络模块、所述叠加图像输入端以及所述输出端相连，用于根据所述更新特征对所述叠加图像输入端提供的叠加图像进行去叠加，得到第一图像并通过输出端输出。

本发明还提供了另一种图像解压缩系统，包括多级的图像解压缩单元；所述图像解压缩单元为第一图像解压缩单元或第二图像解压缩单元；

所述第一图像解压缩单元和第二图像解压缩单元均包括叠加图像输入端、差异特征集合输入端、第一卷积神经网络模块、去差异模块、第二卷积神经网络模块、图像去叠加模块和输出端；

所述第一图像解压缩单元中，

所述第二卷积神经网络模块与所述去差异模块以及差异特征输入端相连，用于对差异特征输入端提供的差异特征集合进行更新得到对应的更新特征；所述差异特征集合为各幅第二图像中每一幅图像与其对应的预测图像的差异特征的集合；

所述图像去叠加模块与所述第二卷积神经网络模块、所述输出端以及所述叠加图像输入端相连，用于使用所述更新特征对叠加图像输入端提供的叠加图像进行去叠加，得到第一图像并通过所述输出端输出；所述叠加图像为所述差异特征集合对应的更新特征与第一图像进行叠加得到的图像；

所述第一卷积神经网络模块与图像去叠加模块相连，用于利用第一图像预测各幅第二图像，并将预测结果输出到所述去差异模块；

所述去差异模块与所述第一卷积神经网络模块、所述差异特征输入端以及所述输出端相连，用于获取各幅第二图像的预测图像以及所述差异特征集合，并根据每一幅第二图像的预测图像以及该第二图像对应的差异特征得到该第二图像并通过所述输出端输出；

所述第二图像解压缩单元中；

所述去差异模块与所述第一卷积神经网络模块、所述输出端以及所述差异特征输入端相连，用于获取差异特征集合以及各个第二图像对应的多幅预测图像；并根据每一幅第二图像的预测图像和该第二图像对应的差异特征得到该第二图像并通过所述输出端输出；

所述图像去叠加模块与所述第二卷积神经网络模块、所述叠加图像输入端以及所述输出端相连，用于根据所述更新特征对所述叠加图像输入端提供的叠加图像进行去叠加，得到第一图像并通过输出端输出；

相邻两级的图像解压缩单元中，上一级图像解压缩单元的输出端连接下一级图像压缩单元的叠加图像输入端。

本发明还提供了一种上述任一项所述的图像压缩系统进行训练的方法，包括：

将待压缩的图像输入到图像压缩系统中，分别调节第一卷积神经网络模块和第二卷积神经网络模块中各卷积层中的各滤波单元的权值直到代价函数的值达到最小：代价函数L为：其中，Dm为差异特征集合中的第m个差异特征，M为差异特征集合的个数；A为所述图像压缩系统最终输出的叠加图像；LR为所述预设图像对应的低分辨率图像；其中，x(n)为X中的第n个元素，N为X中元素的总个数。

本发明还提供了一种图像压缩系统进行训练的装置，包括：

调节模块，用于将预设图像作为待压缩的图像输入到图像压缩系统中，调节第一卷积神经网络模块和第二卷积神经网络模块中各卷积层中的各滤波单元的权值使得代价函数L的值最小：

L = Σ_{m = 1}^{M} | | D m | |_{p} + | | A - L R | |_{q}

其中，Dm为差异特征集合中的第m个差异特征，M为差异特征集合的个数；A为所述图像压缩系统最终输出的叠加图像；LR为所述预设图像对应的低分辨率图像；其中，x(n)为X中的第n个元素，N为X中元素的总个数。

本发明还提供了一种显示装置，包括上述任一项所述的图像压缩系统；和/或，上述任一项所述的图像解压缩系统。

再一方面，本发明提供了一种显示装置，包括上述任一项所述的图像压缩系统；和/或，上述任一项所述的图像解压缩系统。

本发明提供的图像压缩系统中，采用卷积神经网络模块完成更新和预测的过程，这样通过对卷积神经网络模块中的各个滤波器单元中的权值进行训练即可使得相应的图像压缩系统具有较佳的压缩率，降低了图像压缩单元及图像解压缩单元中滤波参数设定的难度。

附图说明

通过参考附图会更加清楚的理解本发明的特征信息和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：

图1为一种图像压缩系统的结构示意图；

图2本发明一实施例提供的图像压缩系统的结构示意图；

图3为本发明一实施例提供的图像解压缩系统的结构示意图；

图4为本发明另一实施例提供的图像压缩系统的结构示意图；

图5为本发明另一实施例提供的图像解压缩系统的结构示意图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

实施例一

本发明实施例一提供的图像压缩系统的结构可以参考图2，包括：拆分单元DM、图像压缩单元C，并具有输入接口INPUT和四个输出接口。

拆分单元DM连接输入接口INPUT，用于将输入到输入接口INPUT的每幅原始图像拆分为四幅子图像，例如，分别为第一子图像UL、第二子图像UR、第三子图像BL和第四子图像BR；以及用于将所述的四幅子图像分别通过第一输出端～第四输出端输出到图像压缩单元C进行压缩。

图像压缩单元C包括：第一卷积神经网络模块P、差异获取模块Y、第二卷积神经网络模块U、图像叠加模块Z；

第一卷积神经网络模块P位于拆分单元DM的一个输出端和差异获取模块Y之间，用于接收第一子图像UL，并根据所述第一子图像UL分别预测第二子图像、第三子图像、第四子图像，得到与第二子图像～第四子图像一一对应的第二预测图像～第四预测图像(以下简称UR’、BL’和BR’)，并将预测图像UR’、BL’和BR’输入到所述差异获取模块Y中。

差异获取模块Y还与拆分单元DM其他三个输出端、第二卷积神经网络模块U以及其中三个输出接口相连，用于在接收到来自第一卷积神经网络模块P的预测图像UR’、BL’和BR’后，分别确定预测图像UR’、BL’和BR’与各预测图像对应的子图像(如第二子图像～第四子图像)之间的差异特征，得到第一差异特征Dh、第二差异特征Dd、第三差异特征Dv，一方面通过图像压缩单元C的三个输出接口输出；另一方面将三个差异特征Dh，Dd，Dv输出到第二卷积神经网络模块U。

第二卷积神经网络模块U与图像叠加模块Z相连，用于对接收到的三个差异特征Dh、Dd、Dv进行更新，得到对应于三个差异特征Dh，Dd，Dv的更新特征，并将该更新特征输出到所述图像叠加模块Z。

图像叠加模块Z用于接收来自拆分单元DM的第一子图像UL，以及来自第二卷积神经网络模块U的更新特征，将所述第一子图像UL和所述更新特征进行叠加，得到对应的叠加图像A并通过该图像压缩单元的另一个输出接口输出。

对应于上述的图像压缩系统，本发明实施例还提供了一种图像解压缩系统，可用于对图2中所述的图像压缩系统得到的压缩图像进行解压缩得到原始图像。参见图3，该图像解压缩系统包括：图像解压缩单元DC和拼接单元M，并具有输出接口OUTPUT；

该图像解压缩单元DC包括：第二卷积神经网络模块U、图像去叠加模块Z’、第一卷积神经网络模块P、去差异模块Y’，以及四个输入端和四个输出端。第一输入端用于接收待解压的叠加图像，如，接收叠加图像A，该叠加图像A可以为图2所示的图像压缩系统输出的叠加图像A。

第二输入端～第四输入端则用于分别接收差异特征Dh、Dd、Dv，所述差异特征Dh、Dd、Dv分别为第二子图像UR和第二预测图像UR’的差值，第三子图像BR和第三预测图像BR’的差值，第四子图像BL和第四预测图像BL’的差值(即上述预测图像UR’、BR’和BL’分别与子图像UR、BR和BL的差异)。

第二卷积神经网络模块U与图像去叠加模块Z’以及三个差异特征输入端相连，用于对差异特征输入端接收到的差异特征Dh，Dd，Dv进行更新得到对应的更新特征并输出到图像去叠加模块Z’；

图像去叠加模块Z’与第一卷积神经网络模块P、一个输出端以及用于接收叠加图像的叠加图像输入端相连，用于使用第二卷积神经网络模块U得到的更新特征对输入到叠加图像输入端的叠加图像A进行去叠加，还原得到左侧上方子图像UL并输出到第一卷积神经网络模块P，并通过所连接的输出端输出子图像UL；

在具体实施时，这里的第二卷积神经网络模块U与图2中的第二卷积神经网络模块U相同，则图3中的第二卷积神经网络模块U所得到的更新特征与图2中的第二卷积神经网络模块U所得到的更新特征完全一致，相应的将叠加图像A中的更新特征去叠加之后，所得到的子图像UL与原始的子图像UL可以认为是完全一致的。

第一卷积神经网络模块P与图像去差异模块Y’相连，用于利用子图像UL预测图像UR、BR和BL的预测图像UR’、BR’和BL’，并将预测结果分别输出到所述去差异模块Y’；

去差异模块Y’与各个用于输入差异特征的输入端以及其他三个输出端相连，用于根据差异特征输入端接收到的差异特征集合中的各个差异特征Dh，Dd，Dv以及预测图像UR’、BR’和BL’得到图像UR、BR和BL并通过所述的其他三个输出端输出。

同样的，这里的第一卷积神经网络模块P与图2中的第一卷积神经网络模块P完全一致，则图3中的第一卷积神经网络模块P所得到的预测子图像UL’与图2中的第一卷积神经网络模块P所得到的预测子图像UL’完全一致，则经过去差异模块Y’之后，所还原得到的图像UR、BR和BL可以认为与原始的图像UR、BR和BL是完全一致的。

不难理解的是，这里的去叠加模块Z’所执行的步骤是图2中的叠加模块Z的逆向过程，图2中的叠加模块Z如何进行叠加，图3中的去叠加模块Z’就如何反相的进行去叠加，同样的，这里的去差异模块Y’所执行的去差异过程可以认为是上述的差异获取模块Y的差异获取过程的逆向过程。

这里的拼接单元M与上述的各个输出端相连，并连接输出接口OUTPUT上述还原得到的子图像UL和图像UR、BR和BL之后，将各个图像进行拼接得到整幅图像，并通过输出接口OUTPUT输出。

可见，只要将图3中的第一卷积神经网络模块P和第二卷积神经网络模块U与图2中的第一卷积神经网络模块P和第二卷积神经网络模块U的滤波参数对应的相同，并且使图3中的去叠加模块Z’所执行的去叠加过程与图2中的叠加模块Z所执行的叠加过程完全相反，图3中的去差异模块Y’所执行的去差异过程与图2中的差异获取模块Y所执行的叠加过程完全相反，即可通过图3中的图像解压缩系统可以精确还原图2中的图像压缩系统所压缩的图像，而与第一卷积神经网络模块P和第二卷积神经网络模块U中的滤波参数无关。

由于本发明实施例中，是通过上述的第一卷积神经网络模块P完成相应的预测过程，并通过第二卷积神经网络模块U完成相应的更新过程，则在应用时，通过对第一卷积神经网络模块P和第二卷积神经网络模块U进行相应的训练即可使得第一卷积神经网络模块P和第二卷积神经网络模块U具有较佳的滤波参数，从而使得该图像压缩单元具有较高的压缩率，而无需人为的设定相应的滤波参数，降低了滤波参数设定的复杂程度。且本发明实施例提供的图像压缩系统，通过合适的训练方法能够使得输出的Dh，Dd，Dv大约为0，总体压缩率可以接近75％。

同时本发明实施中，在图像压缩系统中设置有拆分单元，在图像解压缩系统中设置有拼接单元，这样可以实现对一幅图像的压缩。然而在实际应用中，这里的拆分单元和拼接单元均不是必须设置的结构，在不设置拆分单元和拼接单元的情况下，可以直接将四幅图像(比如连续的四帧画面)输入到对应的图像压缩单元C中，直接利用图像压缩单元C对多幅图像进行压缩，相应的技术方案也可以达到本发明的基本目的，也应该落入本发明的保护范围。

这样在具体实施时，可以仅对上述的图2中的图像压缩系统进行训练得到第一卷积神经网络模块P和第二卷积神经网络模块U的滤波参数，并将图3中的图像解压缩系统按照得到的滤波参数进行设置即可实现对应的解压缩过程。

不难理解的是，虽然在实施例一中，是以其中的左侧上方子图像UL预测图像UR、BR和BL进行的说明(也即是以子图像UL为第一图像，以图像UR、BR和BL为第二图像进行的说明)，但是在实际应用中，也可以以图像UR、BR或BL为第一图像预测其他各幅图像；另外，虽然在实施例一中，是以第一图像的数量为1，但是在实际应用中，在一些可替代的实施例中，也可以利用两幅图像预测两幅图像，利用三幅图像预测三幅图像，采用较多的图像预测其他部分图像的好处是能够提高预测的准确率，降低差异特征的大小，但是由于得到的叠加图像的数量与第一图像中的图像的数量一致，因此在仅有一个图像压缩单元的情况下，采用两幅图像预测两幅图像的压缩率理论上最大能达到50％，采用三幅图像预测一幅图像的压缩率理论上最大能达到25％，理论上最大的压缩率相比于实施例一对应的理论最大压缩率仍然较小。然而这些可替代的实施例应理解为对上述的实施例的简单变形，相应的技术方案也均应该落入本发明的保护范围。

实施例二

参加图4，与实施例一中的图2不同的是，本发明实施提供的图像压缩系统为一个二级图像压缩系统中，包含两级的图像压缩单元C1和C2和四个输出接口；每一级图像压缩单元也均包含第一卷积神经网络模块、第二卷积神经网络模块，差异获取模块，叠加模块；为了便于区分，在图4中，将第一级图像压缩单元C1中的第一卷积神经网络模块表示为P2，第二卷积神经网络模块表示为U2，差异获取模块表示为Y2，图像叠加模块表示为Z2；而将第二级图像压缩单元C2中的第一卷积神经网络模块表示为P1，第二卷积神经网络模块表示为U1，差异获取模块表示为Y1，图像叠加模块表示为Z1；

其中第一级图像压缩单元C1的图像叠加模块Z2连接第二级图像压缩单元C2的输入端，将所生成的叠加图像输出到第二级图像压缩单元C2的输入端，第二级图像压缩单元C2将第一级图像压缩单元C1的图像叠加模块Z2输出的叠加图像作为待压缩的图像进行压缩；第二级图像压缩单元C2的图像叠加模块Z1与其中一个输出接口相连，用于通过该输出接口输出叠加图像A；第二级图像压缩单元C2的差异获取模块Y1连接第二个输出接口，用于将获取到的差异特征Dh通过该第二个输出接口输出；第一级图像压缩单元C1的差异特征获取模块Y2还第三个输出接口和第四个输出接口相连，通过第三个输出接口输出差异特征Dd，通过第四个输出接口输出差异特征Dv。这样整个图像压缩系统的输出接口最终输出的是各级图像压缩单元输出的差异特征以及最后一级图像压缩单元C2输出的叠加图像；另外，与图2中的C不同的是，其中第一卷积神经网络模块是利用两幅图像(图中示意的是左侧上方子图像UL和右侧上方图像UR的情况)，预测另外两幅子图像BR和BL得到预测图像BR’和BL’；并将预测得到的图像输入到差异获取模块Y1，差异获取模块Y1将预测子图像BR’与实际子图像BR进行对比，获取差异特征Dd，将预测子图像BL’分和预测子图像BL进行对比，获取差异特征Dv；之后差异获取模块Y将差异特征Dd和差异特征Dv分别输出到该图像压缩系统C1的第二卷积神经网络模块U2中，由第二卷积神经网络模块U2对差异特征Dd和Dv进行更新，并将得到的更新特征输出到叠加模块Z2上，由叠加模块Z2分别将更新特征叠加到子图像UL和UR上，得到两幅叠加图像(分别命名为a-UL和a-UR)；并通过用于输出叠加图像的输出接口分别输入到第二级图像压缩单元C2的输入端中；

第二级图像压缩单元C2对第一级图像压缩单元C1输出的叠加图像a-UL和a-UR进行压缩的过程可以与实施例一中图像压缩单元C以及实施例二中图像压缩单元C2的压缩流程一致，不同的是，第二级图像压缩单元C2对应的第一图像为第一图像压缩单元C1输出的两幅叠加图像中的一幅图像a-UL，第二图像为第一图像压缩单元C1输出的两幅叠加图像中的另一幅图像a-UR，最终输出叠加图像A和差异特征Dh。

最后，该图像压缩系统通过自身的输出接口(为了便于与各级图像压缩单元的输出接口进行区分，以下将图像压缩系统的输出接口称为输出单元)将第二级图像压缩单元C2输出的叠加图像A以及各级图像压缩单元C1和C2输出的差异特征Dd、Dv和Dh输出。

对应于图4的图像压缩单元，本发明实施例二还提供了一种图像解压缩系统，参见图5，与图3中的图像解压缩系统不同的是，包含两级的图像解压缩单元DC1和DC2；其中的每一级图像解压缩单元的构造与实施例一中的图像解压缩单元DC的构造基本相同，均包含第一卷积神经网络模块、第二卷积神经网络模块，图像去叠加模块，去差异模块；为了便于区分，图5中，将第一级图像解压缩单元DC1中的第一卷积神经网络模块表示为P1，第二卷积神经网络模块表示为U1，图像去叠加模块表示为Z1’，去差异模块表示为Y1’；在第二级图像解压缩单元DC1中的第一卷积神经网络模块表示为P2，第二卷积神经网络模块表示为U2，图像去叠加模块表示为Z2’，去差异模块表示为Y2’；不难理解的是，为了实现对利用图4中的图像压缩系统得到的内容进行解压缩，图4和图5中采用相同的符号表示的模块应为同一模块，图5中的第一级图像解压缩单元DC1中的第一卷积神经网络模块P1应与图4中的第二级图像压缩单元C2中的第一卷积神经网络模块P1相同；而两个模块Q和Q’所执行的过程则应为互逆的过程，比如第二级图像解压缩单元DC2中的去差异模块Y2’所执行的去差异的过程应与图4中第一级图像压缩单元C1中的差异获取模块Y2的获取差异特征的过程互为逆过程。这里不再一一说明。

本发明实施例提供的图像解压单元与图3中的图像解压缩单元不同的是，其中第一级图像压缩DC1是利用一幅叠加图像A以及差异特征Dh得到还原图像并通过输出接口输出到第二级图像压缩单元DC2的叠加图像输入端；而第二级图像解压缩单元DC2是利用第一级图像压缩单元DC1输出的还原图像a-UL和a-UR作为待解压的叠加图像并根据差异特征Dd、Dv分别得到四幅最终的还原子图像UL、UR、BL和BR。

拼接单元M与最后一级的图像压缩单元DC2的输出接口相连，用于将最后一级图像压缩单元DC2输出的还原图像拼接为一幅完整的图像。

实施例二提供的方式也可以达到本发明的基本目的，具体原理参见实施例一，这里不再详细描述。同时，实施例二中，在第一级压缩中，是利用两幅图像对另外两幅图像进行压缩，这样可以使得相应的预测过程更为准确，使得得到的差异特征更小；通过第二级压缩，能够使得系统最终仅输出一个叠加图像，在各个差异特征接近0的情况下，可以使得整体的压缩率仍然可以接近75％。同样的实施例二中，图像解压缩单元的压缩过程与图像压缩单元的解压缩过程完全相反，因此也可以通过这样的图像解压缩单元准确的还原得到相应的图像。

不难理解的是，虽然在上述的实施例二中，是以图像压缩单元的数量为2进行的说明，但是在实际应用中，在一些可替代的实施例中，上述的图像压缩单元的数量也可以为3，此时第一级图像压缩单元的对应的第一图像的数量可以为3，第二级图像压缩单元对应的图像的数量可以为2，第三级图像压缩单元对应的图像的数量可以为1，最终仍然得到一幅叠加图像和三个差异特征。相应的图像解压缩系统中图像解压缩单元的数量也不限于两级，图像解压缩系统的具体构造与图像压缩系统的具体构造相对应。

在实际应用中，在其他一些可替代的实施例中，上述的第一图像不仅限于子图像UL和UL，可以是其中任意两幅图像的组合。并且不难理解的是，虽然在实施例二中，在第一级图像压缩单元C1中，是以第一图像为两幅图像，第二图像为两幅图像进行的说明，但是在实际应用中，在一些可替代的实施例中，可以是第一图像为三幅图像，第二图像为一幅图像。

不难理解的是，虽然在实施例一和二中，均是以拆分单元DM将一幅图像拆分为4幅进行的说明，但是在实际应用中，在一些可替代的实施例中，拆分单元DM也可以将图像拆分为其他数量的图像，比如六幅等。对应的第一图像和第二图像的数量也不限于上述各个实施例中所指出的数量。

另外不难理解的是，虽然在实施例一和二中，在压缩过程中，均是以先预测后更新进行的说明，但是在实际应用中，也可以先执行相应的预测过程，后执行相应的更新过程。下面以将实施例一中用于执行预测过程的第一卷积神经网络模块P和用于执行更新过程的第二卷积神经网络模块U的顺序进行调换后对应的实施例的工作流程进行说明。

此时，对于每一个图像压缩单元，其输入端连接第二卷积神经网络模块U，第二卷积神经网络模块U对输入到输入端的图像中的第二图像(图像UR、BR和BL)进行更新，得到更新特征之后输入到图像叠加模块Z；图像叠加模块Z与第一卷积神经网络模块P以及叠加图像输出接口相连，用于将更新特征叠加到第一图像中的图像(子图像UL)中得到叠加图像A，并将叠加图像A通过叠加图像输出接口输出；图像叠加模块Z还叠加图像A输出到第一卷积神经网络模块P，由第一卷积神经网络模块P根据叠加图像A预测第二图像，得到预测图像(图像UR’、BR’和BL’)，并输出到差异获取模块Y，差异获取模块Y获取各幅预测图像与对应的实际图像(图像UR、BR和BL)的差异，得到差异特征(Dh、Dd和Dv)并通过差异特征输出接口。相应的图像解压缩系统中，第一卷积神经网络模块P与叠加图像输入端以及图像去差异模块Y’相连，用于根据从叠加图像输入端输入的叠加图像A预测各个第二图像UR、BR和BL的预测图像UR’、BR’和BL’，并输出到图像去差异模块Y’；图像去差异模块Y’与第二神经网络模块U、输出接口以及差异特征输入端相连，用于根据各个第二图像的预测图像和所述差异特征输入端接收到的差异特征集合(Dh、Dd和Dv)还原得到各第二图像的图像UR、BR和BL)，将各还原图像输出到第二卷积神经网络模块U中，并通过其中的三个输出接口输出；

第二卷积神经网络模块U与图像去叠加模块Z’相连，用于对各个还原图像进行更新得到对应的更新特征，并将更新特征输出到图像去叠加模块Z’；

图像去叠加模块Z’与另一个输出接口相连，用于根据更新特征对叠加图像A进行去叠加，得到第一图像的还原图像(UL)，并通过该另一个输出接口输出。

最后拼接单元M将图像解压缩单元输出的四幅子图像(UL、UR、BR和BL)拼接为一幅图像并通过输出端OUTPUT输出。

本发明实施例二提供的图像压缩系统以及图像解压缩系统中的其他结构可以参考实施例一中图像压缩系统以及图像解压缩系统中的相应结构，本发明在此不再详细说明。

这样的实施方式同样可以达到本发明的基本目的，相应的也应该落入本发明的保护范围。不难理解的是，同样也可以将实施例二中每一个图像压缩单元中的第一卷积神经网络模块P与第二卷积神经网络模块U的顺序进行调换，相应的将图像解压缩单元中，第二卷积神经网络模块U与第一卷积神经网络模块P的顺序进行调换。或者仅将图像压缩系统的一个图像压缩单元中的第一卷积神经网络模块P与第二卷积神经网络模块U的顺序进行调换，并将图像解压缩系统中对应的图像解压缩单元中的第一卷积神经网络模块P与第二卷积神经网络模块U的顺序进行调换。对应的技术方案的具体工作流程可以参见实施例二所描述的工作流程以及对实施例一中的第一卷积神经网络模块P与第二卷积神经网络模块U的顺序进行调换后的实施例的工作流程的描述，这里不再详细说明。

本发明中所指的更新和预测与小波变换的提升法中所致的更新和预测过程的概念一致。

作为本发明的另一个方面，本发明还通过了一种训练方法，可以用于对上述任意一种图像压缩系统进行训练，该方法包括：

将预设图像作为待压缩的图像输入到图像压缩系统中，调节第一卷积神经网络模块和第二卷积神经网络模块中各卷积层中的各滤波单元的权值使得代价函数L的值最小：

L = Σ_{m = 1}^{M} | | D m | |_{p} + | | A - L R | |_{q}

通过这种方式，能够使得所得到的各滤波单元的权值更为准确，使得图像压缩系统具有更好的压缩率。

大多数情况下，L1标准为p、q为1；L2标准为p，q为2。其中L2标准相比于L1更为稳定，但是L1能够增加稀疏性。在差异特征图像中稀疏性(大量的完全地0值)是需要的。这样，p＝1和p＝2的联合策略是一个较为优选的选择。

进一步的，在具体实施时，也可以针对具有多层的多分辨率系统中的任一层(假设为O层)按照如下公式设置其中的滤波单元的滤波参数，使得O层的代价函数最小

这样能够使得每一层的参数都是独立的，在一种情况下，总参数的数量增加并且能够根据差异特征进行调整或者重新使用；另一种情况下，总参数的数量减少并且根据多个水平进行调整。每个水平下重新使用的参数的配置对应于递归神经网络(RecursiveNeuralNetwork，RNN)。

具体来说，这里的LR可以是指采用Bicubic方式或者其他标准下采样方式得到的低分辨率图像。

进一步的，在将预设图像作为待压缩的图像输入到图像压缩系统中，调节第一卷积神经网络模块和第二卷积神经网络模块中各卷积层中的各滤波单元的权值使得代价函数L的值最小之前，上述的方法还可以包括对各卷积层中的各滤波单元的权值的初始化的过程，通过设置合适的初始参数，能够缩减训练过程的时间，降低训练难度。本发明提供了两种优选的初始化的方式：

方式一：按照如下公式将第一卷积神经网络模块各个滤波单元中的权值初始化：

其中，NF表示输入特征的数量。

方式二：按照如下公式将第一卷积神经网络模块各个滤波单元中的权值初始化：

W_{i j} = \frac{1}{N F \cdot W \cdot H}

其中，W_ij为输入单元为第i个输入单元，输出单元为第j个输出单元的滤波器对应的权重；NF为是输入特征的数量，W是对应的滤波单元的高度，H是对应的滤波单元的宽度。

进一步的，在初始化得到各个滤波单元的权重值Wij之后，

将初始化系统中第一卷积神经网络模块各个滤波单元的权值叠加一个干扰值其中，uniform(-1,1)表示在(-1,1)之间选取的随机数；

将各滤波单元的偏置初始化为0。

另一方面，本发明还提供了一种对如上述任一项所述的图像压缩系统进行训练的装置，可以用于执行上述的训练方法，该训练装置包括：

L = Σ_{m = 1}^{M} | | D m | |_{p} + | | A - L R | |_{q}

其中，Dm为差异特征集合中的第m个差异特征，M为差异特征集合的个数，比如当用于对图2中图像压缩系统进行训练时，这里的Dm可以分别是指Dh，Dd和Dv；A为所述图像压缩系统最终输出的叠加图像；LR为所述预设图像对应的低分辨率图像；其中， x(n)为X中的第n个元素，N为X中元素的总个数。

进一步的，该训练装置还包括：第一初始化模块或第二初始化模块；

所述第一初始化模块，用于在所述调节模块调节第一卷积神经网络模块中各卷积层中的各滤波单元的权值之前，按照如下公式将第一卷积神经网络模块各个滤波单元中的权值初始化：

其中，NF表示输入特征的数量；

所述第二初始化模块，用于在所述调节模块调节第一卷积神经网络模块中各卷积层中的各滤波单元的权值之前，按照如下公式将第一卷积神经网络模块各个滤波单元中的权值初始化：

W_{i j} = \frac{1}{N F \cdot W \cdot H}

进一步的，该训练装置还包括：第三初始化模块；所述第三初始化模块用于在所述调节模块调节第一卷积神经网络模块中各卷积层中的各滤波单元的权值之前，将初始化系统中第一卷积神经网络模块各个滤波单元的权值叠加一个干扰值其中，uniform(-1,1)表示在(-1,1)之间选取的随机数；

将各滤波单元的偏置初始化为0。

再一方面，本发明还提供了一种显示装置，该显示装置包括：上述任一项所述的图像压缩系统和/图像解压缩系统。

在具体实施时，这里的显示装置可以为：电子纸、手机、平板电脑、电视机、显示器、笔记本电脑、数码相框、导航仪等任何具有显示功能的产品或部件。

虽然结合附图描述了本发明的实施方式，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims

1.一种图像压缩系统，其特征在于，包括第一图像压缩单元或者第二图像压缩单元，并具有输出接口；

其中，第一图像压缩单元中，所述第一卷积神经网络模块与所述第一图像输入端相连，用于在接收到所述第一图像输入端提供的第一图像后，根据所述第一图像分别预测各第二图像输入端接收到的各第二图像，得到多幅与各第二图像一一对应的预测图像；

其中，第二图像压缩单元中，

2.如权利要求1所述的图像压缩系统，其特征在于，还包括：拆分单元；所述拆分单元与所述第一图像输入端和多个第二图像输入端相连，用于对原始图像进行拆分，得到所述第一图像和多个所述第二图像。

3.如权利要求2所述的图像压缩系统，其特征在于，所述拆分单元用于对原始图像进行拆分，得到所述第一图像和多个所述第二图像，具体为：所述拆分单元用于将原始图像拆分为2n幅图像，所述n为大于0的正整数，所述第一图像的数量为1，所述第二图像的数量为2n-1。

4.一种图像压缩系统，其特征在于，包括多级图像压缩单元以及输出接口；所述多级图像压缩单元中的每一级图像压缩单元为第一图像压缩单元或者第二图像压缩单元；

第二图像压缩单元中，

5.如权利要求4所述的系统，其特征在于，所述图像压缩单元的数量为2；第一级图像压缩单元的第一图像输入端的个数为2，第二图像输入端的个数为2；第二级图像压缩单元的第一图像输入端的个数为1，第二图像输入端的个数为1。

6.如权利要求4所述的系统，其特征在于，还包括：拆分单元；所述拆分单元与第一级图像压缩单元的第一图像输入端和第二图像输入端相连，用于对原始图像进行拆分，得到多个第一图像和多个第二图像，并将得到的各个第一图像一对一输出到所连接的各个第一图像输入端，将得到的各个第二图像一对一输出到所连接的各个第二图像输入端。

7.如权利要求6所述的图像压缩系统，其特征在于，所述拆分单元用于对原始图像进行拆分，得到多个第一图像和多个第二图像，具体为：所述拆分单元用于将原始图像拆分为2n幅图像，所述n为大于0的正整数，所述第一图像的数量为1，所述第二图像的数量为2n-1。

8.一种图像解压缩系统，其特征在于，包括图像解压缩单元；所述图像解压缩单元为第一图像解压缩单元或第二图像解压缩单元；

所述第一图像解压缩单元中，

所述第二图像解压缩单元中；

9.如权利要求8所述的图像解压缩系统，其特征在于，还包括拼接单元和输出接口；所述拼接单元连接所述输出端和所述输出接口，用于将所述输出端输出的第一图像以及各个第二图像拼接为一幅图像通过输出接口输出。

10.一种图像解压缩系统，其特征在于，包括多级的图像解压缩单元；所述图像解压缩单元为第一图像解压缩单元或第二图像解压缩单元；

所述第一图像解压缩单元中，

所述第二图像解压缩单元中；

11.如权利要求10所述的图像压缩系统，其特征在于，还包括拼接单元和输出接口；所述拼接单元连接最后一级的图像解压缩单元的输出端以及所述输出接口，用于将该输出端输出的第一图像以及各个第二图像拼接为一幅图像并输出。

12.一种对如权利要求1-7任一项所述的图像压缩系统进行训练的方法，其特征在于，包括：

将待压缩的图像输入到图像压缩系统中，分别调节第一卷积神经网络模块和第二卷积神经网络模块中各卷积层中的各滤波单元的权值直到代价函数的值达到最小：代价函数L为：其中，Dm为差异特征集合中的第m个差异特征，M为差异特征集合的个数；A为所述图像压缩系统最终输出的叠加图像；LR为所述预设图像对应的低分辨率图像；其中，为X中的第n个元素，N为X中元素的总个数。

13.如权利要求12所述的方法，其特征在于，在调节第一卷积神经网络模块中各卷积层中的各滤波单元的权值之前，所述方法还包括：

按照如下公式将第一卷积神经网络模块各个滤波单元中的权值初始化：

其中，NF表示输入特征的数量；

或者，按照如下公式将第一卷积神经网络模块各个滤波单元中的权值初始化：

W_{i j} = \frac{1}{N F \cdot W \cdot H}

14.如权利要求13所述的方法，其特征在于，在调节第一卷积神经网络模块中各卷积层中的各滤波单元的权值之前，所述方法还包括：

将各滤波单元的偏置初始化为0。

15.一种对如权利要求1-7任一项所述的图像压缩系统进行训练的装置，其特征在于，包括：

L = Σ_{m = 1}^{M} | | D m | |_{p} + | | A - L R | |_{q}

16.如权利要求15所述的装置，其特征在于，还包括：第一初始化模块或第二初始化模块；

其中，NF表示输入特征的数量；

W_{i j} = \frac{1}{N F \cdot W \cdot H}

17.如权利要求16所述的装置，其特征在于，还包括：第三初始化模块；所述第三初始化模块用于在所述调节模块调节第一卷积神经网络模块中各卷积层中的各滤波单元的权值之前，将初始化系统中第一卷积神经网络模块各个滤波单元的权值叠加一个干扰值其中，uniform(-1,1)表示在(-1,1)之间选取的随机数；

将各滤波单元的偏置初始化为0。

18.一种显示装置，其特征在于，包括如权利要求1-7任一项所述的图像压缩系统；和/或，如权利要求8-11任一项所述的图像解压缩系统。