CN104182929A - 基于像素的获得降解析度图像的方法及装置 - Google Patents

Abstract

本发明公开了一种基于像素的获得降解析度图像的方法及装置，该方法包括：根据降解析度后的图像的解析度，通过图像超分辨率技术构建虚拟图像；确定虚拟图像的像素与降解析度后的图像的像素之间的关系式；基于虚拟图像的像素与降解析度后的图像的像素之间的关系式，计算虚拟图像的像素与原始图像的像素之间的均方误差；在虚拟图像的像素与原始图像的像素之间的均方误差最小时，确定降解析度后的图像的像素与原始图像的像素之间的系数矩阵；根据原始图像的像素、降解析度后的图像的像素与原始图像的像素之间的系数矩阵，确定降解析度后的图像的像素；输出降解析度后的图像。通过上述方式，本发明能够获得清晰的图像，并避免颜色混叠现象。

Description

基于像素的获得降解析度图像的方法及装置

技术领域

本发明涉及图像处理技术领域，特别是涉及一种基于像素的获得降解析度图像的方法及装置。

背景技术

便携式多媒体播放器(Portable Media Player，PMP)、个人数字助理(Personal Digital Assistant，PDA)的显示终端设备，往往是低解析度的，当输入到这些设备的内容为高解析度时，需要对高解析度的内容做降解析度的处理(Downsampling，DS)，例如，将解析度为1280*960的内容做降解析度的处理，降到解析度为640*480。

目前的DS方式可分为基于像素的DS(Pixel-based DS)和基于子像素的DS(Subpixel-based DS)。Pixel-based DS方式，例如：基于像素的均值(Average Pixel-based DS，APD)方式，通过取4个Pixel的RGB值分别做平均得到新的1个RGB值，这样的DS方式虽然计算简单，但是有图像不清晰的问题。Subpixel-based DS方式，例如：直接基于子像素的对角线方式(Diagonal Direct Subpixel-based DS，DDSD)，通过取斜角方向的RGB子像素的值，得到新的图像。

但是，基于像素的DS方式容易产生图像模糊的问题，基于子像素的DS方式容易造成颜色混叠现象。

发明内容

本发明主要解决的技术问题是提供一种基于像素的获得降解析度图像的方法及装置，能够获得清晰的图像，并避免颜色混叠现象。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种基于像素的获得降解析度图像的方法，原始图像的解析度为2M*2N，降解析度后的图像的解析度为M*N，所述方法包括：根据所述降解析度后的图像的解析度M*N，通过图像超分辨率技术构建虚拟图像，所述虚拟图像的解析度为2M*2N；确定所述虚拟图像的像素与所述降解析度后的图像的像素之间的关系式；基于所述虚拟图像的像素与所述降解析度后的图像的像素之间的关系式，计算所述虚拟图像的像素与所述原始图像的像素之间的均方误差；在所述虚拟图像的像素与所述原始图像的像素之间的均方误差最小时，确定所述降解析度后的图像的像素与所述原始图像的像素之间的系数矩阵；根据所述原始图像的像素、所述降解析度后的图像的像素与所述原始图像的像素之间的系数矩阵，确定所述降解析度后的图像的像素；按照所述降解析度后的图像的像素，输出所述降解析度后的图像。

其中，所述根据所述降解析度后的图像的解析度M*N，通过图像超分辨率技术构建虚拟图像的步骤，包括：根据所述降解析度后的图像的解析度M*N，通过图像超分辨率的插值方式构建虚拟图像。

其中，所述根据所述降解析度后的图像的解析度M*N，通过图像超分辨率的插值方式构建虚拟图像的步骤，包括：设定P1、P2、P3、P4为所述降解析度后的图像的像素点，A、B、C为通过超分辨率的插值方式构建的所述虚拟图像的像素点，其中，P1、P2、P3、P4、A、B、C之间的位置关系为：A位于P1与P4的对角线、P2与P3的对角线的交点上，B位于P1与P2连线的中点，C位于P1与P3连线的中点；确定所述虚拟图像的像素点A、B、C的R、G、B子像素值与所述降解析度后的图像的像素点P1、P2、P3、P4的R、G、B子像素值之间的插值关系式，且均为：A＝1/4(P1+P2+P3+P4)，B＝1/2(P1+P2)，C＝1/2(P1+P3)；确定所述虚拟图像的像素点的R、G、B子像素值与所述降解析度后的图像的像素点的R、G、B子像素值之间的插值关系；按照所述虚拟图像的像素点的R、G、B子像素值与所述降解析度后的图像的像素点的R、G、B子像素值之间的插值关系，对所述降解析度图像的所有像素点进行计算，构建虚拟图像。

其中，所述根据所述原始图像的像素、所述降解析度后的图像的像素与所述原始图像的像素之间的系数矩阵，确定所述降解析度后的图像的像素的步骤，包括：根据所述降解析度后的图像的像素与所述原始图像的像素之间的系数矩阵，对所述降解析度后的图像的每个像素点与所述原始图像的所有像素点之间的系数的大小进行排序；依据所述排序后系数大的系数的总和不低于0.95且不超过1.05，确定所述降解析度后的图像的每个像素点实际应用的系数及与所述实际应用的系数对应的所述原始图像的像素点；根据降解析度后的图像的每个像素点实际应用的系数及与所述实际应用的系数对应的所述原始图像的像素点，确定所述降解析度后的图像的像素。

为解决上述技术问题，本发明采用的另一个技术方案是：提供一种基于像素的获得降解析度图像的装置，原始图像的解析度为2M*2N，降解析度后的图像的解析度为M*N，所述装置包括：虚拟图像构建模块，用于根据所述降解析度后的图像的解析度M*N，通过图像超分辨率技术构建虚拟图像，所述虚拟图像的解析度为2M*2N；关系式确定模块，用于确定所述虚拟图像的像素与所述降解析度后的图像的像素之间的关系式；均方误差计算模块，用于基于所述虚拟图像的像素与所述降解析度后的图像的像素之间的关系式，计算所述虚拟图像的像素与所述原始图像的像素之间的均方误差；系数矩阵确定模块，用于在所述虚拟图像的像素与所述原始图像的像素之间的均方误差最小时，确定所述降解析度后的图像的像素与所述原始图像的像素之间的系数矩阵；像素确定模块，用于根据所述原始图像的像素、所述降解析度后的图像的像素与所述原始图像的像素之间的系数矩阵，确定所述降解析度后的图像的像素；图像输出模块，用于按照所述降解析度后的图像的像素，输出所述降解析度后的图像。

其中，所述虚拟图像构建模块具体用于根据所述降解析度后的图像的解析度M*N，通过图像超分辨率的插值方式构建虚拟图像。

其中，所述虚拟图像构建模块包括：设定单元，用于设定P1、P2、P3、P4为所述降解析度后的图像的像素点，A、B、C为通过图像超分辨率的插值方式构建的所述虚拟图像的像素点，其中，P1、P2、P3、P4、A、B、C之间的位置关系为：A位于P1与P4的对角线、P2与P3的对角线的交点上，B位于P1与P2连线的中点，C位于P1与P3连线的中点；插值关系式确定单元，用于确定所述虚拟图像的像素点A、B、C的R、G、B子像素值与所述降解析度后的图像的像素点P1、P2、P3、P4的R、G、B子像素值之间的插值关系式，且均为：A＝1/4(P1+P2+P3+P4)，B＝1/2(P1+P2)，C＝1/2(P1+P3)；插值关系确定单元，用于确定所述虚拟图像的像素点的R、G、B子像素值与所述降解析度后的图像的像素点的R、G、B子像素值之间的插值关系；虚拟图像构建单元，用于按照所述虚拟图像的像素点的R、G、B子像素值与所述降解析度后的图像的像素点的R、G、B子像素值之间的插值关系，对所述降解析度图像的所有像素点进行计算，构建虚拟图像。

其中，所述像素确定模块包括：排序单元，用于根据所述降解析度后的图像的像素与所述原始图像的像素之间的系数矩阵，对所述降解析度后的图像的每个像素点与所述原始图像的所有像素点之间的系数的大小进行排序；实际应用系数确定单元，用于依据所述排序后系数大的系数的总和不低于0.95且不超过1.05，确定所述降解析度后的图像的每个像素点实际应用的系数及与所述实际应用的系数对应的所述原始图像的像素点；像素确定单元，用于根据降解析度后的图像的每个像素点实际应用的系数及与所述实际应用的系数对应的所述原始图像的像素点，确定所述降解析度后的图像的像素。

本发明的有益效果是：区别于现有技术的情况，本发明根据降解析度后的图像的解析度M*N，通过图像超分辨率技术构建与原始图像相同解析度的虚拟图像；确定虚拟图像的像素与降解析度后的图像的像素之间的关系式；基于虚拟图像的像素与降解析度后的图像的像素之间的关系式，计算虚拟图像的像素与原始图像的像素之间的均方误差；在虚拟图像的像素与原始图像的像素之间的均方误差最小时，确定降解析度后的图像的像素与原始图像的像素之间的系数矩阵；根据原始图像的像素、降解析度后的图像的像素与原始图像的像素之间的系数矩阵，确定降解析度后的图像的像素；按照降解析度后的图像的像素，输出降解析度后的图像。由于图像超分辨率技术是对每个像素进行运算构建虚拟图像，对虚拟图像和原始图像的最小均方误差进行分析，从而推导出降解析度后的图像的像素和原始图像的像素之间的关系，这种基于像素计算的降解析度方式既能够获得清晰的图像，又能够避免颜色混叠的现象。

附图说明

图1是本发明基于像素的获得降解析度图像的方法一实施方式的流程图；

图2是本发明基于像素的获得降解析度图像的方法另一实施方式的流程图；

图3是本发明基于像素的获得降解析度图像的方法中降解析度后的图像的像素点P1、P2、P3、P4与虚拟图像的像素点A、B、C的一位置关系示意图；

图4是本发明基于像素的获得降解析度图像的方法中降解析度后的图像的像素点与插值后获得的虚拟图像的像素点的一位置示意图；

图5是本发明基于像素的获得降解析度图像的方法中一A矩阵和e矩阵的示意图；

图6是本发明基于像素的获得降解析度图像的方法中一B矩阵完整的示意图；

图7是本发明基于像素的获得降解析度图像的方法中一B矩阵1至30列的示意图；

图8是本发明基于像素的获得降解析度图像的方法中一B矩阵31至60列的示意图；

图9是本发明基于像素的获得降解析度图像的方法中一B矩阵61至90列的示意图；

图10是本发明基于像素的获得降解析度图像的方法中一B矩阵91至120列的示意图；

图11是本发明基于像素的获得降解析度图像的方法中一f矩阵的示意图；

图12是本发明基于像素的获得降解析度图像的方法又一实施方式的流程图；

图13是本发明基于像素的获得降解析度图像的方法一21个系数对应的原始图像中的像素点的位置示意图；

图14是本发明基于像素的获得降解析度图像的装置一实施方式的结构示意图；

图15是本发明基于像素的获得降解析度图像的装置另一实施方式的结构示意图；

图16是本发明基于像素的获得降解析度图像的装置又一实施方式的结构示意图。

具体实施方式

下面结合附图和实施方式对本发明进行详细说明。

参阅图1，图1是本发明基于像素的获得降解析度图像的方法一实施方式的流程图，其中，原始图像的解析度为2M*2N，降解析度后的图像的解析度为M*N，该方法包括：

步骤S101：根据降解析度后的图像的解析度M*N，通过图像超分辨率技术构建虚拟图像，虚拟图像的解析度为2M*2N。

解析度用以描述影像细节分辨能力，例如，投影仪投影出的画面是由许多小投影点所组成的，解析度代表的就是这些点的数量，如800*600就代表画面是由800*600个点所构成，组成方式为每条线上有800个投影点，共有600条线；解析度越高投射出来的影像也就越清晰。

图像超分辨率的英文名称是Image Super Resolution。图像超分辨率是指由一幅低分辨率图像或图像序列恢复出高分辨率图像。图像超分辨率技术分为超分辨率复原和超分辨率重建。目前，图像超分辨率技术可分为3个主要范畴：基于插值、基于重建以及基于学习的方法。图像超分辨率技术可以看成是一个视觉的逆过程，由一个序列低分辨率噪声图像来恢复一副或是一系列较高分辨率的原图像，同时还能消除噪声以及光学元件产生的模糊。

对于解析度为2M*2N的原始图像，采用降解析度的方法把原始图像缩小至以前的1/2，称生成的图像为降解析度后的图像，其解析度为M*N，根据降解析度后的图像的解析度M*N，通过图像超分辨率技术构建虚拟图像，虚拟图像的解析度和原始图像的解析度是相同的。

通过图像超分辨率技术构建虚拟图像，能够消除噪声以及光学元件产生的模糊。

步骤S102：确定虚拟图像的像素与降解析度后的图像的像素之间的关系式。

由于虚拟图像是根据降解析度后的图像的解析度通过图像超分辨率技术进行构建的，据此，可以确定虚拟图像的像素与降解析度后的图像的像素之间的关系式。

步骤S103：基于虚拟图像的像素与降解析度后的图像的像素之间的关系式，计算虚拟图像的像素与原始图像的像素之间的均方误差。

均方误差(Mean Squared Error，MSE)是衡量“平均误差”的一种较方便的方法，可以评价数据的变化程度。数理统计中均方误差是指参数估计值与参数真值之差平方的期望值，MSE的值越小，说明预测模型描述实验数据具有更好的精确度。

基于虚拟图像的像素与降解析度后的图像的像素之间的关系式，计算虚拟图像的像素与原始图像的像素之间的均方误差，从而可以获得原始图像的像素和降解析度后的图像的像素之间基于虚拟图像的像素与原始图像的像素之间的均方误差的关系式。

步骤S104：在虚拟图像的像素与原始图像的像素之间的均方误差最小时，确定降解析度后的图像的像素与原始图像的像素之间的系数矩阵。

求取虚拟图像的像素与原始图像的像素之间的均方误差最小值，在在虚拟图像的像素与原始图像的像素之间的均方误差最小时，虚拟图像和原始图像之间的差异是最小的，据此，可以确定降解析度后的图像的像素与原始图像的像素之间的系数矩阵。

步骤S105：根据原始图像的像素、降解析度后的图像的像素与原始图像的像素之间的系数矩阵，确定降解析度后的图像的像素。

在原始图像的像素、降解析度后的图像的像素与原始图像的像素之间的系数矩阵都已知的情况下，即可获得降解析度后的图像的像素。

步骤S106：按照降解析度后的图像的像素，输出降解析度后的图像。

本发明实施方式根据降解析度后的图像的解析度M*N，通过图像超分辨率技术构建与原始图像相同解析度的虚拟图像；确定虚拟图像的像素与降解析度后的图像的像素之间的关系式；基于虚拟图像的像素与降解析度后的图像的像素之间的关系式，计算虚拟图像的像素与原始图像的像素之间的均方误差；在虚拟图像的像素与原始图像的像素之间的均方误差最小时，确定降解析度后的图像的像素与原始图像的像素之间的系数矩阵；根据原始图像的像素、降解析度后的图像的像素与原始图像的像素之间的系数矩阵，确定降解析度后的图像的像素；按照降解析度后的图像的像素，输出降解析度后的图像。由于图像超分辨率技术是对每个像素进行运算构建虚拟图像，对虚拟图像和原始图像的最小均方误差进行分析，从而推导出降解析度后的图像的像素和原始图像的像素之间的关系，这种基于像素计算的降解析度方式既能够获得清晰的图像，又能够避免颜色混叠的现象。

其中，在步骤S101中，具体可以为：根据降解析度后的图像的解析度M*N，通过图像超分辨率的插值方式构建虚拟图像。

如前所述，图像超分辨率技术可分为3个主要范畴：基于插值、基于重建以及基于学习的方法，本实施方式采用的是插值的方法，插值方法包括但不限于：最近邻插值、线性插值、双三次插值、样条插值、核回归插值等等。

通过插值的方式能够很简单方便地根据降解析度后的图像的解析度M*N构建虚拟图像。

参阅体2，根据所述降解析度后的图像的解析度M*N，通过图像超分辨率的插值方式构建虚拟图像的步骤，具体可以包括：

步骤S201：设定P1、P2、P3、P4为降解析度后的图像的像素点，A、B、C为通过超分辨率的插值方式构建的虚拟图像的像素点，其中，P1、P2、P3、P4、A、B、C之间的位置关系为：A位于P1与P4的对角线、P2与P3的对角线的交点上，B位于P1与P2连线的中点，C位于P1与P3连线的中点。

参阅图3，图中实线方框为降解析度后的图像的像素点，虚线方框为虚拟图像的像素点，其中，P1、P2、P3、P4、A、B、C之间的位置关系为：A位于P1与P4的对角线、P2与P3的对角线的交点上，B位于P1与P2连线的中点，C位于P1与P3连线的中点。

步骤S202：确定虚拟图像的像素点A、B、C的R、G、B子像素值与降解析度后的图像的像素点P1、P2、P3、P4的R、G、B子像素值之间的插值关系式，且均为：A＝1/4(P1+P2+P3+P4)，B＝1/2(P1+P2)，C＝1/2(P1+P3)。

如图3所示，在由降解析度后的图像的像素点进行插值获得虚拟图像的像素点时，按照插值关系式A＝1/4(P1+P2+P3+P4)，B＝1/2(P1+P2)，C＝1/2(P1+P3)进行插值，其中，虚拟图像的像素点A、B、C的R、G、B子像素值与降解析度后的图像的像素点P1、P2、P3、P4的R、G、B子像素值均按照上述插值关系式进行插值，即R、G、B分开计算，具体说就是：

A(R)＝1/4{P1(R)+P2(R)+P3(R)+P4(R)}，B(R)＝1/2{P1(R)+P2(R)}，C(R)＝1/2{P1(R)+P3(R)}，其中，A(R)、B(R)、C(R)、P1(R)、P2(R)、P3(R)、P4(R)分别表示A、B、C、P1、P2、P3、P4像素点的R子像素值。

A(G)＝1/4{P1(G)+P2(G)+P3(G)+P4(G)}，B(G)＝1/2{P1(G)+P2(G)}，C(G)＝1/2{P1(G)+P3(G)}，其中，A(G)、B(G)、C(G)、P1(G)、P2(G)、P3(G)、P4(G)分别表示A、B、C、P1、P2、P3、P4像素点的G子像素值。

A(B)＝1/4{P1(B)+P2(B)+P3(B)+P4(B)}，B(B)＝1/2{P1(B)+P2(B)}，C(B)＝1/2{P1(B)+P3(B)}，其中，A(B)、B(B)、C(B)、P1(B)、P2(B)、P3(B)、P4(B)分别表示A、B、C、P1、P2、P3、P4像素点的B子像素值。

步骤S203：确定虚拟图像的像素点的R、G、B子像素值与降解析度后的图像的像素点的R、G、B子像素值之间的插值关系。

按照上述插值方式，即可确定虚拟图像的像素点的R、G、B子像素值与降解析度后的图像的像素点的R、G、B子像素值之间的插值关系。

步骤S204：按照虚拟图像的像素点的R、G、B子像素值与降解析度后的图像的像素点的R、G、B子像素值之间的插值关系，对降解析度图像的所有像素点进行计算，构建虚拟图像。

通过本发明实施方式，可以通过简单的插值获得虚拟图像，进一步简化了计算过程。

下面以一个具体的例子来说明本发明基于像素的获得降解析度图像的方法。

如图4所示，按照插值关系式A＝1/4(P1+P2+P3+P4)，B＝1/2(P1+P2)，C＝1/2(P1+P3)进行插值，插值后获得的虚拟图像的像素点是：d00～d911，共120个像素，降解析度后的图像的像素点是：e00～e45，共30个像素。

假设e00～e45为已知点，那么按照上述插值关系式A＝1/4(P1+P2+P3+P4)，B＝1/2(P1+P2)，C＝1/2(P1+P3)进行插值进行2*2倍放大，以降解析度后的图像上的像素点e22为例，虚拟图像上的图像上的像素点d33、d35、d53、d55、d34、d43、d45、d54、d44和e22的关系为如下的(1)～(9)式：

$d33=\frac{1}{4}(e11+e12+e21+e22)...\left(1\right)$

$d35=\frac{1}{4}(e12+e13+e22+e23)...\left(2\right)$

$d53=\frac{1}{4}(e21+e22+e31+e32)...\left(3\right)$

$d55=\frac{1}{4}(e22+e23+e32+e33)...\left(4\right)$

$d34=\frac{1}{2}(e12+e22)...\left(5\right)$

$d43=\frac{1}{2}(e21+e22)...\left(6\right)$

$d45=\frac{1}{2}(e22+e23)...\left(7\right)$

$d54=\frac{1}{2}(e22+e32)...\left(8\right)$

d44＝e22..............................................(9)

原始图像的像素点为f00～f911，共120个像素。计算虚拟图像的像素与原始图像的像素之间的均方误差MSE：

$\begin{array}{c}\mathrm{MSE}=\frac{1}{M*N}\{{(d_{\mathrm{0,0}}-f_{\mathrm{0,0}})}^2+{(d_{\mathrm{0,1}}-f_{\mathrm{0,1}})}^2+...+{(d_{N,N-1}-f_{N,N-1})}^2+{(d_{N,N}-f_{N,N})}^2\}\\ =\frac{1}{10*12}\{{(d00-f00)}^2+{(d01-f01)}^2+...+{(d910-f910)}^2+{(d911-f911)}^2\}...\left(10\right)\end{array}$

将(1)～(9)式带入(10)式：

$\begin{array}{c}\mathrm{MSE}=\frac{1}{10*12}\{{(\frac{1}{4}(e11+e12+e21+e22)-f33)}^2+{(\frac{1}{4}(e12+e13+e22+e23)-f35)}^2+\\ {(\frac{1}{4}(e21+e22+e31+e32)-f53)}^2+{(\frac{1}{4}(e22+e23+e32+e33)-f55)}^2+\\ {(\frac{1}{2}(e12+e22)-f34)}^2+{(\frac{1}{2}(e21+e22)-f43)}^2+\\ {(\frac{1}{2}(e22+e23)-f45)}^2+{(\frac{1}{2}(e22+e32)-f54)}^2+{(e22-f44)}^2+...\}...\left(11\right)\end{array}$

由超分辨率的插值方式可知，(11)式中关于e22的子式共有未省略的9个子式，那么可得到MSE对e22的一阶微分：

$\begin{array}{c}{\mathrm{MSE}}^{\′}\left(e22\right)=\frac{1}{10*12}\{\frac{1}{2}(\frac{1}{4}(e11+e12+e21+e22)-f33)+\frac{1}{2}(\frac{1}{4}(e12+e13+e22+e23)-f35)+\\ \frac{1}{2}(\frac{1}{4}(e21+e22+e31+e32)-f53)+\frac{1}{2}(\frac{1}{4}(e22+e23+e32+e33)-f55)+\\ (\frac{1}{2}(e12+e22)-f34)+(\frac{1}{2}(e21+e22)-f43)+\\ (\frac{1}{2}(e22+e23)-f45)+(\frac{1}{2}(e22+e32)-f54)+2(e22-f44)\}...\left(12\right)\end{array}$

求虚拟图像的像素与原始图像的像素之间的均方误差MSE的最小值MMSE(Minimum Mean Square Error)，当MSE'(e22)＝0时，MSE(e22)最小，此时：

由MSE'(e22)＝0可以推导出：

e11+6e12+e13+6e21+36e22+6e23+e31+6e32+e33＝

4f33+8f34+4f35+8f43+16f44+8f45+4f53+8f54+4f55................................(13)

同样，按照上述的方法，当MSE对降解析度后的图像的像素点e00～e45分别进行一阶微分，并求解一阶微分为0时推导出来的表达式，可以获得：

A*e＝B*f........................................(14)

其中e为30*1的矩阵[e00；e01；e02；…；e53；e54；e55]，f为120*1的矩阵[f00；f01；f02；…；f99；f910；f911]，A为30*30的矩阵，B为30*120的矩阵，A矩阵和e矩阵表示如图5所示，左边的30*30的矩阵为A矩阵，右边的30*1的矩阵为e矩阵；B为30*120的矩阵，列数太多，为了方便看清数据，将B矩阵分割为4个矩阵表示，图6是B矩阵的完整示意图，图7至图10为B矩阵分割后的4个矩阵，分别是1至30列、31至60列、61至90列以及91至120列的数据的矩阵；f为120*1的矩阵，如图11所示。

由A*e＝B*f可以推导出A^-1*A*e＝A^-1*B*f，因此可以得出e＝A^-1*B*f，这样，在计算出A^-1*B的值后，也就推导出降解析度后的图像的像素和原始图像的像素之间的关系。

参阅图12，在步骤S105中，根据原始图像的像素、降解析度后的图像的像素与原始图像的像素之间的系数矩阵，确定降解析度后的图像的像素的步骤，具体可以包括：

步骤S301：根据降解析度后的图像的像素与原始图像的像素之间的系数矩阵，对降解析度后的图像的每个像素点与原始图像的所有像素点之间的系数的大小进行排序。

步骤S302：依据排序后系数大的系数的总和不低于0.95且不超过1.05，确定降解析度后的图像的每个像素点实际应用的系数及与实际应用的系数对应的原始图像的像素点。

步骤S303：根据降解析度后的图像的每个像素点实际应用的系数及与实际应用的系数对应的原始图像的像素点，确定降解析度后的图像的像素。

例如，按照上述列举的例子，e＝A^-1*B*f，降解析度后的图像的像素与原始图像的像素之间的系数矩阵是A^-1*B，首先求取A的逆矩阵A^-1，然后求取A的逆矩阵乘以B矩阵A^-1*B，A^-1*B的结果为30*120的矩阵，将每一行的系数按照系数的大小进行排序，例如从大到小，将排在前面的系数相加使得系数之和不低于0.95且不超过1.05，从而确定实际应用的系数，并确定与实际应用的系数对应的原始图像的像素点；据此即可降解析度后的图像的像素。以降解析度后的图像的像素点e22为例，与e22相关的系数处于A^-1*B的结果矩阵中的第15行，将15行中的系数按照从大到小的顺序排序，系数之和不低于0.95且不超过1.05时，结果为：

那么e22点R子像素值为：

e22(R)＝0.499847*f44(R)+0.232128*f34(R)+……+(-0.03555)*f47(R)，

其中*代表乘以，(R)代表某像素点的R子像素值。e22点G、B子像素值按照同样的方法获得。如图13所示，图13是上述21个系数所对应的原始图像中的像素点的位置示意图。

通过上述方式，可以减小计算量，节省存储空间。另外，通过实验，当原始图像的解析度矩阵不同时，系数值会有变化，但是比较接近，而且系数大小排列顺序一致。

参阅图14，图14是本发明基于像素的获得降解析度图像的装置一实施方式的结构示意图，该装置用于原始图像的解析度为2M*2N，降解析度后的图像的解析度为M*N的情形，该装置包括：虚拟图像构建模块101、关系式确定模块102、均方误差计算模块103、系数矩阵确定模块104、像素确定模块105以及图像输出模块106。

虚拟图像构建模块101用于根据降解析度后的图像的解析度M*N，通过图像超分辨率技术构建虚拟图像，虚拟图像的解析度为2M*2N。

解析度用以描述影像细节分辨能力，例如，投影仪投影出的画面是由许多小投影点所组成的，解析度代表的就是这些点的数量，如800*600就代表画面是由800*600个点所构成，组成方式为每条线上有800个投影点，共有600条线；解析度越高投射出来的影像也就越清晰。

图像超分辨率的英文名称是Image Super Resolution。图像超分辨率是指由一幅低分辨率图像或图像序列恢复出高分辨率图像。图像超分辨率技术分为超分辨率复原和超分辨率重建。目前，图像超分辨率技术可分为3个主要范畴：基于插值、基于重建以及基于学习的方法。图像超分辨率技术可以看成是一个视觉的逆过程，由一个序列低分辨率噪声图像来恢复一副或是一系列较高分辨率的原图像，同时还能消除噪声以及光学元件产生的模糊。

对于解析度为2M*2N的原始图像，采用降解析度的方法把原始图像缩小至以前的1/2，称生成的图像为降解析度后的图像，其解析度为M*N，根据降解析度后的图像的解析度M*N，通过图像超分辨率技术构建虚拟图像，虚拟图像的解析度和原始图像的解析度是相同的。

通过图像超分辨率技术构建虚拟图像，能够消除噪声以及光学元件产生的模糊。

关系式确定模块102用于确定虚拟图像的像素与降解析度后的图像的像素之间的关系式。

由于虚拟图像是根据降解析度后的图像的解析度通过图像超分辨率技术进行构建的，据此，可以确定虚拟图像的像素与降解析度后的图像的像素之间的关系式。

均方误差计算模块103用于基于虚拟图像的像素与降解析度后的图像的像素之间的关系式，计算虚拟图像的像素与原始图像的像素之间的均方误差。

均方误差(Mean Squared Error，MSE)是衡量“平均误差”的一种较方便的方法，可以评价数据的变化程度。数理统计中均方误差是指参数估计值与参数真值之差平方的期望值，MSE的值越小，说明预测模型描述实验数据具有更好的精确度。

基于虚拟图像的像素与降解析度后的图像的像素之间的关系式，计算虚拟图像的像素与原始图像的像素之间的均方误差，从而可以获得原始图像的像素和降解析度后的图像的像素之间基于虚拟图像的像素与原始图像的像素之间的均方误差的关系式。

系数矩阵确定模块104用于在虚拟图像的像素与原始图像的像素之间的均方误差最小时，确定降解析度后的图像的像素与原始图像的像素之间的系数矩阵。

求取虚拟图像的像素与原始图像的像素之间的均方误差最小值，在在虚拟图像的像素与原始图像的像素之间的均方误差最小时，虚拟图像和原始图像之间的差异是最小的，据此，可以确定降解析度后的图像的像素与原始图像的像素之间的系数矩阵。

像素确定模块105用于根据原始图像的像素、降解析度后的图像的像素与原始图像的像素之间的系数矩阵，确定降解析度后的图像的像素。

在原始图像的像素、降解析度后的图像的像素与原始图像的像素之间的系数矩阵都已知的情况下，即可获得降解析度后的图像的像素。

图像输出模块106用于按照降解析度后的图像的像素，输出降解析度后的图像。

本发明实施方式根据降解析度后的图像的解析度M*N，通过图像超分辨率技术构建与原始图像相同解析度的虚拟图像；确定虚拟图像的像素与降解析度后的图像的像素之间的关系式；基于虚拟图像的像素与降解析度后的图像的像素之间的关系式，计算虚拟图像的像素与原始图像的像素之间的均方误差；在虚拟图像的像素与原始图像的像素之间的均方误差最小时，确定降解析度后的图像的像素与原始图像的像素之间的系数矩阵；根据原始图像的像素、降解析度后的图像的像素与原始图像的像素之间的系数矩阵，确定降解析度后的图像的像素；按照降解析度后的图像的像素，输出降解析度后的图像。由于图像超分辨率技术是对每个像素进行运算构建虚拟图像，对虚拟图像和原始图像的最小均方误差进行分析，从而推导出降解析度后的图像的像素和原始图像的像素之间的关系，这种基于像素计算的降解析度方式既能够获得清晰的图像，又能够避免颜色混叠的现象。

其中，虚拟图像构建模块101具体用于根据降解析度后的图像的解析度M*N，通过图像超分辨率的插值方式构建虚拟图像。

如前所述，图像超分辨率技术可分为3个主要范畴：基于插值、基于重建以及基于学习的方法，本实施方式采用的是插值的方法，插值方法包括但不限于：最近邻插值、线性插值、双三次插值、样条插值、核回归插值等等。

通过插值的方式能够很简单方便地根据降解析度后的图像的解析度M*N构建虚拟图像。

参阅图15，在一实施方式中，虚拟图像构建模块101包括：设定单元1011、插值关系式确定单元1012、插值关系确定单元1013以及虚拟图像构建单元1014。

设定单元1011用于设定P1、P2、P3、P4为降解析度后的图像的像素点，A、B、C为通过图像超分辨率的插值方式构建的虚拟图像的像素点，其中，P1、P2、P3、P4、A、B、C之间的位置关系为：A位于P1与P4的对角线、P2与P3的对角线的交点上，B位于P1与P2连线的中点，C位于P1与P3连线的中点。

插值关系式确定单元1012用于确定虚拟图像的像素点A、B、C的R、G、B子像素值与降解析度后的图像的像素点P1、P2、P3、P4的R、G、B子像素值之间的插值关系式，且均为：A＝1/4(P1+P2+P3+P4)，B＝1/2(P1+P2)，C＝1/2(P1+P3)。

在由降解析度后的图像的像素点进行插值获得虚拟图像的像素点时，按照插值关系式A＝1/4(P1+P2+P3+P4)，B＝1/2(P1+P2)，C＝1/2(P1+P3)进行插值，其中，虚拟图像的像素点A、B、C的R、G、B子像素值与降解析度后的图像的像素点P1、P2、P3、P4的R、G、B子像素值均按照上述插值关系式进行插值，即R、G、B分开计算。

插值关系确定单元1013用于确定虚拟图像的像素点的R、G、B子像素值与降解析度后的图像的像素点的R、G、B子像素值之间的插值关系。

按照上述插值方式，即可确定虚拟图像的像素点的R、G、B子像素值与降解析度后的图像的像素点的R、G、B子像素值之间的插值关系。

虚拟图像构建单元1014用于按照虚拟图像的像素点的R、G、B子像素值与降解析度后的图像的像素点的R、G、B子像素值之间的插值关系，对降解析度图像的所有像素点进行计算，构建虚拟图像。

通过本发明实施方式，可以通过简单的插值获得虚拟图像，进一步简化了计算过程。

参阅图16，在一实施方式中，像素确定模块105包括：排序单元1051、实际应用系数确定单元1052以及像素确定单元1053。

排序单元1051用于根据降解析度后的图像的像素与原始图像的像素之间的系数矩阵，对降解析度后的图像的每个像素点与原始图像的所有像素点之间的系数的大小进行排序。

实际应用系数确定单元1052用于依据排序后系数大的系数的总和不低于0.95且不超过1.05，确定降解析度后的图像的每个像素点实际应用的系数及与实际应用的系数对应的原始图像的像素点。

像素确定单元1053用于根据降解析度后的图像的每个像素点实际应用的系数及与实际应用的系数对应的原始图像的像素点，确定降解析度后的图像的像素。

通过上述方式，可以减小计算量，节省存储空间。

以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种基于像素的获得降解析度图像的方法，其特征在于，原始图像的解析度为2M*2N，降解析度后的图像的解析度为M*N，所述方法包括：

根据所述降解析度后的图像的解析度M*N，通过图像超分辨率技术构建虚拟图像，所述虚拟图像的解析度为2M*2N；

确定所述虚拟图像的像素与所述降解析度后的图像的像素之间的关系式；

基于所述虚拟图像的像素与所述降解析度后的图像的像素之间的关系式，计算所述虚拟图像的像素与所述原始图像的像素之间的均方误差；

在所述虚拟图像的像素与所述原始图像的像素之间的均方误差最小时，确定所述降解析度后的图像的像素与所述原始图像的像素之间的系数矩阵；

根据所述原始图像的像素、所述降解析度后的图像的像素与所述原始图像的像素之间的系数矩阵，确定所述降解析度后的图像的像素；

按照所述降解析度后的图像的像素，输出所述降解析度后的图像。

2.根据权利要求1所述的方法，其特征在于，所述根据所述降解析度后的图像的解析度M*N，通过图像超分辨率技术构建虚拟图像的步骤，包括：根据所述降解析度后的图像的解析度M*N，通过图像超分辨率的插值方式构建虚拟图像。

3.根据权利要求2所述的方法，其特征在于，所述根据所述降解析度后的图像的解析度M*N，通过图像超分辨率的插值方式构建虚拟图像的步骤，包括：

设定P1、P2、P3、P4为所述降解析度后的图像的像素点，A、B、C为通过超分辨率的插值方式构建的所述虚拟图像的像素点，其中，P1、P2、P3、P4、A、B、C之间的位置关系为：A位于P1与P4的对角线、P2与P3的对角线的交点上，B位于P1与P2连线的中点，C位于P1与P3连线的中点；

确定所述虚拟图像的像素点A、B、C的R、G、B子像素值与所述降解析度后的图像的像素点P1、P2、P3、P4的R、G、B子像素值之间的插值关系式，且均为：A＝1/4(P1+P2+P3+P4)，B＝1/2(P1+P2)，C＝1/2(P1+P3)；

确定所述虚拟图像的像素点的R、G、B子像素值与所述降解析度后的图像的像素点的R、G、B子像素值之间的插值关系；

按照所述虚拟图像的像素点的R、G、B子像素值与所述降解析度后的图像的像素点的R、G、B子像素值之间的插值关系，对所述降解析度图像的所有像素点进行计算，构建虚拟图像。

4.根据权利要求1所述的方法，其特征在于，所述根据所述原始图像的像素、所述降解析度后的图像的像素与所述原始图像的像素之间的系数矩阵，确定所述降解析度后的图像的像素的步骤，包括：

根据所述降解析度后的图像的像素与所述原始图像的像素之间的系数矩阵，对所述降解析度后的图像的每个像素点与所述原始图像的所有像素点之间的系数的大小进行排序；

依据所述排序后系数大的系数的总和不低于0.95且不超过1.05，确定所述降解析度后的图像的每个像素点实际应用的系数及与所述实际应用的系数对应的所述原始图像的像素点；

根据降解析度后的图像的每个像素点实际应用的系数及与所述实际应用的系数对应的所述原始图像的像素点，确定所述降解析度后的图像的像素。

5.一种基于像素的获得降解析度图像的装置，其特征在于，原始图像的解析度为2M*2N，降解析度后的图像的解析度为M*N，所述装置包括：

虚拟图像构建模块，用于根据所述降解析度后的图像的解析度M*N，通过图像超分辨率技术构建虚拟图像，所述虚拟图像的解析度为2M*2N；

关系式确定模块，用于确定所述虚拟图像的像素与所述降解析度后的图像的像素之间的关系式；

均方误差计算模块，用于基于所述虚拟图像的像素与所述降解析度后的图像的像素之间的关系式，计算所述虚拟图像的像素与所述原始图像的像素之间的均方误差；

系数矩阵确定模块，用于在所述虚拟图像的像素与所述原始图像的像素之间的均方误差最小时，确定所述降解析度后的图像的像素与所述原始图像的像素之间的系数矩阵；

像素确定模块，用于根据所述原始图像的像素、所述降解析度后的图像的像素与所述原始图像的像素之间的系数矩阵，确定所述降解析度后的图像的像素；

图像输出模块，用于按照所述降解析度后的图像的像素，输出所述降解析度后的图像。

6.根据权利要求5所述的装置，其特征在于，所述虚拟图像构建模块具体用于根据所述降解析度后的图像的解析度M*N，通过图像超分辨率的插值方式构建虚拟图像。

7.根据权利要求6所述的装置，其特征在于，所述虚拟图像构建模块包括：

设定单元，用于设定P1、P2、P3、P4为所述降解析度后的图像的像素点，A、B、C为通过图像超分辨率的插值方式构建的所述虚拟图像的像素点，其中，P1、P2、P3、P4、A、B、C之间的位置关系为：A位于P1与P4的对角线、P2与P3的对角线的交点上，B位于P1与P2连线的中点，C位于P1与P3连线的中点；

插值关系式确定单元，用于确定所述虚拟图像的像素点A、B、C的R、G、B子像素值与所述降解析度后的图像的像素点P1、P2、P3、P4的R、G、B子像素值之间的插值关系式，且均为：A＝1/4(P1+P2+P3+P4)，B＝1/2(P1+P2)，C＝1/2(P1+P3)；

插值关系确定单元，用于确定所述虚拟图像的像素点的R、G、B子像素值与所述降解析度后的图像的像素点的R、G、B子像素值之间的插值关系；

虚拟图像构建单元，用于按照所述虚拟图像的像素点的R、G、B子像素值与所述降解析度后的图像的像素点的R、G、B子像素值之间的插值关系，对所述降解析度图像的所有像素点进行计算，构建虚拟图像。

8.根据权利要求5所述的装置，其特征在于，所述像素确定模块包括：

排序单元，用于根据所述降解析度后的图像的像素与所述原始图像的像素之间的系数矩阵，对所述降解析度后的图像的每个像素点与所述原始图像的所有像素点之间的系数的大小进行排序；

实际应用系数确定单元，用于依据所述排序后系数大的系数的总和不低于0.95且不超过1.05，确定所述降解析度后的图像的每个像素点实际应用的系数及与所述实际应用的系数对应的所述原始图像的像素点；

像素确定单元，用于根据降解析度后的图像的每个像素点实际应用的系数及与所述实际应用的系数对应的所述原始图像的像素点，确定所述降解析度后的图像的像素。