CN106507067A - 控制方法、控制装置及电子装置 - Google Patents

Abstract

本发明公开一种电子装置的控制方法。首先，控制图像传感器输出合并图像。其次，获取电子装置的剩余电量并判断剩余电量是否小于等于预设阈值。然后，在剩余电量小于等于预设阈值时，将合并图像转化成合并真彩图像。接着，在剩余电量大于预设阈值时，控制图像传感器输出色块图像并将色块图像转化成仿原图像。最后，将仿原图像转化成仿原真彩图像。此外，本发明还公开一种控制装置和电子装置。本发明的控制方法、控制装置及电子装置通过对剩余电量的判断，控制图像传感器输出合适的图像，避免图像传感器固定输出高质量图像带来的大量工作，从而减少电子装置工作时长和电量损耗，提高工作效率，提高用户满意度。

Description

控制方法、控制装置及电子装置

技术领域

本发明涉及成像技术，特别涉及一种控制方法、控制装置及电子装置。

背景技术

现有的一种图像传感器包括感光像素单元阵列和设置在感光像素单元阵列上的滤光片单元阵列，每个滤光片单元阵列覆盖对应一个感光像素单元，每个感光像素单元包括多个感光像素。工作时，可以控制图像传感器曝光输出合并图像，合并图像可以通过图像处理方法转化成合并真彩图像并保存下来。合并图像包括合并像素阵列，同一感光像素单元的多个感光像素合并输出作为对应的合并像素。如此，可以提高合并图像的信噪比，然而，合并图像的解析度降低。当然，也可以控制图像传感器曝光输出高像素的色块图像，色块图像包括原始像素阵列，每个感光像素对应一个原始像素。然而，由于同一滤光片单元对应的多个原始像素颜色相同，同样无法提高色块图像的解析度。因此，需要通过插值计算的方式将高像素色块图像转化成高像素的仿原图像，仿原图像可以包括呈贝尔阵列排布的仿原像素。仿原图像可以通过图像处理方法转化成仿原真彩图像并保存下来。然而，插值计算耗费资源且耗时，而且并非所有场景都适用或者需要输出仿原真彩图像。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明需要提供一种控制方法、控制装置及电子装置。

一种控制方法，用于控制电子装置，所述电子装置包括成像装置，所述成像装置包括图像传感器，所述图像传感器包括感光像素单元阵列和设置在所述感光像素单元阵列上的滤光片单元阵列，每个所述滤光片单元阵列覆盖对应一个所述感光像素单元，每个所述感光像素单元包括多个感光像素，所述控制方法包括以下步骤：

控制所述图像传感器输出合并图像，所述合并图像包括合并像素阵列，同一所述感光像素单元的多个感光像素合并输出作为一个所述合并像素；

获取所述电子装置的剩余电量；

判断所述剩余电量是否小于等于预设阈值；

在所述剩余电量小于等于预设阈值时，将所述合并图像转化成合并真彩图像。

在所述剩余电量大于预设阈值时，控制所述图像传感器输出色块图像，所述色块图像包括预定阵列排布的图像像素单元，所述图像像素单元包括多个原始像素，每个所述感光像素对应一个所述原始像素；

将所述色块图像转化成仿原图像，所述仿原图像包括阵列排布的仿原像素，所述仿原像素包括当前像素，所述原始像素包括与所述当前像素对应的关联像素，所述将所述色块图像转化成所述仿原图像的步骤包括以下步骤：

判断所述当前像素的颜色与所述关联像素的颜色是否相同；

在所述当前像素的颜色与所述关联像素的颜色相同时，将所述关联像素的像素值作为所述当前像素的像素值；和

在所述当前像素的颜色与所述关联像素的颜色不同时，根据关联像素单元的像素值通过第一插值算法计算所述当前像素的像素值，所述图像像素单元包括所述关联像素单元，所述关联像素单元的颜色与所述当前像素相同且与所述当前像素相邻；和

将所述仿原图像转化成仿原真彩图像。

在某些实施方式中，所述预定阵列包括贝尔阵列。

在某些实施方式中，所述图像像素单元包括2*2阵列的所述原始像素。

在某些实施方式中，所述根据关联像素单元的像素值通过第一插值算法计算所述当前像素的像素值的步骤包括以下步骤：

计算所述关联像素各个方向上的渐变量；

计算所述关联像素各个方向上的权重；和

根据所述渐变量及所述权重计算所述当前像素的像素值。

在某些实施方式中，所述控制方法在所述根据关联像素单元的像素值通过第一插值算法计算所述当前像素的像素值的步骤前包括以下步骤：

对所述色块图像做白平衡补偿；

所述控制方法在所述根据关联像素单元的像素值通过第一插值算法计算所述当前像素的像素值的步骤后包括以下步骤：

对所述仿原图像做白平衡补偿还原。

在某些实施方式中，所述控制方法在所述根据关联像素单元的像素值通过第一插值算法计算所述当前像素的像素值的步骤前包括以下步骤：

对所述色块图像做坏点补偿。

在某些实施方式中，所述控制方法在所述根据关联像素单元的像素值通过第一插值算法计算所述当前像素的像素值的步骤前包括以下步骤：

对所述色块图像做串扰补偿。

在某些实施方式中，所述控制方法在所述根据关联像素单元的像素值通过第一插值算法计算所述当前像素的像素值的步骤后包括如下步骤：

对所述仿原图像进行镜片形状校正、去马赛克、降噪和边缘锐化处理。

在某些实施方式中，所述将所述合并图像转化成合并真彩图像的步骤包括以下步骤：

利用第二插值算法将所述合并图像转化成与所述仿原图像对应的还原图像，所述第二插值算法的复杂度小于所述第一插值算法；和

将所述还原图像转化成所述合并真彩图像。

一种控制装置，用于控制电子装置，所述电子装置包括成像装置，所述成像装置包括图像传感器，所述图像传感器包括感光像素单元阵列和设置在所述感光像素单元阵列上的滤光片单元阵列，每个所述滤光片单元阵列覆盖对应一个所述感光像素单元，每个所述感光像素单元包括多个感光像素，所述控制装置包括第一控制模块、获取模块、判断模块、第一转化模块、第二控制模块、第二转化模块和第三转化模块。

所述第一控制模块用于控制所述图像传感器输出合并图像，所述合并图像包括合并像素阵列，同一所述感光像素单元的多个感光像素合并输出作为一个所述合并像素。

所述获取模块用于获取所述电子装置的剩余电量。

所述判断模块用于判断所述剩余电量是否小于等于预设阈值。

所述第一转化模块用于在所述剩余电量小于等于预设阈值时，将所述合并图像转化成合并真彩图像。

所述第二控制模块用于在所述剩余电量大于预设阈值时，控制所述图像传感器输出色块图像，所述色块图像包括预定阵列排布的图像像素单元，所述图像像素单元包括多个原始像素，每个所述感光像素对应一个所述原始像素。

所述第二转化模块用于将所述色块图像转化成仿原图像，所述仿原图像包括阵列排布的仿原像素，所述仿原像素包括当前像素，所述原始像素包括与所述当前像素对应的关联像素。所述第二转化模块包括判断单元、第一计算单元和第二计算单元。

所述判断单元用于判断所述当前像素的颜色与所述关联像素的颜色是否相同。

所述第一计算单元用于在所述当前像素的颜色与所述关联像素的颜色相同时，将所述关联像素的像素值作为所述当前像素的像素值。

所述第二计算单元用于在所述当前像素的颜色与所述关联像素的颜色不同时，根据关联像素单元的像素值通过第一插值算法计算所述当前像素的像素值，所述图像像素单元包括所述关联像素单元，所述关联像素单元的颜色与所述当前像素相同且与所述当前像素相邻。

所述第三转化模块用于将所述仿原图像转化成仿原真彩图像。

在某些实施方式中，所述预定阵列包括贝尔阵列。

在某些实施方式中，所述图像像素单元包括2*2阵列的所述原始像素。

在某些实施方式中，所述第二计算单元包括第一计算子单元、第二计算子单元和第三计算子单元。

所述第一计算子单元用于计算所述关联像素各个方向上的渐变量。

所述第二计算子单元用于计算所述关联像素各个方向上的权重。

所述第三计算子单元用于根据所述渐变量及所述权重计算所述当前像素的像素值。

在某些实施方式中，所述第二转化模块包括白平衡补偿单元和白平衡补偿还原单元。

所述白平衡补偿单元用于对所述色块图像做白平衡补偿。

所述白平衡补偿还原单元用于对所述仿原图像做白平衡补偿还原。

在某些实施方式中，所述第二转化模块包括坏点补偿单元。

所述坏点补偿单元用于对所述色块图像做坏点补偿。

在某些实施方式中，所述第二转化模块包括串扰补偿单元。

所述串扰补偿单元用于对所述色块图像做串扰补偿。

在某些实施方式中，所述第二转化模块包括处理单元。

所述处理单元用于对所述仿原图像进行镜片形状校正、去马赛克、降噪和边缘锐化处理。

在某些实施方式中，所述第一转化模块包括第一转化单元和第二转化单元。

所述第一转化单元用于利用第二插值算法将所述合并图像转化成与所述仿原图像对应的还原图像，所述第二插值算法的复杂度小于所述第一插值算法。

所述第二转化单元用于将所述还原图像转化成所述合并真彩图像。

一种电子装置包括成像装置和所述控制装置。

在某些实施方式中，所述电子装置包括手机或平板电脑。

在某些实施方式中，所述成像装置包括前置相机或后置相机。

本发明的控制方法、控制装置及电子装置通过对剩余的判断，控制图像传感器输出合适的图像，避免图像传感器固定输出高质量图像带来的大量工作，从而减少电子装置工作时长和电量损耗，提高工作效率，提高用户满意度。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：

图1是本发明实施方式的控制方法的流程示意图。

图2是本发明实施方式的控制方法的另一个流程示意图。

图3是本发明实施方式的控制装置的功能模块示意图。

图4是本发明实施方式的第二转化模块的功能模块示意图。

图5是本发明实施方式的电子装置的功能模块示意图。

图6是本发明实施方式的图像传感器的模块示意图。

图7是本发明实施方式的图像传感器的电路示意图。

图8是本发明实施方式的滤光片单元的示意图

图9是本发明实施方式的图像传感器的结构示意图。

图10是本发明实施方式的合并图像状态示意图。

图11是本发明实施方式的色块图像的状态示意图。

图12是本发明实施方式的控制方法的状态示意图。

图13是本发明某些实施方式的控制方法的流程示意图。

图14是本发明某些实施方式的第二计算单元的功能模块示意图。

图15是本发明某些实施方式的控制方法的流程示意图。

图16是本发明某些实施方式的第二转化模块的功能模块示意图。

图17是本发明某些实施方式的色块图像的图像像素单元示意图.

图18是本发明某些实施方式的控制方法的流程示意图。

图19是本发明某些实施方式的第二转化模块的功能模块示意图。

图20是本发明某些实施方式的控制方法的流程示意图。

图21是本发明某些实施方式的第一转化模块的功能模块示意图。

主要元件符号说明：

电子装置1000、成像装置100、图像传感器10、感光像素单元阵列12、感光像素单元12a、感光像素子单元120、感光像素122、感光器件1222、传输管1224、源极跟随器124、模数转换器126、加法器128、滤光片单元阵列14、滤光片单元14a、控制装置200、第一控制模块211、获取模块212、判断模块214、第一转化模块216、第二控制模块218、第二转化模块220、第三转化模块230、判断单元221、第一计算单元222、第二计算单元223、第一计算子单元2232、第二计算子单元2234、第三计算子单元2236、白平衡补偿单元224、白平衡补偿还原单元225、坏点补偿单元226、串扰补偿单元227、处理单元228、第一转化单元2162、第二转化单元2164。

具体实施方式

下面详细描述本发明的实施方式，所述实施方式的实施方式在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

请参阅图1，本发明实施方式的控制方法，用于控制电子装置1000，电子装置1000包括成像装置100，成像装置100包括图像传感器10，图像传感器10包括感光像素单元阵列12和设置在感光像素单元阵列12上的滤光片单元阵列14，每个滤光片单元阵列14覆盖对应一个感光像素单元12a，每个感光像素单元12a包括多个感光像素122，控制方法包括以下步骤：

S211：控制图像传感器输出合并图像，合并图像包括合并像素阵列，同一感光像素单元的多个感光像素合并输出作为一个合并像素；

S212：获取电子装置的剩余电量；

S214：判断剩余电量是否小于等于预设阈值；

S216：在剩余电量小于等于预设阈值时，将合并图像转化成合并真彩图像；

S218：在剩余电量大于预设阈值时，控制图像传感器输出色块图像，色块图像包括预定阵列排布的图像像素单元，图像像素单元包括多个原始像素，每个感光像素对应一个原始像素；

S220：将色块图像转化成仿原图像，仿原图像包括阵列排布的仿原像素，仿原像素包括当前像素，原始像素包括与当前像素对应的关联像素；和

S230：将仿原图像转化成仿原真彩图像。

请参阅图2，在某些实施方式中，步骤S220包括以下步骤：

S221：判断当前像素的颜色与关联像素的颜色是否相同；

S222：在当前像素的颜色与关联像素的颜色相同时，将关联像素的像素值作为当前像素的像素值；和

S223：在当前像素的颜色与关联像素的颜色不同时，根据关联像素单元的像素值通过第一插值算法计算当前像素的像素值，图像像素单元包括关联像素单元，关联像素单元的颜色与当前像素相同且与当前像素相邻。

请参阅图3和图4，本发明实施方式的控制装置200，用于控制电子装置1000，电子装置1000包括成像装置100，成像装置100包括图像传感器10，图像传感器10包括感光像素单元阵列12和设置在感光像素单元阵列12上的滤光片单元阵列14，每个滤光片单元阵列14覆盖对应一个感光像素单元12a，每个感光像素单元12a包括多个感光像素122，控制装置200包括第一控制模块211、获取模块212、判断模块214、第一转化模块216、第二控制模块218、第二转化模块220和第三转化模块230。第一控制模块211用于控制图像传感器10输出合并图像，合并图像包括合并像素阵列，同一感光像素单元12a的多个感光像素122合并输出作为一个合并像素。获取模块212用于获取电子装置1000的剩余电量。判断模块214用于判断剩余电量是否小于等于预设阈值。第一转化模块216用于在剩余电量小于等于预设阈值时，将合并图像转化成合并真彩图像。第二控制模块218用于在剩余电量大于预设阈值时，控制图像传感器10输出色块图像，色块图像包括预定阵列排布的图像像素单元，图像像素单元包括多个原始像素，每个感光像素122对应一个原始像素。第二转化模块220用于将色块图像转化成仿原图像，仿原图像包括阵列排布的仿原像素，仿原像素包括当前像素，原始像素包括与当前像素对应的关联像素，第二转化模块220包括判断单元221、第一计算单元222和第二计算单元223。判断单元221用于判断当前像素的颜色与关联像素的颜色是否相同。第一计算单元222用于在当前像素的颜色与关联像素的颜色相同时，将关联像素的像素值作为当前像素的像素值。第二计算单元223用于在当前像素的颜色与关联像素的颜色不同时，根据关联像素单元的像素值通过第一插值算法计算当前像素的像素值，图像像素单元包括关联像素单元，关联像素单元的颜色与当前像素相同且与当前像素相邻。第三转化模块230用于将仿原图像转化成仿原真彩图像。

也即是说，步骤S211可以由第一控制模块211实现，步骤S212可以由获取模块212实现，步骤S214可以由判断模块214实现，步骤S216可以由第一转化模块216实现，步骤S218可以由第二控制模块218实现，步骤S220可以由第二转化模块220实现，步骤S230可以由第三转化模块230实现。

请参阅图5，本发明实施方式的电子装置1000包括成像装置100和本发明实施方式的控制装置200，也即是说本发明实施方式的控制装置200可以应用于本发明实施方式的电子装置1000。

本发明的控制方法、控制装置200及电子装置1000通过对剩余电量的判断，控制图像传感器10输出合适的图像，避免图像传感器10固定输出高质量图像带来的大量工作和电量损耗，从而减少电子装置1000工作时长，提高工作效率，提高用户满意度。

在某些实施方式中，电子装置1000包括手机或平板电脑等具备成像装置的电子设备，在此不做任何限制。本发明实施方式的电子装置1000是手机。

在某些实施方式中，成像装置100包括前置相机或后置相机。

在某些实施方式中，通过判断电子装置1000的剩余电量来控制图像传感器10输出合适的图像可以确保电子装置1000的正常工作。

可以理解，由于色块图像转化成仿原真彩图像的过程中，要经过复杂的图像处理，例如第一插值算法，所以消耗的能量是比较大的，在电子装置1000的剩余电量不高的情况下，比如剩余电量小于10％，为了保证电子装置1000的后续工作，不能过度地消耗电子装置1000的电量，所以控制装置200可以控制图像传感器10输出合并图像并将合并图像转化成合并真彩图像。

可以理解，在电子装置1000的剩余电量较高的情况下，控制装置200可以控制图像传感器10输出色块图像并将色块图像转化成仿原真彩图像，从而提高输出图像的质量。

在某些实施方式中，预设阈值可由控制装置200确定，比如控制装置200内部存储多个待选择的阈值以提供用户选择。

在某些实施方式中，预设阈值可由用户输入确定，在此不做任何限制。如此，可以贴合每个用户的不同习惯或不同想法来控制图像传感器10输出的图像。并且在用户认为低电量时，能够使用耗电量较低的输出模式来减少电量消耗。

请一并参阅图6至图9，本发明实施方式的图像传感器10包括感光像素单元阵列12和设置在感光像素单元阵列12上的滤光片单元阵列14。

进一步地，感光像素单元阵列12包括多个感光像素单元12a，每个感光像素单元12a包括多个相邻的感光像素122。每个感光像素122包括一个感光器件1222和一个传输管1224，其中，感光器件1222可以是光电二极管，传输管1224可以是MOS晶体管。

滤光片单元阵列14包括多个滤光片单元14a，每个滤光片单元14a覆盖对应一个感光像素单元12a。

具体地，在某些示例中，滤光片单元阵列14包括拜耳阵列，也即是说，相邻的四个滤光片单元14a分别为一个红色滤光片单元、一个蓝色滤光片单元和两个绿色滤光片单元。

每一个感光像素单元12a对应同一颜色的滤光片单元14a，若一个感光像素单元12a中一共包括n个相邻的感光器件1222，那么一个滤光片单元14a覆盖一个感光像素单元12a中的n个感光器件1222，该滤光片单元14a可以是一体构造，也可以由n个独立的子滤光片组装连接在一起。

在某些实施方式中，每个感光像素单元12a包括四个相邻的感光像素122，相邻两个感光像素122共同构成一个感光像素子单元120，感光像素子单元120还包括一个源极跟随器124及一个模数转换器126。感光像素单元12a还包括一个加法器128。其中，一个感光像素子单元120中的每个传输管1224的一端电极被连接到对应感光器件1222的阴极电极，每个传输管1224的另一端被共同连接至源极跟随器124的闸极电极，并通过源极跟随器124源极电极连接至一个模数转换器126。其中，源极跟随器124可以是MOS晶体管。两个感光像素子单元120通过各自的源极跟随器124及模数转换器126连接至加法器128。

也即是说，本发明实施方式的图像传感器10的一个感光像素单元12a中相邻的四个感光器件1222共用一个同颜色的滤光片单元14a，每个感光器件1222对应连接一个传输管1224，相邻两个感光器件1222共用一个源极跟随器124和一个模数转换器126，相邻的四个感光器件1222共用一个加法器128。

进一步地，相邻的四个感光器件1222呈2*2阵列排布。其中，一个感光像素子单元120中的两个感光器件1222可以处于同一列。

在成像时，当同一滤光片单元14a下覆盖的两个感光像素子单元120或者说四个感光器件1222同时曝光时，可以对像素进行合并进而可输出合并图像。

具体地，感光器件1222用于将光照转化为电荷，且产生的电荷与光照强度成比例关系，传输管1224用于根据控制信号来控制电路的导通或断开。当电路导通时，源极跟随器124用于将感光器件1222经光照产生的电荷信号转化为电压信号。模数转换器126用于电压信号转换为数字信号。加法器128用于将两路数字信号相加共同输出。

请参阅图10，以16M的图像传感器10举例来说，本发明实施方式的图像传感器10可以将16M的感光像素122合并成4M，或者说，输出合并图像，合并后，感光像素122的大小相当于变成了原来大小的4倍，从而提升了感光像素122的感光度。此外，由于图像传感器10中的噪声大部分都是随机噪声，对于合并之前的感光像素122的来说，有可能其中一个或两个像素中存在噪点，而在将四个感光像素122合并成一个大的感光像素122后，减小了噪点对该大像素的影响，也即是减弱了噪声，提高了信噪比。

但在感光像素122大小变大的同时，由于像素值降低，合并图像的解析度也将降低。

在成像时，当同一滤光片单元14a下覆盖的四个感光器件1222依次曝光时，可以输出色块图像。

具体地，感光器件1222用于将光照转化为电荷，且产生的电荷与光照强度成比例关系，传输管1224用于根据控制信号来控制电路的导通或断开。当电路导通时，源极跟随器124用于将感光器件1222经光照产生的电荷信号转化为电压信号。模数转换器126用于电压信号转换为数字信号。

请参阅图11，以16M的图像传感器10举例来说，本发明实施方式的图像传感器200还可以保持16M的感光像素122输出，或者说输出色块图像，色块图像包括图像像素单元，图像像素单元包括2*2阵列排布的原始像素，该原始像素的大小与感光像素122大小相同，然而由于覆盖相邻四个感光器件1222的滤光片单元14a为同一颜色，也即时说，虽然四个感光器件1222分别曝光，但覆盖其的滤光片单元14a颜色相同，因此，输出的每个图像像素单元的相邻四个原始像素颜色相同，仍然无法提高图像的解析度。

本发明实施方式的控制方法，可以用于对输出的色块图像进行处理，以得到仿原图像。

可以理解，合并图像在输出时，四个相邻的同色感光像素122以合并像素输出，如此，合并图像中的四个相邻的合并像素仍可看作是典型的拜耳阵列，可以直接被控制装置200处理以输出合并真彩图像。而色块图像在输出时每个感光像素122分别输出，由于相邻四个感光像素122颜色相同，因此，一个图像像素单元的四个相邻原始像素的颜色相同，是非典型的拜耳阵列。而控制装置200无法对非典型拜耳阵列直接进行处理，也即是说，在图像传感器10采用同一控制装置200时，为兼容两种模式的真彩图像输出即合并模式下的合并真彩图像输出及色块模式下的仿原真彩图像输出，需将色块图像转化为仿原图像，或者说将非典型拜耳阵列的图像像素单元转化为典型拜耳阵列的像素排布。

仿原图像包括呈拜耳阵列排布的仿原像素。仿原像素包括当前像素，原始像素包括与当前像素对应的关联像素。

请参阅图12，以图12为例，当前像素为R3’3’和R5’5’，对应的关联像素分别为R33和B55。

在获取当前像素R3’3’时，由于R3’3’与对应的关联像素R33的颜色相同，因此在转化时直接将R33的像素值作为R3’3’的像素值。

在获取当前像素R5’5’时，由于R5’5’与对应的关联像素B55的颜色不相同，显然不能直接将B55的像素值作为R5’5’的像素值，需要根据R5’5’的关联像素单元通过插值的方式计算得到。

需要说明的是，以上及下文中的像素值应当广义理解为该像素的颜色属性数值，例如色彩值。

关联像素单元包括多个，例如4个，颜色与当前像素相同且与当前像素相邻的图像像素单元中的原始像素。

需要说明的是，此处相邻应做广义理解，以图12为例，R5’5’对应的关联像素为B55，与B55所在的图像像素单元相邻的且与R5’5’颜色相同的关联像素单元所在的图像像素单元分别为R44、R74、R47、R77所在的图像像素单元，而并非在空间上距离B55所在的图像像素单元更远的其他的红色图像像素单元。其中，与B55在空间上距离最近的红色原始像素分别为R44、R74、R47和R77，也即是说，R5’5’的关联像素单元由R44、R74、R47和R77组成，R5’5’与R44、R74、R47和R77的颜色相同且相邻。

如此，针对不同情况的当前像素，采用不同方式的将原始像素转化为仿原像素，从而将色块图像转化为仿原图像，由于拍摄图像时，采用了特殊的拜耳阵列结构的滤光片，提高了图像信噪比，并且在图像处理过程中，通过插值算法对色块图像进行插值处理，提高了图像的分辨率及解析度。

请参阅图13，在某些实施方式中，步骤S223包括以下步骤：

S2232：计算关联像素单元各个方向上的渐变量；

S2234：计算关联像素单元各个方向上的权重；和

S2236：根据渐变量及权重计算当前像素的像素值。

请参阅图14，在某些实施方式中，第二计算单元223包括第一计算子单元2232、第二计算子单元2234和第三计算子单元2236。步骤S2232可以由第一计算子单元2232实现，步骤S2234可以由第二计算子单元2234实现，步骤S2236可以由第三计算子单元2236实现。或者说，第一计算子单元2232用于计算关联像素单元各个方向上的渐变量，第二计算子单元2234用于计算关联像素单元各个方向上的权重，第三计算子单元2236用于根据渐变量及权重计算当前像素的像素值。

具体地，插值处理方式是参考图像在不同方向上的能量渐变，将与当前像素对应的颜色相同且相邻的关联像素单元依据在不同方向上的渐变权重大小，通过线性插值的方式计算得到当前像素的像素值。其中，在能量变化量较小的方向上，参考比重较大，因此，在插值计算时的权重较大。

在某些示例中，为方便计算，仅考虑水平和垂直方向。

R5’5’由R44、R74、R47和R77插值得到，而在水平和垂直方向上并不存在颜色相同的原始像素，因此需首根据关联像素单元计算在水平和垂直方向上该颜色的分量。其中，水平方向上的分量为R45和R75、垂直方向的分量为R54和R57可以分别通过R44、R74、R47和R77计算得到。

具体地，R45＝R44*2/3+R47*1/3，R75＝2/3*R74+1/3*R77，R54＝2/3*R44+1/3*R74，R57＝2/3*R47+1/3*R77。

然后，分别计算在水平和垂直方向的渐变量及权重，也即是说，根据该颜色在不同方向的渐变量，以确定在插值时不同方向的参考权重，在渐变量小的方向，权重较大，而在渐变量较大的方向，权重较小。其中，在水平方向的渐变量X1＝|R45-R75|，在垂直方向上的渐变量X2＝|R54-R57|，W1＝X1/(X1+X2)，W2＝X2/(X1+X2)。

如此，根据上述可计算得到，R5’5’＝(2/3*R45+1/3*R75)*W2+(2/3*R54+1/3*R57)*W1。可以理解，若X1大于X2，则W1大于W2，因此计算时水平方向的权重为W2，而垂直方向的权重为W1，反之亦反。

如此，可根据插值算法计算得到当前像素的像素值。依据上述对关联像素的处理方式，可将原始像素转化为呈典型拜耳阵列排布的仿原像素，也即是说，相邻的四个2*2阵列的仿原像素包括一个红色仿原像素，两个绿色仿原像素和一个蓝色仿原像素。

需要说明的是，插值的方式包括但不限于本实施例中公开的在计算时仅考虑垂直和水平两个方向相同颜色的像素值的方式，例如还可以参考其他颜色的像素值。

请参阅图15和图16，在某些实施方式中，步骤S223前包括步骤：

S224：对色块图像做白平衡补偿；

步骤S223后包括步骤：

S225：对仿原图像做白平衡补偿还原。

在某些实施方式中，第二转化模块220包括白平衡补偿单元224和白平衡补偿还原单元225。步骤S224可以由白平衡补偿单元224实现，步骤S225可以由白平衡补偿还原单元225实现。或者说，白平衡补偿单元224用于对色块图像做白平衡补偿，白平衡补偿还原单元225用于对仿原图像做白平衡补偿还原。

具体地，在一些示例中，在将色块图像转化为仿原图像的过程中，在插值过程中，红色和蓝色仿原像素往往不仅参考与其颜色相同的通道的原始像素的颜色，还会参考绿色通道的原始像素的颜色权重，因此，在插值前需要进行白平衡补偿，以在插值计算中排除白平衡的影响。为了不破坏色块图像的白平衡，因此，在插值之后需要将仿原图像进行白平衡补偿还原，还原时根据在补偿中红色、绿色及蓝色的增益值进行还原。

如此，可排除在插值过程中白平衡的影响，并且能够使得插值后得到的仿原图像保持色块图像的白平衡。

请再次参阅图15和图16，在某些实施方式中，步骤S223前包括步骤：

S226：对色块图像做坏点补偿。

在某些实施方式中，第二转化模块220包括坏点补偿单元226。步骤S226可以由坏点补偿单元226实现。或者说，坏点补偿单元226用于对色块图像做坏点补偿。

可以理解，受限于制造工艺，图像传感器10可能会存在坏点，坏点通常不随感光度变化而始终呈现同一颜色，坏点的存在将影响图像质量，因此，为保证插值的准确，不受坏点的影响，需要在插值前进行坏点补偿。

具体地，坏点补偿过程中，可以对原始像素进行检测，当检测到某一原始像素为坏点时，可根据其所在的图像像素单元的其他原始像的像素值进行坏点补偿。

如此，可排除坏点对插值处理的影响，提高图像质量。

请再次参阅图15和图16，在某些实施方式中，步骤S223前包括步骤：

S227：对色块图像做串扰补偿。

在某些实施方式中，第二转化模块220包括串扰补偿单元227。步骤S227可以由串扰补偿单元227实现。或者说，串扰补偿单元227用于对色块图像做串扰补偿。

具体的，一个感光像素单元12a中的四个感光像素122覆盖同一颜色的滤光片，而感光像素122之间可能存在感光度的差异，以至于以仿原图像转化输出的仿原真彩图像中的纯色区域会出现固定型谱噪声，影响图像的质量。因此，需要对色块图像进行串扰补偿。

在某些实施方式中，设定补偿参数包括以下步骤：提供预定光环境；设置成像装置的成像参数；拍摄多帧图像；处理多帧图像以获得串扰补偿参数；和将串扰补偿参数保存在所述图像处理装置内。

如上述解释说明，进行串扰补偿，需要在成像装置100的图像传感器10制造过程中获得补偿参数，并将串扰补偿的相关参数预置于成像装置100的存储器中或装设成像装置100的电子装置1000例如手机或平板电脑中。

预定光环境例如可包括LED匀光板，5000K左右的色温，亮度1000勒克斯左右，成像参数可包括增益值，快门值及镜头位置。设定好相关参数后，进行串扰补偿参数的获取。

处理过程中，首先在设定的光环境中以设置好的成像参数，获取多张色块图像，并合并成一张色块图像，如此可减少以单张色块图像作为校准基础的噪声影响。

请参阅图17，以图17中的图像像素单元Gr为例，其包括Gr1、Gr2、Gr3和Gr4，串扰补偿目的在于将感光度可能存在差异的感光像素通过补偿进本校准至同一水平。该图像像素单元的平均像素值为Gr_avg＝(Gr1+Gr2+Gr3+Gr4)/4，可基本表征这四个感光像素的感光度的平均水平，以此平均值作为基础值,分别计算Gr1/Gr_avg,Gr2/Gr_avg,Gr3/Gr_avg和Gr4/Gr_avg，可以理解，通过计算每一个原始像素的像素值与该图像像素单元的平均像素值的比值，可以基本反映每个原始像素与基础值的偏差，记录四个比值并作为补偿参数记录到相关装置的存储器中，以在成像时进行调取对每个原始像素进行补偿，从而减少串扰，提高图像质量。

通常，在设定串扰补偿参数后还应当验证所设定的参数是否准确。

验证过程中，首先以相同的光环境和成像参数获取一张色块图像，依据计算得到的补偿参数对该色块图像进行串扰补偿，计算补偿后的Gr’_avg、Gr’1/Gr’_avg、Gr’2/Gr’_avg、Gr’3/Gr’_avg和Gr’4/Gr’_avg。根据计算结果判断补偿参数是否准确，判断可根据宏观与微观两个角度考虑。微观是指某一个原始像素在补偿后仍然偏差较大，成像后易被使用者感知，而宏观则从全局角度，也即是在补偿后仍存在偏差的原始像素的总数目较多时，此时即便单独的每一个原始像素的偏差不大，但作为整体仍然会被使用者感知。因此，应当设置针对微观设置一个比例阈值即可，针对宏观需设置一个比例阈值和一个数量阈值。如此，可对设置的串扰补偿参数进行验证，确保补偿参数的正确，以减少串扰对图像质量的影响。

请参阅图18和图19，在某些实施方式中，步骤S223后还包括步骤：

S228：对仿原图像进行镜片阴影校正、去马赛克、降噪和边缘锐化处理。

在某些实施方式中，第二转化模块220包括处理单元228。步骤S228可以由处理单元228实现，或者说，处理单元228用于对仿原图像进行镜片阴影校正、去马赛克、降噪和边缘锐化处理。

可以理解，将色块图像转化为仿原图像后，仿原像素排布为典型的拜耳阵列，可采用处理装置200进行处理，处理过程中包括镜片阴影校正、去马赛克、降噪和边缘锐化处理，如此，处理后即可得到仿原真彩图像输出给用户。

请参阅图20和图21，在某些实施方式中，步骤S216包括以下步骤：

S2162：利用第二插值算法将合并图像转化成与仿原图像对应的还原图像，第二插值算法的复杂度小于第一插值算法；和

S2164：将还原图像转化成合并真彩图像。

在某些实施方式中，第一转化模块216包括第一转化单元2162和第二转化单元2164。第一转化单元2162用于利用第二插值算法将合并图像转化成与仿原图像对应的还原图像，第二插值算法的复杂度小于第一插值算法。第二转化单元2164用于将还原图像转化成合并真彩图像。也即是说，步骤S2162可以由第一转化单元2162实现，步骤S2164可以由第二转化单元2164实现。

在某些实施方式中，第二插值算法的时间复杂度和空间复杂度都比第一插值算法小。算法的复杂度包括时间复杂度和空间复杂度，时间复杂度用来度量算法需要耗费的时间，空间复杂度是用来度量算法需要耗费的存储空间。时间复杂度小说明算法需要耗费的时间少，空间复杂度小说明算法需要耗费的存储空间小，因此，利用第二插值算法有利于提高运算速度，使得拍照过程更加流畅，提高用户体验。

在某些实施方式中，第二插值算法可以是简单地将合并图像放大四倍而不需要经过其他的复杂运算，从而得到与仿原图像对应的还原图像。

可以理解，通过第一转化单元2162和第二转化单元2164转化得到仿原真彩图像后，可以对仿原真彩图像进行降噪和边缘锐化处理，如此，处理后即可得到质量较佳的仿原真彩图像输出给用户。

在本发明的实施方式的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明的实施方式和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的实施方式的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的实施方式的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本发明的实施方式的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接或可以相互通讯；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明的实施方式中的具体含义。

在本发明的实施方式中，除非另有明确的规定和限定，第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正下方和斜下方，或仅仅表示第一特征水平高度小于第二特征。

上文的公开提供了许多不同的实施方式或例子用来实现本发明的实施方式的不同结构。为了简化本发明的实施方式的公开，上文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本发明。此外，本发明的实施方式可以在不同例子中重复参考数字和/或参考字母，这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施方式和/或设置之间的关系。此外，本发明的实施方式提供了的各种特定的工艺和材料的例子，但是本领域普通技术人员可以意识到其他工艺的应用和/或其他材料的使用。

在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理模块的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的实施方式的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明的各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施方式进行变化、修改、替换和变型。

Claims (21)

1.一种控制方法，用于控制电子装置，其特征在于，所述电子装置包括成像装置，所述成像装置包括图像传感器，所述图像传感器包括感光像素单元阵列和设置在所述感光像素单元阵列上的滤光片单元阵列，每个所述滤光片单元阵列覆盖对应一个所述感光像素单元，每个所述感光像素单元包括多个感光像素，所述控制方法包括以下步骤：

控制所述图像传感器输出合并图像，所述合并图像包括合并像素阵列，同一所述感光像素单元的多个感光像素合并输出作为一个所述合并像素；

获取所述电子装置的剩余电量；

判断所述剩余电量是否小于等于预设阈值；

在所述剩余电量小于等于预设阈值时，将所述合并图像转化成合并真彩图像；

在所述剩余电量大于预设阈值时，控制所述图像传感器输出色块图像，所述色块图像包括预定阵列排布的图像像素单元，所述图像像素单元包括多个原始像素，每个所述感光像素对应一个所述原始像素；

将所述色块图像转化成仿原图像，所述仿原图像包括阵列排布的仿原像素，所述仿原像素包括当前像素，所述原始像素包括与所述当前像素对应的关联像素，所述将所述色块图像转化成所述仿原图像的步骤包括以下步骤：

判断所述当前像素的颜色与所述关联像素的颜色是否相同；

在所述当前像素的颜色与所述关联像素的颜色相同时，将所述关联像素的像素值作为所述当前像素的像素值；和

在所述当前像素的颜色与所述关联像素的颜色不同时，根据关联像素单元的像素值通过第一插值算法计算所述当前像素的像素值，所述图像像素单元包括所述关联像素单元，所述关联像素单元的颜色与所述当前像素相同且与所述当前像素相邻；和

将所述仿原图像转化成仿原真彩图像。

2.如权利要求1所述的控制方法，其特征在于，所述预定阵列包括贝尔阵列。

3.如权利要求1所述的控制方法，其特征在于，所述图像像素单元包括2*2阵列的所述原始像素。

4.如权利要求1所述的控制方法，其特征在于，所述根据关联像素单元的像素值通过第一插值算法计算所述当前像素的像素值的步骤包括以下步骤：

计算所述关联像素各个方向上的渐变量；

计算所述关联像素各个方向上的权重；和

根据所述渐变量及所述权重计算所述当前像素的像素值。

5.如权利要求1所述的控制方法，其特征在于，所述控制方法在所述根据关联像素单元的像素值通过第一插值算法计算所述当前像素的像素值的步骤前包括以下步骤：

对所述色块图像做白平衡补偿；

所述控制方法在所述根据关联像素单元的像素值通过第一插值算法计算所述当前像素的像素值的步骤后包括以下步骤：

对所述仿原图像做白平衡补偿还原。

6.如权利要求1所述的控制方法，其特征在于，所述控制方法在所述根据关联像素单元的像素值通过第一插值算法计算所述当前像素的像素值的步骤前包括以下步骤：

对所述色块图像做坏点补偿。

7.如权利要求1所述的控制方法，其特征在于，所述控制方法在所述根据关联像素单元的像素值通过第一插值算法计算所述当前像素的像素值的步骤前包括以下步骤：

对所述色块图像做串扰补偿。

8.如权利要求1所述的控制方法，其特征在于，所述控制方法在所述根据关联像素单元的像素值通过第一插值算法计算所述当前像素的像素值的步骤后包括如下步骤：

对所述仿原图像进行镜片形状校正、去马赛克、降噪和边缘锐化处理。

9.如权利要求1所述的控制方法，其特征在于，所述将所述合并图像转化成合并真彩图像的步骤包括以下步骤：

利用第二插值算法将所述合并图像转化成与所述仿原图像对应的还原图像，所述第二插值算法的复杂度小于所述第一插值算法；和

将所述还原图像转化成所述合并真彩图像。

10.一种控制装置，用于控制电子装置，其特征在于，所述电子装置包括成像装置，所述成像装置包括图像传感器，所述图像传感器包括感光像素单元阵列和设置在所述感光像素单元阵列上的滤光片单元阵列，每个所述滤光片单元阵列覆盖对应一个所述感光像素单元，每个所述感光像素单元包括多个感光像素，所述控制装置包括：

第一控制模块，所述第一控制模块用于控制所述图像传感器输出合并图像，所述合并图像包括合并像素阵列，同一所述感光像素单元的多个感光像素合并输出作为一个所述合并像素；

获取模块，所述获取模块用于获取所述电子装置的剩余电量；

判断模块，所述判断模块用于判断所述剩余电量是否小于等于预设阈值；

第一转化模块，所述第一转化模块用于在所述剩余电量小于等于预设阈值时，将所述合并图像转化成合并真彩图像；

第二控制模块，所述第二控制模块用于在所述剩余电量大于预设阈值时，控制所述图像传感器输出色块图像，所述色块图像包括预定阵列排布的图像像素单元，所述图像像素单元包括多个原始像素，每个所述感光像素对应一个所述原始像素；

第二转化模块，所述第二转化模块用于将所述色块图像转化成仿原图像，所述仿原图像包括阵列排布的仿原像素，所述仿原像素包括当前像素，所述原始像素包括与所述当前像素对应的关联像素，所述第二转化模块包括：

判断单元，所述判断单元用于判断所述当前像素的颜色与所述关联像素的颜色是否相同；

第一计算单元，所述第一计算单元用于在所述当前像素的颜色与所述关联像素的颜色相同时，将所述关联像素的像素值作为所述当前像素的像素值；和

第二计算单元，所述第二计算单元用于在所述当前像素的颜色与所述关联像素的颜色不同时，根据关联像素单元的像素值通过第一插值算法计算所述当前像素的像素值，所述图像像素单元包括所述关联像素单元，所述关联像素单元的颜色与所述当前像素相同且与所述当前像素相邻；和

第三转化模块，所述第三转化模块用于将所述仿原图像转化成仿原真彩图像。

11.如权利要求10所述的控制装置，其特征在于，所述预定阵列包括贝尔阵列。

12.如权利要求10所述的控制装置，其特征在于，所述图像像素单元包括2*2阵列的所述原始像素。

13.如权利要求10所述的控制装置，其特征在于，所述第二计算单元包括：

第一计算子单元，所述第一计算子单元用于计算所述关联像素各个方向上的渐变量；

第二计算子单元，所述第二计算子单元用于计算所述关联像素各个方向上的权重；和

第三计算子单元，所述第三计算子单元用于根据所述渐变量及所述权重计算所述当前像素的像素值。

14.如权利要求10所述的控制装置，其特征在于，所述第二转化模块包括：

白平衡补偿单元，所述白平衡补偿单元用于对所述色块图像做白平衡补偿；

白平衡补偿还原单元，所述白平衡补偿还原单元用于对所述仿原图像做白平衡补偿还原。

15.如权利要求10所述的控制装置，其特征在于，所述第二转化模块包括：

坏点补偿单元，所述坏点补偿单元用于对所述色块图像做坏点补偿。

16.如权利要求10所述的控制装置，其特征在于，所述第二转化模块包括：

串扰补偿单元，所述串扰补偿单元用于对所述色块图像做串扰补偿。

17.如权利要求10所述的控制装置，其特征在于，所述第二转化模块包括：

处理单元，所述处理单元用于对所述仿原图像进行镜片形状校正、去马赛克、降噪和边缘锐化处理。

18.如权利要求10所述的控制装置，其特征在于，所述第一转化模块包括：

第一转化单元，所述第一转化单元用于利用第二插值算法将所述合并图像转化成与所述仿原图像对应的还原图像，所述第二插值算法的复杂度小于所述第一插值算法；和

第二转化单元，所述第二转化单元用于将所述还原图像转化成所述合并真彩图像。

19.一种电子装置，其特征在于包括：

成像装置；和

如权利要求10-18任意一项所述的控制装置。

20.如权利要求19所述的电子装置，其特征在于，所述电子装置包括手机或平板电脑。

21.如权利要求19所述的电子装置，其特征在于，所述成像装置包括前置相机或后置相机。