CN113315906B - 图像处理方法、装置及电子设备 - Google Patents

Abstract

本申请公开了一种图像处理方法、装置及电子设备，属于图像处理技术领域。该方法包括：控制电子设备的传感器沿着预设轨迹移动，并在移动的过程中，通过传感器采集至少一张第一图像；基于至少一张第一图像，得到目标图像；其中，预设轨迹与像素排列方向之间的夹角为预设角度；每张第一图像的分辨率小于目标图像的分辨率；目标图像的每个像素点的颜色值为通过至少一个颜色值确定的，该至少一个颜色值为至少一张第一图像中的每张第一图像对应的像素点的颜色值。

Description

图像处理方法、装置及电子设备

技术领域

本申请属于图像处理技术领域，具体涉及一种图像处理方法、装置及电子设备。

背景技术

传感器移动防抖技术，可以应用于超分辨率技术。超分辨率技术主要是利用传感器可以移动的特点，驱动传感器移动一个像素或半个像素的距离进行拍摄，再将拍摄的多张图像合成，达到提升图像画质的技术。超分辨率的功能主要有两项，一个是还原RGGB(红绿绿蓝)四个通道的颜色(即颜色还原)，另一个是扩增图像的分辨率(即分辨率扩增)。

在相关技术中，若要同时达到颜色还原与分辨率扩增的目的，则传感器需要做15次的移动，并进行16次的拍摄，以将拍摄得到的16张图像进行合成得到具备颜色还原与分辨率扩增效果的图像。这样不但需要耗费较长的时间，并且对设备性能要求较高、功耗较高。从而电子设备拍摄得到超分辨率图像的效率较低。

发明内容

本申请实施例的目的是提供一种图像处理方法、装置及电子设备，能够解决电子设备清理图像的效率较低的问题。

第一方面，本申请实施例提供了一种图像处理方法，该方法包括：控制电子设备的传感器沿着预设轨迹移动，并在移动的过程中，通过传感器采集至少一张第一图像；基于至少一张第一图像，合成得到目标图像；其中，预设轨迹与像素排列方向之间的夹角为预设角度；每张第一图像的分辨率小于目标图像的分辨率；目标图像的每个像素点的颜色值为通过至少一个颜色值确定的，该至少一个颜色值为至少一张第一图像中的每张第一图像对应的像素点的颜色值。

第二方面，本申请实施例提供了一种图像处理装置，该装置包括：控制模块和合成模块。其中，控制模块，用于控制电子设备的传感器沿着预设轨迹移动，并在移动的过程中，通过传感器采集至少一张第一图像。合成模块，用于基于至少一张第一图像，得到目标图像。其中，预设轨迹与像素排列方向之间的夹角为预设角度；每张第一图像的分辨率小于目标图像的分辨率；目标图像的每个像素点的颜色值为通过至少一个颜色值确定的，该至少一个颜色值为至少一张第一图像中的每张第一图像对应的像素点的颜色值。

第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。

第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。

第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。

在本申请实施例中，电子设备在拍摄图像的过程中，可以通过控制电子设备的传感器沿着预设轨迹移动，以在移动的过程中，通过传感器采集至少一张第一图像，进而电子设备可以基于采集的至少一张第一图像，合成得到目标图像。由于电子设备在拍摄图像的过程中，可以通过控制传感器沿着与像素排列方向之间的夹角为预设角度的预设轨迹进行移动，并在传感器移动的过程中，采集至少一张第一图像，由于该至少一张第一图像的分辨率较小，电子设备可以通过将该至少一张第一图像进行合成，以得到分辨率较高的目标图像，并通过至少一张第一图像中的每张第一图像对应的像素点的颜色值，确定目标图像的每个像素点的颜色值。因此可以得到分辨率较高，像素颜色还原后的一张图像，从而可以提高电子设备拍摄得到超分辨率图像的效率。

附图说明

图1是现有技术对超分辨率技术应用的示意图之一；

图2是现有技术对超分辨率技术应用的示意图之二；

图3是现有技术对超分辨率技术应用的示意图之三；

图4是现有技术对超分辨率技术应用的示意图之四；

图5是本申请实施例提供的一种图像处理方法的示意图之一；

图6是本申请实施例提供的一种传感器移动示意图之一；

图7是本申请实施例提供的一种传感器移动示意图之二；

图8是本申请实施例提供的一种图像合成示意图；

图9是本申请实施例提供的一种图像处理方法的示意图之二；

图10是本申请实施例提供的一种图像处理方法的示意图之三；

图11是本申请实施例提供的一种图像处理方法的示意图之四；

图12是本申请实施例提供的一种图像像素颜色还原示意图；

图13是本申请实施例提供的一种传感器移动示意图之三；

图14是本申请实施例提供的一种图像处理装置的结构示意图之一；

图15是本申请实施例提供的一种图像处理装置的结构示意图之二；

图16是本申请实施例提供的一种电子设备的结构示意图；

图17是本申请实施例提供的一种电子设备的硬件结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。

在现有的超分辨率拍摄方法中，如图1所示，为现有技术对超分辨率技术应用的示意图，电子设备驱动传感器移动一个像素点或是半个像素点的距离进行拍摄，再将拍摄得到的多张图像进行合成，达到提升图像画质的技术。超分辨率的功能主要有两项，一个是还原RGGB(红绿绿蓝)四个通道的颜色，而不需再对拜耳阵列的原始图像进行猜色的算法处理，另一个是扩增图像的分辨率，比如将4*4大小的图像变成8*8大小的图像，使得图像的分辨率扩增四倍。

如图2所示，为达成超分辨率技术上颜色的还原，需要传感器做三次的移动，并进行四次的拍摄来进行合成。若要同时达到颜色还原与分辨率扩增的目的，则传感器需要做15次的移动，并进行16次的拍摄。多达16次的拍摄，不但需要耗费较长时间，且容易有精度上的误差影响最终的合成效果，在实际应用上面临了很大的挑战。

如图3所示，由于传统拜耳阵列的原始图像，每个像素点只能得到一个颜色(红绿绿蓝其中一个颜色)，要得到其他的颜色信息需要参考周围像素点的颜色，进行猜色的算法处理。单纯以颜色还原为目的的超分辨率技术，是采用上下左右的方向让传感器移动一个像素点的距离，经过四次的拍摄便能让单一像素点获得RGGB的颜色信息。

在图3中，1-64代表实际拍摄到的图像的像素点，1-64之外的部分仅为示意传感器的移动(即传感器移动后可拍摄到的部分)，图3中的第一个图形为传感器示意图，每个像素仅能够对应一个颜色(例如1代表绿色、2代表蓝色、9代表红色等)。图3中的第2个图形(拍摄原始图像是意图)为传感器移动之前所拍摄的图像，图中1代表绿色、2代表蓝色、9代表红色等；图3中的第3个图形(路径1移动后拍摄图像示意图)为传感器按照路径1移动之后所拍摄的图像，图中每个像素点得到第二个颜色，1代表蓝色、2代表绿色、9代表绿色等；图3中的第4个图形(路径2移动后拍摄图像示意图)为传感器按照路径2移动之后所拍摄的图像，图中每个像素点得到第三个颜色，1代表绿色、2代表红色、9代表蓝色等；图3中的第5个图形(路径3移动后拍摄图像示意图)为传感器按照路径3移动之后所拍摄的图像，图中每个像素点得到第四个颜色，1代表红色、2代表绿色、9代表绿色等。将图3中的第2个图形、第3个图形、第4个图形和第5个图形合成得到颜色还原的图形。

如图4所示，针对分辨率扩增，如果影像大小要扩增四倍，影像长宽都要扩增为两倍。以分辨率扩增为主要目的的超分辨率技术，则是将传感器做半像素的移动，相对于一个像素的移动即是由原本像素所在的位置移动到相邻像素中间的位置，经由半像素移动进行拍摄，补充两个像素之间的空白区域(即空白像素点)。

在图4中的第一个图，分辨率扩增将图像的长与宽放大两倍，图像大小扩大为四倍(即将图像的像素密度扩增为两倍，图像的实际尺寸并不会放大)。空白区域为需要补充像素颜色的像素区域，通过半像素的移动可以补充空白区域像素点的颜色参数。可以理解，空白区域为每行像素点之间的间隙对应的区域，或，空白区域为每列像素点之间的间隙对应的区域。

本申请实施例提供的图像处理方法应用于电子设备进行拍摄图像的场景中，具体的应用场景可以根据实际的使用需求而定，本申请不做具体的限定。

以电子设备拍摄照片为例进行说明，在电子设备运行照相机应用程序拍摄照片的过程中，电子设备可以控制摄像头模块(即传感器)沿着第一预设方向(例如电子设备所在平面的右下角45度方向)移动2次，每次移动半个像素点，然后再沿着第二预设方向(例如电子设备所在平面的左下角45度方向)移动1次，每次移动半个像素点，然后再沿着第三预设方向(例如电子设备所在平面的左上角45度方向)移动2次，每次移动半个像素点，然后再沿着第四预设方向(例如电子设备所在平面的右上角45度方向)移动1次，每次移动半个像素点，从而移动一个矩形轨迹回到原点，并在移动的这7次中，每移动一次，拍摄一张图像，从而拍摄得到8张图像，电子设备将拍摄得到的8张图像进行超分辨率合成，得到一张分辨率扩增一倍，颜色还原的图像。从而电子设备无需按照传统的拍摄方法，为达到超分辨率技术上图像颜色的还原，需要控制传感器做15次的移动，并进行16次的拍摄(在传感器做3次移动的基础上，在每移动一次到一个位置时，再在该位置的基础上进行3次的移动和4次拍摄，从而在四个位置上，共进行15次的移动，16次的拍摄，从而同时达到颜色还原与分辨率扩增的目的)，以将拍摄得到的16张图像进行合成得到具备颜色还原与分辨率扩增效果的图像。

因此，在本申请实施例中，电子设备可以通过上述方案，减少传感器移动的次数，和拍摄次数，节省耗时，降低对设备性能的要求并减少功耗，从而提高了电子设备拍摄得到超分辨率图像的效率。

下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的图像处理方法进行详细地说明。

本申请实施例提供一种图像处理方法，图5示出了本申请实施例提供的一种图像处理方法的流程图，该方法可以应用于电子设备。如图5所示，本申请实施例提供的图像处理方法可以包括下述的步骤201和步骤202。

步骤201、控制电子设备的传感器沿着预设轨迹移动，并在移动的过程中，电子设备通过传感器采集至少一张第一图像。

本申请实施例中，上述预设轨迹与像素排列方向之间的夹角为预设角度。

本申请实施例中，在进行拍摄的过程中，电子设备可以控制传感器沿着与像素排列方向之间的夹角为预设角度的预设轨迹进行多次移动，并在移动的过程中通过传感器采集至少一张第一图像，从而可以通过采集到的至少一张第一图像合成得到分辨率扩增且颜色还原的目标图像。

可选地，本申请实施例中，电子设备在沿着预设轨迹移动的同时，每移动一次，电子设备均可拍摄得到一张第一图像。

可选地，本申请实施例中，上述像素排列方向之间可以为电子设备的目标方向，即可以将电子设备的下边缘至上边缘的方向确定为电子设备的目标方向，上述预设角度为大于0度小于180度的范围之间的角度，预设角度最优的角度值为45度(或135度)。

可选地，本申请实施例中，电子设备可以控制传感器在预设轨迹的第一方向(与电子设备的目标方向夹角为135度)上移动2次，并在第二方向(与电子设备的目标方向夹角为135度)上移动1次，然后再控制传感器在预设轨迹的第三方向(与电子设备的目标方向夹角为45度)上移动2次，并在第四方向(与电子设备的目标方向夹角为45度)上移动1次，并在移动的过程中，每移动一次采集一张第一图像，从而电子设备通过传感器采集至少一张第一图像。

可以理解，由于第一方向和第二方向位于电子设备的目标方向的不同侧，虽然上述预设轨迹的第一方向和第二方向均与电子设备的目标方向夹角为135度，但是第一方向和第二方向为不同的方向。

示例性的，如图6所示，为本申请实施例提供的传感器移动轨迹示意图，本申请利用7次的斜向半像素移动，同时完成了分辨率扩增与颜色还原。详细的移动路径如图6的移动路径与方式所示，每次进行斜向半像素移动并进行一次拍摄，完成7次的移动，同时共8次的拍摄以进行超分合成。其中，移动步骤1、移动步骤2、移动步骤3、移动步骤4、移动步骤5、移动步骤6和移动步骤7构成预设轨迹。

步骤202、电子设备基于至少一张第一图像，合成得到目标图像。

本申请实施例中，上述至少一张第一图像中的每张第一图像的分辨率小于目标图像的分辨率；目标图像的每个像素点的颜色值为通过至少一个颜色值确定的，至少一个颜色值为至少一张第一图像中的每张第一图像对应的像素点的颜色值。

可选地，本申请实施例中，电子设备根据至少一张第一图像中每张图像中对应位置的像素点的颜色值，确定目标图像中对应位置的像素点的颜色值，从而合成得到目标图像。

示例性的，如图7所示，为本申请实施例提供的传感器移动过程示意图，针对得到的8张图像进行排列与合成，最终合成得到具有50％的空白像素并进行颜色还原的目标图像。其中，从第1个图到第8个图为依次将得到的图进行合成之后的图像。如图8所示，为将经过7次移动，8次拍摄得到的8张图像进行超分辨率合成的示意图。可以将8个4*4的第一图像，合成得到8*8的目标图像，从而扩增图像的分辨率，在目标图像中包括有一半的空白像素(即没有颜色值的像素点)。

需要说明的是，结合图7中的第一个图进行说明，在包括有空白像素的图像素，分辨率的大小仅由有颜色的像素点决定，即图7中的第一个图的分辨率可以理解为4*4，而并不是8*8。

如此，本申请实施例中，将原本需要的15次移动减少到7次，16次的图像拍摄减少到8次图像拍摄。在拍摄时间上减少了一半的时间，拍摄的图像也只需要原来的一半。拍摄的时间减半，能大幅减少场景或相机主体晃动造成的精度误差。所需要进行合成的图像减少一半，能降低因单张图像偏差而影响最终的合成效果的概率。基于以上优点使得超分辨率在实际应用上的误差因素大幅减少。

本申请实施例提供一种图像处理方法，电子设备在拍摄图像的过程中，可以通过控制电子设备的传感器沿着预设轨迹移动，以在移动的过程中，通过传感器采集至少一张第一图像，进而电子设备可以基于采集的至少一张第一图像，合成得到目标图像。由于电子设备在拍摄图像的过程中，可以通过控制传感器沿着与像素排列方向之间的夹角为预设角度的预设轨迹进行移动，并在传感器移动的过程中，采集至少一张第一图像，由于该至少一张第一图像的分辨率较小，电子设备可以通过将该至少一张第一图像进行合成，以得到分辨率较高的目标图像，并通过至少一张第一图像中的每张第一图像对应的像素点的颜色值，确定目标图像的每个像素点的颜色值。因此可以得到分辨率较高，像素颜色还原后的一张图像，从而可以提高电子设备拍摄得到超分辨率图像的效率。

可选地，本申请实施例中，上述预设轨迹包括：N段第一子轨迹、第二子轨迹、M段第三子轨迹和第四子轨迹；N和M均为正整数。结合图5，如图9所示，上述步骤201具体可以通过下述的步骤201a实现。

步骤201a、电子设备控制传感器依次沿着N段第一子轨迹、第二子轨迹、M段第三子轨迹和第四子轨迹移动，并在初始位置和每次移动后均采集得到一张第一图像。

本申请实施例中，上述第二子轨迹的方向与第一子轨迹的方向垂直，上述第四子轨迹的方向与第三子轨迹的方向垂直，上述第三子轨迹的方向与第一子轨迹的方向相反，上述第四子轨迹的方向与第二子轨迹的方向相反。

可选地，本申请实施例中，电子设备控制传感器每次移动半个像素点，上述预设轨迹为矩形轨迹。

可选地，本申请实施例中，电子设备通过控制传感器移动，以获取每个像素点对应的RGGB四个通道的颜色，从而可以通过合成，还原每个像素点的颜色。

可选地，本申请实施例中，在N取值为2，M取值为3的情况下，电子设备可以通过移动最少次数，采集最少数量的第一图像，合成得到具备分辨率扩增，颜色还原效果的目标图像。

示例性的，结合图6所示，本申请实施例中，电子设备控制传感器从初始位置开始拍摄第一张图像，然后按照移动步骤1、移动步骤2和移动步骤3、移动步骤4、移动步骤5、移动步骤6和移动步骤7，依次进行移动，并在每次移动传感器之后，拍摄一张图像，从而得到8张图像。

需要说明的是，上述移动步骤1和移动步骤2的移动方向为电子设备的目标方向的右下角45度方向，上述移动步骤3的移动方向为电子设备的目标方向的左下角45度方向，上述移动步骤4、移动步骤5和移动步骤6的移动方向为电子设备的目标方向的左上角45度方向，上述移动步骤7的移动方向为电子设备的目标方向的右上角45度方向。

因此，电子设备控制传感器依次沿着N段第一子轨迹、第二子轨迹、M段第三子轨迹和第四子轨迹移动，并在初始位置和每次移动后均采集得到一张第一图像，从而得到多张第一图像，以将该多张第一图像进行合成得到分辨率较高，像素颜色还原的目标图像。

可选地，本申请实施例中，结合图5，如图10所示，上述步骤201具体可以通过下述的步骤201b至步骤201e实现，并且上述步骤202具体可以通过下述的步骤202a实现。

步骤201b、电子设备控制传感器沿着N段第一子轨迹中的第i段子轨迹移动，并通过传感器采集一张第二图像，以采集N张第二图像。

本申请实施例中，i为正整数。

可选地，本申请实施例中，电子设备控制传感器每移动1段子轨迹，拍摄一张第二图像，从而移动N段第一子轨迹，采集N张第二图像。

本申请实施例中，结合图6所示，电子设备控制传感器按照移动步骤1和移动步骤2进行移动，以在电子设备的目标方向的右下角45度方向移动两次，每次移动半个像素点，拍摄得到两张第二图像。

可选地，本申请实施例中，上述第二图像为第一图像中的图像，全部的第二图像构成了至少一张第一图像。

步骤202c、电子设备控制传感器沿着第二子轨迹移动，并通过传感器采集一张第二图像。

本申请实施例中，结合图6所示，电子设备控制传感器按照移动步骤3进行移动，以在电子设备的目标方向的左下角45度方向移动一次，每次移动半个像素点，拍摄得到一张第二图像。

步骤202d、电子设备控制传感器沿着M段第三子轨迹中的第i段子轨迹移动，并通过传感器采集一张第二图像，以采集M张第二图像。

本申请实施例中，结合图6所示，电子设备控制传感器按照移动步骤4、移动步骤5和移动步骤6进行移动，以在电子设备的目标方向的左上角45度方向移动三次，每次移动半个像素点，拍摄得到三张第二图像。

步骤202e、电子设备控制传感器沿着第四子轨迹移动，并通过传感器采集一张第二图像。

本申请实施例中，结合图6所示，电子设备控制传感器按照移动步骤7进行移动，以在电子设备的目标方向的右上角45度方向移动一次，每次移动半个像素点，拍摄得到一张第二图像。

步骤202a、电子设备将传感器依次移动后拍摄得到的多张第二图像进行超分辨率合成，以根据每一个像素点对应的多个颜色值得到一个像素点的目标颜色值，生成目标图像。

本申请实施例中，电子设备将传感器移动7次拍摄得到的8张图像(即多张第二图像，也即至少一张第一图像)进行合成，以根据8张图像中每个像素点对应的RGGB四个通道对应的颜色确定每个像素点的颜色值，生成目标图像。

因此，电子设备通过控制传感器依次沿着预设轨迹中N段第一子轨迹、第二子轨迹、M段第三子轨迹和第四子轨迹进行移动，并在每次移动一段子轨迹时，拍摄采集一张图像，从而将得到的多张图像进行超分辨率合成，以根据每一个像素点对应的多个颜色值得到一个像素点的目标颜色值，生成颜色还原的目标图像。

可选地，本申请实施例中，上述目标图像包括空白像素点。结合图5，如图11所示，在上述步骤202之后，本申请实施例提供的图像处理方法还可以包括下述的步骤301。

步骤301、电子设备根据每个空白像素点周围的多个像素点的目标颜色值，采用预设算法计算得到每个空白像素点的颜色值，还原每个空白像素点的颜色。

可选地，本申请实施例中，上述空白像素点占目标图像中全部像素点的预设比例，该空白像素点与其他像素点依次交替排列，上述预设算法为以下任一项：最近邻差值算法、双线性插值算法、三次插值算法等。

示例性的，如图12所示，由于此时合成后的目标图像中包括有一半的空白像素(即仅有50％的像素点有颜色值)，仍有50％的像素点是空白像素。因此针对空白像素部分，取用周围像素作为参考，采用算法进行内插补充(如双线性内插算法)，最终得到图像中100％的像素点有颜色值，达到分辨率扩增4倍同时还原RGGB四个通道颜色的目的。

本申请实施例中，采用特殊斜向移动方式与路径，将扩增的像素点的颜色获得最有效的补充。空白像素点四周的像素点已经补充了四个通道颜色，使得内插算法的要求减低，简单的双线性内插算法也可获得很好的效果。同时算法内插上变成单纯的细节插补，没有颜色的插补，能减少伪色的产生。如果使用非此移动方式与路径，不但无法在7次移动达成此效果，同时各个像素的颜色还原效果不一，内插的复杂度与难度相对提升，且容易有伪色的产生。

需要说明的是，本申请中提供的传感器移动轨迹仅为示例性的，对本申请所公开的技术方案不做限定，本申请公开的7次的斜向半像素移动，如图13所示，具体的移动路径还可以为如图所示的多种移动路径。

本申请实施例中，电子设备可以根据每个空白像素点周围的多个像素点的目标颜色值，采用预设算法计算得到每个空白像素点的颜色值，还原每个空白像素点的颜色，从而得到图像中每个像素点均进行颜色还原的目标图像。

需要说明的是，本申请实施例提供的图像处理方法，执行主体可以为图像处理装置，或者该图像处理装置中的用于执行图像处理方法的控制模块。本申请实施例中以图像处理装置执行加载图像处理方法为例，说明本申请实施例提供的图像处理装置。

图14示出了本申请实施例中涉及的图像处理装置的一种可能的结构示意图。如图14所示，图像处理装置70可以包括：控制模块71和合成模块72。

其中，控制模块71，用于控制电子设备的传感器沿着预设轨迹移动，并在移动的过程中，通过传感器采集至少一张第一图像。合成模块72，用于基于至少一张第一图像，得到目标图像。其中，预设轨迹与像素排列方向之间的夹角为预设角度；每张第一图像的分辨率小于目标图像的分辨率；目标图像的每个像素点的颜色值为通过至少一个颜色值确定的，该至少一个颜色值为至少一张第一图像中的每张第一图像对应的像素点的颜色值。

在一种可能的实现方式中，预设轨迹包括：N段第一子轨迹、第二子轨迹、M段第三子轨迹和第四子轨迹；N和M均为正整数。控制模块71，具体用于控制传感器依次沿着N段第一子轨迹、第二子轨迹、M段第三子轨迹和第四子轨迹移动，并在初始位置和每次移动后均采集得到一张第一图像。其中，第二子轨迹的方向与第一子轨迹的方向垂直，第四子轨迹的方向与第三子轨迹的方向垂直，第三子轨迹的方向与第一子轨迹的方向相反，第四子轨迹的方向与第二子轨迹的方向相反。

在一种可能的实现方式中，控制模块71，具体用于控制传感器沿着N段第一子轨迹中的第i段子轨迹移动，并通过传感器采集一张第二图像，以采集N张第二图像，i为正整数；再控制传感器沿着第二子轨迹移动，并通过传感器采集一张第二图像；再控制传感器沿着M段第三子轨迹中的第i段子轨迹移动，并通过传感器采集一张第二图像，以采集M张第二图像；以及控制传感器沿着第四子轨迹移动，并通过传感器采集一张第二图像。合成模块72，具体用于将传感器依次移动后拍摄得到的多张第二图像进行超分辨率合成，以根据每一个像素点对应的多个颜色值得到一个像素点的目标颜色值，生成目标图像。

在一种可能的实现方式中，目标图像包括空白像素点。结合图14，如图15所示，本申请实施例提供的图像处理装置70还可以包括：还原模块73。其中，还原模块73，用于在合成模块72基于至少一张第一图像，合成得到目标图像之后，根据每个空白像素点周围的多个像素点的目标颜色值，采用预设算法计算得到每个空白像素点的颜色值，还原每个空白像素点的颜色。

在一种可能的实现方式中，空白像素点占目标图像中全部像素点的预设比例，空白像素点与其他像素点依次交替排列，预设算法为以下任一项：最近邻差值算法、双线性插值算法、三次插值算法。

本申请实施例提供的图像处理装置能够实现上述方法实施例中图像处理装置实现的各个过程，为避免重复，详细描述这里不再赘述。

本申请实施例提供一种图像处理装置，由于电子设备在拍摄图像的过程中，可以通过控制传感器沿着与像素排列方向之间的夹角为预设角度的预设轨迹进行移动，并在传感器移动的过程中，采集至少一张第一图像，由于该至少一张第一图像的分辨率较小，电子设备可以通过将该至少一张第一图像进行合成，以得到分辨率较高的目标图像，并通过至少一张第一图像中的每张第一图像对应的像素点的颜色值，确定目标图像的每个像素点的颜色值。因此可以得到分辨率较高，像素颜色还原后的一张图像，从而可以提高电子设备拍摄得到超分辨率图像的效率。

本申请实施例中的图像处理装置可以是装置，也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personaldigital assistant，PDA)等，非移动电子设备可以为服务器、网络附属存储器(NetworkAttached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。

本申请实施例中的图像处理装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为iOS操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。

可选地，如图16所示，本申请实施例还提供一种电子设备M00，包括处理器M01，存储器M02，存储在存储器M02上并可在所述处理器M01上运行的程序或指令，该程序或指令被处理器M01执行时实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要说明的是，本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。

图17为实现本申请实施例的一种电子设备的硬件结构示意图。

该电子设备100包括但不限于：射频单元101、网络模块102、音频输出单元103、输入单元104、传感器105、显示单元106、用户输入单元107、接口单元108、存储器109、以及处理器110等部件。

本领域技术人员可以理解，电子设备100还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器110逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图17中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。

其中，处理器110，用于控制电子设备的传感器沿着预设轨迹移动。

传感器105，用于在移动的过程中，采集至少一张第一图像；

处理器110，还用于基于至少一张第一图像，合成得到目标图像。其中，预设轨迹与像素排列方向之间的夹角为预设角度；每张第一图像的分辨率小于目标图像的分辨率；目标图像的每个像素点的颜色值为通过至少一个颜色值确定的，该至少一个颜色值为至少一张第一图像中的每张第一图像对应的像素点的颜色值。

本申请实施例提供一种电子设备，由于电子设备在拍摄图像的过程中，可以通过控制传感器沿着与像素排列方向之间的夹角为预设角度的预设轨迹进行移动，并在传感器移动的过程中，采集至少一张第一图像，由于该至少一张第一图像的分辨率较小，电子设备可以通过将该至少一张第一图像进行合成，以得到分辨率较高的目标图像，并通过至少一张第一图像中的每张第一图像对应的像素点的颜色值，确定目标图像的每个像素点的颜色值。因此可以得到分辨率较高，像素颜色还原后的一张图像，从而可以提高电子设备拍摄得到超分辨率图像的效率。

可选地，处理器110，具体用于控制传感器依次沿着N段第一子轨迹、第二子轨迹、M段第三子轨迹和第四子轨迹移动。

传感器105，具体用于在初始位置和每次移动后均采集得到一张第一图像；其中，第二子轨迹的方向与第一子轨迹的方向垂直，第四子轨迹的方向与第三子轨迹的方向垂直，第三子轨迹的方向与第一子轨迹的方向相反，第四子轨迹的方向与第二子轨迹的方向相反。

因此，电子设备控制传感器依次沿着N段第一子轨迹、第二子轨迹、M段第三子轨迹和第四子轨迹移动，并在初始位置和每次移动后均采集得到一张第一图像，从而得到多张第一图像，以将该多张第一图像进行合成得到分辨率较高，像素颜色还原的目标图像。

处理器110，具体用于控制传感器沿着N段第一子轨迹中的第i段子轨迹移动。

传感器105，具体用于采集一张第二图像，以采集N张第二图像，i为正整数。

处理器110，具体用于控制传感器沿着第二子轨迹移动。

传感器105，具体用于采集一张第二图像。

处理器110，具体用于控制传感器沿着M段第三子轨迹中的第i段子轨迹移动。

传感器105，具体用于采集一张第二图像，以采集M张第二图像。

处理器110，具体用于控制传感器沿着第四子轨迹移动。

传感器105，具体用于采集一张第二图像。

处理器110，具体用于将传感器依次移动后拍摄得到的多张第二图像进行超分辨率合成，以根据每一个像素点对应的多个颜色值得到一个像素点的目标颜色值，生成目标图像。

因此，电子设备通过控制传感器依次沿着预设轨迹中N段第一子轨迹、第二子轨迹、M段第三子轨迹和第四子轨迹进行移动，并在每次移动一段子轨迹时，拍摄采集一张图像，从而将得到的多张图像进行超分辨率合成，以根据每一个像素点对应的多个颜色值得到一个像素点的目标颜色值，生成颜色还原的目标图像。

处理器110，还用于根据每个空白像素点周围的多个像素点的目标颜色值，采用预设算法计算得到每个空白像素点的颜色值，还原每个空白像素点的颜色。

本申请实施例中，电子设备可以根据每个空白像素点周围的多个像素点的目标颜色值，采用预设算法计算得到每个空白像素点的颜色值，还原每个空白像素点的颜色，从而得到图像中每个像素点均进行颜色还原的目标图像。

应理解的是，本申请实施例中，输入单元104可以包括图形处理器(GraphicsProcessing Unit，GPU)1041和麦克风1042，图形处理器1041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元106可包括显示面板1061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板1061。用户输入单元107包括触控面板1071以及其他输入设备1072。触控面板1071，也称为触摸屏。触控面板1071可包括触摸检测装置和触摸控制器两个部分。其他输入设备1072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。存储器109可用于存储软件程序以及各种数据，包括但不限于应用程序和操作系统。处理器110可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器110中。

本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等。

本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (12)

1.一种图像处理方法，其特征在于，所述方法包括：

控制电子设备的传感器沿着预设轨迹移动，并在移动的过程中，通过所述传感器在初始位置和每次移动后均采集得到一张第一图像，所述预设轨迹包括：N段第一子轨迹、第二子轨迹、M段第三子轨迹和第四子轨迹；N和M均为正整数；N段所述第一子轨迹依次连接；M段所述第三子轨迹依次连接；第N段所述第一子轨迹、所述第二子轨迹和第1段所述第三子轨迹依次连接；以及第M段所述第三子轨迹和所述第四子轨迹连接；所述第二子轨迹的方向与N段所述第一子轨迹的方向垂直，所述第四子轨迹的方向与M段所述第三子轨迹的方向垂直，M段所述第三子轨迹的方向与N段所述第一子轨迹的方向相反，所述第四子轨迹的方向与所述第二子轨迹的方向相反；

基于所述传感器采集的第一图像，合成得到目标图像；

其中，所述预设轨迹与像素排列方向之间的夹角为预设角度；每张第一图像的分辨率小于所述目标图像的分辨率；所述目标图像的每个像素点的颜色值为通过至少一个颜色值确定的，所述至少一个颜色值为所述传感器采集的第一图像中的每张第一图像对应的像素点的颜色值。

2.根据权利要求1所述的方法，所述控制电子设备的传感器沿着预设轨迹移动包括：

控制所述传感器依次沿着N段所述第一子轨迹、所述第二子轨迹、M段所述第三子轨迹和所述第四子轨迹移动。

3.根据权利要求2所述的方法，其特征在于，所述控制电子设备的传感器沿着预设轨迹移动，并在移动的过程中，通过所述传感器在初始位置和每次移动后均采集得到一张第一图像，包括：

控制所述传感器沿着所述N段第一子轨迹中的第i段子轨迹移动，并通过所述传感器采集一张第二图像，以采集N张第二图像，i为正整数；

控制所述传感器沿着所述第二子轨迹移动，并通过所述传感器采集一张第二图像；

控制所述传感器沿着所述M段第三子轨迹中的第i段子轨迹移动，并通过所述传感器采集一张第二图像，以采集M张第二图像；

控制所述传感器沿着所述第四子轨迹移动，并通过所述传感器采集一张第二图像；

所述基于所述传感器采集的第一图像，合成得到目标图像，包括：

将所述传感器依次移动后拍摄得到的多张第二图像进行超分辨率合成，以根据每一个像素点对应的多个颜色值得到一个像素点的目标颜色值，生成目标图像。

4.根据权利要求1所述的方法，其特征在于，所述目标图像包括空白像素点；

所述基于所述传感器采集的第一图像，合成得到目标图像之后，所述方法还包括：

根据每个空白像素点周围的多个像素点的目标颜色值，采用预设算法计算得到每个空白像素点的颜色值，还原每个空白像素点的颜色。

5.根据权利要求4所述的方法，其特征在于，所述空白像素点占所述目标图像中全部像素点的预设比例，所述空白像素点与其他像素点依次交替排列，所述预设算法为以下任一项：最近邻差值算法、双线性插值算法、三次插值算法。

6.一种图像处理装置，其特征在于，所述图像处理装置包括：控制模块和合成模块；

所述控制模块，用于控制电子设备的传感器沿着预设轨迹移动，并在移动的过程中，通过所述传感器在初始位置和每次移动后均采集得到一张第一图像，所述预设轨迹包括：N段第一子轨迹、第二子轨迹、M段第三子轨迹和第四子轨迹；N和M均为正整数；N段所述第一子轨迹依次连接；M段所述第三子轨迹依次连接；第N段所述第一子轨迹、所述第二子轨迹和第1段所述第三子轨迹依次连接；以及第M段所述第三子轨迹和所述第四子轨迹连接；所述第二子轨迹的方向与N段所述第一子轨迹的方向垂直，所述第四子轨迹的方向与M段所述第三子轨迹的方向垂直，M段所述第三子轨迹的方向与N段所述第一子轨迹的方向相反，所述第四子轨迹的方向与所述第二子轨迹的方向相反；

所述合成模块，用于基于所述传感器采集的第一图像，得到目标图像；

其中，所述预设轨迹与像素排列方向之间的夹角为预设角度；每张第一图像的分辨率小于所述目标图像的分辨率；所述目标图像的每个像素点的颜色值为通过至少一个颜色值确定的，所述至少一个颜色值为所述传感器采集的第一图像中的每张第一图像对应的像素点的颜色值。

7.根据权利要求6所述的图像处理装置，其特征在于，所述控制模块，具体用于控制所述传感器依次沿着N段所述第一子轨迹、所述第二子轨迹、M段所述第三子轨迹和所述第四子轨迹移动。

8.根据权利要求7所述的图像处理装置，其特征在于，所述控制模块，具体用于控制所述传感器沿着所述N段第一子轨迹中的第i段子轨迹移动，并通过所述传感器采集一张第二图像，以采集N张第二图像，i为正整数；再控制所述传感器沿着所述第二子轨迹移动，并通过所述传感器采集一张第二图像；再控制所述传感器沿着所述M段第三子轨迹中的第i段子轨迹移动，并通过所述传感器采集一张第二图像，以采集M张第二图像；以及控制所述传感器沿着所述第四子轨迹移动，并通过所述传感器采集一张第二图像；

所述合成模块，具体用于将所述传感器依次移动后拍摄得到的多张第二图像进行超分辨率合成，以根据每一个像素点对应的多个颜色值得到一个像素点的目标颜色值，生成目标图像。

9.根据权利要求6所述的图像处理装置，其特征在于，所述目标图像包括空白像素点；

所述图像处理装置还包括：还原模块；

所述还原模块，用于在所述合成模块基于所述传感器采集的第一图像，合成得到目标图像之后，根据每个空白像素点周围的多个像素点的目标颜色值，采用预设算法计算得到每个空白像素点的颜色值，还原每个空白像素点的颜色。

10.根据权利要求9所述的图像处理装置，其特征在于，所述空白像素点占所述目标图像中全部像素点的预设比例，所述空白像素点与其他像素点依次交替排列，所述预设算法为以下任一项：最近邻差值算法、双线性插值算法、三次插值算法。

11.一种电子设备，其特征在于，包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1-5中任一项所述的图像处理方法的步骤。

12.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1-5中任一项所述的图像处理方法的步骤。

Images