CN110971786B - 一种拍摄方法及电子设备 - Google Patents

Abstract

本申请涉及图像技术领域，提供一种拍摄方法、电子设备及计算机可读存储介质，解决拍摄效果不佳问题。方法包括：在摄像头拍摄图像的情况下获取拍摄的至少两帧第一图像；确定至少两帧第一图像匹配的目标字典集，根据目标字典集中N个图像单元对第一图像进行稀疏编码获得每一帧第一图像的稀疏表示；根据每一帧第一图像的稀疏表示以及稀疏表示权重确定融合稀疏表示；将融合稀疏表示进行解码得到融合图像。对每一帧第一图像进行稀疏编码，实现对第一图像的单独降噪，采用与第一图像匹配的目标字典集进行稀疏编码，提高单独降噪的效果，对单独降噪后的稀疏表示进行加权融合得到融合稀疏表示，减少噪声，解码后得到噪声较小的融合图像，提高拍摄效果。

Description

一种拍摄方法及电子设备

技术领域

本申请涉及图像技术领域，尤其涉及一种拍摄方法及电子设备。

背景技术

随着计算机技术的快速发展，电子设备功能越来越强大，电子设备可以提供各方面的服务，为人们生活和工作等提供了便利。例如，拍照是电子设备提供的常用服务，用户通过电子设备可进行拍照。

电子设备摄像头的成像原理一般是将光线和物体的亮度信息通过镜头传输至感光传感器，快门时间(即曝光时间)越长，传感器所接收的光线照射时间越多，其工作时间也就越长。而传感器在长时间工作的时候会产生热量，这些热量会均匀得分布于传感器每一个晶体单元上。在成像完成后，这些热量会破坏照片上的一些像素点，从而形成了我们看到的噪点。另外，传感器感光度(International Standardization Organization，简称ISO)的数值高低也影响噪点的多少，ISO越高，传感器接收光线的能力越强，产生的热量也越多，噪点越多。

目前，常采用降噪的方法是首先获取多帧图像，对多帧图像进行融合以减小噪声，多帧图像本身分别有对应的噪声，若多帧图像对应的噪声大，即使进行融合，得到的融合图像也会存在较多的噪声，即降噪效果不佳，从而导致拍摄效果不佳。

发明内容

本申请实施例提供一种拍摄方法、电子设备及计算机可读存储介质，以解决现有技术在拍摄过程中对图像的降噪效果不佳导致拍摄效果不佳的问题。

为了解决上述技术问题，本申请是这样实现的：

第一方面，本申请实施例提供一种拍摄方法，应用于具有摄像头的电子设备，所述方法包括：

在所述摄像头拍摄图像的情况下，获取所述摄像头拍摄的至少两帧第一图像，不同的所述第一图像对应的拍摄参数不同；

确定所述至少两帧第一图像匹配的目标字典集，其中，所述目标字典集中包括N个图像单元，所述N为大于1的整数；

根据所述N个图像单元对所述第一图像进行稀疏编码，获得每一帧所述第一图像的稀疏表示；

根据每一帧所述第一图像的稀疏表示以及稀疏表示权重，确定融合稀疏表示；

将所述融合稀疏表示进行解码，得到融合图像。

第二方面，本申请实施例还提供电子设备，所述电子设备具有摄像头，所述电子设备包括：

第一图像获取模块，用于在所述摄像头拍摄图像的情况下，获取所述摄像头拍摄的至少两帧第一图像，不同的所述第一图像对应的拍摄参数不同；

目标字典集确定模块，用于确定所述至少两帧第一图像匹配的目标字典集，其中，所述目标字典集中包括N个图像单元，所述N为大于1的整数；

编码模块，用于根据所述N个图像单元对所述第一图像进行稀疏编码，获得每一帧所述第一图像的稀疏表示；

融合模块，用于根据每一帧所述第一图像的稀疏表示以及稀疏表示权重，确定融合稀疏表示；

融合图像获取模块，用于将所述融合稀疏表示进行解码，得到融合图像。

第三方面，本申请实施例还提供一种电子设备，包括：存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现本申请提供的各实施例的拍摄方法中的步骤。

第四方面，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现本申请提供的各实施例的所述的拍摄方法中的步骤。

本申请实施例的拍摄方法中，首先在摄像头拍摄图像的情况下，获取摄像头拍摄的至少两帧第一图像，在摄像头拍摄图像的情况下，并确定至少两帧第一图像匹配的目标字典集；基于目标字典集中N个图像单元对至少两帧第一图像中每一帧第一图像进行稀疏编码，获得每一帧第一图像的稀疏表示；再根据每一帧第一图像的稀疏表示以及稀疏表示权重，确定融合稀疏表示；将融合稀疏表示进行解码，得到融合图像。在拍摄过程中，对至少两帧第一图像进行稀疏编码，实现对至少两帧第一图像中每一帧第一图像的单独降噪，而且是采用与拍摄的至少两帧第一图像匹配的目标字典集进行稀疏编码，可提高对每一帧第一图像的单独降噪的效果，另外还根据至少两帧第一图像分别对应的稀疏表示以及稀疏表示权重，确定融合稀疏表示，即对降噪后的稀疏表示进行加权融合得到融合稀疏表示，进一步减少噪声，如此将融合稀疏表示进行解码，可得到噪声较小的融合图像，实现较佳的降噪效果，从而提高拍摄效果。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的拍摄方法的流程图之一；

图2是本申请实施例提供的拍摄方法的流程图之二；

图3是本申请实施例提供的电子设备的示意图之一；

图4是本申请实施例提供的电子设备的硬件结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

参照图1，在一个实施例中，一种拍摄方法，应用于具有摄像头的电子设备，方法包括：

步骤101：在摄像头拍摄图像的情况下，获取摄像头拍摄的至少两帧第一图像。

在接收到拍摄指令的情况下，即可控制摄像头拍摄图像，获得拍摄的图像，在摄像头拍摄图像的情况下，即可获取摄像头拍摄的至少两帧第一图像，即接收用户输入的拍摄指令，控制摄像头进行拍摄，获取摄像头拍摄的至少两帧第一图像。其中，不同的第一图像对应的拍摄参数不同，可以理解为摄像头以不同的拍摄参数拍摄的至少两帧第一图像，在摄像头拍摄图像的情况下，获取摄像头以至少两组拍摄参数拍摄的至少两帧第一图像，第一图像与拍摄参数一一对应，即每一帧第一图像对应拍摄参数，不同的第一图像对应的拍摄参数不同，若拍摄参数数量有多个，不同的第一图像对应的拍摄参数不同可以理解为对应的拍摄参数中至少一个拍摄参数不同。在一个示例中，拍摄参数可包括曝光时间和感光度(即传感器感光度，International Standardization Organization，简称ISO)，不同的第一图像的曝光时间不同或/和感光度不同。

步骤102：确定至少两帧第一图像匹配的目标字典集。

其中，目标字典集中包括N个图像单元，N为大于1的整数。预先在电子设备中存储有M个字典集，M大于1，每个字典集中包括至少两个图像单元，在得到至少两帧第一图像后，可在M个字典集中确定至少两帧第一图像匹配的目标字典集，用于后续的稀疏编码。

步骤103：根据N个图像单元对第一图像进行稀疏编码，获得每一帧第一图像的稀疏表示。

稀疏编码是一种无监督学习的过程，目的是找到一组基向量，能够将图像表示为这些基向量的线性组合，可实现对图像降噪，对第一图像进行稀疏编码，即可实现对该第一图像的单独降噪。在稀疏编码过程中，需要利用到字典集的N个图像单元的线性组合来表示图像，可以获得图像的更为简洁的表示方式。稀疏表示为稀疏编码后的结果，可以理解为稀疏编码结果。稀疏表示可以理解为用较少的基本信号的线性组合来表示原信号，在本实施例中，基本信号为图像单元，原信号为第一图像。例如，对于第一图像X，可以表示为一个图像矩阵，字典集A，可以表示为一个字典矩阵，寻找一个系数矩阵B，使得A*B尽可能的还原第一图像X，且B尽可能的稀疏(若一个向量中为零的元素越多，表示该向量越稀疏)，则B便是X的稀疏表示。在一个示例中，可通过协同稀疏方式，根据N个图像单元，对至少两帧第一图像进行稀疏编码，获得每一帧第一图像的稀疏表示。即可以理解利用协同稀疏方式进行约束求解，求解方式可采用贪婪算法、凸优化算法等，但不限于此。

在本实施例中，获取有至少两帧第一图像，需对至少两帧第一图像进行稀疏编码，得到每一帧第一图像的稀疏表示。一个图像在不同的字典集下可得到不同的稀疏表示，则降噪效果也不同，在本实施例中，通过与至少两帧图像匹配的目标字典集进行稀疏编码得到稀疏表示，提高稀疏表示的准确性，降噪效果越好。

步骤104：根据每一帧第一图像的稀疏表示以及稀疏表示权重，确定融合稀疏表示。

通过对每一帧第一图像进行稀疏编码，可实现对每一帧第一图像的单独降噪，为进一步确保降噪效果，还可根据每一帧第一图像的稀疏表示的稀疏表示权重，对至少两帧第一图像的稀疏表示进行加权融合，得到融合稀疏表示，不再是单独利用单帧的图像的稀疏表示，考虑了多帧第一图像的稀疏，使融合稀疏表示能更加准确，使降噪效果更好。

步骤105：将融合稀疏表示进行解码，得到融合图像。

得到融合稀疏表示后，即可根据融合稀疏表示以及目标字典集中的N个图像单元，得到融合图像，融合稀疏表示即为融合图像对于目标字典集的稀疏编码，对融合稀疏表示解码后得到融合图像。可以理解为利用目标字典集中的N个图像单元对融合稀疏表示进行稀疏解码，得到融合图像。

本申请实施例的拍摄方法中，首先获取摄像头以至少两个拍摄参数拍摄的至少两帧第一图像，并基于至少两帧第一图像，确定匹配的目标字典集；基于目标字典集中N个图像单元对至少两帧第一图像进行稀疏编码，获得至少两帧第一图像分别对应的稀疏表示；再根据至少两帧第一图像分别对应的稀疏表示以及稀疏表示权重，确定融合稀疏表示；将融合稀疏表示进行解码，得到融合图像。由于在拍摄过程中，对至少两帧第一图像进行稀疏编码，实现对至少两帧第一图像中每一帧第一图像的单独降噪，而且是采用与拍摄的至少两帧第一图像匹配的目标字典集进行稀疏编码，可提高对每一帧第一图像的单独降噪的效果，另外还根据至少两帧第一图像分别对应的稀疏表示以及稀疏表示权重，确定融合稀疏表示，即对降噪后的稀疏表示进行加权融合得到融合稀疏表示，进一步减少噪声，如此将融合稀疏表示进行解码，可得到噪声较小的融合图像，实现较佳的降噪效果，从而提高拍摄效果。

在一个实施例中，每一帧第一图像分别包括M个图像块，第一图像的稀疏表示包括每个图像块的子稀疏表示，第一图像的稀疏表示权重包括每个图像块的子稀疏表示权重，M为大于1的整数。

在本实施例中，根据每一帧第一图像的稀疏表示以及稀疏表示权重，确定融合稀疏表示，包括：根据至少两帧第一图像中相同位置的图像块的子稀疏表示权重，对至少两帧第一图像中相同位置的图像块的子稀疏表示进行加权融合，得到融合稀疏表示。即如图2所示，在本实施例中，提供一种拍摄方法，应用于具有摄像头的电子设备，该方法包括：

步骤201：在摄像头拍摄图像的情况下，获取摄像头拍摄的至少两帧第一图像。

不同的第一图像对应的拍摄参数不同；

步骤202：确定至少两帧第一图像匹配的目标字典集。

其中，目标字典集中包括N个图像单元，N为大于1的整数；

步骤203：根据N个图像单元对第一图像进行稀疏编码，获得每一帧第一图像的稀疏表示；

步骤204：根据至少两帧第一图像中相同位置的图像块的子稀疏表示权重，对至少两帧第一图像中相同位置的图像块的子稀疏表示进行加权融合，得到融合稀疏表示；

步骤205：将融合稀疏表示进行解码，得到融合图像。

上述步骤201-203分别与上述步骤101-103一一对应，步骤205对应于上述步骤105，在此不再赘述。在本实施例中，每一帧第一图像分别包括M个图像块，至少两帧第一图像中处在相同位置(指在各自对应的第一图像中的位置)的图像块的大小是相同的，第一图像的M个图像块中每个图像块有对应的子稀疏表示，每个图像块有其对应的稀疏表示权重，即每个子稀疏表示有对应的子稀疏表示权重，即第一图像的稀疏表示包括该第一图像的M个图像块中每个图像块的子稀疏表示，第一图像的稀疏表示权重包括该第一图像的M个图像块中每个图像块的子稀疏表示权重，可利用至少两帧第一图像之间处在相同位置的图像块的子稀疏表示权重，对至少两帧第一图像之间处在相同位置的图像块的子稀疏表示进行加权融合，从而实现至少两帧第一图像的整体融合。

例如，若M为4，有两帧第一图像，分别为图像X1和图像X2，图像X1的稀疏表示包括4个图像块(分别为图像块X11、图像块X12、图像块X13和图像块X14)的子稀疏表示，图像X1的稀疏表示权重包括4个图像块的子稀疏表示权重(分别依次对应为W11、W12、W13和W14)，图像X2的稀疏表示包括4个图像块(分别为图像块X21、图像块X22、图像块X23和图像块X24)的子稀疏表示，图像X2的稀疏表示权重包括4个图像块的子稀疏表示权重(分别依次对应为W21、W22、W23和W24)。图像块X11在图像X1中左上角位置，图像块X21在图像X2中左上角位置，且图像块X11和图像块X21大小是相同的。图像块X12在图像X1中右上角位置，图像块X22在图像X2中右上角位置，且图像块X12和图像块X22大小是相同的。图像块X13在图像X1中左下角位置，图像块X23在图像X2中左下角位置，且图像块X13和图像块X23大小是相同的。图像块X14在图像X1中右下角位置，图像块X24在图像X2中右下角位置，且图像块X14和图像块X24大小是相同的。则在图像X1和图像X2融合过程中，根据子稀疏表示权重W11和W21，将图像块X11与图像块X21进行加权融合，根据子稀疏表示权重W12和W22，将图像块X12与图像块X22进行加权融合，根据子稀疏表示权重W13和W23，将图像块X13与图像块X23进行加权融合，根据子稀疏表示权重W14和W24，将图像块X14与图像块X24进行加权融合，实现整个图像X1和图像X2的融合。

在本实施例中，每个图像块对应有子稀疏表示权重，能准确地体现不同图像块之间的权重差异，利用图像块对应的子稀疏表示权重对图像块的子稀疏表示进行加权融合，能提高融合的准确性。

在一个实施例中，基于N个图像单元对第一图像进行稀疏编码之前，还包括：从至少两帧第一图像中选择第一预设图像参数满足预设要求的基准图像，至少两帧第一图像包括基准图像和至少一帧目标图像；对基准图像进行分块，获得M个基准图像块以及M个基准图像块的位置；确定每帧目标图像中，与M个基准图像块匹配的M个目标图像块；将每帧目标图像的M个目标图像块按照匹配的M个基准图像块的位置进行拼接，更新每帧目标图像。

基准图像为至少两帧第一图像中的一个第一图像，每帧第一图像可分别包括M个图像块，此处，基准图像的M个基准图像块即为基准图像的M个图像块。目标图像为至少两帧第一图像中的图像，更新目标图像，即对至少两帧第一图像进行了更新(其中，基准图像不进行上述拼接和更新)，可以理解，后续在进行稀疏编码过程中，是对更新后的至少两帧第一图像进行稀疏编码。

在本实施例中，基准图形包括M个基准图像块，M个基准图像块拼接可形成基准图像，则在每帧目标图像中，可确定与每个基准图像块匹配的目标图像块，从而可得到每帧目标图像的M个目标图像块，目标图像块与匹配的基准图像块的大小相同，与基准图像块匹配的目标图像块，在目标图像中的位置与该基准图像块在基准图像中的位置可以不同，在本实施例中，以目标图像块匹配的基准图像块的位置为基准进行拼接，得到新的目标图像。如此，目标图像块为与基准图像块匹配的图像块，而基准图像块为第一预设图像参数满足预设要求的基准图像中的图像块，如此，通过匹配的目标图像块进行重新拼接得到目标图像，可提高目标图像的准确性，从而提高图像融合效果。

在一个示例中，上述匹配可以理解为相似度匹配，相似度可根据图像的像素值的欧式距离得到等，欧式距离越小，相似度越大。在确定每帧目标图像中，与M个基准图像块匹配的M个目标图像块的过程中，对于任意一个基准图像块，可在目标图像中以该基准图像块的位置为中心的预定距离范围内的区域中查找与该基准图像块匹配的目标图像块，例如，可以该基准图像块的位置为基准，将目标图像中与该基准图像块之间的距离小于或等于预定距离的多个候选图像块，分别与该基准图像块进行匹配，即计算多个候选图像块分别与该基准图像的相似度，得到多个相似度，将最大的相似度对应的候选图像块作为与该基准图像匹配的目标图像块。其中，可以以基准图像块的一个位置点与候选图像块中与该一个位置点相同的位置点之间的距离作为候选图像块与该基准图像块之间的距离(例如，以图像的左上角的位置点进行距离计算)。在一个示例中，第一预设图像参数可以为平均梯度幅值，基准图像可以为至少两帧第一图像中平均梯度幅值最大的第一图像，从而可确保选择的基准图像的平均梯度幅值最大。

在一个实施例中，对基准图像进行分块，获得M个基准图像块以及M个基准图像块的位置之后，确定每帧目标图像中，与M个基准图像块匹配的M个目标图像块之前，还包括：

对每帧目标图像进行透视变换，更新每帧目标图像。

即在本实施例中，在确定目标图像中与基准图像块匹配的目标图像块，利用目标图像块按照基准图像块的位置拼接更新目标图像之前，还需对目标图像进行透视变换以更新目标图像，从而更新至少两帧第一图像。可以理解，后续在进行确定每帧目标图像中，与M个基准图像块匹配的M个目标图像块的过程中，是确定进行透视变换更新后的目标图像中，与M个基准图像块匹配的M个目标图像块，后续再进行拼接，再次更新目标图像块。通过透视变换可产生立体效果，提高目标图像的立体效果，从而可提高最终得到的融合图像的立体效果。

在一个实施例中，确定每帧目标图像中，与M个基准图像块匹配的M个目标图像块，包括：

通过图像金字塔算法分别对基准图像以及每帧目标图像进行处理，生成基准图像的T层第一参考图像以及每帧目标图像的T层第二参考图像，T为正整数；

对于第I个基准图像块，确定第I个基准图像块在T层第一参考图像中对应的T个第一参考图像块，I为正整数，且I≤M；

对于第J个目标图像，将第J个目标图像中，以目标位置为基准的预设距离范围内，与第I个基准图像块之间的第二预设图像参数最小的图像块，作为第J个目标图像中，与第I个基准图像块匹配的目标图像块；

其中，目标位置通过目标相对位移以及第I个基准图像块的位置确定，目标相对位移通过第1个第一参考图像块的第一相对位移以及基准图像和第1个第一参考图像之间的尺度比例确定，第t个第一参考图像块的第一相对位移通过第t+1个第一参考图像块的第一相对位移以及第t个第一参考图像和第t+1个第一参考图像之间的尺度比例确定，t为正整数，且t+1≤T，第T个第一参考图像块的第一相对位移为第T个匹配图像块相对第T个第一参考图像块的相对位移，第T个匹配图像块为第T个第二参考图像中与第T个第一参考图像块匹配的图像块。

图像金字塔算法是图像多尺度表达的一种，是一种以多分辨率来解释图像的有效但概念简单的结构。一幅图像的金字塔是一系列以金字塔形状排列的分辨率逐步降低，且来源于同一张原图的图像集合。其通过梯次向下采样获得，直到达到某个终止条件才停止采样。我们将一层一层的图像比喻成金字塔，层级越高，则图像越小，分辨率越低。利用图像金字塔算法对一幅图像进行处理后，可得到T层图像(在本实施例中，不包括原图)，第1层的图像在T层图像中是最大的，且分辨率在T层图像中是最高的，第T层的图像最小，分辨率最低。在本实施例中，通过图像金字塔算法分别对基准图像以及每帧目标图像进行处理，生成基准图像的T层第一参考图像(即T个第一参考图像)以及每帧目标图像的T层第二参考图像，即每一帧目标图像对应T层第二参考图像(即T个第二参考图像)。

基准图像有M个基准图像块，对于每一个基准图像块，需要确定其在每一个第一参考图像中对应的第一参考图像块，从而可确定T个第一参考图像块。对于第I个基准图像块，对应有T个第一参考图像块，需要找到第I个基准图像块分别在至少一帧目标图像中的每一帧目标图像中匹配的目标图像块，基准图像的T层第一参考图像与目标图像的T层第二参考图像一一对应，且第一参考图像与对应的第二参考图像大小相同。对于在第J个目标图像中寻找与第I个基准图像块匹配的目标图像块的过程中，将第J个目标图像中，以目标位置为基准的预设距离范围内，与第I个基准图像块之间的第二预设图像参数最小的图像块，作为第J个目标图像中，与第I个基准图像块匹配的目标图像块。在一个示例中，第二预设图像参数可以为相似度，可根据图像的像素值的欧式距离获得，欧式距离越大，相似度越小，欧式距离越小，相似度越大。

在一个示例中，在通过目标相对位移以及第I个基准图像块的位置确定目标位置过程中，在第I个基准图像块的位置的基础上，移动上述目标相对位移即可得到目标位置，即第I个基准图像块的位置加上目标相位位移即可得到目标位置。在通过第1个第一参考图像块的第一相对位移以及基准图像和第1个第一参考图像之间的尺度比例确定目标相对位移过程中，可将第1个第一参考图像块的第一相对位移乘以基准图像和第1个第一参考图像之间的尺度比例即可得到目标相对位移。在通过第t+1个第一参考图像块的第一相对位移以及第t个第一参考图像和第t+1个第一参考图像之间的尺度比例确定第t个第一参考图像块的第一相对位移过程中，可将第t+1个第一参考图像块的第一相对位移乘以第t个第一参考图像和第t+1个第一参考图像之间的尺度比例即可得到第t个第一参考图像块的第一相对位移。

在一个实施例中，根据至少两帧第一图像中相同位置的图像块的子稀疏表示权重，对至少两帧第一图像中相同位置的图像块的子稀疏表示进行加权融合，得到融合稀疏表示之前，还包括：

根据每帧目标图像中M个目标图像块分别与匹配的基准图像块之间的第三预设图像参数，确定每帧目标图像中M个目标图像块的子稀疏表示权重。

即目标图像块的子稀疏表示权重与目标图像块对应的第三预设图像参数有关，以确保权重的准确性。目标图像块的第三预设图像参数越大，则对应的子稀疏表示权重越大，表示该目标图像块对融合所起的作用越大。在一个示例中，上述第三预设图像参数可以为相似度。

下面以一个具体实施例对上述方法过程加以具体说明。

传感器感光度高低影响噪点的多少，ISO越高，传感器接收光线的能力越强，产生的热量也越多，噪声越强。手机在拍摄过程中，若光线亮度较低，通常会采取增加曝光时间或是提高ISO的策略，这种策略在提高目标亮度的同时也提高了噪声强度，因此输出图像中通常会包含大量噪点。从而需要进行处理得到较为干净、纯净的输出图像，提高拍摄效果。

本实施例中，根据拍摄场景的主题风格(包含人物、自然风光、刚体结构等)选择最适配的目标字典集，该目标字典集用来作为计算稀疏表示的索引字典，目标字典集对于多帧图像的过完备性越高，稀疏表示越准确，降噪性能越好。其中，预先存储的每一类主题的字典集构成为：80％的本类主题图像+20％的其他主题图像。这种构成方式一方面能够保证该类主题字典集能够对大部分本类图像呈现过完备，另一方面适量的引入其他主题的图像特征能够使得字典集具有泛化能力，对错误选择主题的输入图像也具有一定的表示能力。

对于字典集的训练方法，常见的有最优方向算法、奇异值分解(KSVD)、最大后验概率算法等，具体过程此处不做限定。

对于至少两帧的第一图像与预先存储的字典集的匹配，可以利用传统的先提取图像特征，再对特征进行学习的方法进行匹配，或者是利用深度学习的方法用训练好的模型直接进行场景类型识别，具体过程此处不做限定。

本实施例中，至少两帧第一图像为快门按下后(即进行拍照操作)，传感器快速采集不同曝光时间、不同ISO下的多帧图像，因此各帧第一图像之间的整体场景位移较小。在得到至少两帧第一图像之后，在图像金字塔算法模型下由粗到精的对图像块进行配准，最终计算原始图像尺度上的像素级配准，也可以利用透视变换模型直接计算每个像素的配准。具体过程此处不做限定。

对于至少两帧第一图像，其拍摄时间、拍摄地点相差较小，图像中的纹理、形状等特征相似性较大，可以认为对应于同一个过完备字典集。经过上述配准后，可以认为一组多帧图像对于同一个字典集具有相似的稀疏编码方式，可以利用协同稀疏进行约束求解，求解方式可以采用贪婪算法、凸优化算法等，具体过程不做限定。

协同稀疏要求输入的多帧图像在字典集中对应相同的组成原子(图像单元)，其他原子的稀疏编码分量为0，编码矩阵体现出行稀疏性(或列稀疏，根据数据构成方式而定)。在连续多帧图像中，有效信号通常较为稳定，在每一帧图像中都具有一定的能量，因此稀疏编码向量距离0向量较远，不易被优化剔除，而噪声信号通常较为随机，一般会出现某几帧噪声能量较大，其他帧噪声能量较小的现象，在稀疏编码是更接近0向量，容易被优化剔除，进行达到对输入多帧图像每一帧的降噪效果。

当确认好至少两帧第一图像对应于过完备字典集的稀疏编码后，直接在稀疏空间中对多帧图像进行加权融合。在传统的多帧降噪技术中，加权融合的目的主要是为了降低某几帧中的噪声能量和剔除误匹配块。对于本实施例，一方面，协同稀疏可以对个别帧的噪声加以抑制，另一方面，由于匹配准确的像素点之间通常具有相似的灰度特征，其对应于样本统计体现出较高的相关性，而误匹配点与其他配准点的相关性较小(这里以点为中心确认小邻域图像块，以图像块为对象计算相关性作为该点的相关性)。根据至少两帧第一图像中至少一帧目标图像中的目标图像块与基准图像中基准图像块之间的相关性大小确定各图像块的权重并作归一化，此处相关性越大，权值越大。

在稀疏空间对各帧的稀疏编码进行加权融合后，这里的加权稀疏编码即为融合图像对应于过完备字典集的稀疏编码，解码得到最终的融合图像。

本实施例中，利用协同稀疏编码的方式先对至少两帧第一图像中的每一帧进行降噪，再将降噪后的图像进行融合，提高了整个多帧降噪算法的降噪性能，在稀疏空间中根据各目标图像块与基准图像块之间的相关性自适应确认融合权重，避免了传统方法中大量的阈值设置，提高了整体多帧降噪算法的普适性。

如图3所示，在一个实施例中，还提供一种电子设备300，电子设备具有摄像头，该电子设备300包括：

第一图像获取模块301，用于在摄像头拍摄图像的情况下，获取摄像头拍摄的至少两帧第一图像，不同的第一图像对应的拍摄参数不同；

目标字典集确定模块302，用于确定至少两帧第一图像匹配的目标字典集，其中，目标字典集中包括N个图像单元，N为大于1的整数；

编码模块303，用于根据N个图像单元对第一图像进行稀疏编码，获得每一帧第一图像的稀疏表示；

融合模块304，用于根据每一帧第一图像的稀疏表示以及稀疏表示权重，确定融合稀疏表示；

融合图像获取模块305，用于将融合稀疏表示进行解码，得到融合图像。

在一个实施例中，每一帧所述第一图像分别包括M个图像块，所述第一图像的稀疏表示包括每个所述图像块的子稀疏表示，所述第一图像的稀疏表示权重包括每个所述图像块的子稀疏表示权重，所述M为大于1的整数；

融合模块，用于根据所述至少两帧第一图像中相同位置的图像块的子稀疏表示权重，对所述至少两帧第一图像中相同位置的图像块的子稀疏表示进行加权融合，得到所述融合稀疏表示。

在一个实施例中，电子设备还包括：

基准图像选择模块，用于从至少两帧第一图像中选择第一预设图像参数满足预设要求的基准图像，至少两帧第一图像包括至少一帧目标图像和基准图像；

第一分块模块，用于对基准图像进行分块，获得M个基准图像块以及M个基准图像块的位置；

匹配模块，用于确定每帧目标图像中，与M个基准图像块匹配的M个目标图像块；

第一更新模块，用于将每帧目标图像的M个目标图像块按照匹配的M个基准图像块的位置进行拼接，更新每帧目标图像。

在一个实施例中，电子设备还包括：

第二更新模块，用于第一分块模块对基准图像进行分块，获得M个基准图像块以及M个基准图像块的位置之后，匹配模块确定每帧目标图像中，与M个基准图像块匹配的M个目标图像块之前，对每帧目标图像进行透视变换，更新每帧目标图像。

在一个实施例中，匹配模块，包括：

图像处理模块，用于通过图像金字塔算法分别对基准图像以及每帧目标图像进行处理，生成基准图像的T层第一参考图像以及每帧目标图像的T层第二参考图像，T为正整数；

图像确定模块，用于对于第I个基准图像块，确定第I个基准图像块在T层第一参考图像中对应的T个第一参考图像块，I为正整数，且I≤M；

图像匹配模块，用于对于第J个目标图像，将第J个目标图像中，以目标位置为基准的预设距离范围内，与第I个基准图像块之间的第二预设图像参数最小的图像块，作为第J个目标图像中，与第I个基准图像块匹配的目标图像块；

其中，目标位置通过目标相对位移以及第I个基准图像块的位置确定，目标相对位移通过第1个第一参考图像块的第一相对位移以及基准图像和第1个第一参考图像之间的尺度比例确定，第t个第一参考图像块的第一相对位移通过第t+1个第一参考图像块的第一相对位移以及第t个第一参考图像和第t+1个第一参考图像之间的尺度比例确定，t为正整数，且t+1≤T，第T个第一参考图像块的第一相对位移为第T个匹配图像块相对第T个第一参考图像块的相对位移，第T个匹配图像块为第T个第二参考图像中与第T个第一参考图像块匹配的图像块。

在一个实施例中，电子设备还包括：

权重确定模块，用于根据每帧目标图像中M个目标图像块分别与匹配的基准图像块之间的第三预设图像参数，确定每帧目标图像中M个目标图像块的子稀疏表示权重。

本申请实施例提供的电子设备中的技术特征与上述拍摄方法中的技术特征对应，通过电子设备实现上述拍摄方法的各个过程，并能得到相同的效果，为避免重复，在此不再赘述。

图4为实现本申请各个实施例的一种电子设备400的硬件结构示意图，该电子设备400包括但不限于：射频单元401、网络模块402、音频输出单元403、输入单元404、传感器405、显示单元406、用户输入单元407、接口单元408、存储器409、处理器410、以及电源411等部件。本领域技术人员可以理解，图4中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。在本申请实施例中，电子设备包括但不限于手机、平板电脑、笔记本电脑、掌上电脑、车载移动终端、可穿戴设备、以及计步器等。

其中，处理器410，用于在摄像头拍摄图像的情况下，获取摄像头拍摄的至少两帧第一图像，不同的第一图像对应的拍摄参数不同；确定至少两帧第一图像匹配的目标字典集，其中，目标字典集中包括N个图像单元，N为大于1的整数；根据N个图像单元对第一图像进行稀疏编码，获得每一帧第一图像的稀疏表示；根据每一帧第一图像的稀疏表示以及稀疏表示权重，确定融合稀疏表示；将融合稀疏表示进行解码，得到融合图像。

由于在拍摄过程中，对至少两帧第一图像进行稀疏编码，实现对至少两帧第一图像中每一帧第一图像的单独降噪，而且是采用与拍摄的至少两帧第一图像匹配的目标字典集进行稀疏编码，可提高对每一帧第一图像的单独降噪的效果，另外还根据至少两帧第一图像分别对应的稀疏表示以及稀疏表示权重，确定融合稀疏表示，即对降噪后的稀疏表示进行加权融合得到融合稀疏表示，进一步减少噪声，如此将融合稀疏表示进行解码，可得到噪声较小的融合图像，实现较佳的降噪效果，从而提高拍摄效果。

应理解的是，本申请实施例中，射频单元401可用于收发信息或通话过程中，信号的接收和发送，具体的，将来自基站的下行数据接收后，给处理器410处理；另外，将上行的数据发送给基站。通常，射频单元401包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外，射频单元401还可以通过无线通信系统与网络和其他设备通信。

电子设备通过网络模块402为用户提供了无线的宽带互联网访问，如帮助用户收发电子邮件、浏览网页和访问流式媒体等。

音频输出单元403可以将射频单元401或网络模块402接收的或者在存储器409中存储的音频数据转换成音频信号并且输出为声音。而且，音频输出单元403还可以提供与电子设备500执行的特定功能相关的音频输出(例如，呼叫信号接收声音、消息接收声音等等)。音频输出单元403包括扬声器、蜂鸣器以及受话器等。

输入单元404用于接收音频或视频信号。输入单元404可以包括图形处理器(Graphics Processing Unit，GPU)4041和麦克风4042，图形处理器4041对在视频捕获模式或图像捕获模式中由图像捕获电子设备(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元406上。经图形处理器4041处理后的图像帧可以存储在存储器409(或其它存储介质)中或者经由射频单元401或网络模块402进行发送。麦克风4042可以接收声音，并且能够将这样的声音处理为音频数据。处理后的音频数据可以在电话通话模式的情况下转换为可经由射频单元401发送到移动通信基站的格式输出。

电子设备400还包括至少一种传感器405，比如光传感器、运动传感器以及其他传感器。具体地，光传感器包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板4091的亮度，接近传感器可在电子设备400移动到耳边时，关闭显示面板4091和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别电子设备姿态(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；传感器405还可以包括指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等，在此不再赘述。

显示单元406用于显示由用户输入的信息或提供给用户的信息。显示单元406可包括显示面板4061，可以采用液晶显示器(Liquid Crystal Display，LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板4061。

用户输入单元407可用于接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。具体地，用户输入单元407包括触控面板4071以及其他输入设备4072。触控面板4071，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板4071上或在触控面板4071附近的操作)。触控面板4071可包括触摸检测电子设备和触摸控制器两个部分。其中，触摸检测电子设备检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测电子设备上接收触摸信息，并将它转换成触点坐标，再送给处理器410，接收处理器410发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板4071。除了触控面板4071，用户输入单元407还可以包括其他输入设备4072。具体地，其他输入设备4072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。

进一步的，触控面板4071可覆盖在显示面板4061上，当触控面板4071检测到在其上或附近的触摸操作后，传送给处理器410以确定触摸事件的类型，随后处理器410根据触摸事件的类型在显示面板4061上提供相应的视觉输出。虽然在图4中，触控面板4071与显示面板4061是作为两个独立的部件来实现电子设备的输入和输出功能，但是在某些实施例中，可以将触控面板4071与显示面板4061集成而实现电子设备的输入和输出功能，具体此处不做限定。

接口单元408为外部电子设备与电子设备500连接的接口。例如，外部电子设备可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的电子设备的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。接口单元408可以用于接收来自外部电子设备的输入(例如，数据信息、电力等等)并且将接收到的输入传输到电子设备500内的一个或多个元件或者可以用于在电子设备500和外部电子设备之间传输数据。

存储器409可用于存储软件程序以及各种数据。存储器409可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器409可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

处理器410是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器409内的软件程序和/或模块，以及调用存储在存储器409内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。处理器410可包括一个或多个处理单元；优选的，处理器410可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器410中。

电子设备400还可以包括给各个部件供电的电源411(比如电池)，优选的，电源411可以通过电源管理系统与处理器410逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

另外，电子设备400包括一些未示出的功能模块，在此不再赘述。

本申请实施例还提供一种电子设备，包括处理器410和存储器409，存储器409存储有可在处理器410上运行的计算机程序，该计算机程序被处理器410执行时实现上述拍摄方法实施例中的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述拍摄方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，的计算机可读存储介质，如只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者电子设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者电子设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者电子设备中还存在另外的相同要素。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台电子设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例的方法。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (6)

1.一种拍摄方法，其特征在于，应用于具有摄像头的电子设备，所述方法包括：

在所述摄像头拍摄图像的情况下，获取所述摄像头拍摄的至少两帧第一图像，不同的所述第一图像对应的拍摄参数不同；

确定所述至少两帧第一图像匹配的目标字典集，其中，所述目标字典集中包括N个图像单元，所述N为大于1的整数；

根据所述N个图像单元对所述第一图像进行稀疏编码，获得每一帧所述第一图像的稀疏表示；

根据每一帧所述第一图像的稀疏表示以及稀疏表示权重，确定融合稀疏表示；

将所述融合稀疏表示进行解码，得到融合图像；

所述基于所述N个图像单元对所述第一图像进行稀疏编码之前，还包括：

从所述至少两帧第一图像中选择第一预设图像参数满足预设要求的基准图像，所述至少两帧第一图像包括至少一帧目标图像和所述基准图像；

对所述基准图像进行分块，获得M个基准图像块以及所述M个基准图像块的位置；

确定每帧所述目标图像中，与所述M个基准图像块匹配的M个目标图像块；

将每帧所述目标图像的M个目标图像块按照匹配的所述M个基准图像块的位置进行拼接，更新每帧所述目标图像；

每一帧所述第一图像分别包括M个图像块，所述第一图像的稀疏表示包括每个所述图像块的子稀疏表示，所述第一图像的稀疏表示权重包括每个所述图像块的子稀疏表示权重，所述M为大于1的整数；

所述根据每一帧所述第一图像的稀疏表示以及稀疏表示权重，确定融合稀疏表示，包括：

根据所述至少两帧第一图像中相同位置的图像块的子稀疏表示权重，对所述至少两帧第一图像中相同位置的图像块的子稀疏表示进行加权融合，得到所述融合稀疏表示。

2.根据权利要求1所述的方法，其特征在于，所述对所述基准图像进行分块，获得M个基准图像块以及所述M个基准图像块的位置之后，所述确定每帧所述目标图像中，与所述M个基准图像块匹配的M个目标图像块之前，还包括：

对每帧目标图像进行透视变换，更新每帧所述目标图像。

3.根据权利要求1所述的方法，其特征在于，所述确定每帧所述目标图像中，与所述M个基准图像块匹配的M个目标图像块，包括：

通过图像金字塔算法分别对所述基准图像以及每帧所述目标图像进行处理，生成所述基准图像的T层第一参考图像以及每帧所述目标图像的T层第二参考图像，所述T为正整数；

对于第I个基准图像块，确定所述第I个基准图像块在所述T层第一参考图像中对应的T个第一参考图像块，I为正整数，且I≤M；

对于第J个目标图像，将所述第J个目标图像中，以目标位置为基准的预设距离范围内，与所述第I个基准图像块之间的第二预设图像参数最小的图像块，作为所述第J个目标图像中，与所述第I个基准图像块匹配的目标图像块；

其中，所述目标位置通过目标相对位移以及所述第I个基准图像块的位置确定，所述目标相对位移通过第1个第一参考图像块的第一相对位移以及所述基准图像和所述第1个第一参考图像之间的尺度比例确定，第t个第一参考图像块的第一相对位移通过第t+1个第一参考图像块的第一相对位移以及所述第t个第一参考图像和第t+1个第一参考图像之间的尺度比例确定，t为正整数，且t+1≤T，第T个第一参考图像块的第一相对位移为第T个匹配图像块相对第T个第一参考图像块的相对位移，所述第T个匹配图像块为第T个第二参考图像中与所述第T个第一参考图像块匹配的图像块。

4.一种电子设备，其特征在于，所述电子设备具有摄像头，所述电子设备包括：

第一图像获取模块，用于在所述摄像头拍摄图像的情况下，获取所述摄像头拍摄的至少两帧第一图像，不同的所述第一图像对应的拍摄参数不同；

目标字典集确定模块，用于确定所述至少两帧第一图像匹配的目标字典集，其中，所述目标字典集中包括N个图像单元，所述N为大于1的整数；

编码模块，用于根据所述N个图像单元对所述第一图像进行稀疏编码，获得每一帧所述第一图像的稀疏表示；

融合模块，用于根据每一帧所述第一图像的稀疏表示以及稀疏表示权重，确定融合稀疏表示；

融合图像获取模块，用于将所述融合稀疏表示进行解码，得到融合图像；

基准图像选择模块，用于从所述至少两帧第一图像中选择第一预设图像参数满足预设要求的基准图像，所述至少两帧第一图像包括至少一帧目标图像和所述基准图像；

第一分块模块，用于对所述基准图像进行分块，获得M个基准图像块以及所述M个基准图像块的位置；

匹配模块，用于确定每帧所述目标图像中，与所述M个基准图像块匹配的M个目标图像块；

第一更新模块，用于将每帧所述目标图像的M个目标图像块按照匹配的所述M个基准图像块的位置进行拼接，更新每帧所述目标图像；

每一帧所述第一图像分别包括M个图像块，所述第一图像的稀疏表示包括每个所述图像块的子稀疏表示，所述第一图像的稀疏表示权重包括每个所述图像块的子稀疏表示权重，所述M为大于1的整数；

所述融合模块，用于根据所述至少两帧第一图像中相同位置的图像块的子稀疏表示权重，对所述至少两帧第一图像中相同位置的图像块的子稀疏表示进行加权融合，得到所述融合稀疏表示。

5.根据权利要求4所述的电子设备，其特征在于，还包括：

第二更新模块，用于所述第一分块模块对所述基准图像进行分块，获得M个基准图像块以及所述M个基准图像块的位置之后，所述匹配模块确定每帧所述目标图像中，与所述M个基准图像块匹配的M个目标图像块之前，对每帧目标图像进行透视变换，更新每帧所述目标图像。

6.根据权利要求4所述的电子设备，其特征在于，所述匹配模块，包括：

图像处理模块，用于通过图像金字塔算法分别对所述基准图像以及每帧所述目标图像进行处理，生成所述基准图像的T层第一参考图像以及每帧所述目标图像的T层第二参考图像，所述T为正整数；

图像确定模块，用于对于第I个基准图像块，确定所述第I个基准图像块在所述T层第一参考图像中对应的T个第一参考图像块，I为正整数，且I≤M；

图像匹配模块，用于对于第J个目标图像，将所述第J个目标图像中，以目标位置为基准的预设距离范围内，与所述第I个基准图像块之间的第二预设图像参数最小的图像块，作为所述第J个目标图像中，与所述第I个基准图像块匹配的目标图像块；

其中，所述目标位置通过目标相对位移以及所述第I个基准图像块的位置确定，所述目标相对位移通过第1个第一参考图像块的第一相对位移以及所述基准图像和所述第1个第一参考图像之间的尺度比例确定，第t个第一参考图像块的第一相对位移通过第t+1个第一参考图像块的第一相对位移以及所述第t个第一参考图像和第t+1个第一参考图像之间的尺度比例确定，t为正整数，且t+1≤T，第T个第一参考图像块的第一相对位移为第T个匹配图像块相对第T个第一参考图像块的相对位移，所述第T个匹配图像块为第T个第二参考图像中与所述第T个第一参考图像块匹配的图像块。

Images