CN114581327A - 图像处理方法及装置、存储介质、电子设备 - Google Patents

Abstract

一种图像处理方法及装置、存储介质、电子设备。所述方法包括：获取当前帧图像及待对齐图像；所述当前帧图像及所述待对齐图像均为针对同一含有星空场景拍摄的图像；将所述待对齐图像与所述当前帧图像进行星空配准，得到与所述待对齐图像对应的对齐帧图像；根据所述当前帧图像及所述对齐帧图像，得到所述当前帧图像对应的降噪帧图像，并输出。采用上述方案，可以在提升包含星空图像信噪比的同时，解决图像画面模糊的问题。

Description

图像处理方法及装置、存储介质、电子设备

技术领域

本发明涉及图像处理技术领域，具体涉及一种图像处理方法及装置、存储介质、电子设备。

背景技术

相机在夜晚工作时，由于光线不佳，需要较长曝光时间，但是由于手持相机拍摄时的抖动等原因，常常造成拍摄的包含星空的图像信噪比低、画面模糊。

发明内容

本发明要解决的问题是：在提升包含星空图像信噪比的同时，解决图像画面模糊的问题。

为解决上述问题，本发明实施例提供了一种图像处理方法，所述方法包括：获取当前帧图像及待对齐图像；所述当前帧图像及所述待对齐图像均为针对同一含有星空场景拍摄的图像；将所述待对齐图像与所述当前帧图像进行星空配准，得到与所述待对齐图像对应的对齐帧图像；根据所述当前帧图像及所述对齐帧图像，得到所述当前帧图像对应的降噪帧图像，并输出。

本发明实施例还提供了一种图像处理装置，所述图像处理装置包括：获取单元，适于获取当前帧图像及待对齐图像；所述当前帧图像及所述待对齐图像均为针对同一含有星空场景拍摄的图像；对齐单元，适于将所述待对齐图像与所述当前帧图像进行星空配准，得到与所述待对齐图像对应的对齐帧图像；降噪单元，适于根据所述当前帧图像及所述对齐帧图像，得到所述当前帧图像对应的降噪帧图像；输出单元，适于输出图像。

本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行，以实现上述实施例中任一种所述方法的步骤。

本发明实施例还提供了一种电子设备，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行上述实施例中任一种所述方法的步骤。

与现有技术相比，本发明实施例的技术方案具有以下优点：

应用本发明的方案，获取到当前帧图像及待对齐图像后，先将待对齐图像与当前帧图像进行星空配准，得到与所述待对齐图像对应的对齐帧图像，再根据所述当前帧图像及所述对齐帧图像，得到所述当前帧图像对应的降噪帧图像。由于最终得到的是当前帧图像对应的降噪帧图像，即对当前帧图像执行了降噪操作，故可以提升最终输出图像的信噪比。并且，由于当前帧图像执行降噪操作之前，先将待对齐图像与当前帧图像进行星空配准，得到待对齐图像对应的对齐帧图像，此时，由于所述对齐帧图像与当前帧图像相对齐，故在根据所述当前帧图像及所述对齐帧图像，得到所述当前帧图像对应的降噪帧图像时，可以解决降噪帧图像的画面模糊问题。另外，本发明中，基于星空配准的方式，得到待对齐图像对应的对齐帧图像，即执行对齐操作，相对于其它图像对齐方法，由于星空配准方式是基于星星坐标进行配准的，而星星是存在于拍摄夜晚的图像中，且短时间内位置不会变化，故可以更适于对低照度图像进行对齐，即对低照度图像具有更好的对齐效果，从而更好地解决降噪帧图像画面模糊的问题。

附图说明

图1是本发明实施例中一种图像处理方法的流程图；

图2是本发明实施例中一种将待对齐图像与当前帧图像进行星空配准的方法的流程图；

图3是当前帧图像及待对齐图像进行星空配准的过程示意图；

图4是本发明实施例中一种确定平移矢量方法的流程图；

图5是本发明实施例中各匹配窗口对应二值矩阵的示意图；

图6是本发明实施例中一种图像处理装置的结构示意图。

具体实施方式

目前，相机在夜晚工作时，由于光线不佳，需要较长曝光时间，但是由于手持相机拍摄时的抖动等原因，常常造成拍摄的包含星空的图像信噪比低、画面模糊。

针对该问题，本发明提供了一种图像处理方法，应用所述方法，最终得到的是当前帧图像对应的降噪帧图像，可以提升最终输出图像的信噪比。并且，由于在对图像执行降噪操作之前，先得到与当前帧图像对齐的对齐帧图像，故可以解决降噪帧图像的画面模糊问题。另外，本发明中，基于星空配准的方式，得到对齐帧图像，更适于对低照度的图像进行对齐，即对低照度图像具有更好的对齐效果，从而更好地解决降噪帧图像画面模糊的问题。

为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例作详细地说明。

参照图1，本发明实施例提供了一种图像处理方法，所述方法可以包括如下步骤：

步骤11，获取当前帧图像及待对齐图像；所述当前帧图像及所述待对齐图像均为针对同一含有星空场景拍摄的图像。

在具体实施中，针对同一含有星空场景拍摄的图像，可以连续拍摄多帧图像。所述待对齐图像可以为拍摄多帧图像中，除当前帧图像外的任一帧图像。所述待对齐图像可以与所述当前帧图像为相邻帧图像，也可以与所述当前帧图像为不相邻帧图像，此处不作限制。比如，所述待对齐图像可以为所述当前帧图像的上一帧图像。

由于所述当前帧图像及待对齐图像，是针对同一含有星空场景拍摄的图像，故图像中均包含星空区域。

步骤12，将所述待对齐图像与所述当前帧图像进行星空配准，得到与所述待对齐图像对应的对齐帧图像。

在本发明中，通过将所述待对齐图像与所述当前帧图像进行星空配准，得到与所述待对齐图像对应的对齐帧图像。其中，采用星空配准方式进行图像对齐，即基于图像中星星的坐标进行图像对齐。

将待对齐图像与所述当前帧图像进行星空配准，得到待对齐图像对应的对齐帧图像。该对齐帧图像与当前帧图像是对齐的。

步骤13，根据所述当前帧图像及所述对齐帧图像，得到所述当前帧图像对应的降噪帧图像，并输出。

在具体实施中，根据相互对齐的当前帧图像及所述对齐帧图像，得到当前帧图像对应的降噪帧图像，即对当前帧图像执行降噪操作，可以提高当前帧图像的信噪比，并且不产生画面模糊的问题。

在具体实施中，根据所述当前帧图像及所述对齐帧图像，可以采用多种方法，得到所述当前帧图像对应的降噪帧图像，此处不作限制。

在本发明的一实施例中，可以对所述当前帧图像及所述对齐帧图像，执行加权平均操作，得到所述当前帧图像对应的降噪帧图像。由于对齐帧图像与当前帧图像是对齐的，因此加权平均后的降噪帧图像，消除了由于相机抖动造成的帧与帧之间的位移，从而使降噪帧图像不会产生画面模糊问题，并且加权平均的操作提升了信噪比。

以所述待对齐图像为当前帧图像I_n的上一帧图像I_n-1为例，若上一帧图像I_n-1对应的对齐帧图像为P_n-1，则对当前帧图像I_n和对齐帧图像为P_n-1执行加权平均操作，所得到的降噪帧图像A_n＝w·I_n+(1-w)·P_n-1。

需要说明的是，对当前帧图像I_n和对齐帧图像为P_n-1执行加权平均操作，也就是对当前帧图像I_n和对齐帧图像为P_n-1中同一像素位置的像素值执行加权平均操作，加权平均操作结果表示该像素位置在降噪帧图像中的像素值。

其中，w是为当前帧图像I_n分配的权重，0＜w＜1，通常取w＝1/2。

本发明实施例中得到降噪帧图像的方法，可以轻易推广到采用多帧图像得到输出图像的场景。例如利用n帧连续拍摄的照片I₁、I₂......I_n进行降噪，则将待对齐图像I₁、I₂......I_n-1分别与当前帧图像I_n进行对齐，得到n-1帧对齐图像P₁、P₂......P_n-1，然后将n-1帧对齐图像和当前帧图像I_n执行加权平均操作，所得到的降噪帧图像：

A_n＝w*I_n+(1-w)/(n-1)*(P₁+P₂+...+P_n-1)

其中，w是为当前帧图像I_n分配的权重，0<w<1，此时通常取w＝1/n，n为大于或等于2的整数。

w越大，当前帧图像I_n所占权重越大，当拍摄场景中存在运动物体时，越不容易出现运动模糊。w越小，当前帧图像I_n所占权重越小，降噪帧图像A_n的信噪比越高。因此当拍摄运动物体时，应将w设置为较大的值，当拍摄静物时，应将w设置为较小的值，具体由本领域技术人员根据实际需要设置即可。

在一些实施例中，也可以设置拍摄场景与w之间的对应关系，多个拍摄场景及每个拍摄场景对应的w。在运行所述图像处理方法时，可以根据拍摄场景自动选择相适配的w，以提高图像处理效率。

在具体实施中，手持相机时的抖动，主要造成图像画面的平移，而旋转的成分极少。因此，参照图2，本发明实施例还提供了一种将待对齐图像与当前帧图像进行星空配准的方法。本实施例的星空配准方法中，仅考虑平移的情况，由此可以减少计算量，在手持设备上就可以实时完成图像处理和输出，例如手机、智能眼镜、智能头盔等要求实时输出图像的摄像设备。

具体地，所述方法可以包括如下步骤：

步骤21，将所述当前帧图像分割为星空区域及非星空区域。

在具体实施中，可以使用最大类间方差(OTSU)算法，将当前帧图像分割为星空区域及非星空区域。OTSU算法为现有已知算法，关于OTSU算法的具体过程，此处不再赘述。

步骤22，将所述当前帧图像的星空区域与所述待对齐图像的星空区域进行星星坐标匹配，得到所述待对齐图像的平移矢量。

图3(a)为当前帧图像，图3(b)为待对齐图像。参照图3，当前帧图像比待对齐图像的视野发生平移，故需要计算出待对齐图像的平移矢量。

在具体实施中，对当前帧图像和待对齐图像星空区域中的星星坐标进行匹配，根据匹配结果得到平移矢量。由于星空区域中星星的位置在短时间内不会改变，因此当前帧图像和待对齐图像根据星星位置进行匹配后，所得到的平移矢量，可以作为这两帧之间由于相机抖动而造成的图像位移偏差。

在具体实施中，将当前帧图像的星空区域与待对齐图像的星空区域进行星星坐标匹配，得到待对齐图像的平移矢量的方法，可以存在多种，具体不作限制。

步骤23，根据所述平移矢量将所述待对齐图像进行平移，得到与所述待对齐图像对应的对齐帧图像。

假设所述待对齐图像为当前帧图像I_n的上一帧图像I_n-1，在得到所述平移矢量为T_n-1后，将上一帧图像I_n-1的每一个像素坐标加上平移矢量T_n-1，进行平移，得到的图像即为已与当前帧图像I_n对齐的对齐帧图像P_n-1。

在实际应用中，平移后的图像在平移方向上可能会有部分像素坐标超出平移前图像大小范围，例如当向右上方平移时，图像右侧和上方会有部分像素超出图像大小范围，这部分超出范围的像素将被裁剪掉。平移后的图像在平移的反方向上可能会有部分像素出现留白，例如当向右上方平移时，图像左侧和下方会有部分像素出现留白，这部分留白像素用当前帧图像相同坐标位置的像素填补。

参照图4，本发明实施例还提供了一种确定平移矢量的方法，所述方法可以包括如下步骤：

步骤41，确定所述当前帧图像中的第一匹配窗口。

在具体实施中，所述第一匹配窗口上、下、左、右四个边缘与所述当前帧图像相应边缘均留有预设边距。所述第一匹配窗口与各个边缘之间留有的预设边距，可以相同，也可以不同。

第一匹配窗口的大小设置，应该使正常手持相机时，由于相机抖动所造成的两帧之间的平移，不超过第一匹配窗口与当前帧图像边缘之间的边距(即预设边距)。手持相机时的抖动幅度可以通过实验测得。例如，测量多人在手持某一款相机时，平均抖动幅度为左右方向各3个像素、上下方向各2个像素，则可以设置第一匹配窗口左右留白各4个像素(即第一匹配窗口与当前帧图像左、右边缘边距为4个像素)，上下留白各3个像素(即第一匹配窗口与当前帧图像上、下边缘边距为4个像素)，如图3(a)中虚线方框pr₁所示。

采用上述方法设置第一匹配窗口，可以在用户手持相机拍摄时正常抖动情况下，有利于后续在待对齐图像中找到若干完整的第二匹配窗口，来与第一匹配窗口进行匹配求和操作。需要注意的是，本例中的平均抖动幅度左右方向各3个像素、上下方向各2个像素、第一匹配窗口左右留白各4个像素、上下留白各3个像素，是为了便于通过示意图进行说明而假设的参数，手持相机时实际的抖动范围与镜头焦距、像素大小均有关系，通常为几十个像素甚至上百像素，应根据具体相机进行实验获得。

步骤42，基于所述第一匹配窗口及所述当前帧图像的星空区域，确定参考星星。

在具体实施中，确定参考星星时，可以先对所述第一匹配窗口内所述当前帧图像的星空区域进行星星检测，得到若干颗当前帧图像的检出星星，再从所述若干颗当前帧图像的检出星星中，选择亮度最大的星星，作为所述参考星星。

在具体实施中，可以遍历第一匹配窗口内属于星空区域的像素，统计第一匹配窗口内属于星空区域的像素的均值mean，及像素标准差σ。如果当前像素值大于(mean+c*σ)，则认为当前像素为星星所占像素，而非天空背景像素。其中，c为控制星星检测阈值的参数。c越大，检测出的星星总数越少，由噪声导致的检测出的伪星星越少；c越小，检测出的星星总数越多，由噪声导致的检测出的伪星星也越多。通常可以取c＝3。

确定星星所占像素后，在上、下、左、右四个方向连续的所有星星所占像素构成一颗检出星星。对于任意检出星星，可以将该检出星星所占的所有像素的坐标取平均值作为该颗检出星星的坐标，以及对该检出星星有像素的亮度值求和作为该颗检出星星的亮度。由此可以得到第一匹配窗口内所有检出星星的坐标和亮度。选择其中亮度最大的星星，作为所述参考星星。如果第一匹配窗口内有不止一颗亮度相同的最亮星星，则选择其中任一颗作为参考星星。然后可以对第一匹配窗口内的图像做二值化处理，令星星所在的坐标像素等于1，其他像素等于0。

例如，参照图3(a)，第一匹配窗口pr₁内，每一个格子表示一个像素，黑色实心的像素表示检出星星所在位置。对第一匹配窗口pr₁内的星空区域进行星星检测，共可以得到7颗检出星星。若检出星星r₁亮度最大，则将检出星星r₁作为参考星星。

步骤43，基于所述第一匹配窗口、所述参考星星、所述待对齐图像及所述预设边距，确定所述待对齐图像中的若干颗待配准星星，及每颗所述待配准星星对应的第二匹配窗口。

在具体实施中，所述第一匹配窗口的大小与所述第二匹配窗口的大小相同，每个所述第二匹配窗口与对应的待配准星星之间的第一相对位置关系，和所述第一匹配窗口与所述参考星星之间的第二相对位置关系相同。

在得到第一匹配窗口及参考星星后，可以先基于所述第一匹配窗口、所述参考星星及所述预设边距，确定第一平移窗口，再基于所述待对齐图像，对所述待对齐图像的星空区域进行星星检测，得到若干颗待对齐图像的检出星星，接着，将所述待对齐图像中，与所述第一平移窗口位置相同的区域，作为第二平移窗口，在所述第二平移窗口内，选择亮度最高的N颗所述待对齐图像的检出星星，作为待配准星星，并基于所述待配准星星、所述参考星星及所述第一匹配窗口，确定每颗所述待配准星星对应的第二匹配窗口。其中，N为大于或等于1的整数。

在具体实施中，所述第一平移窗口的位置，与所述第一匹配窗口与当前帧图像的边距相关。

在本发明的一实施例中，所述第一平移窗口上、下、左、右四条边到所述参考星星的距离，等于所述预设边距。由于待对齐图像中的第二平移窗口与当前帧图像中的第一平移窗口的位置和大小相同，且待配准星星位于第二平移窗口内，因此限制第一平移窗口从而限制第二平移窗口的大小，可以减少待配准星星的数量，从而减少计算量，有利于实现图像的实时处理和输出。另外，由于限制第一平移窗口上、下、左、右四条边到所述参考星星的距离，等于所述预设边距，并且第一匹配窗口上、下、左、右四个边缘与所述当前帧图像相应边缘的距离也等于所述预设边距，而预设边距的设置大于正常手持相机时由于相机抖动所造成的两帧之间的平移距离，因此有利于后续在待对齐图像中找到若干完整的第二匹配窗口，来与第一匹配窗口进行匹配求和操作。

具体地，结合图3(a)，确定参考星星r₁及第一匹配窗口pr₁后，由于第一匹配窗口pr₁与当前帧图像左、右边缘的边距各为4个像素，与当前帧图像上、下边缘的边距各为3个像素，则所述第一平移窗口w1可以是：参考星星r₁为中心，距离参考星星r₁左、右各4个像素，距离参考星星r₁上、下各3个像素，由此所张成的矩形窗口。

在对待对齐图像的星空区域进行星星检测时，可以按照预设的星星检测窗口，遍历待对齐图像星空区域的所有像素，统计星星检测窗口内各像素的均值mean及标准差σ，并将大于(mean+c*σ)的像素值，作为星星所占像素，由此得到待对齐图像的所有星星所占像素。在上、下、左、右四个方向连续的所有星星所占像素构成一颗检出星星，可以将该检出星星所占的所有像素的坐标取平均值作为该颗检出星星的坐标，以及对该检出星星有像素的亮度值求和作为该颗检出星星的亮度，由此得到待对齐图像每颗检出星星的亮度和坐标。

例如，待对齐图像(如图3(b)所示)中每个小方格表示一个像素，每个黑色实心的像素表示一颗检出星星的坐标，共得到8颗检出星星。在得到第一平移窗口w1(如图3(a)所示)后，将待对齐图像中与第一平移窗口w1位置相同的区域，作为第二平移窗口w2(如图3(b)所示)。在所述第二平移窗口w2内，选择亮度最高的3颗检出星星s₁、s₂及s₃，作为待配准星星。

其中，假设待配准星星为s_i，对应的第二匹配窗口为ps_i，i＝1,2...,k。第二匹配窗口ps_i与待配准星星s_i之间的第一相对位置关系，与第一匹配窗口pr₁与参考星星r₁之间的第二相对位置关系，二者相同，由此可以得到第二匹配窗口为ps_i，i＝1,2...,k。其中k为待配准星星的数量，是预先设置的参数，k为自然数，且k小于等于第二匹配窗口内的检出星星的数量。

例如，假设第一匹配窗口pr₁左上角的像素坐标为(pr1_x0,pr1_y0)，参考星星r₁坐标为(r1_x,r1_y)，且第二匹配窗口ps_i左上角的像素坐标为(psi_x0,psi_y0)，待配准星星s_i坐标为(si_x,si_y)，则有：

psi_x0-si_x＝pr1_x0-r1_x；psi_y0-si_y＝pr1_y0-r1_y。

由此可以得到第二匹配窗口ps_i。

具体地，待配准星星s₁对应的第二匹配窗口ps₁，应是大小与第一匹配窗口pr₁相同的矩形，且第二匹配窗口ps₁与待配准星星s₁的相对位置关系等同于第一匹配窗口pr₁与参考星星r₁的相对位置关系。待配准星星s₂对应的第二匹配窗口ps₂，应是大小与第一匹配窗口pr₁相同的矩形，且第二匹配窗口ps₂与待配准星星s₂的相对位置关系等同于第一匹配窗口pr₁与参考星星r₁的相对位置关系。待配准星星s₃对应的第二匹配窗口ps₃，应是大小与第一匹配窗口pr₁相同的矩形，且第二匹配窗口ps₃与待配准星星s₃的相对位置关系等同于第一匹配窗口pr₁与参考星星r₁的相对位置关系。

步骤44，基于所述参考星星、所述待配准星星、所述第一匹配窗口及所述第二匹配窗口，确定星星匹配对。

在具体实施中，可以将所述第一匹配窗口分别与各所述第二匹配窗口进行匹配求和，再基于匹配求和结果、所述参考星星及所述待配准星星确定星星匹配对。

在具体实施中，将所述第一匹配窗口分别与各所述第二匹配窗口进行匹配求和时，可以先确定所述第一匹配窗口的二值矩阵，以及各所述第二匹配窗口对应的二值矩阵，再将所述第一匹配窗口的二值矩阵，分别与各所述第二匹配窗口对应的二值矩阵进行匹配求和。

在具体实施中，基于匹配求和结果、所述参考星星及所述待配准星星确定星星匹配对时，可以先基于所述匹配求和结果计算匹配率，再选择所述匹配率最高的结果作为第一匹配率，最后将所述第一匹配率与预设匹配率阈值进行比较，若所述第一匹配率大于等于预设匹配率阈值，则将第一匹配率所对应的待配准星星，与所述参考星星一起作为所述星星匹配对。

在具体实施中，基于所述匹配求和结果计算匹配率时，可以将所述匹配求和结果除以所述当前帧图像第一匹配窗口内的检出星星的总数，作为所述匹配率。

在具体实施中，每个匹配窗口，均可以转化为一个二值矩阵，在该二值矩阵中，检出星星所在位置为1，其它位置为0。具体地，结合图3及图5，第一匹配窗口pr₁对应的二值矩阵如图5(a)所示，第二匹配窗口ps₁对应的二值矩阵如图5(b)所示，第二匹配窗口ps₂对应的二值矩阵如图5(c)所示，第二匹配窗口ps₃对应的二值矩阵如图5(d)所示。

将待对齐图像中的所有第二匹配窗口ps₁、ps₂、ps₃分别与当前帧图像中的第一匹配窗口pr₁做匹配求和。其中，匹配求和指：两个窗口的对应像素之间先做二进制“与”操作&，并对与操作结果求和。

例如，第二匹配窗口ps₁与第一匹配窗口pr₁的匹配求和：∑ps1&pr1＝7。第二匹配窗口ps₂与第一匹配窗口pr₁的匹配求和：∑ps2&pr1＝1。第二匹配窗口ps₃与第一匹配窗口pr₁的匹配求和：∑ps3&pr1＝1。将各匹配求和结果，除以当前帧图像第一匹配窗口内的检出星星总数(即“7”)，可以得到对应的匹配率，如表1所示：

表1

匹配求和对象	匹配率
		ps<sub>1</sub>与pr<sub>1</sub>	7/7＝100％
ps<sub>2</sub>与pr<sub>1</sub>	1/7＝14％
		ps<sub>3</sub>与pr<sub>1</sub>	1/7＝14％

在表1中，第二匹配窗口ps₁与第一匹配窗口pr₁的匹配率最高，因此将该匹配率作为第一匹配率。假设预设匹配率阈值thr＝80％，由于第一匹配率大于80％，故第一匹配率所对应的待配准星星s₁及参考星星r₁为星星匹配对。

需要说明的是，如果计算出的所有匹配率都小于预设匹配率阈值，则匹配失败。预设匹配率阈值thr越大，匹配结果越准确，但是越容易造成匹配失败的情况。预设匹配率阈值thr越小，越容易匹配成功，但是容易造成匹配结果不准确。预设匹配率阈值是人为设置的参数，可根据不同的相机通过实验来确定。如果匹配失败，则不再进行降噪，直接输出当前帧。

在具体实施中，将第二匹配窗口中至少需要包含的检出星星数量设置为参数m，m为自然数，m值越大，匹配结果越精确，但是出现无法满足条件从而导致匹配失败的可能性越大；m越小，越不容易匹配失败，但是匹配结果的准确性会下降。通常可将m设置为3至10之间的整数。

步骤45，基于所述星星匹配对中两个星星的位置坐标，得到所述待对齐图像的平移矢量。

在具体实施中，可以将所述星星匹配对中，参考星星的坐标与所述待配准星星的坐标之差，作为所述待对齐图像的平移矢量。例如，待配准星星s₁及参考星星r₁为星星匹配对时，则平移矢量T＝(r1_x-s1_x，r1_y-s1_y)，其中，参考星星r₁的坐标为(r1_x，r1_y)，待配准星星s₁的坐标为(s1_x，s1_y)。

需要注意的是，本例中的图像大小是为了便于通过示意图进行说明而假设的参数，实际图像的大小通常为几千行乘以几千列，或几百行乘以几百列。

得到平移矢量后，将待对齐图像的每一个像素坐标加上平移矢量，进行平移，得到的图像即为与当前帧图像对齐的对齐帧图像。平移后的图像在平移方向上会有部分像素坐标超出平移前图像大小范围，例如当向右上方平移时，图像右侧和上方会有部分像素超出图像大小范围，这部分超出范围的像素将被裁剪掉；平移后的图像在平移的反方向上会有部分像素出现留白，例如当向右上方平移时，图像左侧和下方会有部分像素出现留白，这部分留白像素用当前帧图像相同坐标位置的像素填补。

对当前帧图像及对齐帧图像加权平均后，即得到降噪帧图像。由于对齐帧图像与当前帧图像是对齐的，因此加权平均后的降噪帧图像，消除了由于相机抖动造成的帧与帧之间的画面位移，从而解决了加权平均后的降噪帧图像画面模糊的问题，并且加权平均的操作提升了图像信噪比。

由上述内容可知，本发明实施例中的图像处理方法，不仅解决了现有图像信噪比低、画面模糊等问题，并且，利用星空配准方法进行图像对齐，对齐效果更好。另外，利用星空配准方法进行图像对齐时，仅计算平移矢量，而不考虑旋转，利于实时完成图像处理和输出。

为了使本领域技术人员更好地理解和实现本发明，以下对上述方法对应的用户终端及计算机可读存储介质进行详细描述。

参照图6，本发明实施例提供了一种图像处理装置。所述图像处理装置包括：获取单元61、对齐单元62、降噪单元63及输出单元64。其中：

所述获取单元61，适于获取当前帧图像及待对齐图像；所述当前帧图像及所述待对齐图像均为针对同一含有星空场景拍摄的图像；

所述对齐单元62，适于将所述待对齐图像与所述当前帧图像进行星空配准，得到与所述待对齐图像对应的对齐帧图像；

所述降噪单元63，适于根据所述当前帧图像及所述对齐帧图像，得到所述当前帧图像对应的降噪帧图像；

所述输出单元64，适于输出图像。

关于所述获取单元61、对齐单元62、降噪单元63及输出单元64，具体可以参照上述关于图像处理方法中相应步骤的描述进行实施。

关于上述实施例中描述的各个装置、产品包含的各个模块/单元，其可以是软件模块/单元，也可以是硬件模块/单元，或者也可以部分是软件模块/单元，部分是硬件模块/单元。例如，对于应用于或集成于芯片的各个装置、产品，其包含的各个模块/单元可以都采用电路等硬件的方式实现，或者，至少部分模块/单元可以采用软件程序的方式实现，该软件程序运行于芯片内部集成的处理器，剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现；对于应用于或集成于芯片模组的各个装置、产品，其包含的各个模块/单元可以都采用电路等硬件的方式实现，不同的模块/单元可以位于芯片模组的同一组件(例如芯片、电路模块等)或者不同组件中，或者，至少部分模块/单元可以采用软件程序的方式实现，该软件程序运行于芯片模组内部集成的处理器，剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现；对于应用于或集成于终端的各个装置、产品，其包含的各个模块/单元可以都采用电路等硬件的方式实现，不同的模块/单元可以位于终端内同一组件(例如，芯片、电路模块等)或者不同组件中，或者，至少部分模块/单元可以采用软件程序的方式实现，该软件程序运行于终端内部集成的处理器，剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现。

本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行，以实现上述实施例中图像处理方法的步骤，不再赘述。

在具体实施中，所述计算机可读存储介质可以包括：ROM、RAM、磁盘或光盘等。

本发明还提供了一种电子设备，所述电子设备包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行上述实施例中图像处理所述方法的步骤。

在具体实施中，所述电子设备包括但不限于手机、相机、摄像机等。

虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (15)

1.一种图像处理方法，其特征在于，包括：

获取当前帧图像及待对齐图像；所述当前帧图像及所述待对齐图像均为针对同一含有星空场景拍摄的图像；

将所述待对齐图像与所述当前帧图像进行星空配准，得到与所述待对齐图像对应的对齐帧图像；

根据所述当前帧图像及所述对齐帧图像，得到所述当前帧图像对应的降噪帧图像，并输出。

2.如权利要求1所述的图像处理方法，其特征在于，所述将所述待对齐图像与所述当前帧图像进行星空配准，得到与所述待对齐图像对应的对齐帧图像，包括：

将所述当前帧图像分割为星空区域及非星空区域；

将所述当前帧图像的星空区域与所述待对齐图像的星空区域进行星星坐标匹配，得到所述待对齐图像的平移矢量；

根据所述平移矢量将所述待对齐图像进行平移，得到与所述待对齐图像对应的对齐帧图像。

3.如权利要求2所述的图像处理方法，其特征在于，所述将所述当前帧图像的星空区域与所述待对齐图像的星空区域进行星星坐标匹配，得到所述待对齐图像的平移矢量，包括：

确定所述当前帧图像中的第一匹配窗口；所述第一匹配窗口上、下、左、右四个边缘与所述当前帧图像相应边缘均留有预设边距；

基于所述第一匹配窗口及所述当前帧图像的星空区域，确定参考星星；

基于所述第一匹配窗口、所述参考星星、所述待对齐图像及所述预设边距，确定所述待对齐图像中的若干颗待配准星星，及每颗所述待配准星星对应的第二匹配窗口；所述第一匹配窗口的大小与所述第二匹配窗口的大小相同；每个所述第二匹配窗口与对应的待配准星星之间的第一相对位置关系，和所述第一匹配窗口与所述参考星星之间的第二相对位置关系相同；

基于所述参考星星、所述待配准星星、所述第一匹配窗口及所述第二匹配窗口，确定星星匹配对；

基于所述星星匹配对中两个星星的位置坐标，得到所述待对齐图像的平移矢量。

4.如权利要求3所述的图像处理方法，其特征在于，所述基于所述第一匹配窗口及所述当前帧图像的星空区域，确定参考星星，包括：

对所述第一匹配窗口内所述当前帧图像的星空区域进行星星检测，得到若干颗当前帧图像的检出星星；

从所述若干颗当前帧图像的检出星星中，选择亮度最大的星星，作为所述参考星星。

5.如权利要求3所述的图像处理方法，其特征在于，所述基于所述第一匹配窗口、所述参考星星、所述待对齐图像及所述预设边距，确定所述待对齐图像中的若干颗待配准星星，及每颗所述待配准星星对应的第二匹配窗口，包括：

基于所述第一匹配窗口、所述参考星星及所述预设边距，确定第一平移窗口；

基于所述待对齐图像，对所述待对齐图像的星空区域进行星星检测，得到若干颗待对齐图像的检出星星；

将所述待对齐图像中，与所述第一平移窗口位置相同的区域，作为第二平移窗口；

在所述第二平移窗口内，选择亮度最高的N颗所述待对齐图像的检出星星，作为待配准星星，其中，N为大于等于1的正整数；

基于所述待配准星星、所述参考星星及所述第一匹配窗口，确定每颗所述待配准星星对应的第二匹配窗口。

6.如权利要求5所述的图像处理方法，其特征在于，所述第一平移窗口上、下、左、右四条边到所述参考星星的距离，等于所述预设边距。

7.如权利要求3所述的图像处理方法，其特征在于，所述基于所述参考星星、所述待配准星星、所述第一匹配窗口及所述第二匹配窗口，确定星星匹配对，包括：

将所述第一匹配窗口分别与各所述第二匹配窗口进行匹配求和；

基于匹配求和结果、所述参考星星及所述待配准星星确定星星匹配对。

8.如权利要求7所述的图像处理方法，其特征在于，所述将所述第一匹配窗口分别与各所述第二匹配窗口进行匹配求和，包括：

确定所述第一匹配窗口的二值矩阵，以及各所述第二匹配窗口对应的二值矩阵；

将所述第一匹配窗口的二值矩阵，分别与各所述第二匹配窗口对应的二值矩阵进行匹配求和。

9.如权利要求7所述的图像处理方法，其特征在于，所述基于匹配求和结果、所述参考星星及所述待配准星星确定星星匹配对，包括：

基于所述匹配求和结果计算匹配率；

选择所述匹配率最高的结果作为第一匹配率；

将所述第一匹配率与预设匹配率阈值进行比较，若所述第一匹配率大于等于预设匹配率阈值，则将第一匹配率所对应的待配准星星，与所述参考星星一起作为所述星星匹配对。

10.如权利要求9所述的图像处理方法，其特征在于，所述基于所述匹配求和结果计算匹配率，包括：

将所述匹配求和结果除以所述当前帧图像第一匹配窗口内的检出星星的总数，作为所述匹配率。

11.如权利要求3所述的图像处理方法，其特征在于，所述基于所述星星匹配对中两个星星的位置坐标，得到所述待对齐图像的平移矢量，包括：

将所述星星匹配对中，参考星星的坐标与所述待配准星星的坐标之差，作为所述待对齐图像的平移矢量。

12.如权利要求1所述的图像处理方法，其特征在于，所述根据所述当前帧图像及所述对齐帧图像，得到所述当前帧图像对应的降噪帧图像，包括：

对所述当前帧图像及所述对齐帧图像，执行加权平均操作，得到所述当前帧图像对应的降噪帧图像。

13.一种图像处理装置，其特征在于，包括：

获取单元，适于获取当前帧图像及待对齐图像；所述当前帧图像及所述待对齐图像均为针对同一含有星空场景拍摄的图像；

对齐单元，适于将所述待对齐图像与所述当前帧图像进行星空配准，得到与所述待对齐图像对应的对齐帧图像；

降噪单元，适于根据所述当前帧图像及所述对齐帧图像，得到所述当前帧图像对应的降噪帧图像；

输出单元，适于输出图像。

14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行，以实现权利要求1至12任一项所述方法的步骤。

15.一种电子设备，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机程序，其特征在于，所述处理器运行所述计算机程序时执行权利要求1至12任一项所述方法的步骤。

Images