CN112802033B - 图像处理方法及装置、计算机可读存储介质和电子设备 - Google Patents

Abstract

本公开提供了一种图像处理方法、图像处理装置、计算机可读存储介质和电子设备，涉及图像处理技术领域。该图像处理方法包括：对原始图像进行图像分割，确定出原始图像的星空区域和非星空区域；通过参考图像的星空区域和原始图像的星空区域，确定出与原始图像的星空区域对应的第一中间图像；通过参考图像的非星空区域和原始图像的非星空区域，确定出原始图像的非星空区域对应的第二中间图像；基于第一中间图像、第二中间图像和原始图像，进行图像融合，并生成第一目标图像。本公开可以提升包含星空的图像的显示效果。

Description

图像处理方法及装置、计算机可读存储介质和电子设备

技术领域

本公开涉及图像处理技术领域，具体而言，涉及一种图像处理方法、图像处理装置、计算机可读存储介质和电子设备。

背景技术

随着带有拍摄功能的电子设备的普及，越来越多的用户使用电子设备来获取场景图像。拍摄场景已不限于光线较好的场景，用户也希望能够拍摄出效果较好的包含星空的图像。

然而，由于星体之间的相对运动、电子设备相机抖动等原因，往往会出现包含星空的图像显示效果不佳的问题。

发明内容

本公开提供一种图像处理方法、图像处理装置、计算机可读存储介质和电子设备，进而至少在一定程度上克服包含星空的图像显示效果不佳的问题。

根据本公开的第一方面，提供了一种图像处理方法，包括：对原始图像进行图像分割，确定出原始图像的星空区域和非星空区域；通过参考图像的星空区域和原始图像的星空区域，确定出与原始图像的星空区域对应的第一中间图像；通过参考图像的非星空区域和原始图像的非星空区域，确定出原始图像的非星空区域对应的第二中间图像；基于第一中间图像、第二中间图像和原始图像，进行图像融合，并生成第一目标图像。

根据本公开的第二方面，提供了一种图像处理装置，包括：图像分割模块，用于对原始图像进行图像分割，确定出原始图像的星空区域和非星空区域；第一图像确定模块，用于通过参考图像的星空区域和原始图像的星空区域，确定出与原始图像的星空区域对应的第一中间图像；第二图像确定模块，用于通过参考图像的非星空区域和原始图像的非星空区域，确定出原始图像的非星空区域对应的第二中间图像；第一图像生成模块，用于基于第一中间图像、第二中间图像和原始图像，进行图像融合，并生成第一目标图像。

根据本公开的第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的图像处理方法。

根据本公开的第四方面，提供了一种电子设备，包括处理器；存储器，用于存储一个或多个程序，当一个或多个程序被处理器执行时，使得所述处理器实现上述的图像处理方法。

在本公开的一些实施例所提供的技术方案中，利用参考图像的星空区域和原始图像的星空区域，得到与原始图像的星空区域对应的第一中间图像，利用参考图像的非星空区域和原始图像的非星空区域，得到与原始图像的非星空区域对应的第二中间图像，并基于第一中间图像、第二中间图像和原始图像进行图像融合，以生成第一目标图像。一方面，利用参考图像分别对原始图像的星空区域和非星空区域进行处理，可以补偿参考图像与原始图像之间星体的相对运动，以及由于相机抖动可能造成的干扰，提升包含星空的图像的显示效果；另一方面，由于星空区域和非星空区域受干扰的情况不一样，即非星空区域不存在星体件的相对运动，本公开方案对图像进行分割，分别对不同的区域进行处理，再进行融合，进一步提升了包含星空的图像的显示效果。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1示出了本公开实施例的图像处理方案的示例性系统架构的示意图；

图2示出了适于用来实现本公开实施例的电子设备的结构示意图；

图3示意性示出了根据本公开示例性实施方式的图像处理方法的流程图；

图4示出了本公开实施例的生成星空区域和非星空区域的掩膜的过程示意图；

图5示意性示出了本公开实施例的对原始图像的星空区域进行配准处理的流程图；

图6示意性示出了本公开实施例的对原始图像的非星空区域进行配准处理的流程图；

图7示出了本公开实施例的图像融合以生成第一目标图像的示意图；

图8示出了本公开实施例的第一融合权值和第二融合权值的示意图；

图9示意性示出了本公开实施例的图像处理方法的整个过程的流程图；

图10示意性示出了根据本公开示例性实施方式的图像处理装置的方框图；

图11示意性示出了根据本公开另一示例性实施方式的图像处理装置的方框图；

图12示意性示出了根据本公开又一示例性实施方式的图像处理装置的方框图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的步骤。例如，有的步骤还可以分解，而有的步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。另外，下面所有的术语“第一”、“第二”、“第三”、“第四”仅是为了区分的目的，不应作为本公开内容的限制。

终端设备的相机拍摄出的包含星空的图像通常很暗，因此需要给相机的传感器(sensor)较长的曝光时间或设置较大的ISO才可能正常曝光。但是，因为星体之间的相对运动，星空相对终端设备在缓慢运动。在这种情况下，当曝光时间长于某个阈值(该阈值与相机镜头焦距相关，例如手机主摄约为20秒)后，星星会在sensor上形成明显的星轨，银河星云将变得模糊不清，影响星空照片的美观性。

因此，在拍摄星空时，曝光时间需要限定在会产生星轨的阈值以下，同时不得不采用很高的ISO以曝光出相对效果较好的图像。

然而，终端设备(例如手机、平板电脑等)上的sensor面积较小，在采用上述方案拍摄星空时，图像中会出现很多噪声。同时，sensor的感光性可能不强，在较短的曝光时间内，可能无法把大部分星星和银河星云拍摄得很清楚，所以无法拍出显示效果较好的星空图像。

在本公开一些实施例中，可以将网络下载的星图作为先验信息，来辅助星空拍摄。具体的，通过图像的拍摄时间和定位地点，从网络中找到对应的星图，接下来，确定该星图上和拍摄图像对应的区域，进而依据星图区域内星星的灰度调整拍摄图像内星星的灰度。

为了使与星图匹配准确，需要拍摄的图像达到一定的成像质量。然而，例如手机的终端设备难以达到这种成像质量。另外，此方案需要在网络上寻找对应的星图，完成解析、匹配的操作，过程上不易实现。

此外，鉴于电子设备相机抖动等一些原因，也可能导致拍摄出的图像显示效果不佳。

在这种情况下，本公开示例性实施方式提供了一种新的图像处理方案，以期在一定程度上解决上述问题。

图1示出了本公开实施例的图像处理方案的示例性系统架构的示意图。

如图1所示，系统架构可以包括终端设备1001和服务器1002。终端设备1001与服务器1002可以通过网络连接，网络的连接类型可以例如包括有线、无线通信链路或者光纤电缆等。

应当理解，终端设备1001和服务器1002的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备和服务器。比如服务器1002可以是多个服务器组成的服务器集群等。服务器1002还可以被称为云端或云端服务器。

终端设备1001可以通过网络与服务器1002交互，以接收或发送消息等。虽然图1中以智能手机为例示出，然而，终端设备1001还包括平板电脑、智能可穿戴设备、个人计算机等具有拍摄功能的设备。其中，终端设备1001还可以被称为终端、移动终端、移动端、智能终端等。

在由终端设备1001执行本公开示例性实施方式的图像处理过程的情况下，首先，终端设备1001可以对原始图像进行图像分割，确定出原始图像的星空区域和非星空区域。其中，原始图像可以是终端设备1001的相机在连续拍摄夜景的情况下获取到的一帧图像。例如，在一些场景中，可以利用脚架固定终端设备1001，使终端设备1001的相机连续拍摄包含星空的夜景。

接下来，终端设备1001可以利用参考图像的星空区域，对原始图像的星空区域进行配准处理，得到与原始图像的星空区域对应的第一中间图像。以及，终端设备1001还可以利用参考图像的非星空区域，对原始图像的非星空区域进行配准处理，得到与原始图像的非星空区域对应的第二中间图像。

随后，终端设备1001可以基于第一中间图像、第二中间图像和原始图像，进行图像融合，以生成第一目标图像。在这种情况下，终端设备1001可以将第一目标图像发送给服务器1002进行保存。

此外，在得到第一目标图像后，终端设备1001还可以对第一目标图像进行星空增强处理，以进一步对图像进行优化。在这种情况下，终端设备1001可以将经历星空增强处理后的第一目标图像发送给服务器1002进行保存。

在由服务器1002执行本公开示例性实施方式的图像处理过程的情况下，首先，服务器1002可以从终端设备1001获取原始图像，并对原始图像进行图像分割，确定出原始图像的星空区域和非星空区域。此外，原始图像还可以是服务器1002从其他服务器或设备获取到的图像，本公开对此不做限制。

接下来，服务器1002可以利用参考图像的星空区域，对原始图像的星空区域进行配准处理，得到与原始图像的星空区域对应的第一中间图像。以及，服务器1002还可以利用参考图像的非星空区域，对原始图像的非星空区域进行配准处理，得到与原始图像的非星空区域对应的第二中间图像。

随后，服务器1002可以基于第一中间图像、第二中间图像和原始图像，进行图像融合，以生成第一目标图像。在这种情况下，服务器1002可以将第一目标图像发送给终端设备1001进行展示和/或保存。

此外，在得到第一目标图像后，服务器1002还可以对第一目标图像进行星空增强处理，以进一步对图像进行优化。在这种情况下，服务器1002可以将经历星空增强处理后的第一目标图像发送给终端设备1001进行展示和/或保存。

应当注意的是，上述对图像进行处理的任意步骤均可以由终端设备1001或服务器1002执行，本公开对此不做限制。

图2示出了适于用来实现本公开示例性实施方式的电子设备的示意图。本公开示例性实施方式的终端设备可以被配置为如图2的形式。需要说明的是，图2示出的电子设备仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

本公开的电子设备至少包括处理器和存储器，存储器用于存储一个或多个程序，当一个或多个程序被处理器执行时，使得处理器可以实现本公开示例性实施方式的图像处理方法。

具体的，如图2所示，电子设备200可以包括：处理器210、内部存储器221、外部存储器接口222、通用串行总线(Universal Serial Bus，USB)接口230、充电管理模块240、电源管理模块241、电池242、天线1、天线2、移动通信模块250、无线通信模块260、音频模块270、扬声器271、受话器272、麦克风273、耳机接口274、传感器模块280、显示屏290、摄像模组291、指示器292、马达293、按键294以及用户标识模块(Subscriber IdentificationModule，SIM)卡接口295等。其中传感器模块280可以包括深度传感器、压力传感器、陀螺仪传感器、气压传感器、磁传感器、加速度传感器、距离传感器、接近光传感器、指纹传感器、温度传感器、触摸传感器、环境光传感器及骨传导传感器等。

可以理解的是，本公开实施例示意的结构并不构成对电子设备200的具体限定。在本公开另一些实施例中，电子设备200可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件、软件或软件和硬件的组合实现。

处理器210可以包括一个或多个处理单元，例如：处理器210可以包括应用处理器(Application Processor，AP)、调制解调处理器、图形处理器(Graphics ProcessingUnit，GPU)、图像信号处理器(Image Signal Processor，ISP)、控制器、视频编解码器、数字信号处理器(Digital Signal Processor，DSP)、基带处理器和/或神经网络处理器(Neural-etwork Processing Unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。另外，处理器210中还可以设置存储器，用于存储指令和数据。

内部存储器221可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。内部存储器221可以包括存储程序区和存储数据区。外部存储器接口222可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备200的存储能力。

电子设备200可以通过ISP、摄像模组291、视频编解码器、GPU、显示屏290及应用处理器等实现拍摄功能。在一些实施例中，电子设备200可以包括1个或N个摄像模组291，N为大于1的正整数，若电子设备200包括N个摄像头，N个摄像头中有一个是主摄像头。

本公开方案中提及的原始图像、参考图像以及其他待融合图像中的一个或多个可以由摄像模组291拍摄得到，或者这些图像可以是连续拍摄而得到的连续帧图像。

例如，图像的曝光方案可以为：曝光时间16秒，ISO300，总计曝光15帧图像，这15帧图像包括上述原始图像、参考图像以及其他待融合图像。需要说明的是，此曝光方案仅是示例性描述，不应作为本公开的限制。

另外，需要说明的是，本公开图像处理方案可以应用于多帧短曝的场景中。即使在此场景下，通过本公开的图像配准与融合方案，也可以得到显示效果较好的包含星空的图像，可以呈现低噪清晰的星星和银河星云。

本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。

计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读存储介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如下述实施例中所述的方法。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。

下面将以终端设备执行本公开图像处理的过程为例对本公开的图像处理方法进行说明。在这种情况下，下述图像处理装置可以配置在终端设备中。

图3示意性示出了本公开的示例性实施方式的图像处理方法的流程图。参考图3，图像处理方法可以包括以下步骤：

S32.对原始图像进行图像分割，确定出原始图像的星空区域和非星空区域。

在本公开的示例性实施方式中，原始图像可以是包含有星空区域的图像。本公开对原始图像的来源不做限制，例如，原始图像可以是终端设备的相机拍摄到的包含星空的图像，具体的，原始图像可以是终端设备的相机在连续拍摄星空夜景的情况下获取到的多帧图像之一，且可以是任意之一。又例如，原始图像可以是终端设备从其他设备上获取到的包含星空的图像。

另外，星空区域为包含星星的天空区域。非星空区域为原始图像中除星空区域之外的其他区域。通常，可以将非星空区域认为是地面区域，然而，本公开不限于此，非星空区域还可以包括地面上的房屋、数目、车辆、道路、行人、动物等，甚至非星空区域还可以包括海面、河面等区域。

根据本公开的一些实施例，可以采用掩膜(mask)的方式对原始图像进行图像分割。也就是说，终端设备可以利用星空区域和非星空区域的掩膜将原始图像分割为星空区域和非星空区域。其中，掩膜的尺寸与原始图像的尺寸相同，掩膜中每一个元素与原始图像上像素坐标一一对应。掩膜中，可以例如用1代表星空区域，用2代表非星空区域。也就是说，可以将掩膜看作一个包含1和2信息的二维矩阵。然而，应当理解的是，1和2仅是示例性的标识，不应作为本公开内容的限制。

可以获取或预先获取与原始图像的关联图像，并对关联图像进行图像分割，以确定出掩膜。其中，关联图像对应的拍摄场景与原始图像的拍摄场景一致，因此，由关联图像生成的掩膜可以直接应用于原始图像，以确定出原始图像的星空区域和非星空区域。另外，本公开对图像分割的具体过程不做限制，可以利用分割模型来实现，该分割模型可以是深度神经网络，也可以是基于例如Ostu阈值分割等算法形成的模型。

关于关联图像的得到过程，一方面，关联图像可以是预先保存的图像，当原始图像的拍摄场景与关联图像的拍摄场景一致时，终端设备可以根据场景直接获取到关联图像。

另一方面，在终端设备连续拍摄的场景中，首先，可以从连续拍摄的图像中提取若干图像(例如5帧图像、7帧图像等)，并对这多帧图像进行叠加，生成候选关联图像。针对这多帧图像的提取方式，可以是连续帧提取，也可以间隔预定数量帧进行提取，或者随机提取，本公开对此不做限制。接下来，根据候选关联图像，经历格式转换、去噪处理等操作，确定出原始图像的关联图像。应当注意的是，提取出的这多帧图像与原始图像的拍摄场景相同，在一个实施例中，这多帧图像中还可以包括原始图像。

参考图4对本公开一些实施例得到掩膜的过程进行说明。首先，从连续拍摄的图像数据中获取若干raw格式的图像，对这些图像进行叠加生成候选关联图像。接下来，可以对候选关联图像进行格式转化，得到灰度图，再对灰度图进行去噪处理，得到关联图像。其中，可以例如通过空域滤波的方式进行去噪处理，降低图像中的噪声。随后，可以将关联图像输入分割模型，利用该分割模型输出掩膜。

采用掩膜方式的优点在于，整个图像处理过程仅需要运行一次图像分割过程，在得到掩膜后，可以利用掩膜实现包括原始图像在内的多个图像的星空区域和非星空区域的分割。

根据本公开的另一些实施例，也可以每次均利用分割模型对原始图像进行分割处理，以得到对应的星空区域和非星空区域。

S34.通过参考图像的星空区域和原始图像的星空区域，确定出与原始图像的星空区域对应的第一中间图像。

具体的，可以利用参考图像的星空区域，对原始图像的星空区域进行配准处理，得到与原始图像的星空区域对应的第一中间图像。

根据本公开的一些实施例，参考图像(又可被称为参考帧图像)可以是与原始图像拍摄场景一致的图像，是用于对原始图像进行配准的图像，使图像对齐。在一个实施例中，参考图像可以是上述关联图像，也可以是从网络上下载的图像。

根据本公开的另一些实施例，针对终端设备连续拍摄的场景，参考图像可以是连续拍摄的多帧图像中除原始图像外另一图像。例如，参考图像可以是连续拍摄的多帧图像中除原始图像外的任一图像；又例如，参考图像可以是连续拍摄多帧图像中按拍摄顺序处于中间的图像；再例如，参考图像可以是连续拍摄多帧图像中亮度最大或清晰度最高的图像、本公开对参考图像不做限制。

应当注意的是，参考图像也被分割为星空区域和非星空区域，然而，本公开对参考图像分割操作的执行时间(时机)不做限制，可以是在原始图像进行分割的同时也进行分割，也可以在原始图像分割之前预先已分割完成，还可以在原始图像进行分割之后再进行分割。

鉴于星空区域纹理特征不显著，采用提取纹理特征的方式应用于星空区域可能效果不佳。考虑到此，本公开示例性实施方式通过星星来实现星空区域的配准。

参考图5对原始图像的星空区域的配准处理过程进行说明。

在步骤S502中，将原始图像的星空区域中的星星与参考图像的星空区域的星星进行匹配。

针对原始图像的星空区域，可以确定出星星的像素坐标点。

首先，终端设备可以利用原始图像的星空区域的像素统计参数值，计算用于对星空区域中星星进行分割的阈值。

具体的，对于星空区域选取一子区域，例如可以随机选取一子区域。鉴于星星相对于星空而言，占比较小，因此，子区域中是否有星星几乎不影响方案。

针对该子区域，计算像素统计参数值。其中像素统计参数值可以包括像素的均值mean和标准差sigma。然后可以将mean+3×sigma作为分割星星的阈值。应当注意的是，还可以采用其他像素统计参数值和计算阈值的方式，本公开对此不做限制。

接下来，可以利用确定出的分割星星的阈值，执行阈值分割操作，以从原始图像的星空区域中确定出星星的像素坐标点。

另外，可以将星星所占的像素数作为星星的尺寸(或称为大小)，星星所占像素的像素值的和作为星星的亮度。在本公开的一种示例性实施例中，可以利用星星的尺寸和/或星星的亮度对星空区域的星星进行筛选，通过预先配置阈值，剔除较小和/或亮度较低的星星。

在确定出星星的像素坐标点后，可以利用像素坐标点确定出星星的位置。

根据本公开的一些实施例，针对一个星星，可以对像素坐标点取平均值，作为该星星的位置。

根据本公开的另一些实施例，针对一个星星，首先，可以确定各像素坐标点对应的亮度。接下来，可以根据星星的各像素坐标点以及各像素坐标点对应的亮度，确定该星星的位置。具体的，可以将亮度作为权重，对各像素坐标点进行加权处理，并将加权处理的结果作为该星星的位置。

在得到原始图像的星空区域中星星的位置后，可以基于原始图像的星空区域中星星的位置，从参考图像的星空区域中确定出与原始图像的星空区域中星星对应的星星，构建星星特征点对，以实现将原始图像的星空区域中的星星与参考图像的星空区域的星星匹配。其中，确定参考图像的星空区域中星星的方式与原始图像相似，不再赘述。类似地，对确定参考图像的星空区域中星星的时机也不做限制。

针对从参考图像的星空区域中确定出与原始图像的星空区域中星星对应的星星的过程。根据本公开的一些实施例，可以从参考图像的星空区域中确定出距离距原始图像中星星最近的星星。例如，原始图像中星星A的位置为(x，y)，那么对应到参考图像中，以参考图像中(x，y)的位置为基准，确定出距此距离最近的星星A’，作为与原始图像中星星A对应的星星。

根据本公开另一些实施例，首先，终端设备可以确定参考图像的星空区域中与原始图像的星空区域中星星的位置对应的区域中的星星集合。例如，原始图像中星星A的位置为(x，y)，那么对应到参考图像中，该区域可以是以参考图像中(x，y)的位置为圆心，半径为2×dist1的区域。其中，dist1为实验测得的原始图像与参考图像两帧之间可能移动的最大距离。

可以理解的是，确定出的星星集合即是参考图像中该区域所有存在的星星的集合。

接下来，可以从星星集合中确定出与原始图像的星空区域中星星对应的星星。具体的，可以基于星星集合中各星星的亮度和/或尺寸确定出一个星星作为与原始图像的星空区域中星星对应的星星。例如，可以从星星集合中确定出亮度最大的星星，作为与原始图像的星空区域中星星对应的星星；又例如，可以从星星集合中确定出尺寸最大的星星，作为与原始图像的星空区域中星星对应的星星；再例如，可以分别为亮度和尺寸配置权重，通过加权的方式得到星星集合中各星星的评分，选取评分最高的星星，作为与原始图像的星空区域中星星对应的星星。

可以认为的是，原始图像与参考图像对应的星星为同一星星。

如上所述，在确定出原始图像与参考图像对应的星星后，构建星星特征点对，以实现将原始图像的星空区域中的星星与参考图像的星空区域的星星匹配。

在步骤S504中，根据匹配结果得到第一单应矩阵。

鉴于星星匹配的结果中可能存在错误匹配、误匹配的情况。在本公开的示例性实施方式中，可以采用随机抽样一致性(RANSAC，Random Sample Consensus)算法对星星特征点对进行处理，剔除错误的特征点对，计算出针对星空区域的单应矩阵，记为第一单应矩阵。

在步骤S506中，利用第一单应矩阵对原始图像的星空区域进行仿射变换，得到第一中间图像。

终端设备可以利用第一单应矩阵对原始图像的星空区域进行仿射变换，得到第一中间图像。其中，仿射变换(warp变换)是一种二维坐标到二维坐标之间的线性变换，具体操作包括但不限于平移、缩放、旋转、翻转等。

需要说明的是，第一中间图像是对应于原始图像的星空区域的配准后的图像。

S36.通过参考图像的非星空区域和原始图像的非星空区域，确定出原始图像的非星空区域对应的第二中间图像。

具体的，可以利用参考图像的非星空区域，对原始图像的非星空区域进行配准处理，得到与原始图像的非星空区域对应的第二中间图像。

在执行针对非星空区域的配准处理之前，可以对原始图像进行亮度增强，线性提高原始图像的亮度，以增强非星空区域的纹理特征。

参考图6对原始图像的非星空区域的配准处理过程进行说明。

在步骤S602中，提取原始图像的非星空区域的角点特征。

在本公开的示例性实施方式中，针对角点特征的提取过程，可以采用不同的特征提取算法，这些特征提取算法可以包括但不限于FAST特征点检测算法、DOG特征点检测算法、Harris特征点检测算法、SIFT特征点检测算法、SURF特征点检测算法等。特征描述子可以包括但不限于BRIEF特征点描述子、BRISK特征点描述子、FREAK特征点描述子等。

具体的，可以将特征提取算法与特征描述子进行组合，以确定出特征提取模式，例如，特征提取模式可以为FAST特征点检测算法和BRIEF特征点描述子，也可以为DOG特征点检测算法和FREAK特征点描述子。

在步骤S604中，将原始图像的非星空区域的角点特征与参考图像的非星空区域的角点特征进行匹配。

确定参考图像的非星空区域的角点特征的方式与原始图像相似，不再赘述。类似地，对确定参考图像的非星空区域的角点特征的时机也不做限制。

针对角点特征的匹配过程，本公开示例性实施方式可以采用块匹配算法实现，即基于角点特征，通过确定参考图像中与原始图像的图像块对应的图像块的方式，求出角点的位移，实现角点特征的匹配。

在步骤S606中，根据匹配结果得到第二单应矩阵。

类似地，在本公开的示例性实施方式中，可以采用随机抽样一致性估计出针对非星空区域的单应矩阵，作为第二单应矩阵。

在步骤S608中，利用第二单应矩阵对原始图像的非星空区域进行仿射变换，得到第二中间图像。

终端设备可以利用第二单应矩阵对原始图像的非星空区域进行仿射变换，得到第二中间图像。需要说明的是，第二中间图像是对应于原始图像的非星空区域的配准后的图像。

S38.基于第一中间图像、第二中间图像和原始图像，进行图像融合，并生成第一目标图像。

在融合时，为了避免星空区域与非星空区域之间交界处融合效果差以及图像中可能存在坏点而造成单应矩阵可能出现错误等问题，本公开进一步将分别星空区域和非星空区域划分为图像块，以图像块的方式进行融合。

例如，图像块的尺寸可以为16×16。然而，本公开对图像块的尺寸不做限制。

根据本公开的一些实施例，可以以参考图像为基准，将第一中间图像与原始图像的星空区域进行比较，根据比较结果，确定出需要融合的针对星空区域的图像块集合。具体的，可以计算第一中间图像中图像块与参考图像中对应图像块的相似度，并计算原始图像的星空区域对应图像块与参考图像中该图像块的相似度，从第一中间图像和原始图像的星空区域中选出与参考图像对应图像块相似度大的图像块作为待融合的图像块，进行图像融合。

类似地，可以以参考图像为基准，将第二中间图像与原始图像的非星空区域进行比较，根据比较结果，确定出需要融合的针对非星空区域的图像块集合。具体的，可以计算第二中间图像中图像块与参考图像中对应图像块的相似度，并计算原始图像的非星空区域对应图像块与参考图像中该图像块的相似度，从第二中间图像和原始图像的非星空区域中选出与参考图像对应图像块相似度大的图像块作为待融合的图像块，进行图像融合。

根据本公开的另一些实施例，鉴于第一中间图像对应于星空区域，第二中间图像对应于非星空区域，因此，可以将第一中间图像与第二中间图像合并为与原始图像对应的配准图像。在这种情况下，首先，可以从配准图像和原始图像中确定出待融合图像块。

具体的，配准图像、原始图像和参考图像的图像块分割方式相同。针对每一个图像块位置，计算配准图像的图像块与参考图像的图像块的相似度，作为第一相似度，并计算原始图像的图像块与参考图像的图像块的相似度，作为第二相似度。

如果第一相似度大于第二相似度，则将配准图像的图像块确定为待融合图像块，不使用原始图像的图像块。

如果第一相似度小于第二相似度，则将原始图像的图像块确定为待融合图像块，不使用配准图像的图像块。

上述计算图像块相似度的方法可以采用SAD(Sum of Absolute Differences，绝对误差和)算法，鉴于图像块尺寸较小，SAD资源消耗小，工程上可以实现较好的处理效果。然而，还可以采用MAD(Mean Absolute Differences，平均绝对差)算法、SSD(Sum ofSquared Differences，误差平方和)算法等，本公开对此不做限制。

在本公开的一些实施例中，图像融合仅仅针对的是原始图像的转换，将与原始图像对应的第一中间图像、第二中间图像和原始图像本身进行融合。也就是说，按图像块的位置，对确定出的待融合图像块进行拼接，生成第一目标图像。

在本公开的另一些实施例中，第一目标图像由多个待融合图像进行图像融合得到，而上述原始图像为这多个待融合图像中的任意一个。可以理解的是，这多个待融合图像可以是终端设备连续拍摄而得到的多个图像。

参考图7，在存在n个待融合图像时，n为大于等于2的正整数，每一个待融合图像均可以执行上述原始图像的处理过程，即相当于存在n个原始图像。针对原始图像1至原始图像n的每一个原始图像，可以对应得到待融合的图像块集合1至图像块集合n，按图像块位置，将待融合图像块进行融合，生成第一目标图像。其中，融合可以指像素值相加。

在一个实施例中，如图7所示，在融合的过程中，还可以将参考图像的图像块进行融合。

此外，针对生成的第一目标图像，本公开还包括对第一目标图像进一步进行图像优化的方案，以增强星空的显示效果。

首先，终端设备可以统计出第一目标图像的星空区域非星星像素的亮度均值。根据该亮度均值确定出第一亮度增强系数。

具体的，可以预先设定亮度均值的目标值，该目标值可以由开发人员或用户自行设定。用该目标值除以第一目标图像的星空区域非星星像素的亮度均值，得到第一亮度增强系数。

得到第一亮度增强系数后，可以确定出第二亮度增强系数。其中，第一亮度增强系数小于第二亮度增强系数。

接下来，可以利用第一亮度增强系数对第一目标图像进行亮度增强处理，得到第二目标图像。并利用第二亮度增强系数对第一目标图像进行亮度增强处理，得到第三目标图像。其中，第二目标图像又可被称为低增益图像，第三目标图像又可被称为高增益图像。

在本公开一些实施例中，第三目标图像亮度均值是第二目标图像亮度均值的两倍。也就是说，在这些实施例中，还可以先利用第一亮度增强系数对第一目标图像进行亮度增强处理，得到第二目标图像，再对第二目标图像进行线性提亮操作，以生成亮度均值为第二目标图像两倍的第三目标图像。

然而，需要说明的是，第三目标图像亮度均值是第二目标图像亮度均值的两倍仅是示例性的描述，第三目标图像亮度均值大于第二目标图像亮度均值即可。

然后，终端设备可以将第二目标图像与第三目标图像融合，以生成第四目标图像。

针对融合的过程，可以采用图像金字塔融合的方法融合第二目标图像和第三目标图像。

具体的，对于星空区域中非星星的像素，融合时像素值主要从第二目标图像中提取。对于星空区域中星星的像素，融合时像素值主要从第三目标图像中提取。

针对星空区域，本公开还提供了一种第二目标图像和第三目标图像在融合时的权值确定方案。

一方面，计算第二目标图像中星空区域非星星像素的像素统计参数值，并根据第二目标图像中星空区域非星星像素的像素统计参数值确定第一融合权值。其中，第一融合权值是针对第二目标图像的权值。

在本公开的一些实施例中，第二目标图像的像素统计参数值对应的是第二目标图像中星空区域非星星像素的统计直方图的波峰。第一融合权值可以被构造成一个高斯权值曲线，该高斯权值曲线要求完全覆盖或尽量完全覆盖该统计直方图的波峰。

另一方面，计算第三目标图像中星空区域非星星像素的像素统计参数值，并根据第三目标图像中星空区域非星星像素的像素统计参数值确定第二融合权值。其中，第二融合权值是针对第三目标图像的权值。

在本公开的一些实施例中，第三目标图像的像素统计参数值对应的是第三目标图像中星空区域非星星像素的统计直方图的波峰。第二融合权值可以被构造成另一个高斯权值曲线，该高斯权值曲线的波峰要求错开或尽量错开统计直方图的波峰。

图8示出了本公开实施例的第一融合权值和第二融合权值的示意图。

参考图8，统计直方图用像素占比表示，第二目标图像中星空区域非星星像素的统计直方图曲线为曲线1，第三目标图像中星空区域非星星像素的统计直方图曲线为曲线2。在这种情况下，本公开实施例的第一融合权值的曲线可以被构造为曲线3，第二融合权值的曲线可以被构造为曲线4。

下面将参考图9对本公开一个实施例的图像处理方法的整个过程进行说明。

在步骤S902中，终端设备获取连续曝光的多帧raw图像。

在步骤S904中，终端设备对每一帧图像进行分割，得到每一帧图像对应的星空区域和非星空区域。

在步骤S906中，终端设备从这些图像中选取一帧作为参考帧。

在步骤S908中，终端设备选取一帧图像进行与参考帧的配准操作。

在步骤S910中，终端设备将选取的图像的星空区域与参考帧的星空区域进行配准。

在步骤S912中，终端设备将选取的图像的非星空区域与参考帧的非星空区域进行配准。

在步骤S914中，终端设备利用配准计算出的单应矩阵分别对原始图像的星空区域和非星空区域进行仿射变换。

在步骤S916中，终端设备采用图像块的方式实现图像融合。

在步骤S918中，终端设备判断是否处理完所有的图像。如果是，则执行步骤S920；如果不是，则返回步骤S906，继续执行下一图像的配准和融合的处理过程。

在步骤S920中，对融合后的图像进行星空增强。

在步骤S922中，输出星空增强的图像，例如，经过图像信号处理，输出.jpg格式的图像。

通常上述图像处理过程，一方面，可以使用户在不需要摄像专业知识和后期处理的情况下，通过简易脚架固定终端设备，一键即可拍摄出包含星空的图像。另一方面，本方案对星星运动和可能的相机抖动进行了补偿并融合多帧图像，使拍摄的总曝光时间不被限制，且不必采用大ISO来完成曝光，因此，可以大大降低图像的噪声，提高了图像的清晰度。再一方面，本公开实施例中通过星空增强的处理手段，可以提升星星的亮度等级，使图像中整个星空更加璀璨绚烂。

应当注意，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。

进一步的，本示例实施方式中还提供了一种图像处理装置。

图10示意性示出了本公开的示例性实施方式的图像处理装置的方框图。参考图10，根据本公开的示例性实施方式的图像处理装置10可以包括图像分割模块101、第一图像确定模块103、第二图像确定模块105、第一图像生成模块107。

具体的，图像分割模块101可以用于对原始图像进行图像分割，确定出原始图像的星空区域和非星空区域；第一图像确定模块103可以通过参考图像的星空区域和原始图像的星空区域，确定出与原始图像的星空区域对应的第一中间图像；第二图像确定模块105可以通过参考图像的非星空区域和原始图像的非星空区域，确定出原始图像的非星空区域对应的第二中间图像；第一图像生成模块107可以用于基于第一中间图像、第二中间图像和原始图像，进行图像融合，并生成第一目标图像。

根据本公开的示例性实施例，第一中间图像和第二中间图像构成与原始图像对应的配准图像。在这种情况下，第一图像生成模块107可以被配置为执行：从配准图像和原始图像中确定出待融合图像块；基于待融合图像块，进行图像融合，以生成第一目标图像。

根据本公开的示例性实施例，第一图像生成模块107从配准图像和原始图像中确定出待融合图像块的过程可以被配置为执行：针对每一个图像块位置，计算配准图像的图像块与参考图像的图像块的相似度，作为第一相似度，以及计算原始图像的图像块与参考图像的图像块的相似度，作为第二相似度；如果第一相似度大于第二相似度，则将配准图像的图像块确定为待融合图像块；如果第一相似度小于第二相似度，则将原始图像的图像块确定为待融合图像块；其中，配准图像、原始图像和参考图像的图像块分割方式相同。

根据本公开的示例性实施例，第一目标图像由多个待融合图像进行图像融合而得到，多个待融合图像包括原始图像。在这种情况下，第一图像生成模块107基于待融合图像块进行图像融合以生成第一目标图像的过程可以被配置为执行：按图像块位置，将待融合图像块与除原始图像之外的其余待融合图像对应的待融合图像块进行融合，以生成第一目标图像。

根据本公开的示例性实施例，第一图像生成模块107基于待融合图像块进行图像融合以生成第一目标图像的过程还可以被配置为执行：按图像块位置，对确定出的待融合图像块进行拼接，以生成第一目标图像。

根据本公开的示例性实施例，第一图像确定模块103可以被配置为执行：将原始图像的星空区域中的星星与参考图像的星空区域的星星进行匹配；根据匹配结果得到第一单应矩阵；利用第一单应矩阵对原始图像的星空区域进行仿射变换，得到第一中间图像。

根据本公开的示例性实施例，第一图像确定模块103将原始图像的星空区域中的星星与参考图像的星空区域的星星进行匹配的过程可以被配置为执行：确定原始图像的星空区域中星星的位置；基于原始图像的星空区域中星星的位置，从参考图像的星空区域中确定出与原始图像的星空区域中星星对应的星星，构建星星特征点对。

根据本公开的示例性实施例，第一图像确定模块103确定原始图像的星空区域中星星的位置的过程可以被配置为执行：确定原始图像的星空区域中星星的各像素坐标点；确定各像素坐标点的亮度；根据原始图像的星空区域中星星的各像素坐标点以及各像素坐标点的亮度，确定原始图像的星空区域中星星的位置。

根据本公开的示例性实施例，第一图像确定模块103确定原始图像的星空区域中星星的各像素坐标点的过程可以被配置为执行：利用原始图像的星空区域的像素统计参数值，计算用于对星空区域中星星进行分割的阈值；利用对星空区域中星星进行分割的阈值，执行阈值分割操作，以从原始图像的星空区域中确定出星星的像素坐标点。

根据本公开的示例性实施例，第一图像确定模块103确定对应的星星的过程可以被配置为执行：确定参考图像的星空区域中与原始图像的星空区域中星星的位置对应的区域中的星星集合；从星星集合中确定出与原始图像的星空区域中星星对应的星星。

根据本公开的示例性实施例，第一图像确定模块103从星星集合中确定出与原始图像的星空区域中星星对应的星星的过程可以被配置为执行：基于星星集合中各星星的亮度和/或尺寸，从星星集合中确定出与原始图像的星空区域中星星对应的星星。

根据本公开的示例性实施例，第一图像确定模块103根据匹配结果得到第一单应矩阵的过程可以被配置为执行：利用随机抽样一致性算法对星星特征点对进行处理，剔除错误的特征点对，计算出第一单应矩阵。

根据本公开的示例性实施例，第二图像确定模块105可以被配置为执行：提取原始图像的非星空区域的角点特征；将原始图像的非星空区域的角点特征与参考图像的非星空区域的角点特征进行匹配；根据匹配结果得到第二单应矩阵；利用第二单应矩阵对原始图像的非星空区域进行仿射变换，得到第二中间图像。

根据本公开的示例性实施例，第二图像确定模块105还可以被配置为执行：在提取原始图像的非星空区域的角点特征之前，对原始图像进行亮度增强。

根据本公开的示例性实施例，图像分割模块101可以被配置为执行：利用星空区域和非星空区域的掩膜，将原始图像分割为星空区域和非星空区域。

根据本公开的示例性实施例，参考图11，相比于图像处理装置10，图像处理装置11还可以包括掩膜确定模块111。

具体的，掩膜确定模块111可以被配置为执行：对原始图像的关联图像进行图像分割，以确定出掩膜。

根据本公开的示例性实施例，掩膜确定模块111还可以被配置为执行：对多帧图像进行叠加，生成候选关联图像；根据候选关联图像，确定出原始图像的关联图像；其中，多帧图像为连续拍摄时与原始图像的拍摄场景相同的图像。

根据本公开的示例性实施例，参考图12，相比于图像处理装置10，图像处理装置12还可以包括第二图像生成模块121。

具体的，第二图像生成模块121可以被配置为执行：确定第一亮度增强系数和第二亮度增强系数，第一亮度增强系数小于第二亮度增强系数；利用第一亮度增强系数对第一目标图像进行亮度增强处理，得到第二目标图像；利用第二亮度增强系数对第一目标图像进行亮度增强处理，得到第三目标图像；将第二目标图像与第三目标图像融合，以生成第四目标图像。

根据本公开的示例性实施例，第二图像生成模块121生成第四目标图像的过程可以被配置为执行：计算第二目标图像中星空区域非星星像素的像素统计参数值，并根据第二目标图像的像素统计参数值确定第一融合权值；计算第三目标图像中星空区域非星星像素的像素统计参数值，并根据第三目标图像的像素统计参数值确定第二融合权值；利用第一融合权值和第二融合权值，将第二目标图像与第三目标图像融合，以生成第四目标图像。

由于本公开实施方式的图像处理装置的各个功能模块与上述方法实施方式中相同，因此在此不再赘述。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。

此外，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

本领域技术人员在考虑说明书及实践这里公开的内容后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。

Claims (19)

1.一种图像处理方法，其特征在于，包括：

对原始图像进行图像分割，确定出所述原始图像的星空区域和非星空区域；

通过参考图像的星空区域和所述原始图像的星空区域，确定出与所述原始图像的星空区域对应的第一中间图像；

提取所述原始图像的非星空区域的角点特征，将所述原始图像的非星空区域的角点特征与所述参考图像的非星空区域的角点特征进行匹配，根据匹配结果得到第二单应矩阵，利用所述第二单应矩阵对所述原始图像的非星空区域进行仿射变换，得到第二中间图像；

基于所述第一中间图像、所述第二中间图像和所述原始图像，进行图像融合，并生成第一目标图像。

2.根据权利要求1所述的图像处理方法，其特征在于，所述第一中间图像和所述第二中间图像构成与所述原始图像对应的配准图像；其中，基于所述第一中间图像、所述第二中间图像和所述原始图像，进行图像融合，并生成第一目标图像，包括：

从所述配准图像和所述原始图像中确定出待融合图像块；

基于待融合图像块，进行图像融合，以生成第一目标图像。

3.根据权利要求2所述的图像处理方法，其特征在于，从所述配准图像和所述原始图像中确定出待融合图像块，包括：

针对每一个图像块位置，计算所述配准图像的图像块与所述参考图像的图像块的相似度，作为第一相似度，以及计算所述原始图像的图像块与所述参考图像的图像块的相似度，作为第二相似度；

如果所述第一相似度大于所述第二相似度，则将所述配准图像的图像块确定为所述待融合图像块；

如果所述第一相似度小于所述第二相似度，则将所述原始图像的图像块确定为所述待融合图像块；

其中，所述配准图像、所述原始图像和所述参考图像的图像块分割方式相同。

4.根据权利要求2所述的图像处理方法，其特征在于，所述第一目标图像由多个待融合图像进行图像融合而得到，所述多个待融合图像包括所述原始图像；其中，基于待融合图像块，进行图像融合，以生成第一目标图像，包括：

按图像块位置，将所述待融合图像块与除所述原始图像之外的其余待融合图像对应的待融合图像块进行融合，以生成第一目标图像。

5.根据权利要求2所述的图像处理方法，其特征在于，基于待融合图像块，进行图像融合，以生成第一目标图像，包括：

按图像块位置，对确定出的待融合图像块进行拼接，以生成第一目标图像。

6.根据权利要求1所述的图像处理方法，其特征在于，通过参考图像的星空区域和所述原始图像的星空区域，确定出与所述原始图像的星空区域对应的第一中间图像，包括：

将所述原始图像的星空区域中的星星与所述参考图像的星空区域的星星进行匹配；

根据匹配结果得到第一单应矩阵；

利用所述第一单应矩阵对所述原始图像的星空区域进行仿射变换，得到所述第一中间图像。

7.根据权利要求6所述的图像处理方法，其特征在于，将所述原始图像的星空区域中的星星与所述参考图像的星空区域的星星进行匹配包括：

确定所述原始图像的星空区域中星星的位置；

基于所述原始图像的星空区域中星星的位置，从所述参考图像的星空区域中确定出与所述原始图像的星空区域中星星对应的星星，构建星星特征点对。

8.根据权利要求7所述的图像处理方法，其特征在于，确定所述原始图像的星空区域中星星的位置包括：

确定所述原始图像的星空区域中星星的各像素坐标点；

确定各所述像素坐标点的亮度；

根据所述原始图像的星空区域中星星的各像素坐标点以及各所述像素坐标点的亮度，确定所述原始图像的星空区域中星星的位置。

9.根据权利要求8所述的图像处理方法，其特征在于，确定所述原始图像的星空区域中星星的各像素坐标点包括：

利用所述原始图像的星空区域的像素统计参数值，计算用于对星空区域中星星进行分割的阈值；

利用所述对星空区域中星星进行分割的阈值，执行阈值分割操作，以从所述原始图像的星空区域中确定出星星的像素坐标点。

10.根据权利要求7所述的图像处理方法，其特征在于，基于所述原始图像的星空区域中星星的位置，从所述参考图像的星空区域中确定出与所述原始图像的星空区域中星星对应的星星，包括：

确定所述参考图像的星空区域中与所述原始图像的星空区域中星星的位置对应的区域中的星星集合；

从所述星星集合中确定出与所述原始图像的星空区域中星星对应的星星。

11.根据权利要求10所述的图像处理方法，其特征在于，从所述星星集合中确定出与所述原始图像的星空区域中星星对应的星星包括：

基于所述星星集合中各星星的亮度和/或尺寸，从所述星星集合中确定出与所述原始图像的星空区域中星星对应的星星。

12.根据权利要求7所述的图像处理方法，其特征在于，根据匹配结果得到第一单应矩阵包括：

利用随机抽样一致性算法对所述星星特征点对进行处理，剔除错误的特征点对，计算出所述第一单应矩阵。

13.根据权利要求1所述的图像处理方法，其特征在于，在提取所述原始图像的非星空区域的角点特征之前，所述图像处理方法还包括：

对所述原始图像进行亮度增强。

14.根据权利要求1所述的图像处理方法，其特征在于，对原始图像进行图像分割，确定出所述原始图像的星空区域和非星空区域，包括：

对多帧图像进行叠加，生成候选关联图像；其中，所述多帧图像为连续拍摄时与所述原始图像的拍摄场景相同的图像；

根据所述候选关联图像，确定出所述原始图像的关联图像；

对所述原始图像的关联图像进行图像分割，以确定出星空区域和非星空区域的掩膜；

利用所述掩膜，将所述原始图像分割为星空区域和非星空区域。

15.根据权利要求1至14中任一项所述的图像处理方法，其特征在于，所述图像处理方法还包括：

确定第一亮度增强系数和第二亮度增强系数，所述第一亮度增强系数小于所述第二亮度增强系数；

利用所述第一亮度增强系数对所述第一目标图像进行亮度增强处理，得到第二目标图像；

利用所述第二亮度增强系数对所述第一目标图像进行亮度增强处理，得到第三目标图像；

将所述第二目标图像与所述第三目标图像融合，以生成第四目标图像。

16.根据权利要求15所述的图像处理方法，其特征在于，将所述第二目标图像与所述第三目标图像融合，以生成第四目标图像，包括：

计算所述第二目标图像中星空区域非星星像素的像素统计参数值，并根据所述第二目标图像中星空区域非星星像素的像素统计参数值确定第一融合权值；

计算所述第三目标图像中星空区域非星星像素的像素统计参数值，并根据所述第三目标图像中星空区域非星星像素的像素统计参数值确定第二融合权值；

利用所述第一融合权值和所述第二融合权值，将所述第二目标图像与所述第三目标图像融合，以生成第四目标图像。

17.一种图像处理装置，其特征在于，包括：

图像分割模块，用于对原始图像进行图像分割，确定出所述原始图像的星空区域和非星空区域；

第一图像确定模块，用于通过参考图像的星空区域和所述原始图像的星空区域，确定出与所述原始图像的星空区域对应的第一中间图像；

第二图像确定模块，用于提取所述原始图像的非星空区域的角点特征，将所述原始图像的非星空区域的角点特征与所述参考图像的非星空区域的角点特征进行匹配，根据匹配结果得到第二单应矩阵，利用所述第二单应矩阵对所述原始图像的非星空区域进行仿射变换，得到第二中间图像；

第一图像生成模块，用于基于所述第一中间图像、所述第二中间图像和所述原始图像，进行图像融合，并生成第一目标图像。

18.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1至16中任一项所述的图像处理方法。

19.一种电子设备，其特征在于，包括：

处理器；

存储器，用于存储一个或多个程序，当所述一个或多个程序被所述处理器执行时，使得所述处理器实现如权利要求1至16中任一项所述的图像处理方法。