CN112785535A - 一种获取夜景光轨图像的方法、装置以及可手持终端 - Google Patents

Abstract

本申请实施例提供一种获取夜景光轨图像的方法、装置以及可手持终端，所述方法包括：获取连续拍摄同一区域得到的N帧图像序列，其中，所述N为大于1的自然数，所述N帧图像序列的曝光参数相同；获取所述N帧图像序列的光轨区域，并根据所述光轨区域融合所述N帧图像序列，得到夜景光轨图像；输出所述夜景光轨图像。通过本申请的一些实施例能够不利用三脚架等设备，不用复杂的参数设置，而采用检测连续拍摄的多帧图像的光轨区域并对连续多帧图像进行融合就可以得到一张有夜景光轨效果且较为纯净的夜景光轨图像。

Description

一种获取夜景光轨图像的方法、装置以及可手持终端

技术领域

本申请涉及夜景图像拍摄领域，具体而言本申请实施例涉及一种获取夜景光轨图像的方法、装置以及可手持终端。

背景技术

夜景光轨效果是在夜晚拍摄移动的发光物体得到的一种特殊的照片效果，现有技术通常是在夜晚利用三脚架固定相机，并设定相机为长曝光模式，且要调节感光度、快门速度等相机参数的值拍摄得到。

现有技术存在的一些缺陷包括：首先，由于现有技术中若不使用三脚架则会由于抖动得到一种模糊的长曝光图片，无法拍到夜景光轨的效果，因此为了拍摄夜景光轨效果需要依赖于三脚架。因此用户若想拍摄夜景光轨效果，需提前准备三角架，十分不便。其次，现有技术对拍摄者要求较高，需要利用经验来调整相机的参数如曝光时间才能拍到理想的照片。

因此如何采用一种更加便捷的方式来拍摄夜景光轨效果的图像成了亟待解决的技术问题。

发明内容

本申请实施例的目的在于提供一种获取夜景光轨图像的方法、装置以及可手持终端，通过本申请一些实施例的技术方案可以利用光轨检测以及多帧融合方法，实现不依赖三脚架等装置就可以拍摄得到夜景光轨图像。一方面，本申请一些实施例的夜景光轨图像获取方法不过多依赖于硬件和相机参数，可以实现自动处理得到夜景光轨效果图像；另一方面，本申请一些实施例基于光轨检测做指导进行多帧图像融合，得到具有夜景光轨效果且纯净的图像，可以改善夜景光轨图像噪声水平不一致的问题。

第一方面，本申请的一些实施例提供一种获取夜景光轨图像的方法，所述方法包括：获取连续拍摄同一区域得到的N帧图像序列，其中，所述N为大于1的自然数，所述N帧图像序列的曝光参数相同；获取所述N帧图像序列的光轨区域，并根据所述光轨区域融合所述N帧图像序列，得到夜景光轨图像；输出所述夜景光轨图像。

通过本申请的一些实施例能够不利用三脚架等设备，不用复杂的参数设置，而采用检测连续拍摄的多帧图像的光轨区域并对连续多帧图像进行融合就可以得到一张有夜景光轨效果且较为纯净的夜景光轨图像。

在一些实施例中，所述N帧图像序列的光轨区域是通过所述N帧图像序列对应的光轨掩膜确定的。

本申请的一些实施例采用光轨掩膜记录检测得到的光轨区域，方便根据记录的光轨区域的对应的像素点的信息来融合多帧图像得到一张有夜景光轨效果的图形。

在一些实施例中，所述获取所述N帧图像序列的光轨区域，并根据所述光轨区域融合所述N帧图像序列，得到夜景光轨图像，包括：根据所述N帧图像序列中的前n-1帧图像获取第n-1参考图像，并获取第n-1光轨掩膜；根据所述第n-1参考图像和第n帧图像获取第n帧间过曝掩膜，其中，所述第n帧间过曝掩膜用于记录所述第n帧图像相对于所述第n-1参考图像增加的帧间过曝像素点区域；根据所述第n帧间过曝掩膜更新所述第n-1光轨掩膜，获得第n光轨掩膜；根据所述第n光轨掩膜，对所述第n-1参考图像和所述第n帧图像进行融合，得到第n融合图像；其中，当所述第n帧图像为所述N帧图像序列中最后拍摄的一帧图像时，则所述夜景光轨图像是根据所述第n融合图像得到的，否则所述第n融合图像作为第n参考图像，所述n为整数且n的取值范围为：2≤n≤N，第1光轨掩膜对应的各像素点的像素值为零。

本申请的一些实施例通过设计循环程序按照N帧图像序列的拍摄次序逐帧检测光轨像素点并逐帧融合图像来得到一张有夜景光轨效果且较为纯净的夜景光轨图像。

在一些实施例中，所述根据所述第n-1参考图像和第n帧图像获取第n帧间过曝掩膜，包括：根据所述第n-1参考图像对所述第n帧图像进行配准，得到第n配准图像；获取与所述第n-1参考图像对应的第n-1参考图像过曝掩膜，并获取与所述第n配准图像对应的第n配准图像过曝掩膜；基于所述第n-1参考图像过曝掩膜和所述第n配准图像过曝掩膜获取所述第n帧间过曝掩膜。

本申请的一些实施例通过图像配准以及过曝像素点检测和记录来确定后一帧图像相对于前面多帧图像新增的光轨像素点，进而获取所述N帧图像序列对应的光轨区域并完成图像融合。

在一些实施例中，所述第n-1参考图像过曝掩膜中与所述第n-1参考图像中的过曝像素点对应的像素点的值为1，其余像素点的值为0；所述第n配准图像过曝掩膜中与所述第n配准图像中的过曝像素点对应的像素点的值为1，其余像素点的值为0；所述基于所述第n-1参考图像过曝掩膜和所述第n配准图像过曝掩膜获取所述第n帧间过曝掩膜，包括：根据所述第n-1参考图像过曝掩膜和所述第n配准图像过曝掩膜确定第n过曝像素组，其中，所述第n过曝像素组中包括的各像素点在所述第n-1参考图像过曝掩膜中的值为0且在所述第n配准图像过曝掩膜中的值为1；设置初始第n帧间过曝掩膜中与所述第n过曝像素组对应的各像素点的值为1，得到所述第n帧间过曝掩膜，其中，所述初始第n帧间过曝掩膜中各像素点的像素值为零。

本申请的一些实施例通过二进制矩阵(即过曝掩膜)记录第n-1次循环的参考图像和第n帧图像的过曝像素点，并根据记录的过曝像素点确定第n帧图像相对于参考图像增加的过曝像素点获取第n帧间过曝掩膜，进而根据第n帧间过曝掩膜来更新记录前n帧图像的光轨像素点的第n光轨掩膜，进而完成本次循环的图像帧融合。

在一些实施例中，所述过曝像素点是通过阈值判断或形态学滤波得到的。

本申请的一些实施例提供了多种判断第n-1次循环的参考图像和第n帧图像上过曝像素点的算法，提升了过曝像素点检测的准确性。

在一些实施例中，所述根据所述第n帧间过曝掩膜更新第n-1光轨掩膜，获得第n光轨掩膜，包括：将所述第n帧间过曝掩膜和所述第n-1光轨掩膜对应的各像素点的值进行或操作得到所述第n光轨掩膜。

本申请的一些实施例提供了一种将第n帧图像相对于前n-1帧图像新增的光轨像素点记录在用于反应整个图像序列包括的光轨区域的光轨掩膜中的方法。

在一些实施例中，所述基于所述第n-1参考图像过曝掩膜和所述第n配准图像过曝掩膜获取所述第n帧间过曝掩膜之前，所述方法还包括：对所述第n-1参考图像过曝掩膜和所述第n配准图像过曝掩膜进行相同参数的膨胀腐蚀操作。

本申请的一些实施例通过对参考图像过曝掩膜和第n配准图像过曝掩膜的处理来消除小的孤立噪声点，提升得到夜景光轨图像的纯净度。

在一些实施例中，所述根据所述第n光轨掩膜，对所述第n-1参考图像和所述第n帧图像进行融合，得到第n融合图像，包括：根据所述第n光轨掩膜确定第n光轨区域以及第n非光轨区域；根据第一规则融合所述第n-1参考图像和所述第n帧图像各自对应的所述第n光轨区域中各像素点的像素值，并根据第二规则融合所述第n-1参考图像和所述第n帧图像各自对应的所述第n非光轨区域中各像素点的像素值，得到所述第n融合图像。

本申请的一些实施例对于光轨区域和非光轨区域分别采用不同的像素值融合策略可以提升融合图像上光轨区域和非光轨区域的显示效果。

在一些实施例中，所述第一规则包括从所述第n-1参考图像对应的所述第n光轨区域和所述第n配准图像对应的所述第n光轨区域中的相同位置的像素点对应的两个像素值中取较大的像素值；或者所述第二规则包括计算所述第n-1参考图像对应的所述第n非光轨区域和所述第n配准图像对应的所述第n非光轨区域中的相同位置的像素点对应的两个像素值的加权平均值。

本申请的一些实施例对光轨区域像素点融合的策略以及对非光轨区域像素点融合的策略，通过差异化的融合策略提升了得到的夜景光轨图像的显示效果。

在一些实施例中，所述第n融合图像对应的所述第n非光轨区域中各像素点的像素值的计算公式为：

i_merge＝i_cur*w_cur+i_ref*w_ref

w_cur＝exp((-(i_cur-i_ref)^2)/sigma)×0.5

w_ref＝1.0-w_cur

其中，i_ref表征所述第n-1参考图像对应的所述第n非光轨区域中第一像素点的像素值，i_cur表征所述第n配准图像对应的所述第n非光轨区域中所述第一像素点的像素值，w_cur表征所述第n-1参考图像上所述第一像素点的融合权重，w_ref表征所述第n配准图像上所述第一像素点的融合权重，sigma代表所述融合权重的平滑系数。

本申请的一些实施例通过设计的算法来融合检测得到的非光轨区域包括的像素点的像素值，例如公式中sigma代表融合权重的平滑系数，sigma越大，融合结果越平滑，sigma越小，融合结果受噪声影响较大，因此本申请的一些实施例可以通过调整公式中相关参数的取值来改善得到的夜景光轨图像的显示效果。

在一些实施例中，所述获取所述N帧图像序列的光轨区域，并根据所述光轨区域融合所述N帧图像序列，得到夜景光轨图像还包括：根据第N光轨掩膜检测第N融合图像对应的所述光轨区域中存在的断层部分，其中，所述光轨掩膜用于记录所述N帧图像序列对应的所述光轨区域；利用所述断层部分中各像素点的邻域信息补全所述第N融合图像，得到所述夜景光轨图像。

本申请的一些实施例提供了一种当连续拍摄帧数较少的情况下，如何解决融合多帧图像得到的夜景光轨图像上可能出现的光轨断裂问题，也就是说，本申请的一些实施例可以通过检测断层部分并补全第N融合图像上光轨区域中的断层部分对应的像素值的方案，来使得到的夜景光轨图像上的光轨呈现连续的线，可以理解的是如果不做这部分像素值补齐操作，可能会出现最终的光轨不连续问题，影响得到的夜景光轨图像的显示效果。

在一些实施例中，所述根据第N光轨掩膜检测第N融合图像对应的所述光轨区域中存在的断层部分包括：对所述第N光轨掩膜做膨胀腐蚀操作，得到对比掩膜；基于所述第N光轨掩膜和所述对比掩膜确定所述断层部分包括的断层像素组，其中，所述断层像素组中的各像素点为所述第N光轨掩膜中值为0且所述对比掩膜中值为1的像素点；确定所述第N融合图像上对应的所述断层像素组，得到所述第N融合图像对应的所述光轨区域中存在的断层部分。

本申请的一些实施例提供了一种获取光轨区域上可能出现的断层部分的方法，使得对断层部分的像素点的像素值的补充得以完成，最终使得得到的夜景光轨图像上的光轨呈连续的线。

在一些实施例中，所述利用所述第N融合图像的断层部分中各像素点的邻域信息补全所述第N融合图像，包括：对于所述断层像素组中的第二像素点，在所述第N光轨掩膜中搜索所述第二像素点的邻域内值为1的像素点得到均值像素组，其中，所述第二像素点为所述断层像素组中的任意一个像素点；统计所述均值像素组包括的各像素点在所述第N融合图像中的像素值均值；利用所述像素值均值替换所述第二像素点在所述第N融合图像中的像素值。

本申请的一些实施例提供了一种利用邻域均值补充第N融合图像上断层部分包括的像素点的像素值的方法，提升获取的夜景光轨图像的整体显示效果。

在一些实施例中，所述获取所述N帧图像序列的光轨区域，并根据所述光轨区域融合所述N帧图像序列，得到夜景光轨图像还包括：根据第N光轨掩膜检测第N融合图像对应的所述光轨区域中存在的断层部分，其中，所述第N光轨掩膜用于记录所述N帧图像序列对应的所述光轨区域；利用所述断层部分中各像素点的邻域信息补全所述第N融合图像，得到第N连续光轨图像；对所述第N光轨掩膜做膨胀腐蚀操作，得到对比掩膜；确定所述对比掩膜中像素值为1的像素点作为滤波像素组；对所述第N连续光轨图像对应的所述滤波像素组中的像素点进行双边滤波，得到所述夜景光轨图像。

本申请的一些实施例通过双边滤波可以解决整幅图像噪声不一致的问题。

第二方面，本申请的一些实施例提供一种获取夜景光轨图像的装置，所述装置包括：获取模块，被配置为获取连续拍摄同一区域得到的N帧图像序列，其中，所述N为大于1的自然数，所述N帧图像序列的曝光参数相同；光轨检测及图像融合模块，被配置为获取所述N帧图像序列的光轨区域，并根据所述光轨区域融合所述N帧图像序列，得到夜景光轨图像；输出模块，被配置为输出所述夜景光轨图像。

第三方面，本申请的一些实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时可实现上述第一方面所述的方法。

第四方面，本申请的一些实施例提供一种信息处理设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的程序，其中，所述处理器执行所述程序时可实现上述第一方面所述的方法。

第五方面，本申请的一些实施例提供一种可手持终端，包括摄像头、显示器、处理器以及存储在所述存储器上并可在所述处理器上运行的程序，其中，所述摄像头被配置为连续拍摄同一区域得到的N帧图像序列，其中，所述N为大于1的自然数，所述N帧图像序列的曝光参数相同；所述处理器从所述摄像头获取所述N帧图像序列并执行所述程序以实现上述第一方面所述的方法，得到夜景光轨图像；显示器，被配置为显示所述夜景光轨图像。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的获取夜景光轨图像的系统组成示意图；

图2为本申请实施例提供的获取夜景光轨图像的方法的流程图；

图3为本申请实施例提供的获取夜景光轨图像的方法的S120步骤的子流程图；

图4为本申请实施例提供的一种可手持终端的组成框图；

图5为本申请实施例提供的由可手持终端执行的获取夜景光轨图像的方法流程图；

图6本申请实施例提供的获取夜景光轨图像的装置的组成框图；

图7为本申请实施例提供的信息处理设备的组成框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

与相关技术强依赖于三脚架以及拍摄者拍摄技术来拍摄具有夜景光轨图像的技术方案相比，本申请的实施例提供了一种完全自动化的拍摄具有夜景光轨效果图像的软件解决方案，有效改善了拍摄夜景光轨效果图像成片率低的技术问题。也就是说，本申请的一些实施例中不依赖于三脚架以及相机的参数配置等条件，当用户点击拍摄按钮后，即可通过软件处理得到一张具有夜景光轨效果的图像。

本申请的一些实施例利用光轨检测以及多帧融合操作来获取夜景光轨图像，在本申请的另一些实施例中还对光轨区域进行拼接或者在非光轨区域使用多帧降噪的方法去除噪声，从而得到一张有夜景光轨效果且较为纯净的图像。

请参看图1，图1为本申请一些实施例提供的获取夜景光轨图像的系统组成图。

图1的获取夜景光轨图像的系统包括可以连续拍摄多帧图像的PAD终端100。例如，图1的PAD终端拍摄了第一帧图像101、第二帧图像102、第三帧图像103、第四帧图像104……第N帧图像，即图1的PAD终端100连续拍摄了N张图像序列。需要说明的是，本申请实施例并不限定拍摄N帧图像序列的终端的类型，例如，PAD终端100可以替换为手机终端等其他可移动或者可手持的设备。可以理解的是，为了获取具有夜景光轨效果的图像需要拍摄终端(例如，图1的PAD终端100)在一段时间内连续拍摄多帧具有运动的发光物体的场景的图像，得到连续N帧图像序列。

图1的获取夜景光轨图像系统还包括服务器200，该服务器200用于通过网络160接收PAD终端100连续拍摄的N帧图像序列，并经过光轨区域检测(即检测被拍摄场景中运动的物体的运动轨迹)以及多帧图像融合等操作进而得到一张夜景光轨图像(即由服务器200执行本申请一些实施例提供的图2或图3公开的获取夜景光轨图像的方法)，再将得到的夜景光轨图像通过网络160发送至PAD终端100进行显示。可以理解的是，网络160包括有线网络或者无线网络，本申请实施例并不限定网络160的具体形式。此外，在本申请的另一些实施例中也可以直接通过服务器200上的接口来接收N张图像序列而不必借助于网络160传输连续拍摄的N帧图像序列。

需要说明的是，图1的具有图像拍摄功能的功能单元与对连续拍摄的N帧图像序列进行处理以获取夜景光轨图像的功能单元分别部署于不同的物理设备上，但是在本申请的另一些实施例中也可以将实现这两个功能的功能单元部署在同一个物理设备中。例如，在本申请的另一些实施例中，在同一个设备中集成PAD终端100的图像拍摄功能(即图1中PAD连续拍摄多帧图像的功能)以及服务器200的图像处理功能(即光轨区域检测以及多帧图像融合)。作为一个示例，当采用可手持终端实施本申请一些实施例的技术方案时，可以在可手持终端的相机拍摄N帧图像序列的过程中同时由该可手持终端进行光轨检测以及融合得到夜景光轨图像，也可以当可手持终端的相机完成连续N帧图像序列后再由该可手持终端基于所述N帧图像序列进行光轨检测和图像融合得到夜景光轨图像。

下面结合图2示例性说明获取夜景光轨图像的方法(例如，可以由图1的服务器200执行图2的获取夜景光轨图像的方法)。

如图2所示，本申请的一些实施例提供一种获取夜景光轨图像的方法，所述方法包括：S110，获取连续拍摄同一区域得到的N帧图像序列，其中，所述N为大于1的自然数，所述N帧图像序列的曝光参数相同；S120，获取所述N帧图像序列的光轨区域，并根据所述光轨区域融合所述N帧图像序列，得到夜景光轨图像；S130，输出所述夜景光轨图像。

下面示例性阐述S110。

在本申请的一些实施例中，服务器200通过网络或者服务器200上的外部接口从具有图像拍摄功能的另一设备(例如，图1的PAD终端100)获取连续拍摄的N帧图像序列，如图1所示。

在本申请的另一些实施例中，手机等可手持的移动设备既具有拍摄图像的功能也具有信息处理的功能，此时该可手持的移动设备的处理器可以通过其内部总线从其内存读取由该可手持的移动设备的拍摄单元连续拍摄N帧图像序列，并检测连续拍摄N帧图像序列的光轨区域、融合N帧图像来获取夜景光轨图像。也就是说，在本申请的一些实施例中可以通过一台可手持的移动设备来执行由图1的PAD终端100和服务器200共同完成的获取夜景光轨图像的方法。

曝光参数包括光圈、快门以及感光度，S110记载的曝光参数相同也就是说连续拍摄N帧图像序列的过程中相机的光圈、快门和感光度保持一致，且拍摄单元(例如，相机)为自动对焦锁定，即第一帧对焦后，之后N-1帧不再做自动对焦操作。

下面示例性阐述S120。

为了记录检测的光轨区域，作为一个示例，S120涉及的所述N帧图像序列的光轨区域是通过所述N帧图像序列对应的光轨掩膜确定的。需要说明的是，光轨掩膜是由0和1组成的一个二进制图像，且光轨掩膜对应的二进制图像中的各像素点分别与N帧图像序列中各帧图像上的像素点一一对应。

为了获取所述N帧图像序列对应的光轨区域(即获取发光的物体在连续拍摄的N帧图像序列上的运动轨迹)，本申请一些实施例设计了循环程序来逐帧获取光轨区域包括的各像素点。如图3所示，在本申请的一些实施例中，S120包括：S121，根据所述N帧图像序列中的前n-1帧图像获取第n-1参考图像，并获取第n-1光轨掩膜；S122，根据所述第n-1参考图像和第n帧图像获取第n帧间过曝掩膜，其中，所述第n帧间过曝掩膜用于记录所述第n帧图像相对于所述第n-1参考图像增加的过曝像素点区域；S123，根据所述第n帧间过曝掩膜更新所述第n-1光轨掩膜，获得第n光轨掩膜；S124，根据所述第n光轨掩膜，对所述第n-1参考图像和所述第n帧图像进行融合，得到第n融合图像。其中，当所述第n帧图像为所述N帧图像序列中最后拍摄的一帧图像时，在本申请的一些实施例中所述第n融合图像可以直接作为所述夜景光轨图像进行输出并显示，在本申请的另一些实施例中还需要对第n融合图像进行断层部分的像素值补全或者对像素值补全后的第n融合图像进行双边滤波处理来得到更加清晰和光轨连续性更好的夜景光轨图像并显示。当所述第n帧图像不属于所述N帧图像序列中最后拍摄的一帧图像时，所述第n融合图像作为第n参考图像进行下一次循环操作，所述n为整数且n的取值范围为：2≤n≤N，第1光轨掩膜对应的各像素点的像素值为零；第一次循环的参考图像可以直接选择所述N帧图像序列中的第一帧图像。

需要说明的是，第N光轨掩膜对应于所述N帧图像序列的光轨区域。获取第n融合图像的算法可以包括像素级融合算法、特征级融合算法以及决策级融合算法等。作为一个示例，本申请的一些实施例采用像素级融合算法，也就是对需要融合的至少两张图像对应的像素点上的像素值进行操作(例如，计算多帧图像上相应像素点的像素值的均值，或从多帧图像对应的多个像素值中取中值、取最大值或取最小值的操作)来得到融合图像上对应像素点的像素值。

当拍摄图像的设备在连续拍摄N帧图像序列的过程中存在较大抖动时，为了提升融合多帧图像的效果，在本申请的一些实施例中，需要在获取第n-1次循环对应的帧间过曝掩膜之前，首先对第n-1次循环的第n-1参考图像和第n帧图像进行配准操作，得到第n配准图像(即根据第n-1参考图像对第n帧图像进行配置操作)。另外，为了采用帧间过曝掩膜记录第n帧图像相对于前n-1帧图像增加的光轨像素点，本申请的一些实施例分别对参考图像和第n帧图像进行过曝像素点检测和对比来获取帧间过曝掩膜上的像素点的像素值。也就是说，在本申请的一些实施例中，S122包括：根据所述第n-1参考图像对所述第n帧图像进行配准，得到第n配准图像；获取与所述第n-1参考图像对应的第n-1参考图像过曝掩膜，并获取与所述第n配准图像对应的第n配准图像过曝掩膜；基于所述第n-1参考图像过曝掩膜和所述第n配准图像过曝掩膜获取所述第n帧间过曝掩膜。

在本申请的一些实施例采用过曝像素点作为光轨区域对应的像素点，同时为了记录过曝像素点以确定第n-1次循环的第n帧图像相对于第n-1参考图像(携带了前n-1帧图像的像素值信息)增加的光轨像素点(即获取帧间过曝掩膜对应的像素点)，作为一个示例，所述第n-1参考图像过曝掩膜中与所述第n-1参考图像中的过曝像素点对应的像素点的值为1，其余像素点的值为0；所述第n配准图像过曝掩膜中与所述第n配准图像中的过曝像素点对应的像素点的值为1，其余像素点的值为0。对应的获取第n帧间过曝掩膜上像素点的像素值的方法S122包括：根据所述第n-1参考图像过曝掩膜和所述第n配准图像过曝掩膜确定第n过曝像素组，其中，所述第n过曝像素组中包括的各像素点在所述第n-1参考图像过曝掩膜中的值为0且在所述第n配准图像过曝掩膜中的值为1；设置初始第n帧间过曝掩膜中与所述第n过曝像素组对应的各像素点的值为1，得到所述第n帧间过曝掩膜，其中，所述初始第n帧间过曝掩膜中各像素点的像素值为零。相应的S123，包括：将所述第n帧间过曝掩膜和所述第n-1光轨掩膜对应的各像素点的值进行或操作得到所述第n光轨掩膜。

需要说明的是，本申请的另一些实施例中各参考图像过曝掩膜中的像素点也可以采用数字0来表征从相应参考图像上检测得到的过曝像素点，同理各帧图像过曝掩膜中的像素点也可以采用数字0来表征从相应帧图像上检测得到的过曝像素点，相应在过曝像素掩膜中采用数字1来表征各参考图像或者各帧图像上的非过曝像素点。

为了获取第n-1次循环对应的第n-1参考图像和第n帧图像上的过曝像素点，作为一个示例，通过阈值判断或形态学滤波得到第n-1参考图像和第n帧图像上的过曝像素点。

为了消除图像上小的孤立噪声点，在执行S122之前，本申请的一些实施例的获取夜景光轨图像的方法还包括：对所述第n-1参考图像过曝掩膜和所述第n配准图像过曝掩膜进行相同参数的膨胀腐蚀操作。

为了提升夜景光轨图像的显示效果，在本申请的一些实施例中，S124包括：根据所述第n光轨掩膜确定第n光轨区域以及第n非光轨区域；根据第一规则融合所述第n-1参考图像和所述第n帧图像各自对应的所述第n光轨区域中各像素点的像素值，并根据第二规则融合所述第n-1参考图像和所述第n帧图像各自对应的所述第n非光轨区域中各像素点的像素值，得到所述第n融合图像。例如，所述第一规则包括从所述第n-1参考图像对应的所述第n光轨区域和所述第n配准图像对应的所述第n光轨区域中的相同位置的像素点对应的两个像素值中取较大的像素值；或者所述第二规则包括计算所述第n-1参考图像对应的所述第n非光轨区域和所述第n配准图像对应的所述第n非光轨区域中的相同位置的像素点对应的两个像素值的加权平均值。

本申请的一些实施例针对光轨区域对应的像素点的融合像素值是从参考图像和本次循环选择的帧图像中取较大的像素值，对于非光轨区域的融合像素值是参考图像和本次循环选取的帧图像对应的两个像素值的均值，这种针对不同区域像素点采用不同的融合策略的图像融合方式可以提升得到的夜景光轨图像的显示效果。

为了改善非光轨区域图像融合的效果，在本申请的一些实施例中，所述第n融合图像对应的所述第n非光轨区域中各像素点的像素值的计算公式为：

i_merge＝i_cur*w_cur+i_ref*w_ref

w_cur＝exp((-(i_cur-i_ref)^2)/sigma)×0.5

w_ref＝1.0-w_cur

其中，i_ref表征所述第n-1参考图像对应的所述第n非光轨区域中第一素点的像素值，i_cur表征第n配准图像对应的所述第n非光轨区域中所述第一像素点的像素值，w_cur表征所述第n-1参考图像上所述第一素点的融合权重，w_ref表征所述第n配准图像上所述第一素点的融合权重，sigma代表所述融合权重的平滑系数。

需要说明的是，上述公式中sigma代表融合权重的平滑系数，sigma越大，融合结果越平滑，sigma越小，融合结果受噪声影响较大，因此本申请的一些实施例可以通过调整公式中相关参数的取值来改善得到的夜景光轨图像的显示效果。

综上所述，在本申请的一些实施例，为了获取所述N帧图像序列对应的光轨区域并融合多帧图像得到夜景光轨图像，在第n-1次循环时需要从图像帧队列(即所述N帧图像序列)中取出第n帧图像image_cur，并获取根据前n-1帧图像得到的第n-1参考图像image_ref，做以下循环操作更新第n-1参考图像image_ref，直到图像帧队列为空：以第n-1参考图像image_ref为参考帧，对第n帧图像image_cur进行配准操作，得到第n帧图像的配准后图像image_cur 2；在配准后图像image_cur 2和第n-1参考图像image_ref中检测第n帧间光轨掩膜mask_new，并和上一次循环的第n-1光轨掩膜mask_base进行或操作，得到更新后的第n光轨掩膜mask_base；根据更新后的光轨掩膜mask_base指导，融合参考图像image_ref和配准后图像image_cur 2，将结果更新在参考图像image_ref中；将图像帧队列中的下一帧图像(即第n+1帧图像)作为下次循环的图像image_cur进行循环，直至图像队列为空得到与所述N张图像序列对应的光轨区域并得到第N融合图像。

当连续拍摄两帧图像的帧间间隔时间较长时，通过本申请一些实施例得到的第N融合图像上的光轨可能存在断裂部分，为了解决这个问题本申请的一些实施例还提供一种检测光轨上的断层部分并对检测得到断层部分进行像素补全的技术方案。也就是说，在本申请的一些实施例中，S120在执行图3的N-1次循环步骤之后还包括：根据第N光轨掩膜检测第N融合图像对应的所述光轨区域中存在的断层部分，其中，所述光轨掩膜用于记录所述N帧图像序列对应的所述光轨区域；利用所述断层部分中各像素点的邻域信息补全所述第N融合图像，得到所述夜景光轨图像。

为了获取断层部分，在本申请的一些实施例中，所述根据第N光轨掩膜检测第N融合图像对应的所述光轨区域中存在的断层部分包括：对所述光轨掩膜做膨胀腐蚀操作，得到对比掩膜；基于所述第N光轨掩膜和所述对比掩膜确定所述断层部分包括的断层像素组，其中，所述断层像素组中的各像素点为所述光轨掩膜中值为0且所述对比掩膜中值为1的像素点；确定所述第N融合图像上对应的所述断层像素组，得到所述第N融合图像对应的所述光轨区域中存在的断层部分。例如，所述利用所述第N融合图像的断层部分中各像素点的邻域信息补全所述第N融合图像，包括：对于所述断层像素组中的任意一个像素点(例如，第二像素点)，在所述第N光轨掩膜中搜索任意一个像素点(例如，第二像素点)的邻域内值为1的像素点得到与所述断层像素组中各像素点分别对应的均值像素组，其中，所述第二像素点为所述断层像素组中的任意一个像素点；统计各均值像素组包括的各像素点在所述第N融合图像中的像素值均值；利用所述像素值均值替换断层像素组中任意一个像素点(例如，第二像素点)在所述第N融合图像中的像素值。

也就是说，本申请的一些实施例对循环完成得到的第N光轨掩膜mask_base做膨胀腐蚀操作得到对比掩膜mask_base1，根据第N光轨掩膜mask_base和对比掩膜mask_base1检测出光轨的断层部分，并利用邻域信息补全光轨(即更新第N融合图像image_ref中断层部分对应的像素点的像素值)。

为了解决断层部分的光轨断裂现象同时解决整幅图像噪声不一致的问题，在本申请的一些实施例中，S120在执行图3的N-1次循环之后还包括：根据第N光轨掩膜检测第N融合图像对应的所述光轨区域中存在的断层部分，其中，所述光轨掩膜用于记录所述N帧图像序列对应的所述光轨区域；利用所述断层部分中各像素点的邻域信息补全所述第N融合图像，得到第N连续光轨图像；对所述第N光轨掩膜做膨胀腐蚀操作，得到对比掩膜；确定所述对比掩膜中像素值为1的像素点作为滤波像素组；对所述第N连续光轨图像对应的所述滤波像素组中的像素点进行双边滤波，得到所述夜景光轨图像。

需要说明的是，本申请实施例S130输出的夜景光轨图像可以直接输入显示器进行显示以供用户观看，也可以经过后期处理用于控制系统等，或者供使用者制作视频材料等。本申请的实施例并不限定输出的夜景光轨图像的进一步用途。

如图4所示，该图提供了一种可手持终端400，该可手持终端400包括摄像头420、显示器450、处理器440以及存储在所述存储器430上并可在所述处理器440上运行的程序，其中，所述摄像头420被配置为连续拍摄同一区域得到的N帧图像序列，其中，所述N为大于1的自然数，所述N帧图像序列的曝光参数相同；所述处理器440从所述摄像头420获取所述N帧图像序列(或者从存储器430读取由摄像头420拍摄的图像序列)并执行所述程序以实现图2或图3所述的方法，得到夜景光轨图像；显示器450，被配置为显示所述夜景光轨图像。

在本申请的另一些实施例中，可手持终端400还包括输入单元410，以使用户触发摄像头420进行拍照的操作。例如，输入单元410包括触摸输入单元或者按钮等。

下面结合图5示例性阐述在可手持终端执行的获取夜景光轨图像的方法。

图4的可手持终端400控制摄像头420连续拍摄同一区域得到N帧图像序列，具体包括：

S301，用户通过输入单元410按下拍摄夜景光轨图像的按钮。需要说明的是，用户也可以通过触摸或者发出语音指令的方式来启动拍摄夜景光轨图像的过程，本申请对指令的输入方式不做限制。

S302，摄像头420连续拍摄N张相同曝光的图像，拍摄过程可以采用自动对焦锁定，得到N帧图像序列。例如，本申请的一些实施例连续拍摄N张曝光值相同且正常曝光(正常曝光即使用相机自动曝光)的图像，在拍照过程中需要自动对焦锁定AF(即第一帧对焦后，之后N-1帧不再做自动对焦操作)，得到一个图像帧队列。

图4的处理器440从存储器430读取程序并执行程序以实现图2的S110以及S120。具体包括：

S303，初始化一张全零的光轨掩膜maskbase，用以记录检测的光轨区域包括的像素点。以image_ref表征每次循环的参考图像，并以imagine_cur表征每次循环从N帧图像序列中选择的一帧图像。例如，在第一次循环时，设置N帧图像序列中的第1帧为参考帧图像image_ref，第2帧作为第一次循环的待配准图像imagine_cur。

S304，依据参考图像image_ref，将本次循环的待配准图像imagine_cur(即N帧图像序列中的一帧图像)配准得到配准后图像imagine_cur2。例如，配准方法可以使用光流法，网状流算法meshflow或基于块匹配思想的算法patch-based方法。

S305，对参考图像image_ref和配准后图像imagine_cur2检测光轨，得到帧间过曝掩膜masknew，用帧间过曝掩膜masknew更新当前光轨掩膜maskbase。

作为一个示例，根据配准后图像imagine_cur2和参考图像image_ref，得到帧间过曝掩膜mask_new，具体实现方法如下：

1)分别对配准后图像imagine_cur2和参考图像image_ref使用相同参数做过曝检测，例如，可以使用阈值判断和形态学滤波方法得到两张图像各自对应的参考图像过曝掩膜mask_ref和第n图像(即本次循环从图像队列中选择的图像)过曝掩膜mask_cur，其中，参考图像过曝掩膜mask_ref和第n图像过曝掩膜mask_cur中对应像素值为1代表为过曝，像素值为0代表非过曝；

2)分别对参考图像过曝掩膜mask_ref和第n图像过曝掩膜mask_cur做相同参数的膨胀腐蚀操作，这一步的目的是为了消除小的孤立噪声点。

3)初始化帧间过曝掩膜mask_new为全0的掩膜，对每个像素，若参考图像过曝掩膜mask_ref中的像素值为0，且第n图像过曝掩膜mask_cur中的像素值为1，则帧间过曝掩膜mask_new中对应像素值为1，其余情况帧间过曝掩膜mask_new中对应像素值为0；

4)对帧间过曝掩膜mask_new和当前光轨掩膜mask_base进行“或”操作，将结果更新至当前光轨掩膜mask_base中；

S305，利用更新后的当前光轨掩膜mask_base，对配准后图像image_cur2和参考图像image_ref做融合操作。例如，

1)若更新后的当前光轨掩膜mask_base中像素值为1，则该像素处于光轨区域，融合后第n融合图像上像素点的值为配准后图像image_cur2和参考图像image_ref对应像素位置选择像素值更高的值。

2)若更新后的当前光轨掩膜mask_base中像素值为0，则该像素处于非光轨区域，则进行融合操作，设参考图像image_ref中对应像素值为i_ref，配准后图像image_cur2中对应像素值为i_cur，则i_cur的融合权重w_cur和i_ref的融合权重w_ref计算为:

w_cur＝exp((-(i_cur-i_ref)^2)/sigma)×0.5

w_ref＝1.0-w_cur

融合公式为i_merge＝i_cur*w_cur+i_ref*w_ref，融合的结果存在image_ref中。例如，为了获取融合图像上非光轨区域对应的像素点的像素值可以采用维纳滤波或双边滤波的加权融合。

S307，得到一张融合后图像image_ref，将其作为下次循环的参考图像。从所述N帧图像序列对应的图像队列取出下一帧图像作为待配准图像image_cur。

S308，判断图像队列是否为空，如果图像队列不为空则返回S304继续做循环操作，直至完成N-1次循环得到第N融合图像和第N光轨掩膜。

S309，对最终的mask_base(即第N光轨掩膜)先做膨胀后做腐蚀操作，得到对比掩膜mask_base1；检测最终的mask_base中像素值为0而对比掩膜mask_base1中值为1的像素点，这部分像素为光轨的断层部分，对于这些像素，以其中一个某个像素x为例，在最终的mask_base中搜索x的sxs邻域内值为1的像素点，统计这些像素点在第N融合图像image_ref中的像素值均值，替换掉像素x在第N融合图像image_ref中像素的值。

S310，利用对比掩膜mask_base1做指导，对image_ref做双边滤波操作，这一步操作是为了解决整幅图像噪声不一致的问题。例如，这一步骤只对对比掩膜mask_base1中像素值为1的像素点做双边滤波操作，在双边滤波操作中计算邻域内各像素权重时，对应在对比掩膜mask_base1中像素值为0的像素点权重为0，只有对应在对比掩膜mask_base1中像素值为1的像素点才会参加滤波操作。需要说明的是，这一步是根据对比掩膜mask_base1的指导，对于断层部分的像素补全后得到的第N融合图像image_ref中的每个像素，若对比掩膜mask_base1中对应值为1，则对image_ref中该像素点做双边滤波操作，因为双边滤波会用到像素的邻域，邻域中每个点都会计算一个权重，但如果邻域中的某个点在对比掩膜mask_base1中对应值为0，该点的权重设为0。

S311，输出经过S310处理的第N融合图像image_ref做为得到的夜景光轨图像。例如，将夜景光轨图像输入图4的显示器450进行显示。

请参考图6，图6示出了本申请实施例提供的获取夜景光轨图像的装置，应理解，该装置与上述图2方法实施例对应，能够执行上述方法实施例涉及的各个步骤，该装置的具体功能可以参见上文中的描述，为避免重复，此处适当省略详细描述。装置包括至少一个能以软件或固件的形式存储于存储器中或固化在装置的操作系统中的软件功能模块，该获取夜景光轨图像的装置，包括：获取模块601，被配置为获取连续拍摄同一区域得到的N帧图像序列，其中，所述N为大于1的自然数，所述N帧图像序列的曝光参数相同；光轨检测及图像融合模块602，被配置为获取所述N帧图像序列的光轨区域，并根据所述光轨区域融合所述N帧图像序列，得到夜景光轨图像；输出模块603，被配置为输出所述夜景光轨图像。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考图2和前文记载的获取夜景光轨图像方法中的对应过程，在此不再过多赘述。

本申请的一些实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时可实现上述图2所述的方法。

如图7所示，本申请的一些实施例提供一种信息处理设备700，包括存储器710、处理器720以及存储在所述存储器710上并可在所述处理器720上运行的程序，其中，所述处理器720通过总线730从存储器710上读取程序并执行所述程序时可实现图2所述的方法。

处理器720可以处理数字信号，可以包括各种计算结构。例如复杂指令集计算机结构、结构精简指令集计算机结构或者一种实行多种指令集组合的结构。在一些示例中，处理器720可以是微处理器。

存储器710可以用于存储由处理器720执行的指令或指令执行过程中相关的数据。这些指令和/或数据可以包括代码，用于实现本申请实施例描述的一个或多个模块的一些功能或者全部功能。本公开实施例的处理器720可以用于执行存储器710中的指令以实现图2中所示的方法。存储器710包括动态随机存取存储器、静态随机存取存储器、闪存、光存储器或其它本领域技术人员所熟知的存储器。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (19)

1.一种获取夜景光轨图像的方法，其特征在于，所述方法包括：

获取连续拍摄同一区域得到的N帧图像序列，其中，所述N为大于1的自然数，所述N帧图像序列的曝光参数相同；

获取所述N帧图像序列的光轨区域，并根据所述光轨区域融合所述N帧图像序列，得到夜景光轨图像；

输出所述夜景光轨图像。

2.如权利要求1所述的方法，其特征在于，所述N帧图像序列的光轨区域是通过所述N帧图像序列对应的光轨掩膜确定的。

3.如权利要求2所述的方法，其特征在于，所述获取所述N帧图像序列的光轨区域，并根据所述光轨区域融合所述N帧图像序列，得到夜景光轨图像，包括：

根据所述N帧图像序列中的前n-1帧图像获取第n-1参考图像，并获取第n-1光轨掩膜；

根据所述第n-1参考图像和第n帧图像获取第n帧间过曝掩膜，其中，所述第n帧间过曝掩膜用于记录所述第n帧图像相对于所述第n-1参考图像增加的过曝像素点区域；

根据所述第n帧间过曝掩膜更新所述第n-1光轨掩膜，获得第n光轨掩膜；

根据所述第n光轨掩膜，对所述第n-1参考图像和所述第n帧图像进行融合，得到第n融合图像；

其中，当所述第n帧图像为所述N帧图像序列中最后拍摄的一帧图像时，所述夜景光轨图像是根据所述第n融合图像得到的，否则所述第n融合图像作为第n参考图像，所述n为整数且n的取值范围为：2≤n≤N，第1光轨掩膜对应的各像素点的像素值为零。

4.如权利要求3所述的方法，其特征在于，

所述根据所述第n-1参考图像和第n帧图像获取第n帧间过曝掩膜，包括：

根据所述第n-1参考图像对所述第n帧图像进行配准，得到第n配准图像；

获取与所述第n-1参考图像对应的第n-1参考图像过曝掩膜，并获取与所述第n配准图像对应的第n配准图像过曝掩膜；

基于所述第n-1参考图像过曝掩膜和所述第n配准图像过曝掩膜获取所述第n帧间过曝掩膜。

5.如权利要求4所述的方法，其特征在于，

所述第n-1参考图像过曝掩膜中与所述第n-1参考图像中的过曝像素点对应的像素点的值为1，其余像素点的值为0；

所述第n配准图像过曝掩膜中与所述第n配准图像中的过曝像素点对应的像素点的值为1，其余像素点的值为0；

所述基于所述第n-1参考图像过曝掩膜和所述第n配准图像过曝掩膜获取所述第n帧间过曝掩膜，包括：

根据所述第n-1参考图像过曝掩膜和所述第n配准图像过曝掩膜确定第n过曝像素组，其中，所述第n过曝像素组中包括的各像素点在所述第n-1参考图像过曝掩膜中的值为0且在所述第n配准图像过曝掩膜中的值为1；

设置初始第n帧间过曝掩膜中与所述第n过曝像素组对应的各像素点的值为1，得到所述第n帧间过曝掩膜，其中，所述初始第n帧间过曝掩膜中各像素点的像素值为零。

6.如权利要求5所述的方法，其特征在于，所述过曝像素点是通过阈值判断或形态学滤波得到的。

7.如权利要求3-5任一项所述的方法，其特征在于，所述根据所述第n帧间过曝掩膜更新第n-1光轨掩膜，获得第n光轨掩膜，包括：将所述第n帧间过曝掩膜和所述第n-1光轨掩膜对应的各像素点的值进行或操作得到所述第n光轨掩膜。

8.如权利要求4所述的方法，其特征在于，所述基于所述第n-1参考图像过曝掩膜和所述第n配准图像过曝掩膜获取所述第n帧间过曝掩膜之前，所述方法还包括：对所述第n-1参考图像过曝掩膜和所述第n配准图像过曝掩膜进行相同参数的膨胀腐蚀操作。

9.如权利要求4所述的方法，其特征在于，所述根据所述第n光轨掩膜，对所述第n-1参考图像和所述第n帧图像进行融合，得到第n融合图像，包括：

根据所述第n光轨掩膜确定第n光轨区域以及第n非光轨区域；

根据第一规则融合所述第n-1参考图像和所述第n帧图像各自对应的所述第n光轨区域中各像素点的像素值，并根据第二规则融合所述第n-1参考图像和所述第n帧图像各自对应的所述第n非光轨区域中各像素点的像素值，得到所述第n融合图像。

10.如权利要求9所述的方法，其特征在于，所述第一规则包括从所述第n-1参考图像对应的所述第n光轨区域和所述第n配准图像对应的所述第n光轨区域中的相同位置的像素点对应的两个像素值中取较大的像素值；或者

所述第二规则包括计算所述第n-1参考图像对应的所述第n非光轨区域和所述第n配准图像对应的所述第n非光轨区域中的相同位置的像素点对应的两个像素值的加权平均值。

11.如权利要求10所述的方法，其特征在于，所述第n融合图像对应的所述第n非光轨区域中各像素点的像素值的计算公式为：

i_merge＝i_cur*w_cur+i_ref*w_ref

w_cur＝exp((-(i_cur-i_ref)^2)/sigma)×0.5

w_ref＝1.0-w_cur

其中，i_ref表征所述第n-1参考图像对应的所述第n非光轨区域中第一像素点的像素值，i_cur表征所述第n配准图像对应的所述第n非光轨区域中所述第一像素点的像素值，wcur表征所述第n-1参考图像上所述第一像素点的融合权重，w_ref表征所述第n配准图像上所述第一像素点的融合权重，sigma代表所述融合权重的平滑系数。

12.如权利要求3所述的方法，其特征在于，所述获取所述N帧图像序列的光轨区域，并根据所述光轨区域融合所述N帧图像序列，得到夜景光轨图像还包括：

根据第N光轨掩膜检测第N融合图像对应的所述光轨区域中存在的断层部分，其中，所述第N光轨掩膜用于记录所述N帧图像序列对应的所述光轨区域；

利用所述断层部分中各像素点的邻域信息补全所述第N融合图像，得到所述夜景光轨图像。

13.如权利要求12所述的方法，其特征在于，

所述根据第N光轨掩膜检测第N融合图像对应的所述光轨区域中存在的断层部分包括：

对所述第N光轨掩膜做膨胀腐蚀操作，得到对比掩膜；

基于所述第N光轨掩膜和所述对比掩膜确定所述断层部分包括的断层像素组，其中，所述断层像素组中的各像素点为所述第N光轨掩膜中值为0且所述对比掩膜中值为1的像素点；

确定所述第N融合图像上对应的所述断层像素组，得到所述第N融合图像对应的所述光轨区域中存在的断层部分。

14.如权利要求13所述的方法，其特征在于，所述利用所述第N融合图像的断层部分中各像素点的邻域信息补全所述第N融合图像，包括：

对于所述断层像素组中的第二像素点，在所述第N光轨掩膜中搜索所述第二像素点的邻域内值为1的像素点得到均值像素组，其中，所述第二像素点为所述断层像素组中的任意一个像素点；

统计所述均值像素组包括的各像素点在所述第N融合图像中的像素值均值；

利用所述像素值均值替换所述第二像素点在所述第N融合图像中的像素值。

15.如权利要求3所述的方法，其特征在于，所述获取所述N帧图像序列的光轨区域，并根据所述光轨区域融合所述N帧图像序列，得到夜景光轨图像还包括：

根据第N光轨掩膜检测第N融合图像对应的所述光轨区域中存在的断层部分，其中，所述第N光轨掩膜用于记录所述N帧图像序列对应的所述光轨区域；

利用所述断层部分中各像素点的邻域信息补全所述第N融合图像，得到第N连续光轨图像；

对所述第N光轨掩膜做膨胀腐蚀操作，得到对比掩膜；

确定所述对比掩膜中像素值为1的像素点作为滤波像素组；

对所述第N连续光轨图像对应的所述滤波像素组中的像素点进行双边滤波，得到所述夜景光轨图像。

16.一种获取夜景光轨图像的装置，其特征在于，所述装置包括：

获取模块，被配置为获取连续拍摄同一区域得到的N帧图像序列，其中，所述N为大于1的自然数，所述N帧图像序列的曝光参数相同；

光轨检测及图像融合模块，被配置为获取所述N帧图像序列的光轨区域，并根据所述光轨区域融合所述N帧图像序列，得到夜景光轨图像；

输出模块，被配置为输出所述夜景光轨图像。

17.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时可实现权利要求1-15中任意一项权利要求所述的方法。

18.一种信息处理设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的程序，其中，所述处理器执行所述程序时可实现权利要求1-15中任意一项权利要求所述的方法。

19.一种可手持终端，包括摄像头、显示器、处理器以及存储在所述存储器上并可在所述处理器上运行的程序，其中，

所述摄像头被配置为连续拍摄同一区域得到的N帧图像序列，其中，所述N为大于1的自然数，所述N帧图像序列的曝光参数相同；

所述处理器从所述摄像头获取所述N帧图像序列并执行所述程序以实现权利要求1-15中任意一项权利要求所述的方法，得到夜景光轨图像；

显示器，被配置为显示所述夜景光轨图像。

Images