CN115035013A - 图像处理方法、图像处理装置、终端及可读存储介质 - Google Patents

Abstract

本申请公开图像处理方法、图像处理装置、终端及非易失性计算机可读存储介质。图像处理方法包括：获取N帧图像，其中，N≥2；在所述N帧图像中确定一帧参考图像，其余N‑1帧图像为待处理图像；根据所述参考图像和所述待处理图像生成N帧去鬼影图像；及对N帧所述去鬼影图像进行融合处理，以得到一帧融合图像。本申请的图像处理方法、图像处理装置、终端及非易失性计算机可读存储介质中，由于在生成去鬼影图像时使用了挑选出的参考图像，且融合处理是针对N帧去鬼影图像进行融合，充分发挥了参考图像的作用，使得融合图像的鬼影消除的更为彻底，从而提升了融合图像的清晰度。

Description

图像处理方法、图像处理装置、终端及可读存储介质

技术领域

本申请涉及图像处理技术领域，更具体而言，涉及一种图像处理方法、图像处理装置、终端及非易失性计算机可读存储介质。

背景技术

随着手机、电荷耦合器件(Charge Coupled Device，CCD)型摄像机、互补金属氧化物半导体(Complementary Metal Oxide Semiconductor，CMOS)型摄像机等图像采集设备的不断发展，人们对高分辨率图像的需求不断增长，对高质量视觉体验的追求也越来越高。为了提高CCD型或CMOS型摄像机传感器的性能，业内提出许多超分辨率算法。多图像超分辨率重建是业内广泛使用的一种技术，其利用多帧图像之间的互补信息，在更高分辨的网格中进行信息融合，从而重建细节，提升图像清晰度。

然而，由于相机运动或者图像中存在相对背景移动的运动物体，使得多图像在融合结果中会出现一定的重叠等现象，极大地降低图像质量，影响后续评估、观测。这种在融合结果中的像素重叠错位现象被称之为“鬼影”伪像。如何去除“鬼影”，避免图像模糊成为本领域技术人员亟需解决的难题。

发明内容

本申请实施方式提供一种图像处理方法、图像处理装置、终端及非易失性计算机可读存储介质，用于至少解决如何去除“鬼影”，避免图像模糊的问题。

本申请实施方式的图像处理方法包括：获取N帧图像，其中，N≥2；在所述N帧图像中确定一帧参考图像，其余N-1帧图像为待处理图像；根据所述参考图像和所述待处理图像生成N帧去鬼影图像；及对N所述帧去鬼影图像进行融合处理，以得到一帧融合图像。

本申请实施方式的图像处理装置包括获取模块、确定模块、生成模块及融合模块。获取模块用于获取N帧图像，其中，N≥2；确定模块用于在所述N帧图像中确定一个参考图像，其余N-1帧图像为待处理图像；生成模块用于根据所述参考图像和所述待处理图像生成N帧去鬼影图像；融合模块用于对所述N帧去鬼影图像进行融合处理，以得到一帧融合图像。

本申请实施方式的终端包括一个或多个处理器、存储器及一个或多个程序，其中，一个或多个所述程序被存储在所述存储器中，并且被一个或多个所述处理器执行，所述程序包括用于执行如下图像处理方法：获取N帧图像，其中，N≥2；在所述N帧图像中确定一帧参考图像，其余N-1帧图像为待处理图像；根据所述参考图像和所述待处理图像生成N帧去鬼影图像；及对所述N帧去鬼影图像进行融合处理，以得到一帧融合图像。

本申请实施方式的存储有计算机程序的非易失性计算机可读存储介质，当所述计算机程序被一个或多个处理器执行时，实现如下的图像处理方法：获取N帧图像，其中，N≥2；在所述N帧图像中确定一帧参考图像，其余N-1帧图像为待处理图像；根据所述参考图像和所述待处理图像生成N帧去鬼影图像；及对所述N帧去鬼影图像进行融合处理，以得到一帧融合图像。

本申请实施方式的图像处理方法、图像处理装置、终端及非易失性计算机可读存储介质中，在N帧图像中确定一帧参考图像，其余N-1帧图像为待处理图像后，根据参考图像和待处理图像先生成N帧去鬼影图像，最后再对N帧去鬼影图像进行融合处理，以得到一帧融合图像，由于在生成去鬼影图像时使用了挑选出的参考图像，且融合处理是针对N帧去鬼影图像进行融合，充分发挥了参考图像的作用，使得融合图像的鬼影消除的更为彻底，从而提升了融合图像的清晰度。

本申请的实施方式的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实施方式的实践了解到。

附图说明

本申请的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：

图1是本申请某些实施方式的图像处理方法的流程示意图；

图2是本申请某些实施方式的图像处理装置的结构示意图；

图3是本申请某些实施方式的终端的结构示意图；

图4是本申请某些实施方式的终端用于拍照的内部架构的示意图；

图5是本申请某些实施方式的图像处理方法的流程示意图；

图6是本申请某些实施方式的图像处理方法中确定参考图像和待处理图像的原理示意图；

图7至图9是本申请某些实施方式的图像处理方法的流程示意图；

图10及图11是本申请某些实施方式的图像处理方法中对参考图像和/或配准图像执行噪声采样的原理示意图；

图12是本申请某些实施方式的图像处理方法中获取N-1帧噪声差异图的原理示意图；

图13及图14是本申请某些实施方式的图像处理方法的流程示意图；

图15是本申请某些实施方式的图像处理方法中获取N-1帧像素差异图的原理示意图；

图16是本申请某些实施方式的图像处理方法中获取每个像素的噪声特征值的原理示意图；

图17是本申请某些实施方式的图像处理方法中获取噪声特征图的原理示意图；

图18是本申请某些实施方式的图像处理方法中获取第一权重图的原理示意图；

图19是本申请某些实施方式的图像处理方法中获取第二权重图的原理示意图；

图20是本申请某些实施方式的图像处理方法中从噪声特征图至获取第二权重图的原理示意图；

图21是本申请某些实施方式的图像处理方法的流程示意图；

图22是本申请某些实施方式的图像处理方法中获取N帧去鬼影图像的原理示意图；

图23是本申请某些实施方式的图像处理方法的流程示意图；

图24是本申请某些实施方式的图像处理方法中获取和值图的原理示意图；

图25是本申请某些实施方式的图像处理方法中获取融合图像的原理示意图；

图26是采用本申请的图像处理方法获取的融合图像与采用普通的多帧融合算法获取的融合图像的对照图；

图27是本申请某些实施方式的非易失性计算机可读存储介质和处理器的连接状态示意图。

具体实施方式

下面详细描述本申请的实施方式，实施方式的示例在附图中示出，其中，相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本申请的实施方式，而不能理解为对本申请的实施方式的限制。

目前，由于相机运动或者图像中存在相对背景移动的运动物体，使得多图像在融合结果中会出现一定的重叠等现象，极大地降低图像质量，影响后续评估、观测。这种在融合结果中的像素重叠错位现象被称之为“鬼影”伪像。如何去除“鬼影”，避免图像模糊成为本领域技术人员亟需解决的难题。为解决此问题，本申请提供一种图像处理方法、一种图像处理装置10(图2所示)、一种终端100(图3所示)及一种非易失性计算机可读存储介质(图27所示)。

请参阅图1，本申请实施方式的图像处理方法，包括：

01：获取N帧图像，其中，N≥2；

03：在N帧图像中确定一帧参考图像，其余N-1帧图像为待处理图像；

05：根据参考图像和待处理图像生成N帧去鬼影图像；及

07：对N帧去鬼影图像进行融合处理，以得到一帧融合图像。

请参阅图2，上述图像处理方法可应用于图像处理装置10，本申请实施方式的图像处理装置10包括获取模块11、确定模块13、生成模块15及融合模块17。获取模块11用于获取N帧图像，其中，N≥2。确定模块13用于在N帧图像中确定一个参考图像，其余N-1帧图像为待处理图像。生成模块15用于根据参考图像和待处理图像生成N帧去鬼影图像；融合模块17用于对N帧去鬼影图像进行融合处理，以得到一帧融合图像。

请参阅图3，上述图像处理方法可应用于终端100，本申请一个实施方式的终端100包括本体20、一个或多个处理器40、存储器30、及一个或多个程序。其中，一个或多个处理器40和存储器30均安装于本体20中，一个或多个程序被存储在存储器30中，并且被一个或多个处理器40执行，程序包括用于执行01、03、05及07中的图像处理方法。即，一个或多个处理器40用于获取N帧图像，其中，N≥2；在N帧图像中确定一帧参考图像，其余N-1帧图像为待处理图像；根据参考图像和待处理图像生成N帧去鬼影图像；及对N帧去鬼影图像进行融合处理，以得到一帧融合图像。

本申请另一个实施方式的终端100可包括本体20及本申请实施方式的图像处理装置10，图像处理装置10安装于本体20内。

具体地，请参阅图4，为终端100用于拍照的内部架构的示意图，展示了拍照的整个流程。当用户点击拍照APP，并在拍照APP中选择拍照模式和拍照参数，以给硬件抽象(Hardware AbstractionLayer，HAL)层的图像传感器(sensor)下发“快速捕捉”(burstCapture)指令。HAL层的sensor响应“快速捕捉”指令，并根据至少部分的拍照参数执行拍照动作，得到多帧YUV图像，并经过拍照APP传输给算法后处理模块(Algo ProcessService，APS)，APS对多帧YUV图像执行多帧融合算法后得到一帧融合后的YUV图像，在对融合后的YUV图像执行YUV to JPEG算法，而在执行YUV to JPEG算法的时候，APS将该融合后的YUV图像传输给HAL层的图像信号处理器(ImageSignal Processing，ISP)，APS中的图像处理引擎(Image Process Engine，IPE)对该融合后的YUV图像处理进行格式转化，以得到JPEG图像，APS中的编码器(Encoder)对JPEG进行编码压缩并回传编码压缩后的JPEG图像至APS中，APS中的存储单元存储编码压缩后的JPEG图像，后续图库APP可从存储单元中调取编码压缩后的JPEG图像并进行解码及解压缩，从而显示解压缩后的JPEG图像并呈现给用户观看和欣赏。由此，在一些实施方式中，图像处理装置10可以是集成在APS中的一个模块。终端100中的一个或多个处理器40可以是APS。

其中，拍照模式包括但不限于视频、拍照、人像、夜景、文本等模式。拍照参数包括与多帧YUV图像对应的元数据(metadata)。元数据包括待处理数据的相关信息，例如3a(自动曝光控制AE、自动聚焦控制AF、自动白平衡控制AWB)信息、图片信息(图片的宽度和高度、数量)参数、曝光参数(光圈大小、快门速度和感光度光圈值)、黑电平矫正参数、及阴影校正(Lens ShadingCorrection，LSC)参数等。

在一个实施方式中，待处理数据为sensor初始获取的多帧YUV图像，此时，APS接收到元数据之后，可以依据元数据对多帧YUV图像中的每一帧进行后处理，而且后处理可以是依据元数据中的一个参数执行或者是依据任意多个参数依次执行。例如，APS依据元数据中的ISO值调节每帧YUV图像对应的图像亮度等。需要说明的是，本申请实施方式中，sensor初始获取的多帧YUV图像的曝光参数保持一致，由此可保证后续处理时容易配准对齐。当然，sensor初始获取的多帧YUV图像的其他参数也可以保持一致，例如3a参数、黑电平矫正参数及LSC参数，在此不一一列举。同时，sensor初始获取多帧YUV图像还可加入防抖和对焦等功能，确保多帧YUV图像清晰，避免原图产生失焦、模糊等情况。

在另一个实施方式中，待处理数据为经多帧融合算法处理后的一帧YUV图像，此时，APS接收到元数据之后，可以依据元数据对融合后的YUV图像进行后处理，而且后处理可以是依据元数据中的一个参数执行或者任意多个参数依次执行。例如，APS依据元数据中的黑电平矫正参数对每帧YUV图像对融合后的YUV图像进行黑电平矫正、及依据元数据中的LSC参数对每帧YUV图像对融合后的YUV图像进行阴影矫正。

本申请中的图像处理方法、图像处理装置10及终端100中，在N帧图像中确定一帧参考图像，其余N-1帧图像为待处理图像后，根据参考图像和待处理图像先生成N帧去鬼影图像，最后再对N帧去鬼影图像进行融合处理，以得到一帧融合图像，由于在生成去鬼影图像时使用了挑选出的参考图像，且融合处理是针对N帧去鬼影图像进行融合，充分发挥了参考图像的作用，使得融合图像的鬼影消除的更为彻底，从而提升了融合图像的清晰度。

请参阅图5，在某些实施方式中，03：在N帧图像中确定一个参考图像，包括：

031：根据清晰度在N帧图像中确定参考图像。

确定模块13还用于根据清晰度在N帧图像中确定参考图像。

一个或多个程序被一个或多个处理器40执行，程序还包括用于执行031中的图像处理方法。即，处理器40还用于根据清晰度在N帧图像中确定参考图像。具体地，处理器40还用于从N帧图像中清晰度值最大的一帧图像作为参考图像。

具体地，可将N帧图像中清晰度值最大的一帧图像作为参考图像。请参阅图6，假设N＝4，即，获取模块11或处理器40获取了4帧图像，并分别计算这4帧图像的清晰度值，将清晰度值最大的一帧作为参考图像，其余3帧作为待处理图像。其中，图像的清晰度值可用图像中的高频信息的像素数量在该幅图像中的所有像素中的占比来表征，占比越高，图像清晰度值越大。例如，一幅图像中的高频信息的像素数量占该幅图像的所有像素数量的20％，则用占比20％来表征该幅图像的清晰度值。

请参阅图7，在某些实施方式中，05：根据参考图像和待处理图像生成N帧去鬼影图像，包括：

051：将每帧待处理图像与参考图像进行配准，确定N-1帧配准图像；

053：对每帧配准图像进行噪声估计，确定N-1个噪声级别；

055：对每帧配准图像均进行运动检测，确定N-1个第一权重图；

057：对每个第一权重图进行形态学操作，确定N-1个第二权重图；及

059：根据N-1个第二权重图、预设的参考权重图、N-1帧配准图像、及参考图像，获取N帧去鬼影图像。

请结合图2，生成模块15还用于：将每帧待处理图像与参考图像进行配准，确定N-1帧配准图像；对每帧配准图像进行噪声估计，确定N-1个噪声级别；对每帧配准图像均进行运动检测，确定N-1个第一权重图；对每个第一权重图进行形态学操作，确定N-1个第二权重图；及根据N-1个第二权重图、预设的参考权重图、N-1帧配准图像、及参考图像，获取N帧去鬼影图像。

请结合图3，一个或多个程序被一个或多个处理器40执行，程序还包括用于执行051、053、055、057及059中的图像处理方法。即，处理器40还用于将每帧待处理图像与参考图像进行配准，确定N-1帧配准图像；对每帧配准图像进行噪声估计，确定N-1个噪声级别；对每帧配准图像均进行运动检测，确定N-1个第一权重图；对每个第一权重图进行形态学操作，确定N-1个第二权重图；及根据N-1个第二权重图、预设的参考权重图、N-1帧配准图像及参考图像，获取N帧去鬼影图像。

本申请中的图像处理方法、图像处理装置10及终端100中，是基于噪声估计生成第一权重图，即，首先对配准图像进行噪声级别预估，然后将噪声级别作为因子控制第一权重图的生成，相较于传统的通过阈值判断以获取权重图，能避免暗光平坦区域误判。此外，考虑到粗暴的阈值分割容易使图像产生明显的割裂感，本申请还对第一权重图使用了形态学操作以获取第二权重图，使第二权重图形成连通域，最终根据第二权重图得到的去鬼影图像的鬼影去除的更为彻底，最终融合处理后生成的融合图像也更平滑，融合效果更好。

请参阅图8，具体地，在某些实施方式中，051：将每帧待处理图像与参考图像进行配准，确定N-1帧配准图像，可包括：

0511：对每帧待处理图像和参考图像进行特征点提取，得到多个特征点，并对每个特征点进行特征描述；

0513：将每帧待处理图像的特征点与参考图像的特征点进行匹配，得到多个特征点对；

0515：在匹配得到的特征点对中求解出每帧待处理图像与参考图像之间的变换矩阵；及

0517：根据变换矩阵将对应的待处理图像与参考图像进行配准对齐，以得到N-1帧配准图像。

请结合图2，生成模块15还用于：对每帧待处理图像和参考图像进行特征点提取，得到多个特征点，并对每个特征点进行特征描述；将每帧待处理图像的特征点与参考图像的特征点进行匹配，得到多个特征点对；及在匹配得到的特征点对中求解出每帧待处理图像与参考图像之间的变换矩阵；根据变换矩阵将对应的待处理图像与参考图像进行配准对齐，以得到N-1帧配准图像。

请结合图3，一个或多个程序被一个或多个处理器40执行，程序还包括用于执行0511、0513、0515及0517中的图像处理方法。即，处理器40还用于对每帧待处理图像和参考图像进行特征点提取，得到多个特征点，并对每个特征点进行特征描述；将每帧待处理图像的特征点与参考图像的特征点进行匹配，得到多个特征点对；在匹配得到的特征点对中求解出每帧待处理图像与参考图像之间的变换矩阵；根据变换矩阵将对应的待处理图像与参考图像进行配准对齐，以得到N-1帧配准图像。

其中，对每帧待处理图像和参考图像进行特征点提取，得到多个特征点，可以是采用同样方法得到多个特征点，也可以是采用不同方法得到多个特征点。如果是采用同样方法得到多个特征点，在0513中确定多个特征点对变得更为容易。

进一步地，在某些实施方式中，051：将每帧待处理图像与参考图像进行配准，确定N-1帧配准图像，还可包括：0514：采用ransac算法进行坏点剔除。

生成模块15还用于：采用ransac算法进行坏点剔除。一个或多个程序被一个或多个处理器40执行，程序还包括用于执行0514中的图像处理方法。即，处理器40还用于采用ransac算法进行坏点剔除。此时，可先采用ransac算法进行坏点剔除，在执行0515时，是利用去除坏点后匹配得到的特征点对中求解出每帧待处理图像与参考图像之间的变换矩阵。

本申请中的图像处理方法、图像处理装置10及终端100中，先将每帧待处理图像与参考图像均进行配准，以得到N-1帧配准图像，后续再利用N-1帧配准图像及参考图像来进行噪声估计、运动检测、形态操作等，使得进行噪声估计、运动检测、形态操作时的图像因相机运动或物体运动产生的错位和叠加现象变得最小，从而保证噪声估计、运动检测、形态操作等的准确性及所得结果最佳。

再具体地，请参阅图9，在某些实施方式中，053：对每帧配准图像进行噪声估计，确定N-1个噪声级别，可包括：

0531：以M*M个像素为单位，对参考图像及N-1帧配准图像均执行噪声采样，以得到与参考图像对应的参考采样图及与N-1帧配准图像分别对应的N-1帧配准采样图，2≤M≤15％长度方向像素总数；

0533：根据参考采样图与每帧配准采样图对应像素位置之间的噪声差异值，获取N-1帧噪声差异图；及

0535：根据N-1帧噪声差异图及帧数N获取N-1个噪声级别。

请结合图2，生成模块15还用于：以M*M个像素为单位，对参考图像及N-1帧配准图像均执行噪声采样，以得到与参考图像对应的参考采样图及与N-1帧配准图像分别对应的N-1帧配准采样图，2≤M≤15％长度方向像素总数；根据参考采样图与每帧配准采样图对应像素位置之间的噪声差异值，获取N-1帧噪声差异图；及根据N-1帧噪声差异图及帧数N获取N-1个噪声级别。

请结合图3，一个或多个程序被一个或多个处理器40执行，程序还包括用于执行0531、0533及0535中的图像处理方法。即，处理器40还用于以M*M个像素为单位，对参考图像及N-1帧配准图像均执行噪声采样，以得到与参考图像对应的参考采样图及与N-1帧配准图像分别对应的N-1帧配准采样图，2≤M≤15％长度方向像素总数；根据参考采样图与每帧配准采样图对应像素位置之间的噪声差异值，获取N-1帧噪声差异图；及根据N-1帧噪声差异图及帧数N获取N-1个噪声级别。

具体地，在针对参考图像或配准图像进行噪声采样时，采用的是预估的采样方式，因此无需采取所有像素的噪声值，而是可以按照一定规则采取部分像素的噪声值，以得到参考采样图或配准采样图。例如，采用等间隔采样。因此，针对参考图像，M的取值可以是大于等于2，且小于或等于参考图像长度方向像素总数的15％，较佳地，5％参考图像长度方向像素总数≤M≤15％参考图像长度方向像素总数。针对配准图像，M的取值可以大于等于是2，且小于或等于配准图像长度方向像素总数的15％，较佳地，5％配准图像长度方向像素总数≤M≤15％配准图像长度方向像素总数。当M取值小于图像(参考图像/配准图像)长度像素总数的5％，间隔采样的间隔单位过小，与所有像素均进行采样的速度相比差别不大，起不到噪声估计的效果；当M取值大于图像(参考图像/配准图像)长度像素总数的15％，间隔采样的间隔单位过大，不能很好的表现图像特性。

请参阅图10及图11，对于总像素为100*100的图像，假设M＝4，则表示以4为基准，相当于4*4＝16个像素作为一个采样单位进行采样(一个虚线框为一个采样单位)，长度方向上有5个采样单位，宽度方向上也有5个采样单位，最后生成的采样图为5*5阵列，能够很好地进行噪声估计，得到的噪声级别也能够代表图像的。但是，如果同样是针对总像素为100*100的图像，若M＝50，则表示以50为基准，相当是50*50＝250个像素作为一个采样单位进行采样，长度方向上只有2个采样单位，宽度方向上也只有2个采样单位，最后生成的采样图为2*2阵列，图形块就比较大，得到的噪声级别没有代表性。因此，将5％参考图像长度方向像素总数≤M≤15％参考图像长度方向像素总数，5％配准图像长度方向像素总数≤M≤15％配准图像长度方向像素总数，不仅起到原本噪声估计的作用，而且噪声级别能够很好地代表图像特性。

在一些实施方式中，请参阅图10，参考采样图的每个像素的噪声值可以为对应采样单位中的相同位置像素的噪声值。具体地，图10右图所示的参考采样图中像素11的噪声值可以是左边的参考图像的第一行上第一个采样单位中的任意一个像素(像素11-像素44中任一像素)的噪声值，例如，参考采样图中像素11的噪声值为参考图像中像素11的噪声值。图10右图所示的参考采样图中像素12的噪声值可以是左边的参考图像的第一行上第二个采样单位中像素15-像素48中与参考图像的像素11位置对应像素的噪声值，即，参考采样图中像素12的噪声值为参考图像中像素15的噪声值。图10右图所示的参考采样图中像素21的噪声值为参考图像中像素51的噪声值。图10右图所示的参考采样图中像素22的噪声值为参考图像中像素55的噪声值。如此类推，可以得到整个参考采样图的每个像素的噪声值。同样地，如图10示，配准采样图的每个像素的噪声值也可以为对应采样单位中的相同位置像素的噪声值，具体地采样方式同参考采样图的采样方式，在此不作赘述。

在又一些实施方式中，请参阅图11，参考采样图的每个像素的噪声值可以为对应采样单位中所有像素的噪声值的均值。具体地，图11右图所示的参考采样图中像素11的噪声值可以是左边的参考图像的第一行上第一个采样单位中所有像素(像素11-像素44)的噪声值的均值。图11右图所示的参考采样图中像素12的噪声值可以是左边的参考图像的第一行上第二个采样单位中所有像素(像素15-像素48)的噪声值的均值。图11右图所示的参考采样图中像素21的噪声值可以是左边的参考图像的第二行上第一个采样单位中所有像素(像素51-像素84)的噪声值的均值。图11右图所示的参考采样图中像素22的噪声值可以是左边的参考图像的第二行上第二个采样单位中所有像素(像素55像素88)的噪声值的均值。如此类推，可以得到整个参考采样图的每个像素的噪声值。同样地，如图11所示，配准采样图的每个像素的噪声值也可以为对应采样单位中所有像素的噪声值的均值。具体地采样方式同参考采样图的采样方式，在此不作赘述。

在噪声估计中，采用M*M个像素为单进行噪声采样，如果存在较大区域的极值点，可能会影响最终效果。即，如果图像存在明显的明、暗区域块，那计算的噪声差异值会居于两者之间，不具备代表性。因此，在还一些实施方式中，参考采样图的每个像素的噪声值还可以为对应采样单位中的所有像素的噪声值方差值，同样地，配准采样图的每个像素的噪声值也可以为对应采样单位中的所有像素的噪声值方差值，由此可以保证配准采样图和参考采样图具有代表性。

请参阅图12，为根据1帧参考采样图P与3帧配准采样图(A、B、C)对应像素位置之间的噪声差异值，获取3帧噪声差异图的原理示意图(假设N＝4)。在噪声差异图中，像素ij的噪声差异值为配准采样图中像素ij的噪声值减去参考采样图中像素ij的噪声值，即，噪声差异图噪声差异值ij＝配准采样图噪声值ij-参考采样图噪声值ij，其中i为行序号，j为列序号。例如，以配准采样图A与参考采样图P形成的噪声差异图1为例，噪声差异图1中像素11的噪声差异值为配准采样图A中像素11的噪声值减去参考采样图P中像素11的噪声值，即为A11-P11。噪声差异图1中像素12的噪声差异值为配准采样图A中像素12的噪声值减去参考采样图P中像素12的噪声值，即为A12-P12。噪声差异图1中像素13的噪声差异值为配准采样图A中像素13的噪声值减去参考采样图P中像素13的噪声值，即为A13-P13。噪声差异图1中像素14的噪声差异值为配准采样图A中像素14的噪声值减去参考采样图P中像素14的噪声值，即为A14-P14。对于噪声差异图1中其他像素也照此计算。配准采样图B与参考采样图P之间的噪声差异图2、配准采样图C与参考采样图P之间的噪声差异图3均按照此方法产生，在此不再详细展开说明。

请参阅图13，在某些实施方式中，0535：根据N-1帧噪声差异图及帧数N获取N-1个噪声级别，可包括：

05351：计算每帧噪声差异图的整体差异值，以得到N-1个整体差异值；

05353：获取N-1个整体差异值的中位数；及

05355：将中位数与帧数N的比值作为噪声级别α。

请结合图2，生成模块15还用于：计算每帧噪声差异图的整体差异值，以得到N-1个整体差异值；获取N-1个整体差异值的中位数；及将中位数与帧数N的比值作为噪声级别α。

请结合图3，一个或多个程序被一个或多个处理器40执行，程序还包括用于执行05351、05353及05355中的图像处理方法。即，处理器40还用于计算每帧噪声差异图的整体差异值，以得到N-1个整体差异值；获取N-1个整体差异值的中位数；及将中位数与帧数N的比值作为噪声级别α。

具体地，请再参阅图12，配准采样图B与参考采样图P之间的噪声差异图1的整体差异值AP＝(A11-P11)+(A12-P12)+(A13-P13)+(A14-P14)+(A21-P21)+(A22-P22)+(A23-P23)+(A24-P24)+(A31-P31)+(A32-P32)+(A33-P33)+(A34-P34)+(A41-P41)+(A42-P42)+(A43-P43)+(A44-P44)，配准采样图B与参考采样图P之间噪声差异图2的整体差异值BP＝(B11-P11)+(B12-P12)+(B13-P13)+(B14-P14)+(B21-P21)+(B22-P22)+(B23-P23)+(B24-P24)+(B31-P31)+(B32-P32)+(B33-P33)+(B34-P34)+(B41-P41)+(B42-P42)+(B43-P43)+(B44-P44)，配准采样图C与参考采样图P之间的噪声差异图3的整体差异值CP＝(C11-P11)+(C12-P12)+(C13-P13)+(C14-P14)+(C21-P21)+(C22-P22)+(C23-P23)+(C24-P24)+(C31-P31)+(C32-P32)+(C33-P33)+(C34-P34)+(C41-P41)+(C42-P42)+(C43-P43)+(C44-P44)。计算整体差异值AP、BP及CP之间的中位数。再将中位数与帧数N的比值作为噪声级别α。假设中位数为CP，则这4帧图像的噪声级别α＝CP/4。

请参阅图14，在某些实施方式中，055：对每帧配准图像均进行运动检测，以得到N-1个第一权重图，包括：

0551：根据参考图像与每帧配准图像对应像素位置之间的像素差，获取N-1帧像素差异图；

0553：根据噪声级别对每帧像素差异图中的像素差进行放大处理，以得到N-1帧噪声特征图；及

0555：针对每帧噪声特征图中所有像素的特征值进行阈值检测，并给每个像素设置初始权重值，以得到N-1个第一权重图。

请结合图2，生成模块15还用于：根据参考图像与每帧配准图像对应像素位置之间的像素差，获取N-1帧像素差异图；根据噪声级别对每帧像素差异图中的像素差进行放大处理，以得到N-1帧噪声特征图；及针对每帧噪声特征图中所有像素的特征值进行阈值检测，并给每个像素设置初始权重值，以得到N-1个第一权重图。

请结合图3，一个或多个程序被一个或多个处理器40执行，程序还包括用于执行0551、0553及0555中的图像处理方法。即，处理器40还用于根据参考图像与每帧配准图像对应像素位置之间的像素差，获取N-1帧像素差异图；根据噪声级别对每帧像素差异图中的像素差进行放大处理，以得到N-1帧噪声特征图；及针对每帧噪声特征图中所有像素的特征值进行阈值检测，并给每个像素设置初始权重值，以得到N-1个第一权重图。

请参阅图15及图16，为根据1帧参考图像P’与3帧配准图像(A’、B’、C’)对应像素位置之间的像素差，获取3帧像素差异图的原理示意图(假设N＝4)。在像素差异图中，像素ij的像素差为配准图像中像素ij的像素值减去参考图像中像素ij的像素值的绝对值，即，像素差异图像素差ij＝|配准图像像素值ij-参考图像像素值ij|，其中i为行序号，j为列序号。例如，以配准图像A’与参考图像P’形成的像素差异图1为例，像素差异图1中像素11的像素差为配准图像A’中像素11的像素值减去参考图像P’中像素11的像素值的绝对值，即为|A’11-P’11|。像素差异图1中像素12的像素差为配准图像A’中像素12的像素值减去参考图像P’中像素12的像素值的绝对值，即为|A’12-P’12|。像素差异图1中像素13的像素差为配准图像A’中像素13的像素值减去参考图像P’中像素13的像素值的绝对值，即为|A’13-P’13|。像素差异图1中像素14的像素差为配准图像A’中像素14的像素值减去参考图像P’中像素14的像素值的绝对值，即为|A’14-P’14|。对于像素差异图1中其他像素也照此计算。配准图像B’与参考图像P’之间的像素差异图2、配准图像C’与参考图像P’之间的像素差异图3均按照此方法产生，在此不再详细展开说明。

请参阅图17，为根据噪声级别α对其中一帧像素差异图1中的像素差(绝对值)进行放大处理，以得到对应的噪声特征图1的原理示意图。其他两帧像素差异图2及像素差异图3中的像素差(绝对值)进行放大处理，以得到对应的噪声特征图也参照执行(假设N＝4)。在噪声特征图1中，像素ij的特征值为像素差异图1中像素ij的像素差的绝对值乘以噪声级别α，即，噪声特征图1中像素ij的特征值＝|像素差异图1中像素ij的特征值|*α，其中i为行序号，j为列序号。例如，噪声特征图1中像素11的特征值＝|A'11-P'11|*α。本申请利用噪声级别对像素差异图进行放大处理后得到噪声特征图，增加算法对噪声的鲁棒性。

在某些实施方式中，0555：针对每帧噪声特征图中所有像素的特征值进行阈值检测，并给每个像素设置初始权重值，可包括：在噪声特征图中，当一个像素的特征值大于预设阈值，则确定像素处位置为运动区域，并设置初始权重值为0；及在噪声特征图中，当一个像素的特征值小于等于预设阈值，则确定像素处位置为非运动区域，并设置初始权重值为1。

其中，预设阈值是一个可以调整的参数，可以是根据经验得到一个数值，不同场景会配置不同的阈值。比如暗场景噪声水平高，所以对应的预设阈值就会高一些，当像素差异小的话，就会认为是噪声引起的，不是运动，只有差异大到一定程度，才认为是运动。亮场景，噪声很小，对应的预设阈值就会比较低，因此差异稍大，都可以看成是运动。在一个例子中，亮度越大的场景，对应的预设阈值的取值也越大，亮度越小的场景，对应的预设阈值的取值就越小。

具体地，请参阅图18，噪声特征图1中：像素11、21、31、41、23、33的特征值均大于预设阈值，则确定像素11、21、31、41、23、33处位置为运动区域，并设置初始权重值为0；像素12、13、14、22、24、32、34、42、43、44的特征值均小于等于预设阈值，则确定像素12、13、14、22、24、32、34、42、43、44处位置为非运动区域，并设置初始权重值为1，便得到与噪声特征图1对应的第一权重图1。获取与噪声特征图2对应的第一权重图2也是类似方法，及获取与噪声特征图3对应的第一权重图3也是类似方法，此处不再赘述。可以理解，目前的权重值使用0-1二值化分割，分割略微粗暴，可以设置更多阶段的权重值，比如将阈值范围内的特征值平分5档，当噪声特征图中像素的特征值小于1/5阈值时，权重值为1，当像素的特征值小于2/5阈值时，权重值为4/5等。此外，也可以自适应设置权重值。

在某些实施方式中，形态学操作包括腐蚀处理和/或膨胀处理。具体地，请参阅图19和图20，3帧第一权重图均为二值图。假设原始获取的N帧图像中包含有运动的汽车，例如第一权重图中偏白色区域，为多辆运动的汽车，第一权重图中仅显示汽车轮廓，汽车中间的区域不连通，有割裂感，在经过形态学操作，即经过腐蚀处理和膨胀处理后，汽车区域形成连通域，体现在像素图像中就是如图19所示的将权重值为1的区域包围的权重值为0的区域变成权重值为1，从而得到与第一权重图对应的最终的第二权重图。即，得到与第一权重图1对应的最终的第二权重图1，与第一权重图2对应的最终的第二权重图2，与第一权重图3对应的最终的第二权重图3。本申请对二值化的第一权重图进行连通得到第二权重图，避免由于权重离散导致最终的融合图像产生割裂感，融合图像更平滑，融合效果更好。

请参阅图21，在某些实施方式中，059：根据N-1个第二权重图、预设的参考权重图、N-1帧配准图像、及参考图像，获取N帧去鬼影图像，包括：

0591：将每帧配准图像乘以对应的第二权重图，以得到与N-1帧配准图像对应的N-1帧去鬼影图像；及

0593：将参考图像乘以对应的参考权重图，以得到与参考图像对应的去鬼影图像。

请结合图2，生成模块15还用于：将每帧配准图像乘以对应的第二权重图，以得到与N-1帧配准图像对应的N-1帧去鬼影图像；及将参考图像乘以对应的参考权重图，以得到与参考图像对应的去鬼影图像。

请结合图3，一个或多个程序被一个或多个处理器40执行，程序还包括用于执行0591及0593中的图像处理方法。即，处理器40还用于将每帧配准图像乘以对应的第二权重图，以得到与N-1帧配准图像对应的N-1帧去鬼影图像；及将参考图像乘以对应的参考权重图，以得到与参考图像对应的去鬼影图像。

请参阅图22，为根据3个第二权重图、预设的参考权重图、3帧配准图像及参考图像获取4帧去鬼影图像的原理示意图。具体地，将配准图像A’乘以对应的第二权重图1，以得到与配准图像A’对应的去鬼影图像1，将配准图像B’乘以对应的第二权重图2，以得到与配准图像B’对应的去鬼影图像2，将配准图像C’乘以对应的第二权重图3，以得到与配准图像C’对应的去鬼影图像3，将参考图像P’乘以对应的预设的参考权重图，以得到与参考图像P’对应的去鬼影图像4。其中，配准图像A’、配准图像B’、配准图像C’及参考图像P’为图22中第一列由上之下依次排列的4帧图像；第二权重图1、第二权重图2、第二权重图3、参考权重图为图22中第二列由上之下依次排列的4帧图像，且参考权重图中的权重值可全部为1；去鬼影图像1、去鬼影图像2、去鬼影图像3及去鬼影图像4为图22中第三列由上之下依次排列的4帧图像。在去鬼影图像1中，像素ij的像素值为配准图像A’中像素ij的像素值乘以第二权重图1中像素ij的权重值；在去鬼影图像2中，像素ij的像素值为配准图像B’中像素ij的像素值乘以第二权重图2中像素ij的权重值；在去鬼影图像3中，像素ij的像素值为配准图像C’中像素ij的像素值乘以第二权重图3中像素ij的权重值；在去鬼影图像4中，像素ij的像素值为参考图像P’中像素ij的像素值乘以参考权重图中像素ij的权重值；其中i为行序号，j为列序号。

请参阅图23，在某些实施方式中，07：对N帧去鬼影图像进行融合处理，以得到一帧融合图像，包括：

071：对N帧去鬼影图像中对应位置的像素进行求和处理，得到和值图；

073：根据N-1个第二权重图及参考权重图确定和值图中对应位置的像素的归一化系数；及

075：根据归一化系统对和值图进行归一化处理，以得到一帧融合图像。

请结合图2，融合模块17还用于：对N帧去鬼影图像中对应位置的像素进行求和处理，得到和值图；根据N-1个第二权重图及参考权重图确定和值图中对应位置的像素的归一化系数；及根据归一化系统对和值图进行归一化处理，以得到一帧融合图像。

请结合图3，一个或多个程序被一个或多个处理器40执行，程序还包括用于执行071、073及0757中的图像处理方法。即，处理器40还用于对N帧去鬼影图像中对应位置的像素进行求和处理，得到和值图；根据N-1个第二权重图及参考权重图确定和值图中对应位置的像素的归一化系数；及根据归一化系统对和值图进行归一化处理，以得到一帧融合图像。

请参阅图24，为对4帧去鬼影图像中对应位置的像素进行求和处理，得到和值图。和值图中像素ij的像素值＝去鬼影图像1中像素ij的像素值+去鬼影图像2中像素ij的像素值+去鬼影图像3中像素ij的像素值+去鬼影图像4中像素ij的像素值；其中i为行序号，j为列序号。例如，和值图中像素11的像素值＝去鬼影图像1中像素11的像素值+去鬼影图像2中像素11的像素值+去鬼影图像3中像素11的像素值+去鬼影图像4中像素11的像素值，即为P’11。和值图中像素12的像素值＝去鬼影图像1中像素12的像素值+去鬼影图像2中像素12的像素值+去鬼影图像3中像素12的像素值+去鬼影图像4中像素12的像素值，即为A’12+P’12。和值图中其他像素的像素值均采用此法计算，结果如图24所示，在此不一一列举。

请参阅图22及图25，在某些实施方式中，073：根据N-1个第二权重图及参考权重图确定和值图中对应位置的像素的归一化系数，包括：将N-1个第二权重图及参考权重图中对应位置的像素的最终权重值为1的总数作为和值图中对应位置的像素的归一化系数。

例如，对应像素11的位置，第二权重图1的权重值为0、第二权重图2的权重值为0、第二权重图3的权重值为0及参考权重图的权重值为1，则像素11的归一化系数为1；对应像素12的位置，第二权重图1的权重值为1、第二权重图2的权重值为0、第二权重图3的权重值为0及参考权重图的权重值为1，则像素12的归一化系数为2；对应像素22的位置，第二权重图1的权重值为1、第二权重图2的权重值为1、第二权重图3的权重值为1及参考权重图的权重值为1，则像素22的归一化系数为4；对应像素24的位置，第二权重图1的权重值为1、第二权重图2的权重值为1、第二权重图3的权重值为0及参考权重图的权重值为1，则像素22的归一化系数为3。和值图中其他位置的像素的归一化系数也按照此方法计算获取，在此不一一列举。

请继续参阅图25，根据归一化系统对和值图进行归一化处理，以得到一帧融合图像，具体地，将和值图中每个像素的像素值除以对应像素位置的归一化系数即可。对应像素11的位置，融合图像的像素值＝P’11；对应像素12的位置，融合图像的像素值＝(A'12+P'12)/2；对应像素22的位置，融合图像的像素值＝(A'22+B'22+C'22+P'22)/4；对应像素24的位置，融合图像的像素值＝(A'24+B'24+P'24)/3。融合图像其他像素的像素值均采用此方法计算获取，在此不一一列举。

请参阅图26，为采用本申请的图像处理方法获取的融合图像与采用普通的多帧融合算法获取的融合图像的对照图，从图中明显看出本本申请的图像处理方法获得的融合图像更清晰，融合图像的细节更多，视觉效果更好。由于引入噪声估计、权重优化，在运动区域能够更高的保留融合图像的细节，因此车牌号和轮胎周边纹理更丰富、清晰。

请参阅图27，本申请还提供一种存储有计算机程序的非易失性计算机可读存储介质200，当计算机程序202被一个或多个处理器40执行时，实现如前所述的任一实施方式的图像处理方法。

例如，程序202被处理器40执行的情况下，实现以下图像处理方法：

01：获取N帧图像，其中，N≥2；

03：在N帧图像中确定一帧参考图像，其余N-1帧图像为待处理图像；

05：根据参考图像和待处理图像生成N帧去鬼影图像；及

07：对N帧去鬼影图像进行融合处理，以得到一帧融合图像。

再例如，程序202被处理器40执行的情况下，实现以下图像处理方法：

051：将每帧待处理图像与参考图像均进行配准，确定N-1帧配准图像；

053：对每帧配准图像进行噪声估计，确定N-1个噪声级别；

055：对每帧配准图像均进行运动检测，确定N-1个第一权重图；

057：对每个第一权重图进行形态学操作，确定N-1个第二权重图；及

059：根据N-1个第二权重图、预设的参考权重图、N-1帧配准图像、及参考图像，获取N帧去鬼影图像。

再例如，程序202被处理器40执行的情况下，还能实现0511、0513、0514、0515、0517、0531、0533、0535、05351、05353、05355、0551、0553、0555、0591、0593、071、073及0757中的图像处理方法。

本申请中的非易失性计算机可读存储介质200中，先将每帧待处理图像与参考图像均进行配准，以得到N-1帧配准图像，后续再利用N-1帧配准图像及参考图像来进行噪声估计、运动检测、形态操作等，使得进行噪声估计、运动检测、形态操作时的图像因相机运动或物体运动产生的错位和叠加现象变得最小，从而保证噪声估计、运动检测、形态操作等的准确性及所得结果最佳。

在本说明书的描述中，参考术语“某些实施方式”、“一个例子中”、“示例地”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

尽管上面已经示出和描述了本申请的实施方式，可以理解的是，上述实施方式是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施方式进行变化、修改、替换和变型。

Claims (11)

1.一种图像处理方法，其特征在于，包括：

获取N帧图像，其中，N≥2；

在所述N帧图像中确定一帧参考图像，其余N-1帧图像为待处理图像；

根据所述参考图像和所述待处理图像生成N帧去鬼影图像；及

对所述N帧去鬼影图像进行融合处理，以得到一帧融合图像。

2.根据权利要求1所述的图像处理方法，其特征在于，所述根据所述参考图像和所述待处理图像生成N帧去鬼影图像，包括：

将每帧所述待处理图像与所述参考图像进行配准，确定N-1帧配准图像；

对每帧所述配准图像进行噪声估计，确定N-1个噪声级别；

对每帧所述配准图像均进行运动检测，确定N-1个第一权重图；

对每个所述第一权重图进行形态学操作，确定N-1个第二权重图；及

根据N-1个所述第二权重图、预设的参考权重图、N-1帧所述配准图像、及所述参考图像，获取所述N帧去鬼影图像。

3.根据权利要求2所述的图像处理方法，其特征在于，所述将每帧所述待处理图像与所述参考图像进行配准，确定N-1帧配准图像，包括：

对每帧所述待处理图像和所述参考图像进行特征点提取，得到多个特征点，并对每个特征点进行特征描述；

将每帧所述待处理图像的特征点与所述参考图像的特征点进行匹配，得到多个特征点对；

在匹配得到的所述特征点对中求解出每帧所述待处理图像与所述参考图像之间的变换矩阵；及

根据所述变换矩阵将对应的所述待处理图像与所述参考图像配准对齐，以得到N-1帧配准图像。

4.根据权利要求2所述的图像处理方法，其特征在于，所述对每帧所述配准图像进行噪声估计，确定N-1个噪声级别，包括：

以M*M个像素为单位，对所述参考图像及N-1帧所述配准图像均执行噪声采样，以得到与所述参考图像对应的参考采样图及与N-1帧所述配准图像分别对应的N-1帧配准采样图，2≤M≤15％长度方向像素总数；

根据所述参考采样图与每帧所述配准采样图对应像素位置之间的噪声差异值，获取N-1帧噪声差异图；及

根据N-1帧所述噪声差异图及帧数N获取所述N-1个所述噪声级别。

5.根据权利要求4所述的图像处理方法，其特征在于，所述根据N-1帧所述噪声差异图及帧数N获取所述N-1个所述噪声级别，包括：

计算每帧所述噪声差异图的整体差异值，以得到N-1个整体差异值；

获取N-1个所述整体差异值的中位数；及

将所述中位数与所述帧数N的比值作为所述噪声级别。

6.根据权利要求2所述的图像处理方法，其特征在于，所述对每帧所述配准图像均进行运动检测，以得到N-1个第一权重图，包括：

根据所述参考图像与每帧所述配准图像对应像素位置之间的像素差，获取N-1帧像素差异图；

根据所述噪声级别对每帧所述像素差异图中的像素差进行放大处理，得到N-1帧噪声特征图；

针对每帧所述噪声特征图中所有像素的特征值进行阈值检测，并给每个所述像素设置初始权重值，以得到N-1个所述第一权重图。

7.根据权利要求2所述的图像处理方法，其特征在于，所述根据N-1个所述第二权重图、预设的参考权重图、N-1帧所述配准图像、及所述参考图像获取所述N帧去鬼影图像，包括：

将每帧所述配准图像乘以对应的所述第二权重图，以得到与N-1帧所述配准图像对应的N-1帧去鬼影图像；及

将所述参考图像乘以对应的所述参考权重图，以得到与所述参考图像对应的所述去鬼影图像。

8.根据权利要求7所述的图像处理方法，其特征在于，所述对所述N帧去鬼影图像进行融合处理，以得到一帧融合图像，包括：

对所述N帧去鬼影图像中对应位置的像素进行求和处理，得到和值图；

根据N-1个所述第二权重图及所述参考权重图确定所述和值图中对应位置的像素的归一化系数；

根据所述归一化系统对所述和值图进行归一化处理，以得到一帧所述融合图像。

9.一种图像处理装置，其特征在于，包括：

获取模块，用于获取N帧图像，其中，N≥2；

确定模块，用于在所述N帧图像中确定一个参考图像，其余N-1帧图像为待处理图像；

生成模块，用于根据所述参考图像和所述待处理图像生成N帧去鬼影图像；及

融合模块，用于对所述N帧去鬼影图像进行融合处理，以得到一帧融合图像。

10.一种终端，其特征在于，包括：

一个或多个处理器、存储器；及

一个或多个程序，其中，一个或多个所述程序被存储在所述存储器中，并且被一个或多个所述处理器执行，所述程序包括用于执行权利要求1至8任意一项所述的图像处理方法。

11.一种存储有计算机程序的非易失性计算机可读存储介质，当所述计算机程序被一个或多个处理器执行时，实现权利要求1至8任意一项所述的图像处理方法。

Images