CN115170431A - 图像处理方法、装置、电子设备 - Google Patents

Abstract

本申请涉及一种图像处理方法、装置、计算机设备、存储介质和计算机程序产品。方法包括：获取待处理图像集；其中，待处理图像集中包括参考图像和其他帧图像；待处理图像集中的图像为YUV类型的图像；基于参考图像，对各其他帧图像进行局部对齐处理，得到各局部对齐图像；在局部对齐处理的过程中，基于各其他帧图像与参考图像之间的差异，确定在Y通道上的第一差异参数，以及在U通道、V通道上的第二差异参数；基于第二差异参数，对第一差异参数进行调节，得到调节后的第一差异参数；其中，调节后的第一差异参数用于在进行局部对齐处理时，确定与其他帧图像中的目标块匹配的参考快。采用本方法能够有效提高图像对齐处理的准确性。

Description

图像处理方法、装置、电子设备

技术领域

本申请涉及计算机技术领域，特别是涉及一种图像处理方法、装置、电子设备和计算机可读存储介质。

背景技术

随着计算机技术领域技术的发展，在图像信号处理系统中，由于传感器的感光器件包含模拟部分，所以信号中的噪声很难避免，器件本身也会引入噪声。另外，当光线较暗时，整个系统需要将信号放大，这样噪声也跟着放大。因此，需要对图像进行降噪处理，例如，通过连续的多帧图像进行联合降噪，可以有效地滤除时域的高斯噪声提升图像画质，增强图像表现力。

然而，目前的图像处理方式中，通常采用多帧融合降噪的处理方式，但多帧融合降噪的处理方式中不可避免的问题就是多帧图像之间对齐之后往往存在一些偏差，即图像对齐处理的准确性较差，导致得到的对齐图像的效果不好，从而在对齐图像与原始图像融合之后容易产生人造伪影。

发明内容

本申请实施例提供了一种图像处理方法、装置、电子设备、计算机可读存储介质，可以有效提高图像对齐处理的准确性，能够得到对齐效果更好的对齐图像，在对齐图像与原始图像融合之后减少了人造伪影的产生。

一种图像处理方法，所述方法包括：

获取待处理图像集；其中，所述待处理图像集中包括参考图像和其他帧图像；所述待处理图像集中的图像为YUV类型的图像；

基于所述参考图像，对各所述其他帧图像进行局部对齐处理，得到各所述局部对齐图像；

在局部对齐处理的过程中，基于各所述其他帧图像与所述参考图像之间的差异，确定在Y通道上的第一差异参数，以及在U通道、V通道上的第二差异参数；

基于所述第二差异参数，对所述第一差异参数进行调节，得到调节后的所述第一差异参数；其中，调节后的所述第一差异参数用于在进行局部对齐处理时，确定与所述其他帧图像中的目标块匹配的参考快。

一种图像处理装置，包括：

获取模块，用于获取待处理图像集；其中，所述待处理图像集中包括参考图像和其他帧图像；所述待处理图像集中的图像为YUV类型的图像；

处理模块，用于基于所述参考图像，对各所述其他帧图像进行局部对齐处理，得到各所述局部对齐图像；

确定模块，用于在局部对齐处理的过程中，基于各所述其他帧图像与所述参考图像之间的差异，确定在Y通道上的第一差异参数，以及在U通道、V通道上的第二差异参数；

调节模块，用于基于所述第二差异参数，对所述第一差异参数进行调节，得到调节后的所述第一差异参数；其中，调节后的所述第一差异参数用于在进行局部对齐处理时，确定与所述其他帧图像中的目标块匹配的参考快。

一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上述的图像处理方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述的方法的步骤。

上述图像处理方法，通过获取待处理图像集，待处理图像集中包括参考图像和其他帧图像，待处理图像集中的图像为YUV类型的图像；基于参考图像，对各其他帧图像进行局部对齐处理，得到各局部对齐图像；在局部对齐处理的过程中，基于各其他帧图像与参考图像之间的差异，确定在Y通道上的第一差异参数，以及在U通道、V通道上的第二差异参数；基于第二差异参数，对第一差异参数进行调节，得到调节后的第一差异参数；调节后的第一差异参数用于在进行局部对齐处理时，确定与其他帧图像中的目标块匹配的参考快。由于引入了UV通道的考量，即基于各其他帧图像与参考图像之间的差异，确定在Y通道上的第一差异参数，以及在U通道、V通道上的第二差异参数，并基于第二差异参数，对第一差异参数进行调节，即通过UV通道的信息来调控Y通道的信息，故可以通过颜色进一步区分不同类型的区域，减少了误匹配的概率，从而提高了图像对齐处理的准确性，使得对齐后的图像具有更好的效果，在图像融合之后能够减少人造伪影的产生。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中图像处理方法的应用环境图；

图2为一个实施例中图像处理方法的流程图；

图3为一个实施例中基于第二差异参数，对第一差异参数进行调节，得到调节后的第一差异参数步骤的流程图；

图4为一个实施例中基于第三差异参数、最小差异参数和距离值，确定目标对齐方式，并从全局对齐图像或局部对齐图像中选取与目标对齐方式对应的目标块作为目标对齐结果步骤的流程图；

图5为一个实施例中YUV域联合三通道优化块匹配方法的流程图；

图6为一个实施例中优化前后的效果对比示意图；

图7为一个实施例中图像处理装置的结构框图；

图8为一个实施例中电子设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请实施例提供的图像处理方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。服务器104可以从终端102获取待处理图像集，服务器104也可以从数据库中获取待处理图像集，其中，待处理图像集中包括参考图像和其他帧图像，待处理图像集中的图像为YUV类型的图像，服务器104基于参考图像，对各其他帧图像进行局部对齐处理，得到各局部对齐图像；在局部对齐处理的过程中，服务器104基于各其他帧图像与参考图像之间的差异，确定在Y通道上的第一差异参数，以及在U通道、V通道上的第二差异参数，并基于第二差异参数，对第一差异参数进行调节，得到调节后的第一差异参数；其中，调节后的第一差异参数用于在进行局部对齐处理时，确定与其他帧图像中的目标块匹配的参考快。即服务器104可以基于调节后的第一差异参数，确定与其他帧图像中的目标块匹配的参考快。

其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。可以理解，本申请实施例提供的图像处理方法也可以是由终端执行的。

在一个实施例中，如图2所示，提供了一种图像处理方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：

步骤202，获取待处理图像集；其中，待处理图像集中包括参考图像和其他帧图像；待处理图像集中的图像为YUV类型的图像。

其中，待处理图像集是指需要进行处理的图像集。待处理图像集中包括多帧图像，待处理图像集中可以包括电子设备拍摄的图像、摄像头采集的视频流图像或者电子设备从网络上爬取得到的图像等。本实施例中的待处理图像可以为YUV类型的图像。YUV，是一种颜色编码方法。常使用在各个视频处理组件中。YUV在对照片或视频编码时，考虑到人类的感知能力，允许降低色度的带宽。

参考图像是指从待处理图像集中的多帧图像中选取的参考帧图像，也可以称之为关键帧，例如，基于预设的选帧策略，对待处理图像集中的多帧图像进行选帧，挑选出最佳的一帧作为参考图像。

其他帧图像是指待处理图像集中的多帧图像中除了参考帧图像之外的图像，例如，基于预设的选帧策略，对待处理图像集中的多帧图像进行选帧，挑选出最佳的一帧作为参考图像，则待处理图像集中除了该帧参考图像之外的图像，均可以称为其他帧图像。

YUV类型的图像是指图像格式为YUV，YUV是编译true-color颜色空间(colorspace)的种类，“Y”表示明亮度(Luminance或Luma)，也就是灰阶值，“U”和“V”表示的则是色度(Chrominance或Chroma)，作用是描述影像色彩及饱和度，用于指定像素的颜色。

具体地，服务器可以获取电子设备上传的待处理图像集，服务器也可以直接从数据库中获取待处理图像集。电子设备上传的待处理图像集可以是电子设备通过摄像头拍摄得到的待处理图像集，也可以是电子设备从服务器或者其他云平台中下载的图像，将下载得到的图像作为待处理图像，这里对获取待处理图像集的方式不做限定。本申请待处理图像集中的图像为YUV类型的图像，YUV类型的图像包括Y通道对应的Y通道图像、U通道对应的U通道图像和V通道对应的V通道图像。

进一步的，服务器获取到待处理图像集之后，服务器可以基于预设的选帧策略，从待处理图像集的多帧图像中，选取一帧作为参考图像，例如，服务器可以通过计算锐度，从多帧图像中选出锐度最高的一帧作为参考图像，则待处理图像集中剩余的其他图像作为其他帧图像。

举个例子，用户通过触发操作启动电子设备中的某个具有图像识别功能的应用程序，该应用程序调用电子设备中内置的摄像头采集得到待处理图像，并将多帧待处理图像上传至服务器，服务器获取到电子设备上传的待处理图像集之后，服务器可以通过计算每帧待处理图像的锐度，从多帧待处理图像中，选取锐度值最高的一帧作为参考图像。假设待处理图像集中包含三帧图像分别为：A1、A2和A3，服务器选取锐度最高的一帧图像A2，作为参考图像，并将待处理图像集中剩余的A1和A3作为其他帧图像。

步骤204，基于参考图像，对各其他帧图像进行局部对齐处理，得到各局部对齐图像。

其中，局部对齐图像是指以参考图像为准，将待处理图像集中的其他帧图像进行局部对齐处理，得到的对齐后的其他帧图像，即为局部对齐图像，例如，待处理图像集中包含三帧图像分别为：A1、A2和A3，选取A2作为参考图像，则服务器可以参考图像A2，将待处理图像集中的其他帧图像A1和A3进行局部对齐处理，得到的对齐后的其他帧图像C1和C3，对齐后的其他帧图像C1和C3即为得到的局部对齐图像。

局部对齐处理是指采用局部对齐的方法，以参考图像为准，将待处理图像集中的其他帧图像进行对齐处理，例如，本申请中采用的局部对齐的方法包括块匹配方法等。

本申请中采用的局部对齐处理方式可以为块匹配方法，即将所有输入帧图像划分为多个不同小块，分别将所有非参考帧(即其他帧图像)和参考帧的小块进行匹配，调整块与块之间的位置，将所有小块全部遍历后，即可得到最终对齐后的图像。采用块匹配方法对齐后的图像和原图相比，更加接近于参考帧图像。可以理解，本申请中的局部对齐处理方式包括但不限于是块匹配方法，还可以为其他方式。

具体的，服务器获取待处理图像集之后，服务器可以以待处理图像集中的参考图像为准，对待处理图像集中的其他帧图像进行局部对齐处理，即服务器可以采用块匹配方式，将参考图像和其他帧图像划分为多个网格块，对参考图像之外的其他帧图像，都将其他帧图像的网格块逐个与参考帧的网格块匹配，遍历完全部网格块后，即可得到对齐后的其他帧图像，对齐后的其他帧图像即为局部对齐图像。

例如，服务器可以以参考图像A2为准，对待处理图像集中的其他帧图像A1和A3进行局部对齐处理，即服务器可以采用块匹配方式，将参考图像A2和其他帧图像A1、A3划分为多个8*8小块，对参考图像A2之外的其他帧图像A1、A3，分别将其他帧图像A1、A3中的各个8*8小块逐个与参考帧对应位置的8*8小块匹配，遍历完全部小块后，即可得到对齐后的其他帧图像C1、C2，对齐后的其他帧图像C1、C2即为局部对齐图像。

可以理解的是，对图像进行划分时，划分小块的数量可以是预先设置好的参数，也可以是通过弹窗等方式，获取用户在弹窗界面中实时输入的需要划分的小块的数量或者小块的大小，这里对获取划分小块数量和大小的方式不做限定。

步骤206，在局部对齐处理的过程中，基于各其他帧图像与参考图像之间的差异，确定在Y通道上的第一差异参数，以及在U通道、V通道上的第二差异参数。

其中，由于待处理图像集中的图像为YUV类型的图像，因此，各个其他帧图像和参考图像均为YUV类型的图像，即其他帧图像和参考图像均可以拆分为在Y通道上的Y通道子图像、U通道上的U通道子图像、以及V通道上的V通道子图像。例如，参考图像C1在Y通道上的子图像为C11，参考图像C1在U通道上的子图像为C12，参考图像C1在V通道上的子图像为C13。

其他帧图像与参考图像之间的差异，是指其他帧图像的各目标块与参考图像中相同位置的参考块之间差值的绝对值之和。

第一差异参数是指用于表示在Y通道上，其他帧图像与参考图像之间差异的参数；第二差异参数是指用于表示在U通道、V通道上，其他帧图像与参考图像之间差异的参数。

具体的，在局部对齐处理的过程中，服务器可以各其他帧图像和参考图像分别拆分为三个通道上的子图像，即服务器可以分别获取Y通道、U通道和V通道上的各其他帧图像对应的子图像，和参考图像对应的参考子图像，并将各个其他帧图像对应的子图像和参考子图像分别划分为预设数量的网格块；进一步的，服务器可以基于其他帧图像的Y通道子图像与参考图像的Y通道子图像之间的差异，确定在Y通道上的第一差异参数；以及服务器基于其他帧图像的U通道子图像、V通道子图像与参考图像的U通道子图像、V通道子图像之间的差异，确定在U通道、V通道上的第二差异参数。即服务器可以逐个计算其他帧图像的Y通道子图像的各个目标块与参考图像的Y通道子图像中相同位置的参考块之间差值，得到各个目标块与参考子图像中相同位置的参考块之间的多个差值，并对多个差值取绝对值，得到对应的多个绝对值，再将多个绝对值相加，即可得到用于表示Y通道上各个其他帧图像与参考图像之间的差异的第一差异参数diffY；同理，服务器可以按照上述方式，计算得到用于表示U通道、V通道上的各个其他帧图像与参考图像之间差异的第二差异参数diffUV。

例如，假设待处理图像集A中包含三帧图像分别为：A1、A2和A3，选取A2作为参考图像，服务器可以基于参考图像A2，对其他帧图像A1和A3进行局部对齐处理，得到局部对齐图像C1、C3。在局部对齐处理的过程中，服务器可以分别获取其他帧图像A1对应的Y通道子图像A11，和参考图像A2对应的Y通道子图像A21，并将Y通道子图像A11和Y通道子图像A21分别划分为多个8*8的网格块，进一步的，服务器可以逐个计算Y通道子图像A11的各个目标块与Y通道子图像A21中相同位置的参考块之间差值z，得到各个目标块与参考子图像相同位置的参考块之间的多个差值z＝{z1、z2、z3…}，服务器对多个差值取绝对值，得到对应的多个绝对值，再将多个绝对值相加，即可得到其他帧图像A1和参考图像A2在Y通道上的第一差异参数diffY＝{|z1|+|z2|+|z3|…}；进一步的，服务器分别获取U通道、V通道上其他帧图像A1对应的U通道子图像A12、V通道子图像A12，和参考图像A2对应的U通道子图像A22、V通道子图像A23，并将U通道子图像A12、V通道子图像A12、U通道子图像A22、V通道子图像A23分别划分为多个8*8的网格块，服务器可以逐个计算U通道子图像A12的各个目标块与U通道子图像A22中相同位置的参考块之间差值a，得到各个目标块与参考子图像相同位置的参考块之间的多个差值a＝{a1、a2、a3…}，并对多个差值取绝对值，得到对应的多个绝对值，再将多个绝对值相加，即可得到U通道子图像A12和U通道子图像A22在U通道对应的参数diffU＝{|a1|+|a2|+|a3|…}；同理，服务器可以逐个计算V通道子图像A23中的各个目标块与V通道子图像A23中相同位置的参考块之间差值b，得到各个目标块与参考子图像中相同位置的参考块之间的多个差值b＝{b1、b2、b3…}，并对多个差值取绝对值，得到对应的多个绝对值，再将多个绝对值相加，即可得到V通道子图像A23和V通道子图像A23在V通道对应的参数diffV＝{|b1|+|b2|+|b3|…}，服务器可以将上述计算得到的U通道对应的参数diffU和V通道对应的参数diffV进行合并，即可得到其他帧图像A1和参考图像A2在UV通道对应的第二差异参数diffUV＝{|a1|+|a2|+|a3|…}+{|b1|+|b2|+|b3|…}。同理，服务器可按照上述方式计算得到其他帧图像A3和参考图像A2在Y通道上对应的第一差异参数diffY＝{|z1*|+|z2*|+|z3*|…}，以及其他帧图像A3和参考图像A2在UV通道上对应的第二差异参数diffUV＝{|a1*|+|a2*|+|a3*|…}+{|b1*|+|b2*|+|b3*|…}。

步骤208，基于第二差异参数，对第一差异参数进行调节，得到调节后的第一差异参数；其中，调节后的第一差异参数用于在进行局部对齐处理时，确定与其他帧图像中的目标块匹配的参考快。

具体的，服务器基于各其他帧图像与参考图像之间的差异，确定在Y通道上的第一差异参数，以及在U通道、V通道上的第二差异参数之后，由于UV通道的值域与Y通道的不一致，因此，服务器可以对UV通道上的第二差异参数的数值进行线性调整，得到线性调整后的第二差异参数，进一步的，服务器可以基于线性调整后的第二差异参数，对第一差异参数进行调节，得到调节后的第一差异参数，调节后的第一差异参数用于在进行局部对齐处理时，确定与其他帧图像中的目标块匹配的参考快。

例如，假设服务器分别获取Y通道、U通道和V通道上的其他帧图像A1的子图像，和参考图像A2的参考子图像，并基于其他帧图像A1的子图像与参考图像A2的参考子图像之间的差异，确定在Y通道上的第一差异参数为diffY，以及确定在U通道、V通道上的第二差异参数为diffUV之后，服务器可以对UV通道上的第二差异参数diffUV的数值进行线性调整，得到线性调整后的第二差异参数diffUV^*，进一步的，服务器可以基于线性调整后的第二差异参数diffUV^*，对第一差异参数diffY进行调节，得到调节后的第一差异参数diffY^*＝diffY*diffUV^*，调节后的第一差异参数diffY^*用于在进行局部对齐处理时，确定与其他帧图像中的目标块匹配的参考快。

上述图像处理方法中，通过获取待处理图像集，待处理图像集中包括参考图像和其他帧图像，待处理图像集中的图像为YUV类型的图像；基于参考图像，对各其他帧图像进行局部对齐处理，得到各局部对齐图像；在局部对齐处理的过程中，基于各其他帧图像与参考图像之间的差异，确定在Y通道上的第一差异参数，以及在U通道、V通道上的第二差异参数；基于第二差异参数，对第一差异参数进行调节，得到调节后的第一差异参数；调节后的第一差异参数用于在进行局部对齐处理时，确定与其他帧图像中的目标块匹配的参考快。由于引入了UV通道的考量，即基于各其他帧图像与参考图像之间的差异，确定在Y通道上的第一差异参数，以及在U通道、V通道上的第二差异参数，并基于第二差异参数，对第一差异参数进行调节，即通过UV通道的信息来调控Y通道的信息，故可以通过颜色进一步区分不同类型的区域，减少了误匹配的概率，从而提高了图像对齐处理的准确性，使得对齐后的图像具有更好的效果，在图像融合之后能够减少人造伪影的产生。

在一个实施例中，待处理图像集中包括多帧图像；获取待处理图像集之后，所述方法还包括：

对多帧图像进行筛选，得到参考图像和其他帧图像；

基于参考图像，对各其他帧图像进行全局对齐处理，得到各全局对齐图像。

其中，其他帧图像是指待处理图像集中的非参考帧图像，例如，待处理图像集中包含三帧图像分别为：A1、A2和A3，选取A2作为参考帧图像，则A1、A3为其他帧图像。

全局对齐处理是指采用全局对齐的方法，以参考图像为准，将待处理图像集中的其他帧图像进行对齐处理，例如，全局对齐的方法包括特征检测算法或Kanade-Lucas-Tomasi跟踪方法等。

全局对齐图像是指以参考图像为准，将待处理图像集中的其他帧图像进行全局对齐处理，得到的对齐后的其他帧图像，即为全局对齐图像，例如，待处理图像集中包含三帧图像分别为：A1、A2和A3，选取A2作为参考图像，则服务器可以参考图像A2，将待处理图像集中的其他帧图像A1和A3进行全局对齐处理，得到的对齐后的其他帧图像B1和B3，对齐后的其他帧图像B1和B3即为得到的全局对齐图像。本申请中采用的全局对齐处理方式包括但不限于是特征检测算法、Kanade-Lucas-Tomasi跟踪方法等。

具体的，服务器获取到待处理图像集之后，服务器可以基于预设的选帧策略，对待处理图像集中所包含的多帧图像进行筛选，得到参考图像和其他帧图像，服务器以参考图像为准，对待处理图像集中的其他帧图像进行全局对齐处理，计算得到全局对齐处理的旋转矩阵，并基于旋转矩阵，计算出各个其他帧图像扭转后的图像，各个其他帧图像扭转后的图像即为得到的全局对齐图像。

例如，假设待处理图像集A中包含三帧图像分别为：A1、A2和A3，服务器选取锐度最高的一帧图像A2，作为参考图像。进一步的，服务器以参考图像A2为准，对待处理图像集中的其他帧图像A1和A3进行全局对齐处理，得到其他帧图像A1和A3扭转后的图像为B1和B3，B1和B3即为得到的全局对齐图像。即服务器以参考图像A2为准，将其他帧图像A1、A3进行全局对齐时，服务器可以计算出旋转矩阵，并基于全局对齐的旋转矩阵，分别计算出每个其他帧图像通过矩阵旋转后的图像，即通过旋转矩阵计算出的扭转后的图像即为全局对齐图像。由此使得，可以基于参考图像，对其他帧图像进行全局对齐处理和局部对齐处理，得到全局对齐图像和局部对齐图像，使得后续可以从中选取最优的对齐图像作为目标对齐图像，有效提高了图像对齐处理的准确性。

在一个实施例中，所述方法还包括：

将参考图像划分为预设数量的参考块；

将全局对齐图像划分为预设数量的目标块，并将各目标块逐个与参考图像相同位置的参考块进行匹配，直至遍历完各目标块后，得到对齐后的全局对齐图像，并将对齐后的全局对齐图像作为局部对齐图像。

其中，预设数量是指预先设置好的将图像划分为网格块的数量，例如，预设数量可以设置为64，网格块的大小可以设置为4*4、8*8等。

参考块是指参考图像中划分的各个网格块，本实施例中目标块是指全局对齐图像中划分的各个网格块。

具体的，服务器对待处理图像集中的多帧图像进行筛选，得到参考图像和其他帧图像之后，服务器可以基于参考图像，对各其他帧图像进行全局对齐处理，得到各全局对齐图像；进一步的，服务器可以将参考图像划分为预设数量的网格块，将各网格块标记为参考块，以及将各个全局对齐图像划分为预设数量的网格块，将各网格块标记为目标块，服务器将各目标块逐个与参考图像相同位置的参考块进行匹配，直至遍历完各目标块后，得到对齐后的各个全局对齐图像，并将对齐后的各个全局对齐图像作为局部对齐图像。

例如，假设待处理图像集A中包含三帧图像分别为：A1、A2和A3，服务器获取到待处理图像集A之后，服务器可以基于预设的选帧策略，对待处理图像集中所包含的多帧图像A1、A2和A3进行筛选，得到参考图像A2和其他帧图像A1、A3。服务器可以基于参考图像A2，对其他帧图像A1、A3进行全局对齐处理，得到全局对齐图像C1、C3。

进一步的，服务器可以将参考图像A2划分为多个8*8的网格块，将各个网格块标记为参考块，以及将全局对齐图像C1、C3划分为多个8*8的网格块，将各个网格块标记为目标块，即服务器将所有输入的帧图像划分为多个8*8网格块，分别将所有非参考帧图像(即全局对齐图像C1、C3)的网格块和参考帧图像A2的网格块进行匹配，调整块与块之间的位置，直到服务器将全局对齐图像C1、C3的所有网格块全部遍历后，即可得到对齐后的图像C1^*、C3^*，对齐后的图像C1^*、C3^*和原图C1、C3相比，更加接近于参考帧图像A2。

可以理解，本申请中对图像进行划分时，划分的网格块的大小可以适度调整，包括但不限于是划分为8*8的网格块，还可以为其他大小的网格块。

本实施例中，通过块匹配的局部对齐处理方式，能够快速准确的得到更加接近于参考图像的局部对齐图像，使得对齐后的图像具有更好的效果，在图像融合之后能够减少人造伪影的产生。

在一个实施例中，基于参考图像，对各其他帧图像进行局部对齐处理，得到各局部对齐图像的步骤，包括：

将参考图像划分为预设数量的参考块；

将其他帧图像划分为预设数量的目标块，并将各目标块逐个与参考图像相同位置的参考块进行匹配，直至遍历完各目标块后，得到对齐后的其他帧图像，并将对齐后的其他帧图像作为局部对齐图像。

其中，参考块是指参考图像中划分的各个网格块，本实施例中的目标块是指其他帧图像中划分的各个网格块。

具体的，服务器对待处理图像集中的多帧图像进行筛选，得到参考图像和其他帧图像之后，服务器可以将参考图像和其他帧图像划分为多个网格块，对参考图像之外的其他帧图像，都将其他帧图像的网格块逐个与参考帧的网格块进行块匹配，遍历完全部网格块后，即可得到局部对齐后的其他帧图像，将局部对齐后的其他帧图像标记为局部对齐图像。即服务器可以将参考图像划分为预设数量的网格块，将各网格块标记为参考块，以及将其他帧图像划分为预设数量的网格块，将各网格块标记为目标块，服务器将各目标块逐个与参考图像相同位置的参考块进行匹配，直至遍历完各目标块后，得到对齐后的各个其他帧图像，并将对齐后的各个其他帧图像作为局部对齐图像。

例如，假设待处理图像集A中包含三帧图像分别为：A1、A2和A3，服务器获取到待处理图像集A之后，服务器可以基于预设的选帧策略，对待处理图像集中所包含的多帧图像A1、A2和A3进行筛选，得到参考图像A2和其他帧图像A1、A3。进一步的，服务器可以将参考图像A2划分为多个8*8的网格块，将各个网格块标记为参考块，以及将其他帧图像A1、A3划分为多个8*8的网格块，将各个网格块标记为目标块，即服务器将所有输入的帧图像划分为多个8*8网格块，分别将所有非参考帧图像(即其他帧图像A1、A3)的网格块和参考帧图像A2的网格块进行匹配，调整块与块之间的位置，直到服务器将其他帧图像A1、A3的所有网格块全部遍历后，即可得到最终对齐后的图像A1^*、A3^*，对齐后的图像A1^*、A3^*和原图A1、A3相比，更加接近于参考帧图像A2。

可以理解，本申请中对图像进行划分时，划分的网格块的大小可以适度调整，包括但不限于是划分为8*8的网格块，还可以为其他大小的网格块。

本实施例中，通过块匹配的局部对齐处理方式，能够快速准确的得到更加接近于参考图像的局部对齐图像，使得对齐后的图像具有更好的效果，在图像融合之后能够减少人造伪影的产生。

在一个实施例中，基于第二差异参数，对第一差异参数进行调节，得到调节后的第一差异参数之后，所述方法还包括：

基于全局对齐图像与参考图像之间的差异，确定在Y通道上的第三差异参数；

基于第三差异参数和调节后的第一差异参数，确定目标对齐结果；目标对齐结果包括全局对齐图像的目标块或者局部对齐图像的目标块中至少一种。

其中，全局对齐图像与参考图像之间的差异，是指全局对齐图像的各目标块与参考图像中相同位置的参考块之间差值的绝对值之和。

第三差异参数是指用于表示在Y通道上，全局对齐图像与参考图像之间差异的参数。

目标对齐结果是指从候选的对齐结果中，选取其中一种对齐结果作为目标对齐结果，例如，本申请中的目标对齐结果包括全局对齐图像的目标块或者局部对齐图像的目标块中至少一种。

具体的，服务器基于第二差异参数，对第一差异参数进行调节，得到调节后的第一差异参数之后，服务器可以基于全局对齐图像与参考图像之间的差异，确定在Y通道上的第三差异参数，即服务器分别获取Y通道上的全局对齐图像对应的全局对齐子图像，和参考图像对应的参考子图像，并将全局对齐子图像和参考子图像分别划分为预设数量的网格块，进一步的，服务器可以逐个计算全局对齐子图像中的各个目标块与参考子图像中相同位置的参考块之间的差值，得到各个目标块与参考子图像中相同位置的参考块之间的多个差值，并对多个差值取绝对值，得到对应的多个绝对值，再将多个绝对值相加，即可得到用于表示Y通道上全局对齐图像和参考图像之间差异的第三差异参数diffG。

进一步的，服务器可以基于第三差异参数和调节后的第一差异参数，确定目标对齐结果；目标对齐结果包括全局对齐图像的目标块或者局部对齐图像的目标块中至少一种。

例如，假设待处理图像集A中包含三帧图像分别为：A1、A2和A3，选取A2作为参考图像，则服务器可以参考图像A2，将待处理图像集中的其他帧图像A1和A3进行全局对齐处理，得到的对齐后的其他帧图像B1和B3，对齐后的其他帧图像B1和B3即为得到的全局对齐图像。服务器分别获取Y通道上的全局对齐图像B1对应的全局对齐子图像B11，和参考图像A2对应的参考子图像A21，并将全局对齐子图像B11和参考子图像A21分别划分为多个8*8的网格块，进一步的，服务器可以逐个计算全局对齐子图像B11的各个目标块与参考子图像A21相同位置的参考块之间差值y，得到各个目标块与参考子图像中相同位置的参考块之间的多个差值y＝{y1、y2、y3…}，服务器对多个差值取绝对值，得到对应的多个绝对值，再将多个绝对值相加，即可得到全局对齐子图像B11和参考子图像A21在Y通道上的第三差异参数diffG1＝{|y1|+|y2|+|y3|…}；同理，服务器可按照上述方式计算得到全局对齐子图像B31和参考子图像A21在Y通道上的第三差异参数diffG2＝{|y1*|+|y2*|+|y3*|…}。

进一步的，服务器可以基于第三差异参数diffG1和调节后的第一差异参数diffY^*，确定目标对齐结果，即服务器可以基于预设函数，选取预设搜索范围内最小的第一差异参数diffY^*，并计算最小的第一差异参数diffY^*所对应的目标块所在位置与该目标块所在图像的中心位置之间的距离值d；进一步的，服务器可以基于最小的第一差异参数diffY^*、距离值d和第三差异参数diffG1，确定目标对齐结果，服务器确定目标对齐结果之后，服务器可以将目标对齐结果与待处理图像集中的原始图像进行融合，即可得到融合后的目标图像。其中，本申请中的目标对齐结果包括全局对齐图像的目标块或者局部对齐图像的目标块中至少一种。

本实施例中，通过计算全局对齐图像与参考图像之间的差异值，能够在后续选取目标对齐结果时，基于差异值，来确定选取全局对齐图像的目标块作为目标对齐结果，还是选取局部对齐图像的目标块作为目标对齐结果，能够得到更加准确的目标对齐结果，从而提高了图像对齐处理的准确性，使得对齐后的图像具有更好的效果。

在一个实施例中，基于所述全局对齐图像与所述参考图像之间的差异，确定在Y通道上的第三差异参数的步骤，包括：

分别获取Y通道上的全局对齐图像对应的第一Y通道图像，和参考图像对应的第二Y通道图像，并基于第一Y通道图像的各目标块与第二Y通道图像相同位置上的参考块之间的差值，确定各差值的绝对值；

基于各绝对值，确定在Y通道上对应的第三差异参数。

其中，第一Y通道图像是指全局对齐图像在Y通道上对应的图像，第二Y通道图像是指参考图像在Y通道上对应的图像。

具体的，由于待处理图像集中的图像均为YUV类型的图像，因此，从待处理图像集中筛选出的参考图像也是YUV类型的图像，以及以参考帧为准，将待处理图像集中的其他帧图像进行全局对齐处理后，得到的全局对齐图像也为YUV类型的图像。服务器基于第二差异参数，对第一差异参数进行调节，得到调节后的第一差异参数之后，服务器可以分别获取Y通道上的全局对齐图像对应的第一Y通道图像，和参考图像对应的第二Y通道图像，并基于第一Y通道图像的各目标块与第二Y通道图像相同位置上的参考块之间的差值，确定各差值的绝对值；进一步的，服务器可以基于各绝对值，计算得到用于表示Y通道上全局对齐图像和参考图像之间差异的第三差异参数。

例如，假设待处理图像集A中包含三帧图像分别为：A1、A2和A3，选取A2作为参考图像，服务器基于参考图像A2，对其他帧图像A1和A3进行全局对齐处理，得到全局对齐图像B1、B3之后，服务器分别获取Y通道上的全局对齐图像B1对应的第一Y通道图像B11，和参考图像A2对应的第二Y通道图像A21，并将第一Y通道图像B11和第二Y通道图像A21分别划分为多个8*8的网格块，进一步的，服务器可以逐个计算第一Y通道图像B11的各个8*8的目标块与第二Y通道图像A21相同位置的参考块之间差值y，得到各个目标块与参考子图像中相同位置的参考块之间的多个差值y＝{y1、y2、y3…}，服务器对多个差值取绝对值，得到对应的多个绝对值，再将多个绝对值相加，即可得到全局对齐图像B1和参考图像A2在Y通道上对应的第三差异参数diffG＝{|y1|+|y2|+|y3|…}；同理，服务器可按照上述方式计算得到全局对齐图像B1和参考图像A2在Y通道上对应的第三差异参数diffG＝{|y1^*|+|y2^*|+|y3^*|…}。由此，通过计算全局对齐图像与参考图像之间的差异值，能够在后续选取目标对齐结果时，基于差异值，来确定选取全局对齐的结果作为目标对齐结果，还是选取局部对齐的结果作为目标对齐结果，能够得到更加准确的目标对齐结果，从而提高了图像对齐处理的准确性，使得对齐后的图像具有更好的效果。

在一个实施例中，基于各其他帧图像与参考图像之间的差异，确定在Y通道上的第一差异参数，以及在U通道、V通道上的第二差异参数的步骤，包括：

分别获取Y通道上的其他帧图像对应的第三Y通道图像，和参考图像对应的第二Y通道图像，并基于第三Y通道图像的各目标块与第二Y通道图像相同位置上的参考块之间的差值，确定各差值的绝对值；

基于各绝对值，确定在Y通道上对应的第一差异参数；

分别获取U通道和V通道上的其他帧图像对应的第一UV通道图像，和参考图像对应的第二UV通道图像，并基于第一UV通道图像的各目标块与第二UV通道图像相同位置上的参考块之间的差值，确定各差值的绝对值；

基于各绝对值，确定在U通道、V通道上对应的第二差异参数。

其中，第三Y通道图像是指其他帧图像在Y通道上对应的图像。

具体的，服务器获取待处理图像集之后，由于待处理图像集中的图像均为YUV类型的图像，因此，从待处理图像集中筛选出的参考图像也是YUV类型的图像，以及以参考帧为准，将待处理图像集中的其他帧图像进行局部对齐处理后，得到的局部对齐图像也为YUV类型的图像。在局部对齐处理的过程中，服务器可以分别获取Y通道上的其他帧图像对应的第三Y通道图像，和参考图像对应的第二Y通道图像，并基于第三Y通道图像中的各目标块与第二Y通道图像相同位置上的参考块之间的差值，确定各差值的绝对值，服务器基于各绝对值，确定在Y通道上对应的第一差异参数。进一步的，服务器可以分别获取U通道和V通道上的其他帧图像对应的第一UV通道图像，和参考图像对应的第二UV通道图像，并基于第一UV通道图像中的各目标块与第二UV通道图像相同位置上的参考块之间的差值，确定各差值的绝对值，服务器基于各绝对值，确定在U通道、V通道上对应的第二差异参数。其中，U通道、V通道的数据量均为Y通道的1/4，U通道、V通道对应的子图像划分的网格块可以设置为4*4。本申请实施例中的第二差异参数可以是由U通道、V通道对应的第一U通道图像、第一V通道图像中的网格块与第二U通道图像、第二V通道图像对应位置的网格块之间差值的绝对值合并得到的。例如，服务器可以将计算得到的U通道对应的参数diffU＝{|a1|+|a2|+|a3|…}和V通道对应的参数diffV＝{|b1|+|b2|+|b3|…}进行合并，即可得到其他帧图像和参考图像在UV通道上对应的第二差异参数diffUV＝{|a1|+|a2|+|a3|…}+{|b1|+|b2|+|b3|…}。由此，引入了UV通道的考量，可以通过UV通道的信息来调控Y通道的信息，即通过颜色进一步区分不同类型的网格块，从而有效提高了匹配的准确度。

在一个实施例中，如图3所示，基于第二差异参数，对第一差异参数进行调节，得到调节后的第一差异参数的步骤，包括：

步骤302，对第二差异参数进行线性调整，得到调整参数；

步骤304，融合调整参数和第一差异参数，得到调节后的第一差异参数。

具体的，由于U、V通道的值域与Y通道的不一致，因此，需要对用于表示U、V通道上的其他帧图像与参考图像之间差异的第二差异参数的数值进行线性调整，得到调整后的调整参数，并融合调整参数和第一差异参数，即可得到调节后的第一差异参数。其中，融合调整参数和第一差异参数，得到调节后的第一差异参数的步骤，即通过UV通道的第二差异参数调控Y通道的第一差异参数的值，具体如下公式(1)所示：

diffY^*＝diffY*diffUV^* (1)

其中，diffY^*代表调节后的第一差异参数，diffY代表第一差异参数，diffUV^*代表调整参数。

服务器可以基于上述公式(1)，融合调整参数diffUV^*和第一差异参数diffY，即可得到调节后的第一差异参数diffY^*。由此，通过使用UV通道的数据，调控Y通道的数据，能够进一步区分不同类型的网格块，提高匹配的准确度，从而提高了图像对齐处理的准确性。

在一个实施例中，对第二差异参数进行线性调整，得到调整参数的步骤，包括：

在预设搜索范围内，查找各第二差异参数中的最大值；

基于最大值、预设调节系数、各第二差异参数，确定各调整参数。

具体的，由于U、V通道的值域与Y通道的不一致，因此，需要对用于表示U、V通道上的其他帧图像与参考图像之间差异的第二差异参数diffUV的数值进行线性调整，具体如下公式(2)所示：

其中，公式(2)中的diffUV_max为该区域内diffUV的最大值，para是预设调节系数，为可调的正数，para的参考值为0.5～5之间，用于控制UV通道对于Y通道的影响，diffUV^*代表调整参数，diffUV代表第二差异参数。

服务器可以在预设搜索范围内查找第二差异参数diffUV中的最大值diffUV_max，并基于上述公式(2)，将查找到的最大值diffUV_max、预设调节系数para、各第二差异参数diffUV代入上述公式(2)中，计算得到各调整参数diffUV^*。由此使得，通过对UV通道的数据进行线性调整，使得调整后的UV通道的数据能够用于调控Y通道的数据，从而能够进一步区分不同类型的网格块，提高匹配的准确度，从而提高了图像对齐处理的准确性。

在一个实施例中，融合调整参数和第一差异参数，得到调节后的第一差异参数的步骤，包括：

在预设搜索范围内，融合各调整参数和各第一差异参数，得到调节后的各第一差异参数；

所述方法还包括：选取调节后的各第一差异参数中的最小值，将最小值标记为最小差异参数；

基于最小差异参数，确定在其他帧图像中所对应的目标块，计算目标块所在位置与其他帧图像的中心位置之间的距离，得到目标块与中心位置之间的距离值；

所述基于所述第三差异参数和调节后的所述第一差异参数，确定目标对齐结果，包括：

基于第三差异参数、最小差异参数和距离值，确定目标对齐方式，并从全局对齐图像或局部对齐图像中选取与目标对齐方式对应的目标块作为目标对齐结果。

具体的，在预设的搜索范围内，服务器将其他帧图像中各目标块逐个与参考图像的参考块进行匹配时，服务器可以基于上述公式(1)，融合线性调整后的各个调整参数diffUV^*和各个第一差异参数diffY，即可得到多个调节后的第一差异参数diffY^*，进一步的，服务器可以从得到的多个调节后的第一差异参数diffY^*中选取其中的最小值，即服务器选取该搜索范围内最小的diffY^*，将最小的diffY^*标记为最小差异参数，最小差异参数对应的网格块即为当前目标块进行块匹配时，匹配到的参考块，将该选中的参考块与当前目标块之间的第一差异参数diffY记为diffL。进一步的，服务器可以计算当前目标块所在位置距离图像中心的距离值，记为radius。例如，计算距离值的方式可以如下所示：

radius＝sqrt((x-x_m)^2+(y-y_m)^2)

其中，sqrt代表开平方，x，y是当前目标块的中心点的坐标值，x_m，y_m是其他帧图像的中心点的坐标值。

进一步的，服务器可以基于前述得到的第三差异参数diffG、最小差异参数diffY^*和距离值radius，确定目标对齐方式，并从全局对齐图像或局部对齐图像中选取与目标对齐方式对应的目标块作为目标对齐结果，即服务器确定了预设搜索范围内的最小差异参数diffY^*之后，服务器可以基于最小差异参数diffY^*，确定当前目标块与初步匹配的参考块之间的第一差异参数diffY，并将该第一差异参数diffY标记为候选差异参数diffL，服务器可以基于候选差异参数diffL和距离值radius，确定目标参数，服务器将目标参数与第三差异参数diffG进行比较，得到对应的比较结果，服务器可以基于比较结果，来确定目标对齐方式，并从全局对齐图像或局部对齐图像中，选取与目标对齐方式对应的目标块作为目标对齐结果。

其中，基于候选差异参数diffL和距离值radius，确定目标参数S，具体如下公式(3)所示：

S＝diffL*R[radius] (3)

其中，S表示目标参数，radius表示距离值，diffL表示当前目标块与匹配的参考块之间的第一差异参数diffY，R[radius]表示一维矩阵，其值随距离值的增大而增大，即在图像中心处R[radius]的值最小，而在图像边缘处R[radius]的值最大。因此，在图像的中心处倾向于选择局部块匹配得到的局部对齐结果，而越往图像的边缘，越倾向于选择全局对齐的结果。

例如，假设待处理图像集A中包含三帧图像分别为：A1、A2和A3，选取A2作为参考图像，服务器基于参考图像A2，对其他帧图像A1进行全局对齐处理，得到全局对齐图像B1之后，服务器分别获取Y通道上的全局对齐图像B1对应的第一Y通道图像B11，和参考图像A2对应的第二Y通道图像A21，并基于第一Y通道图像B11与第二Y通道图像A21之间的差异，确定在Y通道上对应的第三差异参数为diffG。

进一步的，服务器基于参考图像A2，对其他帧图像A1进行局部对齐处理，即服务器基于参考图像A2，对其他帧图像A1进行块匹配时，对于其他帧图像A1的各个网格块，在参考图像A2中的相应位置上，以一定的搜索范围逐一比较，即服务器在预设的搜索范围内，基于上述公式(1)，融合线性调整后的各个调整参数diffUV^*和各个第一差异参数diffY，即可得到多个调节后的第一差异参数diffY^*＝{diffY1^*，diffY2^*，diffY3^*…}，进一步的，服务器可以从得到的多个调节后的第一差异参数diffY^*＝{diffY1^*，diffY2^*，diffY3^*…}中选取其中的最小值为diffY1^*，即服务器选取该搜索范围内最小的差异参数diffY1^*，将最小的差异参数diffY1^*标记为最小差异参数，由于调节后的第一差异参数是融合调整参数diffUV^*和第一差异参数diffY得到的，因此，服务器可以基于最小差异参数diffY1^*，确定当前目标块A1与匹配的参考块A2之间的第一差异参数为diffY1，并将该第一差异参数diffY1标记为候选差异参数diffL1。

进一步的，服务器可以计算其他帧图像A1中当前目标块A1的中心点所在位置距离其他帧图像A1中心点的距离值，记为radius1，服务器基于候选差异参数diffL1和距离值radius1，确定目标参数S＝diffL1*R[radius1]，服务器将目标参数S＝diffL1*R[radius1]与第三差异参数diffG进行比较，得到对应的比较结果，服务器可以基于比较结果，来确定目标对齐方式，并从全局对齐图像或局部对齐图像中选取与目标对齐方式对应的目标块作为目标对齐结果。由此，通过UV通道的信息来调控Y通道的信息，可以通过颜色进一步区分不同类型的区域，减少了误匹配的概率，从而提高了图像对齐处理的准确性，使得对齐后的图像具有更好的效果，在图像融合之后能够减少人造伪影的产生。

在其中一个实施例中，如图4所示，基于第三差异参数、最小差异参数和距离值，确定目标对齐方式，并从全局对齐图像或局部对齐图像中选取与目标对齐方式对应的目标块作为目标对齐结果的步骤，包括：

步骤402，基于最小差异参数和距离值，确定目标参数；

步骤404，当第三差异参数小于目标参数时，确定目标对齐方式为全局对齐，并选取全局对齐图像中的目标块作为目标对齐结果；

步骤406，当第三差异参数不小于目标参数时，确定目标对齐方式为局部对齐，并选取局部对齐图像中的目标块作为目标对齐结果。

具体的，在服务器基于参考图像，对其他帧图像进行块匹配时，服务器可以基于最小差异参数确定当前目标块与匹配的参考块之间的第一差异参数为diffY，并将该第一差异参数diffY标记为候选差异参数diffL，服务器可以计算其他帧图像中当前目标块的中心点所在位置距离其他帧图像中心点的距离值，记为radius，服务器基于候选差异参数diffL和距离值radius，确定目标参数为S＝diffL*R[radius]，服务器将目标参数S＝diffL1*R[radius1]与第三差异参数diffG进行比较，得到对应的比较结果，即当第三差异参数diffG小于目标参数S＝diffL1*R[radius1]时，确定目标对齐方式为全局对齐，并选取全局对齐图像中的目标块作为目标对齐结果；当第三差异参数diffG不小于目标参数S＝diffL1*R[radius1]时，确定目标对齐方式为局部对齐，并选取局部对齐图像中的目标块作为目标对齐结果。即在图像中心处R[radius]的值最小，而在图像边缘处R[radius]的值最大。因此，在图像的中心处倾向于选择局部块匹配得到的局部对齐图像中的目标块作为目标对齐结果，而越往图像的边缘，越倾向于选择全局对齐得到的全局对齐图像中的目标块作为目标对齐结果。

例如，在服务器基于参考图像，对其他帧图像进行块匹配时，服务器可以基于最小差异参数确定当前目标块与匹配的参考块之间的第一差异参数为diffY1，并将该第一差异参数diffY1标记为候选差异参数diffL1，服务器可以计算其他帧图像中当前目标块的中心点所在位置距离其他帧图像中心点的距离值，记为radius1，服务器基于候选差异参数diffL1和距离值radius1，确定目标参数为S＝diffL1*R[radius1]，服务器将目标参数S＝diffL1*R[radius1]与第一参数diffG进行比较，得到对应的比较结果，即当diffG<diffL*R[radius]时，确定目标对齐方式为全局对齐，并选取全局对齐图像中的目标块作为目标对齐结果，否则确定目标对齐方式为局部对齐，并选取局部对齐图像中的目标块作为目标对齐结果。由此，通过UV通道的信息来调控Y通道的信息，可以通过颜色进一步区分不同类型的区域，减少了误匹配的概率，从而提高了图像对齐处理的准确性，可以从全局对齐图像和局部对齐图像中选取最优的目标块作为目标对齐结果，有效提高了图像对齐处理的准确性，使得对齐后的图像具有更好的效果，在图像融合之后能够减少人造伪影的产生。

本申请还提供一种应用场景，该应用场景应用上述的图像处理方法。具体地，该图像处理方法在该应用场景的应用如下：

当需要对YUV域多帧图像进行对齐处理时，可以采用上述的图像处理方法，即视频应用的后台服务器获取待处理的多帧图像之后，后台服务器从多帧图像中选取对应的参考图像，并基于参考图像，对多帧图像中的其他帧图像进行全局对齐处理，得到全局对齐图像之后，后台服务器可以基于参考图像，对多帧图像中的其他帧图像进行局部对齐处理，即采用块匹配的方式进行局部对齐处理，即可得到局部对齐图像，进一步的，后台服务器分别获取Y通道上的全局对齐图像对应的第一Y通道图像，和参考图像对应的第二Y通道图像，并基于第一Y通道图像与第二Y通道图像之间的差异，确定在Y通道上对应的第三差异参数；后台服务器分别获取Y通道、U通道和V通道上的局部对齐图像对应的局部对齐子图像，和参考图像对应的参考子图像，并基于局部对齐子图像与参考子图像之间的差异，确定Y通道上对应的第一差异参数，以及U通道、V通道上对应的第二差异参数；后台服务器可以基于第二差异参数，对第一差异参数进行调节，得到调节后的第一差异参数；后台服务器基于第三差异参数和调节后的第一差异参数，确定目标对齐结果，使得能够利用UV通道的数据，来调控Y通道的数据，从而有效提高了对齐匹配的准确度，在对齐图像与原始图像融合之后，能够有效减少人造伪影的产生。

本申请实施例提供的方法，可以应用于图像信号处理的场景中。以下以多帧图像进行联合降噪处理的场景为例，对本申请实施例提供的图像处理方法进行说明。

在图像信号处理(ISP，Image Signal Process)系统中，通过连续的多帧图像进行联合降噪，可以有效地滤除时域的高斯噪声，以提升图像画质、增强图像表现力。多帧降噪(MFNR，Mutil-frame Noise Reduction)的原理是根据帧与帧之间的相似性进行加权融合降噪，越相似的帧，融合的权重越高，从而通过多帧融合降低噪声，其输入一般为3到10帧。但多帧降噪处理方式中不可避免的问题就是多帧图像之间的对齐之后往往有一些偏差，从而在对齐图像与原始图像融合之后，容易引入人造伪影。因此，图像对齐的效果对最终多帧降噪的输出有非常重要的作用。常见的对齐方法有块匹配方法，即将所有输入帧图像划分为多个不同小块，分别将所有非参考帧(即其他帧)和参考帧的小块进行匹配，调整块与块之间的位置，将所有小块全部遍历后，即可得到最终对齐后的图像。对齐后的图像和原图相比，更加接近于参考图。

传统方式中，在YUV域的图像块匹配方法中，往往是以Y通道计算块与块之间的相似性，从而找出与之最相似的图像块。但在图像中某些区域的不同物体，其Y值相同或非常的接近，因此在块与块匹配时，容易匹配错误，尤其是在运动区域，由于块移动范围很大，因此错匹配情况更加明显，容易导致图像对齐处理的准确性较差，使得得到的对齐后的图像效果不好，从而在对齐后的图像与原始图像融合之后容易产生人造伪影。

因此，为了解决上述问题，本申请提供了一种YUV域联合三通道优化块匹配的方法，本申请实施例中基于YUV域多帧配准的方法，引入了UV通道的考量，通过UV通道的信息来调控Y通道的差异值，使得能够通过颜色进一步区分不同类型的块，从而提高匹配的准确度，在图像融合之后减少人造伪影的产生。

如图5所示，为YUV域联合三通道优化块匹配方法的流程图。图5中所示的整体流程为：输入多帧图像(YUV)→选取关键帧→全局对齐处理→Y、U、V三通道块匹配→输出对齐后的多帧图像(YUV)。

具体处理步骤如下：

首先，服务器对输入的一组多帧图像进行选帧，先挑选出最佳的一帧作为参考帧，例如，服务器可以计算锐度，选出锐度最高的一帧作为参考帧，服务器以参考帧为准，将其他帧进行全局对齐，计算出旋转矩阵。进一步的，服务器将输入的多帧图像均划分为多个8*8小块，其中，小块的大小可以适度调整，服务器对参考帧之外的其他帧图像，都逐个小块与参考帧的小块匹配，遍历完全部小块后，即可得到局部对齐后的其他帧。

在整个流程中，最主要的步骤是如何用UV通道的信息调控匹配的可信度。具体实现的方法如下：

①将输入的YUV类型图像拆分为YUV三个通道，其中U、V通道的数据量均为Y通道的1/4，U、V通道的块均为4*4的小块。

②由全局对齐的旋转矩阵，计算出每个其他帧通过矩阵旋转后的图像。同时，计算Y通道上扭转后的目标块与参考帧的相应块的插值绝对值之和，记为diffG。

即服务器可以将目标块与参考帧同个位置上的点相减，取绝对值，然后将扭转后的其他帧图像中的所有8*8目标块对应的绝对值相加，即可得到Y通道上扭转后其他帧图像的目标块与参考帧的相应块的插值绝对值之和diffG。其中，扭转后的目标块是指对齐之后其他帧图像中划分的块。

③遍历所有的其他帧图像，每一帧图像划分为多个8*8小块，对于其他帧上的小块，在参考帧上相应位置上，以一定的搜索范围逐一比较。服务器可以先计算Y通道上的目标块与参考帧上的相应块差值的绝对值之和，记为diffY，然后服务器计算U、V通道上目标块与参考帧上的相应块差值的绝对值之和，记为diffUV。由于U、V通道的值域与Y通道的不一致，因此，服务器可以对diffUV数值进行线性调整，具体如前述公式(2)所示。

本申请实施例中U、V通道的值域与Y通道的不一致，是由于RGB数据转到YUV数据的转换公式的原因，即Y＝0.299R+0.587G+0.114B，U＝-0.147R-0.289G+0.436B，V＝0.615R-0.515G-0.100B，这个步骤得到的值域是不同的，因此需要经过线性调整，使得三者值域都在0～255之间。

最后，服务器通过UV通道的参数调控Y通道的diffY值，具体如前述公式(1)所示。即服务器可以基于前述公式(1)，利用UV通道的参数diffUV^*调控Y通道的参数diffY的值，即可得到多个调控后的参数diffY^*，进一步的，服务器可以从得到的多个调控后的参数diffY^*中选取其中的最小值，即服务器选取该搜索范围内最小的diffY^*，其对应的块即为当前块进行块匹配时，初步选中的参考块，将该选中的参考块与当前目标块之间的差异值diffY记为diffL。

④计算其他帧上当前目标块所在位置距离图像中心的距离，记为radius。

⑤对比全局对齐的结果和局部对齐的结果，选择其中最好的一个结果最为目标对齐结果。

判断的方法如下所示：

若diffG<diffL*R[radius]，则最终选取全局对齐的结果，否则选取局部对齐的结果。其中，R[radius]是一维矩阵，其值随radius的值增大而增大，即在图像中心处R[radius]的值最小，而在图像边缘处R[radius]的值最大。因此，在图像的中心处倾向于选择局部块匹配得到的结果，而越往图像的边缘，越倾向于选择全局对齐得到的结果。

本实施中，基于YUV域多帧配准的方法，引入了UV通道的考量，通过UV通道的信息来调控Y通道的信息，即通过颜色进一步区分不同类型的小块。如图6所示，为优化前后的效果对比示意图。由图6中的(2)图可以看出，由于在Y通道上，手臂的灰度值和背景墙或图卡的很接近，因此在块匹配的过程中容易误匹配，导致没有办法将其他帧的“手臂”朝着参考帧的“手臂”位置挪动，一方面留下不少“残余”，另一方面会把图卡的局部移动到“手臂”原本位置上面。因此在融合之后，会产生很多的人造伪影。但采用本申请实施例中的方法优化后，即通过UV通道的信息调控后，可以将不同类型的块进行区分开来，减少了误匹配的概率，效果如图6中的(1)图所示。即本实施例中提出的一种YUV域联合三通道优化块匹配的方法，核心点在于如何使用UV通道的数据，调控Y通道的数据，基于UV通道的数据，进一步区分不同类型的小块，减少了误匹配的概率，从而提高了图像对齐处理的准确性，使得对齐后的图像具有更好的效果，在图像融合之后能够减少人造伪影的产生。

应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的图像处理方法的图像处理装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个图像处理装置实施例中的具体限定可以参见上文中对于图像处理方法的限定，在此不再赘述。

在一个实施例中，如图7所示，提供了一种图像处理装置，包括：获取模块702、处理模块704、确定模块706和调节模块708，其中：

获取模块702，用于获取待处理图像集；其中，待处理图像集中包括参考图像和其他帧图像；待处理图像集中的图像为YUV类型的图像。

处理模块704，用于基于参考图像，对各其他帧图像进行局部对齐处理，得到各局部对齐图像。

确定模块706，用于在局部对齐处理的过程中，基于各其他帧图像与参考图像之间的差异，确定在Y通道上的第一差异参数，以及在U通道、V通道上的第二差异参数。

调节模块708，用于基于第二差异参数，对第一差异参数进行调节，得到调节后的第一差异参数；其中，调节后的第一差异参数用于在进行局部对齐处理时，确定与其他帧图像中的目标块匹配的参考快。

在一个实施例中，该装置还包括：筛选模块和处理模块。

筛选模块用于对所述多帧图像进行筛选，得到参考图像和其他帧图像；处理模块用于基于所述参考图像，对各所述其他帧图像进行全局对齐处理，得到各所述全局对齐图像。

在一个实施例中，该装置还包括：划分模块和匹配模块。

划分模块用于将所述参考图像划分为预设数量的参考块；将所述全局对齐图像划分为预设数量的目标块；匹配模块用于将各所述目标块逐个与所述参考图像相同位置的参考块进行匹配，直至遍历完各所述目标块后，得到对齐后的所述全局对齐图像，并将对齐后的所述全局对齐图像作为所述局部对齐图像。

在一个实施例中，划分模块还用于将所述参考图像划分为预设数量的参考块；将所述其他帧图像划分为预设数量的目标块；匹配模块还用于将各所述目标块逐个与所述参考图像相同位置的参考块进行匹配，直至遍历完各所述目标块后，得到对齐后的所述其他帧图像，并将对齐后的所述其他帧图像作为所述局部对齐图像。

在一个实施例中，确定模块还用于基于所述全局对齐图像与所述参考图像之间的差异，确定在Y通道上的第三差异参数；基于所述第三差异参数和调节后的所述第一差异参数，确定目标对齐结果；所述目标对齐结果包括所述全局对齐图像的目标块或者所述局部对齐图像的目标块中至少一种。

在一个实施例中，确定模块还用于分别获取Y通道上的所述全局对齐图像对应的第一Y通道图像，和所述参考图像对应的第二Y通道图像，并基于所述第一Y通道图像的各目标块与所述第二Y通道图像相同位置上的参考块之间的差值，确定各所述差值的绝对值；基于各所述绝对值，确定在Y通道上对应的第三差异参数。

在一个实施例中，确定模块还用于分别获取Y通道上的所述其他帧图像对应的第三Y通道图像，和所述参考图像对应的第二Y通道图像，并基于所述第三Y通道图像的各目标块与所述第二Y通道图像相同位置上的参考块之间的差值，确定各所述差值的绝对值；基于各所述绝对值，确定在Y通道上对应的第一差异参数；分别获取U通道和V通道上的所述其他帧图像对应的第一UV通道图像，和所述参考图像对应的第二UV通道图像，并基于所述第一UV通道图像的各目标块与所述第二UV通道图像相同位置上的参考块之间的差值，确定各所述差值的绝对值；基于各所述绝对值，确定在U通道、V通道上对应的第二差异参数。

在一个实施例中，该装置还包括：调整模块。

调整模块用于对所述第二差异参数进行线性调整，得到调整参数；融合模块还用于融合所述调整参数和所述第一差异参数，得到调节后的所述第一差异参数。

在一个实施例中，该装置还包括：查找模块。

查找模块用于在预设搜索范围内，查找各所述第二差异参数中的最大值；确定模块还用于基于所述最大值、预设调节系数、各所述第二差异参数，确定各所述调整参数。

在一个实施例中，该装置还包括：计算模块。

融合模块还用于在预设搜索范围内，融合各所述调整参数和各所述第一差异参数，得到调节后的各所述第一差异参数；选取模块还用于选取调节后的各所述第一差异参数中的最小值，将所述最小值标记为最小差异参数；计算模块，用于基于所述最小差异参数，确定在所述其他帧图像中所对应的目标块，计算所述目标块所在位置与所述其他帧图像的中心位置之间的距离，得到所述目标块与所述中心位置之间的距离值。

在一个实施例中，确定模块还用于基于所述第三差异参数、所述最小差异参数和所述距离值，确定目标对齐方式；选取模块还用于从所述全局对齐图像或所述局部对齐图像中选取与所述目标对齐方式对应的目标块作为目标对齐结果。

在一个实施例中，确定模块还用于基于所述最小差异参数和所述距离值，确定目标参数；选取模块还用于当所述第三差异参数小于所述目标参数时，确定目标对齐方式为全局对齐，并选取所述全局对齐图像中的目标块作为目标对齐结果；当所述第三差异参数不小于所述目标参数时，确定目标对齐方式为局部对齐，并选取所述局部对齐图像中的目标块作为目标对齐结果。

上述图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图8所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O)和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储图像处理数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像处理方法。

本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行图像处理方法的步骤。

本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行图像处理方法。

需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (16)

1.一种图像处理方法，其特征在于，所述方法包括：

获取待处理图像集；其中，所述待处理图像集中包括参考图像和其他帧图像；所述待处理图像集中的图像为YUV类型的图像；

基于所述参考图像，对各所述其他帧图像进行局部对齐处理，得到各所述局部对齐图像；

在局部对齐处理的过程中，基于各所述其他帧图像与所述参考图像之间的差异，确定在Y通道上的第一差异参数，以及在U通道、V通道上的第二差异参数；

基于所述第二差异参数，对所述第一差异参数进行调节，得到调节后的所述第一差异参数；其中，调节后的所述第一差异参数用于在进行局部对齐处理时，确定与所述其他帧图像中的目标块匹配的参考快。

2.根据权利要求1所述的方法，其特征在于，所述待处理图像集中包括多帧图像；所述获取待处理图像集之后，所述方法还包括：

对所述多帧图像进行筛选，得到参考图像和其他帧图像；

基于所述参考图像，对各所述其他帧图像进行全局对齐处理，得到各所述全局对齐图像。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

将所述参考图像划分为预设数量的参考块；

将所述全局对齐图像划分为预设数量的目标块，并将各所述目标块逐个与所述参考图像相同位置的参考块进行匹配，直至遍历完各所述目标块后，得到对齐后的所述全局对齐图像，并将对齐后的所述全局对齐图像作为所述局部对齐图像。

4.根据权利要求1所述的方法，其特征在于，所述基于所述参考图像，对各所述其他帧图像进行局部对齐处理，得到各所述局部对齐图像，包括：

将所述参考图像划分为预设数量的参考块；

将所述其他帧图像划分为预设数量的目标块，并将各所述目标块逐个与所述参考图像相同位置的参考块进行匹配，直至遍历完各所述目标块后，得到对齐后的所述其他帧图像，并将对齐后的所述其他帧图像作为所述局部对齐图像。

5.根据权利要求2所述的方法，其特征在于，所述基于所述第二差异参数，对所述第一差异参数进行调节，得到调节后的所述第一差异参数之后，所述方法还包括：

基于所述全局对齐图像与所述参考图像之间的差异，确定在Y通道上的第三差异参数；

基于所述第三差异参数和调节后的所述第一差异参数，确定目标对齐结果；所述目标对齐结果包括所述全局对齐图像的目标块或者所述局部对齐图像的目标块中至少一种。

6.根据权利要求5所述的方法，其特征在于，所述基于所述全局对齐图像与所述参考图像之间的差异，确定在Y通道上的第三差异参数，包括：

分别获取Y通道上的所述全局对齐图像对应的第一Y通道图像，和所述参考图像对应的第二Y通道图像，并基于所述第一Y通道图像的各目标块与所述第二Y通道图像相同位置上的参考块之间的差值，确定各所述差值的绝对值；

基于各所述绝对值，确定在Y通道上对应的第三差异参数。

7.根据权利要求1所述的方法，其特征在于，所述基于各所述其他帧图像与所述参考图像之间的差异，确定在Y通道上的第一差异参数，以及在U通道、V通道上的第二差异参数，包括：

分别获取Y通道上的所述其他帧图像对应的第三Y通道图像，和所述参考图像对应的第二Y通道图像，并基于所述第三Y通道图像的各目标块与所述第二Y通道图像相同位置上的参考块之间的差值，确定各所述差值的绝对值；

基于各所述绝对值，确定在Y通道上对应的第一差异参数；

分别获取U通道和V通道上的所述其他帧图像对应的第一UV通道图像，和所述参考图像对应的第二UV通道图像，并基于所述第一UV通道图像的各目标块与所述第二UV通道图像相同位置上的参考块之间的差值，确定各所述差值的绝对值；

基于各所述绝对值，确定在U通道、V通道上对应的第二差异参数。

8.根据权利要求1所述的方法，其特征在于，所述基于所述第二差异参数，对所述第一差异参数进行调节，得到调节后的所述第一差异参数，包括：

对所述第二差异参数进行线性调整，得到调整参数；

融合所述调整参数和所述第一差异参数，得到调节后的所述第一差异参数。

9.根据权利要求8所述的方法，其特征在于，所述对所述第二差异参数进行线性调整，得到调整参数，包括：

在预设搜索范围内，查找各所述第二差异参数中的最大值；

基于所述最大值、预设调节系数、各所述第二差异参数，确定各所述调整参数。

10.根据权利要求8所述的方法，其特征在于，所述融合所述调整参数和所述第一差异参数，得到调节后的所述第一差异参数，包括：

在预设搜索范围内，融合各所述调整参数和各所述第一差异参数，得到调节后的各所述第一差异参数；

所述方法还包括：选取调节后的各所述第一差异参数中的最小值，将所述最小值标记为最小差异参数；

基于所述最小差异参数，确定在所述其他帧图像中所对应的目标块，计算所述目标块所在位置与所述其他帧图像的中心位置之间的距离，得到所述目标块与所述中心位置之间的距离值。

11.根据权利要求10所述的方法，其特征在于，所述基于所述第三差异参数和调节后的所述第一差异参数，确定目标对齐结果，包括：

基于所述第三差异参数、所述最小差异参数和所述距离值，确定目标对齐方式，并从所述全局对齐图像或所述局部对齐图像中选取与所述目标对齐方式对应的目标块作为目标对齐结果。

12.根据权利要求11所述的方法，其特征在于，所述基于所述第三差异参数、所述最小差异参数和所述距离值，确定目标对齐方式，并从所述全局对齐图像或所述局部对齐图像中选取与所述目标对齐方式对应的目标块作为目标对齐结果，包括：

基于所述最小差异参数和所述距离值，确定目标参数；

当所述第三差异参数小于所述目标参数时，确定目标对齐方式为全局对齐，并选取所述全局对齐图像中的目标块作为目标对齐结果；

当所述第三差异参数不小于所述目标参数时，确定目标对齐方式为局部对齐，并选取所述局部对齐图像中的目标块作为目标对齐结果。

13.一种图像处理装置，其特征在于，包括：

获取模块，用于获取待处理图像集；其中，所述待处理图像集中包括参考图像和其他帧图像；所述待处理图像集中的图像为YUV类型的图像；

处理模块，用于基于所述参考图像，对各所述其他帧图像进行局部对齐处理，得到各所述局部对齐图像；

确定模块，用于在局部对齐处理的过程中，基于各所述其他帧图像与所述参考图像之间的差异，确定在Y通道上的第一差异参数，以及在U通道、V通道上的第二差异参数；

调节模块，用于基于所述第二差异参数，对所述第一差异参数进行调节，得到调节后的所述第一差异参数；其中，调节后的所述第一差异参数用于在进行局部对齐处理时，确定与所述其他帧图像中的目标块匹配的参考快。

14.一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，其特征在于，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至12中任一项所述的图像处理方法的步骤。

15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至12中任一项所述的方法的步骤。

16.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至12中任一项所述的方法的步骤。

Images