CN111798497A

CN111798497A - 图像处理方法及装置、电子设备及存储介质

Info

Publication number: CN111798497A
Application number: CN202010615266.2A
Authority: CN
Inventors: 王东
Original assignee: Shenzhen TetrasAI Technology Co Ltd
Current assignee: Shenzhen TetrasAI Technology Co Ltd
Priority date: 2020-06-30
Filing date: 2020-06-30
Publication date: 2020-10-20

Abstract

本申请公开了一种图像处理方法及装置、电子设备及存储介质。该方法包括：获取至少两张待配准图像，其中，所述至少两张待配准图像包括：第一待配准图像和第二待配准图像，所述第一待配准图像和所述第二待配准图像均包含第一类像素点；对所述第一待配准图像进行下采样处理得到第一图像，对所述第二待配准图像进行下采样处理得到第二图像；对所述第一图像和所述第二图像进行图像配准处理，得到第一配准结果；依据所述第一配准结果对所述第一待配准图像和所述第二待配准图像进行配准处理。

Description

图像处理方法及装置、电子设备及存储介质

技术领域

本申请涉及图像处理技术领域，尤其涉及一种图像处理方法及装置、电子设备及存储介质。

背景技术

在图像处理领域中，图像质量与图像携带的信息呈正相关，通过对至少两张图像中进行提升图像质量处理(如：融合处理)，可利用至少两张图像中的信息，提高图像的质量。由于原始(RAW image format，RAW)图像未经过处理，相比通过对RAW图像进行处理得到的图像，RAW图像携带的信息更精度高、信息量更丰富，因此，通过对RAW图像进行提升图像质量处理，得到的效果更佳。

由于在不同的RAW图像中与同一物理点对应的像素点的位置不同，在对至少两张RAW图像进行处理之前，需要对至少两张RAW图像进行配准。使用传统图像配准方法对至少两张RAW图像进行处理，可得到至少两张RAW图像中对应同一物理点的至少两个像素点之间的配准结果，但配准结果的精度低。

发明内容

本申请提供一种图像处理方法及装置、电子设备及存储介质。

第一方面，提供了一种图像处理方法，所述方法包括：

获取至少两张待配准图像，其中，所述至少两张待配准图像包括：第一待配准图像和第二待配准图像，所述第一待配准图像和所述第二待配准图像均包含第一类像素点；

对所述第一待配准图像进行下采样处理得到第一图像，对所述第二待配准图像进行下采样处理得到第二图像，其中，所述第一图像和所述第二图像均为连续图像，所述第一图像和所述第二图像均包含所述第一类像素点，且所述第一图像的分辨率与所述第一待配准图像的分辨率的比值大于第一阈值，所述第二图像的分辨率与所述第二待配准图像的分辨率的比值大于所述第一阈值；

对所述第一图像和所述第二图像进行图像配准处理，得到第一配准结果；

依据所述第一配准结果对所述第一待配准图像和所述第二待配准图像进行配准处理。

在该方面中，由于第一图像的分辨率与第一待配准图像的分辨率的比值大于0.25、第一图像的分辨率与第一待配准图像的分辨率的比值大于0.25，通过对第一图像和第二图像进行配准处理，可提高第一待配准图像与第二待配准图像之间的配准结果的精度。

结合本申请任一实施方式，所述对所述第一待配准图像进行下采样处理得到第一图像，以及所述对所述第二待配准图像进行下采样处理得到第二图像，包括：

将所述第一待配准图像旋转第一角度得到第三图像，将所述第二待配准图像旋转第二角度得到第四图像，其中，所述第一角度和所述第二角度均为45度的奇数倍；

将第一像素坐标系的坐标轴刻度放大n倍得到第二像素坐标系，将第三像素坐标系的坐标轴刻度放大所述n倍得到第四像素坐标系，其中，所述第一像素坐标系为所述第三图像的像素坐标系，所述第三像素坐标系为所述第四图像的像素坐标系；

依据所述第三图像中像素点的像素值确定所述第二像素坐标系下的各个像素点的像素值，得到所述第一图像；

依据所述第四图像中像素点的像素值确定所述第四像素坐标系下的各个像素点的像素值，得到所述第二图像。

结合本申请任一实施方式，所述依据所述第一配准结果对所述第一待配准图像和所述第二待配准图像进行配准处理，包括：

将所述第一配准结果转换为第五像素坐标系下的第二配准结果，其中，所述第五像素坐标系为所述第一待配准图像的像素坐标系；

使用所述第二配准结果对所述第一待配准图像和所述第二待配准图像进行配准处理。

结合本申请任一实施方式，所述第一配准结果包括：第一水平位移差和第一竖直位移差，所述第二配准结果包括：第二水平位移差和第二竖直位移差；

所述将所述第一配准结果转换为第五像素坐标系下的第二配准结果，包括：

对所述第一水平位移差进行分解，得到所述第一水平位移差在第五像素坐标系下的第一水平分量和第一竖直分量，其中，所述第五像素坐标系为所述第一待配准图像的像素坐标系；

对所述第一竖直位移差进行分解，得到所述第一竖直位移差在所述第五像素坐标系下的第二水平分量和第二竖直分量；

依据所述第一水平分量和所述第二水平分量，得到所述第二水平位移差；

依据所述第一竖直分量和所述第二竖直分量，得到所述第二竖直位移差。

结合本申请任一实施方式，所述第二配准结果为第一像素点和第二像素点的配准结果，所述第一像素点属于所述第一待配准图像，所述第二像素点为所述第二待配准图像中与所述第一像素点互为同名点的像素点，在所述使用所述第二配准结果对所述第一待配准图像和所述第二待配准图像进行配准处理之前，所述方法还包括：

依据所述第二配准结果，得到第三像素点与第四像素点之间的第三配准结果，其中，所述第三像素点为所述第一待配准图像中与所述第一像素点不同的像素点，所述第四像素点为所述第二待配准图像中与所述第三像素点互为同名点的像素点；

所述使用所述第二配准结果对所述第一待配准图像和所述第二待配准图像进行配准处理，包括：

使用所述第二配准结果和所述第三配准结果，对所述第一待配准图像和所述第二待配准图像进行配准处理。

结合本申请任一实施方式，所述第一类像素点包括属于第一通道的像素点，所述第一通道为所述第一待配准图像中包含的像素点的数量最多的通道。

结合本申请任一实施方式，所述第一待配准图像还包括第二通道，所述第二通道与所述第一通道不同；

第二类像素点的数量与第三类像素点的数量的比值等于第四类像素点的数量与第五类像素点的数量的比值，其中，所述第二类像素点包括所述第一待配准图像中的所述第一类像素点，所述第三类像素点包括所述第一待配准图像中属于所述第二通道的像素点，所述第四类像素点包括所述第二待配准图像中的所述第一类像素点，所述第五类像素点包括所述第二待配准图像中属于所述第二通道的像素点。

结合本申请任一实施方式，所述第一待配准图像包括：第五像素点、第六像素点、第七像素点、第八像素点，所述第二待配准图像包括：第九像素点、第十像素点、第十一像素点、第十二像素点；

所述第五像素点的坐标为(i，j)，所述第六像素点的坐标为(i+1，j)，所述第七像素点的坐标为(i，j+1)，所述第八像素点的坐标为(i+1，j+1)；所述第九像素点的坐标为(i，j)，所述第十像素点的坐标为(i+1，j)，所述第十一像素点的坐标为(i，j+1)，所述第十二像素点的坐标为(i+1，j+1)，其中，i、j均为正整数；

在所述第五像素点和所述第九像素点均为所述第一类像素点的情况下，所述第六像素点、所述第七像素点、所述第十像素点、所述第十一像素点均不是所述第一类像素点，且所述第八像素点和所述第十二像素点均为所述第一类像素点，在所述第五像素点和所述第九像素点均不是所述第一类像素点的情况下，所述第六像素点、所述第七像素点、所述第十像素点、所述第十一像素点均为所述第一类像素点，且所述第八像素点和所述第十二像素点均不是所述第一类像素点；或，

在所述第五像素点为所述第一类像素点，且所述第九像素点不是所述第一类像素点的情况下，所述第六像素点、所述第七像素点、所述第十二像素点均不是所述第一类像素点，且所述第八像素点、所述第十像素点、所述第十一像素点均为所述第一类像素点，在所述第五像素点不是所述第一类像素点，且所述第九像素点为所述第一类像素点的情况下，所述第六像素点、所述第七像素点、所述第十二像素点均为所述第一类像素点，且所述第八像素点、所述第十像素点、所述第十一像素点均不是所述第一类像素点。

结合本申请任一实施方式，所述第一待配准图像中像素点的排列方式和所述第二待配准图像中像素点的排列方式均为拜耳阵列。

第二方面，提供了一种图像处理方法，所述方法包括：

获取至少两张待配准图像，其中，所述至少两张待配准图像包括：第三待配准图像和第四待配准图像，所述第一待配准图像和所述第二待配准图像均包含第六类像素点；

提取所述第三待配准图像中的第三通道得到第五图像，提取所述第四待配准图像中的所述第三通道得到第六图像，其中，所述第六类像素点属于所述第三通道；

对所述第五图像进行下采样处理得到第七图像，对所述第六图像进行所述下采样处理得到第八图像，其中，所述第七图像和所述第八图像均为连续图像，所述第七图像和所述第八图像均包含所述第六类像素点，且所述第七图像的分辨率与所述第五图像的分辨率的比值大于第二阈值，所述第八图像的分辨率与所述第六图像的分辨率的比值大于所述第二阈值；

对所述第七图像和所述第八图像进行图像配准处理，得到第四配准结果；

依据所述第四配准结果对所述第三待配准图像和所述第四待配准图像进行配准处理。

在该方面中，由于第七图像的分辨率与第五图像的分辨率的比值大于0.25、第八图像的分辨率与第六图像的分辨率的比值大于0.25，第五图像的分辨率与第三待配准图像的分辨率相同、第六图像的分辨率与第四待配准图像的分辨率相同，通过对第七图像和第八图像进行配准处理，可提高第三待配准图像与第四待配准图像之间的配准结果的精度。

结合本申请任一实施方式，所述对所述第五图像进行下采样处理得到第七图像，以及对所述第六图像进行所述下采样处理得到第八图像，包括：

将所述第五图像旋转第三角度得到第九图像，将所述第六图像旋转第四角度得到第十图像，其中，所述第三角度和所述第四角度均为45度的奇数倍；

将第六像素坐标系的坐标轴刻度放大m倍得到第七像素坐标系，将第八像素坐标系的坐标轴刻度放大所述m倍得到第九像素坐标系，其中，所述第六像素坐标系为所述第九图像的像素坐标系，所述第八像素坐标系为所述第十图像的像素坐标系；

依据所述第九图像中像素点的像素值确定所述第七像素坐标系下的各个像素点的像素值，得到所述第七图像；

依据所述第十图像中像素点的像素值确定所述第九像素坐标系下的各个像素点的像素值，得到所述第八图像。

构建第十一图像和第十二图像，其中，所述第十一图像包含所述第三待配准图像中的所述第六类像素点，所述第十二图像包含所述第四待配准图像中的所述第六类像素点；

将所述第十一图像中的像素值缩小s倍，得到所述第七图像；

将所述第十二图像中的像素值缩小所述s倍，得到所述第八图像。

结合本申请任一实施方式，所述第三待配准图像的对角线包括第一线段，所述第四待配准图像的对角线包括第二线段；

所述构建所述第十一图像和第十二图像，包括：

将中心属于同一条第一对角直线上的至少一个第七类像素点，按横坐标从小到大的顺序排列成图像的一行像素点，构建第十三图像，其中，所述第七类像素点包括所述第三待配准图像中的所述第六类像素点，所述第一对角直线包括：过所述第一线段的直线、与所述第一线段平行的直线；

将中心属于同一条所述第二对角直线上的至少一个第八类像素点，按横坐标从小到大的顺序排列成图像的一行像素点，构建第十四图像，其中，所述第八类像素点包括所述第四待配准图像中的所述第六类像素点，所述第二对角直线包括：过所述第二线段的直线、与所述第二线段平行的直线；

对所述第十三图像中的行排序得到所述第十一图像，对所述第十四图像中的行排序得到所述第十二图像；或，

将中心属于同一条第一对角直线上的至少一个第七类像素点，按横坐标从小到大的顺序排列成图像的一列像素点，构建第十五图像，其中，所述第七类像素点包括所述第三待配准图像中的所述第六类像素点，所述第一对角直线包括：过所述第一线段的直线、与所述第一线段平行的直线；

将中心属于同一条所述第二对角直线上的至少一个第八类像素点，按横坐标从小到大的顺序排列成图像的一列像素点，构建第十六图像，其中，所述第八类像素点包括所述第四待配准图像中的所述第六类像素点，所述第二对角直线包括：过所述第二线段的直线、与所述第二线段平行的直线；

对所述第十五图像中的列排序得到所述第十一图像，对所述第十六图像排序得到所述第十二图像。

结合本申请任一实施方式，所述对所述第十三图像中的行排序得到所述第十一图像，以及所述对所述第十四图像中的行排序得到所述第十二图像，包括：

确定所述第十三图像中每一行像素点的纵坐标的第一均值，并依据所述第一均值得到第一指标，其中，所述第一均值与所述第一指标呈正相关或负相关；

按所述第一指标从大到小的顺序排列所述第十三图像中的行，得到所述第十一图像；

确定所述第十四图像中每一行像素点的纵坐标的第二均值，并依据所述第二均值得到第二指标，其中，所述第二均值与所述第二指标呈正相关或负相关；

按所述第二指标从大到小的顺序排列所述第十四图像中的行，得到所述第十二图像。

结合本申请任一实施方式，在所述第一均值与所述第一指标呈正相关的情况下，所述第二均值与所述第二指标呈正相关；

在所述第一均值与所述第一指标呈负相关的情况下，所述第二均值与所述第二指标呈负相关。

结合本申请任一实施方式于，所述第三待配准图像的对角线还包括第三线段，所述第三线段与所述第一线段不同，所述第四待配准图像的对角线还包括第四线段，所述第四线段与所述第二线段不同；

所述对所述第十三图像中的行排序得到所述第十一图像，以及所述对所述第十四图像中的行排序得到所述第十二图像，包括：

按第一顺序排列所述第十三图像中的行，得到所述第十一图像，其中，所述第一顺序为第一指标像素点的纵坐标从大到小的顺序，所述第一顺序或为所述第一指标像素点的纵坐标从小到大的顺序，所述第一指标像素点包括中心属于第一直线的像素点；在所述第三线段过所述第七类像素点的中心的情况下，所述第一直线为过所述第三线段的直线；在所述第三线段不过所述第七类像素点的中心的情况下，所述第一直线为在与所述第三线段平行、且过所述第七类像素点的中心的直线中，距离所述第三线段最近的直线；

按第二顺序排列所述第十四图像中的行，得到所述第十二图像，其中，所述第二顺序为第二指标像素点的纵坐标从大到小的顺序，所述第二顺序或为所述第二指标像素点的纵坐标从小到大的顺序，所述第二指标像素点包括中心属于第二直线的像素点；在所述第四线段过所述第八类像素点的中心的情况下，所述第二直线为过所述第三线段的直线；在所述第四线段不过所述第八类像素点的中心的情况下，所述第二直线为在与所述第四线段平行、且过所述第八类像素点的中心的直线中，距离所述第四线段最近的直线。

结合本申请任一实施方式，在所述第一顺序为第一指标像素点的纵坐标从大到小的顺序的情况下，所述第二顺序为第二指标像素点的纵坐标从大到小的顺序；

在所述第一顺序为所述第一指标像素点的纵坐标从小到大的顺序的情况下，所述第二顺序为所述第二指标像素点的纵坐标从小到大的顺序。

结合本申请任一实施方式，所述对所述第十五图像中的列排序得到所述第十一图像，以及所述对所述第十六图像排序得到所述第十二图像，包括：

确定所述第十五图像中每一列像素点的纵坐标的第三均值，并依据所述第三均值得到第三指标，其中，所述第三均值与所述第三指标呈正相关或负相关；

按所述第三指标从大到小的顺序排列所述第十五图像中的列，得到所述第十一图像；

确定所述第十六图像中每一列像素点的纵坐标的第四均值，并依据所述第四均值得到第四指标，其中，所述第四均值与所述第四指标呈正相关或负相关；

按所述第四指标从大到小的顺序排列所述第十六图像中的列，得到所述第十二图像。

结合本申请任一实施方式，在所述第三均值与所述第三指标呈正相关的情况下，所述第四均值与所述第四指标呈正相关；

在所述第三均值与所述第三指标呈负相关的情况下，所述第四均值与所述第四指标呈负相关。

结合本申请任一实施方式，所述第三待配准图像的对角线还包括第三线段，其中，所述第三线段与所述第一线段不同，所述第四待配准图像的对角线还包括第四线段，其中，所述第四线段与所述第二线段不同；

所述对所述第十五图像中的列排序得到所述第十一图像，以及所述对所述第十六图像排序得到所述第十二图像，包括：

按第三顺序排列所述第十五图像中的列，得到所述第十一图像，其中，所述第三顺序为第三指标像素点的纵坐标从大到小的顺序，所述第三顺序或为所述第三指标像素点的纵坐标从小到大的顺序，所述第三指标像素点包括中心属于第三直线的像素点；在所述第三线段过所述第七类像素点的中心的情况下，所述第三直线为过所述第三线段的直线；在所述第三线段不过所述第七类像素点的中心的情况下，所述第三直线为在与所述第三线段平行、且过所述第七类像素点的中心的直线中，距离所述第三线段最近的直线；

按第四顺序排列所述第十六图像中的列，得到所述第十二图像，其中，所述第四顺序为第四指标像素点的纵坐标从大到小的顺序，所述第四顺序或为所述第四指标像素点的纵坐标从小到大的顺序，所述第四指标像素点包括中心属于第四直线的像素点；在所述第四线段过所述第八类像素点的中心的情况下，所述第四直线为过所述第三线段的直线；在所述第四线段不过所述第八类像素点的中心的情况下，所述第四直线为在与所述第四线段平行、且过所述第八类像素点的中心的直线中，距离所述第四线段最近的直线。

结合本申请任一实施方式，在所述第三顺序为第三指标像素点的纵坐标从大到小的顺序的情况下，所述第四顺序为第四指标像素点的纵坐标从大到小的顺序；

在所述第三顺序为所述第三指标像素点的纵坐标从小到大的顺序的情况下，所述第四顺序为所述第四指标像素点的纵坐标从小到大的顺序。

结合本申请任一实施方式，所述依据所述第四配准结果对所述第三待配准图像和所述第四待配准图像进行配准处理，包括：

将所述第四配准结果转换为第十像素坐标系下的第五配准结果，其中，所述第十像素坐标系为所述第三待配准图像的像素坐标系；

使用所述第五配准结果对所述第三待配准图像和所述第四待配准图像进行配准处理。

结合本申请任一实施方式，所述第四配准结果包括：第三水平位移差和第三竖直位移差，所述第五配准结果包括：第四水平位移差和第四竖直位移差；

所述将所述第四配准结果转换为第十像素坐标系下的第五配准结果，包括：

对所述第三水平位移差进行分解，得到所述第三水平位移差在所述第十像素坐标系下的第三水平分量和第三竖直分量，其中，所述第十像素坐标系为所述第三待配准图像的像素坐标系；

对所述第三竖直位移差进行分解，得到所述第三竖直位移差在所述第十像素坐标系下的第四水平分量和第四竖直分量；

依据所述第三水平分量和所述第四水平分量，得到所述第四水平位移差；

依据所述第三竖直分量和所述第四竖直分量，得到所述第四竖直位移差。

结合本申请任一实施方式，所述第五配准结果为第十三像素点和第十四像素点的配准结果，所述第十三像素点属于所述第三待配准图像，所述第十四像素点为所述第四待配准图像中与所述第十三像素点互为同名点的像素点，在所述使用所述第五配准结果对所述第三待配准图像和所述第四待配准图像进行配准处理之前，所述方法还包括：

依据所述第五配准结果，得到第十五像素点与第十六像素点之间的第六配准结果，其中，所述第十五像素点为所述第三待配准图像中与所述第十三像素点不同的像素点，所述第十六像素点为所述第四待配准图像中与所述第十五像素点互为同名点的像素点；

所述使用所述第五配准结果对所述第三待配准图像和所述第四待配准图像进行配准处理，包括：

依据所述第五配准结果，对所述第三待配准图像和所述第四待配准图像进行配准处理。

结合本申请任一实施方式，所述第六类像素点包括属于第三通道的像素点，所述第三通道为所述第三待配准图像中包含的像素点的数量最多的通道。

结合本申请任一实施方式，所述第三待配准图像还包括第四通道，所述第四通道与所述第三通道不同；

第九类像素点的数量与第十类像素点的数量的比值等于第十一类像素点的数量与第十二类像素点的数量的比值，其中，所述第九类像素点包括所述第三待配准图像中的所述第六类像素点，所述第十类像素点包括所述第三待配准图像中属于所述第四通道的像素点，所述第十一类像素点包括所述第四待配准图像中的所述第六类像素点，所述第十二类像素点包括所述第四待配准图像中属于所述第四通道的像素点。

结合本申请任一实施方式，所述第三待配准图像包括：第十七像素点、第十八像素点、第十九像素点、第二十像素点，所述第四待配准图像包括：第二十一像素点、第二十二像素点、第二十三像素点、第二十四像素点；

所述第十七像素点的坐标为(p，q)，所述第十八像素点的坐标为(p+1，q)，所述第十九像素点的坐标为(p，q+1)，所述第二十像素点的坐标为(p+1，q+1)；所述第二十一像素点的坐标为(p，q)，所述第二十二像素点的坐标为(p+1，q)，所述第二十三像素点的坐标为(p，q+1)，所述第二十四像素点的坐标为(p+1，q+1)，其中，p、q均为正整数；

在所述第十七像素点和所述第二十一像素点均为所述第六类像素点的情况下，所述第十八像素点、所述第十九像素点、所述第二十二像素点、所述第二十三像素点均不是所述第六类像素点，且所述第二十像素点和所述第二十四像素点均为所述第六类像素点，在所述第十七像素点和所述第二十一像素点均不是所述第六类像素点的情况下，所述第十八像素点、所述第十九像素点、所述第二十二像素点、所述第二十三像素点均为所述第六类像素点，且所述第二十像素点和所述第二十四像素点均不是所述第六类像素点；或，

在所述第十七像素点为所述第六类像素点，且所述第二十一像素点不是所述第六类像素点的情况下，所述第十八像素点、所述第十九像素点、所述第二十四像素点均不是所述第六类像素点，且所述第二十像素点、所述第二十二像素点、所述第二十三像素点均为所述第六类像素点，在所述第十七像素点不是所述第六类像素点，且所述第二十一像素点为所述第六类像素点的情况下，所述第十八像素点、所述第十九像素点、所述第二十四像素点均为所述第六类像素点，且所述第二十像素点、所述第二十二像素点、所述第二十三像素点均不是所述第六类像素点。

结合本申请任一实施方式，所述第三待配准图像中像素点的排列方式和所述第四待配准图像中像素点的排列方式均为拜耳阵列。

第三方面，提供了一种图像处理装置，该装置包括：

第一获取单元，用于获取至少两张待配准图像，其中，所述至少两张待配准图像包括：第一待配准图像和第二待配准图像，所述第一待配准图像和所述第二待配准图像均包含第一类像素点；

第一处理单元，用于对所述第一待配准图像进行下采样处理得到第一图像，对所述第二待配准图像进行下采样处理得到第二图像，其中，所述第一图像和所述第二图像均为连续图像，所述第一图像和所述第二图像均包含所述第一类像素点，且所述第一图像的分辨率与所述第一待配准图像的分辨率的比值大于第一阈值，所述第二图像的分辨率与所述第二待配准图像的分辨率的比值大于所述第一阈值；

第二处理单元，用于对所述第一图像和所述第二图像进行图像配准处理，得到第一配准结果；

第三处理单元，用于依据所述第一配准结果对所述第一待配准图像和所述第二待配准图像进行配准处理。

第四方面，提供了另一种图像处理装置，该装置包括：

第二获取单元，用于获取至少两张待配准图像，其中，所述至少两张待配准图像包括：第三待配准图像和第四待配准图像，所述第一待配准图像和所述第二待配准图像均包含第六类像素点；

提取单元，用于提取所述第三待配准图像中的第三通道得到第五图像，提取所述第四待配准图像中的所述第三通道得到第六图像，其中，所述第六类像素点属于所述第三通道；

第四处理单元，用于对所述第五图像进行下采样处理得到第七图像，对所述第六图像进行所述下采样处理得到第八图像，其中，所述第七图像和所述第八图像均为连续图像，所述第七图像和所述第八图像均包含所述第六类像素点，且所述第七图像的分辨率与所述第五图像的分辨率的比值大于第二阈值，所述第八图像的分辨率与所述第六图像的分辨率的比值大于所述第二阈值；

第五处理单元，用于对所述第七图像和所述第八图像进行图像配准处理，得到第四配准结果；

第六处理单元，用于依据所述第四配准结果对所述第三待配准图像和所述第四待配准图像进行配准处理。

第五方面，提供了一种处理器，所述处理器用于执行如上述第一方面及其任意一种可能实现的方式的方法。

第六方面，提供了一种电子设备，包括：处理器、发送装置、输入装置、输出装置和存储器，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，在所述处理器执行所述计算机指令的情况下，所述电子设备执行如上述第一方面及其任意一种可能实现的方式的方法。

第七方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序包括程序指令，在所述程序指令被处理器执行的情况下，使所述处理器执行如上述第一方面及其任意一种可能实现的方式的方法。

第八方面，提供了一种计算机程序产品，所述计算机程序产品包括计算机程序或指令，在所述计算机程序或指令在计算机上运行的情况下，使得所述计算机执行上述第一方面及其任一种可能的实现方式的方法。

第九方面，提供了一种处理器，所述处理器用于执行如上述第二方面及其任意一种可能实现的方式的方法。

第十方面，提供了一种电子设备，包括：处理器、发送装置、输入装置、输出装置和存储器，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，在所述处理器执行所述计算机指令的情况下，所述电子设备执行如上述第二方面及其任意一种可能实现的方式的方法。

第十一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序包括程序指令，在所述程序指令被处理器执行的情况下，使所述处理器执行如上述第二方面及其任意一种可能实现的方式的方法。

第十二方面，提供了一种计算机程序产品，所述计算机程序产品包括计算机程序或指令，在所述计算机程序或指令在计算机上运行的情况下，使得所述计算机执行上述第二方面及其任一种可能的实现方式的方法。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本申请。

附图说明

为了更清楚地说明本申请实施例或背景技术中的技术方案，下面将对本申请实施例或背景技术中所需要使用的附图进行说明。

此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本申请的实施例，并与说明书一起用于说明本申请的技术方案。

图1a为本申请实施例提供的一种待配准图像；

图1b为本申请实施例提供的另一种待配准图像；

图2a为本申请实施例提供的一种待配准图像；

图2b为本申请实施例提供的另一种待配准图像；

图3a为本申请实施例提供的一种RAW图像；

图3b为本申请实施例提供的对图3a所示的RAW图像进行0.5倍下采样得到的图像；

图4为本申请实施例提供的一种像素坐标系的示意图；

图5为本申请实施例提供的一种图像处理方法的流程示意图；

图6为本申请实施例提供的一种对第一待配准图像进行下采样处理的示意图；

图7为本申请实施例提供的一种第一图像；

图8a为本申请实施例提供的一种对角阵列的示意图；

图8b为本申请实施例提供的另一种对角阵列的示意图；

图9a为本申请实施例提供的另一种对角阵列的示意图；

图9b为本申请实施例提供的另一种对角阵列的示意图；

图10为本申请实施例提供的另一种图像处理方法的流程示意图；

图11为本申请实施例提供的一种第一待配准图像；

图12为本申请实施例提供的一种第三图像；

图13为本申请实施例提供的一种第一像素坐标系的示意图；

图14为本申请实施例提供的另一种第一图像；

图15为本申请实施例提供的另一种图像处理方法的流程示意图；

图16为本申请实施例提供的另一种图像处理方法的流程示意图；

图17a为本申请实施例提供的一种第三待配准图像；

图17b为本申请实施例提供的一种从第三待配准图像中提取绿色通道得到的第五图像；

图18为本申请实施例提供的一种对第五图像进行下采样处理的示意图；

图19为本申请实施例提供的一种第七图像；

图20a为本申请实施例提供的一种对角阵列的示意图；

图20b为本申请实施例提供的另一种对角阵列的示意图；

图21a为本申请实施例提供的另一种对角阵列的示意图；

图21b为本申请实施例提供的另一种对角阵列的示意图；

图22为本申请实施例提供的另一种图像处理方法的流程示意图；

图23为本申请实施例提供的一种第五图像；

图24为本申请实施例提供的一种第九图像；

图25为本申请实施例提供的一种第七像素坐标系的示意图；

图26为本申请实施例提供的另一种第七图像；

图27为本申请实施例提供的另一种图像处理方法的流程示意图；

图28为本申请实施例提供的另一种第三待配准图像；

图29为本申请实施例提供的一种第十一图像；

图30为本申请实施例提供的另一种第十一图像；

图31为本申请实施例提供的另一种第十一图像；

图32为本申请实施例提供的一种第一中间图像；

图33为本申请实施例提供的另一种第一中间图像；

图34a为本申请实施例提供的另一种第三待配准图像；

图34b为本申请实施例提供的一种第十三图像；

图35a为本申请实施例提供的一种第十一图像；

图35b为本申请实施例提供的另一种第十一图像；

图36a为本申请实施例提供的另一种第三待配准图像；

图36b为本申请实施例提供的另一种第十五图像；

图37a为本申请实施例提供的另一种第十一图像；

图37b为本申请实施例提供的另一种第十一图像；

图38为本申请实施例提供的另一种图像处理方法的流程示意图；

图39为本申请实施例提供的一种图像处理装置的结构示意图；

图40为本申请实施例提供的另一种图像处理装置的结构示意图；

图41为本申请实施例提供的一种图像处理装置的硬件结构示意图；

图42为本申请实施例提供的另一种图像处理装置的硬件结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上，“至少两个(项)”是指两个或三个及三个以上，“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”可表示前后关联对象是一种“或”的关系，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。字符“/”还可表示数学运算中的除号，例如，a/b＝a除以b；6/3＝2。“以下至少一项(个)”或其类似表达。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

在图像处理领域中，图像质量与图像携带的信息呈正相关，通过对至少两张图像中进行融合处理，可实现将至少两张图像中的信息融合，进而增大图像中携带的信息量，从而提高图像的质量。在至少两张图像的采集时间和/或采集条件不同的情况下，与同一物理点对应的像素点在不同的图像中的位置可能不同。上述采集条件包括以下至少一种：采集图像的成像设备的硬件配置、采集图像的环境、采集角度。

例如，图像A通过成像设备a采集得到，图像B通过成像设备b采集得到。成像设备a采集的图像的分辨率为1920×1080，成像设备b采集的图像的分辨率为1280×1024，则图像A的采集条件与图像B的采集条件不同。又例如，图像A通过成像设备a采集得到，图像B通过成像设备b采集得到。成像设备a的焦距范围为：10毫米-22毫米，成像设备b的焦距范围为：18毫米-135毫米，则图像A的采集条件与图像B的采集条件不同。

采集图像的环境包括以下至少一种：采集图像的天气、采集图像的场景。例如，采集图像的天气可以是阴天，采集图像的天气也可以是雨天，采集图像的天气还可以是晴天。雨天采集的图像的环境和晴天采集的图像的环境不同，阴天采集的图像的环境和晴天采集的图像的环境不同。又例如，场景可以是汽车内部，场景也可以是候机厅，场景还可以是高速公路，采集汽车内部的图像的场景与采集候机厅的图像的场景不同，采集高速公路的图像的场景与采集候机厅的图像的场景不同。

例如(例1)，图1a所示的图像(下文将简称为图像1)的采集时间和图1b所示的图像(下文将简称为图像2)的采集时间相同，但图像1的采集角度和图像2的采集角度不同。图像1中的像素点a所对应的物理点与图像2中的像素点b所对应的物理点相同，但像素点a在图像1中的位置与像素点b在图像2中的位置不同。

上述信息融合指将同一物理点所对应的像素点携带的信息融合，接着例1继续举例(例2)，假设像素点a所对应的物理点和像素点b所对应的物理点均为物理点c。在对图像1和图像2进行融合的过程中，通过对像素点a携带的信息与像素点b携带的信息进行融合，得到像素点d，则像素点d所对应的物理点为物理点c，且像素点d携带的信息比像素点a携带的信息、像素点b携带的信息均多。

为表述方便，下文将同一个物理点在不同图像中所对应的像素点称为同名点。例如，例如，图像1中的像素点A与图像2中的像素点C互为同名点。图像1中的像素点B与图像2中的像素点D互为同名点

在互为同名点的两个像素点在两张图像中的位置不同的情况下，将给上述信息融合的实现带来很大的困难。接着例2继续举例，在对像素点a携带的信息与像素点b携带的信息进行融合之前，需要从图像1中确定像素点b的同名点，或，从图像2中确定像素点a的同名点。由于像素点a在图像1中的位置与像素点b在图像2中的位置不同，需要确定像素点a与像素点b之间的位移差，并依据该位移差和像素点b在图像2中的位置从图像1中确定像素点b的同名点，或，依据该位移差和像素点a在图像1中的位置从图像2中确定像素点a的同名点。

通过对两张图像进行图像配准处理，可确定两张图像中互为同名点的像素点之间的配准结果(基于配准结果可得到位移差)。由于RAW图像未经过处理，相比通过对RAW图像进行处理得到的图像，RAW图像携带的信息更精度高、信息量更丰富。因此，在目前的技术中，采用对两张RAW图像进行图像配准处理的方式，得到两张RAW图像中互为同名点的像素点之间的配准结果。

在RAW图像中，像素点通常以拜耳阵列(bayer pattern)排列，即RAW图像中包含红色、绿色、蓝色三个通道(为表述方便，下文将用R表示红色通道、G表示绿色通道、B表示蓝色通道)。由于属于不同通道的像素点的像素值所表征的含义不同，因此无法对两张RAW图像进行配准处理。

例如，假设图2a所示的图像(下文将称为图像3)中的像素点A₁₁与图2b所示的图像(下文将称为图像4)中的像素点B₁₂互为同名点。由于像素点A₁₁属于B通道、像素点B₁₂属于G通道，无法通过对图像3和图像4进行图像配准处理，从图像4中的G通道像素点中确定与像素点A₁₁互为同名点的像素点，或无法从图像3中的B通道像素点中确定与像素点B₁₂互为同名点的像素点。进而导致无法从图像3中确定像素点A₁₁为像素点B₁₂的同名点，或，无法从图像4中确定像素点B₁₂为像素点A₁₁的同名点。显然，这将降低像素点A₁₁与像素点B₁₂之间的配准结果的精度。

为解决上述问题，传统方法通过分别对两张RAW图像进行下采样处理，以使两张RAW图像中的任意两个像素点均属于同一个通道，进而可对两张下采样处理后的RAW图像进行图像配准处理，得到配准结果。本申请实施例中，两张图像之间的配准结果包括以下至少一个：像素点的位移差、像素点区域的位移差、像素点的旋转角、像素点区域的旋转角。

由于下采样处理会使RAW图像的分辨率降低，对两张下采样处理后的RAW图像进行图像配准处理，将降低配准结果的精度。具体的，配准结果的精度与下采样倍率呈正相关。

本申请实施例中，下采样处理的下采样倍率＝下采样处理后的图像的长/下采样处理前的图像的长＝下采样处理后的图像的宽/下采样处理前的图像的宽。例如，图3a所示的RAW图像的尺寸为4*4，对该图像进行0.5倍的下采样处理，可得到图3b所示的尺寸为2*2的图像。在图3b所示的图像中，每个像素点均包含两个G通道的像素点、一个B通道的像素点、一个R通道的像素点。如：像素点B₁₁包含像素点A₁₁、像素点A₁₂、像素点A₂₁、像素点A₂₂，像素点B₁₂包含像素点A₁₃、像素点A₁₄、像素点A₂₃、像素点A₂₄，像素点B₂₁包含像素点A₃₁、像素点A₃₂、像素点A₄₁、像素点A₄₂，像素点B₂₂包含像素点A₃₃、像素点A₃₄、像素点A₄₃、像素点A₄₄。

显然，在传统方法中，下采样倍率的最大值为0.5。也就是说，在传统图像配准方法中，基于对待配准图像进行下采样倍率为0.5的下采样处理，得到的配准结果的精度最高。本申请实施例提供了一种图像配准方法，可在实现对两张RAW图像进行配准处理的前提下，提高配准结果的精度。

本申请实施例的执行主体为图像处理装置。可选的，图像处理装置可以是以下中的一种：手机、计算机、服务器、平板电脑。

在进行接下来的阐述之前，首先对本申请实施例中的像素坐标系进行定义。本申请实施例中的像素坐标系用于表示像素点在图像中的位置，其中，横坐标用于表示像素点所在的列数，纵坐标用于表示像素点所在的行数。例如，在图4所示的图像中，以图像的左上角为坐标原点O、平行于图像的行的方向为X轴的方向、平行于图像的列的方向为Y轴的方向，构建像素坐标系为XOY。横坐标和纵坐标的单位均为像素点。例如，图4中的像素点A₁₁的坐标为(1，1)，像素点A₂₃的坐标为(3，2)，像素点A₄₂的坐标为(2，4)，像素点A₃₄的坐标为(4，3)。

下面结合本申请实施例中的附图对本申请实施例进行描述。请参阅图5，图5是本申请实施例提供的一种图像配准方法的流程示意图。

501、获取至少两张待配准图像，其中，上述至少两张待配准图像包括：第一待配准图像和第二待配准图像。

本申请实施例中，在待配准图像的数量为2的情况下，至少两张待配准图像为第一待配准图像和第二待配准图像。在待配准图像的数量大于2的情况下，第一待配准图像和第二待配准图像为至少两张待配准图像中的一部分。

本申请实施例中，第一待配准图像和第二待配准图像均为RAW图像。由于人眼对不同颜色的敏感度不同，在RAW图像包含至少两个颜色通道的情况下，为便于人眼通过观察RAW图像获得更佳的视觉感受、以及更多的信息，通常使人眼最敏感的颜色通道在RAW图像中包含最多的像素点。例如，人眼对绿色的敏感度比对人眼对红色的敏感度或人眼对蓝色的敏感度高，因此，在RAW图像包含R、G、B三个通道的情况下，G通道包含的像素点的数量最多。又例如，人眼对黄色的敏感度比对人眼对红色的敏感度或人眼对蓝色的敏感度高，因此，在RAW图像包含Y、G、B三个通道的情况下，Y通道包含的像素点的数量最多。

本申请实施例中，第一待配准图像中通道的数量和第二待配准图像中通道的数量均不小于2，且第一待配准图像中包含像素点的数量最多的通道与第二待配准图像中包含像素点的数量最多的通道相同。将第一待配准图像中包含像素点的数量最多的通道称为第一通道，将属于第一通道的像素点称为第一类像素点，则第一待配准图像和第二待配准图像均包含第一类像素点。

例如，第一通道为G通道，第一待配准图像包含：像素点a、像素点b、像素点c、像素点d，其中，像素点a和像素点c属于G通道。第二待配准图像包含：像素点e、像素点f、像素点g、像素点h，其中，像素点e和像素点g属于G通道。此时，第一类像素点包括：像素点a、像素点c、像素点e、像素点g。

应理解，在第一待配准图像包含两个通道，且每个通道的像素点的数量相等的情况下，第一通道可以是第一待配准图像中任意一个通道。例如，在第一待配准图像中，R通道的像素点的数量∶G通道的像素点的数量＝1∶1，第一通道可以是R通道，第一通道也可以是G通道。

在一种获取至少两张待配准图像的实现方式中，图像处理装置接收用户通过输入组件输入的至少两张待配准图像。上述输入组件包括：键盘、鼠标、触控屏、触控板和音频输入器等。

在另一种获取至少两张待配准图像的实现方式中，图像处理装置接收第一终端发送的至少两张待配准图像。可选的，第一终端可以是以下任意一种：手机、计算机、平板电脑、服务器、可穿戴设备。

在又一种获取至少两张待配准图像的实现方式中，图像处理装置可以通过成像组件采集得到至少两张待配准图像。可选的，上述成像组件可以是摄像头。

502、对上述第一待配准图像进行下采样处理得到第一图像，对上述第二待配准图像进行上述下采样处理得到第二图像。

在进行接下来的阐述之前，对连续图像进行定义。本申请实施例中，连续图像指所有像素点均属于同一通道，为表述方便，下文将除连续图像之外的图像称为非连续图像。例如，图6所示的第一待配准图像为非连续图像，图7所示的第一图像为连续图像。

应理解，连续图像中可以包含填充像素点，如图7所示的连续图像包含第一填充像素点。若将连续图像中除填充像素点之外的像素点称为通道像素点，则在连续图像中，任意两个相邻的通道像素点之间不存在填充像素点。

本申请实施例中，第一图像和第二图像均为连续图像，且第一图像和第二图像均包含第一类像素点。

本申请实施例中，第一图像的分辨率与第一待配准图像的分辨率的比值大于第一阈值、第二图像的分辨率与第二待配准图像的分辨率的比值大于第一阈值。可选的，第一阈值为0.25。

若将对第一待配准图像进行的下采样处理和对第二待配准图像进行的下采样处理称为第一下采样处理，则第一下采样处理的下采样倍率大于0.5。

在一种可能实现的方式中，第一待配准图像、第二待配准图像均为图像矩阵，图像矩阵中像素点的形状均为正方形。第一下采样处理的第一下采样窗口的形状也为正方形，第一下采样窗口的中心与第一类像素点的中心相同，其中，第一下采样窗口的中心为下采样窗口的两条对角线的交点，第一类像素点的中心为第一类像素点的两条对角线的交点。第一下采样窗口的面积大于第一类像素点的面积，第一类像素点的顶点位于第一下采样窗口的边界上。

图像处理装置通过至少一个第一下采样窗口将第一待配准图像划分成至少一个像素点区域。将每个像素点区域作为一个像素点，并依据每个像素点区域内的像素值，确定与该像素区域对应的像素点的像素值，实现对第一待配准图像的第一下采样处理。同理可实现对第二待配准图像的第一下采样处理。

例如，对图6所示的第一待配准图像进行第一下采样处理，可得到图7所示的第一图像。假设在图6所示的第一待配准图像中，像素点B₁₁的中心为C₁、像素点G₁₂的中心为C₂、像素点B₁₃的中心为C₃、像素点G₁₄的中心为C₄、像素点G₂₁的中心为C₅、像素点R₂₂的中心为C₆、像素点G₂₃的中心为C₇、像素点R₂₄的中心为C₈、像素点B₃₁的中心为C₉、像素点G₃₂的中心为C₁₀、像素点B₃₃的中心为C₁₁、像素点G₃₄的中心为C₁₂、像素点G₄₁的中心为C₁₃、像素点R₄₂的中心为C₁₄、像素点G₄₃的中心为C₁₅、像素点R₄₄的中心为C₁₆。

第一下采样窗口TC₁C₆C₉(下文将称为第一下采样窗口1)的中心为C₇，第一下采样窗口1的面积大于像素点G₂₁的面积，且像素点G₂₁的四个顶点分别位于第一下采样窗口1的四条边上。第一下采样窗口C₁AC₃C₆(下文将称为第一下采样窗口2)的中心为C₂，第一下采样窗口2的面积大于像素点G₁₂的面积，且像素点G₁₂的四个顶点分别位于第一下采样窗口2的四条边上。第一下采样窗口QC₉C₁₄O(下文将称为第一下采样窗口3)的中心为C₁₃，第一下采样窗口3的面积大于像素点G₄₁的面积，且像素点G₄₁的四个顶点分别位于第一下采样窗口3的四条边上。第一下采样窗口C₉C₆C₁₁C₁₄(下文将称为第一下采样窗口4)的中心为C₁₀，第一下采样窗口4的面积大于像素点G₃₂的面积，且像素点G₃₂的四个顶点分别位于第一下采样窗口4的四条边上。第一下采样窗口C₆C₃C₈C₁₁(下文将称为第一下采样窗口5)的中心为C₇，第一下采样窗口5的面积大于像素点G₂₃的面积，且像素点G₂₃的四个顶点分别位于第一下采样窗口5的四条边上。第一下采样窗口C₃DFC₈(下文将称为第一下采样窗口6)的中心为C₄，第一下采样窗口6的面积大于像素点G₁₄的面积，且像素点G₁₄的四个顶点分别位于第一下采样窗口6的四条边上。第一下采样窗口C₁₄C₁₁C₁₆L(下文将称为第一下采样窗口7)的中心为C₁₅，第一下采样窗口7的面积大于像素点G₄₃的面积，且像素点G₄₃的四个顶点分别位于第一下采样窗口7的四条边上。第一下采样窗口C₁₁C₈IC₁₆(下文将称为第一下采样窗口8)的中心为C₁₂，第一下采样窗口8的面积大于像素点G₃₄的面积，且像素点G₃₄的四个顶点分别位于第一下采样窗口8的四条边上。

将第一下采样窗口1内的像素点区域作为第一图像中的像素点D₁₂，依据第一下采样窗口1中的像素值，确定像素点D₁₂的像素值。将第一下采样窗口2内的像素点区域作为第一图像中的像素点D₁₃，依据第一下采样窗口2中的像素值，确定像素点D₁₃的像素值。将第一下采样窗口3内的像素点区域作为第一图像中的像素点D₂₁，依据第一下采样窗口3中的像素值，确定像素点D₂₁的像素值。将第一下采样窗口4内的像素点区域作为第一图像中的像素点D₂₂，依据第一下采样窗口4中的像素值，确定像素点D₂₂的像素值。将第一下采样窗口5内的像素点区域作为第一图像中的像素点D₂₃，依据第一下采样窗口5中的像素值，确定像素点D₂₃的像素值。将第一下采样窗口6内的像素点区域作为第一图像中的像素点D₂₄，依据第一下采样窗口6中的像素值，确定像素点D₂₄的像素值。将第一下采样窗口7内的像素点区域作为第一图像中的像素点D₃₂，依据第一下采样窗口7中的像素值，确定像素点D₃₂的像素值。将第一下采样窗口8内的像素点区域作为第一图像中的像素点D₃₃，依据第一下采样窗口8中的像素值，确定像素点D₃₃的像素值。可选的，确定每个第一下采样窗口中像素值的均值，作为第一下采样窗口对应的像素点的像素值，例如，将第一下采样窗口1中的像素值的均值作为像素点D₁₂的像素值。

应理解，在图6中，以下像素点区域均为第二填充像素点：三角形区域ABW、三角形区域DEC、三角形区域FGE、三角形区域IJH、三角形区域LMK、三角形区域PQN、三角形区域RSQ、三角形区域UVT。第二填充像素点内的像素值均为第一值，可选的，第一值为0。

在图7中，以下像素点均为第一填充像素点：像素点D₁₁、像素点D₁₄、像素点D₃₁、像素点D₃₄。第一填充像素点的像素值用于表征绿色的明亮程度，即第一填充像素点为G通道的像素点。第一填充像素点的像素值均为第二值。可选的，第二值为0。

从图6中可以看出，在第一待配准图像中，任意两个G通道的像素点之间存在一个R通道的像素点或一个B通道的像素点。同理，在第二待配准图像中，任意两个G通道的像素点之间存在一个R通道的像素点或一个B通道的像素点。由于G通道的像素点所携带的信息与R通道的像素点所携带的信息、B通道的像素点所携带的信息均不同，无法通过对第一待配准图像和第二待配准图像进行图像配准处理，得到配准结果。

从图7中可以看出，在通过对第一待配准图像进行第一下采样处理得到的第一图像中，除第一填充像素点之外，所有的像素点均为G通道的像素点。同理，在对第二待配准图像进行第一下采样处理得到的第二图像中，除第一填充像素点之外，所有的像素点均为G通道的像素点。由于第一填充像素点为G通道的像素点，可通过对第一图像和第二图像进行图像配准处理，得到G通道的像素点的配准结果。

503、对上述第一图像和上述第二图像进行图像配准处理，得到第一配准结果。

本申请实施例中，图像配准处理可通过可实现图像配准的算法实现，该算法包括：尺度不变特征变换(scale-invariant feature transform，SIFT)、特征检测算法(histogram of oriented gridients，HOG)、特征提取算法(oriented fast and rotatedbrief，ORB)、索贝尔(Sobel)算子。

本申请实施例中，配准结果包括以下至少一个：位移差、旋转角。在一种可能实现的方式中，第一配准结果包括第一位移差。图像处理装置通过对第一图像和第二图像进行图像配准处理，可得到第一参考像素点与第二参考像素点之间的位移差，即第一位移差。进一步的，图像处理装置可依据第一位移差可将第一参考像素点与第二参考像素点对齐。

例如，将第一参考像素点在第一图像中的位置与第一位移差相加，可得到第二参考像素点在第二图像中的位置。又例如，将第二参考像素点在第二图像中的位置与第一位移差相加，可得到第一参考像素点在第一图像中的位置。再例如，将第一参考像素点在第一图像中的位置与第一位移差相加，得到中间位置。将中间位置与第三值相加，可得到第二参考像素点在第二图像中的位置，其中，第三值为实数。可选的，第三值为0。

上述第一参考像素点为第一图像中的除第一填充像素点之外的任意一个像素点，例如，在图7所示的第一图像中，第一参考像素点可以是以下中的一个：像素点D₁₂、像素点D₁₃、像素点D₂₁、像素点D₂₂、像素点D₂₃、像素点D₂₄、像素点D₃₂、像素点D₃₃。可选的，上述第二参考像素点为第二图像中与第一参考像素点互为同名点的像素点。

作为一种可选的实施方式，图像处理装置通过执行步骤503，可确定第一图像和第二图像中每对同名点之间的配准结果。

504、依据上述第一配准结果对上述第一待配准图像和上述第二待配准图像进行配准处理。

由于第一图像通过对第一待配准图像进行下采样处理得到，第二图像通过对第二待配准图像进行下采样处理得到，图像处理装置依据第一配准结果可得到第一待配准图像与第二待配准图像之间的配准结果，进而可依据该配准结果对第一待配准图像和第二待配准图像进行配准处理。

在一种可能实现的方式中，第一配准结果包括第一位移差。图像处理装置依据第一位移差，可得到第三像素点和第四像素点之间的第二配准结果。

本申请实施例中，第一像素点为第一待配准图像中与第一参考像素点对应的像素点，第二像素点为第二待配准图像中与第二参考像素点对应的像素点。例如，假设：第一参考像素点为图7所示的像素点D₂₂，在图6所示的第一待配准图像中，与像素点D₂₂对应的像素点为G₃₂，即像素点G₃₂为第一像素点。

可选的，第二像素点为第二待配准图像中与第一像素点互为同名点的像素点。图像处理装置依据第一位移差，可得到第一像素点与第二像素点之间的位移差，作为第二配准结果。

在一种依据第一位移差得到第二配准结果的实现方式中，假设第一位移差为d₁，第二配准结果为d₂。d₁和d₂满足下式：

d₂＝k₁×d₁…公式(1)

其中，k₁为正数。可选的，k₁＝1。

在另一种依据第一位移差得到第二配准结果的实现方式中，假设第一位移差为d1，第二配准结果为d₂。d₁和d₂满足下式：

d₂＝k₁×d₁+c₁…公式(2)

其中，c₁为实数，k₁为正数。可选的，c₁＝0，k₁＝1。

在又一种依据第一位移差得到第二配准结果的实现方式中，假设第一位移差为d₁，第二配准结果为d₂。d₁和d₂满足下式：

其中，c₁为实数，k₁为正数，可选的，c₁＝0，k₁＝1。

作为一种可选的实施方式，在图像处理装置通过执行步骤503，得到第一图像和第二图像中每对同名点之间的配准结果的情况下，图像处理可通过执行步骤504，得到第一待配准图像和第二待配准图像中每对同名点之间的配准结果。

在本申请实施例中，由于第一图像的分辨率与第一待配准图像的分辨率的比值大于0.25、第一图像的分辨率与第一待配准图像的分辨率的比值大于0.25，通过对第一图像和第二图像进行配准处理，可提高第一待配准图像与第二待配准图像之间的配准结果的精度。

作为一种可选的实施方式，第一待配准图像的通道与第二待配准图像的通道相同。例如，第一待配准图像包含R、G两个通道，第二待配准图像也包含R、G两个通道。又例如，第一待配准图像包含R、G、B三个通道，第二待配准图像也包含R、G、B三个通道。再例如，第一待配准图像包含R、Y(本文中的Y指黄色)、B三个通道，第二待配准图像也包含R、Y、B三个通道。

作为另一种可选的实施方式，在第一待配准图像的通道与第二待配准图像的通道相同的情况下，第一待配准图像和第二待配准图像均包括与第一通道不同的第二通道。将第一待配准图像中的第一类像素点称为第二类像素点，将第一待配准图像中属于第二通道的像素点称为第三类像素点，将第二待配准图像中的第一类像素点称为第四类像素点，将第二待配准图像中属于第二通道的像素点称为第四类像素点。第二类像素点的数量与第三类像素点的数量的比值等于第四类像素点的数量与第五类像素点的数量的比值。

例如，假设第一待配准图像包含R、G两个通道，其中，第一通道为G通道，则第二通道为R通道。若在第一待配准图像中，R通道的像素点的数量/G通道的像素点的数量＝1/2，则第二类像素点的数量与第三类像素点的数量的比值＝1/2，且在第二待配准图像中，R通道的像素点的数量/G通道的像素点的数量＝1/2，即第四类像素点的数量与第五类像素点的数量的比值＝1/2。

又例如，假设第一待配准图像包含R、G、B三个通道，其中，第一通道为G通道，则第二通道为R通道或B通道。若在第一待配准图像中，R通道的像素点的数量/G通道的像素点的数量＝1/2，B通道的像素点的数量/G通道的像素点的数量＝1/2。在第二通道为R通道的情况下，第二类像素点的数量与第三类像素点的数量的比值＝1/2，且在第二待配准图像中，R通道的像素点的数量/G通道的像素点的数量＝1/2，即第四类像素点的数量与第五类像素点的数量的比值＝1/2。在第二通道为B通道的情况下，第二类像素点的数量与第三类像素点的数量的比值＝1/2，且在第二待配准图像中，B通道的像素点的数量/G通道的像素点的数量＝1/2，即第四类像素点的数量与第五类像素点的数量的比值＝1/2。

再例如，假设第一待配准图像包含R、Y、B三个通道，其中，第一通道为Y通道，则第二通道为R通道或B通道。若在第一待配准图像中，R通道的像素点的数量/Y通道的像素点的数量＝1/2，B通道的像素点的数量/Y通道的像素点的数量＝1/4。在第二通道为R通道的情况下，第二类像素点的数量与第三类像素点的数量的比值＝1/2，且在第二待配准图像中，R通道的像素点的数量/Y通道的像素点的数量＝1/2，即第四类像素点的数量与第五类像素点的数量的比值＝1/2。在第二通道为B通道的情况下，第二类像素点的数量与第三类像素点的数量的比值＝1/4，且在第二待配准图像中，B通道的像素点的数量/Y通道的像素点的数量＝1/4，即第四类像素点的数量与第五类像素点的数量的比值＝1/4。

应理解，在第一待配准图像和第二待配准图像包含的通道的数量大于或等于3的情况下，第一待配准图像中不同通道的像素点的数量之间的比值与第二待配准图像中相应通道的像素点的数量之间的比值相等。例如，假设第一待配准图像和第二待配准图像均包含R、G、B三个通道，其中，第一通道为G通道。在第一待配准图像中，R通道的像素点的数量＝R，G通道的像素点的数量＝G，B通道的像素点的数量＝B。在第二待配准图像中，R通道的像素点的数量＝r，G通道的像素点的数量＝g，B通道的像素点的数量＝b。则R/G/B＝r/g/b。

作为又一种可选的实施方式，第一待配准图像中像素点的排列方式和第二待配准图像中像素点的排列方式均为对角阵列，其中，对角阵列的含义可参见下文：

假设第一待配准图像包括：第五像素点、第六像素点、第七像素点、第八像素点。第五像素点的坐标为(i，j)，第六像素点的坐标为(i+1，j)，第七像素点的坐标为(i，j+1)，第八像素点的坐标为(i+1，j+1)，其中，i、j均为正整数。在第五像素点为第一类像素点的情况下，第六像素点、第七像素点均不是第一类像素点，且第八像素点为第一类像素点，在第五像素点不是第一类像素点的情况下，第六像素点、第七像素点均为第一类像素点，且第八像素点不是第一类像素点。

例如，如图8a所示，在第五像素点为第一类像素点的情况下，第六像素点和第七像素点均不是第一类像素点，第八像素点为第一类像素点。如图8b所示，在第五像素点不是第一类像素点的情况下，第六像素点和第七像素点均为第一类像素点，第八像素点不是第一类像素点。

由图8a和图8b可知，在像素点以对角阵列排列的情况下，图像中像素点的排列方式可以是图9a所示的排列方式或图9b所示的排列方式。

上述示例以第一待配准图像为例，对对角阵列进行了解释，同理，第二待配准图像中像素点的排列方式也可参见上述示例、图9a、图9b。

本申请实施例中，虽然第一待配准图像中像素点的排列方式和第二待配准图像中像素点的排列方式均为对角阵列，但是第一待配准图像中像素点的排列形式和第二待配准图像中像素点的排列形式可以相同，也可以不同。

假设第二待配准图像包括：第九像素点、第十像素点、第十一像素点、第十二像素点。第九像素点的坐标为(i，j)，第十像素点的坐标为(i+1，j)，第十一像素点的坐标为(i，j+1)，第十二像素点的坐标为(i+1，j+1)，其中，i、j均为正整数。

应理解，第五像素点的坐标指第五像素点在第一待配准图像的像素坐标系下的坐标、第六像素点的坐标指第六像素点在第一待配准图像的像素坐标系下的坐标、第七像素点的坐标指第七像素点在第一待配准图像的像素坐标系下的坐标、第八像素点的坐标指第八像素点在第一待配准图像的像素坐标系下的坐标，第九像素点的坐标指第九像素点在第二待配准图像的像素坐标系下的坐标、第十像素点的坐标指第十像素点在第二待配准图像的像素坐标系下的坐标、第十一像素点的坐标指第十一像素点在第二待配准图像的像素坐标系下的坐标、第十二像素点的坐标指第十二像素点在第二待配准图像的像素坐标系下的坐标。

也就是说，第五像素点在第一待配准图像中的位置与第九像素点在第二待配准图像中的位置相同，第六像素点在第一待配准图像中的位置与第十像素点在第二待配准图像中的位置相同，第七像素点在第一待配准图像中的位置与第十一像素点在第二待配准图像中的位置相同，第八像素点在第一待配准图像中的位置与第十二像素点在第二待配准图像中的位置相同。

在第五像素点和第九像素点均为第一类像素点的情况下，第六像素点、第七像素点、第十像素点、第十一像素点均不是第一类像素点，且第八像素点和第十二像素点均为第一类像素点。且在第五像素点和第九像素点均不是第一类像素点的情况下，第六像素点、第七像素点、第十像素点、第十一像素点均为第一类像素点，且第八像素点和第十二像素点均不是第一类像素点。此时，第一待配准图像中像素点的排列形式与第二待配准图像中像素点的排列形式相同。例如，第一待配准图像中像素点的排列形式与第二待配准图像中像素点的排列形式均如图9a所示。又例如，第一待配准图像中像素点的排列形式与第二待配准图像中像素点的排列形式均如图9b所示。

在第五像素点为第一类像素点，且第九像素点不是第一类像素点的情况下，第六像素点、第七像素点、第十二像素点均不是第一类像素点，且第八像素点、第十像素点、第十一像素点均为第一类像素点，在第五像素点不是第一类像素点，且第九像素点为第一类像素点的情况下，第六像素点、第七像素点、第十二像素点均为第一类像素点，且第八像素点、第十像素点、第十一像素点均不是第一类像素点。此时，第一待配准图像中像素点的排列形式与第二待配准图像中像素点的排列形式不同。例如，第一待配准图像中像素点的排列形式如9a所示，而第二待配准图像中像素点的排列形式如图9b所示。又例如，第一待配准图像中像素点的排列形式如9b所示，而第二待配准图像中像素点的排列形式如图9a所示。

可选的，第一待配准图像中像素点的排列方式和第二待配准图像中像素点的排列方式均为拜耳阵列。

请参阅图10，图10是本申请实施例提供的步骤502的一种实现方法的流程示意图。

1001、将上述第一待配准图像旋转第一角度得到第三图像，将上述第二待配准图像旋转第二角度得到第四图像。

本申请实施例中，第一角度和第二角度均为45度的奇数倍。假设第一角度为J₁，第二角度为J₂，J₁、J₂满足下式：

其中，r₁和r₂均为奇数。

例如，假设：将第一待配准图像顺时针旋转得到的旋转角度为正，将第一待配准图像逆时针旋转得到的旋转角度为负。在r₁＝1、第一角度为45度的情况下，通过将第一待配准图像顺时针旋转45度，得到第三图像。在r₁＝-1、第一角度为-45度的情况下，通过将第一待配准图像逆时针旋转45度，得到第三图像。在r₁＝3、第一角度135度的情况下，通过将第一待配准图像顺时针旋转135度，得到第三图像。在r₁＝-5、第一角度-225度的情况下，通过将第一待配准图像逆时针旋转225度，得到第三图像。

又例如，假设：将第一待配准图像逆时针旋转得到的旋转角度为正，将第一待配准图像顺时针旋转得到的旋转角度为负。在r₁＝1、第一角度为45度的情况下，通过将第一待配准图像逆时针旋转45度，得到第三图像。在r₁＝-1、第一角度为-45度的情况下，通过将第一待配准图像顺时针旋转45度，得到第三图像。在r₁＝3、第一角度135度的情况下，通过将第一待配准图像逆时针旋转135度，得到第三图像。在r₁＝-5、第一角度-225度的情况下，通过将第一待配准图像顺时针旋转225度，得到第三图像。

在一种可能实现的方式中，图像处理装置将第一待配准图像旋转第一角度，可以是将第一待配准图像绕第一待配准图像的像素坐标系的原点旋转第一角度，例如，第一待配准图像的像素坐标系为xoy，像素坐标系的原点为o。图像处理装置通过将第一待配准图像绕o旋转第一角度，得到第三图像。

在另一种可能实现的方式中，图像处理装置将第一待配准图像旋转第一角度，可以是将第一待配准图像绕第一待配准图像的中心旋转第一角度，其中，第一待配准图像的中心为第一待配准图像的两条对角线的交点。例如，图像处理装置将图11所示的第一待配准图像，绕第一待配准图像的中心旋转45度，可得到图12所示的第三图像。

在又一种可能实现的方式中，图像处理装置将第一待配准图像旋转第一角度，可以是将第一待配准图像绕第一待配准图像的像素坐标系的坐标轴旋转第一角度。例如，第一待配准图像的像素坐标系为xoy，像素坐标系的横坐标轴为ox。图像处理装置通过将第一待配准图像绕ox旋转第一角度，得到第三图像。又例如，第一待配准图像的像素坐标系为xoy，像素坐标系的纵坐标轴为oy。图像处理装置通过将第一待配准图像绕oy旋转第一角度，得到第三图像。

在满足旋转角度为第一角度的前提下，本申请对旋转第一待配准图像的方式不做限定。同理，在满足旋转角度为第二角度的前提下，本申请对旋转第二待配准图像的方式不做限定。

可选的，第二角度为第一角度的终边相同角。第一待配准图像的旋转方向与第二待配准图像的旋转方向相同，例如，在将第一待配准图像顺时针旋转得到的旋转角度为正、将第一待配准图像逆时针旋转得到的旋转角度为负的情况下，将第二待配准图像顺时针旋转得到的旋转角度为正、将第二待配准图像逆时针旋转得到的旋转角度为负。在将第一待配准图像逆时针旋转得到的旋转角度为正、将第一待配准图像顺时针旋转得到的旋转角度为负的情况下，将第二待配准图像逆时针旋转得到的旋转角度为正、将第二待配准图像顺时针旋转得到的旋转角度为负。

在一种可能实现的方式中，图像处理装置将第二待配准图像旋转第二角度，可以是将第二待配准图像绕第二待配准图像的像素坐标系的原点旋转第二角度，例如，第二待配准图像的像素坐标系为xoy，像素坐标系的原点为o。图像处理装置通过将第二待配准图像绕o旋转第二角度，得到第四图像。

在另一种可能实现的方式中，图像处理装置将第二待配准图像旋转第二角度，可以是将第二待配准图像绕第二待配准图像的中心旋转第二角度，其中，第二待配准图像的中心为第二待配准图像的两条对角线的交点。例如，第二待配准图像的中心为o。图像处理装置通过将第二待配准图像绕o旋转第二角度，得到第四图像。

在又一种可能实现的方式中，图像处理装置将第二待配准图像旋转第二角度，可以是将第二待配准图像绕第二待配准图像的像素坐标系的坐标轴旋转第二角度。例如，第二待配准图像的像素坐标系为xoy，像素坐标系的横坐标轴为ox。图像处理装置通过将第二待配准图像绕ox旋转第二角度，得到第四图像。又例如，第二待配准图像的像素坐标系为xoy，像素坐标系的纵坐标轴为oy。图像处理装置通过将第二待配准图像绕oy旋转第二角度，得到第四图像。

1002、将第一像素坐标系的坐标轴刻度放大n倍得到第二像素坐标系，将第三像素坐标系的坐标轴刻度放大上述n倍得到第四像素坐标系。

本申请实施例中，第一像素坐标系为第三图像的像素坐标系，第三像素坐标系为第四图像的像素坐标系。

本申请实施例中，n为正数。可选的，

通过将第一像素坐标系的横坐标轴刻度和纵坐标轴刻度均放大n倍，得到第二像素坐标系。

例如，假设

通过放大图12所示的第一像素坐标系(即xoy)的横坐标轴刻度和纵坐标轴刻度，得到图13所示的第二像素坐标系。

同理，将第三像素坐标系的横坐标轴刻度和纵坐标轴刻度均放大n倍，可得到第四像素坐标系。

1003、依据上述第三图像中像素点的像素值确定第二像素坐标系下的各个像素点的像素值，得到上述第一图像，依据上述第四图像中像素点的像素值确定第四像素坐标系下的各个像素点的像素值，得到上述第二图像。

由于像素坐标系的刻度以像素点为单位，即像素坐标系的刻度为一个像素点的边长，在图像的像素坐标系的刻度发生改变的情况下，图像中的像素点所覆盖的区域也将发生相应的改变。图像处理装置依据第三图像中像素点的像素值确定第二像素坐标系下的各个像素点的像素值得到第一图像，并依据第四图像中像素点的像素值确定第四像素坐标系下的各个像素点的像素值得到第二图像。可选的，图像处理装置将第二像素坐标系下各个像素点所覆盖的区内的像素值的均值作为该像素点的像素值、将第四像素坐标系下各个像素点所覆盖的区内的像素值的均值作为该像素点的像素值。

例如，依据图13所示的第三图像中像素点的像素值确定第二像素坐标系(即xoy)下的各个像素点的像素值，可得到图14所示的第一图像。在图13中，以下像素点区域均为第三填充像素点：三角形区域ABW、三角形区域DEC、三角形区域GHF、三角形区域HIJ、三角形区域KLM、三角形区域NPQ、三角形区域RST、三角形区域TUV。第三填充像素点区域内的像素值均为第四值，可选的，第四值为0。在图14中，以下像素点均为第四填充像素点：像素点D₁₁、像素点D₁₄、像素点D₃₁、像素点D₃₄。第四填充像素点的像素值用于表征绿色的明亮程度，即第四填充像素点为G通道的像素点。第四填充像素点的像素值均为第五值，可选的，第五值为0。

同理，图像处理装置依据第四图像中像素点的像素值确定第四像素坐标系下的各个像素点的像素值，可得到第二图像。

本实施中，图像处理装置通过旋转第一待配准图像得到第三图像，以及通过旋转第二待配准图像得到第四图像。图像处理装置通过调整第三图像的像素坐标系的坐标轴刻度得到第一图像，以及调整第四图像的像素坐标系的坐标轴刻度得到第二图像，可实现将非连续图像转换成连续图像，且可取得减小数据处理量、提高处理速度的效果。

作为一种可选的实施方式，图像处理装置在执行步骤504的过程中执行以下步骤：

51、将上述第一配准结果转换为第五像素坐标系下的第二配准结果，其中，上述第五像素坐标系为上述第一待配准图像的像素坐标系。

本申请实施例中，第二配准结果为第一像素点和第二像素点之间的配准结果，其中，第一像素点属于第一待配准图像，第二像素点属于第二待配准图像。可选的，第一像素点与第二像素点互为同名点。

由于第一图像的像素坐标系与第一待配准图像的像素坐标系不同，在依据第一配准结果确定第一像素点与第二像素点之间的配准结果，图像处理装置需对第一配准结果进行转换，得到第五像素坐标系(即第一待配准图像的像素坐标系)下的配准结果，作为第二配准结果。

例如，图6所示的第五像素坐标系与图7所示的第一图像的像素坐标系之间的旋转角为45度的奇数倍。又例如，图12所示的第三图像通过旋转图11所示的第一待配准图像得到，而图14所示的第一图像基于图12所示的第三图像得到，即图14所示第一图像通过旋转图11所示的第一待配准图像得到，其中，旋转角度为45度的奇数倍。此时，第一图像的像素坐标系与第一待配准图像的像素坐标系之间的旋转角为45度的奇数倍。

52、使用上述第二配准结果对上述第一待配准图像和上述第二待配准图像进行配准处理。

在得到第二配准结果后，图像处理装置可使用第二配准结果对第一待配准图像和第二待配准图像进行配准处理，使第一待配准图像对齐第二待配准图像。

作为一种可选的实施方式，第一配准结果包括：第一水平位移差和第一竖直位移差，第二配准结果包括第二配准结果，第二配准结果包括：第二水平位移差和第二竖直位移差。请参阅图15，图15是本申请实施例提供的步骤51的一种可能实现方法的流程示意图。

1501、对第一水平位移差进行分解，得到第一水平位移差在第五像素坐标系下的第一水平分量和第一竖直分量，对第一竖直位移差进行分解，得到第一竖直位移差在第五像素坐标系下的第二水平分量和第二竖直分量。

本实施例中，在第一配准结果为第一参考像素点相对于第二参考像素点的位移的情况下。第一水平位移差可以是第一配准结果在第二图像的像素坐标系的横坐标轴上的分量，第一竖直位移差可以是第一配准结果在第二图像的像素坐标系的纵坐标轴上的分量。在第一配准结果为第二参考像素点相对于第一参考像素点的位移的情况下，第一水平位移差可以是第一配准结果在第一图像的像素坐标系的横坐标轴上的分量，第一竖直位移差可以是第一配准结果在第一图像的像素坐标系的纵坐标轴上的分量。

在一种可能实现的方式中，图像处理装置通过对第一配准结果进行分解，可得到第一配准结果在第一图像的像素坐标系下的水平分量(即第一水平位移差)和竖直分量(即第一竖直位移差)，分别对第一水平位移差和第一竖直位移差进行分解，得到第一水平位移差在第五像素坐标系下的第一水平分量和第一竖直分量，以及第一竖直位移差在第五像素坐标系下的第二水平分量和第二竖直分量。

假设第一水平位移差为h₁，第一竖直位移差为v₁，第一水平分量为h₂，第一竖直分量为v₂，第二水平分量为h₃，第二竖直分量为v₃，将第五像素坐标系旋转至与第一图像的像素坐标系重合所需的旋转角为A₂，则h₁、h₂、v₂、A₂满足下式：

v₁、h₃、v₃、A₂满足下式：

1502、依据上述第一水平分量和上述第二水平分量得到上述第二水平位移差，依据上述第一竖直分量和上述第二竖直分量得到上述第二竖直位移差。

本申请实施例中，第二配准结果包括：第二水平位移差和第二竖直位移差。图像处理装置依据第一水平分量和第二水平分量，可得到第二水平位移差。图像处理装置依据第一竖直分量和第二竖直分量，可得到第二竖直位移差。

在一种依据第一水平分量和第二水平分量得到第二水平位移差的实现方式中，假设第一水平分量为h₂，第二水平分量为h₃，第二水平位移差为h₄。h₂、h₃、h₄满足下式：

h₄＝(h₂+h₃+u₁)/t₁…公式(7)

其中，t₁为第一下采样处理的下采样倍率，u₁为实数。可选的，u₁＝0。

在另一种依据第一水平分量和第二水平分量得到第二水平位移差的实现方式中，假设第一水平分量为h₂，第二水平分量为h₃，第二水平位移差为h₄。h₂、h₃、h₄满足下式：

h₄＝p₁×(h₂+h₃+u₁)/t₁…公式(8)

其中，t₁为第一下采样处理的下采样倍率，p₁为正数，u₁为实数。可选的，p₁＝1，u₁＝0。

在又一种依据第一水平分量和第二水平分量得到第二水平位移差的实现方式中，假设第一水平分量为h₂，第二水平分量为h₃，第二水平位移差为h₄。h₂、h₃、h₄满足下式：

其中，t为第一下采样处理的下采样倍率，u₁为实数。可选的，u₁＝0。

在一种依据第一竖直分量和第二竖直分量得到第二竖直位移差的实现方式中，假设第一竖直分量为v₂，第二竖直分量为v₃，第二竖直位移差为v₄。v₂、v₃、v₄满足下式：

v₄＝(v₂+v₃+u₂)/t₁…公式(10)

其中，t₁为第一下采样处理的下采样倍率，u₂为实数。可选的，u₂＝0。

在另一种依据第一竖直分量和第二竖直分量得到第二竖直位移差的实现方式中，假设第一竖直分量为v₂，第二竖直分量为v₃，第二竖直位移差为v₄。v₂、v₃、v₄满足下式：

v₄＝p₂×(v₂+v₃+u₂)/t₁…公式(11)

其中，t₁为第一下采样处理的下采样倍率，p₂为正数，u₂为实数。可选的，p₂＝1，u₂＝0。

在又一种依据第一竖直分量和第二竖直分量得到第二竖直位移差的实现方式中，假设第一竖直分量为v₂，第二竖直分量为v₃，第二竖直位移差为v₄。v₂、v₃、v₄满足下式：

由于第五像素坐标系与第一图像的像素坐标系之间存在旋转角，图像处理装置无法直接使用第一配准结果对第一待配准图像和第二待配准图像进行配准。本实施例通过对第一水平位移差和第一竖直位移差进行分解，得到第一水平分量、第二水平分量、第一竖直分量、第二竖直分量，并基于第一水平分量、第二水平分量、第一竖直分量、第二竖直分量，得到第五像素坐标系下的第二配准结果。

作为一种可选的实施方式，在基于上述实施例得到第二配准结果后，图像处理装置可使用第二配准结果对第一待配准图像和第二待配准图像进行图像配准处理，该处理过程包括以下步骤：

11、依据上述第二配准结果，调整上第一像素点的位置，得到第一配准后的图像。

图像处理装置基于第一像素点在第一待配准图像中的位置和第二配准结果，调整第一像素点的位置，可使第一像素点与第二像素点对齐，得到第一配准后的图像。

在第一配准结果为第一参考像素点相对于第二参考像素点的位移的情况下，第二配准结果为第一像素点相对于第二像素点的位移。因此图像处理装置基于第一像素点在第一待配准图像中的位置与第二配准结果的和，调整第一像素点的位置，可得到第一配准后的图像。

在一种可能实现的方式中，假设：第一像素点在第一待配准图像中的位置为(x₁，y₁)，第二水平位移差为h₄，第二竖直位移差为v₄，调整后的第一像素点的位置为(x₂，y₂)。(x₁，y₁)、h₄、v₄、(x₂，y₂)满足下式：

其中，α₁、β₁均为实数。可选的，α₁＝β₁＝0。

在另一种可能实现的方式中，假设：第一像素点在第一待配准图像中的位置为(x₁，y₁)，第二水平位移差为h₄，第二竖直位移差为v₄，调整后的第一像素点的位置为(x₂，y₂)。(x₁，y₁)、h₄、v₄、(x₂，y₂)满足下式：

其中，α₁、β₁均为实数，λ₁、η₁均为正数。可选的，λ₁＝η₁＝1，α₁＝β₁＝0。

在又一种可能实现的方式中，假设：第一像素点在第一待配准图像中的位置为(x₁，y₁)，第二水平位移差为h₄，第二竖直位移差为v₄，调整后的第一像素点的位置为(x₂，y₂)。(x₁，y₁)、h₄、v₄、(x₂，y₂)满足下式：

其中，α₁、β₁均为实数。可选的，α₁＝β₁＝0。

在第一配准结果为第二参考像素点相对于第一参考像素点的位移的情况下，第二配准结果为第二像素点相对于第一像素点的位移。因此图像处理装置基于第一像素点在第一待配准图像中的位置与第二配准结果的差，调整第一像素点的位置，可得到第一配准后的图像。

其中，α₂、β₂均为实数。可选的，α₂＝β₂＝0。

其中，α₂、β₂均为实数，λ₂、η₂均为正数。可选的，λ₂＝η₂＝1，α₂＝β₂＝0。

其中，α₂、β₂均为实数。可选的，α₂＝β₂＝0。

应理解，在上述描述中，图像处理装置通过调整第一像素点的位置，实现将第一待配准图像配准第二待配准图像。而在实际应用中，图像处理装置可基于本申请实施例，调整第一待配准图像中至少一个第一类像素点的位置，以将第一待配准图像配准第二待配准图像。可选的，图像处理装置可调整第一待配准图像中每一个像素点的位置，得到第一配准后的图像。

例如，第一待配准图像包含：像素点a、像素点b、像素点c、像素点d、像素点e、像素点f，第二待配准图像包含：像素点g、像素点h、像素点i、像素点j、像素点k、像素点m。在第一待配准图像和第二待配准图像中，像素点a、像素点b、像素点c均为第一类像素点，且像素点a与像素点g互为同名点、像素点b与像素点h互为同名点、像素点c与像素点i互为同名点。假设：像素点a与像素点g之间的配准结果为配准结果1，像素点b与像素点h之间的配准结果为配准结果2，像素点c与像素点i之间的配准结果为配准结果3。

基于本申请实施例可得到配准结果1。基于本申请实施例可得到配准结果2。基于本申请实施例可得到配准结果3。基于本申请实施例可得到配准结果1和配准结果2。基于本申请实施例可得到配准结果1和配准结果3。基于本申请实施例可得到配准结果2和配准结果3。基于本申请实施例可得到配准结果1、配准结果2和配准结果3。

在得到配准结果1的情况下，基于配准结果1，调整像素点a的位置，可将第一待配准图像配准第二待配准图像，得到第一配准后的图像。在得到配准结果1和配准结果2的情况下，基于配准结果1调整像素点a的位置，并基于配准结果2调整像素点b的位置，可将第一待配准图像配准第二待配准图像，得到第一配准后的图像。在得到配准结果1、配准结果2和配准结果3的情况下，基于配准结果1调整像素点a的位置，并基于配准结果2调整像素点b的位置，并基于配准结果3调整像素点c的位置，可将第一待配准图像与第二待配准图像配准，得到第一配准后的图像。

由于第一像素点和第二像素点均为第一类像素点，而第一待配准图像还包含除第一类像素点之外的像素点，为提高将第一待配准图像与第二待配准图像之间的配准精度，图像处理装置在调整第一类像素点的位置的基础上，还可调整除第一类像素点之外的像素点的位置。

例如，在第一待配准图像包含R、G、B三个通道，且第一通道为G通道的情况下，第一待配准图像不仅包含G通道的像素点，还包含R通道的像素点和B通道的像素点。在调整G通道的像素点的位置的基础上，调整R通道的像素点的位置和/或B通道的像素点的位置，可提高将第一待配准图像配准第二待配准图像的精度。

作为一种可选的实施方式，图像处理装置在执行步骤52之前，执行以下步骤：

1、依据上述第二配准结果，得到第三像素点与第四像素点之间的第三配准结果。

本申请实施例中，第三像素点为第一待配准图像中与第一像素点不同的像素点，上述第四像素点为第二待配准图像中与第三像素点互为同名点的像素点。

由于第一待配准图像中不仅包含第一类像素点，还包含除第一类像素点之外的像素点，而上述第二配准结果为第一类像素点的配准结果，为提高第一待配准图像和第二待配准图像之间的配准精度，图像处理装置可进一步确定除第一类像素点之外的像素点的配准结果。

因为除第一类像素点之外的像素点与第一类像素点之间存在相关性(包括相似度)，所以可依据第一类像素点的配准结果确定除第一类像素点之外的像素点的配准结果。在一种可能实现的方式中，图像处理装置依据第二配准结果，得到第三像素点与第四像素点之间的配准结果，即第三配准结果。

可选的，在第一待配准图像中的像素点以拜耳阵列排列的情况下，任意两个相邻的像素点分属于不同的通道，第三像素点和第五像素点分属不同的通道，即第五像素点为第一待配准图像中除第一类像素点之外的像素点。例如，假设在图2a中，第一类像素点包括G通道的像素点。每个第一类像素点相邻的四个像素点为，两个R通道的像素点和两个B通道的像素点。无论是R通道的像素点还是B通道的像素点，均为除第一类像素点之外的像素点。此时，图像处理装置可依据G通道的像素点的配准结果，得到R通道的像素点的配准结果和B通道的像素点的配准结果。

作为一种可选的实施方式，第二配准结果包括第二位移差，图像处理装置可依据第二位移差，确定第三像素点与第四像素点之间的位移差，即第三位移差，作为第三配准结果。

可选的，第二位移差包括第二水平位移差和第二竖直位移差，第三位移差包括第一中间水平位移差和第一中间竖直位移差。在一种依据第二位移差得到第三位移差的实现方式中，假设：第二水平位移差为h₄、第二竖直位移差为v₄、第一中间水平位移差h₅、第一中间竖直位移差为v₅。h₄、v₄、h₅、v₅满足下式：

其中，δ₁、σ₁为正数。可选的，δ₁＝σ₁＝1。

在另一种依据第二位移差得到第三位移差的实现方式中，假设：第二水平位移差为h₄、第二竖直位移差为v₄、第一中间水平位移差h₅、第一中间竖直位移差为v₅。h₄、v₄、h₅、v₅满足下式：

其中，δ₁、σ₁为正数，ε₁、τ₁为实数。可选的，δ₁＝σ₁＝1，ε₁＝τ₁＝0。

在又一种依据第二位移差得到第三位移差的实现方式中，假设：第二水平位移差为h₄、第二竖直位移差为v₄、第一中间水平位移差h₅、第一中间竖直位移差为v₅。h₄、v₄、h₅、v₅满足下式：

其中，δ₁、σ₁为正数。可选的，δ₁＝σ₁＝1。

在得到第三位移差之后，图像处理装置在执行步骤11的过程中执行以下步骤：

2、依据上述第二配准结果，调整上述第一像素点的位置，并依据上述第三配准结果，调整上述第三像素点的位置，得到上述第一配准后的图像。

图像处理装置基于第一像素点在第一待配准图像中的位置和第二配准结果，调整第三像素点的位置，并基于第三像素点在第一待配准图像中的位置和第三配准结果，调整第三像素点的位置，可使第一像素点与第二像素点对齐、第三像素点与第四像素点对齐，进而将第一待配准图像与第二待配准图像对齐，得到第一配准后的图像。

应理解，本申请实施例中的附图中，第一待配准图像均包含R、G、B三个通道，第一通道均为G通道，但在实际应用中，第一待配准图像包含的三个通道可以不是R、G、B，第一通道也可以不是G通道。本申请实施例提供的附图仅为示例，不应对本申请构成限定。

基于以上实施例提供的技术方案，本申请实施例还提供了一种可能的应用场景。

随着手机的普及，以及手机的拍照功能的提升，越来越多的人们使用手机进行拍照。但由于各种原因的存在，导致手机拍摄得到的图像的质量可能不佳，如：图像模糊、图像的曝光量不合适等等。因此，在手机拍摄得到的图像的质量不佳的情况下，需要对图像进行处理，以提高图像的质量，图像融合处理为其中之一。待融合的图像之间是否配准是决定图像融合处理的效果的关键，基于本申请实施例提供的技术方案，可提高待融合的图像的配准精度，进而提升图像融合处理的效果。

例如，在用户按下拍照快门键时，手机在短时间内采集了图像a和图像b。基于本申请实施例提供的技术方案，手机对图像a和图像b进行处理，调整图像a中至少一个像素点的位置，实现将图像a向图像b配准，得到图像c。手机对图像b和图像c进行融合，得到图像d，并将图像d呈现给用户。

请参阅图16，图16是本申请实施例提供的另一种图像配准方法的流程示意图。

1601、获取至少两张待配准图像，其中，上述至少两张待配准图像包括：第三待配准图像和第四待配准图像。

本实施例中，在待配准图像的数量为2的情况下，至少两张待配准图像为第三待配准图像和第四待配准图像。在待配准图像的数量大于2的情况下，第三待配准图像和第四待配准图像为至少两张待配准图像中的一部分。

本申请实施例中，第三待配准图像和第四待配准图像均为RAW图像。由于人眼对不同颜色的敏感度不同，在RAW图像包含至少两个颜色通道的情况下，为便于人眼通过观察RAW图像获得更佳的视觉感受、以及更多的信息，通常使人眼最敏感的颜色通道在RAW图像中包含最多的像素点。例如，人眼对绿色的敏感度比对人眼对红色的敏感度或人眼对蓝色的敏感度高，因此，在RAW图像包含R、G、B三个通道的情况下，G通道包含的像素点的数量最多。又例如，人眼对黄色的敏感度比对人眼对红色的敏感度或人眼对蓝色的敏感度高，因此，在RAW图像包含Y、G、B三个通道的情况下，Y通道包含的像素点的数量最多。

本申请实施例中，第三待配准图像中通道的数量和第四待配准图像中通道的数量均不小于2，且第三待配准图像中包含像素点的数量最多的通道与第四待配准图像中包含像素点的数量最多的通道相同。将第三待配准图像中包含像素点的数量最多的通道称为第三通道，将属于第三通道的像素点称为第六类像素点，则第三待配准图像和第四待配准图像均包含第六类像素点。

例如，第三通道为G通道，第三待配准图像包含：像素点a、像素点b、像素点c、像素点d，其中，像素点a和像素点c属于G通道。第四待配准图像包含：像素点e、像素点f、像素点g、像素点h，其中，像素点e和像素点g属于G通道。此时，第六类像素点包括：像素点a、像素点c、像素点e、像素点g。

应理解，在第三待配准图像包含两个通道，且每个通道的像素点的数量相等的情况下，第三通道可以是第三待配准图像中任意一个通道。例如，在第三待配准图像中，R通道的像素点的数量∶G通道的像素点的数量＝1∶1，第三通道可以是R通道，第三通道也可以是G通道。

在另一种获取至少两张待配准图像的实现方式中，图像处理装置接收第二终端发送的至少两张待配准图像。可选的，第二终端可以是以下任意一种：手机、计算机、平板电脑、服务器、可穿戴设备。

1602、提取上述第三待配准图像中的第三通道得到第五图像，提取上述第四待配准图像中的上述第三通道得到第六图像。

图像处理装置提取第三待配准图像中的第三通道，即提取第三待配准图像中的第六类像素点，得到第五图像。图像处理装置提取第四待配准图像中的第三通道，即提取第四待配准图像中的第六类像素点，得到第六图像。

第五图像的尺寸与第三待配准图像的尺寸相同。在第五图像中，第六类像素点的像素值与第三待配准图像中第六类像素点的像素值相同，除第六类像素点之外的像素点均为第五填充像素点，第五填充像素点的像素值均为第六值。可选的，第六值为0。

例如，图17a所示的第三待配准图像包含R、G、B三个通道，提取第三待配准图像中的G通道，得到图17b所示的第五图像。第三待配准图像中的像素点G₁₂的像素值与第五图像中的像素点G₁₂的像素值相同，第三待配准图像中的像素点G₁₄的像素值与第五图像中的像素点G₁₄的像素值相同，…，第三待配准图像中的像素点G₄₄的像素值与第五图像中的像素点G₄₄的像素值相同。在第五图像中，像素点N₁₁的像素值、像素点N₁₃的像素值、像素点N₂₂的像素值、像素点N₂₄的像素值、像素点N₃₁的像素值、像素点N₃₃的像素值、像素点N₄₂的像素值、像素点N₄₄的像素值均为0。

1603、对上述第五图像进行下采样处理得到第七图像，对上述第六图像进行上述下采样处理得到第八图像。

在进行接下来的阐述之前，对连续图像进行定义。本申请实施例中，连续图像指所有像素点均属于同一通道，为表述方便，下文将除连续图像之外的图像称为非连续图像。例如，图17a所示的第三待配准图像为非连续图像，图19所示的第七图像为连续图像。

应理解，连续图像中可以包含填充像素点，如图19所示的连续图像包含第六填充像素点。若将连续图像中除填充像素点之外的像素点称为通道像素点，则在连续图像中，任意两个相邻的通道像素点之间不存在填充像素点。

本申请实施例中，第七图像和第八图像均为连续图像，且第七图像和第八图像均包含第六类像素点。

本申请实施例中，第七图像的分辨率与第五图像的分辨率的比值大于第二阈值、第八图像的分辨率与第六图像的分辨率的比值大于第二阈值。由于第五图像的分辨率与第三待配准图像的分辨率相同、第六图像的分辨率与第四待配准图像的分辨率相同，第七图像的分辨率与第三待配准图像的分辨率的比值大于第二阈值、第八图像的分辨率与第四待配准图像的分辨率的比值大于第二阈值。可选的，第二阈值为0.25。

若将对第三待配准图像进行的下采样处理和对第四待配准图像进行的下采样处理称为第二下采样处理，则第二下采样处理的下采样倍率大于0.5。

在一种可能实现的方式中，第五图像、第六图像均为图像矩阵，图像矩阵中像素点的形状均为正方形。第二下采样处理的第二下采样窗口的形状也为正方形，第二下采样窗口的中心与第六类像素点的中心相同，其中，第二下采样窗口的中心为下采样窗口的两条对角线的交点，第六类像素点的中心为第六类像素点的两条对角线的交点。第二下采样窗口的面积大于第六类像素点的面积，第六类像素点的顶点位于第二下采样窗口的边界上。

图像处理装置通过至少一个第二下采样窗口将第五图像划分成至少一个像素点区域。将每个像素点区域作为一个像素点，并依据每个像素点区域内的像素值，确定与该像素区域对应的像素点的像素值，实现对第五图像的第二下采样处理。同理可实现对第六图像的第二下采样处理。

例如，对图18所示的第五图像进行第二下采样处理，可得到图19所示的第七图像。假设在图18所示的第五图像中，像素点N₁₁的中心为Z₁、像素点G₁₂的中心为Z₂、像素点N₁₃的中心为Z₃、像素点G₁₄的中心为Z₄、像素点G₂₁的中心为Z₅、像素点N₂₂的中心为Z₆、像素点G₂₃的中心为Z₇、像素点N₂₄的中心为Z₈、像素点N₃₁的中心为Z₉、像素点G₃₂的中心为Z₁₀、像素点N₃₃的中心为Z₁₁、像素点G₃₄的中心为Z₁₂、像素点G₄₁的中心为Z₁₃、像素点N₄₂的中心为Z₁₄、像素点G₄₃的中心为Z₁₅、像素点N₄₄的中心为Z₁₆。

第二下采样窗口TZ₁Z₆Z₉(下文将称为第二下采样窗口1)的中心为Z₇，第二下采样窗口1的面积大于像素点G₂₁的面积，且像素点G₂₁的四个顶点分别位于第二下采样窗口1的四条边上。第二下采样窗口Z₁AZ₃2₆(下文将称为第二下采样窗口2)的中心为Z₂，第二下采样窗口2的面积大于像素点G₁₂的面积，且像素点G₁₂的四个顶点分别位于第二下采样窗口2的四条边上。第二下采样窗口QZ₉Z₁₄O(下文将称为第二下采样窗口3)的中心为Z₁₃，第二下采样窗口3的面积大于像素点G₄₁的面积，且像素点G₄₁的四个顶点分别位于第二下采样窗口3的四条边上。第二下采样窗口Z₉Z₆Z₁₁Z₁₄(下文将称为第二下采样窗口4)的中心为Z₁₀，第二下采样窗口4的面积大于像素点G₃₂的面积，且像素点G₃₂的四个顶点分别位于第二下采样窗口4的四条边上。第二下采样窗口Z₆Z₃Z₈Z₁₁(下文将称为第二下采样窗口5)的中心为Z₇，第二下采样窗口5的面积大于像素点G₂₃的面积，且像素点G₂₃的四个顶点分别位于第二下采样窗口5的四条边上。第二下采样窗口Z₃DFZ₈(下文将称为第二下采样窗口6)的中心为Z₄，第二下采样窗口6的面积大于像素点G₁₄的面积，且像素点G₁₄的四个顶点分别位于第二下采样窗口6的四条边上。第二下采样窗口Z₁₄Z₁₁Z₁₆L(下文将称为第二下采样窗口7)的中心为Z₁₅，第二下采样窗口7的面积大于像素点G₄₃的面积，且像素点G₄₃的四个顶点分别位于第二下采样窗口7的四条边上。第二下采样窗口Z₁₁Z₈IZ₁₆(下文将称为第二下采样窗口8)的中心为Z₁₂，第二下采样窗口8的面积大于像素点G₃₄的面积，且像素点G₃₄的四个顶点分别位于第二下采样窗口8的四条边上。

将第二下采样窗口1内的像素点区域作为第七图像中的像素点D₁₂，依据第二下采样窗口1中的像素值，确定像素点D₁₂的像素值。将第二下采样窗口2内的像素点区域作为第七图像中的像素点D₁₃，依据第二下采样窗口2中的像素值，确定像素点D₁₃的像素值。将第二下采样窗口3内的像素点区域作为第七图像中的像素点D₂₁，依据第二下采样窗口3中的像素值，确定像素点D₂₁的像素值。将第二下采样窗口4内的像素点区域作为第七图像中的像素点D₂₂，依据第二下采样窗口4中的像素值，确定像素点D₂₂的像素值。将第二下采样窗口5内的像素点区域作为第七图像中的像素点D₂₃，依据第二下采样窗口5中的像素值，确定像素点D₂₃的像素值。将第二下采样窗口6内的像素点区域作为第七图像中的像素点D₂₄，依据第二下采样窗口6中的像素值，确定像素点D₂₄的像素值。将第二下采样窗口7内的像素点区域作为第七图像中的像素点D₃₂，依据第二下采样窗口7中的像素值，确定像素点D₃₂的像素值。将第二下采样窗口8内的像素点区域作为第七图像中的像素点D₃₃，依据第二下采样窗口8中的像素值，确定像素点D₃₃的像素值。可选的，图像处理装置确定每个第二下采样窗口中像素值的均值，作为第二下采样窗口对应的像素点的像素值，例如，将第二下采样窗口1中的像素值的均值作为像素点D₁₂的像素值。

应理解，在图18中，以下像素点区域均为第七填充像素点：三角形区域ABW、三角形区域DEC、三角形区域FGE、三角形区域IJH、三角形区域LMK、三角形区域PQN、三角形区域RSQ、三角形区域UVT。第七填充像素点区域内的像素值均为第七值。可选的，第七值为0。

在图19中，以下像素点均为第六填充像素点：像素点D₁₁、像素点D₁₄、像素点D₃₁、像素点D₃₄。第六填充像素点的像素值用于表征绿色的明亮程度，即第六填充像素点为G通道的像素点。第六填充像素点的像素值均为第八值。可选的，第八值为0。

从图18中可以看出，在第五图像中，任意两个G通道的像素点之间存在一个非G通道的像素点，同理，在第六图像中，任意两个G通道的像素点之间存在一个非G通道的像素点。由于G通道的像素点所携带的信息与非G通道的像素点所携带的信息不同，无法通过对第五图像和第六图像进行图像配准处理，得到配准结果。

从图19中可以看出，在通过对第五图像进行第二下采样处理得到的第七图像中，除第六填充像素点之外，所有的像素点均为G通道的像素点。同理，在对第六图像进行第二下采样处理得到的第八图像中，除第六填充像素点之外，所有的像素点均为G通道的像素点。由于第六填充像素点为G通道的像素点，可通过对第七图像和第八图像进行图像配准处理，得到G通道的像素点的配准结果。

1604、对上述第七图像和上述第八图像进行图像配准处理，得到第四配准结果。

本实施例中，图像配准处理可通过可实现图像配准的算法实现，该算法包括：SIFT、HOG、ORB、Sobel算子。

本申请实施例中，配准结果包括以下至少一个：位移差、旋转角。在一种可能实现的方式中，第四配准结果包括第四位移差。图像处理装置通过对第七图像和第八图像进行图像配准处理，可得到第三参考像素点与第四参考像素点之间的位移差，即第四位移差。进一步的，依据第四位移差可将第三参考像素点与第四参考像素点对齐。

例如，将第三参考像素点在第七图像中的位置与第四位移差相加，可得到第四参考像素点在第八图像中的位置。又例如，将第四参考像素点在第八图像中的位置与第四位移差相加，可得到第三参考像素点在第七图像中的位置。再例如，将第三参考像素点在第七图像中的位置与第四位移差相加，得到中间位置。将中间位置与第九值相加，可得到第四参考像素点在第八图像中的位置，其中，第九值为实数。可选的，第九值为0。

上述第三参考像素点为第七图像中的除第六填充像素点之外的任意一个像素点，例如，在图19所示的第七图像中，第三参考像素点可以是以下中的一个：像素点D₁₂、像素点D₁₃、像素点D₂₁、像素点D₂₂、像素点D₂₃、像素点D₂₄、像素点D₃₂、像素点D₃₃。可选的，上述第四参考像素点为第八图像中与第三参考像素点互为同名点的像素点。

作为一种可选的实施方式，图像处理装置通过执行步骤1604，可确定第七图像和第八图像中每对同名点之间的配准结果。

1605、依据上述第四配准结果对上述第三待配准图像和上述第四待配准图像进行配准处理。

由于第七图像通过对第五图像进行下采样处理得到，第八图像通过对第六图像进行下采样处理得到，图像处理装置依据第四配准结果可得到第五图像与第六图像之间的配准结果，进而可得到第三待配准图像与第四待配准图像之间的配准结果，进而可依据该配准结果对第三待配准图像和第四待配准图像进行配准处理。

在一种可能实现的方式中，第四配准结果包括第四位移差。图像处理装置依据第四位移差，可得到第十三像素点和第十四像素点之间的配准结果，作为第五配准结果。

本申请实施例中，第十三像素点为第三待配准图像中与第三参考像素点对应的像素点，第十四像素点为第四待配准图像中与第四参考像素点对应的像素点。例如，假设：第三参考像素点为图19所示的像素点D₂₃，在图18所示的第五图像中，与像素点D₂₂对应的像素点区域为第二下采样窗口4内的像素点区域。在图18所示的第五图像中，与第二下采样窗口4内的像素点区域对应的像素点为像素点G₃₂。因此，在第五图像中，与像素点D₂₃对应的像素点为G₃₂，进而可知，在第三待配准图像中，与像素点D₂₃对应的像素点为G₃₂，即像素点G₃₂为第十三像素点。

可选的，第十四像素点为第四待配准图像中与第十三像素点互为同名点的像素点。图像处理装置依据第四位移差，可得到第十三像素点与第十四像素点之间的位移差，作为第五配准结果。

在一种依据第四位移差得到第五配准结果的实现方式中，假设第四位移差为d₄，第五配准结果为d₅。d₄和d₅满足下式：

d₅＝k₂×d₄…公式(22)

其中，k₂为正数。可选的，k₂＝1。

在另一种依据第四位移差得到第五配准结果的实现方式中，假设第四位移差为d₄，第五配准结果为d₅。d₄和d₅满足下式：

d₅＝k₂×d₄+c₂…公式(23)

其中，c₂为实数，k₂为正数。可选的，c₂＝0，k₂＝1。

在又一种依据第四位移差得到第五配准结果的实现方式中，假设第四位移差为d₄，第五配准结果为d₅。d₄和d₅满足下式：

其中，c₂为实数，k₂为正数，可选的，c₂＝0，k₂＝1。

作为一种可选的实施方式，在图像处理装置通过执行步骤1604，得到第七图像和第八图像中每对同名点之间的配准结果的情况下，图像处理可通过执行步骤1605，得到第三待配准图像和第四待配准图像中每对同名点之间的配准结果。

在本申请实施例中，由于第七图像的分辨率与第五图像的分辨率的比值大于0.25、第八图像的分辨率与第六图像的分辨率的比值大于0.25，第五图像的分辨率与第三待配准图像的分辨率相同、第六图像的分辨率与第四待配准图像的分辨率相同，通过对第七图像和第八图像进行配准处理，可提高第三待配准图像与第四待配准图像之间的配准结果的精度。

作为一种可选的实施方式，第三待配准图像的通道与第四待配准图像的通道相同。例如，第三待配准图像包含R、G两个通道，第四待配准图像也包含R、G两个通道。又例如，第三待配准图像包含R、G、B三个通道，第四待配准图像也包含R、G、B三个通道。再例如，第三待配准图像包含R、Y(本文中的Y指黄色)、B三个通道，第四待配准图像也包含R、Y、B三个通道。

作为一种可选的实施方式，在第三待配准图像的通道与第四待配准图像的通道相同的情况下，第三待配准图像和第四待配准图像均包括与第三通道不同的第四通道。将第三待配准图像中的第六类像素点称为第九类像素点，将第三待配准图像中属于第四通道的像素点称为第十类像素点，将第四待配准图像中的第六类像素点称为第十一类像素点，将第四待配准图像中属于第四通道的像素点称为第十二类像素点。第九类像素点的数量与第十类像素点的数量的比值等于第十一类像素点的数量与第十二类像素点的数量的比值。

例如，假设第三待配准图像包含R、G两个通道，其中，第三通道为G通道，则第四通道为R通道。若在第三待配准图像中，R通道的像素点的数量/G通道的像素点的数量＝1/2，则第九类像素点的数量与第十类像素点的数量的比值＝1/2，且在第四待配准图像中，R通道的像素点的数量/G通道的像素点的数量＝1/2，即第十一类像素点的数量与第十二类像素点的数量的比值＝1/2。

又例如，假设第三待配准图像包含R、G、B三个通道，其中，第三通道为G通道，则第四通道为R通道或B通道。若在第三待配准图像中，R通道的像素点的数量/G通道的像素点的数量＝1/2，B通道的像素点的数量/G通道的像素点的数量＝1/2。在第四通道为R通道的情况下，第九类像素点的数量与第十类像素点的数量的比值＝1/2，且在第四待配准图像中，R通道的像素点的数量/G通道的像素点的数量＝1/2，即第十一类像素点的数量与第十二类像素点的数量的比值＝1/2。在第四通道为B通道的情况下，第九类像素点的数量与第十类像素点的数量的比值＝1/2，且在第四待配准图像中，B通道的像素点的数量/G通道的像素点的数量＝1/2，即第十一类像素点的数量与第十二类像素点的数量的比值＝1/2。

再例如，假设第三待配准图像包含R、Y、B三个通道，其中，第三通道为Y通道，则第四通道为R通道或B通道。若在第三待配准图像中，R通道的像素点的数量/Y通道的像素点的数量＝1/2，B通道的像素点的数量/Y通道的像素点的数量＝1/4。在第四通道为R通道的情况下，第九类像素点的数量与第十类像素点的数量的比值＝1/2，且在第四待配准图像中，R通道的像素点的数量/Y通道的像素点的数量＝1/2，即第十一类像素点的数量与第十二类像素点的数量的比值＝1/2。在第四通道为B通道的情况下，第九类像素点的数量与第十类像素点的数量的比值＝1/4，且在第四待配准图像中，B通道的像素点的数量/Y通道的像素点的数量＝1/4，即第十一类像素点的数量与第十二类像素点的数量的比值＝1/4。

应理解，在第三待配准图像和第四待配准图像包含的通道的数量大于或等于3的情况下，第三待配准图像中不同通道的像素点的数量之间的比值与第四待配准图像中相应通道的像素点的数量之间的比值相等。例如，假设第三待配准图像和第四待配准图像均包含R、G、B三个通道，其中，第三通道为G通道。在第三待配准图像中，R通道的像素点的数量＝R，G通道的像素点的数量＝G，B通道的像素点的数量＝B。在第四待配准图像中，R通道的像素点的数量＝r，G通道的像素点的数量＝g，B通道的像素点的数量＝b。则R/G/B＝r/g/b。

作为又一种可选的实施方式，第三待配准图像中像素点的排列方式和第四待配准图像中像素点的排列方式均为对角阵列，其中，对角阵列的含义可参见下文：

假设第三待配准图像包括：第十七像素点、第十八像素点、第十九像素点、第二十像素点。第十七像素点的坐标为(p，q)，第十八像素点的坐标为(p+1，q)，第十九像素点的坐标为(p，q+1)，第二十像素点的坐标为(p+1，q+1)，其中，p、q均为正整数。在第十七像素点为第六类像素点的情况下，第十八像素点、第十九像素点均不是第六类像素点，且第二十像素点为第六类像素点，在第十七像素点不是第六类像素点的情况下，第十八像素点、第十九像素点均为第六类像素点，且第二十像素点不是第六类像素点。

例如，如图20a所示，在第十七像素点为第六类像素点的情况下，第十八像素点和第十九像素点均不是第六类像素点，第二十像素点为第六类像素点。如图20b所示，在第十七像素点不是第六类像素点的情况下，第十八像素点和第十九像素点均为第六类像素点，第二十像素点不是第六类像素点。

由图20a和图20b可知，在像素点以对角阵列排列的情况下，图像中像素点的排列如图21a所示的排列方式或如图21b所示的排列方式。

上述示例以第三待配准图像为例，对对角阵列进行了解释，同理，第四待配准图像中像素点的排列方式也可参见上述示例、图21a、图21b。

本申请实施例中，虽然第三待配准图像中像素点的排列方式和第四待配准图像中像素点的排列方式均为对角阵列，但是第三待配准图像中像素点的排列形式和第四待配准图像中像素点的排列形式可以相同，也可以不同。

假设，第四待配准图像包括：第二十一像素点、第二十二像素点、第二十三像素点、第二十四像素点。第二十一像素点的坐标为(p，q)，第二十二像素点的坐标为(p+1，q)，第二十三像素点的坐标为(p，q+1)，第二十四像素点的坐标为(p+1，q+1)，其中，p、q均为正整数。

需要理解的是，第十七像素点的坐标指第十七像素点在第三待配准图像的像素坐标系下的坐标、第十八像素点的坐标指第十八像素点在第三待配准图像的像素坐标系下的坐标、第十九像素点的坐标指第十九像素点在第三待配准图像的像素坐标系下的坐标、第二十像素点的坐标指第二十像素点在第三待配准图像的像素坐标系下的坐标，第二十一像素点的坐标指第二十一像素点在第四待配准图像的像素坐标系下的坐标、第二十二像素点的坐标指第二十二像素点在第四待配准图像的像素坐标系下的坐标、第二十三像素点的坐标指第二十三像素点在第四待配准图像的像素坐标系下的坐标、第二十四像素点的坐标指第二十四像素点在第四待配准图像的像素坐标系下的坐标。

也就是说，第十七像素点在第三待配准图像中的位置与第二十一像素点在第四待配准图像中的位置相同，第十八像素点在第三待配准图像中的位置与第二十二像素点在第四待配准图像中的位置相同，第十九像素点在第三待配准图像中的位置与第二十三像素点在第四待配准图像中的位置相同，第二十像素点在第三待配准图像中的位置与第二十四像素点在第四待配准图像中的位置相同。

在第十七像素点和第二十一像素点均为第六类像素点的情况下，第十八像素点、第十九像素点、第二十二像素点、第二十三像素点均不是第六类像素点，且第二十像素点和第二十四像素点均为第六类像素点。且在第十七像素点和第二十一像素点均不是第六类像素点的情况下，第十八像素点、第十九像素点、第二十二像素点、第二十三像素点均为第六类像素点，且第二十像素点和第二十四像素点均不是第六类像素点。此时，第三待配准图像中像素点的排列形式与第四待配准图像中像素点的排列形式相同。例如，第三待配准图像中像素点的排列形式与第四待配准图像中像素点的排列形式均如图21a所示。又例如，第三待配准图像中像素点的排列形式与第四待配准图像中像素点的排列形式均如图21b所示。

在第十七像素点为第六类像素点，且第二十一像素点不是第六类像素点的情况下，第十八像素点、第十九像素点、第二十四像素点均不是第六类像素点，且第二十像素点、第二十二像素点、第二十三像素点均为第六类像素点，在第十七像素点不是第六类像素点，且第二十一像素点为第六类像素点的情况下，第十八像素点、第十九像素点、第二十四像素点均为第六类像素点，且第二十像素点、第二十二像素点、第二十三像素点均不是第六类像素点。此时，第三待配准图像中像素点的排列形式与第四待配准图像中像素点的排列形式不同。例如，第三待配准图像中像素点的排列形式如21a所示，而第四待配准图像中像素点的排列形式如图21b所示。又例如，第三待配准图像中像素点的排列形式如21b所示，而第四待配准图像中像素点的排列形式如图21a所示。

可选的，第三待配准图像中像素点的排列方式和第四待配准图像中像素点的排列方式均为拜耳阵列。

请参阅图22，图22是本申请实施例提供的步骤1603的一种实现方法的流程示意图。

2201、将上述第五图像旋转第三角度得到第九图像，将上述第六图像旋转第四角度得到第十图像。

本申请实施例中，第三角度和第四角度均为45度的奇数倍。假设第一角度为J₃，第二角度为J₄，J₃、J₄满足下式：

其中，r₃和r₄均为奇数。

例如，假设：将第五图像顺时针旋转得到的旋转角度为正，将第五图像逆时针旋转得到的旋转角度为负。在r₃＝1、第三角度为45度的情况下，通过将第五图像顺时针旋转45度，得到第九图像。在r₃＝-1、第三角度为-45度的情况下，通过将第五图像逆时针旋转45度，得到第九图像。在r₃＝3、第三角度135度的情况下，通过将第五图像顺时针旋转135度，得到第九图像。在r₃＝-5、第三角度-225度的情况下，通过将第五图像逆时针旋转225度，得到第九图像。

又例如，假设：将第五图像逆时针旋转得到的旋转角度为正，将第五图像顺时针旋转得到的旋转角度为负。在r₃＝1、第三角度为45度的情况下，通过将第五图像逆时针旋转45度，得到第九图像。在r₃＝-1、第三角度为-45度的情况下，通过将第五图像顺时针旋转45度，得到第九图像。在r₃＝3、第三角度135度的情况下，通过将第五图像逆时针旋转135度，得到第九图像。在r₃＝-5、第三角度-225度的情况下，通过将第五图像顺时针旋转225度，得到第九图像。

在一种可能实现的方式中，图像处理装置将第五图像旋转第三角度，可以是将第五图像绕第三待配准图像的像素坐标系的原点旋转第三角度，例如，第五图像的像素坐标系为xoy，像素坐标系的原点为o。通过将第五图像绕o旋转第三角度，得到第九图像。

在另一种可能实现的方式中，图像处理装置将第五图像旋转第三角度，可以是将第五图像绕第五图像的中心旋转第三角度，其中，第五图像的中心为第五图像的两条对角线的交点。例如，将图23所示的第五图像，绕第五图像的中心旋转45度，可得到图24所示的第九图像。

在又一种可能实现的方式中，图像处理装置将第五图像旋转第三角度，可以是将七图像绕第五图像的像素坐标系的坐标轴旋转第三角度。例如，第五图像的像素坐标系为xoy，像素坐标系的横坐标轴为ox。通过将第五图像绕ox旋转第三角度，得到第九图像。又例如，第五图像的像素坐标系为xoy，像素坐标系的纵坐标轴为oy。通过将第五图像绕oy旋转第三角度，得到第九图像。

在满足旋转角度为第三角度的前提下，本申请对旋转第五图像的方式不做限定。同理，在满足旋转角度为第二角度的前提下，本申请对旋转第六图像的方式不做限定。

可选的，第四角度为第三角度的终边相同角。第五图像的旋转方向与第六图像的旋转方向相同，例如，在将第五图像顺时针旋转得到的旋转角度为正、将第五图像逆时针旋转得到的旋转角度为负的情况下，将第六图像顺时针旋转得到的旋转角度为正、将第六图像逆时针旋转得到的旋转角度为负。在将第五图像逆时针旋转得到的旋转角度为正、将第五图像顺时针旋转得到的旋转角度为负的情况下，将第六图像逆时针旋转得到的旋转角度为正、将第六图像顺时针旋转得到的旋转角度为负。

在一种可能实现的方式中，图像处理装置将第六图像旋转第四角度，可以是将第六图像绕第六图像的像素坐标系的原点旋转第四角度，例如，第六图像的像素坐标系为xoy，像素坐标系的原点为o。通过将第六图像绕o旋转第四角度，得到第十图像。

在另一种可能实现的方式中，图像处理装置将第六图像旋转第四角度，可以是将第六图像绕第六图像的中心旋转第四角度，其中，第六图像的中心为第六图像的两条对角线的交点。例如，第六图像的中心为o。通过将第六图像绕o旋转第四角度，得到第十图像。

在又一种可能实现的方式中，图像处理装置将第六图像旋转第四角度，可以是将第六图像绕第六图像的像素坐标系的坐标轴旋转第四角度。例如，第六图像的像素坐标系为xoy，像素坐标系的横坐标轴为ox。通过将第六图像绕ox旋转第四角度，得到第十图像。又例如，第六图像的像素坐标系为xoy，像素坐标系的纵坐标轴为oy。通过将第六图像绕oy旋转第四角度，得到第十图像。

在满足旋转角度为第四角度的前提下，本申请对旋转第六图像的方式不做限定。

2202、将第六像素坐标系的坐标轴刻度放大m倍得到第七像素坐标系，将第八像素坐标系的坐标轴刻度放大上述m倍得到第九像素坐标系。

本申请实施例中，第六像素坐标系为第九图像的像素坐标系，第八像素坐标系为第十图像的像素坐标系。

本申请实施例中，m为正数。可选的，

图像处理装置通过将第六像素坐标系的横坐标轴刻度和纵坐标轴刻度均放大m倍，得到第七像素坐标系。

例如，假设

通过放大图24所示的第六像素坐标系(即xoy)的横坐标轴刻度和纵坐标轴刻度，得到图25所示的第七像素坐标系。

同理，图像处理装置将第八像素坐标系的横坐标轴刻度和纵坐标轴刻度均放大m倍，可得到第九像素坐标系。

2203、依据上述第九图像中像素点的像素值确定第七像素坐标系下的各个像素点的像素值得到上述第七图像，依据上述第十图像中像素点的像素值确定上述第九像素坐标系下的各个像素点的像素值得到上述第八图像。

由于像素坐标系的刻度以像素点为单位，即像素坐标系的刻度为一个像素点的边长，在图像的像素坐标系的刻度发生改变的情况下，图像中的像素点所覆盖的区域也将发生相应的改变。图像处理装置依据第九图像中像素点的像素值确定第七像素坐标系下的各个像素点的像素值得到第七图像，并依据第十图像中像素点的像素值确定第九像素坐标系下的各个像素点的像素值得到第八图像。可选的，图像处理装置将第七像素坐标系下各个像素点所覆盖的区内的像素值的均值作为该像素点的像素值、将第九像素坐标系下各个像素点所覆盖的区内的像素值的均值作为该像素点的像素值。

例如，依据图25所示的第九图像中像素点的像素值确定第七像素坐标系(即xoy)下的各个像素点的像素值，可得到图26所示的第七图像。在图25中，以下像素点区域均为第八填充像素点：三角形区域ABW、三角形区域DEC、三角形区域GHF、三角形区域HIJ、三角形区域KLM、三角形区域NPQ、三角形区域RST、三角形区域TUV。第八填充像素点区域内的像素值均为第十值。可选的，第十值为0。在图26中，以下像素点均为第九填充像素点：像素点D₁₁、像素点D₁₄、像素点D₃₁、像素点D₃₄。第九填充像素点的像素值用于表征绿色的明亮程度，即第九填充像素点为G通道的像素点。第九填充像素点的像素值均为第十一值。可选的，第十一值为0。

同理，图像处理装置依据第十图像中像素点的像素值确定第九像素坐标系下的各个像素点的像素值，可得到第八图像。

本实施中，图像处理装置通过旋转第五图像得到第九图像，以及通过旋转第六图像得到第十图像。图像处理装置通过调整第九图像的像素坐标系的坐标轴刻度得到第七图像，以及调整第十图像的像素坐标系的坐标轴刻度得到第八图像，可实现将非连续图像转换成连续图像，且可取得减小数据处理量、提高处理速度的效果。

请参阅图27，图27是本申请实施例提供的步骤1603的另一种实现方法的流程示意图。

2701、构建第十一图像和第十二图像。

本申请实施例中，第十一图像包含第三待配准图像中的第六类像素点，第十二图像包含第四待配准图像中的第六类像素点。例如，假设第三通道为G通道。第三待配准图像包含：像素点a、像素点b、像素点c、像素点d，其中，像素点a和像素点c属于G通道。第四待配准图像包含：像素点e、像素点f、像素点g、像素点h，其中，像素点e和像素点g属于G通道。第十一图像包含：像素点a和像素点c，第十二图像包含：像素点e和像素点g。

第十一图像的尺寸与第十二图像的尺寸可以相同，也可以不同。本申请对第十一图像的尺寸和第十二图像的尺寸不做限定。

例如，在图28所示的第三待配准图像中，第六类像素点包括：像素点G₁₂、像素点G₁₄、像素点G₂₁、像素点G₂₃、像素点G₃₂、像素点G₃₄、像素点G₄₁、像素点G₄₄。基于图28所示的第三待配准图像中的第六类像素点，图像处理装置可构建如图29所示的第十一图像，图像处理装置也可构建如图30所示的第十一图像，还可构建如图31所示的第十一图像。在图31所示的第十一图像中，以下像素点为第十填充像素点：像素点P₁、P₂、P₃、P₄，第十填充像素点的像素值为第十二值。可选的，第十二值为0。

以基于一待配准图像中的第六类像素点构建第十一图像的方式，图像处理装置可基于第二待配准图像中的第六类像素点构建第十二图像。

2702、将上述第十一图像中的像素值缩小s倍，得到上述第七图像，将上述第十二图像中的像素值缩小上述s倍，得到上述第八图像。

由于通过对第五图像进行第二下采样处理，会使第五图像中的像素值发生改变，第五图像中的像素值与第七图像中对应的像素值不同。因为第七图像中的像素值均依据第二下采样窗口的像素值确定，且在任意一个第二下采样窗口内，第六类像素点的面积与第五填充像素点的面积的比值均为定值，所以第五图像中的像素值与第七图像中对应的像素值的比值是确定的。

例如(例3)，假设第七图像中的像素值为第二下采样窗口内的像素值的均值。以图18和图19为例，像素点D₁₂的像素值为第二下采样窗口1内的像素值的均值，像素点D₂₁的像素值为第二下采样窗口3内的像素值的均值。进一步的，假设图18所示的像素点G₂₁的像素值为x₁、像素点G₄₁的像素值为x₂。在第六值为0，即第五填充像素点的像素值为0的情况下，在图19所示的第七图像中，像素点D₁₂的像素值为x₁/2，像素点D₂₁的像素值为x₂/2。此时，像素点G₂₁的像素值/像素点D₁₂的像素值＝像素点G₄₁的像素值/像素点D₂₁的像素值＝2，即第五图像中的像素值与第七图像中对应的像素值的比值为2。在第六值为1，即第五填充像素点的像素值为1的情况下，在图19所示的第七图像中，像素点D₁₂的像素值为(x₁+1)/2，像素点D₂₁的像素值为(x₂+1)/2，此时，像素点G₂₁的像素值/像素点D₁₂的像素值＝2+2x₁，像素点G₄₁的像素值/像素点D₂₁的像素值＝2+2x₂，即第五图像中的像素值与第七图像中对应的像素值的比值为，2加上2倍第五图像中的像素值。

本申请实施例中，s用于表征，第五图像中的像素值与第七图像中对应的像素值之间的比值。接着例3继续举例，在第六值为0的情况下，s＝2；在第六值为1的情况下，s＝2加上2倍第五图像中的像素值。s的具体取值，可依据实际需求进行调整，本申请对此不作限定。

由于s表征第五图像中的像素值与第七图像中对应的像素值之间的比值，第十一图像包含第五图像中的第六类像素点，图像处理装置通过将第十一图像中的像素值缩小s倍，可得到包含第七图像中的像素点的第一中间图像，作为第七图像。同理，图像处理装置通过将第十二图像中的像素值缩小s倍，可得到包含第八图像中的像素点的第二中间图像，作为第八图像。

应理解，虽然第一中间图像包含第七图像中的像素点、第二中间图像包含第八图像中的像素点，但第七图像中的像素点在第一中间图像中的位置与该像素点的在第七图像中的位置可能不同、第八图像中的像素点在第二中间图像中的位置与该像素点在第八图像中的位置可能不同。在图像处理装置将第一中间图像作为第七图像、将第二中间图像作为第八图像的情况下，图像处理装置可依据第一中间图像中的像素点与第三待配准图像中像素点的对应关系确定第十三像素点。

例如，图17a所示的第三待配准图像与图28所示的第三待配准图像相同。若提取第三待配准图像的第三通道，得到图17b所示的第五图像，并对第五图像进行第二下采样处理(可参见图18)，可得到图19所示的第七图像。

若图像处理装置依据第三待配准图像中的第六类像素点，构建如图29所示的第十一图像，将第十一图像中的像素值缩小s倍，可得到如图32所示的第一中间图像。若图像处理装置依据第三待配准图像中的第六类像素点，构建如图30所示的第十一图像，将第十一图像中的像素值缩小s倍，可得到如图33所示的第一中间图像。

显然，像素点在图32所示的第一中间图像中的位置或在图33所示的第一中间图像中的位置，与该像素点在图19(应理解，图19所示的第七图像基于图18所示的第五图像得到，而图18所示的第五图像通过提取图28所示的第三待配准图像的G通道得到，所以此处用图19与图29、图30进行比较)所示的第七图像中的位置可能不同。如：像素点D₁₂在图19所示的第七图像中的位置为(1，3)，像素点D₃₃在图19所示的第七图像中的位置为(3，2)，在图32所示的第一中间图像中，像素点D₁₂的位置为(1，2)、像素点D₃₃的位置为(2，3)，在图33所示的第一中间图像中，像素点D₁₂的位置为(1，2)、像素点D₃₃的位置为(4，1)。

在图像处理装置将图32所示的第一中间图像作为第七图像，且第十三像素点为图32中的像素点D₁₂的情况下，图29所示的第十一图像中与像素点D₁₂对应的像素点为像素点G₂₁，即第三待配准图像中的像素点G₂₁为与像素点D₁₂对应的像素点。在将图32所示的第一中间图像作为第七图像，且第十三像素点为图32中的像素点D₃₃的情况下，图29所示的第十一图像中与像素点D₃₃对应的像素点为像素点G₃₄，即第三待配准图像中的像素点G₃₄为与像素点D₃₃对应的像素点。在将图33所示的第一中间图像作为第七图像，且第十三像素点为图33中的像素点D1₂的情况下，图30所示的第十一图像中与像素点D₁₂对应的像素点为像素点G₂₁，即第三待配准图像中的像素点G₂₁为与像素点D₁₂对应的像素点。在将图33所示的第一中间图像作为第七图像，且第十三像素点为图33中的像素点D₃₃的情况下，图30所示的第十一图像中与像素点D₃₃对应的像素点为像素点G₃₄，即第三待配准图像中的像素点G₃₄为与像素点D₃₃对应的像素点。

作为一种可选的实施方式，图像处理装置执行的步骤2701可包括以下中一个步骤：

21、将中心属于同一条第一对角直线上的至少一个第七类像素点，按横坐标从小到大的顺序排列成图像的一行像素点，构建第十三图像。对上述第十三图像中的行排序得到上述第十一图像。将中心属于同一条上述第二对角直线上的至少一个第八类像素点，按横坐标从小到大的顺序排列成图像的一行像素点，构建第十四图像。对上述第十四图像中的行排序得到上述第十二图像。

本申请实施例中，第三待配准图像的对角线包括：第一线段。第一对角直线包括：过第一线段的直线、与第一线段平行的直线。第四待配准图像的对角线包括：第二线段。第二对角直线包括：过第二线段的直线、与第二线段平行的直线。例如，第三待配准图像的两条对角线为：线段AC和线段BD，第四待配准图像的两条对角线为：线段EG和线段FH。第一对角直线包括：过AC的直线、与AC平行的直线，或者第一对角直线包括：过BD的直线、与BD平行的直线。第二对角直线包括：过EG的直线、与EG平行的直线，或者第二对角直线包括：过FH的直线、与FH平行的直线。

本申请实施例中，第七类像素点包括第三待配准图像中的第六类像素点，第八类像素点包括第四待配准图像中的第六类像素点。例如，在第三待配准图像包含：像素点a、像素点b、像素点c、像素点d，第四待配准图像包含：像素点e、像素点f、像素点g、像素点h。像素点a、像素点c、像素点e、像素点g均为G通道的像素点。在第三通道为G通道的情况下，第七类像素点包括：像素点a和像素点c，第八类像素点包括：像素点e和像素点g。

由于相邻像素点之间存在相关性，通过使第十一图像保留第五图像中第七类像素点之间的位置关系，可提高图像配准的精度。因为第三待配准图像与第七图像之间存在旋转角，或第三待配准图像的像素坐标系与第七图像的像素坐标系之间存在旋转角，且该旋转角为45度的奇数倍，所以通过将中心属于同一条第一对角直线上的至少一个第七类像素点，按横坐标从小到大的顺序排列成图像的一行像素点，构建第十三图像，并对第十三图像中的行排序，可保留第五图像中第七类像素点之间的位置关系，得到第十一图像。

例如(例4)，在图34a所示的第三待配准图像中，第七类像素点包括：像素点G₁₂、像素点G₁₄、像素点G₂₁、像素点G₂₃、像素点G₃₂、像素点G₃₄、像素点G₃₄、像素点G₃₄，第三待配准图像的两条对角线为：线段OG和线段DJ。假设：线段OG为第一线段，则第一对角直线包括：直线CE、直线AF、直线OG、直线LH、直线KI，像素点G₁₄。由于中心过直线CE的第七类像素点只有像素点G₁₄，将像素点G₁₄作为图像的一行像素点(下文将称为CE行像素点)。中心过直线AF的第七类像素点包括：像素点G₁₂、像素点G₂₃，将像素点G₁₂、像素点G₂₃、像素点G₃₄按横坐标从小到大的顺序排列成图像的一行像素点(下文将称为AF行像素点)。中心过直线LH的第七类像素点包括：像素点G₂₁、像素点G₃₂、像素点G₄₃，将像素点G₂₁、像素点G₃₂、像素点G₄₃按横坐标从小到大的顺序排列成图像的一行像素点(下文将称为LH行像素点)。由于中心过直线KI的第七类像素点只有像素点G₄₁，将像素点G₄₁作为图像的一行像素点(下文将称为KI行像素点)。基于CE行像素点、AF行像素点、LH行像素点、KI行像素点，构建图34b所示的第十三图像。在图34b所示的第十三图像中，像素点P₁、像素点P₂、像素点P₃、像素点P₄均为第十一填充像素点，第十一填充像素点的像素值为第十三值。可选的，第十三值为0。

应理解，图34b所示的第十三图像中，CE行像素点、AF行像素点、LH行像素点、KI行像素点的排列顺序仅为一种示例，不应对本申请构成限定。在实际应用中，CE行像素点、AF行像素点、LH行像素点、KI行像素点的排列顺序可以是任意顺序。

图像处理装置对图34b所示的第十三图像中的行排序，可得到图35a所示的第十一图像或图35b所示的第十一图像。

在一种对第十三图像中的行排序的实现方式中，确定第十三图像中每一行像素点的纵坐标的第一均值，并依据第一均值得到第一指标。按第一指标从大到小的顺序排列第十三图像中的行，得到第十一图像。

上述第一均值指第十三图像中每一行像素点中所有像素点的纵坐标的均值。依据第一均值可得到第一指标，第一指标与第一均值线呈正相关或负相关。

假设第一均值为A₁，第一指标t₁。在一种依据第一均值得到第一指标的实现方式中，A₁、t₁满足下式：

t₁＝a×A₁…公式(26)

其中，a为非0实数。

在另一种依据第一均值得到第一指标的实现方式中，A1、t1满足下式：

t₁＝a×A₁+b…公式(27)

其中，a为非0实数，b为实数。

在一种依据第一均值得到第一指标的实现方式中，A₁、t₁满足下式：

其中，a为非0实数。

接着例4继续举例，CE行像素点包括像素点G₁₄，CE行像素点的纵坐标的均值为像素点G₁₄的纵坐标，即CE行像素点的第一均值为1。AF行像素点包括：像素点G₁₂、像素点G₂₃、像素点G₃₄，确定像素点G₁₂的纵坐标、像素点G₂₃的纵坐标和像素点G₃₄的纵坐标的均值为2，即AF行像素点的第一均值为2。LH行像素点包括：像素点G₂₁、像素点G₃₂、像素点G₄₃，确定像素点G₂₁的纵坐标、像素点G₃₂的纵坐标和像素点G₄₃的纵坐标的均值为3，即LH行像素点的第一均值为3。KI行像素点包括像素点G₄₁，KI行的纵坐标的均值为像素点G₄₁的纵坐标，即KI行像素点的第一均值为4。假设：第一均值与第一指标呈正相关，由于CE行像素点的第一均值＜AF行像素点的第一均值＜LH行像素点的第一均值＜KI行像素点的第一均值，CE行像素点的第一指标＜AF行像素点的第一指标＜LH行像素点的第一指标＜KI行像素点的第一指标。按第一指标从大到小的顺序排列第十三图像中的行，可得到图35a所示的第十一图像。假设：第一均值与第一指标呈负相关，由于CE行像素点的第一均值＜AF行像素点的第一均值＜LH行像素点的第一均值＜KI行像素点的第一均值，CE行像素点的第一指标＞AF行像素点的第一指标＞LH行像素点的第一指标＞KI行像素点的第一指标。按第一指标从大到小的顺序排列第十三图像中的行，可得到图35b所示的第十一图像。

同理，图像处理装置通过确定第十四图像中每一行像素点的纵坐标的第二均值，并依据第二均值得到第二指标。按第二指标从大到小的顺序排列第十四图像中的行，得到第十二图像。

上述第二均值指第十四图像中每一行像素点中所有像素点的纵坐标的均值。依据第二均值可得到第一指标。在第一均值与第一指标呈正相关的情况下，第二均值与第二指标呈正相关，在第一均值与第一指标呈负相关的情况下，第二均值与第二指标呈负相关。

假设第二均值为A₂，第二指标t₂。在一种依据第二均值得到第二指标的实现方式中，A₂、t₂满足下式：

t₂＝f×A₂…公式(29)

其中，f为非0实数。

在另一种依据第一均值得到第一指标的实现方式中，A₂、t₂满足下式：

t₂＝f×A₂+d…公式(30)

其中，f为非0实数，d为实数。

在一种依据第一均值得到第一指标的实现方式中，A₂、t₂满足下式：

其中，f为非0实数。

上述示例为，对第十三图像中的行排序得到第十一图像的示例，同理，可确定第二均值和第二指标，并依据第二指标对第十四图像中的行排序得到第十二图像，此处将不再赘述。

在另一对第十三图像中的行排序的实现方式中，图像处理装置按第一顺序排列第十三图像中的行，得到上述第十一图像。

在该种实现方式中，第三待配准图像的对角线还包括第三线段，第三线段与第一线段不同。本申请实施例中，第一直线为过第三线段的直线。在第三线段过第七类像素点的中心的情况下，第一直线为过第三线段的直线；在第三线段不过第七类像素点的中心的情况下，第一直线为在与第三线段平行、且过第七类像素点的中心的直线中，距离第三线段最近的直线。

例如，假设：在图34a所示的第三待配准图像中，线段JD为第三线段。由于线段JD过第七类像素点的中心，第一直线为直线JD。

又例如，假设：在图34a所示的第三待配准图像中，线段OG为第三线段。由于线段OG不过第七类像素点的中心，第一直线为在与OG平行、且过第七类像素点的中心的直线中，距离OG最近的直线。与OG平行、且过七类像素点的中心的直线包括：直线CE、直线AF、直线OG、直线LH、直线KI，其中，距离OG最近的直线包括：直线AF、直线LH。因此，第一直线为直线AF或直线LH。

将中心属于第一直线的像素点称为第一指标像素点，则第十三图像中的每行像素点均包含一个第一指标像素点。将第一指标像素点的纵坐标从大到小的顺序作为第一顺序，或将第一指标像素点的纵坐标从小到大的顺序作为第一顺序，依据第一顺序排列第十三图像中的行，得到第八图像。

接着例4继续举例，在图34a所示的第三待配准图像中，线段JD为第三线段。由于线段JD过第七类像素点的中心，第一直线为直线JD。中心属于第一直线的像素点包括：像素点G₁₄、像素点G₂₃、像素点G₃₂、像素点G₄₁，即称为第一指标像素点包括：像素点G₁₄、像素点G₂₃、像素点G₃₂、像素点G₄₁。假设：第一顺序为第一指标像素点的纵坐标从大到小的顺序，由于像素点G₁₄的纵坐标＜像素点G₂₃的纵坐标＜像素点G₃₂的纵坐标＜像素点G₄₁的纵坐标，按第一顺序排列第十三图像中的行，可得到图35a所示的图像。假设：第一顺序为第一指标像素点的纵坐标从小到大的顺序，由于像素点G₁₄的纵坐标＜像素点G₂₃的纵坐标＜像素点G₃₂的纵坐标＜像素点G₄₁的纵坐标，按第一顺序排列第十三图像中的行，可得到图35b所示的图像。

同理，图像处理装置按第二顺序排列第十四图像中的列，得到第十二图像。

本申请实施例中，在第一顺序为第一指标像素点的纵坐标从大到小的顺序的情况下，第二顺序为第二指标像素点的纵坐标从大到小的顺序。在第一顺序为第一指标像素点的纵坐标从小到大的顺序的情况下，第二顺序为第二指标像素点的纵坐标从小到大的顺序。第二指标像素点包括中心属于第二直线的像素点。在第四线段过第八类像素点的中心的情况下，第二直线为过第三线段的直线。在第四线段不过第八类像素点的中心的情况下，第二直线为在与第四线段平行、且过第八类像素点的中心的直线中，距离第四线段最近的直线。

上述示例中，图像处理装置依据第一顺序对第十三图像中的行排序得到第十一图像的示例，同理，图像处理装置可确定第二顺序，并依据第二顺序对第十四图像中的行排序得到第十二图像，此处将不再赘述。

22、将中心属于同一条第一对角直线上的至少一个第七类像素点，按横坐标从小到大的顺序排列成图像的一列像素点，构建第十五图像。对上述第十五图像中的列排序得到上述第十一图像。将中心属于同一条第二对角直线上的至少一个第八类像素点，按横坐标从小到大的顺序排列成图像的一列像素点，构建第十六图像。对上述第十六图像排序得到上述第十二图像。

本步骤中，第一对角直线的含义、第二对角直线的含义、第七类像素点的含义、第八类像素点的含义均可参见步骤21，此处将不再赘述。

由于相邻像素点之间存在相关性，通过使第十一图像保留第五图像中第七类像素点之间的位置关系，可提高图像配准的精度。因为第三待配准图像与第七图像之间存在旋转角，或第三待配准图像的像素坐标系与第七图像的像素坐标系之间存在旋转角，且该旋转角为45度的奇数倍，所以图像处理装置通过将中心属于同一条第一对角直线上的至少一个第七类像素点，按横坐标从小到大的顺序排列成图像的一列像素点，构建第十五图像，并对第十五图像中的列排序，可保留第五图像中第七类像素点之间的位置关系，得到第十一图像。

例如(例5)，在图36a所示的第三待配准图像中，第七类像素点包括：像素点G₁₂、像素点G₁₄、像素点G₂₁、像素点G₂₃、像素点G₃₂、像素点G₃₄、像素点G₃₄、像素点G₄₃，第三待配准图像的两条对角线为：线段OG和线段DJ。假设：线段OG为第三线段，则第一对角直线包括：直线CE、直线AF、直线OG、直线LH、直线KI，像素点G₁₄。由于中心过直线CE的第七类像素点只有像素点G₁₄，将像素点G₁₄作为图像的一列像素点(下文将称为CE列像素点)。中心过直线AF的第七类像素点包括：像素点G₁₂、像素点G₂₃、像素点G₃₄，将像素点G₁₂、像素点G₂₃、像素点G₃₄按横坐标从小到大的顺序排列成图像的一列像素点(下文将称为AF列像素点)。中心过直线LH的第七类像素点包括：像素点G₂₁、像素点G₃₂、像素点G₄₃，将像素点G₂₁、像素点G₃₂、像素点G₄₃按横坐标从小到大的顺序排列成图像的一列像素点(下文将称为LH列像素点)。由于中心过直线KI的第七类像素点只有像素点G₄₁，将像素点G₄₁作为图像的一列像素点(下文将称为KI列像素点)。基于CE列像素点、AF列像素点、LH列像素点、KI列像素点，构建图36b所示的第十五图像。在图36b所示的第十五图像中，像素点P₁、像素点P₂、像素点P₃、像素点P₄均为第十二填充像素点，第十二填充像素点的像素值为第十四值。可选的，第十四值为0。需要理解的是，图36b所示的第十五图像中，CE列像素点、AF列像素点、LH列像素点、KI列像素点的排列顺序仅为一种示例，不应对本申请构成限定。在实际应用中，CE列像素点、AF列像素点、LH列像素点、KI列像素点的排列顺序可以是任意顺序。

对图36b所示的第十五图像中的列排序，可得到图37a所示的第十一图像或图37b所示的第十一图像。

在一种对第十五图像中的列排序的实现方式中，确定第十五图像中每一列像素点的纵坐标的第三均值，并依据第三均值得到第三指标。按第三指标从大到小的顺序排列第十五图像中的列，得到第十一图像。

上述第三均值指第十五图像中每一列像素点中所有像素点的纵坐标的均值。依据第三均值可得到第三指标，第三指标与第三均值线呈正相关或负相关。

假设第三均值为A₃，第三指标t₃。在一种依据第三均值得到第三指标的实现方式中，A₃、t₃满足下式：

t₃＝d×A₃…公式(32)

其中，d为非0实数。

在另一种依据第三均值得到第三指标的实现方式中，A₃、t₃满足下式：

t₃＝d×A₃+l…公式(33)

其中，d为非0实数，l为实数。

在一种依据第三均值得到第三指标的实现方式中，A₃、t₃满足下式：

其中，d为非0实数。

接着例5继续举例，CE列像素点包括像素点G₁₄，CE列像素点的纵坐标的均值为像素点G₁₄的纵坐标，即CE列像素点的第三均值为1。AF列像素点包括：像素点G₁₂、像素点G₂₃、像素点G₃₄，确定像素点G₁₂的纵坐标、像素点G₂₃的纵坐标和像素点G₃₄的纵坐标的均值为2，即AF列像素点的第三均值为2。LH列像素点包括：像素点G₂₁、像素点G₃₂、像素点G₄₃，确定像素点G₂₁的纵坐标、像素点G₃₂的纵坐标和像素点G₄₃的纵坐标的均值为3，即LH列像素点的第三均值为3。KI列像素点包括像素点G₄₁，KI列的纵坐标的均值为像素点G₄₁的纵坐标，即KI列像素点的第三均值为4。假设：第三均值与第三指标呈正相关，由于CE列像素点的第三均值＜AF列像素点的第三均值＜LH列像素点的第三均值＜KI列像素点的第三均值，CE列像素点的第三指标＜AF列像素点的第三指标＜LH列像素点的第三指标＜KI列像素点的第三指标。按第三指标从大到小的顺序排列第十五图像中的列，可得到图35a所示的第十一图像。假设：第三均值与第三指标呈负相关，由于CE列像素点的第三均值＜AF列像素点的第三均值＜LH列像素点的第三均值＜KI列像素点的第三均值，CE列像素点的第三指标＞AF列像素点的第三指标＞LH列像素点的第三指标＞KI列像素点的第三指标。按第三指标从大到小的顺序排列第十五图像中的列，可得到图35b所示的第十一图像。

同理，通过确定第十六图像中每一列像素点的纵坐标的第四均值，并依据第四均值得到第四指标。按第四指标从大到小的顺序排列第十六图像中的列，得到第十二图像。

上述第四均值指第十六图像中每一列像素点中所有像素点的纵坐标的均值。依据第四均值可得到第三指标。在第三均值与第三指标呈正相关的情况下，第四均值与第四指标呈正相关，在第三均值与第三指标呈负相关的情况下，第四均值与第四指标呈负相关。

假设第四均值为A₄，第四指标t₄。在一种依据第四均值得到第四指标的实现方式中，A₄、t₄满足下式：

t₄＝e×A₄…公式(35)

其中，e为非0实数。

在另一种依据第三均值得到第三指标的实现方式中，A₄、t₄满足下式：

t₄＝e×A₄+w…公式(36)

其中，e为非0实数，w为实数。

在一种依据第三均值得到第三指标的实现方式中，A₄、t₄满足下式：

其中，e为非0实数。

上述示例为，对第十五图像中的列排序得到第十一图像的示例，同理，可确定第四均值和第四指标，并依据第四指标对第十六图像中的列排序得到第十二图像，此处将不再赘述。

在另一对第十五图像中的列排序的实现方式中，按第三顺序排列第十五图像中的列，得到上述第十一图像。

在该种实现方式中，第三待配准图像的对角线还包括第三线段，第三线段与第三线段不同。本申请实施例中，第三直线为过第三线段的直线。在第三线段过第七类像素点的中心的情况下，第三直线为过第三线段的直线；在第三线段不过第七类像素点的中心的情况下，第三直线为在与第三线段平行、且过第七类像素点的中心的直线中，距离第三线段最近的直线。

例如，假设：在图36a所示的第三待配准图像中，线段JD为第三线段。由于线段JD过第七类像素点的中心，第三直线为直线JD。

又例如，假设：在图36a所示的第三待配准图像中，线段OG为第三线段。由于线段OG不过第七类像素点的中心，第三直线为在与OG平行、且过第七类像素点的中心的直线中，距离OG最近的直线。与OG平行、且过七类像素点的中心的直线包括：直线CE、直线AF、直线OG、直线LH、直线KI，其中，距离OG最近的直线包括：直线AF、直线LH。因此，第三直线为直线AF或直线LH。

将中心属于第三直线的像素点称为第三指标像素点，则第十五图像中的每列像素点均包含一个第三指标像素点。将第三指标像素点的纵坐标从大到小的顺序作为第三顺序，或将第三指标像素点的纵坐标从小到大的顺序作为第三顺序，依据第三顺序排列第十五图像中的列，得到第八图像。

接着例5继续举例，在图36a所示的第三待配准图像中，线段JD为第三线段。由于线段JD过第七类像素点的中心，第三直线为直线JD。中心属于第三直线的像素点包括：像素点G₁₄、像素点G₂₃、像素点G₃₂、像素点G₄₁，即称为第三指标像素点包括：像素点G₁₄、像素点G₂₃、像素点G₃₂、像素点G₄₁。假设：第三顺序为第三指标像素点的纵坐标从大到小的顺序，由于像素点G₁₄的纵坐标＜像素点G₂₃的纵坐标＜像素点G₃₂的纵坐标＜像素点G₄₁的纵坐标，按第三顺序排列第十五图像中的列，可得到图36a所示的图像。假设：第三顺序为第三指标像素点的纵坐标从小到大的顺序，由于像素点G₁₄的纵坐标＜像素点G₂₃的纵坐标＜像素点G₃₂的纵坐标＜像素点G₄₁的纵坐标，按第三顺序排列第十五图像中的列，可得到图36b所示的图像。

同理，按第四顺序排列第十六图像中的列，得到第十二图像。

本申请实施例中，在第三顺序为第三指标像素点的纵坐标从大到小的顺序的情况下，第四顺序为第四指标像素点的纵坐标从大到小的顺序。在第三顺序为第三指标像素点的纵坐标从小到大的顺序的情况下，第四顺序为第四指标像素点的纵坐标从小到大的顺序。第四指标像素点包括中心属于第四直线的像素点。在第四线段过第八类像素点的中心的情况下，第四直线为过第三线段的直线。在第四线段不过第八类像素点的中心的情况下，第四直线为在与第四线段平行、且过第八类像素点的中心的直线中，距离第四线段最近的直线。

上述示例为，依据第三顺序对第十五图像中的列排序得到第十一图像的示例，同理，可确定第四顺序，并依据第四顺序对第十六图像中的列排序得到第十二图像，此处将不再赘述。

作为一种可选的实施方式，图像处理装置在执行步骤1605的过程中执行以下步骤：

161、将上述第四配准结果转换为第十像素坐标系下的第五配准结果，其中，上述第十像素坐标系为上述第三待配准图像的像素坐标系。

本申请实施例中，第五配准结果为第十三像素点和第十四像素点之间的配准结果，其中，第十三像素点属于第三待配准图像，第十四像素点属于第四待配准图像。可选的，第十三像素点与第十四像素点互为同名点。

由于第七图像的像素坐标系与第三待配准图像的像素坐标系不同，在依据第四配准结果确定第十三像素点与第十四像素点之间的配准结果之前，图像处理装置需对第四配准结果进行转换，得到第十像素坐标系(即第三待配准图像的像素坐标系)下的配准结果，作为第五配准结果。

例如，图18所示的第十像素坐标系与图19所示的第七图像的像素坐标系之间的旋转角为45度的奇数倍。又例如，图24所示的第九图像通过旋转图23所示的第五图像得到，而图26所示的第七图像基于图24所示的第九图像得到，即图26所示第七图像通过旋转图23所示的第五图像得到，其中，旋转角度为45度的奇数倍。由于第五图像的像素坐标系与第三待配准图像的像素坐标系相同，第一图像的像素坐标系与第一待配准图像的像素坐标系之间的旋转角为45度的奇数倍。

162、使用上述第五配准结果对上述第三待配准图像和上述第四待配准图像进行配准处理。

在得到第五配准结果后，图像处理装置可使用第五配准结果对第三待配准图像和第四待配准图像进行配准处理，使第三待配准图像与第四待配准图像对齐。

作为一种可选的实施方式，第四配准结果包括：第三水平位移差和第三竖直位移差，第五配准结果包括：第四水平位移差和第四竖直位移差。请参阅图38，图38是本申请实施例提供的步骤161的一种可能实现方法的流程示意图。

3801、对第三水平位移差进行分解，得到第三水平位移差在第十像素坐标系下的第三水平分量和第三竖直分量，对第三竖直位移差进行分解，得到第三竖直位移差在第十像素坐标系下的第四水平分量和第四竖直分量。

本实施例中，在第四配准结果为第三参考像素点相对于第四参考像素点的位移的情况下，第三水平位移差可以是第四位移差在第八图像的像素坐标系的横坐标轴上的分量，第三竖直位移差可以是第四位移差在第八图像的像素坐标系的纵坐标轴上的分量。在第四位移差为第四参考像素点相对于第三参考像素点的位移的情况下，第三水平位移差可以是第四位移差在第七图像的像素坐标系的横坐标轴上的分量，第三竖直位移差可以是第四位移差在第七图像的像素坐标系的纵坐标轴上的分量。

在一种可能实现的方式中，图像处理装置通过对第四配准结果进行分解，可得到第四配准结果在第七图像的像素坐标系下的水平分量(即第三水平位移差)和竖直分量(即第三竖直位移差)，分别对第三水平位移差和第三竖直位移差进行分解，得到第三水平位移差在第十像素坐标系下的第三水平分量和第三竖直分量，以及第三竖直位移差在第五像素坐标系下的第四水平分量和第四竖直分量。

假设第三水平位移差为h₇，第三竖直位移差为v₇，第三水平分量为h₈，第三竖直分量为v₈，第四水平分量为h₉，第四竖直分量为v₉，将第十像素坐标系旋转至与第七图像的像素坐标系重合所需的旋转角为A₄，则h₇、h₈、v₈、A₄满足下式：

v₇、h₉、v₉、A₄满足下式：

3802、依据上述第三水平分量和上述第四水平分量得到上述第四水平位移差，依据上述第三竖直分量和上述第四竖直分量得到上述第四竖直位移差。

本申请实施例中，第五配准结果包括：第四水平位移差和第四竖直位移差。图像处理装置依据第三水平分量和第四水平分量，可得到第四水平位移差。图像处理装置依据第三竖直分量和第四竖直分量，可得到第四竖直位移差。

在一种依据第三水平分量和第四水平分量得到第四水平位移差的实现方式中，假设第三水平分量为h₈，第四水平分量为h₉，第四水平位移差为h₁₀。h₈、h₉、h₁₀满足下式：

h₁₀＝(h₈+h₉+u₃)/t₂…公式(40)

其中，t₂为第二下采样处理的下采样倍率，u₃为实数。可选的，u₃＝0。

在另一种依据第三水平分量和第四水平分量得到第四水平位移差的实现方式中，假设第三水平分量为h₈，第四水平分量为h₉，第四水平位移差为h₁₀。h₈、h₉、h₁₀满足下式：

h₁₀＝p₃×(h₈+h₉+u₃)/t₂…公式(41)

其中，t₂为第二下采样处理的下采样倍率，p₃为正数，u₃为实数。可选的，p₃＝1，u₃＝0。

在又一种依据第三水平分量和第四水平分量得到第四水平位移差的实现方式中，假设第三水平分量为h₈，第四水平分量为h₉，第四水平位移差为h₁₀。h₈、h₉、h₁₀满足下式：

在一种依据第三竖直分量和第四竖直分量得到第四竖直位移差的实现方式中，假设第三竖直分量为v₈，第四竖直分量为v₉，第四竖直位移差为v₁₀。v₈、v₉、v₁₀满足下式：

v₁₀＝(v₈+v₉+u₄)/t₂…公式(43)

其中，t₂为第二下采样处理的下采样倍率，u₄为实数。可选的，u₄＝0。

在另一种依据第三竖直分量和第四竖直分量得到第四竖直位移差的实现方式中，假设第三竖直分量为v₈，第四竖直分量为v₉，第四竖直位移差为v₁₀。v₈、v₉、v₁₀满足下式：

v₁₀＝p₄×(v₈+v₉+u₄)/t₂…公式(44)

其中，t₂为第二下采样处理的下采样倍率，p₄为正数，u₄为实数。可选的，p₄＝1，u₄＝0。

在又一种依据第三竖直分量和第四竖直分量得到第四竖直位移差的实现方式中，假设第三竖直分量为v₈，第四竖直分量为v₉，第四竖直位移差为v₁₀。v₈、v₉、v₁₀满足下式：

由于第十像素坐标系与第七图像的像素坐标系之间存在旋转角，图像处理装置无法直接使用第四配准结果对第三待配准图像和第四待配准图像进行配准。本实施例通过对第三水平位移差和第三竖直位移差第三竖直位移差进行分解，得到第三水平分量、第四水平分量、第三竖直分量、第四竖直分量，并基于第三水平分量、第四水平分量、第三竖直分量、第四竖直分量，得到第十像素坐标系下的第五配准结果。

作为一种可选的实施方式，在基于上述实施例得到第五配准结果后，图像处理装置可使用第五配准结果对第三待配准图像和第四待配准图像进行图像配准处理，该处理过程包括以下步骤：

31、依据上述第五配准结果，调整上第十三像素点的位置，得到第二配准后的图像。

图像处理装置基于第十三像素点在第三待配准图像中的位置和第五配准结果，调整第十三像素点的位置，可使第十三像素点与第十四像素点对齐，得到第二配准后的图像。

在第四配准结果为第三参考像素点相对于第四参考像素点的位移的情况下，第五配准结果为第三参考像素点相对于第四参考像素点的位移。因此图像处理装置基于第十三像素点在第三待配准图像中的位置与第五配准结果的和，调整第十三像素点的位置，可得到第二配准后的图像。

在一种可能实现的方式中，假设：第十三像素点在第三待配准图像中的位置为(x₃，y₃)，第四水平位移差为h₁₀，第四竖直位移差为v₁₀，调整后的第十三像素点的位置为(x₄，y₄)。(x₁，y₁)、h₁₀、v₁₀、(x₂，y₂)满足下式：

其中，α₃、β₃均为实数。可选的，α₃＝β₃＝0。

在另一种可能实现的方式中，假设：第十三像素点在第三待配准图像中的位置为(x₃，y₃)，第四水平位移差为h₁₀，第四竖直位移差为v₁₀，调整后的第十三像素点的位置为(x₄，y₄)。(x₁，y₁)、h₁₀、v₁₀、(x₂，y₂)满足下式：

其中，α₃、β₃均为实数，λ₃、η₃均为正数。可选的，λ₃＝η₃＝1，α₃＝β₃＝0。

在又一种可能实现的方式中，假设：第十三像素点在第三待配准图像中的位置为(x₃，y₃)，第四水平位移差为h₁₀，第四竖直位移差为v₁₀，调整后的第十三像素点的位置为(x₄，y₄)。(x₁，y₁)、h₁₀、v₁₀、(x₂，y₂)满足下式：

其中，α₃、β₃均为实数。可选的，α₃＝β₃＝0。

在第四配准结果为第十四像素点相对于第十三像素点的位移的情况下，第五配准结果为第十四像素点相对于第十三像素点的位移。因此图像处理装置基于第十三像素点在第三待配准图像中的位置与第五配准结果的差，调整第十三像素点的位置，可得到第二配准后的图像。

其中，α₄、β₄均为实数。可选的，α₄＝β₄＝0。

其中，α₄、β₄均为实数，λ₄、η₄均为正数。可选的，λ₄＝η₄＝1，α₄＝β₄＝0。

其中，α₄、β₄均为实数。可选的，α₄＝β₄＝0。

应理解，在上述描述中，图像处理装置通过调整第十三像素点的位置，实现将第三待配准图像配准第四待配准图像。而在实际应用中，图像处理装置可基于本申请实施例，调整第三待配准图像中至少一个第六类像素点的位置，以将第三待配准图像配准第四待配准图像。可选的，图像处理装置可调整第三待配准图像中每一个像素点的位置，得到第二配准后的图像。

例如，第三待配准图像包含：像素点A、像素点B、像素点C、像素点D、像素点E、像素点F，第四待配准图像包含：像素点G、像素点H、像素点I、像素点J、像素点K、像素点M。在第三待配准图像和第四待配准图像中，像素点A、像素点B、像素点C均为第六类像素点，且像素点A与像素点G互为同名点、像素点B与像素点H互为同名点、像素点C与像素点I互为同名点。假设：像素点A与像素点G之间的配准结果为配准结果4，像素点B与像素点H之间的配准结果为配准结果5，像素点C与像素点I之间的配准结果为配准结果6。

基于本申请实施例可得到配准结果4。基于本申请实施例可得到配准结果5。基于本申请实施例可得到配准结果6。基于本申请实施例可得到配准结果4和配准结果5。基于本申请实施例可得到配准结果4和配准结果6。基于本申请实施例可得到配准结果5和配准结果6。基于本申请实施例可得到配准结果4、配准结果5和配准结果6。

在得到配准结果4的情况下，基于配准结果4，调整像素点A的位置，可将第三待配准图像配准第四待配准图像，得到第二配准后的图像。在得到配准结果4和配准结果5的情况下，基于配准结果1调整像素点A的位置，并基于配准结果5调整像素点B的位置，可将第三待配准图像配准第四待配准图像，得到第二配准后的图像。在得到配准结果4、配准结果5和配准结果6的情况下，基于配准结果4调整像素点A的位置，并基于配准结果5调整像素点B的位置，并基于配准结果6调整像素点C的位置，可将第三待配准图像配准第四待配准图像，得到第二配准后的图像。

由于第十三像素点、第十四像素点均为第六类像素点，而第三待配准图像还包含除第六类像素点之外的像素点，为提高将第三待配准图像配准第四待配准图像的精度，在调整第六类像素点的位置的基础上，还需调整除第六类像素点之外的像素点的位置。

例如，在第三待配准图像包含R、G、B三个通道，且第三通道为G通道的情况下，第三待配准图像不仅包含G通道的像素点，还包含R通道的像素点和B通道的像素点。在调整G通道的像素点的位置的基础上，调整R通道的像素点的位置和/或B通道的像素点的位置，可提高将第三待配准图像配准第四待配准图像的精度。

作为一种可选的实施方式，在执行步骤31之前，执行以下步骤：

3、依据上述第五配准结果，得到第十五像素点与第十六像素点之间的第六配准结果。

本申请实施例中，第十五像素点为第三待配准图像中与第十三像素点不同的像素点，上述第十六像素点为第四待配准图像中与第十五像素点互为同名点的像素点。

由于第三待配准图像中不仅包含第六类像素点，还包含除第六类像素点之外的像素点，而上述第五配准结果为第六类像素点的配准结果，为提高第三待配准图像和第四待配准图像之间的配准精度，图像处理装置可进一步确定除第六类像素点之外的像素点的配准结果。

因为除第六类像素点之外的像素点与第六类像素点之间存在相关性(包括相似度)，所以可依据第六类像素点的配准结果确定除第六类像素点之外的像素点的配准结果。在一种可能实现的方式中，图像处理装置依据第五配准结果，得到第十五像素点与第十六像素点之间的配准结果，即第六配准结果。

可选的，在第三待配准图像中的像素点以拜耳阵列排列的情况下，任意两个相邻的像素点分属于不同的通道，第十三像素点和第十五像素点分属不同的通道，即第十五像素点为第三待配准图像中除第六类像素点之外的像素点。例如，假设在图2a中，第六类像素点包括G通道的像素点。每个第六类像素点相邻的四个像素点为，两个R通道的像素点和两个B通道的像素点。无论是R通道的像素点还是B通道的像素点，均为除第六类像素点之外的像素点。此时，图像处理装置可依据G通道的像素点的配准结果，得到R通道的像素点的配准结果和B通道的像素点的配准结果。

作为一种可选的实施方式，第五配准结果包括第五位移差，图像处理装置可依据第五位移差，确定第十五像素点与第十六像素点之间的位移差，即第六位移差，作为第六配准结果。

可选的，第五位移差包括第四水平位移差和第四竖直位移差，第六位移差包括第二中间水平位移差和第二中间竖直位移差。假设：第四水平位移差为h₁₀，第四竖直位移差为v₁₀，第二中间水平位移差h₁₁、第二中间竖直位移差为v₁₁。在一种依据第五位移差得到第六位移差的实现方式中，h₁₀、v₁₀、h₁₁、v₁₁满足下式：

其中，δ₂、σ₂为正数。可选的，δ₂＝σ₂＝1。

在另一种依据第五位移差得到第六位移差的实现方式中，h₁₀、v₁₀、h₁₁、v₁₁满足下式：

其中，δ₂、σ₂为正数，ε₂、τ₂为实数。可选的，δ₂＝σ₂＝1，ε₂＝τ₂＝0。

在又一种依据第五位移差得到第六位移差的实现方式中，h₁₀、v₁₀、h₁₁、v₁₁满足下式：

其中，δ₂、σ₂为正数。可选的，δ₂＝σ₂＝1。

在得到第六位移差之后，图像处理装置在执行步骤21的过程中执行以下步骤：

4、依据上述第五配准结果，调整上述第十三像素点的位置，并依据上述第六配准结果，调整上述第十五像素点的位置，得到上述第二配准后的图像。

图像处理装置基于第十三像素点在第三待配准图像中的位置和第五配准结果，调整第十三像素点的位置，并基于第十五像素点在第三待配准图像中的位置和第六配准结果，调整第十五像素点的位置，可使第十三像素点与第十四像素点对齐、第十五像素点与第十六像素点对齐，进而将第三待配准图像与第四待配准图像对齐，得到第二配准后的图像。

应理解，本申请实施例中的附图中，第三待配准图像均包含R、G、B三个通道，第三通道均为G通道，但在实际应用中，第三待配准图像包含的三个通道可以不是R、G、B，第三通道也可以不是G通道。本申请实施例提供的附图仅为示例，不应对本申请构成限定。

随着手机的普及以及手机的拍照功能的提升，越来越多的人们使用手机进行拍照。但由于各种原因的存在，导致手机拍摄得到的图像的质量可能不佳，如：图像模糊、图像的曝光量不合适等等。因此，在手机拍摄得到的图像的质量不佳的情况下，需要对图像进行处理，以提高图像的质量，图像融合处理为其中之一。待融合的图像之间是否配准是决定图像融合处理的效果的关键，基于本申请实施例提供的技术方案，可提高待融合的图像的配准精度，进而提升图像融合处理的效果。

例如，在用户按下拍照快门键时，手机在短时间内采集了图像A和图像B。基于本申请实施例提供的技术方案，手机对图像A和图像B进行处理，调整图像a中至少一个像素点的位置，实现将图像A向图像B配准，得到图像C。手机对图像B和图像C进行融合处理，得到图像D，并将图像D呈现给用户。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写易序并不意味着严格的执行易序而对实施过程构成任何限定，各步骤的具体执行易序应当以其功能和可能的内在逻辑确定。

上述详细阐述了本申请实施例的方法，下面提供了本申请实施例的装置。

请参阅图39，图39为本申请实施例提供的一种图像处理装置的结构示意图，该装置1包括：第一获取单元11、第一处理单元12、第二处理单元13、第三处理单元14以及确定单元15，其中：

第一获取单元11，用于获取至少两张待配准图像，其中，所述至少两张待配准图像包括：第一待配准图像和第二待配准图像，所述第一待配准图像和所述第二待配准图像均包含第一类像素点；

第一处理单元12，用于对所述第一待配准图像进行下采样处理得到第一图像，对所述第二待配准图像进行下采样处理得到第二图像，其中，所述第一图像和所述第二图像均为连续图像，所述第一图像和所述第二图像均包含所述第一类像素点，且所述第一图像的分辨率与所述第一待配准图像的分辨率的比值大于第一阈值，所述第二图像的分辨率与所述第二待配准图像的分辨率的比值大于所述第一阈值；

第二处理单元13，用于对所述第一图像和所述第二图像进行图像配准处理，得到第一配准结果；

第三处理单元14，用于依据所述第一配准结果对所述第一待配准图像和所述第二待配准图像进行配准处理。

结合本申请任一实施方式，所述第一处理单元12，用于：

结合本申请任一实施方式，所述第三处理单元14，用于：

所述第三处理单元14，用于：

结合本申请任一实施方式，所述第二配准结果为第一像素点和第二像素点的配准结果，所述第一像素点属于所述第一待配准图像，所述第二像素点为所述第二待配准图像中与所述第一像素点互为同名点的像素点，所述装置1还包括：确定单元15，用于在所述使用所述第二配准结果对所述第一待配准图像和所述第二待配准图像进行配准处理之前，依据所述第二配准结果，得到第三像素点与第四像素点之间的第三配准结果，其中，所述第三像素点为所述第一待配准图像中与所述第一像素点不同的像素点，所述第四像素点为所述第二待配准图像中与所述第三像素点互为同名点的像素点；

所述第三处理单元14，用于：

本实施例中，由于第一图像的分辨率与第一待配准图像的分辨率的比值大于0.25、第一图像的分辨率与第一待配准图像的分辨率的比值大于0.25，通过对第一图像和第二图像进行配准处理，可提高第一待配准图像与第二待配准图像之间的配准结果的精度。

请参阅图40，图40为本申请实施例提供的另一种图像处理装置的结构示意图，该装置2包括：第二获取单元21、提取单元22、第四处理单元23、第五处理单元24、第六处理单元25以及第七处理单元26，其中：

第二获取单元21，用于获取至少两张待配准图像，其中，所述至少两张待配准图像包括：第三待配准图像和第四待配准图像，所述第一待配准图像和所述第二待配准图像均包含第六类像素点；

提取单元22，用于提取所述第三待配准图像中的第三通道得到第五图像，提取所述第四待配准图像中的所述第三通道得到第六图像，其中，所述第六类像素点属于所述第三通道；

第四处理单元23，用于对所述第五图像进行下采样处理得到第七图像，对所述第六图像进行所述下采样处理得到第八图像，其中，所述第七图像和所述第八图像均为连续图像，所述第七图像和所述第八图像均包含所述第六类像素点，且所述第七图像的分辨率与所述第五图像的分辨率的比值大于第二阈值，所述第八图像的分辨率与所述第六图像的分辨率的比值大于所述第二阈值；

第五处理单元24，用于对所述第七图像和所述第八图像进行图像配准处理，得到第四配准结果；

第六处理单元25，用于依据所述第四配准结果对所述第三待配准图像和所述第四待配准图像进行配准处理。

结合本申请任一实施方式，所述第四处理单元23用于：

结合本申请任一实施方式，所述所述第四处理单元23用于：

将所述第十一图像中的像素值缩小s倍，得到所述第七图像；

所述第四处理单元23用于：

结合本申请任一实施方式，所述第四处理单元23用于：

所述第四处理单元23用于：

结合本申请任一实施方式，所述第四处理单元23用于：

所述第四处理单元23用于：

结合本申请任一实施方式，所述第六处理单元25用于：

所述第六处理单元25用于：

结合本申请任一实施方式，所述第五配准结果为第十三像素点和第十四像素点的配准结果，所述第十三像素点属于所述第三待配准图像，所述第十四像素点为所述第四待配准图像中与所述第十三像素点互为同名点的像素点，所述装置2还包括：第七处理单元26，用于在所述使用所述第五配准结果对所述第三待配准图像和所述第四待配准图像进行配准处理之前，依据所述第五配准结果，得到第十五像素点与第十六像素点之间的第六配准结果，其中，所述第十五像素点为所述第三待配准图像中与所述第十三像素点不同的像素点，所述第十六像素点为所述第四待配准图像中与所述第十五像素点互为同名点的像素点；

所述第六处理单元25用于：

本实施例中，由于第七图像的分辨率与第五图像的分辨率的比值大于0.25、第八图像的分辨率与第六图像的分辨率的比值大于0.25，第五图像的分辨率与第三待配准图像的分辨率相同、第六图像的分辨率与第四待配准图像的分辨率相同，通过对第七图像和第八图像进行配准处理，可提高第三待配准图像与第四待配准图像之间的配准结果的精度。

在一些实施例中，本申请实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。

图41为本申请实施例提供的一种图像处理装置的硬件结构示意图。该图像处理装置3包括处理器31，存储器32，输入装置33，输出装置34。该处理器31、存储器32、输入装置33和输出装置34通过连接器相耦合，该连接器包括各类接口、传输线或总线等等，本申请实施例对此不作限定。应当理解，本申请的各个实施例中，耦合是指通过特定方式的相互联系，包括直接相连或者通过其他设备间接相连，例如可以通过各类接口、传输线、总线等相连。

处理器31可以是一个或多个图形处理器(graphics processing unit，GPU)，在处理器31是一个GPU的情况下，该GPU可以是单核GPU，也可以是多核GPU。可选的，处理器31可以是多个GPU构成的处理器组，多个处理器之间通过一个或多个总线彼此耦合。可选的，该处理器还可以为其他类型的处理器等等，本申请实施例不作限定。

存储器32可用于存储计算机程序指令，以及用于执行本申请方案的程序代码在内的各类计算机程序代码。可选地，存储器包括但不限于是随机存储记忆体(random accessmemory，RAM)、只读存储器(read-only memory，ROM)、可擦除可编程只读存储器(erasableprogrammable read only memory，EPROM)、或便携式只读存储器(compact disc read-only memory，CD-ROM)，该存储器用于相关指令及数据。

输入装置33用于输入数据和/或信号，以及输出装置34用于输出数据和/或信号。输入装置33和输出装置34可以是独立的器件，也可以是一个整体的器件。

可理解，本申请实施例中，存储器32不仅可用于存储相关指令，还可用于存储相关数据，如该存储器32可用于存储通过输入装置33获取的第一待配准图像和第二待配准图像，又或者该存储器32还可用于存储通过处理器31得到的第一配准结果和第二配准结果等等，本申请实施例对于该存储器中具体所存储的数据不作限定。

可以理解的是，图41仅仅示出了一种图像处理装置的简化设计。在实际应用中，图像处理装置还可以分别包含必要的其他元件，包含但不限于任意数量的输入/输出装置、处理器、存储器等，而所有可以实现本申请实施例的图像处理装置都在本申请的保护范围之内。

图42为本申请实施例提供的另一种图像处理装置的硬件结构示意图。该图像处理装置4包括处理器41，存储器42，输入装置43，输出装置44。该处理器41、存储器42、输入装置43和输出装置44通过连接器相耦合，该连接器包括各类接口、传输线或总线等等，本申请实施例对此不作限定。应当理解，本申请的各个实施例中，耦合是指通过特定方式的相互联系，包括直接相连或者通过其他设备间接相连，例如可以通过各类接口、传输线、总线等相连。

处理器41可以是一个或多个图形处理器(graphics processing unit，GPU)，在处理器41是一个GPU的情况下，该GPU可以是单核GPU，也可以是多核GPU。可选的，处理器31可以是多个GPU构成的处理器组，多个处理器之间通过一个或多个总线彼此耦合。可选的，该处理器还可以为其他类型的处理器等等，本申请实施例不作限定。

存储器42可用于存储计算机程序指令，以及用于执行本申请方案的程序代码在内的各类计算机程序代码。可选地，存储器包括但不限于是随机存储记忆体(random accessmemory，RAM)、只读存储器(read-only memory，ROM)、可擦除可编程只读存储器(erasableprogrammable read only memory，EPROM)、或便携式只读存储器(compact disc read-only memory，CD-ROM)，该存储器用于相关指令及数据。

输入装置43用于输入数据和/或信号，以及输出装置44用于输出数据和/或信号。输入装置43和输出装置44可以是独立的器件，也可以是一个整体的器件。

可理解，本申请实施例中，存储器42不仅可用于存储相关指令，还可用于存储相关数据，如该存储器42可用于存储通过输入装置43获取的第三待配准图像和第四待配准图像，又或者该存储器42还可用于存储通过处理器41得到的第四位移差和第五位移差等等，本申请实施例对于该存储器中具体所存储的数据不作限定。

可以理解的是，图42仅仅示出了一种图像处理装置的简化设计。在实际应用中，图像处理装置还可以分别包含必要的其他元件，包含但不限于任意数量的输入/输出装置、处理器、存储器等，而所有可以实现本申请实施例的图像处理装置都在本申请的保护范围之内。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。所属领域的技术人员还可以清楚地了解到，本申请各个实施例描述各有侧重，为描述的方便和简洁，相同或类似的部分在不同实施例中可能没有赘述，因此，在某一实施例未描述或未详细描述的部分可以参见其他实施例的记载。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者通过所述计算机可读存储介质进行传输。所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriberline，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，数字通用光盘(digital versatiledisc，DVD))、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，该流程可以由计算机程序来指令相关的硬件完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。而前述的存储介质包括：只读存储器(read-only memory，ROM)或随机存储存储器(random access memory，RAM)、磁碟或者光盘等各种可存储程序代码的介质。

Claims

1.一种图像处理方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述对所述第一待配准图像进行下采样处理得到第一图像，以及所述对所述第二待配准图像进行下采样处理得到第二图像，包括：

3.根据权利要求1或2所述的方法，其特征在于，所述依据所述第一配准结果对所述第一待配准图像和所述第二待配准图像进行配准处理，包括：

4.根据权利要求3所述的方法，其特征在于，所述第一配准结果包括：第一水平位移差和第一竖直位移差，所述第二配准结果包括：第二水平位移差和第二竖直位移差；

5.根据权利要求3或4所述的方法，其特征在于，所述第二配准结果为第一像素点和第二像素点的配准结果，所述第一像素点属于所述第一待配准图像，所述第二像素点为所述第二待配准图像中与所述第一像素点互为同名点的像素点，在所述使用所述第二配准结果对所述第一待配准图像和所述第二待配准图像进行配准处理之前，所述方法还包括：

6.根据权利要求1至5中任意一项所述的方法，其特征在于，所述第一类像素点包括属于第一通道的像素点，所述第一通道为所述第一待配准图像中包含的像素点的数量最多的通道。

7.根据权利要求6所述的方法，其特征在于，所述第一待配准图像还包括第二通道，所述第二通道与所述第一通道不同；

8.根据权利要求1至7中任意一项所述的方法，其特征在于，所述第一待配准图像包括：第五像素点、第六像素点、第七像素点、第八像素点，所述第二待配准图像包括：第九像素点、第十像素点、第十一像素点、第十二像素点；

9.根据权利要求8所述的方法，其特征在于，所述第一待配准图像中像素点的排列方式和所述第二待配准图像中像素点的排列方式均为拜耳阵列。

10.一种图像处理方法，其特征在于，所述方法包括：

11.根据权利要求10所述的方法，其特征在于，所述对所述第五图像进行下采样处理得到第七图像，以及对所述第六图像进行所述下采样处理得到第八图像，包括：

12.根据权利要求10所述的方法，其特征在于，所述对所述第五图像进行下采样处理得到第七图像，以及对所述第六图像进行所述下采样处理得到第八图像，包括：

将所述第十一图像中的像素值缩小s倍，得到所述第七图像；

13.根据权利要求12所述的方法，其特征在于，所述第三待配准图像的对角线包括第一线段，所述第四待配准图像的对角线包括第二线段；

所述构建所述第十一图像和第十二图像，包括：

14.根据权利要求13所述的方法，其特征在于，所述对所述第十三图像中的行排序得到所述第十一图像，以及所述对所述第十四图像中的行排序得到所述第十二图像，包括：

15.根据权利要求14所述的方法，其特征在于，在所述第一均值与所述第一指标呈正相关的情况下，所述第二均值与所述第二指标呈正相关；

16.根据权利要求13所述的方法，其特征在于，所述第三待配准图像的对角线还包括第三线段，所述第三线段与所述第一线段不同，所述第四待配准图像的对角线还包括第四线段，所述第四线段与所述第二线段不同；

17.根据权利要求16所述的方法，其特征在于，在所述第一顺序为第一指标像素点的纵坐标从大到小的顺序的情况下，所述第二顺序为第二指标像素点的纵坐标从大到小的顺序；

18.根据权利要求13所述的方法，其特征在于，所述对所述第十五图像中的列排序得到所述第十一图像，以及所述对所述第十六图像排序得到所述第十二图像，包括：

19.根据权利要求18所述的方法，其特征在于，在所述第三均值与所述第三指标呈正相关的情况下，所述第四均值与所述第四指标呈正相关；

20.根据权利要求13所述的方法，其特征在于，所述第三待配准图像的对角线还包括第三线段，其中，所述第三线段与所述第一线段不同，所述第四待配准图像的对角线还包括第四线段，其中，所述第四线段与所述第二线段不同；

21.根据权利要求20所述的方法，其特征在于，在所述第三顺序为第三指标像素点的纵坐标从大到小的顺序的情况下，所述第四顺序为第四指标像素点的纵坐标从大到小的顺序；

22.根据权利要求10至21中任意一项所述的方法，其特征在于，所述依据所述第四配准结果对所述第三待配准图像和所述第四待配准图像进行配准处理，包括：

23.根据权利要求22所述的方法，其特征在于，所述第四配准结果包括：第三水平位移差和第三竖直位移差，所述第五配准结果包括：第四水平位移差和第四竖直位移差；

24.根据权利要求22或23所述的方法，其特征在于，所述第五配准结果为第十三像素点和第十四像素点的配准结果，所述第十三像素点属于所述第三待配准图像，所述第十四像素点为所述第四待配准图像中与所述第十三像素点互为同名点的像素点，在所述使用所述第五配准结果对所述第三待配准图像和所述第四待配准图像进行配准处理之前，所述方法还包括：

25.根据权利要求10至24中任意一项所述的方法，其特征在于，所述第六类像素点包括属于第三通道的像素点，所述第三通道为所述第三待配准图像中包含的像素点的数量最多的通道。

26.根据权利要求25所述的方法，其特征在于，所述第三待配准图像还包括第四通道，所述第四通道与所述第三通道不同；

27.根据权利要求10至26中任意一项所述的方法，其特征在于，所述第三待配准图像包括：第十七像素点、第十八像素点、第十九像素点、第二十像素点，所述第四待配准图像包括：第二十一像素点、第二十二像素点、第二十三像素点、第二十四像素点；

28.根据权利要求27所述的方法，其特征在于，所述第三待配准图像中像素点的排列方式和所述第四待配准图像中像素点的排列方式均为拜耳阵列。

29.一种图像处理装置，其特征在于，所述装置包括：

第一获取单元，用于获取至少两张待配准图像，其中，所述至少两张待配准图像包括：第一待配准图像和第二待配准图像，所述第一待配准图像包含的通道与所述第二待配准图像包含的通道相同；

第一处理单元，用于对所述第一待配准图像进行第一下采样处理得到第一图像，对所述第二待配准图像进行所述第一下采样处理得到第二图像，其中，所述第一下采样处理的第一下采样窗口的中心与第一类像素点的中心相同，所述第一类像素点包括属于第一通道的像素点，所述第一通道为所述第一待配准图像中包含的像素点的数量最多的通道，所述第一下采样窗口的面积大于所述第一类像素点的面积，所述第一类像素点的顶点位于所述第一下采样窗口的边界上；

第二处理单元，用于对所述第一图像和所述第二图像进行图像配准处理，得到第一像素点与第二像素点之间的第一配准结果，其中，所述第一像素点属于所述第一图像，所述第二像素点为所述第二图像中与所述第一像素点互为同名点的像素点；

第三处理单元，用于依据所述第一配准结果，得到第三像素点与第四像素点之间的第二配准结果，其中，所述第三像素点为所述第一待配准图像中与所述第一像素点对应的像素点，所述第四像素点为所述第二待配准图像中与所述第三像素点互为同名点的像素点。

30.一种图像处理装置，其特征在于，所述装置包括：

31.一种电子设备，其特征在于，包括：处理器和存储器，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，在所述处理器执行所述计算机指令的情况下，所述电子设备执行如权利要求1至9中任一项所述的方法。

32.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序包括程序指令，在所述程序指令被处理器执行的情况下，使所述处理器执行权利要求1至9中任意一项所述的方法。

33.一种电子设备，其特征在于，包括：处理器和存储器，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，在所述处理器执行所述计算机指令的情况下，所述电子设备执行如权利要求10至28中任一项所述的方法。

34.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序包括程序指令，在所述程序指令被处理器执行的情况下，使所述处理器执行权利要求10至28中任意一项所述的方法。