CN113034553A - 图像配准算法的评估方法、终端及存储介质 - Google Patents
图像配准算法的评估方法、终端及存储介质 Download PDFInfo
- Publication number
- CN113034553A CN113034553A CN201911253640.2A CN201911253640A CN113034553A CN 113034553 A CN113034553 A CN 113034553A CN 201911253640 A CN201911253640 A CN 201911253640A CN 113034553 A CN113034553 A CN 113034553A
- Authority
- CN
- China
- Prior art keywords
- image
- original image
- evaluation
- registration
- original
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 176
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 138
- 238000003860 storage Methods 0.000 title claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 146
- 238000006073 displacement reaction Methods 0.000 claims abstract description 62
- 230000000694 effects Effects 0.000 claims abstract description 42
- 238000000034 method Methods 0.000 claims description 76
- 230000008569 process Effects 0.000 claims description 33
- 230000015654 memory Effects 0.000 claims description 26
- 238000013507 mapping Methods 0.000 claims description 15
- 238000013210 evaluation model Methods 0.000 claims description 14
- 238000010586 diagram Methods 0.000 description 33
- 238000012360 testing method Methods 0.000 description 21
- 238000005286 illumination Methods 0.000 description 16
- 238000004088 simulation Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 230000006835 compression Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 238000011158 quantitative evaluation Methods 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 210000003128 head Anatomy 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
Abstract
本申请实施例公开了一种图像配准算法的评估方法、终端及存储介质，该图像配准算法的评估方法包括：通过同一个拍摄装置获取第一原始图像和第二原始图像；基于预设干扰模式，对第一原始图像和第二原始图像进行图像处理，生成基准图像和待配准图像；其中，预设干扰模式用于干扰信息的模拟；利用待评估算法对基准图像和待配准图像进行图像配准处理，获得位移信息；根据位移信息、第一原始图像以及第二原始图像，获得评估结果；其中，评估结果用于对待评估算法的配准效果进行评价。
Description
技术领域
本申请实施例涉及图像处理技术领域，尤其涉及一种图像配准算法的评估方法、终端及存储介质。
背景技术
图像配准是将不同时间、不同传感器(成像设备)或不同条件下(天候、照度、摄像位置和角度等)获取的两幅或多幅图像进行匹配、叠加的过程。不同的配准方法得到的配准结果的精确度都会有所不同，从而可以通过对配准结果进行评估来衡量不同配准算法的优劣。由此可见，对图像配准算法进行准确的评估极为关键。
但是拍摄过程中存在的噪声、运动物体以及不同照度，往往会对配准效果的评估产生影响，造成无法对图像配准算法进行精确定量评估的缺陷，降低了评估的准确定，从而无法精准的衡量全局图像配准算法的优劣，智能性差。
发明内容
本申请实施例提供了一种图像配准算法的评估方法、终端及存储介质，可以提高评估的准确性，进而可以精准的衡量全局图像配准算法的优劣，提升终端的智能性。
本申请实施例的技术方案是这样实现的：
第一方面，本申请实施例提供了一种图像配准算法的评估方法，所述方法包括：
通过同一个拍摄装置获取第一原始图像和第二原始图像；
基于预设干扰模式，对所述第一原始图像和所述第二原始图像进行图像处理，生成基准图像和待配准图像；其中，所述预设干扰模式用于干扰信息的模拟；
利用待评估算法对所述基准图像和所述待配准图像进行图像配准处理，获得位移信息；
根据所述位移信息、所述第一原始图像以及所述第二原始图像，获得评估结果；其中，所述评估结果用于对所述待评估算法的配准效果进行评价。
第二方面，本申请实施例提供了一种终端，所述终端包括：获取单元和生成，
所述获取单元，用于通过同一个拍摄装置获取第一原始图像和第二原始图像；
所述生成单元，用于基于预设干扰模式，对所述第一原始图像和所述第二原始图像进行图像处理，生成基准图像和待配准图像；其中，所述预设干扰模式用于干扰信息的模拟；
所述获取单元，还用于利用待评估算法对所述基准图像和所述待配准图像进行图像配准处理，获得位移信息；以及根据所述位移信息、所述第一原始图像以及所述第二原始图像，获得评估结果；其中，所述评估结果用于对所述待评估算法的配准效果进行评价。
第三方面，本申请实施例提供了一种终端，所述终端包括处理器、存储有所述处理器可执行指令的存储器，当所述指令被所述处理器执行时，实现如上所述的图像配准算法的评估方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有程序，应用于终端中，所述程序被处理器执行时，实现如上所述的图像配准算法的评估方法。
本申请实施例提供了一种图像配准算法的评估方法、终端及存储介质，终端通过同一个拍摄装置获取第一原始图像和第二原始图像；基于预设干扰模式，对第一原始图像和第二原始图像进行图像处理，生成基准图像和待配准图像；其中，预设干扰模式用于干扰信息的模拟；利用待评估算法对基准图像和待配准图像进行图像配准处理，获得位移信息；根据位移信息、第一原始图像以及第二原始图像，获得评估结果；其中，评估结果用于对待评估算法的配准效果进行评价。由此可见，在本申请的实施例中，在对全局图像配准算法进行评估时，可以基于没有干扰因素的第一原始图像和第二原始图像，通过预设干扰模式对拍摄时的干扰信息进行模拟获得可控制的测试数据，即基准图像和待配准图像，然后在根据待估计算法对基准图像和待配准图像进行配准处理之后，利用没有干扰因素的图像数据对配准结果进行评估，从而获得准确的评估结果。也就是说，在本申请中，终端通过模拟拍照时的噪声、不同照度及运动物体等多种干扰情况，获得两套图像数据分别对全局图像配准算法进行测试和评估，从而可以提高评估的准确性，进而能够精准的衡量全局图像配准算法的优劣，提升终端的智能性。
附图说明
图1为图像配准算法的评估方法的实现流程示意图一；
图2为获取第一原始图像和第二原始图像的示意图；
图3为图像配准算法的评估方法的实现流程示意图二；
图4为基于预设干扰模式的图像处理流程框图一；
图5为基于预设干扰模式的图像处理流程框图二；
图6为模拟运动处理的示意图一；
图7为模拟运动处理的示意图二；
图8为模拟运动处理的示意图三；
图9为评估图像的生成框图一；
图10为评估图像的生成框图二；
图11为原始图像信息的示意图；
图12为评估图像信息的示意图；
图13为终端的组成结构示意图一；
图14为终端的组成结构示意图二。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。可以理解的是，此处所描述的具体实施例仅仅用于解释相关申请，而非对该申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关申请相关的部分。
图像配准(Image registration)是图像处理中的一种常见方法，在多帧图像的拍摄中，由于拍摄装置移动，拍摄的图像在内容上会产生微小差别，在多帧图像处理中往往需要优先对图像进行全局配准(global registration)后再进行各种其他处理。也就是说，图像配准是将不同时间、不同传感器(成像设备)或不同条件下(天候、照度、摄像位置和角度等)获取的两幅或多幅图像进行匹配、叠加的过程，它已经被广泛地应用于遥感数据分析、计算机视觉、图像处理等领域。
具体地，图像配准的技术方案主要为：首先对两幅图像进行特征提取得到特征点；通过进行相似性度量找到匹配的特征点对；然后通过匹配的特征点对得到图像空间坐标变换参数；最后由坐标变换参数进行图像配准。
图像配准的方法主要分为基于像素的配准方法、基于特征的配准方法以及基于模型的配准方法这三类，其中，前两种方法是全局图像配准技术，需要假设图像中的对象的改变原因往往是由运动引起的，第三中方法适合图像中的对象支架局部的非线性的变形校正，这种失真通常由于成像系统空间编码的非线性引起的。
不同的配准方法得到的配准结果的精确度都会有所不同，从而可以通过对配准结果进行评估来衡量不同配准算法的优劣。由此可见，对图像配准算法进行准确的评估极为关键。
目前，在对图像配准算法进行评估时，通常用配准算法计算得到的移动向量与其真值(ground truth)之间的均方根误差(Root Mean Square Error，RMSE)、均方误差(MeanSquare Error，RMSE)，或者用配准后的图像和基准图像的结构相似度(StructuralSimilarity Index，SSIM)、像素绝对值差之和等指标作为评估的标准。
虽然上述指标均可在一定程度上体现图像配准算法的配准效果。但是拍摄过程中存在的噪声、运动物体以及不同照度，往往会对配准效果的评估产生影响，很难对图像配准算法进行精确定量评估。具体地，对于连拍或视频图像的全局配准，由于透视现象的存在很难通过某一种变换(如仿射变换或单应变换等)去精确拟合，导致很难得到全局配准中像素点移动量的真值(ground truth)。如果用配准后的图像与基准图像的结构相似度或像素绝对值差之和来评估效果，又会受到不同亮度或局部运动物体以及噪声的干扰。
综上所述，由于拍摄过程中噪声、运动物体以及不同照度的影响，很难对连拍或视频图像的配准算法做出精确定量的评估。为了克服上述缺陷，本申请所提出的一种图像配准算法的评估方法，在对全局图像配准算法进行评估时，可以基于没有干扰因素的第一原始图像和第二原始图像，通过预设干扰模式对拍摄时的干扰信息进行模拟获得可控制的测试数据，即基准图像和待配准图像，然后在根据待估计算法对基准图像和待配准图像进行配准处理之后，利用没有干扰因素的图像数据对配准结果进行评估，从而获得准确的评估结果。也就是说，在本申请中，终端通过模拟拍照时的噪声、不同照度及运动物体等多种干扰情况，获得两套图像数据分别对全局图像配准算法进行测试和评估，从而可以提高评估的准确性，进而可以精准的衡量全局图像配准算法的优劣，提升终端的智能性。
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
本申请一实施例提供了一种图像配准算法的评估方法，该图像配准算法的评估方法应用于终端中，图1为图像配准算法的评估方法的实现流程示意图一，如图1所示，在本申请的实施例中，终端评估图像配准算法的方法可以包括以下步骤：
步骤101、通过同一个拍摄装置获取第一原始图像和第二原始图像。
在本申请的实施例中，终端可以先通过同一个拍摄装置获取第一原始图像和第二原始图像。其中，第一原始图像和第二原始图像可以是相同的拍摄装置、在相同的拍摄环境中、利用相同的拍摄参数采集的，即第一原始图像和第二原始图像可以对连拍的两帧图像或视频中连续的两帧图像进行模拟。
可以理解的是，在本申请的实施例中，第一原始图像和第二原始图像可以用于生成评估图像配准算法的评估数据，第一原始图像和第二原始图像还可以用于对待评估的图像配准算法进行评估。其中，第一原始图像和第二原始图像可以为原始图像文件，即RAW图像。
原始图像文件包含从数码相机、扫描器或电影胶片扫描仪的图像传感器所处理数据。之所以这样命名，是因为他们尚未被处理，未被打印或用于编辑。通常情况下，原始图像有宽色域的内部色彩，可以进行精确的调整，可以在转换之前作出一些简单修改，如标签图像文件格式(Tag Image File Format，TIFF)或联合图像专家组(Joint PhotographicExperts Group，JPEG)文件格式存储，方便打印，或进一步的处理。原始图像文件，有时也被称为数字底片，因为它们充当与电影底片相同的角色，并不是作为图像直接使用，而是创建一个包含所有信息的图像。
需要说明的是，在本申请的实施例中，终端可以为任何具备通信和存储功能的设备，例如：平板电脑、手机、电子阅读器、遥控器、个人计算机(Personal Computer，PC)、笔记本电脑、车载设备、网络电视、可穿戴设备等设备。
可以理解的是，在本申请的实施例中，终端可以配置有拍摄装置，从而可以利用拍摄装置获取第一原始图像和第二原始图像。
进一步地，在本申请的实施例中，终端在通过同一个拍摄装置获取第一原始图像和第二原始图像时，可以先通过所述同一个拍摄装置在第一位置获取第一图像组，然后可以在第二位置获取第二图像组。接下来，可以终端可以继续根据第一图像组确定第一原始图像，同时根据第二图像组确定第二原始图像。
可以理解的是，在本申请的实施例中，拍摄第一图像组的第一位置和拍摄第二图像组的第二位置之间的距离属于预设偏移范围。具体地，由于第一原始图像和第二原始图像用于生成评估图像配准算法的评估数据，也就是说，第一原始图像和第二原始图像可以用于模拟连续两帧图像，因此，第一原始图像和第二原始图像之间的移动距离不能太大，因此，可以限制第一位置和第二位置之间的距离不超过预设偏移范围。
需要说明的是，在本申请的是，第一图像组中包括在第一位置拍摄获得的至少一帧原始图像，相应地，第一图像组中包括在第二位置拍摄获得的至少一帧原始图像。
示例性的，在本申请的实施例中，终端在获取第一图像组和第二图像组之后，可以分别对第一图像组和第二图像组进行平均处理，获得第一原始图像和第二原始图像，从而可以消除图像噪声带来的影响，保证第一原始图像和第二原始图像之间的区别只有因拍摄装置的运动造成的。
示例性的，在本申请中，图2为获取第一原始图像和第二原始图像的示意图，终端可以固定到三脚架和云台上，三角架和云台的设置如图2，终端在第一位置对目标场景进行等曝光(constant exposure)连拍，拍摄获得第一图像组，然后移动三脚架并且随机转动云台后再次固定终端，然后按上述方式采用同样的参数(自动对焦AF、自动曝光AE、自动白平衡AWB、感光度ISO等)在第二位置对目标场景进行等曝光连拍，完成第二图像组的拍摄。需要注意的是，要对三脚架和云台的移动距离进行限制，即第一位置和第二位置之间的距离不超过预设偏移范围，从而可以模拟终端产生的微小移动。可以记录拍摄装置的空间位移和转动量，用于后面算法的评估。其中，目标场景要处于静止状态，尽量保证所拍摄的第一图像组和第二图像组之间的不同只因终端在第一位置和第二位置之间的移动而造成。拍摄的过程中可采用遥控拍摄的方法保证终端的稳定性。具体地，第一图像组和第二图像组中的拍摄数据需要记录为RAW格式，即线性域图像数据，以便对数据进行附加处理(增加噪声、调整图像灰度等)。进一步地，终端分别对第一图像组和第二图像组进行平均处理，得到两张新的原始图像，即第一原始图像和第二原始图像，可以用于对待评估的图像配准算法进行评估。
步骤102、基于预设干扰模式，对第一原始图像和第二原始图像进行图像处理，生成基准图像和待配准图像；其中，预设干扰模式用于干扰信息的模拟。
在本申请的实施例中，终端在通过同一个拍摄装置获取第一原始图像和第二原始图像之后，可以基于预设干扰模式，分别对第一原始图像和第二原始图像进行图像处理，从而生成基准图像和待配准图像。
需要说明的是，在本申请的实施例中，在图像配准的实际处理中，可能存在许多影响配准结果精度的干扰情况，例如拍摄时的噪声、不同照度及运动物体等多种情况。因此，在利用待评估算法进行图像配准之前，需要对模拟连拍的两帧图像或视频中连续的两帧图像的第一原始图像和第二原始图像进行干扰信息的选择和增加，从而生成更真实的模拟数据，即基准图像和待配准图像。
需要说明的是，在本申请的实施例中，干扰信息可以包括模拟噪声信息、模拟光源信息、模拟曝光信息以及模拟运动信息。
可以理解的是，在本申请的实施例中，终端在基于预设干扰模式，对第一原始图像和第二原始图像进行图像处理之前，需要先从干扰信息中选择待增加干扰，并确定待增加干扰对应的设置参数，然后可以根据待增加干扰和设置参数，确定预设干扰模式。也就是说，在本申请中，终端在进行其中干扰信息的增加时，可以选择性的模拟连续拍摄时可能遇到的各种情况，因此，生成的预设干扰模式可以相应地包括模拟噪声处理、模拟光源处理、模拟曝光处理以及模拟运动处理中的至少一种处理方式。
进一步地，在本申请的实施例中，终端在基于预设干扰模式，分别对第一原始图像和第二原始图像选择性的增加干扰信息时，还会同时基于图像信号处理(Image SignalProcessing，ISP)流程，对第一原始图像和第二原始图像进行图像信号处理，最终生成基准图像和待配准图像。
可以理解的时，在本申请中，终端生成的基准图像和待配准图像为比特压缩后的第一原始图像和第二原始图像，具体地，终端既可以将处理后的、比特压缩后的第一原始图像确定为待配准图像，将处理后的、比特压缩后的第二原始图像确定为基准图像，也可以将处理后的、比特压缩后的第二原始图像确定为待配准图像，将处理后的、比特压缩后的第一原始图像确定为基准图像，在此不进行具体限定。
示例性的，在本申请中，基准图像和待配准图像可以为8bit的原始图像，相应地，基准图像和待配准图像也可以对连拍的两帧图像或视频中连续的两帧图像进行模拟，具体地，基准图像和待配准图像可以作为待评估算法的输入数据。
示例性的，在本申请的实施例中，终端在模拟噪声处理时，可以利用预设噪声模型进行噪声信号的增加，以模拟某种拍摄图像的图片噪声效果。
示例性的，在本申请的实施例中，终端在模拟光源处理时，可以进行局部的亮度调整，以模拟人造光源(如闪光灯)的图像效果。
示例性的，在本申请的实施例中，终端在模拟曝光处理时，可以通过增益的调整来模拟不同的曝光拍摄。
示例性的，在本申请的实施例中，终端在模拟运动处理时，可以利用掩模图像来增加运动物体，以模拟拍照中运动物体的运动模糊(motion blur)。
需要说明的是，在本申请的实施例中，终端在对预设干扰模式进行确定时，第一原始图像对应增加的干扰信息和设置参数应该与第二原始图像对应增加的干扰信息和设置参数保持一致(模拟运动信息除外)，即对第一原始图像和第二原始图像同步进行干扰模拟。
可以理解的是，在本申请的实施例中，终端都第一原始图像和第二原始图像进行的图像信号处理，具体可以包括自动白平衡、gama校正以及降噪处理等。
步骤103、利用待评估算法对基准图像和待配准图像进行图像配准处理，获得位移信息。
在本申请的实施例中，终端在基于预设干扰模式，对第一原始图像和第二原始图像进行图像处理，生成基准图像和待配准图像之后，便可以进一步利用待评估算法对基准图像和待配准图像进行图像配准处理，获得图像配准结果，即位移信息。其中，待评估算法可以为任意一种图像配准算法。
需要说明的是，在本申请的实施例中，终端在经过图像处理获得基准图像和待配准图像之后，便可以将基准图像和待配准图像同时输入至待评估算法中，对基准图像和待配准图像进行图像配准处理，从而可以输出两者之间的位移信息。
可以理解的是，在本申请的实施例中，位移信息可以为基准图像和待配准图像所对应的全部像素的位移图，还可以为利用位移图生成的位移量。
进一步地，在本申请的实施例中，位移信息可以表征以基准图像的全部像素为基准的、待配准图像的全部像素在x轴和y轴方向上的移动量。
步骤104、根据位移信息、第一原始图像以及第二原始图像，获得评估结果；其中，评估结果用于对待评估算法的配准效果进行评价。
在本申请的实施例中，终端在利用待评估算法对基准图像和待配准图像进行图像配准处理，获得位移信息之后，便可以进一步根据位移信息、第一原始图像以及第二原始图像对待评估算法进行评估，从而可以获得评估结果。
需要说的是，在本申请的实施例中，评估结果可以用于对待评估算法的配准效果进行评价。示例性的，在本申请的实施例中，评估结果可以利用残差指标进行确定，其中，残差指标越小，可以认为评估结果为配准效果较好，相应地，残差指标越大，可以认为评估结果为配准效果较差。
进一步地，在本申请的实施例中，终端在对待评估算法进行评估时，可以先利用位移信息对第一原始图像或第二原始图像进行映射处理，从而可以生成对应的评估图像，包括第一评估图像或第二评估图像，然后便可以继续根据评估图像和预设评估模型对配准残差进行确定，从而可以根据配准残差生成最终的评估结果。
可以理解的是，在本申请的实施例中，终端在利用位移信息对第一原始图像进行映射处理时，可以将第一原始图像中的全部像素点按照位移信息映射为第一评估图像，其中，第一评估图像为RAW图，可以用于对待评估算法进行定量评估。
相应地，在本申请中，终端在利用位移信息对第二原始图像进行映射处理时，可以将第二原始图像中的全部像素点按照位移信息映射为第二评估图像，其中，第二评估图像为RAW图，可以用于对待评估算法进行定量评估。
进一步地，在本申请的实施例中，终端在将按照位移信息进行映射处理时，如果位移信息对应的位移量不为整数，则需要在映射后做插值处理，具体地，本申请可以采用比较常见的双线性插值或双三次插值进行差值处理，这里不作具体限定。
需要说明的是，在本申请的实施例中，预设评估模型用于对待评估算法的配准效果进行评价。示例性的，在本申请中，终端可以采用拉普拉斯金字塔多尺度求残差的方式建立预设评估模型，以获得配准残差，并根据配准残差生成评估结果。
可以理解的是，在本申请的实施例中，第一原始图像和第二原始图像是相同的拍摄装置、在相同的拍摄环境中、利用相同的拍摄参数采集的，即第一原始图像和第二原始图像具有同样条件(灰度、噪声水平等)，因此，经过映射处理后的第一评估图像和第二原始图像也具有同样条件，因此，终端可以利用第二原始图像和第一评估图像对待评估算法进行定量评估；相应地，经过映射处理后的第二评估图像和第一原始图像也具有同样条件。因此，终端可以利用第一原始图像和第二评估图像对待评估算法进行定量评估。
在本申请的实施例中，通过上述步骤101至步骤104所提出的方法，终端可以利用干扰因素的模拟，获得两套不同的图像数据，包括第一原始图像、第二原始图像，和基准图像和待配准图像，其中，第一原始图像、第二原始图像是没有排除噪声、局部运动物体以及照度变化等干扰的图像数据，用于对待评估算法进行评价，而基准图像和待配准图像是通过预设干扰模式增加了模拟图像噪声、局部运动物体以及照度变化等干扰的图像数据，用于对待评估算法进行测试，可见，本申请提出的评估方法，可以通过模拟图像噪声、局部运动物体以及照度变化等情况，配对生成评估数据和测试数据，正是由于评估数据和测试数据是终端通过干扰因素的增加和去除获得的，因此评估时可以排除这些干扰因素，以实现对配准效果做精确定量的评估。另外，本申请还提出一种新的图像配准评估指标，即配准残差，相比于传统指标可以更全面地评估图像配准算法的配准效果。
本申请实施例提出的一种图像配准算法的评估方法，终端通过同一个拍摄装置获取第一原始图像和第二原始图像；基于预设干扰模式，对第一原始图像和第二原始图像进行图像处理，生成基准图像和待配准图像；其中，预设干扰模式用于干扰信息的模拟；利用待评估算法对基准图像和待配准图像进行图像配准处理，获得位移信息；根据位移信息、第一原始图像以及第二原始图像，获得评估结果；其中，评估结果用于对待评估算法的配准效果进行评价。由此可见，在本申请的实施例中，在对全局图像配准算法进行评估时，可以基于没有干扰因素的第一原始图像和第二原始图像，通过预设干扰模式对拍摄时的干扰信息进行模拟获得可控制的测试数据，即基准图像和待配准图像，然后在根据待估计算法对基准图像和待配准图像进行配准处理之后，利用没有干扰因素的图像数据对配准结果进行评估，从而获得准确的评估结果。也就是说，在本申请中，终端通过模拟拍照时的噪声、不同照度及运动物体等多种干扰情况，获得两套图像数据分别对全局图像配准算法进行测试和评估，从而可以提高评估的准确性，进而能够精准的衡量全局图像配准算法的优劣，提升终端的智能性。
基于上述实施例，在本申请的再一实施例中，图3为图像配准算法的评估方法的实现流程示意图二，如图3所示，终端在通过同一个拍摄装置获取第一原始图像和第二原始图像之后，即步骤101之后，且在基于预设干扰模式，对第一原始图像和第二原始图像进行图像处理，生成基准图像和待配准图像之前，即步骤102之前，终端进行图像配准算法的评估的方法还可以包括以下步骤：
步骤105、从干扰信息中选择待增加干扰，并确定待增加干扰对应的设置参数。
在本申请的实施例中，终端可以先从干扰信息中选择待增加干扰，同时确定出带增加干扰对应的设置参数。其中，干扰信息可以包括模拟噪声信息、模拟光源信息、模拟曝光信息以及模拟运动信息。
也就是说，在本申请的实施例中，终端可以对模拟噪声信息、模拟光源信息、模拟曝光信息以及模拟运动信息分别进行选择，同时，可以对选择后的待增加干扰进行具体设置参数的确定。示例性的，终端从干扰信息中选择模拟噪声信息和模拟光源信息作为待增加干扰，同时，确定出噪声信号对应的设置参数以及亮度调整对应的设置参数。
步骤106、根据待增加干扰和设置参数，确定预设干扰模式。
在本申请的实施例中，终端在从干扰信息中选择待增加干扰，同时确定出带增加干扰对应的设置参数之后，可以进一步根据待增加干扰和设置参数，确定预设干扰模式；其中，预设干扰模式包括：模拟噪声处理、模拟光源处理、模拟曝光处理以及模拟运动处理中的至少一种。
可以理解的是，在本申请的实施例中，对应于包括模拟噪声信息、模拟光源信息、模拟曝光信息以及模拟运动信息的干扰信息，预设干扰模式可以包括模拟噪声处理、模拟光源处理、模拟曝光处理以及模拟运动处理中的至少一种。示例性的，如果终端从干扰信息中选择模拟噪声信息和模拟光源信息作为待增加干扰，并在确定出对应的设置参数之后，进一步生成的预设干扰模式可以包括模拟噪声处理和模拟光源处理。
也就是说，在本申请的实施例中，终端可以对预设干扰模式进行具体的设置，包括选择不同干扰的模拟处理，以及不同处理对应的参数，从而可以通过预设干扰模式模拟不等曝或、不同噪声等情况下拍摄的图像。
需要说明的是，在本申请的实施例中，终端在根据待增加干扰和设置参数，确定预设干扰模式之后，便可以基于预设干扰模式，对第一原始图像和第二原始图像进行图像处理。具体地，终端可以基于预设干扰模式，对第一原始图像增加干扰信息和图像信号处理，生成第一处理图像；同时，对第二原始图像增加干扰信息和图像信号处理，生成第二处理图像。
图4为基于预设干扰模式的图像处理流程框图一，终端需要对第一原始图像和第二原始图像进行图像处理以得到常见的8bit图像数据。具体地，终端可以模拟一般常用的图像信号处理方案，同时，为了模拟连续拍摄时可能遇到的各种干扰，在ISP模拟流程中，终端可以选择增加模拟噪声处理、模拟光源处理、模拟曝光处理以及模拟运动处理这几个可选的模拟干扰方式。示例性的，如图4所示，终端确定的预设干扰模式包括模拟噪声处理、模拟曝光处理以及模拟运动处理，基于预设干扰模式，在通过同一个拍摄装置获取第一原始图像和第二原始图像之后，终端可以同时对第一原始图像和第二原始图像依次进行模拟噪声处理(步骤201)、模拟曝光处理(步骤202)以及模拟运动处理(步骤203)，并在经过ISP处理(图像信号处理，具体可以包括自动白平衡(步骤204)、gama校正(步骤205)以及降噪处理(步骤206)等)后生成第一处理图像和第二处理图像。
图5为基于预设干扰模式的图像处理流程框图二，终端需要对第一原始图像和第二原始图像进行图像处理以得到常见的8bit图像数据。具体地，终端可以模拟一般常用的图像信号处理方案，同时，为了模拟连续拍摄时可能遇到的各种干扰，在ISP模拟流程中，终端可以选择增加模拟噪声处理、模拟光源处理、模拟曝光处理以及模拟运动处理这几个可选的模拟干扰方式。示例性的，如图5所示，终端确定的预设干扰模式包括模拟噪声处理、模拟光源处理、模拟曝光处理以及模拟运动处理，基于预设干扰模式，在通过同一个拍摄装置获取第一原始图像和第二原始图像之后，终端可以同时对第一原始图像和第二原始图像依次进行模拟噪声处理(步骤301)、模拟光源处理(步骤302)、模拟曝光处理(步骤303)，并在经过ISP处理(图像信号处理，具体可以包括自动白平衡(步骤304)、gama校正(步骤305)以及降噪处理(步骤306)等等)之后，第二原始图像对应的图像数据生成第二处理图像；而终端继续对第一原始图像对应的图像数据进行模拟运动处理(步骤307)，最终生成第一处理图像。
通过图和图可知，在本申请中，由于模拟运动处理用于对拍摄时运动物体的干扰进行模拟，因此，可以选择只对第一原始图像或者第二原始图像进行模拟运动处理，然而，对于模拟运动信息以外的其他干扰信息，终端在对预设干扰模式进行确定时，第一原始图像对应增加的干扰信息和设置参数应该与第二原始图像对应增加的干扰信息和设置参数保持一致，即对第一原始图像和第二原始图像同步进行干扰模拟。
需要说明的是，在本申请的实施例中，终端在基于预设干扰模式，对第一原始图像和第二原始图像进行图像处理，生成第一处理图像和第二处理图像之后，既可以将第一处理图像确定为待配准图像，将第二处理图像确定为基准图像，也可以将第一处理图像确定为基准图像，将第二处理图像确定为待配准图像。
可以理解的是，在本申请的实施例中，被压缩后的基准图像和待配准图像可以作为实际的测试数据输入到待评估算法中，而未经处理的第一原始图像和第二原始图像可以保留用于对待评估算法进行配准效果的评估。
进一步地，在本申请的实施例中，终端在模拟噪声处理时，可以利用预设噪声模型进行噪声信号的增加，以模拟某种拍摄图像的图片噪声效果。其中，预设噪声模型与进行图像拍摄的图像传感器相对应，示例性的，在本申请中，预设噪声模型符合正态分布，可以表示如下式：
y～N(μ＝x，σ2＝λread+λshotX) (1)
其中，X为真实信号的强度，对于特定的拍摄装置，噪声可以主要分为读取噪声read noise和散粒噪声shot noise两种。参照下式，读取噪声对应的模型参数λread和散粒噪声对应的模型参数λshot都可以在实际中测量得出：
λshot＝gaσa (3)
其中，gd为拍摄装置信号的数位增益，ga为拍摄装置信号的模拟增益。
通过上述公式(1)至公式(3)，终端可以模拟某种特定拍摄装置拍摄图像的图片噪声效果。也就是说，终端可以通过预设噪声模型估计拍摄装置的噪声号。
进一步地，在本申请的实施例中，终端在模拟光源处理时，可以直接对图像的局部进行亮度调整，从而可以模拟人造光源(如闪光灯)的图像效果。
进一步地，在本申请的实施例中，终端在模拟曝光处理时，由于RAW图像为线性域，因此可以直接调整图像的增益，用于模拟不等曝光的拍摄。
进一步地，在本申请的实施例中，在模拟运动处理时，可以利用掩模图像来增加运动物体。具体地，终端可以先对图像进行语义分割(可人工或算法自动完成)，然后把分割后前景物体的一部分或全部作为掩模(mask)，进而产生一个大小和方向均为随机的随机向量，然后将掩模范围内的像素点沿向量方向进行移动，从而产生模拟移动物体的效果。进一步地，为了让模拟效果更佳逼真，还可以让掩模内像素点的移动向量有一定的随机性，即大小和方向在一定范围内变动，并对移动的像素点沿运动方向模糊以模拟拍照中运动物体的运动模糊。进一步地，对于掩模移动后留下的空白区域，终端可以采用图像修复方法进行修复，便可以将掩模区域和掩模移动后的区域的并集作为掩模图像，具体地，可以将掩模覆盖区域的灰度值设为255，其余的灰度值为0。
示例性的，图6为模拟运动处理的示意图一，图7为模拟运动处理的示意图二，图8为模拟运动处理的示意图三，如图6和图7所示，终端可以先对图像进行分割处理，获得前景物体，并将前景物体的一部分或全部作为掩模。然后终端可以将掩模范围内的像素点沿向量方向进行移动。在图8中，终端可以将掩模区域和掩模移动后的区域的并集作为掩模图像，其中，终端可以对掩模移动后留下的空白区域进行修复。
可以理解的是，在本申请中，深度学习在图像修复方面取得了非常好的结果，提供了很多图像修复的方式，终端在进行图像修复时可以采取效果较好的图像修复方式，如图片去水印工具inpaint，在此本申请不作具体限定。
需要说明的是，在本申请的实施例中，第一原始图像、第二原始图像以及掩膜图像可以用于对待评估算法进行评估，基准图像和待配准图像可以输入待评估算法进行，用于对待评估算法进行测试。也就是说，本申请的图像配准算法，正是提出了包括第一原始图像、第二原始图像、基准图像以及待配准图像的测试数据集，其中，第一原始图像、第二原始图像是没有排除噪声、局部运动物体以及照度变化等干扰的图像数据，用于对待评估算法进行评价，而基准图像和待配准图像是通过预设干扰模式增加了模拟图像噪声、局部运动物体以及照度变化等干扰的图像数据，用于对待评估算法进行测试，可见，本申请提出的评估方法，可以通过模拟图像噪声、局部运动物体以及照度变化等情况，配对生成评估数据和测试数据，正是由于评估数据和测试数据是终端通过干扰因素的增加和去除获得的，因此评估时可以排除这些干扰因素，以实现对配准效果做精确定量的评估。另外，本申请还提出一种新的图像配准评估指标，即配准残差，相比于传统指标可以更全面地评估图像配准算法的配准效果。
本申请实施例提出的一种图像配准算法的评估方法，终端通过同一个拍摄装置获取第一原始图像和第二原始图像；基于预设干扰模式，对第一原始图像和第二原始图像进行图像处理，生成基准图像和待配准图像；其中，预设干扰模式用于干扰信息的模拟；利用待评估算法对基准图像和待配准图像进行图像配准处理，获得位移信息；根据位移信息、第一原始图像以及第二原始图像，获得评估结果；其中，评估结果用于对待评估算法的配准效果进行评价。由此可见，在本申请的实施例中，在对全局图像配准算法进行评估时，可以基于没有干扰因素的第一原始图像和第二原始图像，通过预设干扰模式对拍摄时的干扰信息进行模拟获得可控制的测试数据，即基准图像和待配准图像，然后在根据待估计算法对基准图像和待配准图像进行配准处理之后，利用没有干扰因素的图像数据对配准结果进行评估，从而获得准确的评估结果。也就是说，在本申请中，终端通过模拟拍照时的噪声、不同照度及运动物体等多种干扰情况，获得两套图像数据分别对全局图像配准算法进行测试和评估，从而可以提高评估的准确性，进而能够精准的衡量全局图像配准算法的优劣，提升终端的智能性。
基于上述实施例，本申请实施例提出的一种图像配准算法的评估方法，如果终端将第一处理图像确定为待配准图像，将第二处理图像确定为基准图像，那么，终端在利用待评估算法对基准图像和待配准图像进行图像配准处理，获得位移信息之后，便可以继续利用位移信息对第一原始图像进行映射处理，从而获得第一原始图像对应的第一评估图像，然后基于第一评估图像和第二原始图像，根据预设评估模型确定出待评估算法的对应的配准残差，从而便可以通过配准残差生成评估待评估算法的配准效果的评估结果。
图9为评估图像的生成框图一，如图9所示，终端在基于第一处理图像和第二处理图像，利用待评估算法进行配准处理(步骤401)时，第一处理图像作为待配准图像输入至待评估算法中，同时，第二处理图像作为基准图像输入至待评估算法中，以实现对两者的配准处理，输出位移信息。终端获得两者的位移信息之后，可以利用位移信息对第一原始图像中的全部像素点进行映射处理(步骤402)，从而可以获得对应的第一评估图像，其中，第一评估图像可以用于定量评估待评估算法。
在本申请的实施例中，进一步地，如果终端将第二处理图像确定为待配准图像，将第一处理图像确定为基准图像，那么，终端在利用待评估算法对基准图像和待配准图像进行图像配准处理，获得位移信息之后，便可以继续利用位移信息对第二原始图像进行映射处理，从而获得第二原始图像对应的第二评估图像，然后基于第二评估图像和第一原始图像，根据预设评估模型确定出待评估算法的对应的配准残差，从而便可以通过配准残差生成评估待评估算法的配准效果的评估结果。
图10为评估图像的生成框图二，如图10所示，终端在基于第一处理图像和第二处理图像，利用待评估算法进行配准处理(步骤501)时，第二处理图像作为待配准图像输入至待评估算法中，同时，第一处理图像作为基准图像输入至待评估算法中，以实现对两者的配准处理，输出位移信息。终端获得两者的位移信息之后，可以利用位移信息对第二原始图像中的全部像素点进行映射处理(步骤502)，从而可以获得对应的第二评估图像，其中，第二评估图像可以用于定量评估待评估算法。
可以理解的是，在本申请的实施例中，终端在利用残差指标评估待评估算法的配准效果时，具体可以采用拉普拉斯金字塔多尺度求残差的方式进行预设评估模型的生成。
示例性的，在本申请中，终端在基于第一评估图像和第二原始图像，根据预设评估模型确定配准残差的方法具体可以包括以下步骤：
步骤201、分别对第二原始图像和第一评估图像，依次进行颜色通道拆分和拉普拉斯金字塔划分，获得四个颜色通道中的全部L层。
在本申请的实施例中，终端可以将先第二原始图像拆开分成四个颜色通道，例如，拆分为R、G1、G2、B这四个颜色通道，同时，终端也可以将第一评估图像拆开分成相同的四个颜色通道。
进一步地，终端可以分别对第二原始图像的每一个颜色通道进行拉普拉斯金字塔的划分，获得每一个颜色通道中的L层拉普拉斯金字塔；其中，L为正整数。同时，终端可以分别对第一评估图像的每一个颜色通道进行拉普拉斯金字塔的划分，获得每一个颜色通道中的L层拉普拉斯金字塔。示例性的，以R通道举例说明，其他通道均采用同样方式：终端将第二原始图像的R通道分成3层拉普拉斯金字塔，同时将第一评估图像的R通道分成3层拉普拉斯金字塔。
步骤202、根据第二原始图像的第一颜色通道在第一层对应的第一像素参数和第一权重参数，以及第一评估图像的第一颜色通道在第一层对应的第二像素参数，生成第一颜色通道在第一层对应的残差值。
在本申请的实施例中，终端在拆分获取第一评估图像和第二原始图像的每一个颜色通道的每一层拉普拉斯金字塔之后，可以先确定出第二原始图像的第一颜色通道在第一层对应的第一像素参数和第一权重参数，同时，还可以确定出第一评估图像的第一颜色通道在第一层对应的第二像素参数。
示例性的，在步骤202至步骤206，将R通道作为第一颜色通道进行举例说明。
需要说明的是，在本申请的实施例中，拉普拉斯金字塔可以由不同尺度的图像信息和边缘信息两部分组成，从而可以根据不同尺度的图像信息和边缘信息对像素参数和权重参数进行确定。
可以理解的是，在本申请的实施例中，终端可以利用拉普拉斯金字塔中的图像信息确定出像素参数。具体地，利用第二原始图像的R通道在第一层拉普拉斯金字塔中的图像信息确定出第一像素参数；相应地，终端可以利用第一评估图像的R通道在第一层拉普拉斯金字塔中的图像信息确定出第二像素参数。
进一步地，在本申请的实施例中，终端可以利用拉普拉斯金字塔中的边缘信息确定出权重参数。具体地，终端在确定第二原始图像的R通道在第一层对应的第一权重参数时，可以先对第二原始图像的R通道在第一层拉普拉斯金字塔中的边缘信息进行高斯模糊，得到模糊后的边缘信息，其中，模糊后的边缘信息会过滤掉部分噪声并且将边缘进行扩散，接着，再对模糊后的边缘信息利用如下公式计算第一权重参数Wx，y：
Wx，y＝w1，if|Bx，y|>thresh；else Wx，y＝w2 (4)
其中，对于坐标为(x，y)的像素点，Bx，y为模糊后的边缘信息的强度值，如果模糊后的边缘信息对应的强度值的绝对值大于预设强度阈值thresh，则将赋予第一权重参数为w1，否则赋予第一权重参数为w2，由于人眼对边缘信息比较敏感，因此设置w1>w2来增加边缘附近配准的权重。
需要说明的是，在本申请的实施例中，终端只需要通过对第一评估图像的R通道在第一层拉普拉斯金字塔分解为不同尺度的图像信息，无需计算第一评估图像的边缘信息，进而不需要对第一评估图像进行权重的确定。
进一步地，在本申请的实施例中，终端在确定出第二原始图像的R通道在第一层对应的第一像素参数和第一权重参数，以及第一评估图像的R通道在第一层对应的第二像素参数之后，便可以根据第一像素参数、第二像素参数以及第一权重参数，生成R通道在第一层对应的残差值。
示例性的，在本申请中，终端可以利用以下公式进行R通道在第一层对应的残差值的残差值的生成：
其中，对于R通道，对于掩模图mask以外的像素点(x，y)，RseL为第L层对应的残差值(第一层取L＝1)，N为掩模图以外的像素点的个数，Rx，y，LR为第二像素参数，Ax，y，L为第一像素参数，Wx，y，L为第一权重参数，α为范数，可根据对噪声的敏感性要求在1～2间取值。
步骤203、遍历第二原始图像和第一评估图像的第一颜色通道对应的全部L层，获得第一颜色通道在全部L层对应的全部L个残差值。
步骤204、根据全部L个残差值生成第一颜色通道的残差和值。
在本申请的实施例中，终端在生成R通道在第一层对应的残差值之后，便可以按照上述步骤202的方法，遍历第二原始图像和第一评估图像的R通道对应的全部L层，获得R通道在全部L层对应的全部L个残差值，然后便可以根据全部L个残差值生成R通道的残差和值。
需要说明的是，在本申请的实施例中终端在进行全部L个残差值生成R通道的残差和值的生成时，需要对每一层的残差值进行加权平均计算。具体地，可以按照以下公式计算获得残差和值Rse：
其中，LWL为第L层的权重值，l为层序列在1～L中取值。由于人眼对图像的结构信息比较敏感，设置l越大，则LWL的值越大。
图11为原始图像信息的示意图，图12为评估图像信息的示意图，如图11和图12所示，将原始图像的一个颜色通道分成3层拉普拉斯金字塔，同时，将评估图像的一个颜色通道分成3层拉普拉斯金字塔。拉普拉斯金字塔由不同尺度的图像信息和边缘信息两部分组成。对于原始图像，对边缘信息进行高斯模糊，得到模糊后的边缘信息。模糊后的边缘会过滤掉部分噪声并且将边缘进行扩散，再利用模糊后的边缘信息计算权重。对于评估图像和掩模则只需通过拉普拉斯金字塔分解为不同尺度的图像信息，无需进行高斯模糊和计算权重。
步骤205、遍历第二原始图像和第一评估图像的全部四个颜色通道，获得全部四个颜色通道对应的全部残差和值。
步骤206、根据全部残差和值，生成配准残差。
在本申请的实施例中，终端在计算获得第一颜色通道的残差和值之后，便可以按照上述步骤202至步骤204的方法，遍历第二原始图像和第一评估图像的全部四个颜色通道，获得全部四个颜色通道对应的全部残差和值，从而便可以利用四个颜色通道对应的全部残差和值生成配准残差。
需要说明的是，在本申请的实施例中，终端在根据每一个颜色通道的全部L个残差值生成每一个通道的每一个残差和值之后，可以对全部4个颜色通道对应的全部4个残差和值进行加法运算，然后该4个残差和值的求和结果确定为配准残差。
进一步地，在本申请的实施例中，配准残差可以用于对待评估算法的配准效果进行评价，其中，配准残差越小，则待评估算法的配准效果越好，配准残差越大，则待评估算法的配准效果越差。
在本申请的实施例中，进一步地，终端在基于第二评估图像和第一原始图像，根据预设评估模型确定配准残差时，可以分别对第一原始图像和第二评估图像，依次进行颜色通道拆分和拉普拉斯金字塔划分，获得四个颜色通道中的全部L层；其中，L为正整数；根据第一原始图像的第一颜色通道在第一层对应的第三像素参数和第二权重参数，以及第二评估图像的第一颜色通道在第一层对应的第四像素参数，生成第一颜色通道在第一层对应的残差值；遍历第一原始图像和第二评估图像的第一颜色通道对应的全部L层，获得第一颜色通道在全部L层对应的全部L个残差值；根据全部L个残差值生成第一颜色通道的残差和值；遍历第一原始图像和第二评估图像的全部四个颜色通道，获得全部四个颜色通道对应的全部残差和值；根据全部残差和值，生成配准残差。
也就是说，在本申请的实施例中，基于上述步骤201至步骤206的方法，终端也可以根据第二评估图像和第一原始图像以及预设评估模型，确定配准残差。
本申请实施例提出的一种图像配准算法的评估方法，终端通过同一个拍摄装置获取第一原始图像和第二原始图像；基于预设干扰模式，对第一原始图像和第二原始图像进行图像处理，生成基准图像和待配准图像；其中，预设干扰模式用于干扰信息的模拟；利用待评估算法对基准图像和待配准图像进行图像配准处理，获得位移信息；根据位移信息、第一原始图像以及第二原始图像，获得评估结果；其中，评估结果用于对待评估算法的配准效果进行评价。由此可见，在本申请的实施例中，在对全局图像配准算法进行评估时，可以基于没有干扰因素的第一原始图像和第二原始图像，通过预设干扰模式对拍摄时的干扰信息进行模拟获得可控制的测试数据，即基准图像和待配准图像，然后在根据待估计算法对基准图像和待配准图像进行配准处理之后，利用没有干扰因素的图像数据对配准结果进行评估，从而获得准确的评估结果。也就是说，在本申请中，终端通过模拟拍照时的噪声、不同照度及运动物体等多种干扰情况，获得两套图像数据分别对全局图像配准算法进行测试和评估，从而可以提高评估的准确性，进而能够精准的衡量全局图像配准算法的优劣，提升终端的智能性。
基于上述实施例，在本申请的再一实施例中，图13为终端的组成结构示意图一，如图13所示，本申请实施例提出的终端10可以包括获取单元11，生成单元12，确定单元13。
所述获取单元11，用于通过同一个拍摄装置获取第一原始图像和第二原始图像；
所述生成单元12，用于基于预设干扰模式，对所述第一原始图像和所述第二原始图像进行图像处理，生成基准图像和待配准图像；其中，所述预设干扰模式用于干扰信息的模拟；
所述获取单元11，还用于利用待评估算法对所述基准图像和所述待配准图像进行图像配准处理，获得位移信息；以及根据所述位移信息、所述第一原始图像以及所述第二原始图像，获得评估结果；其中，所述评估结果用于对所述待评估算法的配准效果进行评价。
进一步地，在本申请的实施例中，所述干扰信息包括：模拟噪声信息、模拟光源信息、模拟曝光信息以及模拟运动信息。
进一步地，在本申请的实施例中，所述确定单元13，用于基于预设干扰模式，对所述第一原始图像和所述第二原始图像进行图像处理，生成基准图像和待配准图像之前，从所述干扰信息中选择待增加干扰，并确定待增加干扰对应的设置参数；根据所述待增加干扰和所述设置参数，确定所述预设干扰模式；其中，所述预设干扰模式包括：模拟噪声处理、模拟光源处理、模拟曝光处理以及模拟运动处理中的至少一种。
进一步地，在本申请的实施例中，所述生成单元12，具体用于基于所述预设干扰模式，对所述第一原始图像增加所述干扰信息和图像信号处理，生成第一处理图像；对所述第二原始图像增加所述干扰信息和图像信号处理，生成第二处理图像。
进一步地，在本申请的实施例中，所述生成单元12，还具体用于将所述第一处理图像确定为所述待配准图像，将所述第二处理图像确定为所述基准图像。
进一步地，在本申请的实施例中，所述生成单元12，还具体用于将所述第一处理图像确定为所述基准图像，将所述第二处理图像确定为所述待配准图像。
进一步地，在本申请的实施例中，所述获取单元11，具体用于利用所述位移信息对所述第一原始图像进行映射处理，获得第一评估图像；基于所述第一评估图像和所述第二原始图像，根据预设评估模型确定配准残差；通过所述配准残差生成所述评估结果。
进一步地，在本申请的实施例中，所述获取单元11，还具体用于利用所述位移信息对所述第二原始图像进行映射处理，获得第二评估图像；基于所述第二评估图像和所述第一原始图像，根据预设评估模型确定配准残差；通过所述配准残差生成所述评估结果。
进一步地，在本申请的实施例中，所述获取单元11，还具体用于分别对所述第二原始图像和所述第一评估图像，依次进行颜色通道拆分和拉普拉斯金字塔划分，获得四个颜色通道中的全部L层；其中，L为正整数；根据所述第二原始图像的第一颜色通道在第一层对应的第一像素参数和第一权重参数，以及所述第一评估图像的所述第一颜色通道在第一层对应的第二像素参数，生成所述第一颜色通道在第一层对应的残差值；遍历所述第二原始图像和所述第一评估图像的所述第一颜色通道对应的全部L层，获得所述第一颜色通道在全部L层对应的全部L个残差值；根据所述全部L个残差值生成所述第一颜色通道的残差和值；遍历所述第二原始图像和所述第一评估图像的全部四个颜色通道，获得全部四个颜色通道对应的全部残差和值；根据所述全部残差和值，生成所述配准残差。
进一步地，在本申请的实施例中，所述获取单元11，还具体用于分别对所述第一原始图像和所述第二评估图像，依次进行颜色通道拆分和拉普拉斯金字塔划分，获得四个颜色通道中的全部L层；其中，L为正整数；根据所述第一原始图像的第一颜色通道在第一层对应的第三像素参数和第二权重参数，以及所述第二评估图像的所述第一颜色通道在第一层对应的第四像素参数，生成所述第一颜色通道在第一层对应的残差值；遍历所述第一原始图像和所述第二评估图像的所述第一颜色通道对应的全部L层，获得所述第一颜色通道在全部L层对应的全部L个残差值；根据所述全部L个残差值生成所述第一颜色通道的残差和值；遍历所述第一原始图像和所述第二评估图像的全部四个颜色通道，获得全部四个颜色通道对应的全部残差和值；根据所述全部残差和值，生成所述配准残差。
进一步地，在本申请的实施例中，所述获取单元11，还具体用于通过所述同一个拍摄装置在第一位置获取第一图像组，并在第二位置获取第二图像组；其中，所述第一位置和第二位置之间的距离属于预设偏移范围；根据所述第一图像组确定第一原始图像，根据所述第二图像组确定第二原始图像。
图14为终端的组成结构示意图二，如图14所示，本申请实施例提出的终端10还可以包括处理器14、存储有处理器14可执行指令的存储器15，进一步地，终端10还可以包括通信接口16，和用于连接处理器14、存储器15以及通信接口16的总线17。
在本申请的实施例中，上述处理器14可以为特定用途集成电路(ApplicationSpecific Integrated Circuit，ASIC)、数字信号处理器(Digital Signal Processor，DSP)、数字信号处理装置(Digital Signal Processing Device，DSPD)、可编程逻辑装置(ProgRAMmable Logic Device，PLD)、现场可编程门阵列(Field ProgRAMmable GateArray，FPGA)、中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器中的至少一种。可以理解地，对于不同的设备，用于实现上述处理器功能的电子器件还可以为其它，本申请实施例不作具体限定。终端10还可以包括存储器15，该存储器15可以与处理器14连接，其中，存储器15用于存储可执行程序代码，该程序代码包括计算机操作指令，存储器15可能包含高速RAM存储器，也可能还包括非易失性存储器，例如，至少两个磁盘存储器。
在本申请的实施例中，总线17用于连接通信接口16、处理器14以及存储器15以及这些器件之间的相互通信。
在本申请的实施例中，存储器15，用于存储指令和数据。
进一步地，在本申请的实施例中，上述处理器14，用于通过同一个拍摄装置获取第一原始图像和第二原始图像；基于预设干扰模式，对所述第一原始图像和所述第二原始图像进行图像处理，生成基准图像和待配准图像；其中，所述预设干扰模式用于干扰信息的模拟；利用待评估算法对所述基准图像和所述待配准图像进行图像配准处理，获得位移信息；根据所述位移信息、所述第一原始图像以及所述第二原始图像，获得评估结果；其中，所述评估结果用于对所述待评估算法的配准效果进行评价。
在实际应用中，上述存储器15可以是易失性存储器(volatile memory)，例如随机存取存储器(Random-Access Memory，RAM)；或者非易失性存储器(non-volatile memory)，例如只读存储器(Read-Only Memory，ROM)，快闪存储器(flash memory)，硬盘(Hard DiskDrive，HDD)或固态硬盘(Solid-State Drive，SSD)；或者上述种类的存储器的组合，并向处理器14提供指令和数据。
另外，在本实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时，可以存储在一个计算机可读取存储介质中，基于这样的理解，本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或processor(处理器)执行本实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请实施例提出的一种终端，该终端通过同一个拍摄装置获取第一原始图像和第二原始图像；基于预设干扰模式，对第一原始图像和第二原始图像进行图像处理，生成基准图像和待配准图像；其中，预设干扰模式用于干扰信息的模拟；利用待评估算法对基准图像和待配准图像进行图像配准处理，获得位移信息；根据位移信息、第一原始图像以及第二原始图像，获得评估结果；其中，评估结果用于对待评估算法的配准效果进行评价。由此可见，在本申请的实施例中，在对全局图像配准算法进行评估时，可以基于没有干扰因素的第一原始图像和第二原始图像，通过预设干扰模式对拍摄时的干扰信息进行模拟获得可控制的测试数据，即基准图像和待配准图像，然后在根据待估计算法对基准图像和待配准图像进行配准处理之后，利用没有干扰因素的图像数据对配准结果进行评估，从而获得准确的评估结果。也就是说，在本申请中，终端通过模拟拍照时的噪声、不同照度及运动物体等多种干扰情况，获得两套图像数据分别对全局图像配准算法进行测试和评估，从而可以提高评估的准确性，进而能够精准的衡量全局图像配准算法的优劣，提升终端的智能性。
本申请实施例提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如上所述的图像配准算法的评估方法。
具体来讲，本实施例中的一种图像配准算法的评估方法对应的程序指令可以被存储在光盘，硬盘，U盘等存储介质上，当存储介质中的与一种图像配准算法的评估方法对应的程序指令被一电子设备读取或被执行时，包括如下步骤：
通过同一个拍摄装置获取第一原始图像和第二原始图像；
基于预设干扰模式，对所述第一原始图像和所述第二原始图像进行图像处理，生成基准图像和待配准图像；其中，所述预设干扰模式用于干扰信息的模拟；
利用待评估算法对所述基准图像和所述待配准图像进行图像配准处理，获得位移信息；
根据所述位移信息、所述第一原始图像以及所述第二原始图像，获得评估结果；其中，所述评估结果用于对所述待评估算法的配准效果进行评价。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的实现流程示意图和/或方框图来描述的。应理解可由计算机程序指令实现流程示意图和/或方框图中的每一流程和/或方框、以及实现流程示意图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。
Claims (14)
1.一种图像配准算法的评估方法，其特征在于，所述方法包括：
通过同一个拍摄装置获取第一原始图像和第二原始图像；
基于预设干扰模式，对所述第一原始图像和所述第二原始图像进行图像处理，生成基准图像和待配准图像；其中，所述预设干扰模式用于干扰信息的模拟；
利用待评估算法对所述基准图像和所述待配准图像进行图像配准处理，获得位移信息；
根据所述位移信息、所述第一原始图像以及所述第二原始图像，获得评估结果；其中，所述评估结果用于对所述待评估算法的配准效果进行评价。
2.根据权利要求1所述的方法，其特征在于，所述干扰信息包括：模拟噪声信息、模拟光源信息、模拟曝光信息以及模拟运动信息。
3.根据权利要求2所述的方法，其特征在于，所述基于预设干扰模式，对所述第一原始图像和所述第二原始图像进行图像处理，生成基准图像和待配准图像之前，所述方法还包括：
从所述干扰信息中选择待增加干扰，并确定待增加干扰对应的设置参数；
根据所述待增加干扰和所述设置参数，确定所述预设干扰模式；其中，所述预设干扰模式包括：模拟噪声处理、模拟光源处理、模拟曝光处理以及模拟运动处理中的至少一种。
4.根据权利要求3所述的方法，其特征在于，所述基于预设干扰模式，对所述第一原始图像和所述第二原始图像进行图像处理，包括：
基于所述预设干扰模式，对所述第一原始图像增加所述干扰信息和图像信号处理，生成第一处理图像；对所述第二原始图像增加所述干扰信息和图像信号处理，生成第二处理图像。
5.根据权利要求4所述的方法，其特征在于，所述生成基准图像和待配准图像，包括：
将所述第一处理图像确定为所述待配准图像，将所述第二处理图像确定为所述基准图像。
6.根据权利要求4所述的方法，其特征在于，所述生成基准图像和待配准图像，包括：
将所述第一处理图像确定为所述基准图像，将所述第二处理图像确定为所述待配准图像。
7.根据权利要求5所述的方法，其特征在于，所述根据所述位移信息、所述第一原始图像以及所述第二原始图像，获得评估结果，包括：
利用所述位移信息对所述第一原始图像进行映射处理，获得第一评估图像；
基于所述第一评估图像和所述第二原始图像，根据预设评估模型确定配准残差；
通过所述配准残差生成所述评估结果。
8.根据权利要求6所述的方法，其特征在于，所述根据所述位移信息、所述第一原始图像以及所述第二原始图像，获得评估结果，包括：
利用所述位移信息对所述第二原始图像进行映射处理，获得第二评估图像；
基于所述第二评估图像和所述第一原始图像，根据预设评估模型确定配准残差；
通过所述配准残差生成所述评估结果。
9.根据权利要求7所述的方法，其特征在于，所述基于所述第一评估图像和所述第二原始图像，根据预设评估模型确定配准残差，包括：
分别对所述第二原始图像和所述第一评估图像，依次进行颜色通道拆分和拉普拉斯金字塔划分，获得四个颜色通道中的全部L层；其中，L为正整数；
根据所述第二原始图像的第一颜色通道在第一层对应的第一像素参数和第一权重参数，以及所述第一评估图像的所述第一颜色通道在第一层对应的第二像素参数，生成所述第一颜色通道在第一层对应的残差值；
遍历所述第二原始图像和所述第一评估图像的所述第一颜色通道对应的全部L层，获得所述第一颜色通道在全部L层对应的全部L个残差值；
根据所述全部L个残差值生成所述第一颜色通道的残差和值；
遍历所述第二原始图像和所述第一评估图像的全部四个颜色通道，获得全部四个颜色通道对应的全部残差和值；
根据所述全部残差和值，生成所述配准残差。
10.根据权利要求8所述的方法，其特征在于，所述基于所述第二评估图像和所述第一原始图像，根据预设评估模型确定配准残差，包括：
分别对所述第一原始图像和所述第二评估图像，依次进行颜色通道拆分和拉普拉斯金字塔划分，获得四个颜色通道中的全部L层；其中，L为正整数；
根据所述第一原始图像的第一颜色通道在第一层对应的第三像素参数和第二权重参数，以及所述第二评估图像的所述第一颜色通道在第一层对应的第四像素参数，生成所述第一颜色通道在第一层对应的残差值；
遍历所述第一原始图像和所述第二评估图像的所述第一颜色通道对应的全部L层，获得所述第一颜色通道在全部L层对应的全部L个残差值；
根据所述全部L个残差值生成所述第一颜色通道的残差和值；
遍历所述第一原始图像和所述第二评估图像的全部四个颜色通道，获得全部四个颜色通道对应的全部残差和值；
根据所述全部残差和值，生成所述配准残差。
11.根据权利要求1所述的方法，其特征在于，所述通过同一个拍摄装置获取第一原始图像和第二原始图像，包括：
通过所述同一个拍摄装置在第一位置获取第一图像组，并在第二位置获取第二图像组；其中，所述第一位置和第二位置之间的距离属于预设偏移范围；
根据所述第一图像组确定第一原始图像，根据所述第二图像组确定第二原始图像。
12.一种终端，其特征在于，所述终端包括：获取单元和生成单元，
所述获取单元，用于通过同一个拍摄装置获取第一原始图像和第二原始图像；
所述生成单元，用于基于预设干扰模式，对所述第一原始图像和所述第二原始图像进行图像处理，生成基准图像和待配准图像；其中，所述预设干扰模式用于干扰信息的模拟；
所述获取单元，还用于利用待评估算法对所述基准图像和所述待配准图像进行图像配准处理，获得位移信息；以及根据所述位移信息、所述第一原始图像以及所述第二原始图像，获得评估结果；其中，所述评估结果用于对所述待评估算法的配准效果进行评价。
13.一种终端，其特征在于，所述终端包括处理器、存储有所述处理器可执行指令的存储器，当所述指令被所述处理器执行时，实现如权利要求1-11任一项所述的方法。
14.一种计算机可读存储介质，其上存储有程序，应用于终端中，其特征在于，所述程序被处理器执行时，实现如权利要求1-11任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911253640.2A CN113034553A (zh) | 2019-12-09 | 2019-12-09 | 图像配准算法的评估方法、终端及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911253640.2A CN113034553A (zh) | 2019-12-09 | 2019-12-09 | 图像配准算法的评估方法、终端及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113034553A true CN113034553A (zh) | 2021-06-25 |
Family
ID=76451377
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911253640.2A Pending CN113034553A (zh) | 2019-12-09 | 2019-12-09 | 图像配准算法的评估方法、终端及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113034553A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114972909A (zh) * | 2022-05-16 | 2022-08-30 | 北京三快在线科技有限公司 | 一种模型训练的方法、构建地图的方法及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103632338A (zh) * | 2013-12-05 | 2014-03-12 | 鲁东大学 | 一种基于匹配曲线特征的图像配准评估法 |
| US20180247412A1 (en) * | 2015-03-12 | 2018-08-30 | Mirada Medical Limited | Method and apparatus for assessing image registration |
| CN109285140A (zh) * | 2018-07-27 | 2019-01-29 | 广东工业大学 | 一种印刷电路板图像配准评估方法 |
| CN109978784A (zh) * | 2019-03-21 | 2019-07-05 | 江南大学 | Mr图像和ct图像配准方法、装置、计算机设备及存储介质 |
| CN110197504A (zh) * | 2019-06-05 | 2019-09-03 | 首都师范大学 | 图像配准方法、装置、电子设备及计算机可读存储介质 |
-
2019
- 2019-12-09 CN CN201911253640.2A patent/CN113034553A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103632338A (zh) * | 2013-12-05 | 2014-03-12 | 鲁东大学 | 一种基于匹配曲线特征的图像配准评估法 |
| US20180247412A1 (en) * | 2015-03-12 | 2018-08-30 | Mirada Medical Limited | Method and apparatus for assessing image registration |
| CN109285140A (zh) * | 2018-07-27 | 2019-01-29 | 广东工业大学 | 一种印刷电路板图像配准评估方法 |
| CN109978784A (zh) * | 2019-03-21 | 2019-07-05 | 江南大学 | Mr图像和ct图像配准方法、装置、计算机设备及存储介质 |
| CN110197504A (zh) * | 2019-06-05 | 2019-09-03 | 首都师范大学 | 图像配准方法、装置、电子设备及计算机可读存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 王伟;王国玉;陈永光;: "基于最小熵的SAR干扰图像配准与评估研究", 电光与控制, no. 06, 15 June 2008 (2008-06-15) * |
| 郭泽民;武颖;: "一种基于最小均方差的散斑图像配准算法的研究", 机械管理开发, no. 06, 15 December 2011 (2011-12-15), pages 1 - 5 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114972909A (zh) * | 2022-05-16 | 2022-08-30 | 北京三快在线科技有限公司 | 一种模型训练的方法、构建地图的方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Abdelhamed et al. | A high-quality denoising dataset for smartphone cameras | |
| US10666873B2 (en) | Exposure-related intensity transformation | |
| US10997696B2 (en) | Image processing method, apparatus and device | |
| Wang et al. | Practical deep raw image denoising on mobile devices | |
| CN110717942B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| CN108668093B (zh) | Hdr图像的生成方法及装置 | |
| US20190096046A1 (en) | Generation of high dynamic range visual media | |
| JP6159298B2 (ja) | 複数スケールの規格化された相互相関を用いた、ｈｄｒ画像処理におけるゴーストアーティファクトの検出および除去方法 | |
| CN113992861B (zh) | 一种图像处理方法及图像处理装置 | |
| US8253825B2 (en) | Image data processing method by reducing image noise, and camera integrating means for implementing said method | |
| CN112200848B (zh) | 低光照弱对比复杂环境下的深度相机视觉增强方法及系统 | |
| CN110490196A (zh) | 主体检测方法和装置、电子设备、计算机可读存储介质 | |
| KR20210032367A (ko) | 스테레오-시간적 이미지 시퀀스들로부터 향상된 3-d 데이터 재구성을 위한 방법들 및 장치 | |
| Lv et al. | An integrated enhancement solution for 24-hour colorful imaging | |
| CN112651945A (zh) | 一种基于多特征的多曝光图像感知质量评价方法 | |
| CN109360176A (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
| US11443414B2 (en) | Image signal processing | |
| CN117058183A (zh) | 一种基于双摄像头的图像处理方法、装置、电子设备及存储介质 | |
| CN116704111B (zh) | 图像处理方法和设备 | |
| Fursov et al. | Correction of distortions in color images based on parametric identification | |
| CN116912127A (zh) | 基于逆isp的raw域雾气数据仿真方法 | |
| CN116597252A (zh) | 图片生成方法、装置、计算机设备和存储介质 | |
| Rodrigues et al. | Single-image estimation of the camera response function in near-lighting | |
| CN113034553A (zh) | 图像配准算法的评估方法、终端及存储介质 | |
| Xia et al. | A coarse-to-fine ghost removal scheme for HDR imaging |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |