CN111127528A - 图像配准方法、终端及存储介质 - Google Patents
图像配准方法、终端及存储介质 Download PDFInfo
- Publication number
- CN111127528A CN111127528A CN201911260229.8A CN201911260229A CN111127528A CN 111127528 A CN111127528 A CN 111127528A CN 201911260229 A CN201911260229 A CN 201911260229A CN 111127528 A CN111127528 A CN 111127528A
- Authority
- CN
- China
- Prior art keywords
- image
- registration
- rotation
- time
- terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 87
- 238000012545 processing Methods 0.000 claims abstract description 117
- 239000011159 matrix material Substances 0.000 claims description 39
- 238000013519 translation Methods 0.000 claims description 36
- 230000015654 memory Effects 0.000 claims description 26
- 238000010586 diagram Methods 0.000 description 23
- 230000008859 change Effects 0.000 description 22
- 230000008569 process Effects 0.000 description 12
- 238000003384 imaging method Methods 0.000 description 10
- 238000004590 computer program Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000011897 real-time detection Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
Abstract
本申请实施例公开了一种图像配准方法、终端及存储介质，该图像配准方法包括：在第一时刻获取第一图像之后，在第二时刻获取第二图像；确定第一时刻与第二时刻之间的转动参数，并根据转动参数对第一图像进行配准处理，获得第一配准图像；确定第一配准图像和第二图像之间的移动参数，并根据移动参数对第一配准图像进行配准处理，获得第二配准图像。
Description
技术领域
本申请实施例涉及图像处理技术领域，尤其涉及一种图像配准方法、终端及存储介质。
背景技术
图像配准是将不同时间、不同传感器(成像设备)或不同条件下(天候、照度、摄像位置和角度等)获取的两幅或多幅图像进行匹配、叠加的过程。目前常用块匹配，特征检测或者光流法来检测出画面像素的移动，再利用上述结果重新移动像素生成新图像来匹配图像内容。
由于拍摄过程中拍摄装置的旋转和移动，连拍或视频图像的连续多帧图像之间会存在较大的帧间运动。而目前的图像配准方法在较大帧间运动时会出现精度下降，处理速度大幅降低的问题。
发明内容
本申请实施例提供了一种图像配准方法、终端及存储介质，在进行图像配准处理时，有效提高了处理速度，同时提升图像配准的精度。
本申请实施例的技术方案是这样实现的：
第一方面，本申请实施例提供了一种图像配准方法，所述方法包括：
在第一时刻获取第一图像之后，在第二时刻获取第二图像；
确定所述第一时刻与所述第二时刻之间的转动参数，并根据所述转动参数对所述第一图像进行配准处理，获得第一配准图像；
确定所述第一配准图像和所述第二图像之间的移动参数，并根据所述移动参数对所述第一配准图像进行配准处理，获得第二配准图像。
第二方面，本申请实施例提供了一种终端，所述终端包括：获取单元，确定单元，配准单元，
所述获取单元，用于在第一时刻获取第一图像之后，在第二时刻获取第二图像；
所述确定单元，用于确定所述第一时刻与所述第二时刻之间的转动参数；
所述配准单元，用于根据所述转动参数对所述第一图像进行配准处理，获得第一配准图像；
所述确定单元，还用于确定所述第一配准图像和所述第二图像之间的移动参数；
所述配准单元，还用于根据所述移动参数对所述第一配准图像进行配准处理，获得第二配准图像。
第三方面，本申请实施例提供了一种终端，所述终端包括处理器、存储有所述处理器可执行指令的存储器，当所述指令被所述处理器执行时，实现如上所述的图像配准方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有程序，应用于终端中，所述程序被处理器执行时，实现如上所述的图像配准方法。
本申请实施例提供了一种图像配准方法、终端及存储介质，终端在第一时刻获取第一图像之后，在第二时刻获取第二图像；确定第一时刻与第二时刻之间的转动参数，并根据转动参数对第一图像进行配准处理，获得第一配准图像；确定第一配准图像和第二图像之间的移动参数，并根据移动参数对第一配准图像进行配准处理，获得第二配准图像。也就是说，在本申请的实施例中，终端可以在第一时刻和第二时刻获取第一图像和第二图像的同时，记录第一时刻与第二时刻之间的转动参数和移动参数，先利用转动参数对由于终端旋转造成的图像内容的改变进行补正，再利用移动参数对由于终端平移造成的图像内容的改变进行补正，从而可以从不同的方面实现对第一图像和第二图像的对齐处理，从而可以以更快的速度获得效果更好的配准图像。也就是说，在本申请中，终端可以通过陀螺仪对转动参数的实时采集和平移搜索处理获得的移动参数，分别对第一图像和第二图像进行配准处理，不但可以加快图像配准的速度，还可以提升图像配准的精度。
附图说明
图1为图像配准方法的实现流程示意图一；
图2为图像配准方法的实现流程示意图二；
图3为图像配准方法的实现流程示意图三；
图4为一个空间方向上的转动量的示意图；
图5为成像面转动的示意图；
图6为y轴方向的投影数列示意图一；
图7为y轴方向的投影数列示意图二；
图8为x轴平面方向上的移动量的示意图；
图9为y轴平面方向上的移动量的示意图；
图10为终端的组成结构示意图一；
图11为终端的组成结构示意图二。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。可以理解的是，此处所描述的具体实施例仅仅用于解释相关申请，而非对该申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关申请相关的部分。
图像配准(Image registration)是图像处理中的一种常见方法，在多帧图像的拍摄中，由于拍摄装置移动，拍摄的图像在内容上会产生微小差别，在多帧图像处理中往往需要优先对图像进行全局配准(global registration)后再进行各种其他处理。也就是说，图像配准是将不同时间、不同传感器(成像设备)或不同条件下(天候、照度、摄像位置和角度等)获取的两幅或多幅图像进行匹配、叠加的过程，它已经被广泛地应用于遥感数据分析、计算机视觉、图像处理等领域。
图像配准的方法主要分为基于像素的配准方法、基于特征的配准方法以及基于模型的配准方法这三类，其中，前两种方法是全局图像配准技术，需要假设图像中的对象的改变原因往往是由运动引起的，第三中方法适合图像中的对象支架局部的非线性的变形校正，这种失真通常由于成像系统空间编码的非线性引起的。
正式由于图像配准是将图像内容经过变换后对齐的一种技术手段，因此常用块匹配，特征检测或者光流法来检测出画面像素的移动，再利用上述结果重新移动像素生成新图像来匹配图像内容。在基于特征检测的图像配方法中，对于输入的多个图像，终端可以先进行特征检测处理，获得特征点，然后可以通过进行相似性度量找到匹配的特征点对，完成特征匹配；接下来通过匹配的特征点对得到图像空间坐标变换参数，最后由坐标变换参数进行图像配准，获得匹配图像。
然而，如果连续多帧图像之间存在较大的帧间运动情况，利用块匹配，特征检测或者光流法进行图像匹配时，匹配的过程会更加复杂，相应地，配准精度和匹配效率都会受到影响。
综上所述，由于拍摄过程中拍摄装置的旋转和移动，连拍或视频图像的连续多帧图像之间会存在较大的帧间运动。而目前的图像配准方法在较大帧间运动时会出现精度下降，处理速度大幅降低的问题。为了克服上述缺陷，本申请所提出的一种图像配准方法，终端可以在第一时刻和第二时刻获取第一图像和第二图像的同时，记录第一时刻与第二时刻之间的转动参数和移动参数，先利用转动参数对由于终端旋转造成的图像内容的改变进行补正，再利用移动参数对由于终端平移造成的图像内容的改变进行补正，从而可以从不同的方面实现对第一图像和第二图像的对齐处理，从而可以以更快的速度获得效果更好的配准图像。也就是说，在本申请中，终端可以通过陀螺仪对转动参数的实时采集和平移搜索处理获得的移动参数，分别对第一图像和第二图像进行配准处理，不但可以加快图像配准的速度，还可以提升图像配准的精度。
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
本申请一实施例提供了一种图像配准方法，图1为图像配准方法的实现流程示意图一，如图1所示，在本申请的实施例中，终端进行图像配准的方法可以包括以下步骤：
步骤101、在第一时刻获取第一图像之后，在第二时刻获取第二图像。
在本申请的实施例中，终端可以先在第一时刻获取第一图像，然后再在第二时刻获取第二图像。其中，第二时刻为第一时刻之后的任意时刻。
需要说明的是，在本申请的实施例中，终端可以为任何具备通信和存储功能的设备，例如：平板电脑、手机、电子阅读器、遥控器、个人计算机(PersonalComputer，PC)、笔记本电脑、车载设备、网络电视、可穿戴设备等设备。
可以理解的是，在本申请的实施例中，终端可以配置有拍摄装置，从而可以利用拍摄装置依次获取第一图像和第二图像。其中，拍摄装置可以为图像传感器。示例性的，拍摄装置可以为终端配置的电荷耦合器件(Charge-coupledDevice，CCD)或者互补金属氧化物半导体(Complementary Metal OxideSemiconductor，CMOS)。具体地，CCD是一种用电荷量表示信号大小，用耦合方式传输信号的探测元件，具有自扫描、感受波谱范围宽、畸变小、体积小、重量轻、系统噪声低、功耗小、寿命长、可靠性高等一系列优点，并可做成集成度非常高的组合件。CMOS是指制造大规模集成电路芯片用的一种技术或用这种技术制造出来的芯片，是电脑主板上的一块可读写的随机存取存储器(Random Access Memory，RAM)芯片。因为可读写的特性，所以在电脑主板上用来保存基本输入输出系统(Basic Input OutputSystem，BIOS)设置完硬件参数后的数据，这个芯片仅仅是用来存放数据的。
进一步地，在本申请的实施例中，终端可以通过拍摄装置，依次在第一时刻和第二时刻拍摄获得两帧图像，即第一图像和第二图像。具体地，终端可以先利用拍摄装置在第一时刻采集第一图像，然后利用拍摄装置在第二时刻采集第二图像。
需要说明的是，在本申请的实施例中，终端在获得第一图像和第二图像之后，可以将第一时刻对应的第一图像定义为待配准图，即用于进行配准处理的图像，同时，终端可以将第二时刻对应的第二图像定义为基准图，即用于作为基准参照的图像。
进一步地，在本申请的实施例中，终端还可以配置有陀螺仪，以利用陀螺仪对终端的转动情况进行检测。其中，陀螺仪是用高速回转体的动量矩敏感壳体相对惯性空间绕正交于自转轴的一个或二个轴的角运动检测装置。利用其他原理制成的角运动检测装置起同样功能的也称陀螺仪。
可以理解的是，在本申请的实施例中，终端可以利用配置的陀螺仪进行实时检测，从而可以获得每一个时刻对应的每一个转动数据。其中，转动数据可以包括不同空间方向上的角速度数据，例如，终端可以利用陀螺仪检测获得x轴、y轴以及z轴上的角速度。
步骤102、确定第一时刻与第二时刻之间的转动参数，并根据转动参数对第一图像进行配准处理，获得第一配准图像。
在本申请的实施例中，终端在第一时刻和第二时刻分别获取第一图像和第二图像之后，便可以先确定第一时刻和第二时刻之间的转动参数，然后便可以根据转动参数对第一图像进行配准处理，从而获得第一配准图像。
需要说明的是，在本申请的实施例中，终端在确定第一时刻与第二时刻之间的转动参数之前，可以先利用配置的陀螺仪采集获得的每一个时刻对应的每一个转动数据，并对这些转动数据进行存储。
进一步地，在本申请的实施例中，终端在确定第一时刻与第二时刻之间的转动参数时，便可以先从存储有转动参数的地址中，读取第一时刻与第二时刻之间的转动数据，然后便可以基于第一时刻与第二时刻之间的转动数据，进一步生成第一时刻与第二时刻之间的转动参数。
可以理解的是，在本申请的实施例中，转动参数可以用于对终端在第一时刻与第二时刻之间的具体转动量进行确定。
进一步地，在本申请的实施例中，由于转动数据可以包括不同空间方向上的角速度数据，相应地，终端基于第一时刻与第二时刻之间的转动数据生成的转动参数，也可以包括不同空间方向上的不同转动量。示例性的，转动参数可以为终端在第一时刻与第二时刻之间产生的x轴、y轴以及z轴上的变化角度。
需要说明的是，在本申请的实施例中，终端以第二时刻采集的第二图像为基准图像，以第一时刻采集的第一图像为待配准图像进行图像配准时，需要利用转动参数，其中，转动参数是由陀螺仪检测的第一时刻与第二时刻之间的多个转动数据确定的。
可以理解的是，在本申请的实施例中，终端配置的陀螺仪在进行转动数据的采集时，采样频率越高越好，例如，陀螺仪可以在第一时至第二时刻之间，利用高于200HZ的采样频率，采集x轴、y轴以及z轴三个不同空间方向上的角速度，从而获得第一时刻与第二时刻之间的多个转动数据。也就是说，终端利用陀螺仪进行转动数据的采集时，越高的采样频率更有助于更佳精确的配准效果。
进一步地，在本申请的实施例中，终端在确定第一时刻与第二时刻之间的转动参数之后，便可以根据转动参数对第一图像进行配准处理，从而可以获得配准结果，即第一配准图像。
需要说明的是，在本申请的实施例中，由于转动参数包括多个空间方向对应的多个转动量，其中，一个空间方向对应一个转动量，因此，终端在根据转动参数对第一图像进行配准处理时，可以利用多个转动量生成转动矩阵，然后根据转动矩阵对第一图像进行旋转处理，以完成第一图像和第二图像的配准。
进一步地，在本申请的实施例中，转动矩阵用于对终端在第一时刻到第二时刻之间的转动情况进行确定，即表征终端拍摄第一图像和第二图像时的转动变化，因此，终端利用转动矩阵进行图像配准处理，可以用来弥补由于终端转动所造成的第一图像和第二图像之间的差别。
需要说明的是，在本申请的实施例中，由于转动参数是多个空间方向对应的多个转动量，因此，转动矩阵为多个空间方向的多个转动量构成的多维矩阵。示例性的，当转动参数为x轴、y轴以及z轴上的角度值时，转动可以先基于每一个空间方向上的转动量构建每一个空间方向上的一个角度矩阵，然后利用全部空间方向上的全部角度矩阵，构成终端在第一时刻至第二时刻之间的转动矩阵。也就是说，终端在利用多个转动量生成转动矩阵时，可以先根据多个转动量构建多个子矩阵，然后再基于多个子矩阵，生成转动矩阵。
可以理解的是，在本申请的实施例中，终端在基于转动矩阵对第一图像进行旋转处理时，可以先确定第一图像中的全部像素点对应的全部像素坐标，然后利用转动矩阵与全部像素坐标进行点积运算，从而可以完成对第一图像的旋转处理。也就是说，在本申请中，终端可以获取第一图像中全部像素点对应的全部像素坐标，然后利用转动矩阵对全部像素坐标进行旋转处理，从而可以获得第一配准图像，以实现图像配准处理。
步骤103、确定第一配准图像和第二图像之间的移动参数，并根据移动参数对第一配准图像进行配准处理，获得第二配准图像。
在本申请的实施例中，终端在确定第一时刻与第二时刻之间的转动参数，并根据转动参数对第一图像进行配准处理，获得第一配准图像之后，可以继续确定第一配准图像和第二图像之间的移动参数，然后便可以根据移动参数对第一配准图像进行配准处理，从而可以获得第二配准图像。
可以理解的是，在本申请的实施例中，由于陀螺仪记录的是终端在第一时刻与第二时刻之间转动的角度，并不能完全对终端在第一时刻和第二时刻之间的移动情况进行确定，因此，终端在通过第一配准图像实现对终端转动的补正之后，可以继续对终端的移动进行确定，即进行平移搜索。
需要说明的是，在本申请的实施例中，终端在进行平移搜索时，可以基于第二图像(基准图像)，对第一配准图像按照不同的平面方向进行移动量的确定，从而可以获得第一配准图像和第二图像之间的移动参数。
可以理解的是，在本申请的实施例中，移动参数可以用于对终端在第一时刻与第二时刻之间的具体移动量进行确定。也就是说，在本申请中，移动参数可以包括多个平面方向对应的多个移动量。示例性的，移动参数可以为终端在第一时刻与第二时刻之间产生的x轴和y轴上的变化距离。
具体地，在本申请的实施例中，终端可以先沿着多个不同的平面方向，分别确定出第一配准图像和第二图像对应的多个投影数列，然后可以利用第一配准图像和第二图像在相同的平面方向上的两个投影数列之间的相关性，确定出该平面方向上两者之间的移动量，进而可以确定出第一配准图像和第二图像在多个平面方向上的多个移动量。也就是说，在本申请中，终端在确定第一配准图像和第二图像之间的移动参数时，可以先确定第一配准图像在多个平面方向上的多个第一投影数列，同时，可以确定第二图像在多个平面方向上的多个第二投影数列；然后便可以利用多个第一投影数列和多个第二投影数列，分别确定出两者之间的多个移动量。
进一步地，在本申请的实施例中，终端在确定第一时刻与第二时刻之间的移动参数之后，便可以根据移动参数对第一配准图像进行配准处理，从而可以获得配准结果，即第二配准图像。
需要说明的是，在本申请的实施例中，由于移动参数包括多个平面方向对应的多个移动量，其中，一个平面方向对应一个移动量，因此，终端在根据移动参数对第一配准图像进行配准处理时，可以利用多个移动量对第一配准图像进行平移处理，以完成第一配准图像和第二图像的再次配准。
进一步地，在本申请的实施例中，移动参数用于对终端在第一时刻到第二时刻之间的移动情况进行确定，即表征终端拍摄第一图像和第二图像时的移动变化，因此，终端利用移动参数进行图像配准处理，可以用来弥补由于终端移动所造成的第一图像和第二图像之间的差别。
可以理解的是，在本申请的实施例中，上述步骤102提出的方法，可以在进行图像配准时，用于对终端的转动变化进行补正，可以实现对第一图像和第二图像的粗对齐；上述步骤103提出的方法，可以在进行图像配准时，用于对终端的移动变化进行补正，同样可以实现对第一图像和第二图像的粗对齐。
在本申请的实施例中，进一步地，图2为图像配准方法的实现流程示意图二，如图2所示，终端在根据移动参数对第一配准图像进行配准处理，获得第二配准图像之后，即步骤103之后，终端进行图像配准的方法还可以包括以下步骤：
步骤104、利用移动参数确定第二配准图像对应的像素移动量。
步骤105、根据像素移动量进行配准处理，获得第三配准图像。
在本申请的实施例中，终端在根据移动参数对第一配准图像进行配准处理，获得第二配准图像之后，还可以继续利用移动参数确定出第二配准图像对应的像素移动量，然后可以根据像素移动量进行平移处理，从而可以获得第四配准图像，以完成第一图像和第二图像的配准处理。
需要说明的是，在本申请的实施例中，为了获得精度更高的配准结果，即实现第一图像和第二图像之间的精对齐，终端在获得第二配准图像之后，可以继续利用移动参数对第二配准图像进行像素的平移处理。
进一步地，在本申请的实施例中，终端可以先利用移动参数，进一步搜索得到第二配准图中的全部像素对应的全部像素移动量，然后可以利用全部像素移动量对全部像素进行平移处理，从而可以获得第三配准图像，以完成对第一图像和第二图像之间的精对齐。
在本申请的实施例中，进一步地，图3为图像配准方法的实现流程示意图三，如图3所示，终端在根据转动参数对第一图像进行配准处理，获得第一配准图像之后，即步骤102之后，终端进行图像配准的方法还可以包括以下步骤：
步骤106、确定第一配准图像和第二图像之间的移动参数，并根据移动参数确定第二配准图像对应的像素移动量。
步骤107、根据像素移动量进行平移处理，获得第四配准图像。
在本申请的实施例中，终端确定第一时刻与第二时刻之间的转动参数，并根据转动参数对第一图像进行配准处理，获得第一配准图像之后，可以继续确定第一配准图像和第二图像之间的移动参数，然后进一步根据移动参数确定第二配准图像对应的像素移动量。
可以理解的是，在本申请的实施例中，为了获得精度更高的配准结果，即实现第一图像和第二图像之间的精对齐，终端在获得第一配准图像之后，可以跳过利用移动参数对第一配准图像的粗对齐，而是直接利用移动参数对第一配准图像进行像素的平移处理。
进一步地，在本申请的实施例中，终端可以先利用移动参数，进一步搜索得到第一配准图中的全部像素对应的全部像素移动量，然后可以利用全部像素移动量对全部像素进行平移处理，从而可以获得第四配准图像，以完成对第一图像和第二图像之间的精对齐。
也就是说，在本申请的实施例中，终端在进行图像配准时，可以先利用上述步骤102提出的方法对终端的转动变化进行补正，实现对第一图像和第二图像的粗对齐；然后直接利用上述步骤106和步骤107提出的方法，在对终端的移动变化进行补正时，直接对第一图像和第二图像进行精对齐，获得第四配准图像。
本申请实施例提出的一种图像配准方法，终端在第一时刻获取第一图像之后，在第二时刻获取第二图像；确定第一时刻与第二时刻之间的转动参数，并根据转动参数对第一图像进行配准处理，获得第一配准图像；确定第一配准图像和第二图像之间的移动参数，并根据移动参数对第一配准图像进行配准处理，获得第二配准图像。也就是说，在本申请的实施例中，终端可以在第一时刻和第二时刻获取第一图像和第二图像的同时，记录第一时刻与第二时刻之间的转动参数和移动参数，先利用转动参数对由于终端旋转造成的图像内容的改变进行补正，再利用移动参数对由于终端平移造成的图像内容的改变进行补正，从而可以从不同的方面实现对第一图像和第二图像的对齐处理，从而可以以更快的速度获得效果更好的配准图像。也就是说，在本申请中，终端可以通过陀螺仪对转动参数的实时采集和平移搜索处理获得的移动参数，分别对第一图像和第二图像进行配准处理，不但可以加快图像配准的速度，还可以提升图像配准的精度。
基于上述实施例，在本申请的另一实施例中，终端可以利用陀螺仪对终端的转动情况进行检测，具体地，终端通过陀螺仪进行实时检测，从而可以获得每一个时刻对应的每一个转动数据。其中，转动数据可以为不同空间方向上的角速度数据，例如，终端可以利用陀螺仪检测获得每一个时刻对应的x轴、y轴以及z轴上的每一个角速度。
也就是说，在本申请中，终端可以利用配置的陀螺仪记录终端在x轴、y轴以及z轴这三个方向的实时角速度。
进一步地，在本申请的实施例中，终端在获取陀螺仪检测的第一时刻与第二时刻之间的转动数据之后，可以基于转动数据，获得第一时刻与第二时刻之间的转动参数。
示例性的，在本申请中，陀螺仪检测第一时刻t1与第二时刻t2之间的x轴、y轴以及z轴上的多个角速度，然后可以通过在时间轴上分别对x轴、y轴以及z轴上的多个角速度进行积分，获得第一时刻t1与第二时刻t2之间的终端在x轴、y轴以及z轴方向上的转动量。即获得第一时刻与第二时刻之间的转动参数。
需要说明的是，在本申请的实施例中，终端在基于转动数据获得第一时刻与第二时刻之间的转动参数时。由于陀螺仪检测的转动数据是离散的，因此终端需要按照时间序列对转动数据进行插值平滑处理，从而获得相应地转动参数。图4为一个空间方向上的转动量的示意图，如图4所示，陀螺仪在t1、t2、t3、t4、t5、t6、t7、t8、t9采集的一个空间方向的角速度w1、w2、w3、w4、w5、w6、w7、w8、w9为离散分布的，终端在时间t轴上对该空间方向上的角速度量进行平滑后再积分，最终可以获得终端在t1至t9时间段内的、该空间方向上的转动量。
进一步地，在本申请的实施例中，终端在依次计算获得个空间方向对应的多个转动量之后，便可以利用多个转动量生成转动矩阵。具体地，终端可以先根据多个转动量构建多个子矩阵；然后再基于多个子矩阵，生成对应的转动矩阵。
示例性的，在本申请中，终端在按照时间序列对x轴、y轴以及z轴方向上转动数据进行插值平滑处理，积分获得x轴方向上对应的转动量为λ，y轴方向上对应的转动量为γ，z轴方向上对应的转动量为ρ，那么，终端可以利用以下公式分别获得x轴方向上对应的子矩阵Rx，y轴方向上对应的子矩阵Ry，z轴方向上对应的子矩阵Rz：
接下来，终端便可以利用x轴方向上对应的子矩阵Rx，y轴方向上对应的子矩阵Ry，z轴方向上对应的子矩阵Rz进一步生成转动矩阵，具体如下式：
R＝Rx×Ry×Rz (4)
可以理解的是，在本申请中，终端通过上述方式可以计算获得x轴、y轴以及z轴方向的三个转动量。由于终端在转动的时候，拍摄装置拍摄获得的成像面也相应随之转动，因此，终端可以通过把这一转动施加在成像面上来补正终端转动所带来的移动。图5为成像面转动的示意图，如图5所示，将旋转中心选择为该像面的中间位置(虚线十字交叉处)，终端可以利用基于x轴、y轴以及z轴方向的转动量生成的转动矩阵，对成像面进行补正，获得补正后的成像面。需要说明的是，由于平动的存在，转动中心也相应存在偏移，因此不能完全补正由于终端的转动带来的画面的运动，但是经证实该方法可以对终端的转动而产生的画面运动进行初步估算，因此可以用于初步对齐图像。
进一步地，在本申请的实施例中，终端在利用多个转动量生成转动矩阵之后，便可以进一步基于转动矩阵对第一图像进行旋转处理，获得第一配准图像。具体地，终端可以先获取第一图像中全部像素点对应的全部像素坐标，然后再利用转动矩阵对全部像素坐标进行旋转处理，从而可以获得第一配准图像。
示例性的，在本申请中，终端在利用转动矩阵对第一图像进行旋转处理时。可以利用转动矩阵，分别与第一图像中的全部像素点对应的全部像素坐标进行点积运算，获得运算结果，然后将运算结果向z轴方向投影，从而便可以获得旋转后的像素点的坐标，具体如下式：
[x',y',z']＝[x,y,0]·R (5)
也就是说，终端可以将投影坐标为(x，y)的点移动到投影坐标为(x′，y′)的位置，最终便可以完成对该像素点的像素坐标的旋转处理，相应地，终端基于转动矩阵完成第一图像中的全部像素坐标的旋转处理之后，便可以获得第一配准图像，从而完成了对第一图像的初步配准。
需要说明的是，在本申请的实施例中，如果旋转后的投影坐标(x′，y′)为非整数点位，那么终端就需要进行插值处理以获得整数点位的像素值。插值方法可以才赢双线性插值或双三次插值，本申请不做具体限定。
综上所述，终端在进行图像配准时，可以利用计算获得的转动矩阵对终端的转动变化进行补正，进而实现对第一图像和第二图像的粗对齐。
本申请实施例提出的一种图像配准方法，终端在第一时刻获取第一图像之后，在第二时刻获取第二图像；确定第一时刻与第二时刻之间的转动参数，并根据转动参数对第一图像进行配准处理，获得第一配准图像；确定第一配准图像和第二图像之间的移动参数，并根据移动参数对第一配准图像进行配准处理，获得第二配准图像。也就是说，在本申请的实施例中，终端可以在第一时刻和第二时刻获取第一图像和第二图像的同时，记录第一时刻与第二时刻之间的转动参数和移动参数，先利用转动参数对由于终端旋转造成的图像内容的改变进行补正，再利用移动参数对由于终端平移造成的图像内容的改变进行补正，从而可以从不同的方面实现对第一图像和第二图像的对齐处理，从而可以以更快的速度获得效果更好的配准图像。也就是说，在本申请中，终端可以通过陀螺仪对转动参数的实时采集和平移搜索处理获得的移动参数，分别对第一图像和第二图像进行配准处理，不但可以加快图像配准的速度，还可以提升图像配准的精度。
基于上述实施例，在本申请的再一实施例中，终端根据转动参数对第一图像进行配准处理所获得第一配准图像已经较大程度的补正了由终端转动所带来的图像内容的变化，但是，由于陀螺仪只记录终端转动时的角度信息，无法对终端的移动信息进行记录，因此，终端仍需要通过平移搜索对第一配准图像进行进一步的配准处理。
可以理解的是，在本申请的实施例中，终端确定的移动参数可以包括多个平面方向对应的多个移动量，示例性的，移动参数可以为终端在第一时刻与第二时刻之间产生的、x轴和y轴上的两个移动量。
具体地，在本申请的实施例中，终端在进行移动参数的确定时，可以先沿着多个不同的平面方向，如x轴方向和y轴方向，分别确定出第一配准图像和第二图像对应的多个投影数列。也就是说，由于第一配准图像已经补正了大部分的转动变化，为了加速图像配准，终端可以直接采用平移搜索的方式搜索x轴和y轴的移动量。
示例性的，在本申请中，终端可以将第一配准图像和第二图像分别沿x轴方向和y轴方向进行平均运算，从而可以得到x轴方向和y轴方向的两个投影数列。具体地，终端可以对第一配准图像的第一列图像数据加和后求平均，从而计算获得y轴方向投影的第一列结果，然后再依次计算获得第一配准图像的y轴方向上的投影数列。相应地，终端可以对第二图像的第一列图像数据加和后求平均，从而计算获得y轴方向投影的第一列结果，然后再依次计算获得第二图像的y轴方向上的投影数列。以此类推，终端可以分别计算获得第一配准图像和第二图像在x轴方向和y轴方向的投影数列。图6为y轴方向的投影数列示意图一，如图6所示，基于第一配准度图像的图像数据，沿着y轴方向对每一列图像数据进行投影，获得第一投影数列。图7为y轴方向的投影数列示意图二，如图7所示，基于第二图像的图像数据，沿着y轴方向对每一列图像数据进行投影，获得第二投影数列。
也就是说，在本申请中，终端在确定第一配准图像和第二图像之间的移动参数时，可以先确定第一配准图像在多个平面方向上的多个第一投影数列，同时，可以确定第二图像在多个平面方向上的多个第二投影数列，然后可以利用多个第一投影数列和多个第二投影数列，确定多个移动量。具体地，终端可以基于相同平面方向上的第一投影数列和第二投影数列，确定出第一配准图像和第二图像在相同的平面方向上的相关性，进而可以利用两者的相关性确定出该平面方向上两者之间的移动量，最终便可以确定出第一配准图像和第二图像在多个平面方向上的多个移动量。
示例性的，在本申请中，终端在利用y轴平面方向上的第一投影数列和第二投影数列的相关性对y轴平面方向上两者之间的移动量进行确定时，可以将第一配准图像的第一投影数列进行固定，然后沿着x轴平面方向移动第二图像的第二投影数列进行移动，同时对第一投影数列和移动后的第二投影数列之间的相关性进行实时确定，当第一投影数列和移动后的第二投影数列之间的相关性最大时，可以将此时第二投影数列在x轴平面方向上的移动距离确定为第一配准图像和第二图像在x轴平面方向上的移动量。
相应地，在本申请中，终端在利用x轴平面方向上的第一投影数列和第二投影数列的相关性对x轴平面方向上两者之间的移动量进行确定时，可以将第一配准图像的第一投影数列进行固定，然后沿着y轴平面方向移动第二图像的第二投影数列进行移动，同时对第一投影数列和移动后的第二投影数列之间的相关性进行实时确定，当第一投影数列和移动后的第二投影数列之间的相关性最大时，可以将此时第二投影数列在y轴平面方向上的移动距离确定为第一配准图像和第二图像在y轴平面方向上的移动量。
可以理解的是，在本申请的实施例中，在确定第一投影数列和移动后的第二投影数列之间的相关性时，可以用零互相关算法(zero cross-correlation)或者平均绝对差算法(mean absolute difference，MAD)进行计算，本申请不作具体限定。
图8为x轴平面方向上的移动量的示意图，如图8所示，y轴平面方向上的第一投影数列固定不动，y轴平面方向上的第二投影数列沿着x轴方向进行平移，在移动距离为d1时，第一投影数列和第二投影数列之间的相关性最大，此时，可以将d1作为第一配准图像和第二图像在x轴平面方向上的移动量mvx。
图9为y轴平面方向上的移动量的示意图，如图9所示，x轴平面方向上的第一投影数列固定不动，x轴平面方向上的第二投影数列沿着y轴方向进行平移，在移动距离为d2时，第一投影数列和第二投影数列之间的相关性最大，此时，可以将d2作为第一配准图像和第二图像在y轴平面方向上的移动量mvy。
需要说明的是，基于上述图和图，无论终端在利用图进行x轴平面方向上的移动量的确定，还是利用图进行y轴平面方向上的移动量的确定，计算第一投影数列和第二投影数列之间的相关性时，仅以第一投影数列和移动后的第二投影数列之间公共部分为基准。
进一步地，在本申请的实施例中，终端在确定出多个平面方向对应的多个移动量之后，便可以利用多个移动量对第一配准图像进行平移处理，示例性的，终端可以利用x轴平面方向上的移动量mvx将第一配准图像沿着x轴方向进行平移处理，同时，可以利用y轴平面方向上的移动量mvy将第一配准图像沿着y轴方向进行平移处理，从而可以完成对第一配准图像的进一步对齐，获得第二配准图像。
综上所述，终端在进行图像配准时，可以通过平移搜索处理获得移动参数，用于对终端的移动变化进行补正，同样可以实现对第一图像和第二图像的粗对齐。
在本申请的实施例中，进一步地，为了获得精度更好的配准结果，终端在根据移动参数对第一配准图像进行配准处理，获得第二配准图像之后，还可以继续利用移动参数对第二配准图像进行进一步的精对齐。具体地，终端可以利用移动参数对第二配准图像进行像素的平移处理。
具体地，在本申请中，终端可以利用移动参数获得第二配准图像的像素移动量，其中，像素移动量用于进行像素点的平移处理。示例性的，终端可以利用上述得到的x轴平面方向上的移动量mvx和y轴平面方向上的移动量mvy，作为起始点对第二配准图像进行搜索，进一步获得第二配准图像对应的、更精确的像素移动量。
需要说明的是，在本申请的实施例中，终端可以采用多种方法对像素移动量进行确定，例如光流法或者块搜索方式。也就是说，在本申请中，包括多个平面方向对应的多个移动量的移动参数可以作为精对齐的初始值输入到配准算法中加速配准过程，本申请对精对齐的搜索方式不作限定。
可以理解的是，在本申请的实施例中，为了实现第一图像和第二图像之间的精对齐，终端在获得第一配准图像之后，还可以直接利用移动参数对第一配准图像进行像素的平移处理。也就是说，终端可以直接利用移动参数搜索得到第一配准图中的全部像素对应的全部像素移动量，然后可以利用全部像素移动量对全部像素进行平移处理，从而可以获得第四配准图像，以完成对第一图像和第二图像之间的精对齐。
本申请实施例提出的一种图像配准方法，终端在第一时刻获取第一图像之后，在第二时刻获取第二图像；确定第一时刻与第二时刻之间的转动参数，并根据转动参数对第一图像进行配准处理，获得第一配准图像；确定第一配准图像和第二图像之间的移动参数，并根据移动参数对第一配准图像进行配准处理，获得第二配准图像。也就是说，在本申请的实施例中，终端可以在第一时刻和第二时刻获取第一图像和第二图像的同时，记录第一时刻与第二时刻之间的转动参数和移动参数，先利用转动参数对由于终端旋转造成的图像内容的改变进行补正，再利用移动参数对由于终端平移造成的图像内容的改变进行补正，从而可以从不同的方面实现对第一图像和第二图像的对齐处理，从而可以以更快的速度获得效果更好的配准图像。也就是说，在本申请中，终端可以通过陀螺仪对转动参数的实时采集和平移搜索处理获得的移动参数，分别对第一图像和第二图像进行配准处理，不但可以加快图像配准的速度，还可以提升图像配准的精度。
基于上述实施例，在本申请的再一实施例中，图10为终端的组成结构示意图一，如图10所示，本申请实施例提出的终端10可以包括获取单元11，确定单元12，配准单元13，存储单元14。
所述获取单元11，用于在第一时刻获取第一图像之后，在第二时刻获取第二图像；
所述确定单元12，用于确定所述第一时刻与所述第二时刻之间的转动参数；
所述配准单元13，用于根据所述转动参数对所述第一图像进行配准处理，获得第一配准图像；
所述确定单元12，还用于确定所述第一配准图像和所述第二图像之间的移动参数；
所述配准单元13，还用于根据所述移动参数对所述第一配准图像进行配准处理，获得第二配准图像。
进一步地，在本申请的实施例中，所述转动参数包括多个空间方向对应的多个转动量，所述配准单元13，具体用于利用所述多个转动量生成转动矩阵；基于所述转动矩阵对所述第一图像进行旋转处理，获得所述第一配准图像。
进一步地，在本申请的实施例中，所述配准单元13，还具体用于根据所述多个转动量构建多个子矩阵；基于所述多个子矩阵，生成所述转动矩阵。
进一步地，在本申请的实施例中，所述配准单元13，还具体用于获取所述第一图像中全部像素点对应的全部像素坐标；利用所述转动矩阵对所述全部像素坐标进行旋转处理，获得所述第一配准图像。
进一步地，在本申请的实施例中，所述移动参数包括多个平面方向对应的多个移动量，所述确定单元12，具体用于确定第一配准图像在所述多个平面方向上的多个第一投影数列，确定第二图像在所述多个平面方向上的多个第二投影数列；利用所述多个第一投影数列和所述多个第二投影数列，确定所述多个移动量。
进一步地，在本申请的实施例中，所述获取单元11，具体用于利用所述多个移动量对所述第一配准图像进行平移处理，获得所述第二配准图像。
进一步地，在本申请的实施例中，所述确定单元12，还用于根据所述移动参数对所述第一配准图像进行配准处理，获得第二配准图像之后，利用所述移动参数确定所述第二配准图像对应的像素移动量；
所述获取单元11，还用于根据所述像素移动量进行平移处理，获得第三配准图像。
进一步地，在本申请的实施例中，所述确定单元12，还用于根据所述转动参数对所述第一图像进行配准处理，获得第一配准图像之后，确定所述第一配准图像和所述第二图像之间的移动参数，并根据所述移动参数确定所述第二配准图像对应的像素移动量；
所述获取单元11，还用于根据所述像素移动量进行平移处理，获得第四配准图像。
进一步地，在本申请的实施例中，所述获取单元11，还用于确定所述第一时刻与所述第二时刻之间的转动参数之前，通过陀螺仪进行实时采集，获得每一个时刻对应的每一个转动数据；
所述存储单元14，用于存储所述每一个转动数据。
进一步地，在本申请的实施例中，所述确定单元12，还具体用于读取所述第一时刻与所述第二时刻之间的多个转动数据；根据所述多个转动数据确定所述第一时刻与所述第二时刻之间的所述转动参数。
图11为终端的组成结构示意图二，如图11所示，本申请实施例提出的终端10还可以包括处理器15、存储有处理器15可执行指令的存储器16，进一步地，终端10还可以包括通信接口17，和用于连接处理器15、存储器16以及通信接口17的总线18。
在本申请的实施例中，上述处理器15可以为特定用途集成电路(ApplicationSpecific Integrated Circuit，ASIC)、数字信号处理器(Digital Signal Processor，DSP)、数字信号处理装置(Digital Signal Processing Device，DSPD)、可编程逻辑装置(ProgRAMmable Logic Device，PLD)、现场可编程门阵列(Field ProgRAMmable GateArray，FPGA)、中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器中的至少一种。可以理解地，对于不同的设备，用于实现上述处理器功能的电子器件还可以为其它，本申请实施例不作具体限定。终端10还可以包括存储器16，该存储器16可以与处理器15连接，其中，存储器16用于存储可执行程序代码，该程序代码包括计算机操作指令，存储器16可能包含高速RAM存储器，也可能还包括非易失性存储器，例如，至少两个磁盘存储器。
在本申请的实施例中，总线18用于连接通信接口17、处理器15以及存储器16以及这些器件之间的相互通信。
在本申请的实施例中，存储器16，用于存储指令和数据。
进一步地，在本申请的实施例中，上述处理器15，用于在第一时刻获取第一图像之后，在第二时刻获取第二图像；确定所述第一时刻与所述第二时刻之间的转动参数，并根据所述转动参数对所述第一图像进行配准处理，获得第一配准图像；确定所述第一配准图像和所述第二图像之间的移动参数，并根据所述移动参数对所述第一配准图像进行配准处理，获得第二配准图像。
在实际应用中，上述存储器16可以是易失性存储器(volatile memory)，例如随机存取存储器(Random-Access Memory，RAM)；或者非易失性存储器(non-volatile memory)，例如只读存储器(Read-Only Memory，ROM)，快闪存储器(flash memory)，硬盘(Hard DiskDrive，HDD)或固态硬盘(Solid-StateDrive，SSD)；或者上述种类的存储器的组合，并向处理器15提供指令和数据。
另外，在本实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时，可以存储在一个计算机可读取存储介质中，基于这样的理解，本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或processor(处理器)执行本实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请实施例提出的一种终端，该终端在第一时刻获取第一图像之后，在第二时刻获取第二图像；确定第一时刻与第二时刻之间的转动参数，并根据转动参数对第一图像进行配准处理，获得第一配准图像；确定第一配准图像和第二图像之间的移动参数，并根据移动参数对第一配准图像进行配准处理，获得第二配准图像。也就是说，在本申请的实施例中，终端可以在第一时刻和第二时刻获取第一图像和第二图像的同时，记录第一时刻与第二时刻之间的转动参数和移动参数，先利用转动参数对由于终端旋转造成的图像内容的改变进行补正，再利用移动参数对由于终端平移造成的图像内容的改变进行补正，从而可以从不同的方面实现对第一图像和第二图像的对齐处理，从而可以以更快的速度获得效果更好的配准图像。也就是说，在本申请中，终端可以通过陀螺仪对转动参数的实时采集和平移搜索处理获得的移动参数，分别对第一图像和第二图像进行配准处理，不但可以加快图像配准的速度，还可以提升图像配准的精度。
本申请实施例提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如上所述的图像配准方法。
具体来讲，本实施例中的一种图像配准方法对应的程序指令可以被存储在光盘，硬盘，U盘等存储介质上，当存储介质中的与一种图像配准方法对应的程序指令被一电子设备读取或被执行时，包括如下步骤：
在第一时刻获取第一图像之后，在第二时刻获取第二图像；
确定所述第一时刻与所述第二时刻之间的转动参数，并根据所述转动参数对所述第一图像进行配准处理，获得第一配准图像；
确定所述第一配准图像和所述第二图像之间的移动参数，并根据所述移动参数对所述第一配准图像进行配准处理，获得第二配准图像。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的实现流程示意图和/或方框图来描述的。应理解可由计算机程序指令实现流程示意图和/或方框图中的每一流程和/或方框、以及实现流程示意图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。
Claims (13)
1.一种图像配准方法，其特征在于，所述方法包括：
在第一时刻获取第一图像之后，在第二时刻获取第二图像；
确定所述第一时刻与所述第二时刻之间的转动参数，并根据所述转动参数对所述第一图像进行配准处理，获得第一配准图像；
确定所述第一配准图像和所述第二图像之间的移动参数，并根据所述移动参数对所述第一配准图像进行配准处理，获得第二配准图像。
2.根据权利要求1所述的方法，其特征在于，所述转动参数包括多个空间方向对应的多个转动量，所述根据所述转动参数对所述第一图像进行配准处理，获得第一配准图像，包括：
利用所述多个转动量生成转动矩阵；
基于所述转动矩阵对所述第一图像进行旋转处理，获得所述第一配准图像。
3.根据权利要求2所述的方法，其特征在于，所述利用所述多个转动量生成转动矩阵，包括：
根据所述多个转动量构建多个子矩阵；
基于所述多个子矩阵，生成所述转动矩阵。
4.根据权利要求2所述的方法，其特征在于，所述基于所述转动矩阵对所述第一图像进行旋转处理，获得所述第一配准图像，包括：
获取所述第一图像中全部像素点对应的全部像素坐标；
利用所述转动矩阵对所述全部像素坐标进行旋转处理，获得所述第一配准图像。
5.根据权利要求1所述的方法，其特征在于，所述移动参数包括多个平面方向对应的多个移动量，所述确定所述第一配准图像和所述第二图像之间的移动参数，包括：
确定第一配准图像在所述多个平面方向上的多个第一投影数列，确定第二图像在所述多个平面方向上的多个第二投影数列；
利用所述多个第一投影数列和所述多个第二投影数列，确定所述多个移动量。
6.根据权利要求5所述的方法，其特征在于，所述根据所述移动参数对所述第一配准图像进行配准处理，获得第二配准图像，包括：
利用所述多个移动量对所述第一配准图像进行平移处理，获得所述第二配准图像。
7.根据权利要求1所述的方法，其特征在于，所述根据所述移动参数对所述第一配准图像进行配准处理，获得第二配准图像之后，所述方法还包括：
利用所述移动参数确定所述第二配准图像对应的像素移动量；
根据所述像素移动量进行平移处理，获得第三配准图像。
8.根据权利要求1所述的方法，其特征在于，所述根据所述转动参数对所述第一图像进行配准处理，获得第一配准图像之后，所述方法还包括：
确定所述第一配准图像和所述第二图像之间的移动参数，并根据所述移动参数确定所述第二配准图像对应的像素移动量；
根据所述像素移动量进行平移处理，获得第四配准图像。
9.根据权利要求1所述的方法，其特征在于，所述确定所述第一时刻与所述第二时刻之间的转动参数之前，所述方法还包括：
通过陀螺仪进行实时采集，获得每一个时刻对应的每一个转动数据；
存储所述每一个转动数据。
10.根据权利要求9所述的方法，其特征在于，所述确定所述第一时刻与所述第二时刻之间的转动参数，包括：
读取所述第一时刻与所述第二时刻之间的多个转动数据；
根据所述多个转动数据确定所述第一时刻与所述第二时刻之间的所述转动参数。
11.一种终端，其特征在于，所述终端包括：获取单元，确定单元，配准单元，
所述获取单元，用于在第一时刻获取第一图像之后，在第二时刻获取第二图像；
所述确定单元，用于确定所述第一时刻与所述第二时刻之间的转动参数；
所述配准单元，用于根据所述转动参数对所述第一图像进行配准处理，获得第一配准图像；
所述确定单元，还用于确定所述第一配准图像和所述第二图像之间的移动参数；
所述配准单元，还用于根据所述移动参数对所述第一配准图像进行配准处理，获得第二配准图像。
12.一种终端，其特征在于，所述终端包括处理器、存储有所述处理器可执行指令的存储器，当所述指令被所述处理器执行时，实现如权利要求1-10任一项所述的方法。
13.一种计算机可读存储介质，其上存储有程序，应用于终端中，其特征在于，所述程序被处理器执行时，实现如权利要求1-10任一项所述的方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911260229.8A CN111127528A (zh) | 2019-12-10 | 2019-12-10 | 图像配准方法、终端及存储介质 |
| PCT/CN2020/122474 WO2021114883A1 (zh) | 2019-12-10 | 2020-10-21 | 图像配准方法、终端及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911260229.8A CN111127528A (zh) | 2019-12-10 | 2019-12-10 | 图像配准方法、终端及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111127528A true CN111127528A (zh) | 2020-05-08 |
Family
ID=70498098
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911260229.8A Pending CN111127528A (zh) | 2019-12-10 | 2019-12-10 | 图像配准方法、终端及存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN111127528A (zh) |
| WO (1) | WO2021114883A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021114883A1 (zh) * | 2019-12-10 | 2021-06-17 | Oppo广东移动通信有限公司 | 图像配准方法、终端及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090279741A1 (en) * | 2008-05-06 | 2009-11-12 | Honeywell | Method and apparatus for vision based motion determination |
| CN104104939A (zh) * | 2014-07-11 | 2014-10-15 | 西安电子科技大学 | 一种宽视角的集成成像三维显示系统 |
| CN107230199A (zh) * | 2017-06-23 | 2017-10-03 | 歌尔科技有限公司 | 图像处理方法、装置和增强现实设备 |
| US20180225540A1 (en) * | 2017-02-09 | 2018-08-09 | Rosemount Aerospace Inc. | Imu-aided image registration |
| CN110148177A (zh) * | 2018-02-11 | 2019-08-20 | 百度在线网络技术（北京）有限公司 | 用于确定相机的姿态角的方法、装置、计算设备、计算机可读存储介质以及采集实体 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103413274A (zh) * | 2013-07-25 | 2013-11-27 | 沈阳东软医疗系统有限公司 | 一种图像补偿方法及装置 |
| KR102085228B1 (ko) * | 2014-03-27 | 2020-03-05 | 한국전자통신연구원 | 깊이 센서의 깊이 보정을 위한 이미지 처리방법 및 그 장치 |
| CN108550104B (zh) * | 2018-02-28 | 2022-06-10 | 北京集光通达科技股份有限公司 | 图像配准方法、装置 |
| CN109068121B (zh) * | 2018-09-04 | 2019-07-23 | 珠海康弘医疗科技有限公司 | 三维成像系统、三维成像系统校准方法及装置 |
| CN111127528A (zh) * | 2019-12-10 | 2020-05-08 | Oppo广东移动通信有限公司 | 图像配准方法、终端及存储介质 |
-
2019
- 2019-12-10 CN CN201911260229.8A patent/CN111127528A/zh active Pending
-
2020
- 2020-10-21 WO PCT/CN2020/122474 patent/WO2021114883A1/zh active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090279741A1 (en) * | 2008-05-06 | 2009-11-12 | Honeywell | Method and apparatus for vision based motion determination |
| CN104104939A (zh) * | 2014-07-11 | 2014-10-15 | 西安电子科技大学 | 一种宽视角的集成成像三维显示系统 |
| US20180225540A1 (en) * | 2017-02-09 | 2018-08-09 | Rosemount Aerospace Inc. | Imu-aided image registration |
| CN107230199A (zh) * | 2017-06-23 | 2017-10-03 | 歌尔科技有限公司 | 图像处理方法、装置和增强现实设备 |
| CN110148177A (zh) * | 2018-02-11 | 2019-08-20 | 百度在线网络技术（北京）有限公司 | 用于确定相机的姿态角的方法、装置、计算设备、计算机可读存储介质以及采集实体 |
Non-Patent Citations (1)
| Title |
|---|
| 郝泳涛;周薇;钟波涛;: "平移初值操作的基于Kruppa方程的自标定方法", 计算机工程与应用, no. 22, pages 38 - 40 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021114883A1 (zh) * | 2019-12-10 | 2021-06-17 | Oppo广东移动通信有限公司 | 图像配准方法、终端及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021114883A1 (zh) | 2021-06-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8493459B2 (en) | Registration of distorted images | |
| CN110009681B (zh) | 一种基于imu辅助的单目视觉里程计位姿处理方法 | |
| US8493460B2 (en) | Registration of differently scaled images | |
| Ait-Aider et al. | Simultaneous object pose and velocity computation using a single view from a rolling shutter camera | |
| US8681230B2 (en) | Picture processing device, picture processing method, program for picture processing, and imaging device | |
| CN101465956B (zh) | 摄像设备及其控制方法 | |
| CN105765628B (zh) | 深度图生成的方法及系统 | |
| KR101524548B1 (ko) | 영상 정합 장치 및 방법 | |
| Larsson et al. | Revisiting radial distortion absolute pose | |
| JP2015527764A (ja) | マルチ・フレーム画像キャリブレータ | |
| US9794588B2 (en) | Image processing system with optical flow recovery mechanism and method of operation thereof | |
| Ait-Aider et al. | Kinematics from lines in a single rolling shutter image | |
| US11042984B2 (en) | Systems and methods for providing image depth information | |
| Klein et al. | A Single-frame Visual Gyroscope. | |
| CN111882655B (zh) | 三维重建的方法、装置、系统、计算机设备和存储介质 | |
| CN113838151B (zh) | 相机标定方法、装置、设备及介质 | |
| WO2020039747A1 (ja) | 信号処理装置、撮像装置、信号処理方法 | |
| CN110163914B (zh) | 基于视觉的定位 | |
| WO2021114883A1 (zh) | 图像配准方法、终端及存储介质 | |
| WO2016141984A1 (en) | Image processing device and method for geometric calibration of images | |
| CN110706257B (zh) | 有效特征点对的识别方法、相机状态的确定方法及装置 | |
| WO2023160445A1 (zh) | 即时定位与地图构建方法、装置、电子设备及可读存储介质 | |
| CN116579923A (zh) | 图像拼接方法、设备及存储介质 | |
| CN103489165A (zh) | 一种面向视频拼接的小数查找表生成方法 | |
| US11270412B2 (en) | Image signal processor, method, and system for environmental mapping |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |