CN112348863B - 图像对齐方法、图像对齐装置及终端设备 - Google Patents

图像对齐方法、图像对齐装置及终端设备 Download PDF

Info

Publication number
CN112348863B
CN112348863B CN202011237926.4A CN202011237926A CN112348863B CN 112348863 B CN112348863 B CN 112348863B CN 202011237926 A CN202011237926 A CN 202011237926A CN 112348863 B CN112348863 B CN 112348863B
Authority
CN
China
Prior art keywords
image
grid
region
grid region
candidate matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011237926.4A
Other languages
English (en)
Other versions
CN112348863A (zh
Inventor
林枝叶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202011237926.4A priority Critical patent/CN112348863B/zh
Publication of CN112348863A publication Critical patent/CN112348863A/zh
Priority to PCT/CN2021/117471 priority patent/WO2022095596A1/zh
Application granted granted Critical
Publication of CN112348863B publication Critical patent/CN112348863B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本申请提供的一种图像对齐方法，包括：针对第一模态图像中预先划分得到的每一个第一网格区域，确定所述第一网格区域中的至少两个第一候选匹配点；针对第一网格区域中的每一个第一候选匹配点，从第二模态图像中查找所述第一候选匹配点所对应的第一目标像素点，其中，所述第一目标像素点与对应的第一候选匹配点之间的互相关信息符合预设互相关条件；根据查找到的第一目标像素点确定第一模态图像与第二模态图像之间的匹配点对；根据所述匹配点对，获得所述第一网格区域与所述第一网格区域在第二模态图像中所对应的第二网格区域之间的网格变换矩阵；根据各个网格变换矩阵，将第二模态图像变换为相对于第一模态图像对齐的目标图像。

Description

图像对齐方法、图像对齐装置及终端设备
技术领域
本申请属于图像处理技术领域，尤其涉及图像对齐方法、图像对齐装置、终端设备及计算机可读存储介质。
背景技术
图像对齐技术是图像处理中非常重要且基础的技术，其可运用到很多图像处理的任务中。
例如，诸如手机、AR眼镜、虚拟现实设备等终端上常常会集成有多个摄像头，并且不同摄像头所采用的的成像原理也可能不同，比如，终端上可能有红外摄像头和RGB成像摄像头。而不同成像原理的摄像头所采集得到的图像可以认为是不同模态的图像。此时，需要将不同模态的图像进行图像对齐来实现拼接融合。此外，在医学图像领域、遥感图像领域等应用领域，也要通过图像对齐技术来实现诸如电子计算机断层扫描(ComputedTomography，CT)图像、磁共振成像(Magnetic Resonance Imaging，MRI)等不同模态的图像之间的拼接和融合。
目前，传统的图像对齐方法中，是通过尺度不变特征变换(Scale-invariantfeature transform，SIFT)等算法来实现图像特征点检测和匹配，从而根据匹配的图像特征点来实现不同图像之间的对齐操作。
然而，基于SIFT的特征点检测在很大程度上依赖图像中结构相似区域在梯度方向上的一致性，而不同模态的图像在结构相似区域的梯度方向上，可能存在较大差异，导致无法在不同模态的图像之间找到准确的匹配点对，从而使得不同模态图像之间的图像对齐精度较差。
发明内容
本申请实施例提供了图像对齐方法、图像对齐装置、终端设备及计算机可读存储介质，可以解决现有的方法无法在不同模态的图像之间找到准确的匹配点对，从而使得不同模态的图像之间的图像对齐精度较差的问题。
第一方面，本申请实施例提供了一种图像对齐方法，包括：
针对第一模态图像中预先划分得到的每一个第一网格区域，确定所述第一网格区域中的至少两个第一候选匹配点；
针对所述第一网格区域中的每一个第一候选匹配点，从第二模态图像中查找所述第一候选匹配点所对应的第一目标像素点，其中，所述第一目标像素点与对应的所述第一候选匹配点之间的互相关信息符合预设互相关条件；
若从所述第二模态图像中查找到所述第一候选匹配点所对应的第一目标像素点，则将所述第一候选匹配点和所述第一候选匹配点所对应的第一目标像素点作为所述第一模态图像与所述第二模态图像之间的一组匹配点对；
根据所述匹配点对，获得所述第一网格区域与所述第一网格区域在所述第二模态图像中所对应的第二网格区域之间的网格变换矩阵，其中，所述第一网格区域在所述第一模态图像中的位置与所述第一网格区域所对应的第二网格区域在所述第二模态图像中的位置相同；
根据各个网格变换矩阵，将所述第二模态图像变换为相对于所述第一模态图像对齐的目标图像。
第二方面，本申请实施例提供了一种图像对齐装置，包括：
确定模块，用于针对第一模态图像中预先划分得到的每一个第一网格区域，确定所述第一网格区域中的至少两个第一候选匹配点；
查找模块，用于针对所述第一网格区域中的每一个第一候选匹配点，从第二模态图像中查找所述第一候选匹配点所对应的第一目标像素点，其中，所述第一目标像素点与对应的所述第一候选匹配点之间的互相关信息符合预设互相关条件；
第一处理模块，用于若从所述第二模态图像中查找到所述第一候选匹配点所对应的第一目标像素点，则将所述第一候选匹配点和所述第一候选匹配点所对应的第一目标像素点作为所述第一模态图像与所述第二模态图像之间的一组匹配点对；
第二处理模块，用于根据所述匹配点对，获得所述第一网格区域与所述第一网格区域在所述第二模态图像中所对应的第二网格区域之间的网格变换矩阵，其中，所述第一网格区域在所述第一模态图像中的位置与所述第一网格区域所对应的第二网格区域在所述第二模态图像中的位置相同；
变换模块，用于根据各个网格变换矩阵，将所述第二模态图像变换为相对于所述第一模态图像对齐的目标图像。
第三方面，本申请实施例提供了一种终端设备，包括存储器、处理器、显示器以及存储在上述存储器中并可在上述处理器上运行的计算机程序，其特征在于，上述处理器执行上述计算机程序时实现如第一方面上述的图像对齐方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，上述计算机程序被处理器执行时实现如第一方面上述的图像对齐方法。
第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面中上述的图像对齐方法。
本申请实施例与现有技术相比存在的有益效果是：本申请实施例中，针对第一模态图像中预先划分得到的每一个第一网格区域，确定所述第一网格区域中的至少两个第一候选匹配点；然后，针对所述第一网格区域中的每一个第一候选匹配点，从第二模态图像中查找所述第一候选匹配点所对应的第一目标像素点，其中，所述第一目标像素点与对应的所述第一候选匹配点之间的互相关信息符合预设互相关条件。此时，可以通过互相关信息来度量像素点之间的相似性，从而查找与所述第一候选匹配点所对应的第一目标像素点。
若从所述第二模态图像中查找到所述第一候选匹配点所对应的第一目标像素点，则将所述第一候选匹配点和所述第一候选匹配点所对应的第一目标像素点作为所述第一模态图像与所述第二模态图像之间的一组匹配点对；此时，可以针对每一个第一网格区域，通过像素点之间的互相关信息获取到该第一网格区域与所述第一网格区域在所述第二模态图像中所对应的第二网格区域之间的匹配点对，从而根据所述匹配点对，获得所述第一网格区域与所述第一网格区域在所述第二模态图像中所对应的第二网格区域之间的网格变换矩阵，然后，可以根据各个网格变换矩阵，将所述第二模态图像变换为相对于所述第一模态图像对齐的目标图像，从而实现了不同模态的图像之间的图像对齐。其中，由于所述图像对齐所需的匹配点对是基于像素点之间的互相关信息确定得到，能够减小不同模态的图像在结构相似区域的梯度方向上的差异所带来的干扰，因此，匹配点对的准确性较高，相应地也保证了最终得到的目标图像的对齐精度，避免了现有的基于SIFT等方法的特征点检测和匹配无法在不同模态的图像之间找到准确的匹配点对，从而使得不同模态的图像之间的图像对齐精度较差的问题。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一实施例提供的一种图像对齐方法的流程示意图；
图2是本申请一实施例提供的第一候选匹配点在第一网格区域中的分布方式的一种示例性示意图；
图3是本申请一实施例提供的步骤S102的一种流程示意图；
图4是本申请一实施例提供的对所述第一模态图像和第二模态图像进行对齐的一种示例性示意图；
图5是本申请一实施例提供的一种图像对齐装置的结构示意图；
图6是本申请一实施例提供的终端设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
本申请实施例提供的图像对齐方法可以应用于服务器、台式电脑、手机、平板电脑、可穿戴设备、车载设备、增强现实(augmented reality，AR)/虚拟现实(virtualreality，VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本、个人数字助理(personal digital assistant，PDA)等终端设备上，本申请实施例对终端设备的具体类型不作任何限制。
在进行图像对齐时，往往需要先对待对齐的图像之间的特征点进行检测和匹配，才能确定图像之间的变换矩阵。目前，传统的图像对齐方法中，往往是通过尺度不变特征变换(Scale-invariant feature transform，SIFT)、加速分割测试特征(FeaturesfromAccelerated Segment Test，FAST)提取、加速稳健特征(Speeded Up Robust Features，SURF)提取等算法来实现图像特征点检测和匹配。然而，这些特征点检测算法均依赖图像的结构相似区域在梯度方向上的一致性。然而，由于成像原理不同，不同模态的图像之间在结构相似区域的梯度方向上的像素变化方式可能不同，甚至存在反差，导致现有的特征点提取方法无法在不同模态的图像之间进行准确的特征点检测和匹配，从而导致图像对齐的精度较低。
而通过本申请实施例，可以通过互相关信息来度量像素点之间的相似性，从而查找第一模态图像和第二模态图像之间的准确的匹配点对，能够减小不同模态的图像在结构相似区域的梯度方向上的差异所带来的干扰，相应地也保证了最终得到的目标图像的对齐精度。
具体地，图1示出了本申请实施例提供的一种图像对齐方法的流程图，该图像对齐方法可以应用于终端设备。
如图1所示，该图像对齐方法可以包括：
步骤S101，针对第一模态图像中预先划分得到的每一个第一网格区域，确定所述第一网格区域中的至少两个第一候选匹配点。
本申请实施例中，所述第一模态图像和所述第二模态图像可以认为是不同模态的图像。其中，不同模态的图像可以认为是采用成像原理不同的摄像头所采集到的图像。例如，红外摄像头所采集到的红外图像和RGB成像摄像头所采集到的图像可以认为是不同模态的图像，此外，电子计算机断层扫描(Computed Tomography，CT)图像、磁共振成像(Magnetic Resonance Imaging，MRI)以及超声图像等也可以认为是不同模态的图像。
所述第一模态图像和所述第二模态图像所分别对应的成像原理可以根据实际场景需求来确定，在此不作限定。在一些示例中，所述第一模态图像可以为RGB图像，而所述第二模态图像可以为除RGB图像之外的其他模态图像，例如红外图像。
所述第一网格区域的大小以及划分方法也可以根据实际场景来确定。所述第一模态图像中的各个第一网格区域可以是均匀分布的。若所述第一模态图像的分辨率为W*H，其中宽为W，高为H，所述第一网格区域的大小为w*h，那么所述第一网格区域的数量为W/w*H/h。所述第一网格区域在所述第一模态图像中的位置可以通过四个顶点的坐标来标识。
本申请实施例中，确定所述第一网格区域中的至少两个第一候选匹配点的方式可以有多种。例如，可以是将在所述第一网格区域中进行均匀采样所获得的像素点作为所述第一候选匹配点。此外，也可以根据所述第一网格区域中的图像情况来确定所述第一网格区域中的第一候选匹配点的数量，从而确定各个第一候选匹配点的坐标位置。
在一些实施例中，所述第一模态图像和所述第二模态图像可以共面行对准。此时，所述第一模态图像所对应的图像平面与所述第二模态图像所对应的图像平面相互平行，从而减小立体视差，在后续查找匹配点对时，降低匹配的复杂性和计算量，提升根据匹配点对确定得到的网格变换矩阵的准确性。
在一些实施例中，在针对第一模态图像中预先划分得到的每一个第一网格区域，确定所述第一网格区域中的至少两个第一候选匹配点之前，还包括：
获取通过第一摄像头拍摄得到的第一原始图像和通过第二摄像头拍摄得到的第二原始图像；
根据预先标定的第一摄像头的第一摄像头参数和第二摄像头的第二摄像头参数，分别对所述第一原始图像和第二原始图像进行校正；
将校正后的第一原始图像作为所述第一模态图像，并将校正后的第二原始图像作为第二模态图像，其中，所述第一模态图像和所述第二模态图像共面行对准。
所述第一摄像头参数可以包括所述第一摄像头的内部参数、外部参数和/或畸变参数。所述第二摄像头参数可以包括所述第二摄像头的内部参数、外部参数和/或畸变参数。其中，所述内部参数可以为与对应的摄像头自身特性相关的参数，比如对应的摄像头的焦距、像素分布等。所述外部参数可以指示对应的摄像头在世界坐标系中的位姿，由摄像机与世界坐标系的相对位姿关系决定。示例性的，所述外部参数可以包括旋转向量和平移向量。所述畸变参数可以包括径向畸变参数和/或切向畸变参数。
通过所述第一摄像头参数和所述第二摄像头参数，可以确定所述第一摄像头拍摄得到的第一原始图像的图像坐标系和第二摄像头拍摄得到的第二原始图像的图像坐标系之间的相对关系。
本申请实施例中，可以预先对所述第一摄像头和所述第二摄像头进行标定，以确定所述第一摄像头的第一摄像头参数和所述第二摄像头的第二摄像头参数。具体的标定方法可以有多种，例如，可以通过张正友标定方法分别对所述第一摄像头和第二摄像头进行标定。
示例性的，所述分别对所述第一原始图像和第二原始图像进行校正可以包括对所述第一原始图像进行畸变校正和/或立体校正，并且，对所述第二原始图像进行畸变校正和/或立体校正。其中，所述畸变校正可以是通过畸变参数等来校正对应的图像的图像畸变，如校正图像径向畸变以及图像切向畸变。所述立体校正可以将两个图像的非共面行对准，校正成共面行对准，此时，校正后的第一原始图像的平面和校正后的第二原始图像的平面平行，对应的相机光轴共心，并且，校正后的第一原始图像和校正后的第二原始图像的极点处于无穷远处。
通过本申请实施例，可以对所述第一原始图像和第二原始图像进行校正，获得共面行对准的所述第一模态图像和所述第二模态图像，从而可以在后续查找匹配点对时，在图像平面相互平行的图像中进行查找，避免由于图像畸变和图像拍照视角等差异所照成的误差，提升匹配点对的查找效率和准确性，从而提升图像对齐的准确性。
在一些实施例中，所述针对第一模态图像中预先划分得到的每一个第一网格区域，确定所述第一网格区域中的至少两个第一候选匹配点，包括：
针对第一模态图像中预先划分得到的每一个第一网格区域，根据所述第一网格区域的像素点梯度信息，确定所述第一网格区域中的至少两个第一候选匹配点。
本申请实施例中，所述像素点梯度信息可以反映所述像素点的像素值相对于周围像素点的像素值的变化情况。在一些示例中，所述第一网格区域本身的像素点梯度信息可以指示所述第一网格区域的图像内容分布情况，因此，若所述第一网格区域本身的像素点梯度变化范围较大，且梯度值较大，则可能该第一网格区域内的信息量较多，可以提高所述第一网格区域中的第一候选匹配点的个数。
而在一些示例中，可以结合所述第一网格区域的像素点梯度信息，以及所述第一网格区域所对应的第二网格区域中的像素点梯度信息，来确定所述第一网格区域中的第一候选匹配点的个数。例如，若所述第一网格区域所对应的第二网格区域中的像素点梯度信息与所述第一网格区域的像素点梯度信息之间的差异较大，那么，可以认为该第一网格区域与该第一网格区域所对应的第二网格区域之间的相似度较差，重合程度较差，因此，可以提高所述第一网格区域中的第一候选匹配点的个数，以尽可能多的获取该第一网格区域与该第一网格区域所对应的第二网格区域之间的匹配点对，从而提升图像对齐的准确性。
在一些实施例中，所述针对第一模态图像中预先划分得到的每一个第一网格区域，根据所述第一网格区域的像素点梯度信息，确定所述第一网格区域中的至少两个第一候选匹配点，包括：
针对第一模态图像中预先划分得到的每一个第一网格区域，根据所述第一网格区域中每个第一像素点的第一梯度值，以及所述第一网格区域所对应的第二网格区域中每个第二像素点的第二梯度值，确定所述第一网格区域与所述第一网格区域所对应的第二网格区域之间的对齐误差；
根据所述对齐误差，确定所述第一网格区域中的第一候选匹配点的个数；
根据所述第一候选匹配点的个数，确定所述第一网格区域中的第一候选匹配点。
所述对齐误差可以反映所述第一网格区域与所述第一网格区域所对应的第二网格区域之间的像素点梯度信息的差异。若所述第一网格区域与所述第一网格区域所对应的第二网格区域之间的对齐误差较大，那么，可以认为所述第一网格区域与所述第一网格区域所对应的第二网格区域之间没有对齐，很可能在后续融合时产生鬼影等情况，因此，若所述对齐误差较大，则可以增大所述第一网格区域中的第一候选匹配点的个数，以在后续获得所述第一网格区域与所述第一网格区域所对应的第二网格区域之间更准确的变换关系。具体的，可以通过比对每个第一像素点的第一梯度值与对应的第二像素点的第二梯度值之间的差等方式，计算得到所述对齐误差。
在计算得到所述对齐误差之后，可以根据所述对齐误差的大小，确定所述第一网格区域中的第一候选匹配点的个数。例如，若所述对齐误差大于预设误差阈值，则确定所述第一网格区域中的第一候选匹配点的个数为M，而若所述对齐误差不大于预设误差阈值，则确定所述第一网格区域中的第一候选匹配点的个数为N，其中N、M分别为正整数，且M大于N。
本申请实施例中，确定所述第一候选匹配点的个数之后，可以根据所述第一网格区域的大小以及所述第一候选匹配点的个数等信息，确定各个第一候选匹配点在所述第一网格区域中的分布情况，从而确定所述第一网格区域中的第一候选匹配点的位置。
示例性的，如图2所示，为第一候选匹配点在第一网格区域中的分布方式的一种示例性示意图。
其中，若对齐误差大于预设误差阈值，则确定所述第一网格区域中的第一候选匹配点的个数为9，而若所述对齐误差不大于预设误差阈值，则确定所述第一网格区域中的第一候选匹配点的个数为4。
在一些实施例中，所述针对第一模态图像中预先划分得到的每一个第一网格区域，根据所述第一网格区域中每个第一像素点的第一梯度值，以及所述第一网格区域所对应的第二网格区域中每个第二像素点的第二梯度值，确定所述第一网格区域与所述第一网格区域所对应的第二网格区域之间的对齐误差，包括：
针对所述第一网格区域中的每一个第一像素点，将所述第一像素点的第一梯度值与所述第一像素点所对应的第二像素点的第二梯度值之间的差值的绝对值作为第一绝对值，其中，所述第一像素点在所述第一模态图像中的位置与所述第一像素点所对应的第二像素点在所述第二模态图像中的位置相同；
将所述第一网格区域中的各个第一梯度值的绝对值的和作为第一求和结果，并将所述第一网格区域所对应的第二网格区域中的各个第二梯度值的绝对值的和作为第二求和结果；
根据所述第一网格区域中的各个第一绝对值、所述第一求和结果和所述第二求和结果，确定所述第一网格区域与所述第一网格区域所对应的第二网格区域之间的对齐误差。
以第一网格区域A为例，第一网格区域A的坐标范围为x∈[0,w1],y∈[0,h1]，则第一网格区域A的对齐误差δ1为:
Figure BDA0002767368300000121
其中，gradrgb(x,y)为任一第一像素点的第一梯度值，gradspectral(x,y)为任一第二像素点的第二梯度值。
若δ1≥threshold，则第一候选匹配点的个数可以为(3*n)2，否则第一候选匹配点的个数可以为n2，threshold为预设误差阈值。
步骤S102，针对所述第一网格区域中的每一个第一候选匹配点，从第二模态图像中查找所述第一候选匹配点所对应的第一目标像素点，其中，所述第一目标像素点与对应的所述第一候选匹配点之间的互相关信息符合预设互相关条件。
本申请实施例中，所述互相关信息可以包括归一化互相关(Normalized CrossCorrelation，NCC)值、根据预设互相关函数计算得到的互相关值等可以度量两个相关像素点的互相关性的值。所述预设互相关条件可以根据所述互相关信息的类型来确定。例如，若所述互相关信息包括所述归一化互相关值，那么所述预设互相关条件可以为所述归一化互相关值大于预设的互相关阈值。
在一些实施例中，所述步骤S102包括：
步骤S301，针对所述第一网格区域中的每一个第一候选匹配点，从第二模态图像中确定所述第一候选匹配点所对应的感兴趣区域；
步骤S302，针对所述感兴趣区域中的每一个像素点，计算所述像素点与所述第一候选匹配点之间的互相关度量值；
步骤S303，若所述感兴趣区域所中的各个像素点所对应的互相关度量值中的最大值大于预设阈值，则将该最大值在所述感兴趣区域中所对应的像素点作为所述第一候选匹配点的第一目标像素点。
本申请实施例中，所述感兴趣区域可以认为是查找对应的所述第一候选匹配点的第一目标像素点的查找范围。所述感兴趣区域的大小可以根据场景需求来确定，例如，可以根据计算资源、第一模态图像和所述第二模态图像所分别对应的摄像头之间的位置关系等等信息来预先确定。所述互相关度量值可以为归一化互相关(Normalized CrossCorrelation，NCC)值、根据预设互相关函数计算得到的互相关值等等。
在一些实施例中，所述互相关度量值为归一化互相关值；
所述针对所述感兴趣区域中的每一个像素点，计算所述像素点与所述第一候选匹配点之间的互相关度量值，包括：
针对所述感兴趣区域中的每一个像素点，根据指定关联区域，计算所述像素点与所述第一候选匹配点之间的归一化互相关值，其中，所述指定关联区域为所述第二模态图像中以所述像素点为中心的指定区域。
以某个第一候选匹配点(x1，y1)为例，该第一候选匹配点(x1，y1)的像素值为Rrgb(x1，y1)。确定所述第一候选匹配点(x1，y1)的感兴趣区域的坐标范围为
Figure BDA0002767368300000131
即该感兴趣区域是以
Figure BDA0002767368300000132
为起点，宽高均为k的矩形区域。针对该感兴趣区域中的某一像素点Rspectral(x，y)，该像素点Rspectral(x，y)的指定关联区域为以该像素点Rspectral(x，y)为中心，以d为宽高的矩形区域D。
计算所述第一候选匹配点与像素点Rspectral(x，y)的归一化互相关值NCC，计算公式如下：
Figure BDA0002767368300000133
其中，urgb_roi表示感兴趣区域在第一模态图像中的对应区域内的各个像素点的像素值的期望，uspectral_roi表示感兴趣区域内的各个像素点的像素值的期望，而σrgb_rol表示感兴趣区域在第一模态图像中的对应区域内的各个像素点的像素值的方差，σspectral_roi表示感兴趣区域内的各个像素点的像素值的方差，NCC越大时，表示所述第一候选匹配点与像素点Rspectral(x，y)越相似。
计算所述感兴趣区域中的每一个像素点相对于所述第一候选匹配点的NCC值，并进行排序，选择最大的NCC值为NCC(xm，ym)，若该NCC(xm，ym)≥Tncc，则该NCC(xm，ym)所对应的所述感兴趣区域中的像素点即为所述第一候选匹配点的第一目标像素点。Tncc可以为预设阈值。
步骤S103，若从所述第二模态图像中查找到所述第一候选匹配点所对应的第一目标像素点，则将所述第一候选匹配点和所述第一候选匹配点所对应的第一目标像素点作为所述第一模态图像与所述第二模态图像之间的一组匹配点对。
通过所述互相关信息来度量像素点之间的相似性，以查找与所述第一候选匹配点所对应的第一目标像素点，能够减小不同模态的图像在结构相似区域的梯度方向上的差异所带来的干扰，相比于现有的基于SIFT等方法的特征点检测和匹配，可以提升所获得的匹配点对的准确性。
在一些实施例中，在根据各组匹配点对，获得所述第一网格区域与所述第一网格区域在所述第二模态图像中所对应的第二网格区域之间的网格变换矩阵之前，还包括：
针对所述第二模态图像中预先划分得到的每一个第二网格区域，根据所述第二网格区域的梯度信息，确定所述第二网格区域中的至少两个第二候选匹配点；
针对所述第二网格区域中的每一个第二候选匹配点，从第一模态图像中查找所述第二候选匹配点所对应的第二目标像素点，其中，所述第二目标像素点与对应的所述第二候选匹配点之间的互相关信息符合预设互相关条件；
若从所述第一模态图像中查找到所述第二候选匹配点所对应的第二目标像素点，则将所述第二候选匹配点和所述第二候选匹配点所对应的第二目标像素点作为所述第一模态图像与所述第二模态图像之间的一组匹配点对。
本申请实施例中，不仅可以以所述第一模态图像的图像坐标系为基准，根据所述第一候选匹配点查找所述匹配点对，还可以以第二模态图像的图像坐标系为基准，根据所述第二候选匹配点查找所述匹配点对，从而可以增加所述匹配点对的数量。
步骤S104，根据所述匹配点对，获得所述第一网格区域与所述第一网格区域在所述第二模态图像中所对应的第二网格区域之间的网格变换矩阵，其中，所述第一网格区域在所述第一模态图像中的位置与所述第一网格区域所对应的第二网格区域在所述第二模态图像中的位置相同。
本申请实施例中，各个所述第一网格区域在所述第一模态图像的分布方式与各个所述第二网格区域在所述第二模态图像的分布方式相同。
所述网格变换矩阵可以指示所述第一网格区域内的图像相对于对应的第二网格区域内的图像的平移变换关系和/或旋转变换关系等。所述网格变换矩阵的具体计算方式可以根据所述匹配点对的个数等情况来确定。若所述第一网格区域与所述第一网格区域在所述第二模态图像中所对应的第二网格区域之间的匹配点对的个数不小于预设个数，例如，不小于4，则可以根据所述匹配点对，通过仿射变换、单应性变换等方式，计算第一网格区域与所述第一网格区域在所述第二模态图像中所对应的第二网格区域之间的网格变换矩阵。而若所述第一网格区域与所述第一网格区域在所述第二模态图像中所对应的第二网格区域之间的匹配点对的个数小于预设个数，则可以根据所述匹配点对，进一步计算所述第一网格区域中的其他点在所述第一网格区域在所述第二模态图像中所对应的第二网格区域中的匹配点，再计算所述网格变换矩阵。
步骤S105，根据各个网格变换矩阵，将所述第二模态图像变换为相对于所述第一模态图像对齐的目标图像。
本申请实施例中，可以根据各个网格变换矩阵，分别对各个第二网格区域进行变换，再将变换后的第二网格区域进行合并，获得所述目标图像。此时，各个第二网格区域的变换可以相互独立，而不是通过一个统一的变换矩阵来实现整个第二模态图像的变换，可以提升每个局部区域的变换的准确性，从而大大提升图像对齐的精度。
在一些实施例中，所述根据所述匹配点对，获得所述第一网格区域与所述第一网格区域在所述第二模态图像中所对应的第二网格区域之间的网格变换矩阵，包括：
根据所述匹配点对、所述第一网格区域中的指定顶点的坐标以及所述第一网格区域中的指定顶点在所述第一网格区域所对应的第二网格区域中的期望坐标，构建最小二乘模型；
对所述最小二乘模型进行求解，获得所述第一网格区域中的指定顶点在所述第一网格区域所对应的第二网格区域中的期望坐标；
根据所述期望坐标，以及所述第一网格区域所对应的第二网格区域中的指定顶点的坐标，获得所述第一网格区域与所述第一网格区域所对应的第二网格区域之间的单应性矩阵，并将所述单应性矩阵作为所述网格变换矩阵；
所述根据各个网格变换矩阵，将所述第二模态图像变换为相对于所述第一模态图像对齐的目标图像，包括：
针对每一个第二网格区域，根据所述第二网格区域所对应的单应性矩阵对所述第二网格区域进行透视变换；
根据各个透视变换后的第二网格区域，获得相对于所述第一模态图像对齐的目标图像。
在一些示例中，所述指定顶点可以为所述第一网格区域的四个顶点。此时，可以通过所述指定顶点可以为所述第一网格区域的四个顶点，求解所述所述第一网格区域与所述第一网格区域所对应的第二网格区域之间的单应性矩阵。当然，在一些实施例中，在存在多个匹配点对的情况下，所述指定顶点的个数也可以少于3个，此时，可以结合所述指定顶点的期望坐标和所述匹配点对计算所述单应性矩阵。
所述最小二乘模型的构建以及求解可以根据现有技术来实现。示例性的，可以根据所述匹配点对、所述第一网格区域中的指定顶点的坐标以及所述第一网格区域中的指定顶点在所述第一网格区域所对应的第二网格区域中的期望坐标，构建所述最小二乘模型，该最小二乘模型可以通过计算第一图形中的顶点与第二图形中的顶点之间的预设误差，来指示第一图形和第二图形之间的形状相似度。其中，所述第一图形为所述匹配点对中的第一候选匹配点与所述第一网格区域中的指定顶点，所述第二图形为所述期望坐标与所述匹配点对中的第一目标像素点所构成的图形。因此，可以通过优化该预设误差，使得该预设误差最小化，来求解得到所述第一网格区域中的指定顶点在所述第一网格区域所对应的第二网格区域中的期望坐标。
具体的，可以通过高斯牛顿法、梯度下降法、LM(Levenberg-Marquart)法等方式对所述最小二乘模型进行求解。具体的求解方法在此不做限制。
在一些实施例中，在获取到所述目标图像之后，可以将所述目标图像存储为二进制文件的形式，以供后续的图像读取和处理。当然，所述目标图像也可以根据场景需要存储为其他格式。
下面以一个具体示例，说明本申请实施例的一种具体实现示意图。
如图4所示，为实际应用中，采用本申请一实施例所实现的图像处理过程。
其中，图4(a)中为第一模态图像，图4(b)中为第二模态图像。若所述第一模态图像和所述第二模态图像共面行对准，那么，将所述第一模态图像和第二模态图像直接融合后，获得图4(c)。此时，图4(c)中出现明显的位置偏差。
在获得所述第一模态图像和所述第二模态图像之后，可以针对第一模态图像中预先划分得到的每一个第一网格区域，根据所述第一网格区域中每个第一像素点的第一梯度值，以及所述第一网格区域所对应的第二网格区域中每个第二像素点的第二梯度值，确定所述第一网格区域与所述第一网格区域所对应的第二网格区域之间的对齐误差。
若所述齐次误差大于预设误差阈值，那么，对应的所述第一网格区域中的第一候选匹配点的个数可以较多，例如为9个；而若所述齐次误差不大于预设误差阈值，那么，对应的所述第一网格区域中的第一候选匹配点的个数可以较少，例如为4个。如图4(d)所示，为本示例性场景中，第一候选匹配点的个数较多的所述第一网格区域和第一候选匹配点的个数较多的所述第一网格区域的分布情况。
在获得各个第一网格区域所分别确定的匹配点对之后，根据所述匹配点对，获得各个网格变换矩阵。然后，根据所述网格变换矩阵，根据所述匹配点对、如图4(e)所示的第一模态图像中的各个第一网格区域的4个顶点坐标，以及，所述第一网格区域中的4个顶点坐标在所述第一网格区域所对应的第二网格区域中的期望坐标，构建最小二乘模型。求解所述最小二乘模型，获得如图4(f)所示的所述第一网格区域中的4个顶点坐标在所述第一网格区域所对应的第二网格区域中的期望坐标。
然后，根据第二网格区域中的4个顶点的期望坐标，获得所述第一网格区域与所述第一网格区域所对应的第二网格区域之间的单应性矩阵，并对所述第二网格区域进行透视变换，从而得到如图4(g)所示的目标图像。
本申请实施例中，针对第一模态图像中预先划分得到的每一个第一网格区域，确定所述第一网格区域中的至少两个第一候选匹配点；然后，针对所述第一网格区域中的每一个第一候选匹配点，从第二模态图像中查找所述第一候选匹配点所对应的第一目标像素点，其中，所述第一目标像素点与对应的所述第一候选匹配点之间的互相关信息符合预设互相关条件。此时，可以通过互相关信息来度量像素点之间的相似性，从而查找与所述第一候选匹配点所对应的第一目标像素点。
若从所述第二模态图像中查找到所述第一候选匹配点所对应的第一目标像素点，则将所述第一候选匹配点和所述第一候选匹配点所对应的第一目标像素点作为所述第一模态图像与所述第二模态图像之间的一组匹配点对；此时，可以针对每一个第一网格区域，通过像素点之间的互相关信息获取到该第一网格区域与所述第一网格区域在所述第二模态图像中所对应的第二网格区域之间的匹配点对，从而根据所述匹配点对，获得所述第一网格区域与所述第一网格区域在所述第二模态图像中所对应的第二网格区域之间的网格变换矩阵，然后，可以根据各个网格变换矩阵，将所述第二模态图像变换为相对于所述第一模态图像对齐的目标图像，从而实现了不同模态的图像之间的图像对齐。其中，由于所述图像对齐所需的匹配点对是基于像素点之间的互相关信息确定得到，能够减小不同模态的图像在结构相似区域的梯度方向上的差异所带来的干扰，因此，匹配点对的准确性较高，相应地也保证了最终得到的目标图像的对齐精度，避免了现有的基于SIFT等方法的特征点检测和匹配无法在不同模态的图像之间找到准确的匹配点对，从而使得不同模态的图像之间的图像对齐精度较差的问题。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
对应于上文实施例上述的图像对齐方法，图5示出了本申请实施例提供的一种图像对齐装置的结构框图，为了便于说明，仅示出了与本申请实施例相关的部分。
参照图5，该图像对齐装置5包括：
确定模块501，用于针对第一模态图像中预先划分得到的每一个第一网格区域，确定所述第一网格区域中的至少两个第一候选匹配点；
查找模块502，用于针对所述第一网格区域中的每一个第一候选匹配点，从第二模态图像中查找所述第一候选匹配点所对应的第一目标像素点，其中，所述第一目标像素点与对应的所述第一候选匹配点之间的互相关信息符合预设互相关条件；
第一处理模块503，用于若从所述第二模态图像中查找到所述第一候选匹配点所对应的第一目标像素点，则将所述第一候选匹配点和所述第一候选匹配点所对应的第一目标像素点作为所述第一模态图像与所述第二模态图像之间的一组匹配点对；
第二处理模块504，用于根据所述匹配点对，获得所述第一网格区域与所述第一网格区域在所述第二模态图像中所对应的第二网格区域之间的网格变换矩阵，其中，所述第一网格区域在所述第一模态图像中的位置与所述第一网格区域所对应的第二网格区域在所述第二模态图像中的位置相同；
变换模块505，用于根据各个网格变换矩阵，将所述第二模态图像变换为相对于所述第一模态图像对齐的目标图像。
可选的，所述确定模块501具体用于：
针对第一模态图像中预先划分得到的每一个第一网格区域，根据所述第一网格区域的像素点梯度信息，确定所述第一网格区域中的至少两个第一候选匹配点。
可选的，所述确定模块501具体包括：
第一确定单元，用于针对第一模态图像中预先划分得到的每一个第一网格区域，根据所述第一网格区域中每个第一像素点的第一梯度值，以及所述第一网格区域所对应的第二网格区域中每个第二像素点的第二梯度值，确定所述第一网格区域与所述第一网格区域所对应的第二网格区域之间的对齐误差；
第二确定单元，用于根据所述对齐误差，确定所述第一网格区域中的第一候选匹配点的个数；
第三确定单元，用于根据所述第一候选匹配点的个数，确定所述第一网格区域中的第一候选匹配点。
可选的，所述第一确定单元具体包括：
第一处理子单元，用于针对所述第一网格区域中的每一个第一像素点，将所述第一像素点的第一梯度值与所述第一像素点所对应的第二像素点的第二梯度值之间的差值的绝对值作为第一绝对值，其中，所述第一像素点在所述第一模态图像中的位置与所述第一像素点所对应的第二像素点在所述第二模态图像中的位置相同；
第二处理子单元，用于将所述第一网格区域中的各个第一梯度值的绝对值的和作为第一求和结果，并将所述第一网格区域所对应的第二网格区域中的各个第二梯度值的绝对值的和作为第二求和结果；
确定子单元，用于根据所述第一网格区域中的各个第一绝对值、所述第一求和结果和所述第二求和结果，确定所述第一网格区域与所述第一网格区域所对应的第二网格区域之间的对齐误差。
可选的，所述图像对齐装置5还包括：
获取模块，用于获取通过第一摄像头拍摄得到的第一原始图像和通过第二摄像头拍摄得到的第二原始图像；
校正模块，用于根据预先标定的第一摄像头的第一摄像头参数和第二摄像头的第二摄像头参数，分别对所述第一原始图像和第二原始图像进行校正；
第三处理模块，用于将校正后的第一原始图像作为所述第一模态图像，并将校正后的第二原始图像作为第二模态图像，其中，所述第一模态图像和所述第二模态图像共面行对准。
可选的，所述图像对齐装置5还包括：
第二确定模块，用于针对所述第二模态图像中预先划分得到的每一个第二网格区域，根据所述第二网格区域的梯度信息，确定所述第二网格区域中的至少两个第二候选匹配点；
第二查找模块，用于针对所述第二网格区域中的每一个第二候选匹配点，从第一模态图像中查找所述第二候选匹配点所对应的第二目标像素点，其中，所述第二目标像素点与对应的所述第二候选匹配点之间的互相关信息符合预设互相关条件；
第四处理模块，用于若从所述第一模态图像中查找到所述第二候选匹配点所对应的第二目标像素点，则将所述第二候选匹配点和所述第二候选匹配点所对应的第二目标像素点作为所述第一模态图像与所述第二模态图像之间的一组匹配点对。
可选的，所述查找模块502具体包括：
第四确定单元，用于针对所述第一网格区域中的每一个第一候选匹配点，从第二模态图像中确定所述第一候选匹配点所对应的感兴趣区域；
计算单元，用于针对所述感兴趣区域中的每一个像素点，计算所述像素点与所述第一候选匹配点之间的互相关度量值；
第一处理单元，用于若所述感兴趣区域所中的各个像素点所对应的互相关度量值中的最大值大于预设阈值，则将该最大值在所述感兴趣区域中所对应的像素点作为所述第一候选匹配点的第一目标像素点。
可选的，所述互相关度量值为归一化互相关值；
所述计算单元具体用于：
针对所述感兴趣区域中的每一个像素点，根据指定关联区域，计算所述像素点与所述第一候选匹配点之间的归一化互相关值，其中，所述指定关联区域为所述第二模态图像中以所述像素点为中心的指定区域。
可选的，所述第二处理模块504具体包括：
构建单元，用于根据所述匹配点对、所述第一网格区域中的指定顶点的坐标以及所述第一网格区域中的指定顶点在所述第一网格区域所对应的第二网格区域中的期望坐标，构建最小二乘模型；
求解单元，用于对所述最小二乘模型进行求解，获得所述第一网格区域中的指定顶点在所述第一网格区域所对应的第二网格区域中的期望坐标；
第二处理单元，用于根据所述期望坐标，以及所述第一网格区域所对应的第二网格区域中的指定顶点的坐标，获得所述第一网格区域与所述第一网格区域所对应的第二网格区域之间的单应性矩阵，并将所述单应性矩阵作为所述网格变换矩阵；
所述变换模块505具体包括：
变换单元，用于针对每一个第二网格区域，根据所述第二网格区域所对应的单应性矩阵对所述第二网格区域进行透视变换；
第三处理单元，用于根据各个透视变换后的第二网格区域，获得相对于所述第一模态图像对齐的目标图像。
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将上述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
图6为本申请一实施例提供的终端设备的结构示意图。如图6所示，该实施例的终端设备6包括：至少一个处理器60(图6中仅示出一个)、存储器61以及存储在上述存储器61中并可在上述至少一个处理器60上运行的计算机程序62，上述处理器60执行上述计算机程序62时实现上述任意各个图像对齐方法实施例中的步骤。
上述终端设备6可以是服务器、手机、可穿戴设备、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、桌上型计算机、笔记本、台式电脑以及掌上电脑等计算设备。该终端设备可包括，但不仅限于，处理器60、存储器61。本领域技术人员可以理解，图6仅仅是终端设备6的举例，并不构成对终端设备6的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入设备、输出设备、网络接入设备等。其中，上述输入设备可以包括键盘、触控板、指纹采集传感器(用于采集用户的指纹信息和指纹的方向信息)、麦克风、摄像头等，输出设备可以包括显示器、扬声器等。
上述处理器60可以是中央处理单元(Central Processing Unit，CPU)，该处理器60还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
上述存储器61在一些实施例中可以是上述终端设备6的内部存储单元，例如终端设备6的硬盘或内存。上述存储器61在另一些实施例中也可以是上述终端设备6的外部存储设备，例如上述终端设备6上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，上述存储器61还可以既包括上述终端设备6的内部存储单元也包括外部存储设备。上述存储器61用于存储操作系统、应用程序、引导装载程序(Boot Loader)、数据以及其他程序等，例如上述计算机程序的程序代码等。上述存储器61还可以用于暂时地存储已经输出或者将要输出的数据。
另外，尽管未示出，上述终端设备6还可以包括网络连接模块，如蓝牙模块Wi-Fi模块、蜂窝网络模块等等，在此不再赘述。
本申请实施例中，上述处理器60执行上述计算机程序62以实现上述任意各个图像对齐方法实施例中的步骤时，针对第一模态图像中预先划分得到的每一个第一网格区域，确定所述第一网格区域中的至少两个第一候选匹配点；然后，针对所述第一网格区域中的每一个第一候选匹配点，从第二模态图像中查找所述第一候选匹配点所对应的第一目标像素点，其中，所述第一目标像素点与对应的所述第一候选匹配点之间的互相关信息符合预设互相关条件。此时，可以通过互相关信息来度量像素点之间的相似性，从而查找与所述第一候选匹配点所对应的第一目标像素点。
若从所述第二模态图像中查找到所述第一候选匹配点所对应的第一目标像素点，则将所述第一候选匹配点和所述第一候选匹配点所对应的第一目标像素点作为所述第一模态图像与所述第二模态图像之间的一组匹配点对；此时，可以针对每一个第一网格区域，通过像素点之间的互相关信息获取到该第一网格区域与所述第一网格区域在所述第二模态图像中所对应的第二网格区域之间的匹配点对，从而根据所述匹配点对，获得所述第一网格区域与所述第一网格区域在所述第二模态图像中所对应的第二网格区域之间的网格变换矩阵，然后，可以根据各个网格变换矩阵，将所述第二模态图像变换为相对于所述第一模态图像对齐的目标图像，从而实现了不同模态的图像之间的图像对齐。其中，由于所述图像对齐所需的匹配点对是基于像素点之间的互相关信息确定得到，能够减小不同模态的图像在结构相似区域的梯度方向上的差异所带来的干扰，因此，匹配点对的准确性较高，相应地也保证了最终得到的目标图像的对齐精度，避免了现有的基于SIFT等方法的特征点检测和匹配无法在不同模态的图像之间找到准确的匹配点对，从而使得不同模态的图像之间的图像对齐精度较差的问题。
本申请实施例还提供了一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，上述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行时实现可实现上述各个方法实施例中的步骤。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，上述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，上述计算机程序包括计算机程序代码，上述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。上述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/网络设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/网络设备实施例仅仅是示意性的，例如，上述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上上述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种图像对齐方法，其特征在于，包括：
针对第一模态图像中预先划分得到的每一个第一网格区域，确定所述第一网格区域中的至少两个第一候选匹配点，包括：针对第一模态图像中预先划分得到的每一个第一网格区域，根据所述第一网格区域中每个第一像素点的第一梯度值，以及所述第一网格区域所对应的第二网格区域中每个第二像素点的第二梯度值，确定所述第一网格区域与所述第一网格区域所对应的第二网格区域之间的对齐误差；根据所述对齐误差，确定所述第一网格区域中的第一候选匹配点的个数；根据所述第一候选匹配点的个数，确定所述第一网格区域中的第一候选匹配点；
针对所述第一网格区域中的每一个第一候选匹配点，从第二模态图像中查找所述第一候选匹配点所对应的第一目标像素点，其中，所述第一目标像素点与对应的所述第一候选匹配点之间的互相关信息符合预设互相关条件；
若从所述第二模态图像中查找到所述第一候选匹配点所对应的第一目标像素点，则将所述第一候选匹配点和所述第一候选匹配点所对应的第一目标像素点作为所述第一模态图像与所述第二模态图像之间的一组匹配点对；
根据所述匹配点对，获得所述第一网格区域与所述第一网格区域在所述第二模态图像中所对应的第二网格区域之间的网格变换矩阵，其中，所述第一网格区域在所述第一模态图像中的位置与所述第一网格区域所对应的第二网格区域在所述第二模态图像中的位置相同；
根据各个网格变换矩阵，将所述第二模态图像变换为相对于所述第一模态图像对齐的目标图像。
2.如权利要求1所述的图像对齐方法，其特征在于，所述针对第一模态图像中预先划分得到的每一个第一网格区域，根据所述第一网格区域中每个第一像素点的第一梯度值，以及所述第一网格区域所对应的第二网格区域中每个第二像素点的第二梯度值，确定所述第一网格区域与所述第一网格区域所对应的第二网格区域之间的对齐误差，包括：
针对所述第一网格区域中的每一个第一像素点，将所述第一像素点的第一梯度值与所述第一像素点所对应的第二像素点的第二梯度值之间的差值的绝对值作为第一绝对值，其中，所述第一像素点在所述第一模态图像中的位置与所述第一像素点所对应的第二像素点在所述第二模态图像中的位置相同；
将所述第一网格区域中的各个第一梯度值的绝对值的和作为第一求和结果，并将所述第一网格区域所对应的第二网格区域中的各个第二梯度值的绝对值的和作为第二求和结果；
根据所述第一网格区域中的各个第一绝对值、所述第一求和结果和所述第二求和结果，确定所述第一网格区域与所述第一网格区域所对应的第二网格区域之间的对齐误差。
3.如权利要求1所述的图像对齐方法，其特征在于，在针对第一模态图像中预先划分得到的每一个第一网格区域，确定所述第一网格区域中的至少两个第一候选匹配点之前，还包括：
获取通过第一摄像头拍摄得到的第一原始图像和通过第二摄像头拍摄得到的第二原始图像；
根据预先标定的第一摄像头的第一摄像头参数和第二摄像头的第二摄像头参数，分别对所述第一原始图像和第二原始图像进行校正；
将校正后的第一原始图像作为所述第一模态图像，并将校正后的第二原始图像作为第二模态图像，其中，所述第一模态图像和所述第二模态图像共面行对准。
4.如权利要求1所述的图像对齐方法，其特征在于，在根据各组匹配点对，获得所述第一网格区域与所述第一网格区域在所述第二模态图像中所对应的第二网格区域之间的网格变换矩阵之前，还包括：
针对所述第二模态图像中预先划分得到的每一个第二网格区域，根据所述第二网格区域的梯度信息，确定所述第二网格区域中的至少两个第二候选匹配点；
针对所述第二网格区域中的每一个第二候选匹配点，从第一模态图像中查找所述第二候选匹配点所对应的第二目标像素点，其中，所述第二目标像素点与对应的所述第二候选匹配点之间的互相关信息符合预设互相关条件；
若从所述第一模态图像中查找到所述第二候选匹配点所对应的第二目标像素点，则将所述第二候选匹配点和所述第二候选匹配点所对应的第二目标像素点作为所述第一模态图像与所述第二模态图像之间的一组匹配点对。
5.如权利要求1所述的图像对齐方法，其特征在于，所述针对所述第一网格区域中的每一个第一候选匹配点，从第二模态图像中查找所述第一候选匹配点所对应的第一目标像素点，包括：
针对所述第一网格区域中的每一个第一候选匹配点，从第二模态图像中确定所述第一候选匹配点所对应的感兴趣区域；
针对所述感兴趣区域中的每一个像素点，计算所述像素点与所述第一候选匹配点之间的互相关度量值；
若所述感兴趣区域所中的各个像素点所对应的互相关度量值中的最大值大于预设阈值，则将该最大值在所述感兴趣区域中所对应的像素点作为所述第一候选匹配点的第一目标像素点。
6.如权利要求5所述的图像对齐方法，其特征在于，所述互相关度量值为归一化互相关值；
所述针对所述感兴趣区域中的每一个像素点，计算所述像素点与所述第一候选匹配点之间的互相关度量值，包括：
针对所述感兴趣区域中的每一个像素点，根据指定关联区域，计算所述像素点与所述第一候选匹配点之间的归一化互相关值，其中，所述指定关联区域为所述第二模态图像中以所述像素点为中心的指定区域。
7.如权利要求1至6任意一项所述的图像对齐方法，其特征在于，根据所述匹配点对，获得所述第一网格区域与所述第一网格区域在所述第二模态图像中所对应的第二网格区域之间的网格变换矩阵，包括：
根据所述匹配点对、所述第一网格区域中的指定顶点的坐标以及所述第一网格区域中的指定顶点在所述第一网格区域所对应的第二网格区域中的期望坐标，构建最小二乘模型；
对所述最小二乘模型进行求解，获得所述第一网格区域中的指定顶点在所述第一网格区域所对应的第二网格区域中的期望坐标；
根据所述期望坐标，以及所述第一网格区域所对应的第二网格区域中的指定顶点的坐标，获得所述第一网格区域与所述第一网格区域所对应的第二网格区域之间的单应性矩阵，并将所述单应性矩阵作为所述网格变换矩阵；
所述根据各个网格变换矩阵，将所述第二模态图像变换为相对于所述第一模态图像对齐的目标图像，包括：
针对每一个第二网格区域，根据所述第二网格区域所对应的单应性矩阵对所述第二网格区域进行透视变换；
根据各个透视变换后的第二网格区域，获得相对于所述第一模态图像对齐的目标图像。
8.一种图像对齐装置，其特征在于，包括：
确定模块，用于针对第一模态图像中预先划分得到的每一个第一网格区域，确定所述第一网格区域中的至少两个第一候选匹配点；所述确定模块包括：第一确定单元，用于针对第一模态图像中预先划分得到的每一个第一网格区域，根据所述第一网格区域中每个第一像素点的第一梯度值，以及所述第一网格区域所对应的第二网格区域中每个第二像素点的第二梯度值，确定所述第一网格区域与所述第一网格区域所对应的第二网格区域之间的对齐误差；第二确定单元，用于根据所述对齐误差，确定所述第一网格区域中的第一候选匹配点的个数；第三确定单元，用于根据所述第一候选匹配点的个数，确定所述第一网格区域中的第一候选匹配点；
查找模块，用于针对所述第一网格区域中的每一个第一候选匹配点，从第二模态图像中查找所述第一候选匹配点所对应的第一目标像素点，其中，所述第一目标像素点与对应的所述第一候选匹配点之间的互相关信息符合预设互相关条件；
第一处理模块，用于若从所述第二模态图像中查找到所述第一候选匹配点所对应的第一目标像素点，则将所述第一候选匹配点和所述第一候选匹配点所对应的第一目标像素点作为所述第一模态图像与所述第二模态图像之间的一组匹配点对；
第二处理模块，用于根据所述匹配点对，获得所述第一网格区域与所述第一网格区域在所述第二模态图像中所对应的第二网格区域之间的网格变换矩阵，其中，所述第一网格区域在所述第一模态图像中的位置与所述第一网格区域所对应的第二网格区域在所述第二模态图像中的位置相同；
变换模块，用于根据各个网格变换矩阵，将所述第二模态图像变换为相对于所述第一模态图像对齐的目标图像。
9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的图像对齐方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的图像对齐方法。
CN202011237926.4A 2020-11-09 2020-11-09 图像对齐方法、图像对齐装置及终端设备 Active CN112348863B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011237926.4A CN112348863B (zh) 2020-11-09 2020-11-09 图像对齐方法、图像对齐装置及终端设备
PCT/CN2021/117471 WO2022095596A1 (zh) 2020-11-09 2021-09-09 图像对齐方法、图像对齐装置及终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011237926.4A CN112348863B (zh) 2020-11-09 2020-11-09 图像对齐方法、图像对齐装置及终端设备

Publications (2)

Publication Number Publication Date
CN112348863A CN112348863A (zh) 2021-02-09
CN112348863B true CN112348863B (zh) 2022-06-21

Family

ID=74429333

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011237926.4A Active CN112348863B (zh) 2020-11-09 2020-11-09 图像对齐方法、图像对齐装置及终端设备

Country Status (2)

Country Link
CN (1) CN112348863B (zh)
WO (1) WO2022095596A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112348863B (zh) * 2020-11-09 2022-06-21 Oppo广东移动通信有限公司 图像对齐方法、图像对齐装置及终端设备
CN113538606B (zh) * 2021-08-17 2022-07-22 数坤(北京)网络科技股份有限公司 图像关联方法、装置、计算机可读存储介质及电子设备
US20230075297A1 (en) * 2021-09-03 2023-03-09 Kla Corporation Wafer alignment improvement through image projection-based patch-to-design alignment
CN114491131B (zh) * 2022-01-24 2023-04-18 北京至简墨奇科技有限公司 对候选图像进行重新排序的方法、装置和电子设备
CN116625385B (zh) * 2023-07-25 2024-01-26 高德软件有限公司 路网匹配方法、高精地图构建方法、装置及设备
CN117173439A (zh) * 2023-11-01 2023-12-05 腾讯科技（深圳）有限公司 基于gpu的图像处理方法、装置、存储介质及电子设备

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09274659A (ja) * 1996-04-08 1997-10-21 Kobe Steel Ltd 画像位置合わせ方法
CN101911119B (zh) * 2008-01-18 2015-02-25 皇家飞利浦电子股份有限公司 图像配准对齐度量
US8605972B2 (en) * 2012-03-02 2013-12-10 Sony Corporation Automatic image alignment
CN103065323B (zh) * 2013-01-14 2015-07-15 北京理工大学 一种基于单应性变换矩阵的分段空间对准方法
US9245201B1 (en) * 2013-03-15 2016-01-26 Excelis Inc. Method and system for automatic registration of images
CN103679714B (zh) * 2013-12-04 2016-05-18 中国资源卫星应用中心 一种基于梯度互相关的光学和sar图像自动配准方法
US10453204B2 (en) * 2016-12-06 2019-10-22 Adobe Inc. Image alignment for burst mode images
US10055898B1 (en) * 2017-02-22 2018-08-21 Adobe Systems Incorporated Multi-video registration for video synthesis
CN112348863B (zh) * 2020-11-09 2022-06-21 Oppo广东移动通信有限公司 图像对齐方法、图像对齐装置及终端设备

Also Published As

Publication number Publication date
CN112348863A (zh) 2021-02-09
WO2022095596A1 (zh) 2022-05-12

Similar Documents

Publication Publication Date Title
CN112348863B (zh) 图像对齐方法、图像对齐装置及终端设备
WO2021115071A1 (zh) 单目内窥镜图像的三维重建方法、装置及终端设备
CN111046744B (zh) 一种关注区域检测方法、装置、可读存储介质及终端设备
US7554575B2 (en) Fast imaging system calibration
US10726580B2 (en) Method and device for calibration
WO2021136386A1 (zh) 数据处理方法、终端和服务器
CN110675456B (zh) 多深度摄像机外部参数标定方法、装置及存储介质
US20220392201A1 (en) Image feature matching method and related apparatus, device and storage medium
CN112085771B (zh) 图像配准方法、装置、终端设备及计算机可读存储介质
US20200005078A1 (en) Content aware forensic detection of image manipulations
CN108492284B (zh) 用于确定图像的透视形状的方法和装置
Andaló et al. Efficient height measurements in single images based on the detection of vanishing points
CN108052869B (zh) 车道线识别方法、装置及计算机可读存储介质
CN113793387A (zh) 单目散斑结构光系统的标定方法、装置及终端
CN112733641A (zh) 物体尺寸测量方法、装置、设备及存储介质
JPWO2016208404A1 (ja) 情報処理装置および方法、並びにプログラム
CN113362445B (zh) 基于点云数据重建对象的方法及装置
CN114627244A (zh) 三维重建方法及装置、电子设备、计算机可读介质
CN112197708B (zh) 测量方法及装置、电子设备及存储介质
CN111383264A (zh) 一种定位方法、装置、终端及计算机存储介质
CN112102378A (zh) 图像配准方法、装置、终端设备及计算机可读存储介质
CN112200842B (zh) 一种图像配准方法、装置、终端设备及存储介质
CN114998743A (zh) 一种视觉地图点的构建方法、装置、设备及介质
CN117671007B (zh) 一种位移监测方法、装置、电子设备及存储介质
CN111814869B (zh) 一种同步定位与建图的方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant