CN111091590A - 图像处理方法、装置、存储介质及电子设备 - Google Patents
图像处理方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN111091590A CN111091590A CN201911311212.0A CN201911311212A CN111091590A CN 111091590 A CN111091590 A CN 111091590A CN 201911311212 A CN201911311212 A CN 201911311212A CN 111091590 A CN111091590 A CN 111091590A
- Authority
- CN
- China
- Prior art keywords
- reference frame
- frame image
- feature point
- matching
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 44
- 238000012545 processing Methods 0.000 title claims abstract description 26
- 230000006978 adaptation Effects 0.000 claims abstract description 86
- 230000003044 adaptive effect Effects 0.000 claims abstract description 40
- 238000000034 method Methods 0.000 claims abstract description 25
- 230000000875 corresponding effect Effects 0.000 claims description 42
- 239000011159 matrix material Substances 0.000 claims description 41
- 238000001514 detection method Methods 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 18
- 238000004422 calculation algorithm Methods 0.000 claims description 12
- 230000002596 correlated effect Effects 0.000 claims description 10
- 230000008030 elimination Effects 0.000 claims description 7
- 238000003379 elimination reaction Methods 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 abstract description 6
- 238000004364 calculation method Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Abstract
本申请实施例公开了一种图像处理方法、装置、存储介质及电子设备。本申请实施例通过获取两帧图像，并确定出两帧图像中的参考帧图像与非参考帧图像；获取参考帧图像中的特征点与非参考帧图像中对应的匹配特征点形成的特征点对，得到初始匹配点集；获取初始匹配点集中各特征点对的适配参数；在初始匹配点集中删除适配参数小于或等于预设阈值的特征点对，得到目标匹配点集；基于目标匹配点集将非参考帧图像向参考帧图像进行图像配准。本申请实施例利用适配参数对两帧图像的匹配点对进行筛选，保留匹配准确的特征点对，从而在进行图像配准时减少计算量，提高图像配准的速度和效率。
Description
技术领域
本申请涉及图像处理技术领域，具体涉及一种图像处理方法、装置、存储介质及电子设备。
背景技术
目前，在拍摄的过程中，由于摄像载体的震动，摄像机在拍摄时会产生抖动。如摄像机固定在建筑物、交通工具上，安装在带电机的设备上，或是手持摄像设备，这些载体都存在震动，带动摄像机镜头，使得拍摄的视频画面产生抖动，进而导致场景中同一点在拍摄的多帧图像中所成的像素点的图像坐标发生了随时间的偏移，进而导致图像质量受到影响。
相关技术中，通过多帧降噪技术对图像进行配准，得到更高质量的图像。然而，多帧降噪技术中在进行特征点匹配时往往出现特征点匹配不佳的情况，往往导致图像配准耗时长，配准效率低。
发明内容
本申请实施例提供了一种图像处理方法、装置、存储介质及电子设备，能够提高图像配准的效率。
第一方面，本申请实施例提供了一种图像处理方法，所述图像处理方法包括：
获取两帧图像，并确定出所述两帧图像中的参考帧图像与非参考帧图像；
获取所述参考帧图像中的特征点与所述非参考帧图像中对应的匹配特征点形成的特征点对，得到初始匹配点集；
获取所述初始匹配点集中各特征点对的适配参数；
在所述初始匹配点集中删除适配参数小于或等于预设阈值的特征点对，得到目标匹配点集；
基于所述目标匹配点集将所述非参考帧图像向所述参考帧图像进行图像配准。
第二方面，本申请实施例提供了一种图像处理装置，所述图像处理装置包括：
确定模块，用于获取两帧图像，并确定出所述两帧图像中的参考帧图像与非参考帧图像；
第一获取模块，用于获取所述参考帧图像中的特征点与所述非参考帧图像中对应的匹配特征点形成的特征点对，得到初始匹配点集；
第二获取模块，用于获取所述初始匹配点集中各特征点对的适配参数；
删除模块，用于在所述初始匹配点集中删除适配参数小于或等于预设阈值的特征点对，得到目标匹配点集；
配准模块，用于基于所述目标匹配点集将所述非参考帧图像向所述参考帧图像进行图像配准。
第三方面，本申请实施例提供了一种存储介质，其上存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行如本申请实施例提供的图像处理方法。
第四方面，本申请实施例提供了一种电子设备，包括处理器、存储器和多个摄像头，所述存储器存储有计算机程序，所述处理器通过调用所述计算机程序，执行如本申请实施例提供的图像处理方法。
本申请实施例中，利用适配参数对两帧图像的匹配点对进行筛选，保留匹配准确的特征点对，从而在进行图像配准时减少计算量，提高图像配准的速度和效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的图像处理方法的流程示意图。
图2是本申请实施例提供的图像处理方法的另一流程示意图。
图3是本申请实施例提供的图像处理方法的原理示意图。
图4是本申请实施例提供的图像处理装置的结构示意图。
图5是本申请实施例提供的图像处理装置的另一结构示意图。
图6是本申请实施例提供的电子设备的结构示意图。
图7是本申请实施例提供的电子设备的另一结构示意图。
具体实施方式
请参照图式，其中相同的组件符号代表相同的组件，本申请的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本申请具体实施例，其不应被视为限制本申请未在此详述的其它具体实施例。
本申请实施例首先提供一种图像处理方法，该图像处理方法可应用于电子设备。该图像处理方法的执行主体可以是本申请实施例提供的图像处理装置，或者集成了该图像处理装置的电子设备，该图像处理装置可以采用硬件或者软件的方式实现，电子设备可以是智能手机、平板电脑、掌上电脑、笔记本电脑、或者台式电脑等配置有处理器而具有处理能力的设备。
例如，电子设备以智能手机为例。其中，电子设备可包括一个、两个或多个摄像头。电子设备可以包括前置摄像头和/或后置摄像头，前置摄像头可包括多个摄像头，后置摄像头也可以包括多个摄像头。本申请实施例用于获取图像的摄像头可以是前置摄像头，也可以是后置摄像头。
请参照图1，图1为本申请实施例提供的图像处理方法的流程示意图。该图像处理方法可应用于本申请实施例提供的电子设备，本申请实施例提供的图像处理方法的流程可以如下：
101，获取两帧图像，并确定出两帧图像中的参考帧图像与非参考帧图像。
在一实施例中，电子设备可以获取拍摄场景的多帧图像，在多帧图像中选取两帧图像。电子设备在获取拍摄场景的多帧图像时，可以调用摄像头对拍摄场景进行拍摄，即拍摄得到拍摄场景的多帧图像，也可以利用相机的预览功能，获取对待拍摄场景预览的多帧图像。
其中，电子设备获取到的拍摄场景的多帧图像可以是连续获取的多帧图像，也可以是从连续获取的图像中选取的不连续的多帧图像，只要获取的是对同一拍摄场景的多帧图像，图像中的内容大体相同即可。例如，电子设备获取的多帧图像都是对远处一座山拍摄的图像，即使在拍摄中由于手的抖动，或者摄像载体的震动等原因造成图像的拍摄角度或拍摄区域存在微小的不同，也可以认为电子设备获取的是是对同一拍摄场景的多帧图像。
参考帧图像与非参考帧图像图像可以是多帧图像中任意选取的两帧图像。或者，参考帧图像与非参考帧图像图像也可以是按照一定规则从多帧图像中选取出来的两帧图像。例如，可以采用清晰度评价方法评价多帧图像的清晰度，选取多帧图像中最清晰的一帧图像作为参考帧图像，或者，选取多帧图像中对比度最高的一帧图像作为参考帧等等，选取规则可以视当前的场景及用户的实际需求而定。如果用户需要高对比度的照片，则可以将多帧图像中对比度最高的一帧图像确定为参考帧图像，如果用户需要高清晰度的照片，则可以将多帧图像中清晰度最高的一帧图像确定为参考帧图像，将除参考帧图像以外的任意一帧图像确定为非参考帧图像，等等。例如，可以在确定出多帧图像中的参考帧图像后，将与参考帧图像相邻的一帧图像确定为非参考帧图像。
在一实施例中，电子设备也可以获取对拍摄场景的多帧图像，并事先利用机器学习算法对该拍摄场景的图像进行分析和学习处理，通过自行分析和学习的处理过程生成机器学习算法模型，根据机器学习算法模型处理的结果确定多帧图像中清晰度最高的图像，将其作为参考帧图像。
需要说明的是，以上对参考帧图像与非参考帧图像的确定方法的举例仅仅是示例性的，不构成对本申请确定参考帧图像的方法的限制，电子设备可以使用各种方法将多帧图像中符合当前实际需求的某一帧图像确定为参考帧图像，甚至，在一些情况下，电子设备也可以确定出两帧，或多帧参考帧图像。例如，如果用户对图像的清晰度要求较高，电子设备也可以将多帧图像中清晰度最高的两帧图像进行图像合成，将合成后的图像中确定为参考帧图像，等等。
在一实施例中，电子设备确定出的非参考帧图像，用于向参考帧图像进行配准，以提高参考帧图像的清晰度。当获取到多帧图像时，首先确定出多帧图像中的参考帧图像，在每一次确定出非参考帧图像时，都将非参考帧图像向确定的参考帧图像进行图像配准。
102，获取参考帧图像中的特征点与非参考帧图像中对应的匹配特征点形成的特征点对，得到初始匹配点集。
其中，特征点为图像中具有特征的点，可以为极值点，或者在某方面属性突出的点，例如，两条线的交点，或者一个角的顶点等。图像中的特征点能够反映出图像中各个物体的位置和轮廓。
在一实施例中，对同一拍摄场景，电子设备可以使用事先训练好的机器学习算法模型在参考帧中确定出特征点。例如，对于拍摄场景为人脸的多帧图像，电子设备可以预先进行人脸特征点识别模型的训练，基于图像中人脸面部灰度值或边界特征，根据训练好的人脸特征点识别模型确定出多参考帧图像中的特征点。
在一实施例中，电子设备可以使用特征点提取算法在参考帧图像中确定出特征点，例如，Harris(哈里斯角点检测)、SIFT(Scale Invariant Feature Transform，尺度不变特征变换)等。特征点匹配算法具备较好的环境适应性，可以在满足实时性的情况下实现设备在各种成像环境下的快速、精准稳像。
在一实施例中，电子设备在参考帧图像中确定出特征点，并将参考帧图像中的特征点在非参考帧图像中匹配出匹配特征点，每一对特征点与对应的匹配特征点形成一对匹配的特征点对，所有的特征点与对应的匹配特征点形成的特征点对构成初始匹配点集。例如，在参考帧图像I中的特征点I1、特征点I2、特征点I3分别与非参考帧图像P中的匹配特征点P1、匹配特征点P2、匹配特征点P3形成匹配特征点对(I1、P1)、(I2、P2)和(I3、P4)，则初始匹配点集中包含匹配特征点对(I1、P1)、(I2、P2)和(I3、P4)。
103，获取初始匹配点集中各特征点对的适配参数。
其中，每对特征点对的适配参数代表特征点对中特征点与其对应的匹配特征点的匹配程度。适配参数越高，代表该特征点与其对应的匹配特征点对的匹配程度越高，可以将该特征点对保留；适配参数越低，代表该特征点与其对应的匹配特征点对的匹配程度越低，可以视情况将该特征点对剔除。在初始匹配点集中的每一对特征点对，都有一个与其对应的适配参数。
在一实施例中，假设参考帧图像I中的特征点I1与非参考帧图像P中的匹配特征点P1匹配成特征点对(I1、P1)，可以通过对比特征点I1在参考帧图像I中所处的环境与匹配特征点P1在非参考帧图像P中所处的环境获取初始匹配点集中各特征点对的适配参数。其中，特征点I1在参考帧图像I中所处的环境可以由特征点I1与参考帧图像I中其他特征点的相对位置体现，特征点P1在非参考帧图像P中所处的环境可以由特征点P1与非参考帧图像P中其他特征点的相对位置体现。
例如，在一实施例中，可以在计算每一特征点对的适配参数时，将需要计算的特征点对确定为目标特征点对，每次利用一个非目标特征点对计算目标特征点对的适配参数分量，通过利用多个非目标特征点对进行计算，得到目标特征点对的多个适配参数分量。然后对多个适配参数分量进行算术平均，得到目标特征点对的适配参数。
或者，对多个适配参数分量进行求和，得到目标特征点对的适配参数。其中，非目标特征点对的数量可以为预先设定的固定数量，相应的，得到固定数量的特征点对，以将特定数量的特征点对适配参数的累计结果作为适配参数。
104，在初始匹配点集中删除适配参数小于或等于预设阈值的特征点对，得到目标匹配点集。
在一实施例中，通过设置预设阈值来截断适配参数。当适配参数大于预设阈值时，电子设备认为该适配参数对应的特征点对匹配较为准确，可以予以保留；当适配参数小于或等于预设阈值时，电子设备认为该适配参数对应的特征点对匹配不够准确，应予以剔除。
可以理解的是，在初始匹配点集中删除适配参数小于或等于预设阈值的特征点对后得到的目标匹配点集，是初始匹配点集的子集。目标匹配点集与初始匹配点集的关系为：目标匹配点集包含于初始匹配点集。
在一实施例中，初始匹配点集中所有的特征点对对应的适配参数均大于预设阈值，此时，可认为该初始匹配点集中所有的特征点对都匹配准确，没有需要删除的特征点对。此时，目标匹配点集与初始匹配点集的关系为：目标匹配点集等于初始匹配点集。
105，基于目标匹配点集将非参考帧图像向参考帧图像进行图像配准。
在一实施例中，在获取参考帧图像中的特征点与非参考帧图像中对应的匹配特征点形成的特征点对之后，可以利用这些特征点对获取用于将非参考帧图像P向参考帧图像I配准的单应矩阵，并基于该单应矩阵将非参考帧图像P向参考帧图像I进行配准，以输出高清晰度的成像图像。然而，由于特征点在匹配时存在误差，匹配出的特征点对可能存在匹配不准确的特征点对，当利用不准确的特征点对计算出不准确的单应矩阵，并利用不准确的单应矩阵将非参考帧图像P向参考帧图像I进行配准时，输出的成像图像清晰度反而降低，成像质量难以保证。
在一实施例中，通过适配参数对初始匹配点集中的特征点对进行筛选，筛选后得到的目标匹配点集中仅保留匹配准确的特征点对，并基于目标匹配点集将非参考帧图像向参考帧图像进行图像配准。一方面，能够避免由于不准确的特征点对计算出不准确的单应矩阵造成的配准误差，保证成像质量。另一方面，如果从初始匹配点集中筛选了部分特征点对，得到的目标特征点集中特征点对的数量相较初始匹配点集更少但更精确，因而不仅能够提高图像配准的质量，也能够减少计算量，提高匹配速度。
由上可知，本申请实施例中，通过获取两帧图像，并确定出两帧图像中的参考帧图像与非参考帧图像；获取参考帧图像中的特征点与非参考帧图像中对应的匹配特征点形成的特征点对，得到初始匹配点集；获取初始匹配点集中各特征点对的适配参数；在初始匹配点集中删除适配参数小于或等于预设阈值的特征点对，得到目标匹配点集；基于目标匹配点集将非参考帧图像向参考帧图像进行图像配准。本申请实施例利用适配参数对两帧图像的匹配点对进行筛选，保留匹配准确的特征点对，从而在进行图像配准时减少计算量，提高图像配准的速度和效率。
请参照图2，图2为本申请实施例提供的图像处理方法的另一流程示意图，该图像处理方法可应用于本申请实施例提供的电子设备，该图像处理方法的流程可以包括：
201、电子设备获取两帧图像，并确定出两帧图像中的参考帧图像与非参考帧图像。
202、电子设备对参考帧图像进行角点检测，获取参考帧图像的角点。
其中，角点为极值点，即在某方面属性特别突出的点。角点可以是两条线的交叉处，也可以是位于相邻的两个主要方向不同的事物上的点。角点检测为对有定义的、或者是能够检测出来的点的检测，检测出的点可以是角点，也可以是在某些属性上强度最大或者最小的孤立点、线段的终点，或者是曲线上局部曲率最大的点。
在一实施例中，电子设备可以使用Harris(哈里斯)角点检测算法进行角点检测。例如，电子设备确定出一定大小的矩形状的小窗口，将该小窗口在图像中移动，通过考察这个小窗口内图像灰度值的平均变换值来确定角点。如果窗口内区域图像的灰度值恒定，代表图像内所有不同方向的偏移几乎不发生变化；如果窗口在图像中跨越了一条边，那么沿着这条边的偏移几乎不发生变化，但是与边垂直的偏移会发生很大的变化；如果窗口包含一个孤立的点或者角点，那么所有不同方向的偏移会发生很大的变化。
可以理解的是，如果将该小窗口在参考帧图像中移动时，圈出的区域均为同一张纯色桌子的桌面且不包含桌子的边缘部分，那么，该小窗口所圈出的区域中，像素点的灰度值恒定，灰度值的平均变换值几乎为0，图像内所有不同方向的偏移几乎不发生变化，可以确定该小窗口所圈出的区域中没有能代表桌子轮廓的角点。
利用角点检测，电子设备就可以在参考帧图像中确定出一些有代表意义的点，并将这些具有代表意义的点确定为特征点，从而根据这些特征点来进行后续的操作。
203、电子设备对角点进行误检测剔除，以从角点中筛选得到特征点。
在一实施例中，电子设备通过角点检测确定出参考帧图像中的角点后，对其中检测出的不具有代表性的和/或误检测的角点进行剔除。例如，可以采用Harris Score(哈里斯评分)等算法表征特征点本身质量的指标和局部特征点之间的距离等条件，从而从确定出的角点中筛选出特征点。
在一实施例中，电子设备选取每个角点周围极小范围的预设区域，重新检测该预设区域内像素点的灰度值变化，通过考察这个极小范围的预设区域内图像灰度值的平均变换值来从角点中确定出特征点，即电子设备对检测出的角点进行误检测剔除，剔除掉其中不具有代表性的和/或误检测的角点。
204、电子设备将特征点在非参考帧图像中进行匹配，得到对应的匹配特征点。
205、电子设备获取参考帧图像中的特征点与非参考帧图像中对应的匹配特征点形成的特征点对，得到初始匹配点集。
206、电子设备在计算每一特征点对的适配参数时，将需要计算的特征点对确定为目标特征点对，每次利用一个非目标特征点对计算目标特征点对的适配参数分量通过利用多个非目标特征点对进行计算，得到目标特征点对的多个适配参数分量。
在一实施例中，初始匹配点集中的每一特征点对都对应有一个适配参数。在计算某一特征点对的适配参数时，可以通过比较该特征点对中特征点相对其他特征点的位置与该特征点对中匹配特征点对相对其他匹配特征点对的位置计算该特征点对的适配参数。在计算某一特征点对的适配参数时，电子设备将该需要计算的特征点对确定为目标特征点对，并将初始匹配点集中除目标特征点对以外的特征点对确定为非目标特征点对。
在一实施例中，在计算每一特征点对的适配参数时，每次利用一个非目标特征点对计算所述目标特征点对的适配参数分量，通过利用多个非目标特征点对进行计算，得到所述目标特征点对的多个适配参数分量。然后，对计算出的多个适配参数分量进行算术平均，得到所述目标特征点对的适配参数。
在一实施例中，目标特征点对包括第一特征点和第一匹配特征点，所述非目标特征点对包括第二特征点和第二匹配特征点，每次利用一个非目标特征点对计算所述目标特征点对的适配参数分量包括：
(1)计算所述第一特征点和所述第二特征点之间的第一欧氏距离，并计算所述第一匹配特征点和所述第二匹配特征点之间的第二欧氏距离；
(2)根据所述第一欧式距离与所述第二欧氏距离计算得到所述目标特征点对的适配参数分量。
其中，第一特征点与第一匹配特征点匹配，第二特征点与第二匹配特征点匹配。第一特征点与第二特征点位于参考帧图像上，第一匹配特征点与第二匹配特征点位于非参考帧图像上。
欧氏距离也称欧几里得度量(euclidean metric)，指在n维空间中两个点之间的真实距离，或者向量的自然长度。在二维和三维空间中的欧氏距离就是两点之间的实际距离。二维空间中的两点x(x1,y1)与y(x2,y2)的欧氏距离可以表示为：
下面，结合附图说明本申请实施例提供的图像处理方法中适配参数的一种获取方法。
请参阅图3，图3为本申请实施例提供的图像处理方法的原理示意图。其中，参考帧图像I中有4个特征点I1，I2，I3和I4，分别对应于非参考帧图像中的P1，P2，P3和P4，虚线表示参考帧图像I中特征点与非参考帧图像P中的匹配特征点之间的配对关系，参考帧图像I与非参考帧图像P之间共形成4对特征点对(I1，P1)，(I2，P2)，(I3，P3)和(I4，P4)，这4对特征点对构成参考帧图像I与非参考帧图像之间的初始匹配点集。
假设将(I1，P1)作为目标特征点对，其中I1为第一特征点，P1为第一匹配特征点，取非目标特征点对(I2，P2)计算目标特征点对(I1，P1)的适配参数。非特征点对(I2，P2)中，I2为第二特征点，P2为第二匹配特征点。
在一实施例中，先计算第一特征点I1和第二特征点I2之间的第一欧氏距离d(I1，I2)，第一匹配特征点P1和第二匹配特征点P2之间的第二欧氏距离d(P1，P2)。可采用以下方法计算出目标特征点对(I1，P1)的一个适配参数分量：
DD1＝(d(I1，I2)+d(P1，P2))/2
err1＝abs(d(I1，I2)-d(P1，P2))
r1＝exp(-err1/DD1)
在一实施例中，计算平均欧式距离(即第一欧氏距离d(I1，I2)与第二欧氏距离d(P1，P2)的平均值)，得到第一数值DD1，计算欧式距离之差(即第一欧氏距离d(I1，I2)与第二欧氏距离d(P1，P2)之差)的绝对值，得到第二数值err1，将第二数值err1与第一数值DD1之比乘负一，得到第三数值-err1/DD1，将自然常数的第三数值次方作为适配参数分量r1的值。
其中，适配参数分量r1与第一数值DD1呈正相关，即与平均欧式距离呈正相关；适配参数分量r1与第二数值err1呈负相关，即与欧氏距离之差的绝对值呈负相关。
请继续参阅图3，由上可知，第一欧氏距离d(I1，I2)与第二欧氏距离d(P1，P2)数值越大和/或第一欧氏距离d(I1，I2)与第二欧氏距离d(P1，P2)数值越接近，得出的适配参数分量r1越小，越能够说明目标特征点对(I1，P1)相对非目标特征点而言是匹配准确的。
需要说明的是，上述针对附图的说明仅仅是示例性的，实际上参考帧图像中的特征点与非参考帧图像中的匹配特征点的数量可能远多于4个。但是通过每次利用一个非目标特征点对计算目标特征点对的适配参数分量的方法，不论有多少个特征点与匹配特征点，都可以就目标特征点对相对任意一对非目标特征点对的相对位置得出目标特征点对的一个适配参数分量。
207、电子设备对多个适配参数分量进行算术平均，得到目标特征点对的适配参数。
请继续参阅图3，参考帧图像I和非参考帧图像P形成的初始匹配点集中不止有两对特征点对，通过重新带入一个非特征点对(I3，P3)进行计算，可以得到另一个适配参数分量r2。计算方式同上：
DD2＝(d(I1，I3)+d(P1，P3))/2
err2＝abs(d(I1，I3)-d(P1，P3))
r2＝exp(-err2/DD2)
其中，不断更换非目标特征点对，用初始匹配点集中的所有非目标特征点对依次代入计算，可以得到多个适配参数分量。假设初始匹配点集中有m对特征点对，依次将其中除目标特征点对外的其他m-1个非目标特征点对代入计算，可以得到m-1个适配参数分量。通过对这m-1个适配参数进行算术平均，可以得到目标特征点对的适配参数。此时的适配参数也可称为平均适配参数。例如，在图3中，分别将非目标特征点对(I2，P2)、(I3，P3)和(I4，P4)代入计算，可以得到目标特征点对(I1，P1)的3个适配参数分量r1、r2和r3，对r1、r2和r3进行算术平均得到的(r1+r2+r3)/3即为目标特征点对(I1，P1)的适配参数。
208、电子设备在初始匹配点集中删除适配参数小于或等于预设阈值的特征点对，得到目标匹配点集。
在一实施例中，通过设置预设阈值来截断适配参数。当适配参数大于预设阈值时，电子设备认为该适配参数对应的特征点对匹配较为准确，可以予以保留；当适配参数小于或等于预设阈值时，电子设备认为该适配参数对应的特征点对匹配不够准确，应予以剔除。
可以理解的是，在初始匹配点集中删除适配参数小于或等于预设阈值的特征点对后得到的目标匹配点集，是初始匹配点集的子集。目标匹配点集与初始匹配点集的关系为：目标匹配点集包含于初始匹配点集。
在一实施例中，初始匹配点集中所有的特征点对对应的适配参数均大于预设阈值，此时，可认为该初始匹配点集中所有的特征点对都匹配准确，没有需要删除的特征点对。此时，目标匹配点集与初始匹配点集的关系为：目标匹配点集等于初始匹配点集。
209、电子设备每次抽取目标匹配点集中的三对特征点对，并基于三对特征点对计算出一个单应矩阵，通过多次抽取三对特征点对计算单应矩阵，得到多个单应矩阵。
其中，电子设备任意获取多对特征点对中的三对特征点对，并根据获取的三对特征点对计算出非参考帧图像对应的单应矩阵。
210、电子设备从多个单应矩阵中确定出用于图像配准的最优单应矩阵。
其中，电子设备为了消除匹配错误的特征点对对单应矩阵准确性的影响，获取到多个单应矩阵之后，使用RANSAC(Random Sample Consensus，随机抽样一致)算法，对于计算出的任意一个单应矩阵，通过其对应的三个特征点对之外的其他特征点对对单应矩阵打分，进而得出最优单应矩阵，电子设备利用最优单应矩阵对非参考帧图像进行仿射变换。例如，每根据三对特征点对计算出一个单应矩阵时，电子设备将该单应矩阵与其对应的三对特征点对以外的其他特征点对进行匹配，以获取单应矩阵在非参考帧图像中的匹配成功率，将多个单应矩阵中匹配成功率最高的单应矩阵确定为最优单应矩阵。
211、电子设备基于最优单应矩阵将非参考帧图像向参考帧图像进行图像配准。
电子设备确定出每一个非参考帧图像相对于参考帧图像对应的单应矩阵后，就可以基于对应的单应矩阵将每一个非参考帧图像进行仿射变换，从而将非参考帧图像向参考帧图像进行图像配准。例如，电子设备将非参考帧图中的像素点的坐标乘以对应的单应矩阵以进行仿射变换，得到仿射变换后该像素点所处的坐标，综合非参考帧图像中各像素点仿射变换后的坐标得到非参考帧图像向参考帧图像配准后的图像。
由上可知，本申请实施例中，电子设备通过获取两帧图像，并确定出两帧图像中的参考帧图像与非参考帧图像；获取参考帧图像中的特征点与非参考帧图像中对应的匹配特征点形成的特征点对，得到初始匹配点集；获取初始匹配点集中各特征点对的适配参数；在初始匹配点集中删除适配参数小于或等于预设阈值的特征点对，得到目标匹配点集；基于目标匹配点集将非参考帧图像向参考帧图像进行图像配准。本申请实施例利用适配参数对两帧图像的匹配点对进行筛选，保留匹配准确的特征点对，从而在进行图像配准时减少计算量，提高图像配准的速度和效率。
本申请实施例还提供一种图像处理装置。请参照图4，图4为本申请实施例提供的图像处理装置的第一结构示意图。其中该图像处理装置300应用于电子设备，该图像处理装置300包括确定模块301、第一获取模块302、第二获取模块303、删除模块304以及配准模块305，如下：
确定模块301，用于获取两帧图像，并确定出两帧图像中的参考帧图像与非参考帧图像；
第一获取模块302，用于获取参考帧图像中的特征点与非参考帧图像中对应的匹配特征点形成的特征点对，得到初始匹配点集；
第二获取模块303，用于获取初始匹配点集中各特征点对的适配参数；
删除模块304，用于在初始匹配点集中删除适配参数小于或等于预设阈值的特征点对，得到目标匹配点集；
配准模块305，用于基于目标匹配点集将非参考帧图像向参考帧图像进行图像配准。
在一实施例中,第二获取模块303用于：
在计算每一特征点对的适配参数时，将需要计算的特征点对确定为目标特征点对，每次利用一个非目标特征点对计算目标特征点对的适配参数分量，通过利用多个非目标特征点对进行计算，得到目标特征点对的多个适配参数分量；
对多个适配参数分量进行算术平均，得到目标特征点对的适配参数。
在一实施例中,第二获取模块303用于：
在计算每一特征点对的适配参数时，将需要计算的特征点对确定为目标特征点对，每次利用一个非目标特征点对计算目标特征点对的适配参数分量，通过利用多个非目标特征点对进行计算，得到目标特征点对的多个适配参数分量；
对多个适配参数分量进行求和，得到目标特征点对的适配参数。
在一实施例中，目标特征点对包括第一特征点和第一匹配特征点，非目标特征点对包括第二特征点和第二匹配特征点，在每次利用一个非目标特征点对计算目标特征点对的适配参数分量时，第二获取模块303用于：
计算第一特征点和第二特征点之间的第一欧氏距离，并计算第一匹配特征点和第二匹配特征点之间的第二欧氏距离；
根据第一欧式距离与第二欧氏距离计算得到目标特征点对的适配参数分量。
在一实施例中，适配参数分量与第一欧氏距离与第二欧氏距离的平均值呈正相关，与第一欧氏距离与第二欧氏距离之差的绝对值呈负相关。
在一实施例中，在根据第一欧氏距离与第二欧氏距离计算得到目标特征点对的适配参数分量时，第二获取模块303用于：
计算第一欧氏距离与第二欧氏距离的平均值，得到第一数值；
计算第一欧氏距离与第二欧氏距离之差的绝对值，得到第二数值；
将第二数值与第一数值之比乘负一，得到第三数值；
将自然常数的第三数值次方作为适配参数分量。
请参阅图5，在一实施例中，该图像处理装置300还包括匹配模块306，匹配模块306用于：
对参考帧图像进行角点检测，获取参考帧图像的角点；
对角点进行误检测剔除，以从角点中筛选得到特征点；
将特征点在非参考帧图像中进行匹配，得到对应的匹配特征点。
在一实施例中，在对角点进行误检测剔除时，匹配模块306用于：
获取角点的哈里斯评分；
当角点的哈里斯评分低于预设评分阈值时，删除角点；或者
获取两个角点之间的距离；
当两个角点之间的距离小于预设阈值时，删除两个角点。
在一实施例中，配准模块305用于：
每次抽取目标匹配点集中的三对特征点对，并基于三对特征点对计算出一个单应矩阵，通过多次抽取三对特征点对计算单应矩阵，得到多个单应矩阵；
从多个单应矩阵中确定出用于图像配准的最优单应矩阵；
基于最优单应矩阵将非参考帧图像向参考帧图像进行图像配准。
在一实施例中，在从多个单应矩阵中确定出用于图像配准的最优单应矩阵时，配准模块305用于：
基于随机抽样一致算法获取所述多个单应矩阵在所述初始匹配点集中的匹配率；
将所述多个单应矩阵中匹配率最高的单应矩阵确定为所述最优单应矩阵。
应当说明的是，本申请实施例提供的图像处理装置与上文实施例中的图像处理方法属于同一构思，在图像处理装置上可以运行图像处理方法实施例中提供的任一方法，其具体实现过程详见图像处理方法实施例，此处不再赘述。
由上可知，本申请实施例中，通过确定模块301获取两帧图像，并确定出两帧图像中的参考帧图像与非参考帧图像；第一获取模块302获取参考帧图像中的特征点与非参考帧图像中对应的匹配特征点形成的特征点对，得到初始匹配点集；第二获取模块303获取初始匹配点集中各特征点对的适配参数；删除模块304在初始匹配点集中删除适配参数小于或等于预设阈值的特征点对，得到目标匹配点集；配准模块305基于目标匹配点集将非参考帧图像向参考帧图像进行图像配准。本申请实施例利用适配参数对两帧图像的匹配点对进行筛选，保留匹配准确的特征点对，从而在进行图像配准时减少计算量，提高图像配准的速度和效率。
本申请实施例提供一种的存储介质，其上存储有计算机程序，当其存储的计算机程序在计算机上执行时，使得计算机执行如本申请实施例提供的图像处理方法中的步骤。其中，存储介质可以是磁碟、光盘、只读存储器(Read Only Memory，ROM，)或者随机存取器(Random Access Memory，RAM)等。
本申请实施例还提供一种电子设备，请参照图6，图6为本申请实施例提供的电子设备的一结构示意图。电子设备包括处理器401、存储器402、摄像头403以及显示器404，处理器401与存储器402、摄像头403以及显示器404电性连接。
处理器401是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或加载存储在存储器402内的计算机程序，以及调用存储在存储器402内的数据，执行电子设备的各种功能并处理数据。
存储器402可用于存储软件程序以及模块，处理器401通过运行存储在存储器402的计算机程序以及模块，从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的计算机程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器402还可以包括存储器控制器，以提供处理器401对存储器402的访问。
摄像头403可以包括普通彩色摄像头，或者说视场角为45度左右的普通彩色摄像头，也可以为彩色长焦摄像头，或者说视场角为40度以内的彩色长焦摄像头，等等，此处不一一举例。摄像头403可以有一个，也可以有两个或多个。
显示器404可以用于显示由用户输入的信息或提供给用户的信息以及各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示器404包括显示屏，显示屏用于显示预览图像。
在本申请实施例中，电子设备中的处理器401会按照如下的步骤，将一个或一个以上的计算机程序的进程对应的指令加载到存储器402中，并由处理器401运行存储在存储器402中的计算机程序，从而实现各种功能，如下：
获取两帧图像，并确定出两帧图像中的参考帧图像与非参考帧图像；
获取参考帧图像中的特征点与非参考帧图像中对应的匹配特征点形成的特征点对，得到初始匹配点集；
获取初始匹配点集中各特征点对的适配参数；
在初始匹配点集中删除适配参数小于或等于预设阈值的特征点对，得到目标匹配点集；
基于目标匹配点集将非参考帧图像向参考帧图像进行图像配准。
请参照图7，图7为本申请实施例提供的电子设备的另一结构示意图，与图6所示电子设备的区别在于，电子设备还包括输入单元405和输出单元406等组件。
其中，输入单元405可用于接收输入的数字、字符信息或用户特征信息(比如指纹)，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入等。
输出单元406可用于显示由用户输入的信息或提供给用户的信息，如屏幕。
在本申请实施例中，电子设备中的处理器401会按照如下的步骤，将一个或一个以上的计算机程序的进程对应的指令加载到存储器402中，并由处理器401运行存储在存储器402中的计算机程序，从而实现各种功能，如下：
获取两帧图像，并确定出两帧图像中的参考帧图像与非参考帧图像；
获取参考帧图像中的特征点与非参考帧图像中对应的匹配特征点形成的特征点对，得到初始匹配点集；
获取初始匹配点集中各特征点对的适配参数；
在初始匹配点集中删除适配参数小于或等于预设阈值的特征点对，得到目标匹配点集；
基于目标匹配点集将非参考帧图像向参考帧图像进行图像配准。
在一实施例中，在获取初始匹配点集中各特征点对的适配参数时，处理器401还执行：
在计算每一特征点对的适配参数时，将需要计算的特征点对确定为目标特征点对，每次利用一个非目标特征点对计算目标特征点对的适配参数分量，通过利用多个非目标特征点对进行计算，得到目标特征点对的多个适配参数分量；
对多个适配参数分量进行算术平均，得到目标特征点对的适配参数。
在一实施例中，在获取初始匹配点集中各特征点对的适配参数时，处理器401还执行：
在计算每一特征点对的适配参数时，将需要计算的特征点对确定为目标特征点对，每次利用一个非目标特征点对计算目标特征点对的适配参数分量，通过利用多个非目标特征点对进行计算，得到目标特征点对的多个适配参数分量；
对多个适配参数分量进行求和，得到目标特征点对的适配参数。
在一实施例中，目标特征点对包括第一特征点和第一匹配特征点，非目标特征点对包括第二特征点和第二匹配特征点，在每次利用一个非目标特征点对计算目标特征点对的适配参数分量时，处理器401还执行：
计算第一特征点和第二特征点之间的第一欧氏距离，并计算第一匹配特征点和第二匹配特征点之间的第二欧氏距离；
根据第一欧式距离与第二欧氏距离计算得到目标特征点对的适配参数分量。
在一实施例中，适配参数分量与平均欧式距离呈正相关，与欧氏距离之差的绝对值呈负相关，平均欧式距离为第一欧式距离与第二欧氏距离的平均值，欧氏距离之差为第一欧式距离与第二欧式距离之差。
在一实施例中，在根据第一欧氏距离与第二欧氏距离计算得到目标特征点对的适配参数分量时，处理器401还执行：
计算第一欧氏距离与第二欧氏距离的平均值，得到第一数值；
计算第一欧氏距离与第二欧氏距离之差的绝对值，得到第二数值；
将第二数值与第一数值之比乘负一，得到第三数值；
将自然常数的第三数值次方作为适配参数分量。
在一实施例中，在获取所述参考帧图像中的特征点与所述非参考帧图像中对应的匹配特征点形成的特征点对，得到初始匹配点集之前，处理器401还执行：
对参考帧图像进行角点检测，获取参考帧图像的角点；
对角点进行误检测剔除，以从角点中筛选得到特征点；
将特征点在非参考帧图像中进行匹配，得到对应的匹配特征点。
在一实施例中，在对角点进行误检测剔除时，处理器401还执行：
获取角点的哈里斯评分；
当角点的哈里斯评分低于预设评分阈值时，删除角点；或者
获取两个角点之间的距离；
当两个角点之间的距离小于预设阈值时，删除两个角点。
在一实施例中，在基于目标匹配点集将非参考帧图像向参考帧图像进行图像配准时，处理器401还执行：
每次抽取目标匹配点集中的三对特征点对，并基于三对特征点对计算出一个单应矩阵，通过多次抽取三对特征点对计算单应矩阵，得到多个单应矩阵；
从多个单应矩阵中确定出用于图像配准的最优单应矩阵；
基于最优单应矩阵将非参考帧图像向参考帧图像进行图像配准。
在一实施例中，在从多个单应矩阵中确定出用于图像配准的最优单应矩阵时，处理器401还执行：
基于随机抽样一致算法获取所述多个单应矩阵在所述初始匹配点集中的匹配率；
将所述多个单应矩阵中匹配率最高的单应矩阵确定为所述最优单应矩阵。
应当说明的是，本申请实施例提供的电子设备与上文实施例中的图像处理方法属于同一构思，在电子设备上可以运行图像处理方法实施例中提供的任一方法，其具体实现过程详见特征提取方法实施例，此处不再赘述。
由上可知，本申请实施例中，电子设备通过获取两帧图像，并确定出两帧图像中的参考帧图像与非参考帧图像；获取参考帧图像中的特征点与非参考帧图像中对应的匹配特征点形成的特征点对，得到初始匹配点集；获取初始匹配点集中各特征点对的适配参数；在初始匹配点集中删除适配参数小于或等于预设阈值的特征点对，得到目标匹配点集；基于目标匹配点集将非参考帧图像向参考帧图像进行图像配准。本申请实施例利用适配参数对两帧图像的匹配点对进行筛选，保留匹配准确的特征点对，从而在进行图像配准时减少计算量，提高图像配准的速度和效率。
需要说明的是，对本申请实施例的图像处理方法而言，本领域普通测试人员可以理解实现本申请实施例的图像处理方法的全部或部分流程，是可以通过计算机程序来控制相关的硬件来完成，计算机程序可存储于一取存储介质中，如存储在电子设备的存储器中，并被该电子设备内的至少一个处理器执行，在执行过程中可包括如图像处理方法的实施例的流程。其中，的存储介质可为磁碟、光盘、只读存储器、随机存取记忆体等。
对本申请实施例的图像处理装置而言，其各功能模块可以集成在一个处理芯片中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个取存储介质中，存储介质譬如为只读存储器，磁盘或光盘等。
以上对本申请实施例所提供的一种图像处理方法、装置、存储介质及电子设备进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本申请的限制。
Claims (14)
1.一种图像处理方法，其特征在于，包括：
获取两帧图像，并确定出所述两帧图像中的参考帧图像与非参考帧图像；
获取所述参考帧图像中的特征点与所述非参考帧图像中对应的匹配特征点形成的特征点对，得到初始匹配点集；
获取所述初始匹配点集中各特征点对的适配参数；
在所述初始匹配点集中删除适配参数小于或等于预设阈值的特征点对，得到目标匹配点集；
基于所述目标匹配点集将所述非参考帧图像向所述参考帧图像进行图像配准。
2.根据权利要求1所述的图像处理方法，其特征在于，所述获取所述初始匹配点集中各特征点对的适配参数包括：
在计算每一特征点对的适配参数时，将需要计算的特征点对确定为目标特征点对，每次利用一个非目标特征点对计算所述目标特征点对的适配参数分量，通过利用多个非目标特征点对进行计算，得到所述目标特征点对的多个适配参数分量；
对所述多个适配参数分量进行算术平均，得到所述目标特征点对的适配参数。
3.根据权利要求1所述的图像处理方法，其特征在于，所述获取所述初始匹配点集中各特征点对的适配参数包括：
在计算每一特征点对的适配参数时，将需要计算的特征点对确定为目标特征点对，每次利用一个非目标特征点对计算所述目标特征点对的适配参数分量，通过利用多个非目标特征点对进行计算，得到所述目标特征点对的多个适配参数分量；
对所述多个适配参数分量进行求和，得到所述目标特征点对的适配参数。
4.根据权利要求2或3所述的图像处理方法，其特征在于，所述目标特征点对包括第一特征点和第一匹配特征点，所述非目标特征点对包括第二特征点和第二匹配特征点，所述每次利用一个非目标特征点对计算所述目标特征点对的适配参数分量包括：
计算所述第一特征点和所述第二特征点之间的第一欧氏距离，并计算所述第一匹配特征点和所述第二匹配特征点之间的第二欧氏距离；
根据所述第一欧式距离与所述第二欧氏距离计算得到所述目标特征点对的适配参数分量。
5.根据权利要求4所述的图像处理方法，其特征在于，所述适配参数分量与平均欧式距离呈正相关，与欧氏距离之差的绝对值呈负相关，所述平均欧式距离为所述第一欧式距离与所述第二欧氏距离的平均值，所述欧氏距离之差为所述第一欧式距离与所述第二欧式距离之差。
6.根据权利要求5所述的图像处理方法，其特征在于，所述根据所述第一欧氏距离与所述第二欧氏距离计算得到所述目标特征点对的适配参数分量包括：
计算所述第一欧氏距离与所述第二欧氏距离的平均值，得到第一数值；
计算所述第一欧氏距离与所述第二欧氏距离之差的绝对值，得到第二数值；
将所述第二数值与所述第一数值之比乘负一，得到第三数值；
将自然常数的第三数值次方作为所述适配参数分量。
7.根据权利要求1所述的图像处理方法，其特征在于，所述获取所述参考帧图像中的特征点与所述非参考帧图像中对应的匹配特征点形成的特征点对，得到初始匹配点集之前，还包括：
对所述参考帧图像进行角点检测，获取所述参考帧图像的角点；
对所述角点进行误检测剔除，以从所述角点中筛选得到所述特征点；
将所述特征点在所述非参考帧图像中进行匹配，得到所述对应的匹配特征点。
8.根据权利要求7所述的图像处理方法，其特征在于，所述对所述角点进行误检测剔除包括：
获取所述角点的哈里斯评分；
当所述角点的哈里斯评分低于预设评分阈值时，删除所述角点；或者
获取两个角点之间的距离；
当两个角点之间的距离小于预设阈值时，删除所述两个角点。
9.根据权利要求1所述的图像处理方法，其特征在于，所述基于所述目标匹配点集将所述非参考帧图像向所述参考帧图像进行图像配准包括：
每次抽取所述目标匹配点集中的三对特征点对，并基于所述三对特征点对计算出一个单应矩阵，通过多次抽取三对特征点对计算单应矩阵，得到多个单应矩阵；
从所述多个单应矩阵中确定出用于图像配准的最优单应矩阵；
基于所述最优单应矩阵将所述非参考帧图像向所述参考帧图像进行图像配准。
10.根据权利要求9所述的图像处理方法，其特征在于，所述从所述多个单应矩阵中确定出用于图像配准的最优单应矩阵包括：
基于随机抽样一致算法获取所述多个单应矩阵在所述初始匹配点集中的匹配率；
将所述多个单应矩阵中匹配率最高的单应矩阵确定为所述最优单应矩阵。
11.一种图像处理装置，其特征在于，包括：
确定模块，用于获取两帧图像，并确定出所述两帧图像中的参考帧图像与非参考帧图像；
第一获取模块，用于获取所述参考帧图像中的特征点与所述非参考帧图像中对应的匹配特征点形成的特征点对，得到初始匹配点集；
第二获取模块，用于获取所述初始匹配点集中各特征点对的适配参数；
删除模块，用于在所述初始匹配点集中删除适配参数小于或等于预设阈值的特征点对，得到目标匹配点集；
配准模块，用于基于所述目标匹配点集将所述非参考帧图像向所述参考帧图像进行图像配准。
12.根据权利要求11所述的图像处理装置，其特征在于，所述图像处理装置还包括匹配模块，所述匹配模块用于：
对所述参考帧图像进行角点检测，获取所述参考帧图像的角点；
对所述角点进行误检测剔除，以从所述角点中筛选得到所述特征点；
将所述特征点在所述非参考帧图像中进行匹配，得到所述对应的匹配特征点。
13.一种存储介质，其特征在于，其上存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行如权利要求1至10任一项所述的图像处理方法。
14.一种电子设备，其特征在于，包括处理器和存储器，所述处理器与所述存储器电性连接，所述存储器储存有计算机程序，所述处理器通过调用所述计算机程序，执行如权利要求1至10任一项所述的图像处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911311212.0A CN111091590B (zh) | 2019-12-18 | 2019-12-18 | 图像处理方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911311212.0A CN111091590B (zh) | 2019-12-18 | 2019-12-18 | 图像处理方法、装置、存储介质及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111091590A true CN111091590A (zh) | 2020-05-01 |
| CN111091590B CN111091590B (zh) | 2024-04-23 |
Family
ID=70395737
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911311212.0A Active CN111091590B (zh) | 2019-12-18 | 2019-12-18 | 图像处理方法、装置、存储介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111091590B (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111639708A (zh) * | 2020-05-29 | 2020-09-08 | 深圳市燕麦科技股份有限公司 | 图像处理方法、装置、存储介质及设备 |
| CN111932587A (zh) * | 2020-08-03 | 2020-11-13 | Oppo广东移动通信有限公司 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
| CN111932593A (zh) * | 2020-07-21 | 2020-11-13 | 湖南中联重科智能技术有限公司 | 基于触摸屏手势校正的图像配准方法、系统及设备 |
| CN112184766A (zh) * | 2020-09-21 | 2021-01-05 | 广州视源电子科技股份有限公司 | 一种对象的跟踪方法、装置、计算机设备和存储介质 |
| CN112734837A (zh) * | 2020-12-29 | 2021-04-30 | 上海商汤临港智能科技有限公司 | 图像匹配的方法及装置、电子设备及车辆 |
| CN113409365A (zh) * | 2021-06-25 | 2021-09-17 | 浙江商汤科技开发有限公司 | 图像处理方法及相关终端、设备和存储介质 |
| CN113408592A (zh) * | 2021-06-01 | 2021-09-17 | 北京百度网讯科技有限公司 | 特征点匹配方法、装置、电子设备及计算机可读存储介质 |
| WO2022267287A1 (zh) * | 2021-06-25 | 2022-12-29 | 浙江商汤科技开发有限公司 | 图像配准方法及相关装置、设备和存储介质 |
| CN116612390A (zh) * | 2023-07-21 | 2023-08-18 | 山东鑫邦建设集团有限公司 | 一种建筑工程用的信息管理系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102236798A (zh) * | 2011-08-01 | 2011-11-09 | 清华大学 | 一种图像匹配方法及其装置 |
| US20130208997A1 (en) * | 2010-11-02 | 2013-08-15 | Zte Corporation | Method and Apparatus for Combining Panoramic Image |
| CN108961164A (zh) * | 2018-07-05 | 2018-12-07 | 北京理工大学 | 基于几何不变量的图像配准拼接方法和装置及计算机设备 |
| CN110189368A (zh) * | 2019-05-31 | 2019-08-30 | 努比亚技术有限公司 | 图像配准方法、移动终端及计算机可读存储介质 |
-
2019
- 2019-12-18 CN CN201911311212.0A patent/CN111091590B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130208997A1 (en) * | 2010-11-02 | 2013-08-15 | Zte Corporation | Method and Apparatus for Combining Panoramic Image |
| CN102236798A (zh) * | 2011-08-01 | 2011-11-09 | 清华大学 | 一种图像匹配方法及其装置 |
| CN108961164A (zh) * | 2018-07-05 | 2018-12-07 | 北京理工大学 | 基于几何不变量的图像配准拼接方法和装置及计算机设备 |
| CN110189368A (zh) * | 2019-05-31 | 2019-08-30 | 努比亚技术有限公司 | 图像配准方法、移动终端及计算机可读存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 刘珊珊 等: "基于特征点精度提纯的图像配准改进算法", vol. 33, no. 5, pages 24 * |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111639708A (zh) * | 2020-05-29 | 2020-09-08 | 深圳市燕麦科技股份有限公司 | 图像处理方法、装置、存储介质及设备 |
| CN111932593A (zh) * | 2020-07-21 | 2020-11-13 | 湖南中联重科智能技术有限公司 | 基于触摸屏手势校正的图像配准方法、系统及设备 |
| CN111932593B (zh) * | 2020-07-21 | 2024-04-09 | 湖南中联重科智能技术有限公司 | 基于触摸屏手势校正的图像配准方法、系统及设备 |
| CN111932587A (zh) * | 2020-08-03 | 2020-11-13 | Oppo广东移动通信有限公司 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
| CN112184766B (zh) * | 2020-09-21 | 2023-11-17 | 广州视源电子科技股份有限公司 | 一种对象的跟踪方法、装置、计算机设备和存储介质 |
| CN112184766A (zh) * | 2020-09-21 | 2021-01-05 | 广州视源电子科技股份有限公司 | 一种对象的跟踪方法、装置、计算机设备和存储介质 |
| CN112734837A (zh) * | 2020-12-29 | 2021-04-30 | 上海商汤临港智能科技有限公司 | 图像匹配的方法及装置、电子设备及车辆 |
| WO2022142206A1 (zh) * | 2020-12-29 | 2022-07-07 | 上海商汤临港智能科技有限公司 | 图像匹配的方法及装置、电子设备及车辆 |
| CN112734837B (zh) * | 2020-12-29 | 2024-03-22 | 上海商汤临港智能科技有限公司 | 图像匹配的方法及装置、电子设备及车辆 |
| CN113408592A (zh) * | 2021-06-01 | 2021-09-17 | 北京百度网讯科技有限公司 | 特征点匹配方法、装置、电子设备及计算机可读存储介质 |
| CN113408592B (zh) * | 2021-06-01 | 2024-03-01 | 北京百度网讯科技有限公司 | 特征点匹配方法、装置、电子设备及计算机可读存储介质 |
| WO2022267287A1 (zh) * | 2021-06-25 | 2022-12-29 | 浙江商汤科技开发有限公司 | 图像配准方法及相关装置、设备和存储介质 |
| CN113409365B (zh) * | 2021-06-25 | 2023-08-25 | 浙江商汤科技开发有限公司 | 图像处理方法及相关终端、设备和存储介质 |
| CN113409365A (zh) * | 2021-06-25 | 2021-09-17 | 浙江商汤科技开发有限公司 | 图像处理方法及相关终端、设备和存储介质 |
| CN116612390A (zh) * | 2023-07-21 | 2023-08-18 | 山东鑫邦建设集团有限公司 | 一种建筑工程用的信息管理系统 |
| CN116612390B (zh) * | 2023-07-21 | 2023-10-03 | 山东鑫邦建设集团有限公司 | 一种建筑工程用的信息管理系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111091590B (zh) | 2024-04-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111091590B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| US20200302154A1 (en) | Image processing method, apparatus, storage medium, and electronic device | |
| US9615039B2 (en) | Systems and methods for reducing noise in video streams | |
| US9036905B2 (en) | Training classifiers for deblurring images | |
| CN109934065B (zh) | 一种用于手势识别的方法和装置 | |
| CN110300264B (zh) | 图像处理方法、装置、移动终端以及存储介质 | |
| US11538175B2 (en) | Method and apparatus for detecting subject, electronic device, and computer readable storage medium | |
| JP2010045613A (ja) | 画像識別方法および撮像装置 | |
| EP3093822B1 (en) | Displaying a target object imaged in a moving picture | |
| US20180068451A1 (en) | Systems and methods for creating a cinemagraph | |
| CN111028276A (zh) | 图像对齐方法、装置、存储介质及电子设备 | |
| CN114390201A (zh) | 对焦方法及其装置 | |
| CN110516731B (zh) | 一种基于深度学习的视觉里程计特征点检测方法及系统 | |
| Xiong et al. | Snap angle prediction for 360 panoramas | |
| CN107145741B (zh) | 基于图像分析的耳诊数据采集方法及装置 | |
| CN116152166A (zh) | 基于特征相关性的缺陷检测方法及相关装置 | |
| WO2024022301A1 (zh) | 视角路径获取方法、装置、电子设备及介质 | |
| CN111091513B (zh) | 图像处理方法、装置、计算机可读存储介质及电子设备 | |
| US20230016350A1 (en) | Configurable keypoint descriptor generation | |
| JP6403207B2 (ja) | 情報端末装置 | |
| US11810266B2 (en) | Pattern radius adjustment for keypoint descriptor generation | |
| CN111507142A (zh) | 人脸表情图像处理方法、装置和电子设备 | |
| CN115210758A (zh) | 运动模糊稳健的图像特征匹配 | |
| US11202000B2 (en) | Learning apparatus, image generation apparatus, learning method, image generation method, and program | |
| JP6717769B2 (ja) | 情報処理装置及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |