CN113298187B - 图像处理方法及装置、计算机可读存储介质 - Google Patents

图像处理方法及装置、计算机可读存储介质 Download PDF

Info

Publication number
CN113298187B
CN113298187B CN202110699519.3A CN202110699519A CN113298187B CN 113298187 B CN113298187 B CN 113298187B CN 202110699519 A CN202110699519 A CN 202110699519A CN 113298187 B CN113298187 B CN 113298187B
Authority
CN
China
Prior art keywords
image
feature points
matching
points
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110699519.3A
Other languages
English (en)
Other versions
CN113298187A (zh
Inventor
陈岩
李怀东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Spreadtrum Communications Shanghai Co Ltd
Original Assignee
Spreadtrum Communications Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Spreadtrum Communications Shanghai Co Ltd filed Critical Spreadtrum Communications Shanghai Co Ltd
Priority to CN202110699519.3A priority Critical patent/CN113298187B/zh
Publication of CN113298187A publication Critical patent/CN113298187A/zh
Priority to PCT/CN2022/098783 priority patent/WO2022267939A1/zh
Application granted granted Critical
Publication of CN113298187B publication Critical patent/CN113298187B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757Matching configurations of points or features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]

Abstract

一种图像处理方法及装置、计算机可读存储介质,所述图像处理方法包括:获取第一图像与第二图像的初始匹配特征点,所述第一图像与所述第二图像为待对齐的同场景图像;将所述第一图像与所述第二图像分别划分成N×M个区域,N×M>1;从所述第一图像的每一区域中选取K个特征点,以及从所述第二图像的每一区域中选取K个特征点;K≥1;对从所述第一图像的每一区域中选取的K个特征点与从所述第二图像的每一区域中选取的K个特征点进行特征点匹配,得到所述第一图像与所述第二图像的目标匹配特征点。上述方案能够降低图像对齐操作的计算复杂度。

Description

图像处理方法及装置、计算机可读存储介质
技术领域
本发明涉及图像处理技术领域,尤其涉及一种图像处理方法及装置、计算机可读存储介质。
背景技术
随着技术的不断发展,人们对高分辨率、大视场角、高清晰度图像的需求越发强烈。全景成像、图像拼接、视场融合等热门研究领域中均已出现大量的对包含重合部分的不同图像进行合成的算法,以得到满足某种要求的输出图像。
为了把不同的图像组合在一起形成真实自然的输出图像,需要对图像的重合部分进行对齐配准。目前,图像对齐配准算法大都选用特征点进行图像对齐配准。在得到图像的特征点后,需要采用某种标准,对不同图像的特征点进行匹配得到匹配特征点,然后根据匹配特征点计算出图像之间的对齐映射来对齐不同图像。
为了得到高质量的高分辨率、大视场角、高清晰度的合成图像,用来形成合成图像的图像需要得到准确的对齐,否则在合成图像中会出现鬼影、模糊、重影等缺陷。现有技术中,在得到图像间的匹配特征点后,通常直接由匹配特征点求出图像间的对齐映射。然而,由于现实场景多变,通过匹配得到的匹配特征点个数较多,导致图像对齐配准过程中计算量过大。此外,图像中可能会同时存在纹理密集区域和纹理稀疏区域,大量的匹配特征点集中出现在纹理密集区域,少量的匹配特征点分布在纹理稀疏区域,导致图像的匹配特征点分布不均匀,进而导致图像对齐配准的质量较低。
发明内容
本发明实施例解决的是图像对齐配准过程中计算量较大、得到的对齐图像的质量较低的技术问题。
为解决上述技术问题,本发明实施例提供一种图像处理方法,包括:获取第一图像与第二图像的初始匹配特征点,所述第一图像与所述第二图像为待对齐的同场景图像;将所述第一图像与所述第二图像分别划分成N×M个区域,N×M>1;从所述第一图像的每一区域中选取K个特征点,以及从所述第二图像的每一区域中选取K个特征点;K≥1;对从所述第一图像的每一区域中选取的K个特征点与从所述第二图像的每一区域中选取的K个特征点进行特征点匹配,得到所述第一图像与所述第二图像的目标匹配特征点。
可选的,所述从所述第一图像的每一区域中选取K个特征点,包括:若所述第一图像的第一区域中特征点的个数大于K,则从第一区域中选取特征性显著值最大的K个特征点。
可选的,所述从所述第一图像的每一区域中选取K个特征点,还包括:若所述第一图像的第一区域中特征点的个数不大于K,则保留所述第一区域中的所有特征点。
可选的,所述从所述第二图像的每一区域中选取K个特征点,包括:若所述第二图像的第一区域中特征点的个数大于K,则从第一区域中选取特征性显著值最大的K个特征点。
可选的,所述从所述第二图像的每一区域中选取K个特征点,还包括:若所述第二图像的第一区域中特征点的个数不大于K,则保留所述第一区域中的所有特征点。
可选的,所述获取第一图像与第二图像的初始匹配特征点,包括:采用预设的特征点检测匹配算法,获取所述第一图像与所述第二图像的初始匹配特征点;所述预设的特征点检测匹配算法包括以下任一种:ORB提取算法、SIFT提取算法。
可选的,当所述预设的特征点检测匹配算法为ORB提取算法时,所述特征性显著值为特征点的哈里斯响应值;当所述预设的特征点检测匹配算法为SIFT提取算法时,所述特征性显著值为特征点的拉普拉斯二阶差值。
可选的,所述将所述第一图像与所述第二图像分别划分成N×M个区域,包括:将所述第一图像划分成N×M个等分辨率且相邻接区域,并将所述第二图像划分成N×M个等分辨率且相邻接区域,N=M。
可选的,在得到所述第一图像与所述第二图像的目标匹配特征点之后,还包括:采用所述第一图像与所述第二图像的目标匹配特征点,对所述第一图像与所述第二图像进行图像对齐操作。
为解决上述技术问题,本发明实施例还提供了一种图像处理装置,包括:获取单元,用于获取第一图像与第二图像的初始匹配特征点,所述第一图像与所述第二图像为待对齐的同场景图像;划分单元,用于将所述第一图像与所述第二图像分别划分成N×M个区域,N×M>1;选取单元,从所述第一图像的每一区域中选取K个特征点,以及从所述第二图像的每一区域中选取K个特征点;K≥1;匹配单元,用于对从所述第一图像的每一区域中选取的K个特征点与从所述第二图像的每一区域中选取的K个特征点进行特征点匹配,得到所述第一图像与所述第二图像的目标匹配特征点。
本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质为非易失性存储介质或非瞬态存储介质,其上存储有计算机程序,所述计算机程序被处理器运行时执行上述任一种所述的图像处理方法的步骤。
本发明实施例还提供了另一种图像处理装置,包括:存储器和处理器,所述存储器上存储有可在所述处理器上运行的计算机程序,所述处理器运行所述计算机程序时执行上述任一种所述的图像处理方法的步骤。
与现有技术相比,本发明实施例的技术方案具有以下有益效果:
在得到第一图像与第二图像的初始匹配特征点之后,将第一图像与第二图像分别进行区域划分,进而从第一图像与第二图像的每一区域中选取K个特征点,对从第一图像的每一区域中选取的K个特征点与从第二图像的每一区域中选取的K个特征点进行特征点匹配,得到目标匹配特征点。由于得到的目标匹配特征点的个数远小于初始匹配特征点个数,故可以大大降低图像对齐操作的计算复杂度。由于每一区域中仅存在最多K个目标匹配特征点,因此,匹配特征点的分布更加均匀,能够有效提高图像对齐的质量。
附图说明
图1是本发明实施例提供的一种图像处理方法的流程图;
图2是本发明实施例中的一种第一图像的初始匹配特征点分布示意图;
图3是本发明实施例中的一种第二图像的初始匹配特征点分别示意图;
图4是本发明实施例中的一种区域划分后第一图像中的特征点的分布示意图;
图5是本发明实施例中的一种区域划分后的第二图像中的特征点的分布示意图;
图6是本发明实施例中的一种特征点选取后第一图像中的特征点的分布示意图;
图7是本发明实施例中的一种特征点选取后第二图像中的特征点的分布示意图;
图8是本发明实施例中提供的一种图像处理装置的结构示意图。
具体实施方式
现有技术中,在得到图像间的匹配特征点后,通常直接由匹配特征点求出图像间的对齐映射。然而,由于现实场景多变,通过匹配得到的匹配特征点个数较多,导致图像对齐配准过程中计算量过大。在当前基于匹配特征点的图像对齐中,基本都涉及到矩阵求逆运算,在具体实现中,矩阵求逆运算量会随着矩阵尺寸变大而大幅增加,而矩阵尺寸即检测到匹配特征点对的数目。于是,如果直接使用检测到的匹配特征点对进行图像对齐操作,将大概率出现大尺寸矩阵求逆操作,以至运算耗时过长。
此外,图像中可能会同时存在纹理密集区域和纹理稀疏区域,大量的匹配特征点集中出现在纹理密集区域,少量的匹配特征点分布在纹理稀疏区域,导致图像的匹配特征点分布不均匀,进而导致图像对齐配准的质量较低。
在本发明实施例中,在得到第一图像与第二图像的初始匹配特征点之后,将第一图像与第二图像分别进行区域划分,进而从第一图像与第二图像的每一区域中选取K个特征点,对从第一图像的每一区域中选取的K个特征点与从第二图像的每一区域中选取的K个特征点进行特征点匹配,得到目标匹配特征点。由于得到的目标匹配特征点的个数远小于初始匹配特征点个数,故可以大大降低图像对齐操作的计算复杂度。由于每一区域中仅存在最多K个目标匹配特征点,因此,匹配特征点的分布更加均匀,能够有效提高图像对齐的质量。
为使本发明的上述目的、特征和有益效果能够更为明显易懂,下面结合附图对本发明的具体实施例做详细的说明。
本发明实施例提供了一种图像处理方法,参照图1,以下通过具体步骤进行详细说明。
在本发明实施例中,下述步骤S101~步骤S104所提供的图像处理方法可以由用户设备执行。具体地,下述步骤S101~步骤S104可以由用户设备中的基带芯片所执行,或者由用户设备中包含基带芯片的芯片模组所执行。
步骤S101,获取第一图像与第二图像的初始匹配特征点。
在实际应用中可知,一个摄像头拍摄的单一图像通常无法同时达到高分辨率、大视场角及高清晰度的要求,因此,通常需要采用视场融合、图像拼接等技术将不同角度的图像进行拼接、融合等,来获取高分辨率、大视场角以及高清晰度的图像。
图像拼接技术可以把输入的拍摄场景不同部分的、且带有重叠部分的图像进行合成,得到一幅描述整个场景的高分辨率、大视场角的输出图像。视场融合技术可以把清晰度高而视场角较小的图像信息融入清晰度低而视场角大的图像中,得到一幅大视场角、高清晰度的输出图像。图像拼接技术与视场融合技术的核心是对输入图像重叠部分进行配齐对准。输入图像重叠部分的对齐水平对输出图像质量存在至关重要的影响。如果重叠部分没有得到高质量对齐,则输出图像容易存在鬼影、模糊、重叠等问题。
在具体实施中,第一图像与第二图像可以是待对齐的图像,且第一图像与第二图像可以是针对同一场景的不同角度所获取到的图像。第一图像与第二图像中可以存在重叠部分。
在本发明实施例中,在获取到第一图像与第二图像之后,可以分别获取第一图像与第二图像对应的特征点。
在实际应用中可知,为了对齐平面(二维)图像,首先要提取图像特征,图像特征多以特征线或者特征点的形式出现。相比于特征线,特征点在二维图像上的分布更加灵活和自由,并且便于后续的处理。通常情况下,可以选择基于图像特征点进行图像对齐。图像对齐可以是指:根据图像间对应的元素(如图像之间的匹配特征点),找到相应的映射,根据该映射,使得图像内容得到最大程度的重合。
图像特征点用于描述其所在位置的图像局部信息,提取到的图像特征点通常至少包括两类信息:特征点位置(location)和特征点描述子(descriptor)。特征点位置以整数二元组(x,y)形式表征,用于表征特征点在图像中的位置;特征点描述子以一定长数组表征,其长度和元素数据类型由所选择的特征点提取算法决定。
例如,尺度不变特征转换(Scale Invariant Feature Transform,SIFT)特征点提取算法检测得到的特征点描述子通常是128长度实数组,ORB(Oriented FAST and RotatedBRIEF)特征点提取算法检测得到的特征点描述子多为256长度的0、1二值数组。
在具体实施中,在检测出第一图像对应的特征点与第二图像对应的特征点之后,可以将第一图像对应的特征点与第二图像对应的特征点进行特征点匹配,得到第一图像与第二图像的初始匹配特征点。
在具体实施中,可以根据某距离标准对第一图像与第二图像的特征点进行匹配。特征点匹配过程中选择的距离标准可以由特征点描述子的特性决定。例如,采用欧氏距离作为标准来匹配通过SIFT特征点提取算法检测得到的特征点,采用汉明距离作为标准来匹配通过ORB特征点提取算法见得到的特征点。
参照图2,给出了本发明实施例中的一种第一图像的初始匹配特征点分布示意图。参照图3,给出了本发明实施例中的一种第二图像的初始匹配特征点分配示意图。
图2中,第一图像中的初始匹配特征点可以是指:第一图像中,与第二图像中的特征点存在匹配关系的特征点。也就是说,第一图像中的初始匹配特征点,可以在第二图像中找到与其匹配的特征点。
图3中,第二图像中的初始匹配特征点可以是指:第二图像中,与第一图像中的特征点存在匹配关系的特征点。也就是说,第二图像中的初始匹配特征点,可以在第一图像中找到与其匹配的特征点。
步骤S102,将所述第一图像与所述第二图像分别划分成N×M个区域。
在具体实施中,在得到第一图像的特征点与第二图像的特征点之后,可以分别将第一图像划分成N×M个区域,将第二图像划分成N×M个区域。
在本发明实施例中,可以将第一图像均分成N×M个等分辨率且相邻接区域。相应地,也可以将第二图像均分成N×M个等分辨率且相邻接区域。N可以与M相等。
例如,将第一图像均分成4×4个相同大小且相邻接区域。同时,将第二图像划分成4×4个相同大小且相邻接区域。
又如,将第一图像均分成5×7个相同大小且相邻接区域。同时,将第二图像划分成5×7个相同大小且相邻接区域。
在具体应用中,N与M的取值可以根据具体的应用场景设定。若N×M的取值较大,则计算复杂度较高,但同时得到的匹配精准度较高;反之,若N×M的取值较小,则计算复杂度较低,但同时得到的匹配精准度较低。因此,可以综合考虑计算复杂度与匹配精准度之间的需求,设定N与M的取值。
在本发明一实施例中,设定N=M=4,则将第一图像划分成4×4=16个等分辨率的矩形区域,同时,将第二图像划分成4×4=16个等分辨率的矩形区域。
参照图4,给出了本发明实施例中的一种区域划分后第一图像中的特征点的分布示意图。参照图5,给出了本发明实施例中的一种区域划分后的第二图像中的特征点的分布示意图。
步骤S103,从所述第一图像的每一区域中选取K个特征点,以及从所述第二图像的每一区域中选取K个特征点。
在具体实施中,在分别对第一图像与第二图像进行划分后,可以从第一图像的每一区域中选取K个特征点,从第二图像的每一区域中选取K个特征点;K≥1。
在本发明实施例中,第一图像与第二图像的每一区域中,可能会存在特征点个数大于K个、特征点个数等于K个以及特征点个数小于K个三种情况。
若某一区域的特征点个数大于K,则可以从中选取出K个特征性显著值最大的前K个特征点;若某一区域的特征点个数等于K,则保留该K个特征点;若某一区域的特征点的个数小于K,则保留该区域内的所有特征点。
在本发明实施例中,特征性显著值可以用来表征特征点重要性。若特征点的特征性显著值越大,则意味着该特征点的重要性越高;若特征点的特征性显著值越小,则意味着该特征点的重要性越低。
当预设的特征点检测匹配算法为ORB提取算法时,特征点显著值可以为特征点的哈里斯响应值(Harris response);当预设的特征点检测匹配算法为SIFT提取算法时,特征性显著值可以为特征点的拉普拉斯二阶差值。
在本发明一实施例中,设置K=2。对于第一图像与第二图像对应的某一区域,若该区域的特征点的个数大于2,则从中选择2个特征性显著值最大的特征点;若该区域的特征点的个数等于2,则保留该2个特征点;若该区域的特征点的个数为1,则保留该1个特征点。若该区域的特征点个数为0,则保持该区域0个特征点。
参照图6,给出了本发明实施例中的一种特征点选取后第一图像中的特征点的分布示意图。参照图7,给出了本发明实施例中的一种特征点选取后第二图像中的特征点的分布示意图。
将图6与图4进行对比可知,相比于图4,图6中的特征点的个数大大减少,且图6中的特征点的分布更为均匀。将图7与图5进行比较可知,相比于图5,图7中的特征点的个数大大减少,且图7中的特征点的分布更加均匀。更加均匀的特征点分布,可以在后续的对齐映射中有效避免偏差,进而提高图像对齐水平。
可以理解的是,K的取值还可以为1、3或者其他值。在实际应用中,可以根据具体的应用场景确定K值。
步骤S104,对从所述第一图像的每一区域中选取的K个特征点与从所述第二图像的每一区域中选取的K个特征点进行特征点匹配。
在具体实施中,在得到第一图像的每一区域中选取的K个特征点与在第二图像的每一区域中选取的K个特征点之后,可以将第一图像的每一区域中选取的K个特征点与第二图像的每一区域中选取的K个特征点进行特征点匹配,从而可以得到第一图像与第二图像的目标匹配特征点。
在本发明实施例中,若采用ORB提取算法得到第一图像中的特征点,则可以采用欧式距离作为标准,来匹配第一图像的每一区域中选取的K个特征点与第二图像的每一区域中选取的K个特征点。若采用SIFT提取算法得到第一图像中的特征点,则可以采用汉明距离作为标准来匹配第一图像的每一区域中选取的K个特征点与第二图像的每一区域中选取的K个特征点。
在具体实施中,在得到第一图像与第二图像的目标匹配特征点之后,可以采用目标匹配特征点,对第一图像与第二图像进行图像对齐操作。
在现有技术中,在得到第一图像与第二图像的初始匹配特征点之后,根据第一图像与第二图像的初始匹配特征点进行图像对齐操作。由于图像对齐变换实现矩阵的求取过程中,需要求解尺寸和匹配特征点数目密切相关的矩阵的逆矩阵,若匹配特征点的数目较大,则需要进行求逆的矩阵的尺寸过大,导致计算复杂度大大增加。如图2与图3所示,第一图像与第二图像的初始匹配特征点较多,导致进行图像对齐操作的计算复杂度较大。
而在本发明实施例中,在得到第一图像与第二图像的初始匹配特征点之后,将第一图像与第二图像分别进行区域划分,进而从第一图像与第二图像的每一区域中选取K个特征点,对从第一图像的每一区域中选取的K个特征点与从第二图像的每一区域中选取的K个特征点进行特征点匹配,得到目标匹配特征点。也就是说,将图4与图5中的特征点进行特征点匹配,得到的目标匹配特征点的个数远小于初始匹配特征点个数,故可以大大降低图像对齐操作的计算复杂度。
参照图8,给出了本发明实施例中的一种图像处理装置80,包括:获取单元801、划分单元802、选取单元803以及匹配单元804,其中:
获取单元801,用于获取第一图像与第二图像的初始匹配特征点,所述第一图像与所述第二图像为待对齐的同场景图像;
划分单元802,用于将所述第一图像与所述第二图像分别划分成N×M个区域,N×M>1;
选取单元803,从所述第一图像的每一区域中选取K个特征点,以及从所述第二图像的每一区域中选取K个特征点;K≥1;
匹配单元804,用于对从所述第一图像的每一区域中选取的K个特征点与从所述第二图像的每一区域中选取的K个特征点进行特征点匹配,得到所述第一图像与所述第二图像的目标匹配特征点。
在具体实施中,上述的获取单元801、划分单元802、选取单元803以及匹配单元804的工作原理及过程可以分别对应上述步骤S101~步骤S104,本发明实施例此处不做赘述。
在具体实施中,上述的图像处理装置80可以对应于用户设备中具有数据处理功能的芯片,如基带芯片;或者对应于用户设备中包括具有数据处理功能芯片的芯片模组,或者对应于用户设备。
本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质为非易失性存储介质或非瞬态存储介质,其上存储有计算机程序,所述计算机程序被处理器运行时执行上述步骤S101~步骤S104所提供的图像处理方法的步骤。
本发明实施例还提供了一种图像处理装置,包括存储器和处理器,所述存储器上存储有可在所述处理器上运行的计算机程序,所述处理器运行所述计算机程序时执行上述步骤S101~步骤S104所提供的图像处理方法的步骤。
在具体实施中,关于上述实施例中描述的各个装置、产品包含的各个模块/单元,其可以是软件模块/单元,也可以是硬件模块/单元,或者也可以部分是软件模块/单元,部分是硬件模块/单元。
例如,对于应用于或集成于芯片的各个装置、产品,其包含的各个模块/单元可以都采用电路等硬件的方式实现,或者,至少部分模块/单元可以采用软件程序的方式实现,该软件程序运行于芯片内部集成的处理器,剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现;对于应用于或集成于芯片模组的各个装置、产品,其包含的各个模块/单元可以都采用电路等硬件的方式实现,不同的模块/单元可以位于芯片模组的同一组件(例如芯片、电路模块等)或者不同组件中,或者,至少部分模块/单元可以采用软件程序的方式实现,该软件程序运行于芯片模组内部集成的处理器,剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现;对于应用于或集成于终端的各个装置、产品,其包含的各个模块/单元可以都采用电路等硬件的方式实现,不同的模块/单元可以位于终端内同一组件(例如,芯片、电路模块等)或者不同组件中,或者,至少部分模块/单元可以采用软件程序的方式实现,该软件程序运行于终端内部集成的处理器,剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指示相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:ROM、RAM、磁盘或光盘等。
虽然本发明披露如上,但本发明并非限定于此。任何本领域技术人员,在不脱离本发明的精神和范围内,均可作各种更动与修改,因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (12)

1.一种图像处理方法,其特征在于,包括:
获取第一图像与第二图像的初始匹配特征点,所述第一图像与所述第二图像为待对齐的同场景图像;所述获取第一图像与第二图像的初始匹配特征点,包括:分别获取所述第一图像对应的特征点与所述第二图像对应的特征点,将所述第一图像对应的特征点与所述第二图像对应的特征点进行特征点匹配,得到所述第一图像与所述第二图像的初始匹配特征点;所述第一图像中的初始匹配特征点为:所述第一图像中,与第二图像中的特征点存在匹配关系的特征点;所述第二图像中的初始匹配特征点为:所述第二图像中,与第一图像中的特征点存在匹配关系的特征点;
将所述第一图像与所述第二图像分别划分成N×M个区域,N×M>1;
从所述第一图像的每一区域中选取K个特征点,以及从所述第二图像的每一区域中选取K个特征点;K≥1;
对从所述第一图像的每一区域中选取的K个特征点与从所述第二图像的每一区域中选取的K个特征点进行特征点匹配,得到所述第一图像与所述第二图像的目标匹配特征点。
2.如权利要求1所述的图像处理方法,其特征在于,所述从所述第一图像的每一区域中选取K个特征点,包括:
若所述第一图像的第一区域中特征点的个数大于K,则从第一区域中选取特征性显著值最大的K个特征点。
3.如权利要求2所述的图像处理方法,其特征在于,所述从所述第一图像的每一区域中选取K个特征点,还包括:
若所述第一图像的第一区域中特征点的个数不大于K,则保留所述第一区域中的所有特征点。
4.如权利要求1所述的图像处理方法,其特征在于,所述从所述第二图像的每一区域中选取K个特征点,包括:
若所述第二图像的第一区域中特征点的个数大于K,则从第一区域中选取特征性显著值最大的K个特征点。
5.如权利要求4所述的图像处理方法,其特征在于,所述从所述第二图像的每一区域中选取K个特征点,还包括:
若所述第二图像的第一区域中特征点的个数不大于K,则保留所述第一区域中的所有特征点。
6.如权利要求2~5任一项所述的图像处理方法,其特征在于,所述获取第一图像与第二图像的初始匹配特征点,包括:
采用预设的特征点检测匹配算法,获取所述第一图像与所述第二图像的初始匹配特征点;所述预设的特征点检测匹配算法包括以下任一种:ORB提取算法、SIFT提取算法。
7.如权利要求6所述的图像处理方法,其特征在于,当所述预设的特征点检测匹配算法为ORB提取算法时,所述特征性显著值为特征点的哈里斯响应值;当所述预设的特征点检测匹配算法为SIFT提取算法时,所述特征性显著值为特征点的拉普拉斯二阶差值。
8.如权利要求1所述的图像处理方法,其特征在于,所述将所述第一图像与所述第二图像分别划分成N×M个区域,包括:
将所述第一图像划分成N×M个等分辨率且相邻接区域,并将所述第二图像划分成N×M个等分辨率且相邻接区域,N=M。
9.如权利要求1所述的图像处理方法,其特征在于,在得到所述第一图像与所述第二图像的目标匹配特征点之后,还包括:
采用所述第一图像与所述第二图像的目标匹配特征点,对所述第一图像与所述第二图像进行图像对齐操作。
10.一种图像处理装置,其特征在于,包括:
获取单元,用于获取第一图像与第二图像的初始匹配特征点,所述第一图像与所述第二图像为待对齐的同场景图像;所述获取第一图像与第二图像的初始匹配特征点,包括:分别获取所述第一图像对应的特征点与所述第二图像对应的特征点,将所述第一图像对应的特征点与所述第二图像对应的特征点进行特征点匹配,得到所述第一图像与所述第二图像的初始匹配特征点;所述第一图像中的初始匹配特征点为:所述第一图像中,与第二图像中的特征点存在匹配关系的特征点;所述第二图像中的初始匹配特征点为:所述第二图像中,与第一图像中的特征点存在匹配关系的特征点;
划分单元,用于将所述第一图像与所述第二图像分别划分成N×M个区域,N×M>1;
选取单元,从所述第一图像的每一区域中选取K个特征点,以及从所述第二图像的每一区域中选取K个特征点;K≥1;
匹配单元,用于对从所述第一图像的每一区域中选取的K个特征点与从所述第二图像的每一区域中选取的K个特征点进行特征点匹配,得到所述第一图像与所述第二图像的目标匹配特征点。
11.一种计算机可读存储介质,所述计算机可读存储介质为非易失性存储介质或非瞬态存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器运行时执行权利要求1~9任一项所述的图像处理方法的步骤。
12.一种图像处理装置,包括存储器和处理器,所述存储器上存储有可在所述处理器上运行的计算机程序,其特征在于,所述处理器运行所述计算机程序时执行权利要求1~9任一项所述的图像处理方法的步骤。
CN202110699519.3A 2021-06-23 2021-06-23 图像处理方法及装置、计算机可读存储介质 Active CN113298187B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110699519.3A CN113298187B (zh) 2021-06-23 2021-06-23 图像处理方法及装置、计算机可读存储介质
PCT/CN2022/098783 WO2022267939A1 (zh) 2021-06-23 2022-06-15 图像处理方法及装置、计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110699519.3A CN113298187B (zh) 2021-06-23 2021-06-23 图像处理方法及装置、计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN113298187A CN113298187A (zh) 2021-08-24
CN113298187B true CN113298187B (zh) 2023-05-12

Family

ID=77329425

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110699519.3A Active CN113298187B (zh) 2021-06-23 2021-06-23 图像处理方法及装置、计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN113298187B (zh)
WO (1) WO2022267939A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113298187B (zh) * 2021-06-23 2023-05-12 展讯通信(上海)有限公司 图像处理方法及装置、计算机可读存储介质
CN116485858B (zh) * 2023-06-25 2023-09-01 中国人民解放军国防科技大学 基于多尺度跨模态邻域描述子的异源图像配准方法及装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5954712B2 (ja) * 2011-01-13 2016-07-20 パナソニックIpマネジメント株式会社 画像処理装置、画像処理方法、及びそのプログラム
JP2012234258A (ja) * 2011-04-28 2012-11-29 Sony Corp 画像処理装置と画像処理方法およびプログラム
CN103383773B (zh) * 2013-03-26 2016-09-28 中国科学院遥感与数字地球研究所 一种动态提取图像控制点的遥感卫星图像自动正射纠正的框架和方法
KR20160126195A (ko) * 2015-04-23 2016-11-02 서울대학교산학협력단 컴퓨터를 이용한 x-선 영상처리 골 모델링 작성방법, 시스템 및 컴퓨터 프로그램
CN110490271B (zh) * 2017-12-22 2021-09-21 展讯通信(上海)有限公司 图像匹配及拼接方法、装置、系统、可读介质
CN110874850A (zh) * 2018-09-04 2020-03-10 湖北智视科技有限公司 一种面向目标定位的实时单边网格特征配准方法
CN110728644B (zh) * 2019-10-11 2022-06-21 厦门美图之家科技有限公司 图像生成方法、装置、电子设备和可读存储介质
CN112258579B (zh) * 2020-11-12 2023-03-24 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
CN113298187B (zh) * 2021-06-23 2023-05-12 展讯通信(上海)有限公司 图像处理方法及装置、计算机可读存储介质

Also Published As

Publication number Publication date
CN113298187A (zh) 2021-08-24
WO2022267939A1 (zh) 2022-12-29

Similar Documents

Publication Publication Date Title
WO2021088473A1 (en) Image super-resolution reconstruction method, image super-resolution reconstruction apparatus, and computer-readable storage medium
JP5602940B2 (ja) 事前計算されたスケール空間からのデイジー記述子生成
US20160286138A1 (en) Apparatus and method for stitching panoramaic video
US11055826B2 (en) Method and apparatus for image processing
CN113298187B (zh) 图像处理方法及装置、计算机可读存储介质
EP3598385B1 (en) Face deblurring method and device
CN109698944B (zh) 投影区域校正方法、投影设备及计算机可读存储介质
CN108665415B (zh) 基于深度学习的图像质量提升方法及其装置
US9361692B2 (en) Image registration device and operation method of the same
CN107240082B (zh) 一种拼接线优化方法及设备
Fang et al. Fast color blending for seamless image stitching
JP2020523703A (ja) ダブル視野角画像較正および画像処理方法、装置、記憶媒体ならびに電子機器
KR101692227B1 (ko) Fast를 이용한 파노라마 영상 생성 방법
KR20130112311A (ko) 고밀도 삼차원 영상 재구성 장치 및 방법
Ruan et al. Aifnet: All-in-focus image restoration network using a light field-based dataset
CN110378250B (zh) 用于场景认知的神经网络的训练方法、装置及终端设备
CN113643333A (zh) 图像配准方法、装置、电子设备和计算机可读存储介质
JP2016509805A (ja) 画像ストリームの高フレームレート化
CN116012432A (zh) 立体全景图像的生成方法、装置和计算机设备
Oh et al. Fpanet: Frequency-based video demoireing using frame-level post alignment
CN116109484A (zh) 前景信息保留的图像拼接方法、装置、设备及存储介质
CN114627000A (zh) 图像处理方法、装置和电子设备
JP6056354B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
CN113284077A (zh) 图像处理方法、装置、通信设备及可读存储介质
CN113743418B (zh) 图像中特征点的描述子的生成方法、装置和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant