CN110110767B - 一种图像特征优化方法、装置、终端设备及可读存储介质 - Google Patents

一种图像特征优化方法、装置、终端设备及可读存储介质 Download PDF

Info

Publication number
CN110110767B
CN110110767B CN201910330559.3A CN201910330559A CN110110767B CN 110110767 B CN110110767 B CN 110110767B CN 201910330559 A CN201910330559 A CN 201910330559A CN 110110767 B CN110110767 B CN 110110767B
Authority
CN
China
Prior art keywords
panoramic image
feature point
image
feature
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910330559.3A
Other languages
English (en)
Other versions
CN110110767A (zh
Inventor
刘传家
赵常均
李博
林贞琼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Intelligent Equipment Research Institute Co ltd
Original Assignee
Guangzhou Intelligent Equipment Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Intelligent Equipment Research Institute Co ltd filed Critical Guangzhou Intelligent Equipment Research Institute Co ltd
Priority to CN201910330559.3A priority Critical patent/CN110110767B/zh
Publication of CN110110767A publication Critical patent/CN110110767A/zh
Application granted granted Critical
Publication of CN110110767B publication Critical patent/CN110110767B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211Selection of the most significant subset of features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/004Artificial life, i.e. computing arrangements simulating life
    • G06N3/006Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种图像特征优化方法、装置、终端设备及计算机可读存储介质,所述方法通过从现实场景中获取三个特征点并构建一组摄像装置运动方程,根据等距分布假设构建出摄像装置运动参数表达式,继而通过混合粒子群算法计算出摄像装置运动参数。根据摄像装置运动参数和第一特征点在第一全景图像的方位角实际值,计算第一特征点的实际匹配特征点在第二全景图像的方位角估算值;再由得到的方位角的估算值与第二特征点在第二全景图像的方位角实际值进行比对,最终判断出第一特征点和第二特征点是否匹配。通过实施本发明实施例能在不知道全景相机的结构及设备参数的情况下,消除两全景图像中匹配错误的特征点对,且不易受环境条件的影响。

Description

一种图像特征优化方法、装置、终端设备及可读存储介质
技术领域
本发明涉及计算机视觉技术领域,尤其涉及一种图像特征优化方法、装置、终端设备及计算机可读存储介质。
背景技术
基于折反射全景图像的特征匹配在很多计算机视觉相关的任务中是很重要的一个步骤,例如图像拼接、目标识别及运动估计等。
RANSAC(Random Sample and Consensus)是一种应用广泛的消除误匹配方法。这种方法采用大量匹配特征点样本进行实验找到最适合的参数,并通过这些参数建立两幅图像间的转换矩阵。该矩阵一般描述平移、旋转及尺度等变换。利用转换矩阵,可以根据一个特征点在图像中的位置坐标来估计其匹配点的坐标,进而判断特征点匹配对是否正确。在折反射全景图像中,由于其投影关系较为复杂且存在成像畸变,因此在两幅图像中的特征点之间难以建立统一的转换矩阵。即RANSAC方法难以直接应用于未处理的折反射全景图像上,其一般需要先将全景图像展开后才能处理,但在全景图像的展开过程中,不仅会增加额外的计算量还会丢失部分图像信息。
因此现有专利CN106709942A,公开了一种基于特征方位角的全景图像误匹配消除方法,能够在不展开全景图像的情况下,消除误全景图像中误匹配的特征点对,但是其仍存在如下缺点:
1.需要预先知道全景相机的结构及设备参数(如反射镜的长短轴a、b及相机焦距f),才可以在图像中计算出horizon圆的位置;
2.现有专利CN106709942A,是根据两幅图像中horizon圆区域相应像素间灰度值的差异来确定相机的最优运动参数ρ、ψ和α的,而图像的像素灰度值容易受拍摄环境中光照亮度等因素的影响,导致上述相机运动参数的计算准确度受环境条件影响较大。
发明内容
为解决上述两个问题,本发明实施例提供一种图像特征优化方法、装置、终端设备以及计算机可读存储介质,所述方法能在不知道全景相机的结构及设备参数的情况下,消除两全景图像中匹配错误的特征点对,且不易受环境条件的影响。
本发明一实施例提供一种图像特征优化方法,包括:
获取待检测特征点对;其中,所述待检测特征点对,包括从第一全景图像获取的第一特征点,以及从第二全景图像获得的第二特征点,所述第一全景图像和所述第二全景图像均基于同一现实场景生成;
根据摄像装置运动参数和所述第一特征点在所述第一全景图像的方位角实际值,计算所述第一特征点的实际匹配特征点在所述第二全景图像的方位角估算值;
计算所述方位角估算值与所述第二特征点在所述第二全景图像的方位角实际值的差值,若所述差值超过预设阈值,则判断所述待检测特征点对匹配错误并剔除;
其中,所述摄像装置运动参数的生成方法包括:
从所述现实场景中,获取至少三个特征点,分别为点A、B和C,并构建如下至少一组摄像装置运动方程:
Figure BDA0002037565000000021
其中,所述θc1、θc2、θc3分别为所述点A、B、C在所述第一全景图像中的方位角实际值,θH1、θH2、θH3分别为所述点A、B、C在所述第二全景图像中的方位角实际值,所述α为所述摄像装置从所述第二全景图像的拍摄位置,移动至所述第一全景图像的拍摄位置的平移运动的方向角,Ψ为所述摄像装置在所述第一全景图像的拍摄位置时,相对与所述第二全景图像的拍摄位置的自身旋转角度,ρ1=d1/r1;ρ2=d2/r2;ρ3=d3/r3;d1、d2、d3,为所述第一全景图像的拍摄位置与第二全景图像的拍摄位置之间的距离;r1、r2、r3分别为所述点A、B、C与所述第二全景图像的拍摄位置的距离;
根据等距分布假设,将ρ1、ρ2、ρ3均作为ρ,继而根据(1)式可得,摄像装置运动参数表达式:
Figure BDA0002037565000000031
根据通过混合粒子群算法获得f(ρ,Ψ,α)取最小值时对应的ρ、Ψ、α的值,获得到所述摄像装置运动参数。
进一步的,所述通过混合粒子群算法获得
f(ρ,Ψ,α)取最小值时对应的ρ、Ψ、α的值,具体为:
初始化所述摄像装置运动参数,并进行粒子个体编码,获得若干粒子个体;其中,每一粒子个体采用实数编码方式进行编码,编码长度为3,每一所述粒子个体随机生成,用于表示一组参数解k1、k2、k3,且k1、k2、k3分别与所述摄像装置运动参数ρ、Ψ、α,一一对应;
以f(ρ,Ψ,α)为适应度函数,计算每一所述粒子个体的适应度值;
将所述粒子个体进行参数粒子交叉,及参数粒子变异后,获得最优个体粒子;其中,所述最优个体粒子为适应度值最小的个体粒子;
将所述最优个体粒子的参数解,作为所述摄像装置运动参数。
进一步的,所述摄像装置运动参数的生成方法还包括:
以三个特征点为一特征点组,从所述现实场景中获取多组特征点组;
根据每一所述特征点组,构建对应的摄像装置运动参数表达式,获得多项摄像装置运动参数表达式;
通过所述混合粒子群算法,获得每一摄像运动参数表达式取最小值时对应的ρ、Ψ、α的取值;
分别计算所有ρ、所有Ψ、所有α的离差平方和,获得
Figure BDA0002037565000000041
Figure BDA0002037565000000042
Figure BDA0002037565000000043
Figure BDA0002037565000000044
作为所述摄像装置运动参数。
进一步的,通过以下公式计算所述第一特征点的实际匹配特征点在所述第二全景图像的方位角估算值:
Figure BDA0002037565000000045
其中,所述
Figure BDA0002037565000000046
为所述第一特征点的实际匹配特征点在所述第二全景图像的方位角估算值,所述θC所述第一特征点在所述第一全景图像的方位角实际值。
在上述方法项实施例的基础上,本发明对应提供了装置项实施例;
本发明一实施例提供了一种图像特征优化装置,包括待检测特征点获取模块、方位角估算值计算模块和待检测特征点判断模块;其中,所述方位角估算值计算模块包括运动方程构建单元、运动参数表达式构建单元以及运动参数计算单元;
所述待检测特征点获取模块,用于获取待检测特征点对;其中,所述待检测特征点对,包括从第一全景图像获取的第一特征点,以及从第二全景图像获得的第二特征点,所述第一全景图像和所述第二全景图像均基于同一现实场景生成;
所述方位角估算值计算模块,用于根据摄像装置运动参数和所述第一特征点在所述第一全景图像的方位角实际值,计算所述第一特征点的实际匹配特征点在所述第二全景图像的方位角估算值;
所述待检测特征点判断模块,用于计算所述方位角估算值与所述第二特征点在所述第二全景图像的方位角实际值的差值,若所述差值超过预设阈值,则判断所述待检测特征点对匹配错误并剔除;
所述运动方程构建单元,用于从所述现实场景中,获取至少三个特征点,分别为点A、B和C,并构建如下至少一组摄像装置运动方程:
Figure BDA0002037565000000051
其中,所述θc1、θc2、θc3分别为所述点A、B、C在所述第一全景图像中的方位角实际值,θH1、θH2、θH3分别为所述点A、B、C在所述第二全景图像中的方位角实际值,所述α为所述摄像装置从所述第二全景图像的拍摄位置,移动至所述第一全景图像的拍摄位置的平移运动的方向角,Ψ为所述摄像装置在所述第一全景图像的拍摄位置时,相对与所述第二全景图像的拍摄位置的自身旋转角度,ρ1=d1/r1;ρ2=d2/r2;ρ3=d3/r3;d1、d2、d3,为所述第一全景图像的拍摄位置与第二全景图像的拍摄位置之间的距离;r1、r2、r3分别为所述点A、B、C与所述第二全景图像的拍摄位置的距离;
所述运动参数表达式构建单元,用于根据等距分布假设,将ρ1、ρ2、ρ3均作为ρ,继而根据(1)式可得,摄像装置运动参数表达式:
Figure BDA0002037565000000061
所述运动参数计算单元,用于根据通过混合粒子群算法获得f(ρ,Ψ,α)取最小值时对应的ρ、Ψ、α的值,获得到所述摄像装置运动参数。
在本发明方法项实施例的基础上提供了另一实施例;
本发明另一实施例提供了一种图像特征优化终端设备,包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序,所述处理器执行所述计算机程序时实现本发明任意一项方法项实施例提供的图像特征优化方法。
在本发明方法项实施例的基础上提供了另一实施例;
本发明另一实施例提供了一种计算机可读存储介质,所述计算机可读存储介质包括存储的计算机程序,其中,在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行本发明任意一项方法项实施例提供的图像特征优化方法。
通过实施本发明实施例具有如下有益效果:
本发明实施例提供了一种图像特征优化方法、装置、终端设备及计算机可读存储介质,所述方法通过从现实场景中,获取至少三个特征点,并构建出一组摄像装置运动方程,然后根据等距分布假设构建出摄像装置运动参数表达式,继而通过混合粒子群算法计算出摄像装置运动参数。最后根据摄像装置运动参数,和第一特征点在所述第一全景图像的方位角实际值,计算所述第一特征点的实际匹配特征点在所述第二全景图像的方位角估算值;再由得到的方位角的估算值与,第二特征点在第二全景图像的方位角实际值进行比对,最终判断出第一特征点和第二特征点是否匹配,并将不匹配的特征点剔除,实现图像的优化,对比与现有技术本发明提供的方法,在获取摄像装置运动参数的过程中,无需获悉摄像装置的结构及设备参数,更加的便捷,不受摄像装置的结构参数的影响。同时在整个过程中,并不需要根据两幅图像中horizon圆区域相应像素间灰度值的差异来确定相机的最优运动参数ρ、Ψ和α的,避免了因图像的像素灰度值容易受拍摄环境中光照亮度等因素的影响,导致上述相机运动参数的计算准确度降低的问题。
附图说明
图1是本发明一实施例提供的一种图像特征优化方法的流程示意图。
图2是本发明一实施例提供的一种图像特征优化方法中摄像装置运动参数的生成方法的流程示意图。
图3是本发明一实施例提供的一种图像特征优化方法中,摄像装置运动的几何描述图。
图4是本发明一实施例提供的一种图像特征优化装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1,本发明一实施例提供了一种图像特征优化方法的流程示意图,包括:
步骤S101、获取待检测特征点对;其中,待检测特征点对,包括从第一全景图像获取的第一特征点,以及从第二全景图像获得的第二特征点,第一全景图像和第二全景图像均基于同一现实场景生成。
步骤S102、根据摄像装置运动参数和第一特征点在第一全景图像的方位角实际值,计算第一特征点的实际匹配特征点在第二全景图像的方位角估算值。
步骤S103、计算方位角估算值与第二特征点在第二全景图像的方位角实际值的差值,若差值超过预设阈值,则判断待检测特征点对匹配错误并剔除。
对于步骤S101、在一个优选的实施例中,通过摄像装置在不同拍摄位置对同一现实场景进行拍摄可得到两张拍摄图像,即第一全景图像以及第二全景图像。紧接着从第一全景图像中选定一特征点,获得上述第一特征点,再从全景图像二中选定一特征点,获得上述第二特征点,最后组成一组待检测的特征点对。
优选的,可以通过特征提取算法(如SIFT等)从第一全景图像和第二全景图像中提取出一组待测的匹配特征点对。
在一个优选的实施例中,上述摄像装置为折反射全景相机,当然除全景相机外也可以为其余可获得折反射全景图像的摄像装置。
对于步骤S102、在一个优选的实施例中,上述摄像装置运动参数通过以下步骤获得,如图2所示,具体包括:
S201、从上述现实场景中,获取至少三个特征点,分别为点A、B和C,并构建如下一组摄像装置运动方程:
Figure BDA0002037565000000081
S202、根据等距分布假设,将ρ1、ρ2、ρ3均作为ρ,继而根据(1)式可得,摄像装置运动参数表达式:
Figure BDA0002037565000000091
S203:根据通过混合粒子群算法获得f(ρ,Ψ,α)取最小值时对应的ρ、Ψ、α的值,获得到摄像装置运动参数(即摄像装置在第一全景图像的拍摄位置及第二全景图像的拍摄位置之间运动的运动参数)。
对于步骤S201、如图3所示,假设摄像装置的运动空间为一个平面,L为现实场景中的一个特征,C和H分别为两幅匹配全景图像IC(第一全景图像)和IH(第二全景图像)的拍摄位置,在这两个位置处的箭头方向分别为相机对应的正面朝向。θH为特征L在位置H处的方位角,θC为L在位置C处的方位角,α为相机平移运动的方向角(即摄像装置从第二全景图像的拍摄位置,移动至第一全景图像的拍摄位置的平移运动的方向角),Ψ为相机自身旋转的角度(即摄像装置在第一全景图像的拍摄位置时,相对与第二全景图像的拍摄位置的自身旋转角度)。r为特征点L与位置H之间的距离,d为位置C与H之间的距离。首先,在三角形LHC中应用正弦定理可得:
Figure BDA0002037565000000092
令ρ=dr,重新整理可得:
sin(Ψ+θCH)=ρsin(Ψ+θC-α) (b)
在上述原理的基础上,假设现实场景中存在三个特征点A、B和C,这些特征点在图像IH中与相机正面朝向的夹角分别为θH1、θH2和θH3(即θH1、θH2、θH3分别为点A、B、C在第二全景图像中的方位角实际值),在图像IC中与相机新朝向的夹角分别为θC1、θC2和θC3(即θc1、θc2、θc3分别为点A、B、C在第一全景图像中的方位角实际值);将上述三对方位角分别代入式(b),可以得到如下相机运动方程:
Figure BDA0002037565000000101
ρ1=d1/r1;ρ2=d2/r2;ρ3=d3/r3;d1、d2、d3为所述第一全景图像的拍摄位置与第二全景图像的拍摄位置之间的距离,r1、r2、r3分别为点A、B、C与第二全景图像的拍摄位置的距离;
对于步骤S202、根据等距分布假设,可近似认为ρ1=ρ2=ρ3,所以此时直接,将ρ1、ρ2、ρ3均作为ρ、因此在式(1)中仅存在(ρ,Ψ,α)三个未知数,最终代入(1)式可得,摄像装置运动参数表达式:
Figure BDA0002037565000000102
对于步骤S203、由于式(1)可能存在无解的情况,因此通过寻找f(ρ,Ψ,α)最小值的方式对相机运动参数ρ、Ψ和α进行估计,而本发明采用混合粒子群算法搜索f(ρ,Ψ,α)的最小值。
在一个优选的实施例中,通过混合粒子群算法获得f(ρ,Ψ,α)取最小值时对应的ρ、Ψ、α的值,具体为:
初始化摄像装置运动参数,并进行粒子个体编码,获得若干粒子个体;其中,每一粒子个体采用实数编码方式进行编码,编码长度为3,每一粒子个体随机生成,用于表示一组参数解k1、k2、k3,且k1、k2、k3分别与摄像装置运动参数ρ、Ψ、α,一一对应;
以f(ρ,Ψ,α)为适应度函数,计算每一粒子个体的适应度值;
将粒子个体进行参数粒子交叉,及参数粒子变异后,获得最优个体粒子;其中,最优个体粒子为适应度值最小的个体粒子;
将最优个体粒子的参数解,作为摄像装置运动参数。
详细的,以下对根据混合粒子群算法计算f(ρ,Ψ,α)的最小值,进行进一步的描述:
首先是粒子个体编码:
粒子个体编码采用实数编码的方式,编码长度为3。初始时每个粒子随机生成,表示一组参数解k1,k2,k3,分别对应于ρ,Ψ,α。在一个优选的实例中,ρ的取值区间为[0,1],Ψ,α的取值区间为[-π,π]。初始种群规模选择大一些,尽量覆盖上述各参数的取值区间。
其次是计算适应度值:
选择f(ρ,Ψ,α)作为适应度函数,每组参数对应的f(ρ,Ψ,α)的值作为粒子适应度值。
再次是执行参数粒子交叉操作:
个体粒子通过和个体极值、群体极值交叉进行更新。交叉方法如下:首先在个体长度范围内随机产生一个区间,然后个体将上述区间内的编码变换为极值对应区间内的编码。对上述交叉操作得到的新个体采用优秀个体保留策略,即当新粒子的适应度优于旧粒子时才更新粒子个体。
最后是执行参数粒子变异操作:参数k1以及k2,k3采用不同的变异方式,对于k1,其变异方式为将当前值替换为[0,1]的随机数;对于k2,k3,变异方式为位置互换。每次采用何种变异方式由一个0或1的随机数决定。与交叉操作类似,在变异操作中仍然采用优秀个体保留策略。
在判断已将达到了预设的迭代次数后,输出最优个体粒子的参数解,获得上述摄像装置运动参数。
由于在实际情况中,可以提取到的匹配特征点的数量比较多,不仅仅是上述的三个特征点A、B、C因此在一个优选的实施例中:
摄像装置运动参数的生成方法还包括:
以三个特征点为一特征点组,从现实场景中获取多组特征点组;
根据每一特征点组,构建对应的摄像装置运动参数表达式,获得多项摄像装置运动参数表达式;
通过混合粒子群算法,获得每一摄像运动参数表达式取最小值时对应的ρ、Ψ、α的取值;
分别计算所有ρ、所有Ψ、所有α的离差平方和,获得
Figure BDA0002037565000000121
Figure BDA0002037565000000122
Figure BDA0002037565000000123
Figure BDA0002037565000000124
作为摄像装置运动参数。
首先在获取多组特征点组后,通过上述混合粒子群算法可以得到多组解(ρ111)、(ρ222)…(ρnnn)。此时可以通过计算离差平方和的方式得到参数ρ,Ψ,α的最优估计值
Figure BDA0002037565000000125
Figure BDA0002037565000000126
以参数ρ为例,定义离差平方和ρSSD如下:
Figure BDA0002037565000000127
其中,n为参数解的组数,
Figure BDA0002037565000000128
为在参数ρ的取值区间内变化的值。对
Figure BDA0002037565000000129
进行穷尽搜索,其中离差平方和ρSSD最小时对应的
Figure BDA00020375650000001210
即为运动参数ρ的最优估计值
Figure BDA00020375650000001211
参数
Figure BDA0002037565000000131
Figure BDA0002037565000000132
的计算方法与
Figure BDA0002037565000000133
相同,再此不再赘述。
在一个优选的实施例中,通过以下公式计算第一特征点的实际匹配特征点在第二全景图像的方位角估算值:
Figure BDA0002037565000000134
其中,
Figure BDA0002037565000000135
为第一特征点的实际匹配特征点在第二全景图像的方位角估算值,θC为第一特征点在第一全景图像的方位角实际值。
对于步骤S103、在一个优选的实施例中,设定判断阈值θT,若方位角估算值,与第二特征点在第二全景图像的方位角实际值的差值的绝对值小于θT,则认为特征匹配正确即待检测特征点对匹配,否则判断待检测特征点对匹配错误并剔除。
在上述方法项实施例的基础上对应提供了装置项实施例;
本发明一实施例提供了一种图像特征优化装置,包括待检测特征点获取模块410、方位角估算值计算模块420和待检测特征点判断模块430;其中,方位角估算值计算模块包括运动方程构建单元421、运动参数表达式构建单元422以及运动参数计算单元423;
待检测特征点获取模块410,用于获取待检测特征点对;其中,待检测特征点对,包括从第一全景图像获取的第一特征点,以及从第二全景图像获得的第二特征点,第一全景图像和第二全景图像均基于同一现实场景生成;
方位角估算值计算模块420,用于根据摄像装置运动参数和第一特征点在第一全景图像的方位角实际值,计算第一特征点的实际匹配特征点在第二全景图像的方位角估算值;
待检测特征点判断模块430,用于计算方位角估算值与第二特征点在第二全景图像的方位角实际值的差值,若差值超过预设阈值,则判断待检测特征点对匹配错误并剔除;
运动方程构建单元421,用于从现实场景中,获取至少三个特征点,分别为点A、B和C,并构建如下至少一组摄像装置运动方程:
Figure BDA0002037565000000141
其中,θc1、θc2、θc3分别为点A、B、C在第一全景图像中的方位角实际值,λH1、λH2、λH3分别为点A、B、C在第二全景图像中的方位角实际值,α为摄像装置从第二全景图像的拍摄位置,移动至第一全景图像的拍摄位置的平移运动的方向角,Ψ为摄像装置在第一全景图像的拍摄位置时,相对与第二全景图像的拍摄位置的自身旋转角度,ρ1=d1/r1;ρ2=d2/r2;ρ3=d3/r3;d1、d2、d3为所述第一全景图像的拍摄位置与第二全景图像的拍摄位置之间的距离,r1、r2、r3分别为点A、B、C与第二全景图像的拍摄位置的距离;
运动参数表达式构建单元422,用于根据等距分布假设,将ρ1、ρ2、ρ3均作为ρ,继而根据(1)式可得,摄像装置运动参数表达式:
Figure BDA0002037565000000142
运动参数计算单元423,用于根据通过混合粒子群算法获得f(ρ,Ψ,α)取最小值时对应的ρ、Ψ、α的值,获得到摄像装置运动参数。
需要说明的是,上述装置项实施例,可以实现本发明任意一项方法项实施例所提供的图像特征优化方法。
在上述方法项实施例的基础上,提供了另一实施例:
本发明另一实施例提供了一种图像特征优化终端设备,包括处理器、存储器以及存储在存储器中且被配置为由处理器执行的计算机程序,处理器执行计算机程序时实现本发明任意一项方法项实施例提供的图像特征优化方法。
在上述方法项实施例的基础上,提供了另一实施例:
本发明另一实施例提供了一种计算机可读存储介质,计算机可读存储介质包括存储的计算机程序,其中,在计算机程序运行时控制计算机可读存储介质所在设备执行本发明任意一项方法项实施例提供的图像特征优化方法。
通过实施本发明实施例具有如下有益效果:
本发明实施例提供了一种图像特征优化方法、装置、终端设备及计算机可读存储介质,方法通过从现实场景中,获取至少三个特征点,并构建出一组摄像装置运动方程,然后根据等距分布假设构建出摄像装置运动参数表达式,继而通过混合粒子群算法计算出摄像装置运动参数。最后根据摄像装置运动参数,和第一特征点在第一全景图像的方位角实际值,计算第一特征点的实际匹配特征点在第二全景图像的方位角估算值;再由得到的方位角的估算值与,第二特征点在第二全景图像的方位角实际值进行比对,最终判断出第一特征点和第二特征点是否匹配,并将不匹配的特征点剔除,实现图像的优化,对比与现有技术本发明提供的方法,在获取摄像装置运动参数的过程中,无需获悉摄像装置的结构及设备参数,更加的便捷,不受摄像装置的结构参数的影响。同时在整个过程中,并不需要根据两幅图像中horizon圆区域相应像素间灰度值的差异来确定相机的最优运动参数、ρ、ψ和α的,避免了因图像的像素灰度值容易受拍摄环境中光照亮度等因素的影响,导致上述相机运动参数的计算准确度降低的问题。
需说明的是,以上所描述的装置实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外,本发明提供的装置实施例附图中,模块之间的连接关系表示它们之间具有通信连接,具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也视为本发明的保护范围。

Claims (7)

1.一种图像特征优化方法,其特征在于,包括:
获取待检测特征点对;其中,所述待检测特征点对,包括从第一全景图像获取的第一特征点,以及从第二全景图像获得的第二特征点,所述第一全景图像和所述第二全景图像均基于同一现实场景生成;
根据摄像装置运动参数和所述第一特征点在所述第一全景图像的方位角实际值,计算所述第一特征点的实际匹配特征点在所述第二全景图像的方位角估算值;
计算所述方位角估算值与所述第二特征点在所述第二全景图像的方位角实际值的差值,若所述差值超过预设阈值,则判断所述待检测特征点对匹配错误并剔除;
其中,所述摄像装置运动参数的生成方法包括:
从所述现实场景中,获取至少三个特征点,分别为点A、B和C,并构建如下至少一组摄像装置运动方程:
Figure FDA0002037564990000011
其中,所述θc1、θc2、θc3分别为所述点A、B、C在所述第一全景图像中的方位角实际值,θH1、θH2、θH3分别为所述点A、B、C在所述第二全景图像中的方位角实际值,所述α为所述摄像装置从所述第二全景图像的拍摄位置,移动至所述第一全景图像的拍摄位置的平移运动的方向角,ψ为所述摄像装置在所述第一全景图像的拍摄位置时,相对于 所述第二全景图像的拍摄位置的自身旋转角度,ρ1=d1/r1;ρ2=d2/r2;ρ3=d3/r3;d1、d2、d3为所述第一全景图像拍摄位与第二全景图像中的拍摄位置之间的距离,r1、r2、r3分别为所述点A、B、C与所述第二全景图像的拍摄位置的距离;
根据等距分布假设,将ρ1、ρ2、ρ3均作为ρ,继而根据(1)式可得,摄像装置运动参数表达式:
Figure FDA0002037564990000021
根据通过混合粒子群算法获得f(ρ,ψ,α)取最小值时对应的ρ、ψ、α的值,获得到所述摄像装置运动参数。
2.如权利要求1所述的图像特征优化方法,其特征在于,所述通过混合粒子群算法获得f(ρ,ψ,α)取最小值时对应的ρ、ψ、α的值,具体为:
初始化所述摄像装置运动参数,并进行粒子个体编码,获得若干粒子个体;其中,每一粒子个体采用实数编码方式进行编码,编码长度为3,每一所述粒子个体随机生成,用于表示一组参数解k1、k2、k3,且k1、k2、k3分别与所述摄像装置运动参数ρ、ψ、α,一一对应;
以f(ρ,ψ,α)为适应度函数,计算每一所述粒子个体的适应度值;
将所述粒子个体进行参数粒子交叉,及参数粒子变异后,获得最优个体粒子;其中,所述最优个体粒子为适应度值最小的个体粒子;
将所述最优个体粒子的参数解,作为所述摄像装置运动参数。
3.如权利要求1所述的图像特征优化方法,其特征在于,所述摄像装置运动参数的生成方法还包括:
以三个特征点为一特征点组,从所述现实场景中获取多组特征点组;
根据每一所述特征点组,构建对应的摄像装置运动参数表达式,获得多项摄像装置运动参数表达式;
通过所述混合粒子群算法,获得每一摄像运动参数表达式取最小值时对应的ρ、ψ、α的取值;
分别计算所有ρ、所有ψ、所有α的离差平方和,获得
Figure FDA0002037564990000031
Figure FDA0002037564990000032
Figure FDA0002037564990000033
Figure FDA0002037564990000034
作为所述摄像装置运动参数。
4.如权利要求1所述的图像特征优化方法,其特征在于,通过以下公式计算所述第一特征点的实际匹配特征点在所述第二全景图像的方位角估算值:
Figure FDA0002037564990000035
其中,所述
Figure FDA0002037564990000036
为所述第一特征点的实际匹配特征点在所述第二全景图像的方位角估算值,所述θC为所述第一特征点在所述第一全景图像的方位角实际值。
5.一种图像特征优化装置,其特征在于,包括待检测特征点获取模块、方位角估算值计算模块和待检测特征点判断模块;其中,所述方位角估算值计算模块包括运动方程构建单元、运动参数表达式构建单元以及运动参数计算单元;
所述待检测特征点获取模块,用于获取待检测特征点对;其中,所述待检测特征点对,包括从第一全景图像获取的第一特征点,以及从第二全景图像获得的第二特征点,所述第一全景图像和所述第二全景图像均基于同一现实场景生成;
所述方位角估算值计算模块,用于根据摄像装置运动参数和所述第一特征点在所述第一全景图像的方位角实际值,计算所述第一特征点的实际匹配特征点在所述第二全景图像的方位角估算值;
所述待检测特征点判断模块,用于计算所述方位角估算值与所述第二特征点在所述第二全景图像的方位角实际值的差值,若所述差值超过预设阈值,则判断所述待检测特征点对匹配错误并剔除;
所述运动方程构建单元,用于从所述现实场景中,获取至少三个特征点,分别为点A、B和C,并构建如下至少一组摄像装置运动方程:
Figure FDA0002037564990000041
其中,所述θc1、θc2、θc3分别为所述点A、B、C在所述第一全景图像中的方位角实际值,θH1、θH2、θH3分别为所述点A、B、C在所述第二全景图像中的方位角实际值,所述α为所述摄像装置从所述第二全景图像的拍摄位置,移动至所述第一全景图像的拍摄位置的平移运动的方向角,ψ为所述摄像装置在所述第一全景图像的拍摄位置时,相对于 所述第二全景图像的拍摄位置的自身旋转角度,ρ1=d1/r1;ρ2=d2/r2;ρ3=d3/r3;d1、d2、d3为所述第一全景图像的拍摄位置与第二全景图像的拍摄位置之间的距离,r1、r2、r3分别为所述点A、B、C与所述第二全景图像的拍摄位置的距离;
所述运动参数表达式构建单元,用于根据等距分布假设,将ρ1、ρ2、ρ3均作为ρ,继而根据(1)式可得,摄像装置运动参数表达式:
Figure FDA0002037564990000051
所述运动参数计算单元,用于根据通过混合粒子群算法获得f(ρ,ψ,α)取最小值时对应的ρ、ψ、α的值,获得到所述摄像装置运动参数。
6.一种图像特征优化终端设备,包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至4中任意一项所述的图像特征优化方法。
7.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括存储的计算机程序,其中,在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至4中任意一项所述的图像特征优化方法。
CN201910330559.3A 2019-04-23 2019-04-23 一种图像特征优化方法、装置、终端设备及可读存储介质 Active CN110110767B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910330559.3A CN110110767B (zh) 2019-04-23 2019-04-23 一种图像特征优化方法、装置、终端设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910330559.3A CN110110767B (zh) 2019-04-23 2019-04-23 一种图像特征优化方法、装置、终端设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN110110767A CN110110767A (zh) 2019-08-09
CN110110767B true CN110110767B (zh) 2023-02-10

Family

ID=67486357

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910330559.3A Active CN110110767B (zh) 2019-04-23 2019-04-23 一种图像特征优化方法、装置、终端设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN110110767B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110706257B (zh) * 2019-09-30 2022-07-22 北京迈格威科技有限公司 有效特征点对的识别方法、相机状态的确定方法及装置
CN113033590A (zh) * 2019-12-25 2021-06-25 杭州海康机器人技术有限公司 图像特征匹配方法、装置、图像处理设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106127115A (zh) * 2016-06-16 2016-11-16 哈尔滨工程大学 一种基于全景和常规视觉的混合视觉目标定位方法
CN106709942A (zh) * 2016-12-13 2017-05-24 广州智能装备研究院有限公司 一种基于特征方位角的全景图像误匹配消除方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102209008B1 (ko) * 2014-02-17 2021-01-28 삼성전자주식회사 카메라 포즈 추정 장치 및 카메라 포즈 추정 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106127115A (zh) * 2016-06-16 2016-11-16 哈尔滨工程大学 一种基于全景和常规视觉的混合视觉目标定位方法
CN106709942A (zh) * 2016-12-13 2017-05-24 广州智能装备研究院有限公司 一种基于特征方位角的全景图像误匹配消除方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
动态场景中自适应去除外点的全局运动估计方法;王兴梅等;《南京理工大学学报》;20110830;第35卷(第04期);第442-447页 *

Also Published As

Publication number Publication date
CN110110767A (zh) 2019-08-09

Similar Documents

Publication Publication Date Title
CN106940704B (zh) 一种基于栅格地图的定位方法及装置
WO2021139176A1 (zh) 基于双目摄像机标定的行人轨迹跟踪方法、装置、计算机设备及存储介质
US10152828B2 (en) Generating scene reconstructions from images
CN104966063A (zh) 基于gpu与cpu协同计算的矿井多摄像机视频融合方法
CN110717936B (zh) 一种基于相机姿态估计的图像拼接方法
WO2019075948A1 (zh) 移动机器人的位姿估计方法
CN111127522B (zh) 基于单目相机的深度光流预测方法、装置、设备及介质
CN110634138A (zh) 一种基于视觉感知的桥梁变形的监测方法、装置及设备
CN110110767B (zh) 一种图像特征优化方法、装置、终端设备及可读存储介质
CN111798373A (zh) 一种基于局部平面假设及六自由度位姿优化的快速无人机图像拼接方法
CN112652020B (zh) 一种基于AdaLAM算法的视觉SLAM方法
CN112132874A (zh) 无标定板异源图像配准方法、装置、电子设备及存储介质
Kim et al. Real-time panorama canvas of natural images
CN109948624A (zh) 特征提取的方法、装置、电子设备和计算机存储介质
US11494978B2 (en) Computer vision systems and methods for modeling three-dimensional structures using two-dimensional segments detected in digital aerial images
Price et al. Augmenting crowd-sourced 3d reconstructions using semantic detections
CN106709942B (zh) 一种基于特征方位角的全景图像误匹配消除方法
CN107194334B (zh) 基于光流模型的视频卫星影像密集匹配方法及系统
Zhu et al. Video/GIS registration system based on skyline matching method
Georgiev et al. A fast and accurate re-calibration technique for misaligned stereo cameras
WO2018100230A1 (en) Method and apparatuses for determining positions of multi-directional image capture apparatuses
WO2018150086A2 (en) Methods and apparatuses for determining positions of multi-directional image capture apparatuses
CN109919998B (zh) 卫星姿态确定方法、装置和终端设备
Zhuo et al. Stereo matching approach using zooming images
Eudes et al. Weighted local bundle adjustment and application to odometry and visual slam fusion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant