CN114372992A - 一种基于动平台的边缘角点检测四目视觉算法 - Google Patents

一种基于动平台的边缘角点检测四目视觉算法 Download PDF

Info

Publication number
CN114372992A
CN114372992A CN202111461586.8A CN202111461586A CN114372992A CN 114372992 A CN114372992 A CN 114372992A CN 202111461586 A CN202111461586 A CN 202111461586A CN 114372992 A CN114372992 A CN 114372992A
Authority
CN
China
Prior art keywords
image
coordinate system
camera
corner
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111461586.8A
Other languages
English (en)
Inventor
石彩成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN202111461586.8A priority Critical patent/CN114372992A/zh
Publication of CN114372992A publication Critical patent/CN114372992A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image

Abstract

本发明公开了一种基于动平台的边缘角点检测四目视觉算法,包括如下步骤:获取图像;读取采集图像的位置、姿态信息;建模对图像信息进行边缘检测;在图像边缘点上采用SUSAN角点检测算法;所有图像角点进行欧拉变换,以基准相机大地坐标为原点,将所有相机的成像坐标系转换到新的坐标系,再进行图像角点的匹配;变换后角点处周围区域进行欧拉逆变换,计算并记录变换后角点处的SURF特征以及匹配角点对,计算匹配角点对的三维坐标,计算机根据三维坐标获取图像的具体信息,实现对目标立体成像。本发明在很大程度上降低运算量,提高运算稳定性,减少运算时间,提高工作效率;计算机能够更快的获取图像信息并进行信息反馈,保证信息输入与输出的实时性。

Description

一种基于动平台的边缘角点检测四目视觉算法
技术领域
本发明属于视觉算法领域,具体地说,涉及一种基于动平台的边缘角点检测四目视觉算法。
背景技术
视觉算法是一种数学模型,试图帮助计算机理解图像。计算机视觉算法也有助于在计算机解释图像的方式上取得进步可以从图像中获取特定类型的数据。
现有的四目视觉算法有四焦张量法、双目视觉算法和最小二乘法结合,其中四焦张量法在进行运算的过程中不仅需要计算简化测量矩阵,还需要转换矩阵进行图像基点映射,再最小化四焦张量,算法复杂,运算量巨大,使得在运算的过程的不稳定性增加,实时运算十分困难,难以保证信息输出的实时性,得到的反馈信息存在较大的延时性。采用双目视觉算法和最小二乘法结合,运动平台首先基准相机与其他相机按双目视觉算法进行两两相机的立体成像,然后对三对结果进行最小二乘法求解最优结果。双目立体成像需要先计算本征矩阵和基础矩阵,匹配点要满足极线约束,计算还是十分复杂、庞大,计算消耗的时间较长,难以保证图像信息的实时传输。
在计算机进行运算时,运算量大会引入更多的不稳定性,并且运算量大、运算困难使得计算机需要进行运算的时间较长,工作效率低,计算机获取信息时间长,反馈信息长,难以保证视觉信息的实时性和实效性。
有鉴于此特提出本发明。
发明内容
本发明要解决的技术问题在于克服现有技术的不足,提供一种基于动平台的边缘角点检测四目视觉算法。为解决上述技术问题,本发明采用技术方案的基本构思是:
一种基于动平台的边缘角点检测四目视觉算法,包括如下步骤:
步骤1,获取图像,确定需要获取的图像方位、数量;
步骤2,读取图像信息,读取采集图像的位置、姿态信息;
步骤3,建模对图像信息进行处理,包括如下步骤:
步骤301,边缘检测,对获取的图像信息采用sobel算子进行梯度计算,在x、y两个方向进行偏微分,得到梯度,设定分割阈值,当梯度大于阈值则为边缘,对获取的图像均进行边缘计算和分割,检测出边缘;
步骤302,边缘上的角点检测,在图像边缘点上采用SUSAN角点检测算法,先用模板扫描整个图像边缘,计算出图像中各点的n(x,y),再用下式计算角点响应函数R(x,y):
Figure BDA0003388907660000021
式中,n(x,y)是点(x,y)的USAN大小,g是几何门限;
步骤303,所有图像角点进行欧拉变换,根据相机与基准相机的大地坐标位置建立新的坐标系,其中基准相机大地坐标系为原点,将所有相机的成像坐标系转换到新的坐标系,再进行图像角点的匹配;
步骤304,变换后角点处周围区域进行欧拉逆变换,将原始图像的像素灰度映射到变换后的图像像素上;
步骤305,计算并记录变换后角点处的SURF特征以及匹配角点对,以特征点为中心,对邻域内的点进行中值滤波,在计算图像在Haar小波的x和y方向上灰度二阶差分,求解SURF特征值,并采用SURF特征值的欧几里得距离评估角点相似度量;
步骤306,计算匹配角点对的三维坐标,根据经变换后的基准图像坐标系与任一非基准图像坐标几何关系,通过计算得到匹配点的三维坐标;
步骤4,计算机根据三维坐标获取图像的具体信息,实现对目标立体成像,进行后续的信息处理与信息反馈。
进一步地,所述步骤1中从四个方位获取四张图像。
进一步地,所述步骤301中,x方向算子:
Figure BDA0003388907660000022
y方向算子:
Figure BDA0003388907660000023
x方向偏微分记为Gx,y方向偏微分记为Gy,梯度Gs=|Gx|+|Gy|,分割阈值等于梯度均值+3倍梯度平均绝对值差,公式如下:
梯度均值:
Figure BDA0003388907660000024
(M为图像总数)
梯度平均绝对差:
Figure BDA0003388907660000025
分割阈值:
Figure BDA0003388907660000026
进一步地,所述边缘上的角点检测包括如下步骤:将模板在灰度图像上逐像素点进行移动,并将模板中的各像素点与核心点的灰度值用下面的相似比较函数来进行比较,
Figure BDA0003388907660000031
式中:|f(x0,y0)-f(x,y)|是圆形模板中(x,y)点和圆心(x0,y0)点的灰度差;T是灰度差门限,控制生成角点的数量,根据下式计算输出函数C(x,y)的总数
Figure BDA0003388907660000032
式中:c(x0,y0)是以(x0,y0)为圆心的模板;C(x,y)是模板内属于USAN的像素的判别函数;在角点响应函数中,若提取边缘,取g为3nmax/4;若提取角点,取nmax/2。
进一步地,所述步骤303中建立新的坐标系,基准相机大地坐标系为原点,水平面为XOY平面,X轴正方向为基准相机原点到另一台相机大地坐标系原点方向,根据左手规则建立坐标系,Y轴在水平面垂直于X轴,Z轴垂直于水平面向上为正方向,所有相机的坐标系不进行平移。
进一步地,所述步骤303中坐标计算步骤包括:设相机的坐标为(xi,yi,zi),姿态为(αi,βi,γi)(i=1,2,3,4),将相机坐标系转到基座坐标系,再到东北高坐标系;
设相机平台为二轴转台,相机按先方位后俯仰顺序转动,相机相对转动方位角为α,俯仰角为β,先将每台相机坐标系移动到光电平台回转中心:
x0=-lsin(β)sin(α)
y0=lsin(β)cos(α)
z0=-lcos(β)
则:
xc=x′c+x0
yc=y′c+y0
zc=z′c+z0
然后由XC轴旋转-β角即俯仰角,再绕Zc轴旋转-α角即方位角,转换矩阵分别为:
Figure BDA0003388907660000033
Figure BDA0003388907660000034
Figure BDA0003388907660000035
其中Sα表示sinα,Cα表示cosα,α、β均指角度;
东北高坐标系定义为:XA指向正东,YA指向正北,ZA按右手定理垂直向上,从基座坐标系到东北高坐标系转换先绕坐标轴YA旋转-κ即基座滚转角,然后绕坐标轴XA旋转-θ即基座俯仰角,再绕坐标轴ZA旋转-η即基座方位角;相应的变换矩阵为:
Figure BDA0003388907660000041
Figure BDA0003388907660000042
Figure BDA0003388907660000043
则基座坐标系到东北高坐标系转换为:
Figure BDA0003388907660000044
Figure BDA0003388907660000045
r00=Cα(CηCκ+SηSκSθ)+SηCθSβ
r01=SαCβ(CηCκ+SηSκSθ)-SηCθCαCβ+Sβ(-CηSκ+SηCκSθ)
r02=-SαSβ(CηCκ+SηSκSθ)+SηCθCαSβ+Cβ(-CηSκ+SηCκSθ)
r10=Cα(SηCκ-CηSκSθ)-CηCθSβ
r11=SαCβ(SηCκ-CηSκSθ)+CηCθCαCβ+Sβ(-SηCSκ-CηCκSθ)
r12=-SαSβ(SηCκ-CηSκSθ)-CαSβCαCβ+Cβ(-SηCSκ-CηCκSθ)
r20=CαSκSθ+SθSβ
r21=SαCβSκSθ+SθCαCβ+CκCθSβ
r22=-SαSβSκSθ-SθCαSβ+CκCθCβ
xa=r00xc+r01yc+r02zc
ya=r10xc+r11yc+r12zc
za=r20xc+r21yc+r22zc
设角点在相机坐标系下的俯仰和方位角分别为ζ和γ,则:
Figure BDA0003388907660000046
则在新坐标系下的方位ω、俯仰角φ为:
Figure BDA0003388907660000051
Figure BDA0003388907660000052
Figure BDA0003388907660000053
Figure BDA0003388907660000054
图像方位俯仰角(α,β)与像素坐标(u,v)的关系如下:
Figure BDA0003388907660000055
则像素坐标与方位和俯仰角的关系:
Figure BDA0003388907660000056
由上式即将四幅图像所有角点变换到新坐标系图像中。
进一步地,所述步骤304中进行欧拉变换的区域为17×17。
进一步地,所述步骤305中x和y方向上灰度二阶差分dxij、dyij,取Cell尺寸为4×4,每个Cell统计∑dxij、∑dyij、∑|dxij|、∑|dyij|,对这些值求均方根作为SURF的64维特征值CVi,SURF特征值的欧几里得距离评估角点相似度量
Figure BDA0003388907660000057
当基准图像角点i与其中一幅非基准图像中的角点j匹配相似度为最小值
Figure BDA0003388907660000058
且小于一定值T=6.4为最佳匹配角点对,否则匹配不成功。
进一步地,所述步骤306中计算匹配角点对的三维左边包括:设任意两相机x方向距离为ΔLxik,Y方向距离为ΔLyik,垂直高度差为ΔLzik,相机i和相机k配准点的方位角、俯仰角分别为ωi、φi、ωk、φk,方位角以X方向开始逆时针方向为正,俯仰角以XY平面开始,垂直向上旋转为正,配准点相对基准相机的三维坐标为(Xi,Yi,Zi),则在相机i坐标系下相机i和相机k配准点的正北方向坐标为:
由于各相机的大地坐标系已知,
ΔLxik=Xk-Xi
ΔLyik=Yk-Yi
相机i和相机k两相交光束在XY平面的投影满足:
-Yiktan(ωi)+(Yik-ΔLyik)tan(ωk)=ΔLxik
则:
Figure BDA0003388907660000061
Xik=Yiktan(ωi)
Zik=Yik tan(φi)
Figure BDA0003388907660000062
Figure BDA0003388907660000063
Figure BDA0003388907660000064
采用上述技术方案后,本发明与现有技术相比具有以下有益效果。
本发明在获取图像信息后先进行边缘检测再进行角点检测,初步减小了计算角点的像素数;只对角点周围的像素进行坐标变换,进一步减少了运算量;通过欧拉变换将所有图像变换到同一坐标系,使得在后续计算特征值不需要寻找最大值方向,因此特征值也不需要进行坐标转换,能够再次减小运算量,提高了信息匹配的准确率,便于实时应用。在很大程度上降低运算量,提高运算的稳定性,减少运算时间,提高工作效率。计算机能够更快的获取图像信息并及时进行信息反馈,保证信息输入与输出的实时性和实效性。
下面结合附图对本发明的具体实施方式作进一步详细的描述。
附图说明
附图作为本申请的一部分,用来提供对本发明的进一步的理解,本发明的示意性实施例及其说明用于解释本发明,但不构成对本发明的不当限定。显然,下面描述中的附图仅仅是一些实施例,对于本领域普通技术人员来说,在不付出创造性劳动的前提下,还可以根据这些附图获得其他附图。在附图中:
图1是本发明流程示意图;
图2是本发明四台相机以及空间一点的位置关系示意图;
图3是本发明相机坐标系到光电平台坐标系转换示意图;
图4是本发明光电平台坐标系到大地坐标系转换示意图;
图5是本发明基准图像坐标系与任一非基准图像坐标系关系示意图;
图6是本发明SUSAN角点模板示意图。
需要说明的是,这些附图和文字描述并不旨在以任何方式限制本发明的构思范围,而是通过参考特定实施例为本领域技术人员说明本发明的概念。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对实施例中的技术方案进行清楚、完整地描述,以下实施例用于说明本发明,但不用来限制本发明的范围。
在本发明的描述中,需要说明的是,术语“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
在本发明的描述中,需要说明的是,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
实施例一
如图1至图6所示,本实施例所述的一种基于边缘角点检测的四目视觉算法,包括如下步骤:
步骤1,获取图像,确定需要获取的图像方位、数量;优选地,从四个不同的方位获取四张图像,以供后期进行图像信息获取与处理。
步骤2,读取图像信息,读取采集图像的位置、姿态信息。
步骤3,建模对图像信息进行处理,包括如下步骤:
步骤301,边缘检测,采用sobel算子进行梯度计算。由于角点一定在图像边缘处,且边缘检测比角点检测的运算量至少小1个数量级。sobel算子在x、y两个方向进行偏微分。如下式所示:
x方向算子:
Figure BDA0003388907660000071
y方向算子:
Figure BDA0003388907660000081
x方向偏微分记为Gx,y方向偏微分记为Gy,梯度Gs=|Gx|+|Gy|。分割阈值等于梯度均值+3倍梯度平均绝对值差。
梯度均值:
Figure BDA0003388907660000082
(M为图像总数)
梯度平均绝对差:
Figure BDA0003388907660000083
分割阈值:
Figure BDA0003388907660000084
当梯度大于阈值则为边缘。对四幅图进行边缘计算和分割,检测出边缘。首先进行边缘检测,在边缘检测完成后再在其处计算角点,能够很大程度上减少整体的运算量,从而减少运算时间,提高信息获取的实时性。因此检测出边缘后再其处在计算角点,则能够大大减少整体运算量。
步骤302,边缘上的角点检测,通过边缘检测后,在图像边缘点上采用SUSAN角点检测算法。
其中,SUSAN模板为一圆形模板,中间的一点称为核子,如图6所示,图中A、B、C、D、E、F六个位置分别是六个圆形的模板在图像中不同的位置。窗口中所有具有与核相同或相似灰度的像素,把这些像素构成的区域称为USAN(Univalve Segment AssimilatingNucleus),USAN区域包含了图像的许多结构信息。将模板在图像的每个象素点上移动,根据预先设定的亮度阈值比较模板内的各点像素值与核子像素值,若相似,归入USAN区域,否则将其剔除。对于核子在USAN区域内(B,C,D,F),其USAN区域最大;核子位于边缘处(E),其USAN区域为整个邻域面积的1/2;而当核子位于角点附近USAN区域最小(A),就是角点检测算法。
将模板在灰度图像上逐像素点进行移动,并将模板中的各像素点与核心点的灰度值用下面的相似比较函数来进行比较。
Figure BDA0003388907660000085
式中:|f(x0,y0)-f(x,y)|是圆形模板中(x,y)点和圆心(x0,y0)点的灰度差;T是灰度差门限,控制生成角点的数量,T值小则所检测到的角点数多,T值大则所检测到的角点数少[2]。并且根据下式计算输出函数C(x,y)的总数
Figure BDA0003388907660000091
式中:c(x0,y0)是以(x0,y0)为圆心的模板;C(x,y)是模板内属于USAN的像素的判别函数,它的大小说明模板中其他点与模板中心点的相似程度,称为相似比较函数。
检测角点时,先用模板扫描整个图像边缘,计算出图像中各点的n(x,y),再用下式计算角点响应函数R(x,y):
Figure BDA0003388907660000092
式中,n(x,y)是点(x,y)的USAN大小,g是几何门限。阈值g决定了输出角点的USAN区域的最大值,即只要图像中像素具有比g值小的USAN区域,该点被判为角点。g的大小不但决定了可从图像中提取角点的数量,还决定了所检测到的角点的尖锐程度,所以一旦确定了所需要角点的质量,g就可以取一个固定不变的值。通常如果是提取边缘的话,取g为3nmax/4;若提取角点,则取nmax/2。模板能取到的最大n值为模板的大小。
步骤303,所有图像角点进行欧拉变换,由于系统由多个运动平台组成,能够精确测量运动平台的位置和姿态。因此根据相机与基准相机的大地坐标位置建立新的坐标系:优选地,基准相机大地坐标系为原点,水平面为XOY平面,X轴正方向为基准相机原点到另一台相机大地坐标系原点方向;根据左手规则建立坐标系,Y轴在水平面垂直于X轴,Z轴垂直于水平面向上为正方向。所有相机的坐标系不进行平移。
将所有相机的成像坐标系转换到新坐标系,再进行图像角点的匹配,根据光线相交原理,解算以某一相机为基准的三维立体坐标,实现对目标的立体成像。
设相机的坐标为(xi,yi,zi),姿态为(αi,βi,γi)(i=1,2,3,4)。相机以及空间一点的位置关系如图2所示。如何得到各相机在大地坐标系下的坐标,则需要将相机坐标系转到基座坐标系,再到东北高坐标系。设相机平台为二轴转台,相机按先方位后俯仰顺序转动,相机相对转动方位角为α,俯仰角为β。则相机坐标系到基座坐标系的转换关系如图3所示。
先将每台相机坐标系移动到光电平台回转中心:
x0=-lsin(β)sin(α)
y0=lsin(β)cos(α)
z0=-lcos(β)
则:
xc=x’c+x0
yc=y′c+y0
zc=z′c+z0
然后由XC轴旋转-β角(俯仰角),再绕Zc轴旋转-α角(方位角)。转换矩阵分别为:
Figure BDA0003388907660000101
Figure BDA0003388907660000102
Figure BDA0003388907660000103
注:Sα表示sinα,Cα表示cosα,由此类推表示。
如图4所示,东北高坐标系定义为:XA指向正东,YA指向正北,ZA按右手定理垂直向上。从基座到东北高坐标系转换如下图所示:先绕坐标轴YA旋转-κ(基座滚转角),然后绕坐标轴XA旋转-θ(基座俯仰角),再绕坐标轴ZA旋转-η(基座方位角)。
相应的变换矩阵为:
Figure BDA0003388907660000104
Figure BDA0003388907660000105
Figure BDA0003388907660000106
则基座坐标系到东北高坐标系转换为:
Figure BDA0003388907660000107
Figure BDA0003388907660000108
Figure BDA0003388907660000111
r00=Cα(CηCκ+SηSκSθ)+SηCθSβ
r01=SαCβ(CηCκ+SηSκSθ)-SηCθCαCβ+Sβ(-CηSκ+SηCκSθ)
r02=-SαSβ(CηCκ+SηSκSθ)+SηCθCαSβ+Cβ(-CηSκ+SηCκSθ)
r10=Cα(SηCκ-CηSκSθ)-CηCθSβ
r11=SαCβ(SηCκ-CηSκSθ)+CηCθCαCβ+Sβ(-SηCSκ-CηCκSθ)
r12=-SαSβ(SηCκ-CηSκSθ)-CαSβCαCβ+Cβ(-SηCSκ-CηCκSθ)
r20=CαSκSθ+SθSβ
r21=SαCβSκSθ+SθCαCβ+CκCθSβ
r22=-SαSβSκSθ-SθCαSβ+CκCθCβ
xa=r00xc+r01yc+r02zc
ya=r10xc+r11yc+r12zc
za=r20xc+r21yc+r22zc
设角点在相机坐标系下的俯仰和方位角分别为ζ和γ。
则:
Figure BDA0003388907660000112
Figure BDA0003388907660000113
则在新坐标系下的方位ω、俯仰角
Figure BDA0003388907660000114
为:
Figure BDA0003388907660000115
Figure BDA0003388907660000116
Figure BDA0003388907660000117
Figure BDA0003388907660000118
图像方位俯仰角(α,β)与像素坐标(u,v)的关系如下:
Figure BDA0003388907660000121
则像素坐标与方位和俯仰角的关系:
Figure BDA0003388907660000122
由上式将四幅图像所有角点变换到新坐标系图像中。
步骤304,变换后角点处周围区域进行欧拉逆变换,优选地,区域范围为17×17。先求每台相机的欧拉逆变换矩阵。设图像变换前像素坐标为(u,v),变换后像素坐标为(u′,v′),设每台相机的欧拉变换矩阵为:
Figure BDA0003388907660000123
则Q求逆矩阵Q-1
Figure BDA0003388907660000124
Figure BDA0003388907660000125
Figure BDA0003388907660000126
Figure BDA0003388907660000127
已知角点在变换后图像的像素坐标,在其周围17×17区域计算角度,再通过上式计算出原始图像像素坐标。将原始图像的像素灰度映射到变换后的图像像素上。
步骤305,计算变换后角点处的SURF特征以及匹配角点对,以特征点为中心,先对16×16的邻域内的点进行中值滤波,再计算图像在Haar小波的x和y方向上灰度二阶差分dxij、dyij,由于所有图像都在同一个坐标系下,无需确定概率最高的主方向。取Cell尺寸为4×4,每块为4×4个Cell。每个Cell统计∑dxij、∑dyij、∑|dxij|、∑|dyij|,有64个值,对这些值求均方根,这64个值除以均方根作为SURF的64维特征值(CVi),消除各图像不同光照的影响。
变换后基准图像角点和三幅非基准图像的角点,分别在可能的最大与最小距离的角度范围内进行SURF特征匹配;
采用SURF特征值的欧几里得距离评估角点相似度量
Figure BDA0003388907660000131
当基准图像角点i与其中一幅非基准图像中的角点j匹配相似度为最小值
Figure BDA0003388907660000132
且小于一定值T=6.4为最佳匹配角点对,否则匹配不成功。记录基准图像角点与非基准图像匹配的角点对;
步骤306,计算匹配角点对的三维坐标,经变换后的基准图像i坐标系与任一非基准图像k坐标系几何关系如图5所述,设任意两相机x方向距离为ΔLxik,Y方向距离为ΔLyik,垂直高度差为ΔLzik,相机i和相机k配准点的方位角、俯仰角分别为ωi
Figure BDA0003388907660000133
ωk
Figure BDA0003388907660000134
方位角以X方向开始逆时针方向为正,俯仰角以XY平面开始,垂直向上旋转为正,配准点相对基准相机的三维坐标为(Xi,Yi,Zi)。则在相机i坐标系下相机i和相机k配准点的正北方向坐标为:
由于各相机的大地坐标系已知,
ΔLxik=Xk-Xi
ΔLyik=Yk-Yi
相机i和相机k两相交光束在XY平面的投影满足:
-Yiktan(ωi)+(Yik-ΔLyik)tan(ωk)=ΔLxik
则:
Figure BDA0003388907660000135
Xik=Yik tan(ωi)
Figure BDA0003388907660000136
Figure BDA0003388907660000137
Figure BDA0003388907660000141
Figure BDA0003388907660000142
按上式即能够得到匹配点的三维坐标。
步骤4,计算机根据三维坐标获取图像的具体信息,实现对目标立体成像,进行后续的信息处理与信息反馈。
本发明在获取图像信息后先进行边缘检测再进行角点检测,初步减小了计算角点的像素数;只对角点周围的像素进行坐标变换,进一步减少了运算量;通过欧拉变换将所有图像变换到同一坐标系,使得在后续计算特征值不需要寻找最大值方向,因此特征值也不需要进行坐标转换,能够再次减小运算量,提高了信息匹配的准确率,便于实时应用。在很大程度上降低运算量,提高运算的稳定性,减少运算时间,提高工作效率。计算机能够更快的获取图像信息并及时进行信息反馈,保证信息输入与输出的实时性和实效性。计算量的减少,在前期进行调试时,减少人力物力的消耗,缩短前期调试的时间周期,能够更快的投入使用。
以上所述仅是本发明的较佳实施例而已,并非对本发明作任何形式上的限制,虽然本发明已以较佳实施例揭露如上,然而并非用以限定本发明,任何熟悉本专利的技术人员在不脱离本发明技术方案范围内,当可利用上述提示的技术内容作出些许更动或修饰为等同变化的等效实施例,但凡是未脱离本发明技术方案的内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰,均仍属于本发明方案的范围内。

Claims (9)

1.一种基于动平台的边缘角点检测四目视觉算法,其特征在于,包括如下步骤:
步骤1,获取图像,确定需要获取的图像方位、数量;
步骤2,读取图像信息,读取采集图像的位置、姿态信息;
步骤3,建模对图像信息进行处理,包括如下步骤:
步骤301,边缘检测,对获取的图像信息采用sobel算子进行梯度计算,在x、y两个方向进行偏微分,得到梯度,设定分割阈值,当梯度大于阈值则为边缘,对获取的图像均进行边缘计算和分割,检测出边缘;
步骤302,边缘上的角点检测,在图像边缘点上采用SUSAN角点检测算法,先用模板扫描整个图像边缘,计算出图像中各点的n(x,y),再用下式计算角点响应函数R(x,y):
Figure FDA0003388907650000011
式中,n(x,y)是点(x,y)的USAN大小,g是几何门限;
步骤303,所有图像角点进行欧拉变换,根据相机与基准相机的大地坐标位置建立新的坐标系,其中基准相机大地坐标系为原点,将所有相机的成像坐标系转换到新的坐标系,再进行图像角点的匹配;
步骤304,变换后角点处周围区域进行欧拉逆变换,将原始图像的像素灰度映射到变换后的图像像素上;
步骤305,计算并记录变换后角点处的SURF特征以及匹配角点对,以特征点为中心,对邻域内的点进行中值滤波,在计算图像在Haar小波的x和y方向上灰度二阶差分,求解SURF特征值,并采用SURF特征值的欧几里得距离评估角点相似度量;
步骤306,计算匹配角点对的三维坐标,根据经变换后的基准图像坐标系与任一非基准图像坐标几何关系,通过计算得到匹配点的三维坐标;
步骤4,计算机根据三维坐标获取图像的具体信息,实现对目标立体成像,进行后续的信息处理与信息反馈。
2.根据权利要求1所述的一种基于动平台的边缘角点检测四目视觉算法,其特征在于:所述步骤1中从四个方位获取四张图像。
3.根据权利要求1所述的一种基于动平台的边缘角点检测四目视觉算法,其特征在于:所述步骤301中,x方向算子:
Figure FDA0003388907650000012
y方向算子:
Figure FDA0003388907650000013
x方向偏微分记为Gx,y方向偏微分记为Gy,梯度Gs=|Gx|+|Gy|,分割阈值等于梯度均值+3倍梯度平均绝对值差,公式如下:
梯度均值:
Figure FDA0003388907650000021
(M为图像总数)
梯度平均绝对差:
Figure FDA0003388907650000022
分割阈值:
Figure FDA0003388907650000025
4.根据权利要求1所述的一种基于动平台的边缘角点检测四目视觉算法,其特征在于,所述边缘上的角点检测包括如下步骤:将模板在灰度图像上逐像素点进行移动,并将模板中的各像素点与核心点的灰度值用下面的相似比较函数来进行比较,
Figure FDA0003388907650000023
式中:|f(x0,y0)-f(x,y)|是圆形模板中(x,y)点和圆心(x0,y0)点的灰度差;T是灰度差门限,控制生成角点的数量,根据下式计算输出函数C(x,y)的总数
Figure FDA0003388907650000024
式中:c(x0,y0)是以(x0,y0)为圆心的模板;C(x,y)是模板内属于USAN的像素的判别函数;在角点响应函数中,若提取边缘,取g为3nmax/4;若提取角点,取nmax/2。
5.根据权利要求1所述的一种基于动平台的边缘角点检测四目视觉算法,其特征在于:所述步骤303中建立新的坐标系,基准相机大地坐标系为原点,水平面为XOY平面,X轴正方向为基准相机原点到另一台相机大地坐标系原点方向,根据左手规则建立坐标系,Y轴在水平面垂直于X轴,Z轴垂直于水平面向上为正方向,所有相机的坐标系不进行平移。
6.根据权利要求1所述的一种基于动平台的边缘角点检测四目视觉算法,其特征在于,所述步骤303中坐标计算步骤包括:设相机的坐标为(xi,yi,zi),姿态为(αi,βi,γi)(i=1,2,3,4),将相机坐标系转到基座坐标系,再到东北高坐标系;
设相机平台为二轴转台,相机按先方位后俯仰顺序转动,相机相对转动方位角为α,俯仰角为β,先将每台相机坐标系移动到光电平台回转中心:
x0=-lsin(β)sin(α)
y0=lsin(β)cos(α)
z0=-lcos(β)
则:
xc=x’c+x0
yc=y’c+y0
zc=z’c+z0
然后由XC轴旋转-β角即俯仰角,再绕Zc轴旋转-α角即方位角,转换矩阵分别为:
Figure FDA0003388907650000031
Figure FDA0003388907650000032
Figure FDA0003388907650000033
其中Sα表示sinα,Cα表示cosα,α、β均指角度;
东北高坐标系定义为:XA指向正东,YA指向正北,ZA按右手定理垂直向上,从基座坐标系到东北高坐标系转换先绕坐标轴YA旋转-κ即基座滚转角,然后绕坐标轴XA旋转-θ即基座俯仰角,再绕坐标轴ZA旋转-η即基座方位角;相应的变换矩阵为:
Figure FDA0003388907650000038
Figure FDA0003388907650000034
Figure FDA0003388907650000035
则基座坐标系到东北高坐标系转换为:
Figure FDA0003388907650000036
Figure FDA0003388907650000037
r00=Cα(CηCκ+SηSκSθ)+SηCθSβ
r01=SαCβ(CηCκ+SηSκSθ)-SηCθCαCβ+Sβ(-CηSκ+SηCκSθ)
r02=-SαSβ(CηCκ+SηSκSθ)+SηCθCαSβ+Cβ(-CηSκ+SηCκSθ)
r10=Cα(SηCκ-CηSκSθ)-CηCθSβ
r11=SαCβ(SηCκ-CηSκSθ)+CηCθCαCβ+Sβ(-SηCSκ-CηCκSθ)
r12=-SαSβ(SηCκ-CηSκSθ)-CαSβCαCβ+Cβ(-SηCSκ-CηCκSθ)
r20=CαSκSθ+SθSβ
r21=SαCβSκSθ+SθCαCβ+CκCθSβ
r22=-SαSβSκSθ-SθCαSβ+CκCθCβ
xa=r00xc+r01yc+r02zc
ya=r10xc+r11yc+r12zc
za=r20xc+r21yc+r22zc
设角点在相机坐标系下的俯仰和方位角分别为ζ和γ,则:
Figure FDA0003388907650000041
则在新坐标系下的方位ω、俯仰角φ为:
Figure FDA0003388907650000042
Figure FDA0003388907650000043
Figure FDA0003388907650000044
Figure FDA0003388907650000045
图像方位俯仰角(α,β)与像素坐标(u,v)的关系如下:
Figure FDA0003388907650000046
则像素坐标与方位和俯仰角的关系:
Figure FDA0003388907650000047
由上式即可将四幅图像所有角点变换到新坐标系图像中。
7.根据权利要求1所述的一种基于动平台的边缘角点检测四目视觉算法,其特征在于:所述步骤304中进行欧拉变换的区域为17×17。
8.根据权利要求1所述的一种基于动平台的边缘角点检测四目视觉算法,其特征在于:所述步骤305中x和y方向上灰度二阶差分dxij、dyij,取Cell尺寸为4×4,每个Cell统计∑dxij、∑dyij、∑|dxij|、∑|dyij|,对这些值求均方根作为SURF的64维特征值CVi,SURF特征值的欧几里得距离评估角点相似度量
Figure FDA0003388907650000048
当基准图像角点i与其中一幅非基准图像中的角点j匹配相似度为最小值
Figure FDA0003388907650000049
且小于一定值T=6.4为最佳匹配角点对,否则匹配不成功。
9.根据权利要求1所述的一种基于动平台的边缘角点检测四目视觉算法,其特征在于:所述步骤306中计算匹配角点对的三维左边包括:设任意两相机x方向距离为ΔLxik,Y方向距离为ΔLyik,垂直高度差为ΔLzik,相机i和相机k配准点的方位角、俯仰角分别为ωi、φi、ωk、φk,方位角以X方向开始逆时针方向为正,俯仰角以XY平面开始,垂直向上旋转为正,配准点相对基准相机的三维坐标为(Xi,Yi,Zi),则在相机i坐标系下相机i和相机k配准点的正北方向坐标为:
由于各相机的大地坐标系已知,
ΔLxik=Xk-Xi
ΔLyik=Yk-Yi
相机i和相机k两相交光束在XY平面的投影满足:
-Yiktan(ωi)+(Yik-ΔLyik)tan(ωk)=ΔLxik
则:
Figure FDA0003388907650000051
Xik=Yiktan(ωi)
Zik=Yiktan(φi)
Figure FDA0003388907650000052
Figure FDA0003388907650000053
Figure FDA0003388907650000054
CN202111461586.8A 2021-12-02 2021-12-02 一种基于动平台的边缘角点检测四目视觉算法 Pending CN114372992A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111461586.8A CN114372992A (zh) 2021-12-02 2021-12-02 一种基于动平台的边缘角点检测四目视觉算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111461586.8A CN114372992A (zh) 2021-12-02 2021-12-02 一种基于动平台的边缘角点检测四目视觉算法

Publications (1)

Publication Number Publication Date
CN114372992A true CN114372992A (zh) 2022-04-19

Family

ID=81139733

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111461586.8A Pending CN114372992A (zh) 2021-12-02 2021-12-02 一种基于动平台的边缘角点检测四目视觉算法

Country Status (1)

Country Link
CN (1) CN114372992A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115359114A (zh) * 2022-08-16 2022-11-18 中建一局集团第五建筑有限公司 一种定位方法、装置、电子设备和计算机可读存储介质
CN116862910A (zh) * 2023-09-04 2023-10-10 山东经典印务有限责任公司 基于自动化裁切生产的视觉检测方法
CN116939376A (zh) * 2023-09-14 2023-10-24 长春理工大学 一种基于stokes矢量的四目相机同时偏振成像系统及方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115359114A (zh) * 2022-08-16 2022-11-18 中建一局集团第五建筑有限公司 一种定位方法、装置、电子设备和计算机可读存储介质
CN116862910A (zh) * 2023-09-04 2023-10-10 山东经典印务有限责任公司 基于自动化裁切生产的视觉检测方法
CN116862910B (zh) * 2023-09-04 2023-11-21 山东经典印务有限责任公司 基于自动化裁切生产的视觉检测方法
CN116939376A (zh) * 2023-09-14 2023-10-24 长春理工大学 一种基于stokes矢量的四目相机同时偏振成像系统及方法
CN116939376B (zh) * 2023-09-14 2023-12-22 长春理工大学 一种基于stokes矢量的四目相机同时偏振成像系统及方法

Similar Documents

Publication Publication Date Title
CN106651942B (zh) 基于特征点的三维旋转运动检测与旋转轴定位方法
CN110211043B (zh) 一种用于全景图像拼接的基于网格优化的配准方法
CN114372992A (zh) 一种基于动平台的边缘角点检测四目视觉算法
CN111862201B (zh) 一种基于深度学习的空间非合作目标相对位姿估计方法
CN104484648B (zh) 基于轮廓识别的机器人可变视角障碍物检测方法
CN106447601B (zh) 一种基于投影-相似变换的无人机遥感影像拼接方法
CN105389808A (zh) 一种基于二消失点的相机自标定方法
CN111815707A (zh) 点云确定方法、点云筛选方法、装置、计算机设备
CN110555813B (zh) 一种无人机遥感影像的快速几何校正方法及系统
CN115187798A (zh) 一种多无人机高精度匹配定位方法
CN112946679B (zh) 一种基于人工智能的无人机测绘果冻效应检测方法及系统
JP2016194895A (ja) 室内2d平面図の生成方法、装置及びシステム
CN113642463B (zh) 一种视频监控和遥感图像的天地多视图对齐方法
CN114004977A (zh) 一种基于深度学习的航拍数据目标定位方法及系统
US11645773B2 (en) Method for acquiring distance from moving body to at least one object located in any direction of moving body by performing near region sensing and image processing device using the same
US11704825B2 (en) Method for acquiring distance from moving body to at least one object located in any direction of moving body by utilizing camera-view depth map and image processing device using the same
CN107220996A (zh) 一种基于三角结构一致的无人机线阵与面阵影像匹配方法
CN114998448A (zh) 一种多约束双目鱼眼相机标定与空间点定位的方法
CN116740288B (zh) 一种融合激光雷达、倾斜摄影的三维重建方法
CN112132971B (zh) 三维人体建模方法、装置、电子设备和存储介质
CN114119652A (zh) 用于三维重构的方法和装置以及电子设备
CN108961182A (zh) 针对视频图像的竖直方向灭点检测方法及视频扭正方法
CN111260736A (zh) 一种空间相机内参在轨实时标定方法
CN116128919A (zh) 基于极线约束的多时相图像异动目标检测方法及系统
Li et al. Learning dense consistent features for aerial-to-ground structure-from-motion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Shi Caicheng

Inventor before: Shi Caicheng