CN110189375A - 一种基于单目视觉测量的图像目标识别方法 - Google Patents

Abstract

本发明是一种基于单目视觉测量的图像目标识别方法，步骤如下：利用目标实物图建立目标坐标系和原点坐标系；对成像的相机内参数进行标定，得到畸变参数(k1,k2,k3,p1,p2)以及相机主点方向像素，焦距(u_x,u_y,f_x,f_y)；利用相机内参数和目标点在原点坐标系中的位置参数，得到相机光轴坐标系相对于原点坐标系的位置和角度偏移量(P₁,P₂,P₃,α,β,γ)。结合图像摄影测量方法和图像处理方法，首先利用图像处理方法对图像进行预处理，提高图像信噪比，对图像进行阈值分割完成目标与背景的分离，并进行多目标捕获和标记处理，统计各个目标相对应的特征参数；然后利用视觉测量方法对目标进一步识别出真实目标以及对应的目标标号。该方法抗干扰能力强，能够有效针对旋转，光照，以及伪目标干扰等情形。

Description

一种基于单目视觉测量的图像目标识别方法

技术领域

本发明属于数字图像处理及计算机视觉技术领域，涉及一种基于单目视觉测量的图像目标识别方法，实现对图像中的合作点目标识别，识别效果和速度良好，抗干扰能力强。在多种杂光干扰和多个虚假目标的干扰情形下，对于目标的快速运动以及遮挡后的重新识别过程有很好的效果。

背景技术

对于合作点目标的识别通常应用在目标物体定位中，通过识别出信标特征点以及对应序号，利用视觉测量方法便可以得到目标当前的位置和姿态信息。因此图像目标识别的正确性以及抗干扰能力直接决定了后端姿态和位置测量的准确性和连续性。

目前常用的多目标检测与识别方法更多地利用多幅图像或一些特征信息来增加处理的信息量，比如利用目标区别于背景的静态特征信息，包括亮度，能量集中度，面积等先验信息剔除伪目标；利用目标之间的固有几何关系，包括长宽比，几何形状等识别出对应的点号顺序；利用多轨迹关联方法将多目标从多个候选目标中提出，包括目标移动速度以及多个目标点同速度大小和方向等信息识别出真实目标点。但是上述方法在面对光照变化和大姿态变化时，灰度和能量信息适应性就变得较差，几何关系也会发生极大的变化，识别错误可能性非常大；面对强干扰虚假点时，干扰点就在目标点附近，移动速度相似，同样会出现识别错误。

发明内容

针对现有技术的不足，本发明的目的是提出一种利用单目视觉测量的图像目标识别方法，对现有技术方法进行改进，实现多目标识别，消除现有技术方法在处理光照、姿态、干扰的情形下的不足。

为实现这样的目的，本发明提供一种基于单目视觉测量的图像目标识别方法，包含以下步骤：

步骤S1：以目标点1，建立信标点目标坐标系x_Hy_Hz_H和参考坐标系XYZ，分别得到目标点2、3、4在目标坐标系和参考坐标系中的坐标值(x_Hn,y_Hn,z_Hn)、(X_n,Y_n,Z_n)，参考坐标系的原点理论上可以取任意点，一般为了简便取目标装置放置不动时信标点一为原点；

步骤S2：对成像的相机内参数进行标定，得到相机的畸变参数(k1,k2,k3,p1,p2)，k1、k2、k3为相机切向畸变参数，p1、p2为相机径向畸变参数；相机水平轴和垂直轴的主点方向像素(u_x,u_y)，水平方向和垂直方向焦距(f_x,f_y)；利用相机内参数和目标点在参考坐标系中的坐标值(X_n,Y_n,Z_n)，得到相机光轴坐标系相对于参考坐标系的位置和角度偏移量(P₁,P₂,P₃,α,β,γ)，P₁、P₂、P₃分别为相机光轴坐标系相对于参考坐标系的X轴、Y轴、Z轴的位移量，α、β、γ分别为相机光轴坐标系相对于参考坐标系的X轴、Y轴、Z轴的角度偏差值；

步骤S3：利用高通滤波的方法对输入图像进行滤波处理，滤除图像中背景杂波的干扰，提高图像的信噪比，有利于后面的信标点捕获和识别；

步骤S4：通过统计图像灰度分布特性，利用自适应阈值方式进行图像分割，实现目标与背景的分离；通常分割后的图像存在大量的小面积虚假目标及孤立噪声点，大量虚假目标的出现给信标识别带来较大负担，因此需进一步通过腐蚀运算消除图像中小于所选取结构元的目标，膨胀运算连接被误分割断裂但属于同一个目标的区域；

步骤S5：对上一步分割滤波后的图像进行多目标统计和标记处理，多目标统计根据分割图像线段连通性对目标进行标记、建立映射表，从而计算出视场中总的目标数目，以及各个目标对应的特征参数，包括目标面积、长、宽以及位置坐标参数，便于后续目标识别；

步骤S6：第一次信标点识别，根据候选目标特征集中的特征信息剔除虚假的目标，其中信标的特征信息包括信标的面积、能量、长宽比，根据目标点在图像视场内的最远和最近运动距离可以确定信标特征信息的临界范围[Fmax,Fmin]，根据目标之间呈现凸四边形的几何关系，其在图像上的投影点也近似成凸四边形的关系，同时判断四边形的两个长边之比和两条宽边之比要在范围[Lmax,Lmin]内，其中范围[Lmax,Lmin]根据目标物体运动距离和角度进行确定；

步骤S7：第二次目标识别通过单目测量来判别，根据前面的候选目标点进行单目摄影测量解算，测量解算的条件是4个点，由前面判别的四个点构成的凸四边形进行解算，通过判断解算的位置和姿态信息是否满足合理真实范围识别出四个信标点以及相应的四个点顺序，合理真实范围根据目标物体在摄像机视场内的移动距离和角度确定。

本发明的有益效果：本发明是一种基于单目视觉测量的图像目标识别方法，对现有技术在识别目标的遇到的多场景进行分析，针对现有技术算法上的不足，利用视觉测量方法对现有算法进行改进。利用视觉测量方法判断识别结果，当识别出错时，测量结果会超过预先设定的先验范围，只有识别正确时，测量值才会满足先验范围。视觉测量方法在识别过程中作为强判别器，现有方法作为前端的弱判别器。本发明将两者结合应用在识别过程中，大幅度增加了识别的鲁棒性，对于光照变化、姿态变化、强干扰、快速移动等情形具有很好的效果，同时利用弱判别器有效地减小了计算量，大幅度增加了识别速度，具有非常好的工程利用价值。

附图说明

图1为本发明一种基于单目视觉测量的图像目标识别方法整体结构。

图2为本发明方法所识别的目标物体图，物体上面安装了4个信标点，分别标号为1、2、3、4。

图3为本发明算法所建立的坐标系关系图，分别包含4个坐标系的相互关系。

图4为本发明算法在标定相机内参所用到的标定模板。

图5为本发明算法应用在不同姿态和距离的场景下的识别情况一(场景中增加了4个干扰信标点，图像分辨率为768×768)。

图6为本发明算法应用在不同姿态和距离的场景下的识别情况二(场景中增加了4个干扰信标点，图像分辨率为768×768)。

图7为本发明算法应用在不同姿态和距离的场景下的识别情况三(场景中增加了4个干扰信标点，图像分辨率为768×768)。

图8为本发明算法应用在不同姿态和距离的场景下的识别情况四(场景中增加了4个干扰信标点，图像分辨率为768×768)。

具体实施方式

下面结合附图对本发明的实施例作详细说明。本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于以下的实施例。

如图1所示，本发明一种基于单目视觉测量的图像目标识别方法流程分为：参数标定、图像预处理、图像分割、多目标处理、单目视觉测量五个部分。

本实例提供了一种基于单目视觉测量的目标识别方法，此算法更为实用，相比现有算法鲁棒性更强，具体包括如下步骤：

步骤S1：目标位置参数标定。如图2所示，目标物体上有4个信标点，图像识别的目的是需要在图像上识别出这个4个信标点以及对应点号顺序。如图3所示，建立目标坐标系，x_Hy_Hz_H和参考坐标系XYZ，分别得到目标点1、2、3、4在目标坐标系和参考坐标系中的坐标值(x_Hn,y_Hn,z_Hn)、(X_n,Y_n,Z_n)。参考坐标系的原点理论上可以取任意点，本方案实例中为了计算简便，取目标装置放置不动时信标点1为原点建立参考坐标系，并以此点为原点建立目标坐标系。4个目标点构成一个正方形，两两的边长测量值为45mm，分别得到信标点1、2、3、4在参考坐标系和目标坐标系中的坐标值为(0,0,0)、(45,0,0)、(0,0,-45)、(45,0,-45)；

步骤S2：相机参数标定。利用图4的棋盘格图像，用相机采集大约15张不同角度的图像，由于标定的棋盘格是特制的，其角点坐标已知。根据相机成像模型，P为标定的棋盘坐标，p为其图像像素坐标，则通过对应的点坐标可求解相机的内参数，包括相机的畸变参数(k1,k2,k3,p1,p2)以及相机主点方向像素(u_x,u_y)，焦距(f_x,f_y)。利用步骤S1目标的位置参数，以及相机内参数，然后利用相机采集一副目标图像，得到4个信标点在图像上的像素坐标。根据图3所示，已知目标坐标系，参考坐标系，图像坐标系，利用相机内参可求解出相机坐标系相对于参考坐标系的位姿偏移量(P₁,P₂,P₃,α,β,γ)，即相机的外参。

步骤S3：图像增强模块。图像增强主要是为了滤除图像中背景杂波的干扰，提高图像的信噪比，有利于目标源的捕获和识别。本实例中大部分背景区域都处在低频部分，而信标点光源可以认为是一个个奇异点，分布在信号的高频部分，所以本实例采用高通滤波的方法对图像进行滤波处理，这样可以有效地滤除光照等背景杂波的影响。由于图像中的信标具有空间的不相关性，并且比其他分量具有更高的空间频谱，所以可采用离散卷积实现滤波作用。设滤波器的脉冲响应函数为h(x,y),A为h(x,y)的作用域，从而滤波处理后的图像为：

式中，g(x,y)为输出的增强图像，f(x,y)为输入的原始图像，m、n为作用区域中的变量值；对于离散卷积,上式可写成：

g(m₁,m₂)＝∑∑f(n₁,n₂)h(m₁-n₁,m₂-n₂),(m₁,m₂,n₁,n₂∈N) (3-2)

式中，输出图像g(x,y)为M×M阵列，输入图像f(x,y)为N×N阵列，而脉冲响应函数h(x,y)为L×L阵列。对于本实例中5*5的归一化加权高通滤波器算子有：

步骤S4：图像分割。通过统计图像灰度分布特性，利用自适应阈值方式进行图像分割，实现目标与背景的分离。统计图像灰度分布的过程中，为了提高统计结果的可靠性与实时效率，对于本实例中背景和目标区分度比较明显，采用局部区域以代替全局统计结果。图像分割可采用如下方式实现：

E＝min(Mean(B(i))) (4-1)

Th＝E+k(G_max-E) (4-2)

其中Mean(B(i))为B(i)(i＝1..4)的均值，即每个局部背景的均值，E为4个局部区域均值的最小值，用以代替整个图像的均值，G_max为目标区域内像素点的最大灰度值，k为预先定义的经验参数，本方案中取(0.2～0.5)，Th为得到的分割阈值，g(i,j)为得到的二值化图像。

图像分割后仍可能存在大量的小面积虚假目标及孤立的噪声点，目标标记后，同一个目标仍可能被识别为多个候选目标。同时，大量虚假目标的出现给信标识别带来了沉重的计算负担。由于真实目标一般具有一定的面积，因此，在标记之前进一步滤除小面积的噪声点，并对同属一个目标的多个被分割断裂区域进行连接，可以减少虚警、提高目标识别概率、降低航迹处理的负担。利用腐蚀与膨胀运算对分割图像进一步处理。腐蚀运算可以消除图像中小于所选取结构元的目标，膨胀则可以连接被误分割断裂但属于同一个目标的区域。将这两个算子串联使用，并使膨胀的结构元大于腐蚀的结构元，则在滤除虚警的同时更完整的保留了真实目标。本实例中前者结构元尺度选为1×2，后者选为3×3。

步骤S5：多目标捕获和标记。在前面分割和滤波完的图像基础上，进行多目标标记。根据二值化图像统计目标的起始和结束的像素坐标位置，目标由各个像素为1的组成，邻域联通的像素同属于一个目标。多目标捕获和标记处理根据线段连通性对目标进行标记、建立映射表，从而计算出视场中总的目标数目，以及各个目标对应的特征参数，包括目标面积、长、宽以及位置坐标等参数，便于后续目标识别。

步骤S6：第一次目标判别。首先进行弱判别器的甄别，根据候选目标特征集中的特征信息剔除虚假的目标，其中目标源的特征信息包括信标的面积、能量、长宽比。根据目标物体在图像视场内的最远和最近运动距离可以确定信标特征信息的临界范围[Fmax,Fmin]，判断每个候选目标源特征信息是否在特征范围[Fmax,Fmin]内，如果不在该范围内将该候选信标予以剔除。然后进行第二次弱分类器甄别，根据四个信标点之间呈现近似凸四边形的几何关系，搜索到真实信标点。由于四个目标源在物体上安装近似成凸四边形的关系，根据摄影几何关系，其在图像上的投影点也近似成凸四边形的关系，所以对前一次判别后剩余的候选信标数据集逐一判断是否满足凸四边形关系。凸四边形的判别方法是任意三点组成的三角形，第四点必定位于三角形之外。同时满足凸四边形关系的四个点还要进行两两之间距离的判断，即四边形的两个长边之比和两条宽边之比要在范围[Lmax,Lmin]内，其中范围[Lmax,Lmin]根据目标物体运动距离和角度进行确定。

步骤S7：单目视觉测量。单目视觉测量作为方案中的强判别器，通过计算目标物体测量结果，从候选信标点中找到真实目标源。通过前面S6步骤判别器得到的候选信标点中，对任意四个候选目标，按照识别顺序排列组合，并将其代入单目视觉测量方程中计算目标物体的位置和姿态。如果目标物体的位置和姿态在合理的范围内，则表明当前四个点及顺序识别正确。在本实例中，合理的距离范围[Lmax,Lmin]根据相机成像距离推算，当在相机成像非常微弱达不到目标分割提取的最小值时为Lmax,距离值为正整数，Lmin可以取0。合理的角度范围[Amax,Amin]同样根据4个信标点在相机中成像的条件确定。下面详细说明单目视觉测量方法原理。

单目视觉测量算法利用相机针孔模型，由每个信标点可建立2个非线性方程，4个点一共可建立8个方程，得到一个由8个方程构成的6变量的非线性方程组。求解此方程组，先通过几何方法利用3个点求取初始解，然后根据另外一个点求出唯一解。测量模型如图3所示，O_R为相机的镜头中心，z_R为相机的镜头光轴，ζ_R是相机机的像平面；目标物体上安装了四个信标点。根据图3所示建立如下坐标系：

a)图像像素坐标系u_Rv_R，以像素为坐标单位，u_R沿图像的水平方向，v_R沿图像的竖直方向，坐标原点位于图像的左上角；

b)图像物理坐标系U_RV_R，以物理长度为坐标单位，坐标原点位于像平面主点(光轴与图像的交点)，U_R沿图像的水平方向，V_R沿图像的竖直方向；

c)摄像机坐标x_Ry_Rz_R，坐标原点O_R位于摄像机的镜头中心，z_R沿镜头的光轴方向，x_R与u_R平行，y_R与v_R平行；

d)目标物体坐标系x_Hy_Hz_H，固定在目标上的坐标系，坐标原点位于H点，本实例选取信标点一为原点；

e)参考坐标系XYZ(本实例选择与目标物体标准停靠时的目标坐标系重合)。

相机像点的图像像素齐次坐标(u,v,1)与图像物理齐次坐标(U,V,1)之间的关系为：

其中，u₀和v₀表示主点的像素坐标，s_u和s_v表示像平面上沿u和v方向的单位长度内的像素数目。像点图像物理齐次坐标(U,V,1)与物点摄像机齐次坐标(x,y,z,1)之间的关系为(共线性方程)

其中，f表示相机焦距。

设从参考坐标系到相机坐标系的旋转矩阵和平移矩阵分别为r和p(已事先确定，相机外参)，从目标坐标系到参考坐标系的旋转矩阵和平移矩阵分别为R和P，则：

由(7-1)～(7-3)式，像点图像齐次坐标与和目标齐次坐标的关系为：

其中f_u＝s_uf代表焦距f沿u轴方向以像素为单位的量度，f_v＝s_vf代表焦距f沿v轴方向以像素为单位的量度。令：

且

则，

矩阵方程(7-4)包含3个代数方程，消去z，可导出两个方程：

(7-5)和(7-6)式可表示为矩阵形式：

若相机图像上观测到4个点，利用(7-7)式，可以得到一个由8个方程构成的方程组。由目标系变换到参考坐标系的三个欧拉角分别为α(滚转角)、β(偏航角)和γ(俯仰角)，即依次绕Z、Y和X旋转-γ、-β和-α直到和z、y和x平行。此时，旋转矩阵R表示为：

因此，向量p的各个分量都是6个独立分量α、β、γ、P₁、P₂和P₃的函数。8个非线性方程组解出6个变量，即为单目视觉测量算法的数学模型。根据此解算模型便可以得到识别模型的强判别器。

图5-图8分别为目标物体在不同姿态和距离下的识别情况，从图中可以看出，在不同的距离和姿态情形下，信标点的亮度和信标点之间的距离变化非常大。如图8所示，当距离近的时候目标亮度和面积都较大，信标点之间的几何关系相对目标距离远的时候变化剧烈，因此仅仅靠此说明书书中的弱判别器(步骤S6)无法识别。在目标物体附近放置4个干扰信标点，信标点亮度、面积、能量集中度都和真实信标点非常接近，利用步骤S7中的单目视觉测量方法可以在不同姿态和距离下准确识别出真实的信标点以及信标点号，实例结果图如图5-图8所示。图中上方的标识出了信标点在图像中的x和y坐标。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内。

Claims (2)

1.一种基于单目视觉测量的图像目标识别方法，其特征在于：包括具体步骤如下：

步骤S1：以目标点1，建立信标点目标坐标系x_Hy_Hz_H和参考坐标系XYZ，分别得到目标点2、3、4在目标坐标系和参考坐标系中的坐标值(x_Hn,y_Hn,z_Hn)、(X_n,Y_n,Z_n)，参考坐标系的原点理论上可以取任意点，一般为了简便取目标装置放置不动时信标点一为原点；

步骤S2：对成像的相机内参数进行标定，得到相机的畸变参数(k1,k2,k3,p1,p2)，k1、k2、k3为相机切向畸变参数，p1、p2为相机径向畸变参数；相机水平轴和垂直轴的主点方向像素(u_x,u_y)，水平方向和垂直方向焦距(f_x,f_y)；利用相机内参数和目标点在参考坐标系中的坐标值(X_n,Y_n,Z_n)，得到相机光轴坐标系相对于参考坐标系的位置和角度偏移量(P₁,P₂,P₃,α,β,γ)，P₁、P₂、P₃分别为相机光轴坐标系相对于参考坐标系的X轴、Y轴、Z轴的位移量，α、β、γ分别为相机光轴坐标系相对于参考坐标系的X轴、Y轴、Z轴的角度偏差值；

步骤S3：利用高通滤波的方法对输入图像进行滤波处理，滤除图像中背景杂波的干扰，提高图像的信噪比，有利于后面的信标点捕获和识别；

步骤S4：通过统计图像灰度分布特性，利用自适应阈值方式进行图像分割，实现目标与背景的分离；通常分割后的图像存在大量的小面积虚假目标及孤立噪声点，大量虚假目标的出现给信标识别带来较大负担，因此需进一步通过腐蚀运算消除图像中小于所选取结构元的目标，膨胀运算连接被误分割断裂但属于同一个目标的区域；

步骤S5：对上一步分割滤波后的图像进行多目标统计和标记处理，多目标统计根据分割图像线段连通性对目标进行标记、建立映射表，从而计算出视场中总的目标数目，以及各个目标对应的特征参数，包括目标面积、长、宽以及位置坐标参数，便于后续目标识别；

步骤S6：第一次信标点识别，根据候选目标特征集中的特征信息剔除虚假的目标，其中信标的特征信息包括信标的面积、能量、长宽比，根据目标点在图像视场内的最远和最近运动距离可以确定信标特征信息的临界范围[Fmax,Fmin]，根据目标之间呈现凸四边形的几何关系，其在图像上的投影点也近似成凸四边形的关系，同时判断四边形的两个长边之比和两条宽边之比要在范围[Lmax,Lmin]内，其中范围[Lmax,Lmin]根据目标物体运动距离和角度进行确定；

步骤S7：第二次目标识别通过单目测量来判别，根据前面的候选目标点进行单目摄影测量解算，测量解算的条件是4个点，由前面判别的四个点构成的凸四边形进行解算，通过判断解算的位置和姿态信息是否满足合理真实范围识别出四个信标点以及相应的四个点顺序，合理真实范围根据目标物体在摄像机视场内的移动距离和角度确定。

2.如权利要求1所述的单目视觉测量的图像目标识别方法，其特征在于：目标识别针对于无任何形状和纹理信息的点目标，根据标定的信标点位置参数和相机参数，单目视觉测量识别出点目标以及目标点号顺序。