CN110516647A

CN110516647A - 基于图像识别的移动目标定位方法及系统

Info

Publication number: CN110516647A
Application number: CN201910821960.7A
Authority: CN
Inventors: 刘毅
Original assignee: China University of Mining and Technology Beijing CUMTB
Current assignee: China University of Mining and Technology Beijing CUMTB
Priority date: 2019-09-02
Filing date: 2019-09-02
Publication date: 2019-11-29

Abstract

本发明公开了一种基于图像识别的移动目标定位方法及系统，本发明可以不依赖于卫星定位及其他无线电定位技术，以移动目标的视角采集图像，并以可视标志物为定位参照物即可实现移动目标的精确定位，有效避免了传统无线电信号定位因环境影响电磁波传输导致定位精度不高的问题。所述定位方法过程简单有效，抗干扰能力强，具有较强的鲁棒性，具有广阔的应用空间。

Description

基于图像识别的移动目标定位方法及系统

技术领域

本发明涉及一种基于图像识别的移动定位方法和系统，该方法涉及图像处理技术、地理信息系统和通信等领域。

背景技术

目前移动目标定位主要以卫星定位为主，包括GPS、格勒纳斯、伽利略、北斗定位系统，除此以外，基于蜂窝移动通信系统、Wifi网络和无线传感器网络的定位技术也被应用。然而蜂窝移动通信系统定位一般只用于通信运营商的业务管理，不为用户直接提供个人定位服务；基于Wifi网络和无线传感器网络的定位只能实现局部区域范围内的定位。因此卫星定位仍然是人们生活中主要依赖的定位技术，但卫星定位需要在天空没有遮挡的条件下使用，使其应用的条件受到很大的限制；而且当卫星出现故障或卫星定位服务被关闭，则无法进行定位，会造成极大的影响。为保证定位的可靠，需要不依赖于卫星定位、蜂窝移动通信系统定位、Wifi网络定位和无线传感器网络定位的新的定位技术。

采用传统无线电信号定位方式容易影响电磁波的传输，导致定位精度低。

发明内容

随着存储技术和数据处理技术的提高，使基于图像的识别技术得到很大的发展，在地理信息系统的支持下，本发明提出了一种适合广泛推广的、简单有效的移动目标的定位方法和系统，本发明通过图像识别等技术实现移动目标的精确定位，解决传统无线电信号定位影响电磁波传输，导致精度低、应用范围受限的问题。

为解决上述技术问题，一方面，本申请提供了一种基于图像识别的移动目标定位方法，通过设置于移动目标上的图像采集设备采集包含定位参照物的图像信息，并通过图像识别技术识别出定位参照物，然后获取其地理位置信息、方向角度信息，并计算处其与移动目标的距离信息，从而实现对移动目标的定位。

另一方面，本申请还提供一种采用上述定位方法的移动目标定位系统。

1.本申请的一种基于图像识别的移动目标定位方法，其技术方案为：选取定位参照物，并存储定位参照物的特征参数信息，在移动目标上设置至少一个图像采集设备，并将所述图像采集设备的位置作为移动目标的位置，定位方法包括如下步骤：

(1)通过图像采集设备采集包含定位参照物的图像；

(2)对步骤(1)中采集的图像进行预处理，并通过图像识别，识别出所述图像中的定位参照物；

(3)根据事先存储的定位参照物的特征参数信息，确定所述定位参照物的地理位置信息，并根据采集存储的定位参照物的图像信息，确定移动目标相对于特定地标的方向和角度；

(4)建立测距模型，计算出移动目标与定位参照物之间的距离；

(5)根据定位参照物的地理位置信息、移动目标与定位参照物之间的距离，以及移动目标相对于定位参照物的方向及角度，确定移动目标的位置，实现对移动目标的定位。

作为一种实施例，步骤(1)中，所述定位参照物为移动目标周边的特定地标，所述特定地标为具有固定位置的自然地标和人造地标。

其中，人造地标包括建筑物、雕塑、标牌、市政设施，以及自建参照物；所述自然地标包括山、河流、湖泊、树。

根据本申请提供的定位方法，在更进一步地实施方案中，步骤(2)识别图像中定位参照物的方法为：首先，根据事先存储的定位参照物的特征参数信息，识别出所述图像中定位参照物的种类，然后根据对应种类的定位参照物的唯一性特征参数，确定被图像中到的定位参照物。

根据本申请提供的定位方法，所述定位参照物的特征参数信息进一步包括特定地标的编号信息、特定地标的形状特征信息，以及特定地标的地理位置信息；所述定位参照物的图像信息包括图像采集设备在不同方向、不同角度拍摄的特定地标的图像，以及图像的拍摄方向、拍摄角度信息。

根据本申请提供的定位方法，所述定位参照物的唯一性特征参数包括特定地标的编号信息，所述特定地标的编号信息通过字符分割法识别。

在一种实施例中，步骤(4)中的测距模型可以采用单目测距模型、双目测距模型或多目测距模型，如果特定地标包含圆形标记，则建立如下的测距模型，即：

其中，L为特定地标与图像采集设备之间的距离；

x为特定地标中圆形标记长轴的实际长度；

y为图像采集设备的焦距；

z为采集的图像中圆形标记长轴的像素尺寸。

进一步地，根据本申请提供的定位方法，所述特定地标中圆形标记长轴的识别方法为：在图像采集设备采集到的图像中识别出特定地标上的圆形标记，对其进行描边，任取边界上的两点连线，所成线段中长度最大的线段即为圆形标记的长轴。

本申请提供的一种基于图像识别的移动目标定位系统，其技术方案为：包括：

图像采集设备，设置至少一个，并位于移动目标上，用于采集包含定位参照物的图像；

信息存储模块，用于存储定位参照物的特征参数信息，以及采集的定位参照物的图像参数信息；

图像识别模块，用于对采集到的包含定位参照物的图像进行预处理，并识别出图像中的定位参照物；

信息处理模块，用于根据信息存储模块中存储的定位参照物的特征参数信息、图像参数信息，确定所述定位参照物的地理位置信息，以及图像采集设备相对于定位参照物的方向和角度；

测距模块，通过测距算法计算图像采集设备到定位参照物的距离；

定位计算模块，用于根据信息处理模块和测距模块得到的数据信息，计算移动目标的位置，实现移动目标的定位。

进一步地，根据本申请提供的移动目标定位系统，包括监控终端，用于接收定位计算模块发送的移动目标的位置信息，对移动目标的位置进行监控。

本发明达到的有益效果：本发明的定位方法不依赖于卫星定位及其他无线电定位技术，以移动目标的视角采集图像，并以可视标志物为定位参照物进行定位，不受固定位置摄像机安装密度和图像采集范围的限制，完全不同于现有固定位置摄像机的图像定位方法。

本发明的定位方法不存在无线电定位方法存在的时钟同步、信号遮挡、折射等造成定位误差的问题，可作为提高无线电定位精度的补充定位方法。理论上，只需足够的数据支持，本发明的定位方法可自主实现无监控死角的全区域精确定位，具有广阔的应用空间。

附图说明

图1本申请实施例中的定位方法流程图。

图2本申请实施例中的定位系统结构原理图。

具体实施方式

下面将结合本发明实施例中的附图，对申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

定位方法实施例：

本实施例提供一种基于图像识别的移动目标定位方法，移动目标包括人员和车辆，移动目标随身携带至少一个图像采集设备，图像采集设备的位置即为移动目标的位置，其中的图像采集设备可以为摄像机、照相机、手机、平板电脑、电脑、便携智能穿戴设备等。

本实施例中，首先选取了定位参照物，并将定位参照物的特征参数信息进行存储，同时，在移动目标上设置至少一个图像采集设备，用于采集定位参照物的图像，图像采集设备的位置信息即为移动目标的位置。

如图1所示，本实施例定位方法的具体实施方式如下：

301：图像采集：

图像采集设备采集包含定位参照物的图像，并将采集的图像信息上传、存储，其中的图像信息包括定位参照物的图像，以及图像的拍摄角度、拍摄方向。如果有多个移动目标，则每个移动没目标上均设置图像采集设备，并且事先存储移动目标的身份信息。

本实施例选取的定位参照物为特定地标，即：具有固定位置的自然地标和人造地标，图像采集设备采集的图像中包括至少一种特定地标。

其中，自然地标的种类有山、河流、湖泊、树等。

人造地标的种类有建筑物、雕塑、标牌、市政设施，以及自建参照物。其中，市政设施包括路灯、电线杆、供电设备等；自建参照物包括自行设置的二维码，指示牌等。

302：特定地标识别：

对图像采集设备采集的图像进行预处理，并通过图像识别的方式识别出图像中的特定地标。具体为：

首先，获取图像采集设备采集的图像中的特定地标的特征参数信息，并将其与事先存储的特定地标的特征参数信息进行比对，识别出所述图像中特定地标的种类；然后，根据事先存储的对应种类的特定地标的唯一性特征参数，确定被采集到的特定地标。

特定地标的特征参数信息包括特定地标的编号信息、特定地标的形状特征信息，以及特定地标的地理位置信息。因为编号是地标的唯一性特征，在一种实施例中，特定地标的唯一性特征参数可以通过编号信息来确定，而编号信息的识别可以通过字符识别方法来实现，当识别出特定地标编号信息后，即可确定被采集到的特定地标。

本实施例在图像识别过程中，如果在图像采集设备采集的图像中，没有识别出存储的定位参照物，则重新进行图像采集。

303：数据信息获取：

根据特定地标的图像参数信息，即其中的图像拍摄方向、拍摄角度信息，获得图像采集设备相对于特定地标的方向、角度；根据已确定的特定地标，通过获取其对应的特征参数信息，即可得到被采集的特定地标的地理位置信息；

如果需要对多个移动目标进行定位，则还需要获取移动目标的身份信息。

304：测距

建立测距模型，计算图像采集设备与特定地标之间的距离。测距模型的输入参数包括：移动目标采集到的图像中特定地标的尺寸、形状，对应特定地标的实际尺寸、形状，图像采集设备的焦距数据。

305：定位

根据特定地标的地理位置信息，以及图像采集设备与特定地标之间的距离，图像采集设备的方向及角度，确定移动目标的位置，实现对移动目标的定位。如果有多个移动目标，则还需要根据获取的移动目标的身份信息，确定对应身份的移动目标的位置。

本实施例的定位方法可以应用于煤矿井下移动目标的定位，该移动目标可以是井下工作人员，图像采集设备由井下工作人员随身携带。因为煤矿井下环境的复杂多样，传统无线电信号定位会因井下复杂环境影响电磁波传输，导致定位精度不高。采用本实施例的定位方法可以精确显示煤矿井下移动目标的位置信息，有效避免了传统无线电信号定位方式定位精度低的问题。

作为一种实施例，识别特定地标的图像识别算法，具体步骤如下：

a.选取图像中任一像素点作为圆心，半径为3个像素宽度，取圆形区域作为该像素点的邻域，用圆心处的灰度值与邻域内的16个像素点灰度值进行比较，若至少有n个点与圆心处灰度值差值超过了预先设定的阈值t，则将圆心保留作为特征点。

b.用特征点的原始特征点描述子对图像进行匹配，获得初始匹配点对集G。

c.从初始匹配集G中找出并记录下最大汉明距离值max dist，设置两个阈值T₁和T₂

d.遍历初始匹配集G中的特征点对，取其中一对特征点对(a,b)，计算a、b两点之间的汉明距离dist，若dist＜T₁ max dist，则将特征点对作为正确匹配点对保留到最终匹配结果的点对集S中；若dist＞T₂ max dist则直接将此特征点对排除；若 T₁ max dist＜dist＜T₂ max dist，则执行步骤d-h。完成上述判断后进入步骤i。

e.分别将待确定点对分别将待确定特征点对a、b的空间邻域半径为10像素、15像素和 20像素划分为3部分。

f.分别计算特征点a、b周围10*10、15*15、20*20空间邻域内分布的相邻特征点的个数，形成相应的空间特征点分布情况的特征向量N＝(n₁,n₂,n₃)和N'＝(n₁',n'₂,n'₃)。

g.用公式(n₁、n₂、n₃和n₁'、n'₂、n'₃分别为a和b在10*10、15*15、20*20圆邻域内分布的特征点个数)计算出两个特征点的空间特征点分布情况的特征向量之间的欧氏距离d。

h.用判断两个特征向量之间的相似性R，设置一个阈值ε，当R＞ε则将特征点对(a,b)作为正确匹配点对保留到最终匹配结果的点对集S中，否则排除点对(a,b)。

i.重复步骤d遍历完初始匹配集G，输出最终匹配结果的点对集S。

j.由匹配结果点对集S,确定图片中的特定地标种类。

在另一个实施例中，特定地标识别的图像识别算法采用机器学习的图像识别方法，主要包括：

a.采集包含特定地标的图像组成样本集，对样本集进行图像分块向量化并从每张图像中随机抽取若干个图像块得到训练矩阵，用训练矩阵来学习生成特征库；

b.采集特定地标图像组成样本集，特定地标图像组成模板图像集；

c.首先对样本集进行图像分块向量化并从每张图像中随机抽取若干个图像快得到训练矩阵，用训练矩阵学习生成特征库；

d.特征库对模板图像集和含有采集移动目标采集到的待测图像进行稀疏表示；

e.对待测图像分块，求出各子块的信息熵作为权值；

f.用相关系数作为相似性度量函数，并根据各子块的权值对稀疏域的相似度进行加权求和得到识别结果。

本实施例特征库的生成可以采用下列方法：

a1)假定训练数据库已知，通过(1)式近似求解特征库：

x_i表示信号；D表示未知特征库；a_i表示稀疏表示；

考虑信号拟合的最优值和矩阵分解，(1)式可变形为：

在式(2)的基础上，可以得到如下式子：

为A的第j行，d_t与为更新目标，为误差矩阵，记作E_t。利用奇异值分解求得最优d_t和这么做通常会增加非零项的数量，即导致稀疏性降低为了保持稀疏性，将E_t和两个矩阵的非零列组成新的矩阵上述变换有效的保证了稀疏性，使得E_t可以用来更新d_t和对应的稀疏系数。

a2)假定输入：原有数据库阈值k₀。

a3)计算输出：输出k次迭代后特征库D_(k)和稀疏矩阵A_(k)。

a4)算法实现流程：初始化阶段：令k＝0，构造特征库D₍₀₎∈R^m×n并归一化各列；主迭代阶段：当k值每增加1时，算法执行以下步骤：

稀疏编码：对式求近似解，并稀疏表示列向量 a_i(i＝1,2,...,n)，组成矩阵A_(k)；

特征库更新:令t＝1,2,...,n，重复以下步骤，更新特征库得到D_(k)；对标签集进行定义：Ω_t＝{j|1≤j≤N,A_(k)(t,j)≠0}；计算残差选择与标签集Ω_t相对应的列进而限制E_t，得通过奇异值分解，得到，同时实现对特征库原子得更新d_t＝u₁与表示，记为：

终止条件:若经过上述步骤后有足够小的变化，则迭代停止，否则，迭代继续进行。

作为一种实施例，图像采集设备与特定地标之间的距离，可以采用单目测距算法，具体为：

已知采集图像中特定地标的像素尺寸P，图像采集设备的焦距F，同时根据事先存储的特定地标的特征参数信息可知特定地标的实际尺寸W，通过下列距离模型计算特定地标与图像采集设备的距离，即：

在另一种实施例中，可以采用双目测距计算图像采集设备与特定地标之间的距离，具体为：

假设特定地标位于空间中P点处，移动目标的左右两侧各设置了一个摄像机，左侧摄像机安装在世界坐标系O-xyz的原点处，且没有任何旋转，左侧摄像机采集的图像坐标系设为O_l-X_lY_l，f_l为左侧摄像机的有效焦距；

右侧摄像机安装在坐标系为o_r-x_ry_rz_r的位置处，其采集的图像坐标系为O_r-X_rY_r，f_r为右侧摄像机的有效焦距，由透视变换模型可以得到以下公式：

O-xyz坐标系和o_r-x_ry_rz_r坐标系之间的相互位置可以用空间转换矩阵M_lr表示为如下形式：

其中M_lr＝[R|T]，且分别表示O-xyz和o_r-x_ry_rz_r两个坐标系之间的旋转矩阵和其与世界坐标系原点间的平移向量；

由上述三个公式可知位于O-xyz坐标系中的空间点P，存在两个摄像机平面点间的对应关系可以表示为求解可得：P点坐标(x,y,z) 分别为x＝zX_l/f_l、y＝zY_l/f_l、由P坐标可以求出特定地标与移动目标间距离。

在更进一步地实施例中，当特定地标包含圆形标记时，首先要识别出图像中特定地标中的圆形标记特征，然后再进行距离计算。对于圆形标记的识别，可以采用一种表决式的参数估计方式，利用图像空间和参数空间的线-点对偶性，把圆形标记检测从图像空间转换到参数空间中进行。圆形的一般性方程表示为(x-a)²+(y-b)²＝r²，在参数空间中有三个参数分别为圆心坐标a、b和半径r。已知特定地标圆形标记的信息，即半径r为已知量，只需要计算出圆心的坐标即可得到参数空间中的圆。

1，圆形标记的识别算法过程如下：

a)对移动目标采集的图像进行边缘检测，获取边界点，即前景点；

b)假如图像中存在圆形，那么其轮廓必定属于前景点；

c)将图像中的像素点由图像空间坐标系转换到参数空间坐标系。在图像空间坐标系中圆的一般性公式为：(x-a)²+(y-b)²＝r²，在图像空间坐标系中圆形边界上的一点对应到参数空间坐标系中即为一个圆；

d)图像空间坐标系中一个圆形边界上有很多个点，对应到参数空间坐标系中就会有很多个圆。由于原图像中这些点都在同一个圆形上，那么转换后圆心坐标必定也满足参数空间坐标系下的所有圆形的方程式。直观表现为这许多点对应的圆都会相交于一个点，那么这个交点就可能是圆心(a,b)；

e)统计局部交点处圆的个数，取每一个局部最大值，就可以获得原图像中对应的圆形的圆心坐标(a,b)；

f)确定圆心后，由于半径已知，如果在已知半径r下检测到圆，即可识别出包含圆形标记的特定地标种类。

2，距离计算：

在不同的情况下，移动目标采集图像中的圆形标记可能会发生偏移变为椭圆形，因为圆形具有长轴不变的特点，即使圆形标记偏移变成椭圆形，圆形的长轴长度仍保持不变，保证了图像中圆形长轴的像素尺寸不会发生偏移，因此以圆形的长轴作为参照物有助于在测距时简化计算过程，提高测距精度。此时特定地标与移动目标间距离可以表示为x为特定地标中圆形长轴的实际长度，y为图像采集设备的焦距，z为采集的图像中圆形长轴的像素尺寸。

定位系统实施例

本申请实施例提供一种定位系统，包括：

图像采集设备，该图像采集设备至少设置一个，并位于移动目标上，用于采集包含定位参照物的图像，采集的图像存储至信息存储模块。图像采集设备的位置即作为移动目标的位置，移动目标可以为人或者车辆，图像采集设备可以为摄像机、照相机、手机、平板电脑、电脑、便携智能穿戴设备等。当该定位系统用于对煤矿井下工作人员定位时，图像采集设备可以由井下工作人员随身携带，图像采集设备可选用智能穿戴设备。

定位参照物选取的是移动目标周边的特定地标，包括具有固定位置的自然地标和人造地标。自然地标可以为山、河、湖泊、树等，人造地标可以为建筑物、雕塑、标牌、市政设施，以及自建参照物等。

信息存储模块，一方面用于存储定位参照物的特征参数信息，存储的定位参照物的特征参数信息包括特定定标的编号信息、特定地标的形状特征信息，以及特定地标的地理位置信息。另一方面用于存储采集的定位参照物的图像参数信息，存储的图像参数信息包括特定地标的图像，以及特定地标图像的拍摄角度、拍摄方向。如果需要对多个移动目标进行定位，信息存储模块还需要存储各移动目标的身份信息。

图像识别模块，对采集到的包含特定地标的图像进行预处理，并识别出图像中的特定地标，可以首先识别出图像中特定地标的特征参数信息，然后根据特征参数信息，识别出图像中的特定地标的种类，例如，属于人造地标中的建筑物。然后根据特定地标特征参数信息中的编号信息，确定具体属于哪一个建筑物。

信息处理模块，用于根据信息存储模块中存储的定位参照物的特征参数信息、图像参数信息，确定所述特定地标的地理位置信息，以及图像采集设备相对于特定地标的方向和角度。

测距模块，通过测距算法计算图像采集设备到定位参照物的距离。

更进一步地，本实施例的定位系统还设置了监控终端，用于接收定位计算模块发送的移动目标的位置信息，显示移动目标的位置，实现对移动目标的位置监控。监控终端可以为智能手机、电脑、Ipad等智能设备。

图2给出了一个具体实施例的定位系统结构原理图,如图2所示：

图像采集设备的功能由照相机111完成。

信息存储模块的功能由信息存储服务器103和图像存储服务器104共同完成，信息存储服务器103用于存储定位参照物的特征参数信息，以及移动目标的身份信息；图像存储服务器104用于存储采集的定位参照物的图像参数信息

图像识别模块、信息处理模块、测距模块以及定位计算模块的功能均在信息处理服务器 101中完成。

本实施例设置了远程网络和无线网络，其中无线网络由无线接入设备108和无线网络管理设备109组成，远程网络包括互联网107、以太网106。无线网络的无线通信方式包括移动通信，卫星通信、Wifi通信、无线传感器通信、蓝牙通信等。通过远程网络和无线网络实现照相机111与信息存储服务器103、图像存储服务器104以及信息处理服务器101的数据通信。

本实施例还设置了地理信息服务器102和监控终端105，地理信息服务器102负责为监控终端105提供地理信息的显示服务，可采用标准GIS服务平台系统及设备。监控终端105用于监控移动目标，具有地图和移动目标位置显示功能，其显示功能所需的数据由地理信息服务器102提供。

以上述依据本申请的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项申请技术思想的范围内，进行多样的变更以及修改。本项申请的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。

Claims

1.基于图像识别的移动目标定位方法，其特征在于：选取定位参照物，并存储定位参照物的特征参数信息，在移动目标上设置至少一个图像采集设备，并将所述图像采集设备的位置作为移动目标的位置，所述移动目标定位方法具体包括：

(1)通过图像采集设备采集包含定位参照物的图像；

2.如权利要求1所述的定位方法，其特征在于，步骤(1)中，所述定位参照物为移动目标周边的特定地标，所述特定地标为具有固定位置的自然地标和人造地标。

3.如权利要求2所述的定位方法，其特征在于，步骤(2)中，识别图像中定位参照物的方法为：首先，根据事先存储的定位参照物的特征参数信息，识别出所述图像中定位参照物的种类，然后根据对应种类的定位参照物的唯一性特征参数，确定被图像中到的定位参照物。

4.如权利要求3所述的定位方法，其特征在于，所述定位参照物的特征参数信息包括特定地标的编号信息、特定地标的形状特征信息，以及特定地标的地理位置信息；所述定位参照物的图像信息包括图像采集设备在不同方向、不同角度拍摄的特定地标的图像，以及图像的拍摄方向、拍摄角度信息。

5.如权利要求3所述的定位方法，其特征在于，所述定位参照物的唯一性特征参数包括特定地标的编号信息，所述特定地标的编号信息通过字符分割法识别。

6.如权利要求2所述的定位方法，其特征在于，所述测距模型包括单目测距模型、双目测距模型和多目测距模型。

7.如权利要求2所述的定位方法，其特征在于，如果特定地标包含圆形标记，则建立如下的测距模型，即：

其中，L为特定地标与图像采集设备之间的距离；

x为特定地标中圆形标记长轴的实际长度；

y为图像采集设备的焦距；

z为采集的图像中圆形标记长轴的像素尺寸。

8.如权利要求7所述的定位方法，其特征在于，所述特定地标中圆形标记长轴的识别方法为：在图像采集设备采集到的图像中识别出特定地标上的圆形标记，对其进行描边，任取边界上的两点连线，所成线段中长度最大的线段即为圆形标记的长轴。

9.一种基于图像识别的移动目标定位系统，其特征在于，包括：

10.根据权利要求9所述的基于图像识别的移动目标定位系统，其特征在于，所述移动目标定位系统包括监控终端，用于接收定位计算模块发送的移动目标的位置信息，对移动目标的位置进行监控。