CN107328406B - 一种基于多源传感器的矿井移动目标定位方法与系统 - Google Patents

一种基于多源传感器的矿井移动目标定位方法与系统 Download PDF

Info

Publication number
CN107328406B
CN107328406B CN201710505732.XA CN201710505732A CN107328406B CN 107328406 B CN107328406 B CN 107328406B CN 201710505732 A CN201710505732 A CN 201710505732A CN 107328406 B CN107328406 B CN 107328406B
Authority
CN
China
Prior art keywords
moving target
positioning
wireless
sensor
underground
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710505732.XA
Other languages
English (en)
Other versions
CN107328406A (zh
Inventor
张帆
孙晓辉
韩会杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Mining and Technology Beijing CUMTB
Original Assignee
China University of Mining and Technology Beijing CUMTB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Mining and Technology Beijing CUMTB filed Critical China University of Mining and Technology Beijing CUMTB
Priority to CN201710505732.XA priority Critical patent/CN107328406B/zh
Publication of CN107328406A publication Critical patent/CN107328406A/zh
Application granted granted Critical
Publication of CN107328406B publication Critical patent/CN107328406B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W84/00Network topologies
    • H04W84/18Self-organising networks, e.g. ad-hoc networks or sensor networks

Abstract

本发明专利公开了一种基于多源传感器的矿井移动目标定位方法和系统。系统包括地面装置和井下装置,地面装置包括定位网关、网络交换机和视频终端;井下装置包括智能无线网关、无线传感网络节点、无线识别标签;地面装置通过光链路与所述井下装置连接并进行通信。实现该系统的方法步骤包括:(1)采用ORB算法对移动目标进行匹配特征的提取训练;(2)对移动目标位置和权重初始化赋值;(3)利用混合卡尔曼粒子滤波算法预测和估计移动目标位置;(4)权值更新;(5)粒子群退化判决;(6)移动目标世界坐标转化为单目CCD图像物理坐标,并进行特征匹配的阈值分割;(7)单目CCD对采集的图像进行特征匹配;(8)采用不同策略获取移动目标位置信息;(9)实现精确定位。

Description

一种基于多源传感器的矿井移动目标定位方法与系统
技术领域
本发明涉及无线通信技术和计算机视觉技术,特别是涉及一种基于多源传感器的矿井移动目标定位方法与系统。
背景技术
煤炭是我国重要的基础能源,以煤为主的能源结构在相当长时间内不会改变,随着国民经济的发展和煤炭的需求量越来越大,伴随的煤矿安全生产事故也在不断增多。因此,矿井安全的要求也越来越高,这对于矿井作业人员、作业设备等移动目标定位的准确性和可靠性也提出了更高的要求。
目前,已经有一些基于RFID、WIFI、Zigbee等定位技术,以及三角形质心定位、TOA、AOA等定位算法在井下人员定位方面得到应用,但上述定位技术和定位方法,在井下移动目标定位精准度上存在问题:一方面由于井下NLOS环境电磁波非直视传播和多径干扰,WIFI、Zigbee等定位技术的实时性、准确性易受影响,而且由于矿井巷道无线电磁波传输损耗大、信号衰减较为严重,采用三角形质心定位、TOA、AOA等定位算法存在较大误差,无法实现矿井移动目标的精确定位。另一方面,RFID定位技术只能进行井下移动目标的进出识别,无法实现移动目标的二维定位,尤其是,当井下出入口及工作面同一地点同时出现多个移动目标时,RFID识别会造成漏检或识别不准问题,也难以进行准确定位。
CCD视觉定位技术广泛应用于工业非接触测量中,具有定位精度高、抗干扰能力强、可远距离获取目标图像等特点,而且,随着CCD视觉传感器及其测量技术在工业应用成果的不断推广,其在煤矿井下移动目标定位的应用也得到越来越多的重视。
发明内容
本发明所要解决的技术问题是:针对上述存在的问题,提出一种基于多源传感器的矿井移动目标定位方法与系统,实现对矿井移动目标的实时跟踪与精确定位。
本发明的技术方案是:提出一种多源传感器矿井移动目标定位方法,实现该方法的系统包括地面装置和井下装置,所述系统的地面装置通过光链路与所述井下装置连接并进行通信,地面装置包括定位网关、网络交换机和视频终端,井下装置包括智能无线网关、无线传感网络节点、无线识别标签。
所述系统的智能无线网关内置或外接本安型单目CCD视觉传感器,用于采集井下移动目标无线识别标签的图像信息,并进行ORB特征匹配和移动目标的立体标定;
所述系统的智能无线网关与无线传感网络节点构成无线传感网络,并经无线网络和光链路将将井下移动目标的位置信息发送至所述定位网关;
所述系统的无线识别标签,内置无线信号发射装置,并作为簇头节点用于井下无线传感网络节点的通信与定位;
所述系统的无线识别标签,作为移动目标识别标志安装或固定于井下移动目标上,并利用混合卡尔曼粒子滤波算法进行移动目标位置预测和估计;以及
所述一种基于多源传感器的矿井移动目标定位方法与系统,实施该系统的方法步骤包括:
步骤1、所述单目CCD视觉传感器采用ORB算法对无线识别标签进行特征提取训练,并根据提取特征对移动目标识别标志特征进行匹配;
步骤2、所述无线传感网络利用混合卡尔曼粒子滤波算法为移动目标位置和权重赋值初始化;
步骤3、所述无线传感网络利用混合卡尔曼粒子滤波算法预测和估计移动目标位置,并
将预测和估计的移动目标位置转变为世界坐标;
步骤4、所述无线传感网络采用混合卡尔曼粒子滤波算法进行权值更新;
步骤5、所述无线传感网络对粒子群退化进行判决,若粒子退化,则采用混合卡尔曼粒子滤波算法进行重采样,转入步骤3,否则执行步骤6;
步骤6、将预测和估计的移动目标世界坐标转化为单目CCD视觉传感器的图像物理坐标系坐标,并进行特征匹配的阈值分割,以缩小单目CCD视觉传感器的特征匹配范围;
步骤7、所述单目CCD视觉传感器根据提取训练的特征集,采用ORB算法检测移动目标特征,并进行匹配判决;若移动目标特征匹配率Pmatch≥判决阈值Threshold,则采用单目CCD视觉传感器标定移动目标世界坐标,转入步骤9,否则执行步骤8;
步骤8、对移动目标进行融合定位,融合后的移动目标世界坐标CoordMerge=Pmatch× CoordORB+(1-Pmatch)×CoordKalman,其中,CoordORB为ORB特征匹配和立体标定的移动目标世界坐标,CoordKalman为混合卡尔曼粒子滤波算法估计的移动目标世界坐标;
步骤9、输出定位结果;
步骤10、重复执行步骤3~步骤9。
所述一种基于多源传感器的矿井移动目标定位方法与系统,对井下移动目标进行混合卡尔曼粒子滤波算法的步骤进一步包括:
步骤1、初始化:在k=0时刻,设定初始粒子总数nj,并赋予粒子相同的权值
Figure BDA0001334631970000031
步骤2、重要性采样:根据粒子重要性采样密度函数
Figure BDA0001334631970000032
进行采样,其中,粒子
Figure BDA0001334631970000033
表示移动目标的概率分布,
Figure BDA0001334631970000034
服从高斯分布且 (1≤i≤ck,1≤j≤nj),nj为该时刻粒子总数,ck为簇内节点总数,可随时间变化,从中抽取M个粒子,得到新的粒子集合
Figure BDA0001334631970000035
步骤3、权值更新:根据无线传感网络采集的移动目标位置信号和传感器节点的先验信息,由
Figure BDA0001334631970000036
计算M个粒子权值,并归一化权值
Figure BDA0001334631970000037
步骤4、粒子重采样:根据重采样的衡量指标
Figure BDA0001334631970000038
判断是否满足粒子退化条件Mi,k<M0,其中M0为初始权重,若满足,则对粒子集
Figure BDA0001334631970000039
重采样,重采样后的粒子集为
Figure BDA00013346319700000310
权值为
Figure BDA00013346319700000311
否则,粒子集无需重采样。
步骤5、状态预测与估计:根据
Figure BDA00013346319700000312
Figure BDA00013346319700000313
计算k时刻第i节点的均值、协方差和权值状态参数估计值集合
Figure BDA00013346319700000314
其中
Figure BDA00013346319700000315
步骤6、粒子数量更新:无迹卡尔曼滤波(UKF)算法更新粒子,从集合
Figure BDA00013346319700000316
中选择一组样本点集合近似表示k-1时刻的状态分布
Figure BDA00013346319700000317
根据传递样本点更新预测估计值集合
Figure BDA00013346319700000318
扩展卡尔曼滤波(EKF)算法更新UKF算法估计值集合,将
Figure BDA00013346319700000319
作为EKF在k-1时刻的估计值,即
Figure BDA00013346319700000320
利用重要性采样密度函数
Figure BDA0001334631970000041
将其代入公式
Figure BDA0001334631970000042
计算k+1时刻的粒子数
Figure BDA0001334631970000043
得到迭代后的参数估计值
Figure BDA0001334631970000044
步骤7、输出估计值与融合结果:输出参数估计值
Figure BDA0001334631970000045
及根据
Figure BDA0001334631970000046
Figure BDA0001334631970000047
计算数据融合后的结果
Figure BDA0001334631970000048
步骤8、判定是否结束信息采集:簇头节点根据数据融合结果判断估计值协方差的最小迹Jk是否达到设定阈值J0,若Jk≥J0,则输出定位结果
Figure BDA0001334631970000049
否则执行步骤9。
步骤9、粒子数量更新:根据
Figure BDA00013346319700000410
计算k+1时刻的粒子数
Figure BDA00013346319700000411
令k=k+1,重复执行步骤2~步骤8。
步骤10、输出定位结果。
所述的一种基于多源传感器的矿井移动目标定位方法与系统,对井下移动目标进行ORB 特征匹配的步骤进一步包括:
步骤1、利用ORB算法检测特征点,采用FAST算子检测井下移动目标特征点。
步骤2、对检测到的井下移动目标特征点添加方向信息,构成oFAST。
步骤3、采用灰度质心法对检测到的井下移动目标角点添加方向信息。ORB采用灰度质心法给检测到的角点添加方向信息。Rosin定义邻域矩:mpq=∑x,yxpyqI(x,y),质心为:
Figure BDA00013346319700000412
特征点与质心夹角定义为FAST特征点的方向:θ=atan2(m01,m10)。
步骤4、采用BRIEF描述子对检测到的井下移动目标进行特征点描述。
步骤5、对检测到的井下移动目标特征点描述子添加旋转不变性,构成SteerBRIEF,不仅利用BRIEF的计算简单、快速的优点,而且解决了BRIEF本身不具有旋转不变性的特点。定义S×S大小图像,算法提取到特征点描述符
Figure BDA00013346319700000413
其中p(x)是平滑之后图像邻域P在x=(u,v)T处的灰度值。对于(xi,yi)的n个位置对,Steer BRIEF在 (xi,yi)处,对于任意n个位置对的特征集
Figure BDA00013346319700000414
利用旋转矩阵Rθ旋转匹配点,得到带有方向的特征集Sθ=RθS。
步骤6、计算两个匹配点对的描述子Hamming距离Ham,进行特征匹配判决。旋转后的二进制准则描述子gn(p,θ):=fn(p)|(xi,yi)∈Sθ,在匹配时只需计算两个特征点描述子的 Hamming距离Ham,进行特征匹配判决。
步骤7、利用贪婪算法从所有可能的像素块对中搜索已设定的n个相关性最低的像素块对,检索并匹配移动目标特征,判决特征匹配结果。
所述一种基于多源传感器的矿井移动目标定位方法与系统,单目CCD视觉传感器对井下移动目标进行立体标定的步骤进一步包括:
步骤1、所述单目CCD视觉传感器采集移动目标图像,并利用ORB特征匹配算法进行目标识别;
步骤2、所述单目CCD视觉传感器根据外部测量获取单目CCD视觉传感器的位置高度h、俯仰角α;
步骤3、所述单目CCD视觉传感器进行内部参数标定,获取焦距f、水平和竖直方向的像元间距dx、dy和图像物理坐标系坐标;
步骤4、所述单目CCD视觉传感器根据内外参数:位置高度h、俯仰角α、焦距f、水平和竖直方向的像元间距dx、dy和图像物理坐标系坐标,可以获取移动目标的世界坐标。
所述一种基于多源传感器的的矿井移动目标定位方法与系统,其中,
智能无线网关,用于对多源传感器采集的矿井移动目标位置信息进行融合处理,并将融合信息转发给定位网关。
无线传感网络节点,用于采集和接收来自移动目标无线识别标签发射的无线信号,并对移动目标位置进行预测和估计。
定位网关,用于处理、存储矿井移动目标实时位置信息,为井下移动目标提供移动定位服务。
网络交换机,用于井下智能无线网关与地面定位网关的互联,并实现所述定位系统与地面通信网络的互联。
视频终端,用于接收来自于定位网关的图像和实时定位信息,并进行可视化显示。
本发明的有益效果在于:
该发明基于混合卡尔曼粒子滤波算法与ORB算法,通过无线传感网络对井下移动目标的混合卡尔曼粒子滤波预测、更新和单目CCD视觉标定、定位相融合,提供了一种基于多源传感器的矿井移动目标定位方法与系统。本发明解决了现有定位技术存在漏检和识别不准、定位精度较低等问题,尤其是通过CCD视觉特征匹配实现移动目标的匹配面切割、快速匹配,以及克服了井下NLOS环境下目标遮挡导致无法对移动目标识别、精准定位问题,提高了井下移动目标定位的实时性、准确性和系统鲁棒性。系统定位精度高,抗干扰能力强,适宜于各种复杂环境及限定空间的移动目标实时跟踪与精确定位。
附图说明
图1为一种基于多源传感器的矿井移动目标定位方法与系统的系统组成示意图。
图2为一种基于多源传感器的矿井移动目标定位方法与系统的定位流程图。
图3为一种基于多源传感器的矿井移动目标定位方法与系统采用的混合卡尔曼粒子滤波算法流程图。
图4为一种基于多源传感器的矿井移动目标定位方法与系统采用的ORB算法流程图。
图5为一种基于多源传感器的矿井移动目标定位方法与系统采用的单目CCD定位算法流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,下面结合附图对本发明的具体实施方式进行详细描述。
图1为一种基于多源传感器的矿井移动目标定位方法与系统的系统组成。参照图1所示,实现上述矿井定位方法的系统主要包括:无线识别标签(101)、无线传感网络节点(102)、智能无线网关(103)、网络交换机(104)、定位网关(105)、视频终端(106)。
其中,无线识别标签(101),内置无线信号发射装置,并作为簇头节点用于井下无线传感网络节点的通信与定位,无线识别标签还作为移动目标识别标志安装或固定于井下移动目标上;无线传感网络节点(102),用于采集和接收来自移动目标无线识别标签发射的无线信号,并对移动目标位置进行预测和估计;智能无线网关(103),内置或外接单目CCD视觉传感器,用于采集井下移动目标无线识别标签的图像信息,并进行ORB特征匹配和移动目标的立体标定,无线智能网关用于对多源传感器采集的矿井移动目标位置信息进行融合处理,并将融合信息转发给定位网关;网络交换机(104),用于井下智能无线网关与地面定位网关的互联,并实现所述定位系统与地面通信网络的互联;定位网关(105),用于处理、存储矿井移动目标实时位置信息,为井下移动目标提供移动定位服务;视频终端(106),用于接收来自于定位网关的图像和实时定位信息,将图像和实时定位信息进行可视化显示。
图2为多源传感器的矿井移动目标定位方法的定位流程图。参照图2所示,一种基于多源传感器的矿井移动目标定位方法与系统的定位流程步骤及功能描述如下:(1)单目CCD对无线识别标签特征提取与训练(201),单目CCD视觉传感器对于安装在矿井移动目标的无线识别标签进行匹配特征的识别与提取训练,为目标的ORB算法匹配提供匹配特征;(2)混合卡尔曼粒子滤波算法为移动目标位置和权重赋初值(202),在k=0时刻,设定初始粒子总数nj,并赋予粒子相同的权值
Figure BDA0001334631970000071
根据粒子重要性采样密度函数进行采样,从中抽取M个粒子,得到新的粒子集合
Figure BDA0001334631970000072
粒子
Figure BDA0001334631970000073
表示移动目标的概率分布;(3)混合卡尔曼粒子滤波算法预测和估计位置(203),计算当前时刻k第i节点的均值、协方差和权值状态参数估计值集合
Figure BDA0001334631970000074
实现移动目标的位置预测和估计;(4)混合卡尔曼粒子滤波的权值更新(204),根据单目CCD视觉传感器采集的移动目标世界坐标校正权值并对粒子权重进行归一化处理;(5)判决粒子是否退化(205),根据重采样的衡量指标判断是否满足粒子退化条件Mi,k<M0,其中M0为初始权重,若满足,则对粒子集重采样,否则,粒子集无需重采样,进行步骤(207);(6)混合卡尔曼粒子滤波算法的重采样(206),满足粒子群退化条件,混合卡尔曼粒子滤波算法进行粒子群重采样;(7)将移动目标预测和估计的世界坐标转化为CCD的图像物理坐标,并进行特征匹配的阈值分割(207),将预测和估计的移动目标世界坐标转化为单目CCD视觉传感器的图像物理坐标系坐标,并进行特征匹配的阈值分割,以缩小单目CCD视觉传感器的特征匹配范围,实现更快更高效特征匹配;(8)单目CCD视觉传感器检测移动目标特征(208),单目CCD视觉传感器采集移动目标图像,在混合卡尔曼粒子滤波算法切割图像物理坐标系范围内进行移动目标特征匹配;(9)判决ORB特征匹配率Pmatch是否大于等于判决门限Threshold(209),当Pmatch≥Threshold,继续向下执行流程(210),否则,转而执行流程(211);(10)单目CCD视觉传感器对移动目标定位(210),当单目CCD视觉传感器的移动目标特征匹配率Pmatch≥Threshold时,根据获得的单目CCD视觉传感器的内外参数:位置高度h、俯仰角α、焦距f、水平和竖直方向的像元间距dx、dy和图像物理坐标系坐标来获取移动目标的世界坐标;(11)混合卡尔曼粒子滤波算法定位与单目CCD视觉传感器定位融合(211),当单目CCD视觉传感器的移动目标特征匹配率Pmatch<Threshold时,混合卡尔曼粒子滤波算法对移动目标位置的参数估计量和单目CCD视觉传感器求得的移动目标世界坐标进行数据融合定位,输出融合后的移动目标世界坐标CoordMerge,其中, CoordMerge=Pmatch×CoordORB+(1-Pmatch)×CoordKalman,CoordORB为ORB特征匹配和立体标定的移动目标世界坐标,CoordKalman为混合卡尔曼粒子滤波算法估计的移动目标世界坐标;(12)输出移动目标世界坐标,实现定位(212),根据单目CCD视觉传感器的移动目标特征匹配在不同特征匹配率下的定位策略,多源传感器定位方法输出移动目标的世界坐标,实现矿井下移动目标精确定位。
图3为一种基于多源传感器的矿井移动目标定位方法与系统采用的混合卡尔曼粒子滤波算法流程图。如图3所示,一种基于多源传感器的矿井移动目标定位方法与系统采用的混合卡尔曼粒子滤波算法流程步骤包括:(1)粒子初始化(301),在k=0时刻,设定初始粒子总数nj,并赋予粒子相同的权值
Figure BDA0001334631970000081
(2)重要性采样(302),根据粒子重要性采样密度函数进行采样,从中抽取M个粒子,得到新的粒子集合
Figure BDA0001334631970000082
Figure BDA0001334631970000083
粒子
Figure BDA0001334631970000084
表示移动目标的概率分布;(3)权值更新(303),由单目CCD视觉传感器对移动目标位置和传感器节点的先验信息计算M个粒子权值,并归一化权值
Figure BDA0001334631970000085
(4)判决粒子是否重采样(304),根据重采样的衡量指标判断是否满足粒子退化条件 Mi,k<M0,其中M0为初始权重,若满足,则对粒子集
Figure BDA0001334631970000086
重采样,重采样后的粒子集为
Figure BDA0001334631970000087
权值为
Figure BDA0001334631970000088
否则,粒子集无需重采样;(5)状态预测与估计(305),计算k时刻第i节点的均值、协方差和权值状态参数估计值集合
Figure BDA0001334631970000089
(6)粒子更新(306),利用UKF算法更新粒子,从集合
Figure BDA00013346319700000810
中选择一组样本点集合近似表示k-1时刻的状态分布
Figure BDA00013346319700000811
根据传递样本点更新预测估计值集合
Figure BDA00013346319700000812
利用EKF算法更新UKF算法估计值集合,将
Figure BDA00013346319700000813
作为EKF在k-1时刻的估计值,即
Figure BDA00013346319700000814
利用重要性采样密度函数为
Figure BDA00013346319700000815
计算k+1时刻的粒子数
Figure BDA00013346319700000816
k=k+1,得到迭代后的参数估计值
Figure BDA00013346319700000817
(7)输出估计值与融合结果(307),输出参数估计值
Figure BDA00013346319700000818
及根据
Figure BDA00013346319700000819
计算数据融合后的结果
Figure BDA0001334631970000091
(8)判断是否结束信息采集(308),判断预测估计值协方差的最小迹是否满足设定阈值条件,若满足则输出定位结果
Figure BDA0001334631970000092
否则执行步骤 (309);(9)粒子数量更新(309),根据
Figure BDA0001334631970000093
计算k+1时刻的粒子数
Figure BDA0001334631970000094
令k=k+1,返回步骤(302),重复执行步骤(302)~(308);(10)输出定位结果 (310)。
图4为一种基于多源传感器的矿井移动目标定位方法与系统采用的ORB算法流程图。如图4所示,一种基于多源传感器的矿井移动目标定位方法与系统采用的ORB算法流程步骤包括:(1)输入移动目标图像信息(401),将单目CCD视觉传感器的采集到的移动目标图像作为ORB算法特征匹配的输入;(2)利用oFAST算子进行特征点检测(402),采用对FAST算子添加旋转不变性形成oFAST算子,利用oFAST算子进行特征点检测,并且采用灰度质心法为检测到的特征点增加匹配局部不变性;(3)使用Steer BRIEF对特征点进行描述(403),Steer BRIEF算法利用BRIEF的计算简单、快速的优点对oFAST算法检测到的特征点进行特征描述,并且解决了BRIEF本身不具有旋转不变性的缺点;(4)构建特征集及二进制准则描述子(404),定义S×S大小图像,该区域内选取任意n个位置特征对(xi,yi)构成特征集
Figure BDA0001334631970000095
并在 S×S大小图像内,构建算法提取到特征点描述符
Figure BDA0001334631970000096
Steer BRIEF 在(xi,yi)处,对于任意n个位置对的特征集
Figure BDA0001334631970000097
利用旋转矩阵Rθ旋转匹配点,得到带有方向的特征集Sθ=RθS,旋转后的二进制准则描述子gn(p,θ):=fn(p)|(xi,yi)∈Sθ;(5) 设置特征匹配的阈值Haming距离(405),多次利用相同特征图像匹配训练得到相同特征图像匹配的阈值Haming距离并求均值,以获得最佳特征匹配的阈值Haming距离,设置该特征匹配的阈值Haming距离均值作为特征对是否配的判决标准;(6)贪婪检索符合特征匹配像素块 (406),使用贪婪算法检出小于等于设定Haming距离阈值的像素块,检索出特征匹配的结果; (7)输出特征匹配检索结果(407),根据贪婪算法的检索出特征匹配的结果,判决特征匹配结果。
图5为一种基于多源传感器的矿井移动目标定位方法与系统采用的单目CCD定位算法流程。如图5所示,上述矿井定位方法采用的单目CCD定位算法流程主要包括:(1)单目CCD 对移动目标采集图像(501),单目CCD视觉传感器采集移动目标图像,并利用ORB特征匹配算法进行目标识别;(2)获取单目CCD的位置高度和俯仰角(502),根据外部测量获取单目CCD视觉传感器的位置高度h、俯仰角α;(3)单目CCD进行内部参数标定(503),单目CCD 视觉传感器进行内部参数标定,获取焦距f、水平和竖直方向的像元间距dx、dy和图像物理坐标系坐标;(4)获取移动目标的世界坐标(504),根据已经获得的单目CCD视觉传感器的内外参数:位置高度h、俯仰角α、焦距f、水平和竖直方向的像元间距dx、dy和图像物理坐标系坐标来获取移动目标的世界坐标。
显然,本领域的技术人员应该明白,本发明及上述实施例所涉及定位方法及系统各组成功能,除作为矿井移动目标定位应用于煤矿井下环境外,通过适当集成或改进后也适用于非金属和金属等非煤矿山的移动目标监控、跟踪与定位,以及安全监控领域移动目标跟踪与定位。这样本发明不限制除煤矿井下移动目标定位之外的非煤矿山等移动监控和移动目标精确定位等通信技术领域。
以上内容是结合具体的优选实施例方式对本发明所做的进一步详细说明,不能认定本发明的具体实施方式仅限于此,对于本发明所属技术领域的普通技术人员来说,在不脱离本发明设计思路的前提下,还可进行若干简单的替换和更改,都应当视为属于本发明所提交的权利要求书所涉及的保护范围。

Claims (6)

1.一种基于多源传感器的矿井移动目标定位方法,其特征在于,实现该方法的系统包括地面装置和井下装置,所述系统的地面装置通过光链路与所述井下装置连接并进行通信;
所述系统的地面装置包括定位网关、网络交换机和视频终端;
所述系统井下装置包括智能无线网关、无线传感网络节点、无线识别标签;
所述系统的智能无线网关内置或外接单目CCD视觉传感器,用于采集井下移动目标无线识别标签的图像信息,并进行ORB特征匹配和移动目标的立体标定;
所述系统的智能无线网关与无线传感网络节点构成无线传感网络,并经无线网络和光链路将井下移动目标的位置信息发送至所述定位网关;
所述系统的无线识别标签,内置无线信号发射装置,并作为簇头节点用于井下无线传感网络节点的通信与定位;
所述系统的无线识别标签,作为移动目标识别标志安装或固定于井下移动目标上,并利用混合卡尔曼粒子滤波算法进行移动目标位置预测和估计;以及
所述多源传感器的矿井移动目标定位方法,该方法步骤包括:
(1)所述单目CCD视觉传感器采用ORB算法对无线识别标签进行特征提取训练,并根据提取特征对移动目标识别标志特征进行匹配;
(2)所述无线传感网络利用混合卡尔曼粒子滤波算法为移动目标位置和权重赋值初始化;
(3)所述无线传感网络利用混合卡尔曼粒子滤波算法预测和估计移动目标位置,并将预测和估计的移动目标位置转变为世界坐标;
(4)所述无线传感网络采用混合卡尔曼粒子滤波算法进行权值更新;
(5)所述无线传感网络对粒子群退化进行判决,若粒子退化,则采用混合卡尔曼粒子滤波算法进行重采样,转入步骤(3),否则执行步骤(6);
(6)将预测和估计的移动目标世界坐标转化为单目CCD视觉传感器的图像物理坐标系坐标,并进行特征匹配的阈值分割,以缩小单目CCD视觉传感器的特征匹配范围;
(7)所述单目CCD视觉传感器根据提取训练的特征集,采用ORB算法检测移动目标特征,并进行匹配判决;若移动目标特征匹配率Pmatch≥判决阈值Threshold,则采用单目CCD视觉传感器标定移动目标世界坐标,转入步骤(9),否则执行步骤(8);
(8)对移动目标进行融合定位,融合后的移动目标世界坐标CoordMerge=Pmatch×CoordORB+(1-Pmatch)×CoordKalman,其中,CoordORB为ORB特征匹配和立体标定的移动目标世界坐标,CoordKalman为混合卡尔曼粒子滤波算法估计的移动目标世界坐标;
(9)输出定位结果;
(10)重复执行步骤(3)~(9)。
2.根据权利要求1所述一种基于多源传感器的矿井移动目标定位方法,其特征在于,所述无线传感网络采用混合卡尔曼粒子滤波算法进行定位的步骤,进一步包括:
(1)初始化:在k=0时刻,设无线传感网络节点的初始粒子总数为nj,并赋予粒子相同的权值
Figure FDA0002653678220000021
(2)重要性采样:无线传感网络节点根据粒子重要性采样密度函数进行采样,从中抽取M个粒子,得到新的粒子集合
Figure FDA0002653678220000022
其中
Figure FDA0002653678220000023
为采样粒子的概率分布,ck为簇内节点总数;
(3)权值更新:对粒子权值
Figure FDA0002653678220000024
进行归一化处理;
(4)粒子重采样:判断是否满足粒子退化条件,若粒子退化,则进行粒子重采样,重采样后的粒子集为
Figure FDA0002653678220000025
(5)状态预测与估计:计算k时刻第i节点的均值、协方差和权值状态参数估计值集合
Figure FDA0002653678220000026
其中
Figure FDA0002653678220000027
(6)粒子更新:利用UKF算法更新k时刻的预测估计值集合,并将其作为EKF算法k-1时刻的估计值,根据粒子重要性采样密度函数计算k+1时刻的粒子数
Figure FDA0002653678220000028
得到迭代后的参数估计值
Figure FDA0002653678220000029
(7)输出估计值与融合结果:输出参数估计值
Figure FDA00026536782200000210
及根据
Figure FDA00026536782200000211
Figure FDA00026536782200000212
计算数据融合后的结果
Figure FDA00026536782200000213
(8)判断是否结束采样:判断预测估计值协方差的最小迹是否满足设定阈值条件,若满足则转入步骤(10),否则执行步骤(9);
(9)粒子数量更新:根据
Figure FDA00026536782200000214
计算k+1时刻的粒子数
Figure FDA00026536782200000215
k=k+1,重复执行步骤(2)~(8);
(10)输出定位结果
Figure FDA00026536782200000216
3.根据权利要求1所述一种基于多源传感器的矿井移动目标定位方法,其特征在于,对井下移动目标进行ORB特征匹配的步骤进一步包括:
(1)利用ORB算法检测特征点,采用FAST算子检测井下移动目标特征点;
(2)对检测到的井下移动目标特征点添加方向信息,构成oFAST;
(3)采用灰度质心法对检测到的井下移动目标角点添加方向信息;
(4)采用BRIEF描述子对检测到的井下移动目标进行特征点描述;
(5)对检测到的井下移动目标特征点描述子添加旋转不变性,构成Steer BRIEF;
(6)计算两个匹配点对的描述子Hamming距离Ham,进行特征匹配判决;
(7)利用贪婪算法从所有可能的像素块对中搜索已设定的n个相关性最低的像素块对,检索并匹配移动目标特征,判决特征匹配结果。
4.根据权利要求1所述一种基于多源传感器的矿井移动目标定位方法,其特征在于,对井下移动目标进行立体标定的步骤进一步包括:
(1)所述单目CCD视觉传感器采集移动目标图像,并利用ORB特征匹配算法进行目标识别;
(2)所述单目CCD视觉传感器根据外部测量获取单目CCD视觉传感器的位置高度h、俯仰角α;
(3)所述单目CCD视觉传感器进行内部参数标定,获取焦距f、水平和竖直方向的像元间距dx、dy和图像物理坐标系坐标;
(4)所述单目CCD视觉传感器根据内外参数:位置高度h、俯仰角α、焦距f、水平和竖直方向的像元间距dx、dy和图像物理坐标系坐标,获取移动目标的世界坐标。
5.根据权利要求1所述一种基于多源传感器的矿井移动目标定位方法,其特征在于,
智能无线网关,用于对多源传感器采集的矿井移动目标位置信息进行融合处理,并将融合信息转发给定位网关;
无线传感网络节点,用于采集和接收来自移动目标无线识别标签发射的无线信号,并对移动目标位置进行预测和估计;
定位网关,用于处理、存储矿井移动目标实时位置信息,为井下移动目标提供移动定位服务;
网络交换机,用于井下智能无线网关与地面定位网关的互联,并实现所述定位系统与地面通信网络的互联;
视频终端,用于接收来自于定位网关的图像和实时定位信息,并进行可视化显示。
6.根据权利要求1所述一种基于多源传感器的矿井移动目标定位方法,其特征在于,所述系统的井下装置,为矿用本质安全型防爆装置。
CN201710505732.XA 2017-06-28 2017-06-28 一种基于多源传感器的矿井移动目标定位方法与系统 Active CN107328406B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710505732.XA CN107328406B (zh) 2017-06-28 2017-06-28 一种基于多源传感器的矿井移动目标定位方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710505732.XA CN107328406B (zh) 2017-06-28 2017-06-28 一种基于多源传感器的矿井移动目标定位方法与系统

Publications (2)

Publication Number Publication Date
CN107328406A CN107328406A (zh) 2017-11-07
CN107328406B true CN107328406B (zh) 2020-10-16

Family

ID=60198439

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710505732.XA Active CN107328406B (zh) 2017-06-28 2017-06-28 一种基于多源传感器的矿井移动目标定位方法与系统

Country Status (1)

Country Link
CN (1) CN107328406B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110225458B (zh) * 2019-01-14 2020-10-09 北京理工大学 一种基于混合滤波的uwb定位系统与方法
CN111866743A (zh) * 2020-07-27 2020-10-30 精英数智科技股份有限公司 井下传感器位置更新方法及电子设备
CN114199275A (zh) * 2020-09-18 2022-03-18 阿里巴巴集团控股有限公司 传感器的参数确定方法和装置
CN115235479B (zh) * 2022-09-23 2022-12-06 江西省智能产业技术创新研究院 自动导引车的定位方法、装置、可读存储介质及电子设备
CN117557401B (zh) * 2024-01-12 2024-04-02 东华理工大学南昌校区 一种基于地质大数据的铀矿找矿靶区智能圈定方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101807900A (zh) * 2010-03-10 2010-08-18 北京航空航天大学 基于并行遗传重采样的粒子滤波技术
CN102359783A (zh) * 2011-07-22 2012-02-22 北京大学 基于视觉的移动机器人定位方法
CN104208865A (zh) * 2013-06-03 2014-12-17 飞比特公司 具有高度计的健身监视装置
CN105787959A (zh) * 2015-11-16 2016-07-20 浙江工业大学 基于改进型自适应粒子滤波的多智能体网络目标跟踪方法
CN106558069A (zh) * 2016-10-10 2017-04-05 广东技术师范学院 一种基于视频监控下的目标跟踪方法及系统
CN106647265A (zh) * 2016-12-12 2017-05-10 辽宁工程技术大学 一种矿井救灾探测机器人的智能控制方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6783751B2 (ja) * 2014-09-08 2020-11-11 インベンセンス・インコーポレーテッド 地図情報支援の質を高められたポータブルナビゲーションを使用する方法および装置
CN106017454B (zh) * 2016-06-16 2018-12-14 东南大学 一种基于多传感器融合技术的行人导航装置和方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101807900A (zh) * 2010-03-10 2010-08-18 北京航空航天大学 基于并行遗传重采样的粒子滤波技术
CN102359783A (zh) * 2011-07-22 2012-02-22 北京大学 基于视觉的移动机器人定位方法
CN104208865A (zh) * 2013-06-03 2014-12-17 飞比特公司 具有高度计的健身监视装置
CN105787959A (zh) * 2015-11-16 2016-07-20 浙江工业大学 基于改进型自适应粒子滤波的多智能体网络目标跟踪方法
CN106558069A (zh) * 2016-10-10 2017-04-05 广东技术师范学院 一种基于视频监控下的目标跟踪方法及系统
CN106647265A (zh) * 2016-12-12 2017-05-10 辽宁工程技术大学 一种矿井救灾探测机器人的智能控制方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Enhanced disparity estimation in stereo images;Georgios A. Kordelas,et al;《Image and Vision Computing》;20150106;第389-394页 *
结合 SURF 与 Kalman 滤波的 CAMShift 跟踪算法;张磊,彭力;《电子测量与仪器学报》;20170331;第31卷(第3期);第31–49页 *

Also Published As

Publication number Publication date
CN107328406A (zh) 2017-11-07

Similar Documents

Publication Publication Date Title
CN107328406B (zh) 一种基于多源传感器的矿井移动目标定位方法与系统
CN107015193B (zh) 一种双目ccd视觉矿井移动目标定位方法及系统
CN109685066B (zh) 一种基于深度卷积神经网络的矿井目标检测与识别方法
CN109949326B (zh) 基于背包式三维激光点云数据的建筑物轮廓线提取方法
CN105955258B (zh) 基于Kinect传感器信息融合的机器人全局栅格地图构建方法
CN108182413B (zh) 一种矿井移动目标检测与跟踪识别方法
CN107907124B (zh) 基于场景重识的定位方法、电子设备、存储介质、系统
CN110375739B (zh) 一种移动端视觉融合定位方法、系统及电子设备
CN113777600B (zh) 一种多毫米波雷达协同定位跟踪方法
CN106646474A (zh) 一种非结构化道路凹凸障碍物检测装置
CN112085003B (zh) 公共场所异常行为自动识别方法及装置、摄像机设备
Singh et al. Automated structural discontinuity mapping in a rock face occluded by vegetation using mobile laser scanning
US11113896B2 (en) Geophysical sensor positioning system
CN102768022A (zh) 采用数码照相技术的隧道围岩变形检测方法
CN108168556B (zh) 融合粒子群优化与Taylor级数展开的掘进支护支架超宽带定位方法
CN115641553B (zh) 掘进机作业环境侵入物的在线检测装置及方法
JP5870011B2 (ja) 点群解析装置、点群解析方法及び点群解析プログラム
KR20230008000A (ko) 차선 및 특징 포인트에 기초한 위치확정방법 및 장치, 전자장비, 저장매체, 컴퓨터 프로그램 및 자율주행차량
CN113160292B (zh) 一种基于智能移动终端的激光雷达点云数据三维建模装置及方法
CN115808170B (zh) 一种融合蓝牙与视频分析的室内实时定位方法
KR101280348B1 (ko) 다중 표적 추적 방법
CN113177980B (zh) 用于自动驾驶的目标对象速度确定方法、装置及电子设备
Kuang et al. An improved Robot’s localization and mapping method based on ORB-SLAM
CN114943809A (zh) 一种地图模型的生成方法、装置及存储介质
CN112270357A (zh) Vio视觉系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant