CN109596121B - 一种机动站自动目标检测与空间定位方法 - Google Patents

一种机动站自动目标检测与空间定位方法 Download PDF

Info

Publication number
CN109596121B
CN109596121B CN201910019722.4A CN201910019722A CN109596121B CN 109596121 B CN109596121 B CN 109596121B CN 201910019722 A CN201910019722 A CN 201910019722A CN 109596121 B CN109596121 B CN 109596121B
Authority
CN
China
Prior art keywords
image
point
geographic
coordinate system
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910019722.4A
Other languages
English (en)
Other versions
CN109596121A (zh
Inventor
吴长彬
周鑫鑫
冯笑雨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Normal University
Original Assignee
Nanjing Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Normal University filed Critical Nanjing Normal University
Priority to CN201910019722.4A priority Critical patent/CN109596121B/zh
Publication of CN109596121A publication Critical patent/CN109596121A/zh
Application granted granted Critical
Publication of CN109596121B publication Critical patent/CN109596121B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04Interpretation of pictures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42Determining position
    • G01S19/45Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42Determining position
    • G01S19/45Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
    • G01S19/47Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement the supplementary measurement being an inertial measurement, e.g. tightly coupled inertial

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种地理对象自动检测与定位方法,包括以下步骤:移动站采集硬件配置设计、影像采集方法、地理对象自动目标检测、影像像素框反算地理像素框、单一对象多空间位置点拟合最佳位置点。从而实现快速获取地理对象的地理坐标,为巡检工作提供方法支撑,地理对象目标检测算法以SSD(Single Shot MultiBox Detector)算法为基础进行集成与改进,影像像素框反算地理像素框算法以基于单台相机及两个方位的空间交汇算法SIOCTL为基础进行集成与改进,从而满足集成设计需求。

Description

一种机动站自动目标检测与空间定位方法
技术领域
本发明属于计算机视觉、数字近景摄影测量、地理信息系统领域,具体涉及一种集成SSD-SIOCTL算法的机动站自动目标检测与空间定位方法。
背景技术
车载移动测量系统(Mobile Mapping Systems for Land Vehicles,或者称为Vehicle-Borne Mobile Mapping Systems)也以汽车作为遥感平台,安装了高精度动态GNSS(Global Navigation Satellite System)和高动态载体测姿传感器IMU(InertialMeasurement Unit),基于GNSS/IMU组合定位定姿传感器使车载系统具有直接地理定位DG(Direct Georeferencing)的能力。
本发明借鉴国内外移动车载测图系统相关技术及其最新研究成果,分析现有移动测量系统的工作机理;重点研究移动车载测图系统数据处理方面的关键技术,使移动车载测图系统的理论与工程应用相结合,探究移动车载测量系统的基础理论,研究车载系统的校验方法,解决基于车载系统序列影像的匹配与立体定位等方法,设计一套完整的地理对象自动检测与定位方法流程,从而实现地理对象的自动目标检测,快速获取地理对象的地理坐标。
发明内容
发明目的:本发明的目的在于解决现有技术中存在的不足,提供一种机动站自动目标检测与空间定位方法,能够快速获取地理对象的地理坐标,为巡检工作提供方法支撑,可在巡查监管领域可广泛应用,有效降低人工目标查看工作量、提升巡查效率,减少人力财力的消耗,在实际应用中具有较好的应用价值。
技术方案:本发明的一种机动站自动目标检测与空间定位方法,包括如下步骤:
步骤1、移动站采集进行硬件配置:在移动平台上集成有单目工业级全景相机、惯性测量单元IMU、速度编码器、同步器、全球定位系统GPS和计算机等硬件设备来完成对地理对象的自动检测与定位;
步骤2、采集影像:移动平台以正常速度行驶过程中,通过单目工业级全景相机实时进行实景影像获取,并生成全景影像;且姿态测量系统POS同步实时记录移动平台的行驶轨迹,即:通过速度编码器和同步器获取移动平台的速度和加速度信息,通过GPS获取单目工业级全景相机的实时位置信息、通过IMU获取单目工业级全景相机的实时外方位参数信息;
步骤3、对地理对象进行自动目标检测,顾及目标检测算法对样本规模的要求,除通过机动站相机拍照方式采集数据外,还通过互联网爬虫、样本翻折旋转等方式进行样本数量的增加,即先对规模样本进行对象分类、标签定义,然后在地理对象自动目标检测算法SSD基本模型基础上根据需求改进,构建并训练适用于目标需求的深度学习目标检测模型,最后将该目标检测模型应用于目标地理对象的监测中;
步骤4、获取像素地理对象和空间坐标:先根据影像像素框反算地理像素框法SSD识别出的地理对象得出识别框像素坐标,通过使用尺度不变特征变换SIFT搜索相邻站点的图片并完成特征点提取和特征点匹配;然后通过随机抽样一致法RANSAC消除错误匹配以减小误差;最后利用数字摄影测量中前方交会方法实现对象的地理定位,计算其空间坐标;
步骤5、拟合出多空间位置点的最佳位置点:移动平台移动时,其拍摄过程中对同一地物进行多次拍摄,并将含有同一对象的影像经过SSD识别后,不同的影像方位和尺度差异使得同一对象定位至空间中往往有存在多个位置不完全相同的坐标点,最后通过RANSAC算法寻找最优位置点。
本发明基于SSD网络模型,在分析样本数据特征的基础上通过调整训练参数实现目标物的准确识别。另外,借鉴数字摄影测量领域双目视觉的硬件集成方式,以及像素点匹配与物方地理坐标计算的常用方法,实现了目标物准确地地理坐标的计算流程。
上述步骤1中为得到较为精准的图片信息,相机采用单目工业级全景相机;高动态载体测姿传感器IMU主要通过加速度计和陀螺仪来输出车体运动的真实位置、速度和姿态。
进一步的,所述步骤1中的移动平台采用机动车辆整体构成移动车载平台;所述步骤2中对获取的全景影像采用移动车载方式进行拍摄,沿行车路线360度采集影像数据;所述移动车载平台上集成有定位定姿POS系统、全景信息采集系统、电源系统和计算机数据处理系统;此处的移动车载平台能快速进行实景影像的获取,并实现全景影像生成以及GPS位置信息的采集,充分挖掘全景图像蕴含的空间信息。
进一步的,所述步骤3中为跟快更精确对地理对象进行目标检测,使用SSD算法进行模型构建与训练,SSD的核心是在特征图上采用卷积核来预测一系列default boundingboxes的类别分数、偏移量,为提高检测准确率,并在不同尺度的特征图上进行预测,得到具有不同aspect ratio的结果,本发明的改进能够实现end-to-end训练,并且即使图像的分辨率比较低,也能保证检测的精度。
SSD的网络结构是采用VGG16的基础网络结构,使用前面的前5层,然后利用astrous算法将fc6和fc7层转化成两个卷积层。再增加了3个卷积层,和一个pool层。不同层次的feature map分别用于default box的偏移以及不同类别得分的预测,最后通过nms得到最终的检测结果。这些增加的卷积层的feature map的大小变化比较大,允许能够检测出不同尺度下的物体:在低层的feature map,感受野比较小,高层的感受野比较大,在不同的feature map进行卷积,可以达到多尺度的目的。现有YOLO的后面存在两个全连接层,全连接层以后,每一个输出都会观察到整幅图像,并不是很合理。而本发明去掉全连接层,每一个输出只会感受到目标周围的信息,包括上下文。这样来做就增加了合理性,并且不同的feature map预测不同宽高比的图像,这样比YOLO增加了预测更多的比例的box。
SSD训练之后将最后的模型保存为.pb文件,通过Flask即可调用。构建前端页面,输入要检测的图片即可进行目标标注,并返回json数据。
进一步的,所述步骤4中根据影像像素框反算地理像素框法SSD识别出地理对象得出识别框像素坐标,通过使用尺度不变特征变换SIFT搜索相邻站点的图片并完成识别框特征点提取和特征点匹配。即在尺度空间寻找极值点,提取位置、尺度、旋转不变量,该特征描述子对图像能保持角度旋转、尺度变化、亮度明暗不变性,同时对图像的拍摄视角、仿射、噪声也保持稳定性。
通过SIFT提取局部特征的具体内容为:
首先,建立图像金字塔,金字塔一共有O组,每组有S层,第O组(O≧2)的图像由第O-1组的图像经过1/2降采样得到的,每组内的图像是由下到上进行高斯滤波得到的,在得到图像金字塔后,为了检测出稳定的特征点,建立高斯差分尺度:
D(x,y,σ)=(G(x,y,kσ)-G(x,y,σ))*I(x,y)
=L(x,y,kσ)-L(x,y,σ)
上式中,G(x,y,kσ)是高斯滤波器,I(x,y)是图像中点(x,y)的灰度值;
为寻找尺度空间中图像的极值点,每一个采样点均需与他所有的邻近点(包括8邻域点和上下相邻尺度对应的18个点,一共26个点)比较,如果是所有点中最大值或者最小值时,就认为该点是图像在该尺度下的一个特征点;尺度空间中的极值点是初步筛选的特征点,它会受到一些噪音的影响,以及会有较强的边缘响应,此处通过拟合三维二次函数来精确定位关键点的位置和尺度,并通过Hessian矩阵来去除边缘响应,且伪特征点在横跨边缘的地方有较大的主曲率,在垂直于边缘的地方有较小的主曲率。通过下式来判断是否为所需要的特征点:
Figure GDA0003738917640000041
上式中,H表示点(x,y)处的Hessian矩阵:
Figure GDA0003738917640000042
进一步的,所述步骤4中根据随机抽样一致算法RANSAC法消除错误匹配以减小误差,RANSAC算法在一组包含“外点”的数据集中,采用不断迭代的方法,寻找最优参数模型,不符合最优模型的点,被定义为“外点”。
具体方法为:
随机从数据集中抽取若干样本数据,此样本之间不能共线,计算一个最佳单应性矩阵H,记为模型M,使得满足该矩阵的数据点个数最多,矩阵大小为3×3:
Figure GDA0003738917640000043
其中(x,y)表示目标图像角点位置,(x',y')为场景图像角点位置,s为尺度参数。计算数据集中所有数据与矩阵的投影误差,若误差小于阙值,加入内点集I;如果当前内点集I元素个数大于最优内点集I-best,则更新I-best=I,同时更新迭代次数k;如果迭代次数大于k,则退出;否则迭代次数加1,并重复上述步骤。
Figure GDA0003738917640000044
其中,p为置信度,一般取0.995;w为内点的比例,m为计算模型所需的最少样本数;
进一步的,所述步骤4中用车载移动测量系统中单台相机前进过程拍摄的相邻站点之间的立体相对运用数字近景摄影测量中前方交会方法进行地物点空间坐标的计算。具体内容为:
对于多张具有立体重叠的相邻站点序列影像,POS系统为每张序列立体影像提供了高精度的外方位元素,为了获得立体重叠范围内高精度的地面点坐标,利用像片的外方位元素以及同名像素点在两张影像上的像素坐标,采用前方交会公式解算地面点坐标,设地面摄影测量坐标系D-XYZ,第一个站点的像空间坐标系为s1-xyz,第二个站点的像空间坐标系为s2-xyz,同时,设像空间辅助坐标系为s-uvw,选择行车方向y为相机的主光轴方向,像平面坐标系o-xy,焦距f,设像片的分辨率为w*h,像素大小为px,以求取空间点P的空间坐标为例,计算过程为:设P点在像平面中为点a,其像素坐标为(i,j),将a的像素坐标转化为以像主点为原点的像平面坐标(x,y):
Figure GDA0003738917640000051
构建像空间坐标系s-xyz,s点位置(0,0,0),得到a在像空间坐标系中的坐标(x,y,-f);构建像空间辅助坐标系s-uvw,s(0,0,0),计算a在像空间辅助坐标系中的坐标;根据POS解算获取摄影站点s1和s2的摄像机外方位元素,计算像空间坐标系与像空间辅助坐标系之间的旋转矩阵R。设定ψ为绕y轴旋转的方位角,ω为绕x轴旋转的侧滚角,κ为绕z轴旋转的俯仰角:
Figure GDA0003738917640000052
由此得a点在像空间辅助坐标系中的位置为(u,v,w);
Figure GDA0003738917640000053
s-uvw平移至D-XYZ,两次拍摄相机位置为
Figure GDA0003738917640000054
设定s1和s2摄影站点中,像空间辅助坐标系与地面摄影测量坐标系之间的放大系数为N1和N2
Figure GDA0003738917640000055
N1=(Bxw2-Bzu2)/(u1w2-w1u2)
N2=(Bxw1-Bzu1)/(u1w2-w1u2)
用N1和N2计算得到P点的地理坐标(XP,YP,ZP)。
有益效果:本发明的地理对象自动检测与定位方法,通过移动站采集硬件配置设计,对地理对象目标检测算法以SSD算法为基础进行集成与改进,影像像素框反算地理像素框算法以SIOCTL法为基础进行集成与改进,来实现地理对象的自动目标检测与空间定位,快速获取地理对象的地理坐标。本发明在巡查监管领域可广泛应用,有效降低人工目标查看工作量、提升巡查效率,减少人力财力的消耗,在实际应用中具有较好的应用价值。
附图说明
图1为本发明流程图;
图2为本发明的移动站集硬件配置;
图3为实施例中SSD整体系统图;
图4为实施例中网格划分示意图;
图5为实施例中网格结构示意图;
图6为实施例中相邻站点空间对象匹配示意图;
图7为实施例中SIOCTL前方交会原理图;
图8为实施例中多图融合寻找最佳位置点示意图;
图9为实施例的实验效果图。
具体实施方式
下面对本发明技术方案进行详细说明,但是本发明的保护范围不局限于所述实施例。
如图1所示,本发明的一种机动站自动目标检测与空间定位方法,包括如下步骤:
步骤1、对移动站采集进行硬件配置:如图2所示,本实施例以机动车辆作为移动平台,集成单目工业级全景相机、惯性测量单元IMU(Inertial Measurement Unit)、速度编码器、同步器、全球定位系统GPS(Global Position System)、计算机等硬件设备来完成对地理对象的自动检测与定位。为了得到较为精准的图片信息,相机采用单目工业级全景相机;高动态载体测姿传感器IMU主要通过加速度计和陀螺仪来输出车体运动的真实位置、速度和姿态。
步骤2、进行影像采集:车载移动测量系统的载体平台在以正常速度行驶过程中,POS系统实时记录车行驶的轨迹能快速进行实景影像的获取,并生成全景影像以及GPS位置信息的采集,充分挖掘全景图像蕴含的空间信息,获取的GPS和IMU原始数据即POS数据的采集,为获取高精度、高可靠性的位置、姿态、速度和加速度信息,对相机内方位元素参数进行纠正和获取高精确的外方位元素。
步骤3、使用地理对象自动目标检测算法(SSD):通过机动站相机拍照、互联网爬虫等方式获得数据样本,然后对采集到的数据样本通过翻折和旋转等方式进行样本增强,然后对采集到的数据样本中的关键对象进行分类,通过SSD基本模型根据需求进行改进,构建使用于需求的深度学习识别模型,将采集的影像进行目标检测,应用于测试新的样本和对地理对象的监测。
其中,SSD的核心是在特征图上采用卷积核来预测一系列default boundingboxes的类别分数、偏移量,为提高检测准确率,在不同尺度的特征图上进行预测,此外,还得到具有不同aspect ratio的结果,本实施例的这些SSD改进设计实现end-to-end训练,并且即使图像的分辨率比较低,也能保证检测的精度。整体来看,SSD是基于一个前向传播CNN网络,产生一系列固定大小(fixed-size)的bounding boxes,以及每一个box中包含物体实例的可能性,即score。之后,进行一个非极大值抑制(Non-maximum suppression)得到最终的predictions,如图3和图4所示。
SSD的网络结构是采用VGG16的基础网络结构如图5所示,使用前面的前5层,然后利用astrous算法将fc6和fc7层转化成两个卷积层。再增加了3个卷积层,和一个pool层。不同层次的feature map分别用于default box的偏移以及不同类别得分的预测,最后通过nms得到最终的检测结果。这些增加的卷积层的feature map的大小变化比较大,允许能够检测出不同尺度下的物体:在低层的feature map,感受野比较小,高层的感受野比较大,在不同的feature map进行卷积,可以达到多尺度的目的。而现有技术中的YOLO,其后面存在两个全连接层,全连接层以后,每一个输出都会观察到整幅图像,并不是很合理。而本实施例去掉全连接层,使得每一个输出只会感受到目标周围的信息,包括上下文,这样能够增加合理性;并且不同的feature map,预测不同宽高比的图像,这样比YOLO增加了预测更多的比例的box。
进一步地,SSD训练之后将最后的模型保存为.pb文件,通过Flask即可调用,构建前端页面,输入要检测的图片即可进行目标标注,并返回json数据。
步骤4、影像像素框反算地理像素框算法(SIOCTL):首先根据SSD算法识别出的地理对象得出识别框像素坐标,通过使用尺度不变特征变换SIFT(Scale-invariant featuretransform)搜索相邻站点的图片并完成识别框特征点提取和特征点匹配,如图6所示,图6中(a)通过使用SSD识别,图6中(b)使用SIFT进行像素点匹配,得到空间物体的第一个位置点;然后对图6中(b)使用SSD进行目标识别,图6中(c)使用SIFT进行像素点匹配,得到空间物体的第二个位置点,以此类推,最终获得同一个空间物体的多个位置点;并应用随机抽样一致算法RANSAC算法减小匹配误差;最后利用SIOCTL前方交会方法实现对象的地理定位,计算空间物体位置点的空间坐标。
根据SSD算法识别出地理对象得出识别框像素坐标,通过使用尺度不变特征变换SIFT搜索相邻站点的图片并完成识别框特征点提取和特征点匹配,SIFT是一种提取局部特征的算法,在尺度空间寻找极值点,提取位置、尺度、旋转不变量,该特征描述子对图像能保持角度旋转、尺度变化、亮度明暗不变性,同时对图像的拍摄视角、仿射、噪声也保持稳定性。
首先,建立图像金字塔,金字塔一共有O组,每组有S层,第O组(O≧2)的图像由第O-1组的图像经过1/2降采样得到的,每组内的图像是由下到上进行高斯滤波得到的,在得到图像金字塔后,为了检测出稳定的特征点,建立高斯差分尺度:
D(x,y,σ)=(G(x,y,kσ)-G(x,y,σ))*I(x,y)
=L(x,y,kσ)-L(x,y,σ)
上式中,G(x,y,kσ)是高斯滤波器,I(x,y)是图像中点(x,y)的灰度值。
为了寻找尺度空间中图像的极值点,每一个采样点要与他所有的邻近点(包括8邻域点和上下相邻尺度对应的18个点,一共26个点)比较,如果是所有点中最大值或者最小值时,就认为该点是图像在该尺度下的一个特征点。
尺度空间中的极值点是初步筛选的特征点,它会受到一些噪音的影响,以及会有较强的边缘响应,通过拟合三维二次函数来精确定位关键点的位置和尺度,并通过Hessian矩阵来去除边缘响应,是否为所需要的特征点由下式表示:
Figure GDA0003738917640000081
上式中,H表示点(x,y)处的Hessian矩阵:
Figure GDA0003738917640000091
随机从数据集中抽取若干样本数据,样本之间不能共线,计算一个最佳单应性矩阵H,记为模型M,使得满足该矩阵的数据点个数最多,矩阵大小为3×3:
Figure GDA0003738917640000092
其中(x,y)表示目标图像角点位置,(x',y')为场景图像角点位置,s为尺度参数。计算数据集中所有数据与矩阵的投影误差,若误差小于阙值,加入内点集I;如果当前内点集I元素个数大于最优内点集I-best,则更新I-best=I,同时更新迭代次数k;如果迭代次数大于k,则退出;否则迭代次数加1,并重复上述步骤。
Figure GDA0003738917640000093
其中,p为置信度,一般取0.995;w为内点的比例,m为计算模型所需的最少样本数;
如图7所示,为基于直接地理定位方式来快速处理车载测量数据的,本实施例采用车载移动测量系统中单台相机前进过程拍摄的相邻站点之间的立体相对运用数字近景摄影测量中前方交会方法进行地物点空间坐标的计算。
对于多张具有立体重叠的沿主光轴序列影像,POS系统为每张序列立体影像提供了高精度的外方位元素,为了获得立体重叠范围内高精度的地面点坐标,利用像片的外方位元素以及同名像素点采用点投影系数法来解算地面点坐标。
所述的一种集成SSD-SIOCTL算法的机动站自动目标检测与空间定位方法,所述步骤4使用SIOCTL方法是为了基于直接地理定位方式来快速处理车载测量数据的。本实施例采用车载移动测量系统中单台相机前进过程拍摄的相邻站点之间的立体相对运用数字近景摄影测量中前方交会方法进行地物点空间坐标的计算。
对于多张具有立体重叠的相邻站点序列影像,POS系统为每张序列立体影像提供了高精度的外方位元素,为了获得立体重叠范围内高精度的地面点坐标,利用像片的外方位元素以及同名像素点在两张影像上的像素坐标,采用前方交会公式解算地面点坐标,设地面摄影测量坐标系D-XYZ,第一个站点的像空间坐标系为s1-xyz,第二个站点的像空间坐标系为s2-xyz,同时,设像空间辅助坐标系为s-uvw,选择行车方向y为相机的主光轴方向,像平面坐标系o-xy,焦距f,设片的分辨率为w*h,像素大小为px,求取空间点P的空间坐标,计算过程为:P点在像平面中设为点a,其像素坐标为(i,j),将a的像素坐标转化为以像主点为原点的像平面坐标(x,y):
Figure GDA0003738917640000101
构建像空间坐标系s-xyz,s点位置(0,0,0),得到a在像空间坐标系中的坐标(x,y,-f);构建像空间辅助坐标系s-uvw,s(0,0,0),计算a在像空间辅助坐标系中的坐标;根据POS解算获取摄影站点s1和s2的摄像机外方位元素,计算像空间坐标系与像空间辅助坐标系之间的旋转矩阵R。设定ψ为绕y轴旋转的方位角,ω为绕x轴旋转的侧滚角,κ为绕z轴旋转的俯仰角:
Figure GDA0003738917640000102
由此得a点在像空间辅助坐标系中的位置为(u,v,w)
Figure GDA0003738917640000103
s-uvw平移至D-XYZ,两次拍摄相机位置为
Figure GDA0003738917640000104
设定s1和s2摄影站点中,像空间辅助坐标系与地面摄影测量坐标系之间的放大系数为N1和N2
Figure GDA0003738917640000105
N1=(Bxw2-Bzu2)/(u1w2-w1u2)
N2=(Bxw1-Bzu1)/(u1w2-w1u2)
用N1和N2计算得到P点的地理坐标(XP,YP,ZP)。
步骤5、单一对象多空间位置点拟合最佳位置点算法:车载移动拍摄过程中同一地物被拍摄多次,含有同一对象的影像经过SSD识别后,不同的影像方位、尺度等差异使得同一对象定位至空间中往往有存在多个位置不完全相同的坐标点,如图8所示,将获取的同一个空间物体的多个位置点通过RANSAC算法来得到空间物体的最佳位置点。
如图9所示为本发明实验效果图,图9中(a)为车载移动测量系统的载体平台在以正常速度行驶过程中,POS系统实时记录了车行驶的轨迹能快速进行实景影像的获取并可以生成全景影像图;图9中(b)为将所拍影像图通过SSD算法识别出目标地理对象得到的识别框像素坐标效果图;图9中(c)为将所得识别框与相邻站点所获得的图片,通过SIFT算法实现识别框特征点匹配,然后通过RANSAC算法消除错误匹配;图9中(d)为匹配完成后通过SIOCTL方法确定的目标物体最终的空间识别框位置;图9中(e)为选取空间物体的识别框中心点作为该物体的空间位置点,将获取的同一个空间物体的多个位置点通过RANSAC算法来得到空间物体的最佳位置点。
综上所述,本的地理对象自动检测与定位方法,其移动站采集符合地理对象自动检测与定位影像的硬件配置标准,用于实现地理对象的自动目标检测;基于移动站的内方位元素、外方位元素及SIOCTL的三维空间前方交会算法,实现匹配像素点组反算其对应的地理坐标,并评价其测绘精度;当一个地理对象在多个影像上被拍摄到且被检测到时,基于其语义对同一对象的多地理位置点进行最佳位置点的拟合,得到最精确的地理对象位置,有效降低人工目标查看工作量、提升巡查效率,减少人力财力的消耗,在实际应用中具有较好的应用价值。

Claims (5)

1.一种机动站自动目标检测与空间定位方法,其特征在于:包括如下步骤:
步骤1、移动站采集进行硬件配置:在移动平台上集成有单目工业级全景相机、惯性测量单元IMU、速度编码器、同步器、全球定位系统GPS和计算机;
步骤2、采集影像:移动平台以正常速度行驶过程中,通过单目工业级全景相机实时进行实景影像获取,并生成全景影像;且姿态测量系统POS同步实时记录移动平台的行驶轨迹,即:通过速度编码器和同步器获取移动平台的速度和加速度信息,通过GPS获取单目工业级全景相机的实时位置信息、通过IMU获取单目工业级全景相机的实时外方位参数信息,对相机内方位元素参数进行纠正和获取高精确的外方位元素;
步骤3、对地理对象进行自动目标检测:先对规模样本进行对象分类、标签定义,然后在地理对象自动目标检测算法SSD基本模型基础上根据需求改进,构建并训练适用于目标需求的深度学习目标检测模型,最后将该目标检测模型应用于目标地理对象的监测中;所述步骤3中使用SSD算法进行模型构建与训练,并在不同尺度的特征图上进行预测,得到具有不同aspect ratio的结果,其详细过程为:
使用前面的前5层,然后利用astrous算法将fc6和fc7层转化成两个卷积层,再增加3个卷积层和一个pool层;不同层次的feature map分别用于default box的偏移以及不同类别得分的预测,最后通过nms得到最终的检测结果;SSD训练后将最后的模型保存为.pb文件,通过Flask即可调用,构建前端页面,输入要检测的图片即可进行目标标注,并返回json数据;
步骤4、获取像素地理对象和空间坐标:先根据影像像素框反算地理像素框法SSD识别出的地理对象得出识别框像素坐标,通过使用尺度不变特征变换SIFT搜索相邻站点的图片并完成特征点提取和特征点匹配;然后通过随机抽样一致法RANSAC消除错误匹配以减小误差;最后利用数字摄影测量中前方交会方法实现对象的地理定位,计算其空间坐标;
步骤5、拟合出多空间位置点的最佳位置点:移动平台移动时,其拍摄过程中对同一地物进行多次拍摄,并将含有同一对象的影像经过SSD识别后,不同的影像方位和尺度差异使得同一对象定位至空间中往往有存在多个位置不完全相同的坐标点,最后通过RANSAC法寻找最优位置点。
2.根据权利要求1所述的机动站自动目标检测与空间定位方法,其特征在于:所述步骤1中的移动平台采用机动车辆整体构成移动车载平台;所述步骤2中采用移动车载方式进行拍摄,获取全景影像,沿行车路线360度采集影像数据;所述移动车载平台上集成有定位定姿POS系统、全景信息采集系统、电源系统和计算机数据处理系统。
3.根据权利要求1所述的机动站自动目标检测与空间定位方法,其特征在于:所述步骤4中根据影像像素框反算地理像素框法SSD识别出地理对象得出识别框像素坐标,通过使用尺度不变特征变换SIFT搜索相邻站点的图片并完成识别框特征点提取和特征点匹配;通过SIFT提取局部特征的具体内容为:
首先,建立图像金字塔,金字塔一共有O组,每组有S层,第O组的图像由第O-1组的图像经过1/2降采样得到的,每组内的图像是由下到上进行高斯滤波得到的,在得到图像金字塔后,为检测出稳定的特征点,建立高斯差分尺度:
D(x,y,σ)=(G(x,y, k ′ σ)-G(x,y,σ))*I(x,y)
=L(x,y,k′σ)-L(x,y,σ)
上式中,G(x,y,k′σ)是高斯滤波器,I(x,y)是图像中点(x,y)的灰度值,O≧2;
为寻找尺度空间中图像的极值点,每一个采样点均需与它所有的邻近点比较,如果是所有点中最大值或者最小值时,就认为该点是图像在该尺度下的一个特征点;然后通过拟合三维二次函数来精确定位关键点的位置和尺度,并通过Hessian矩阵来去除边缘响应,通过下式判断是否为所需要的特征点:
Figure FDA0003829586820000021
上式中,H表示点(x,y)处的Hessian矩阵:
Figure FDA0003829586820000022
4.根据权利要求1所述的机动站自动目标检测与空间定位方法,其特征在于:所述步骤4中根据随机抽样一致算法RANSAC法消除错误匹配以减小误差,具体方法为:
随机从数据集中抽取若干样本数据,此样本之间不能共线,计算一个最佳单应性矩阵H,记为模型M,使得满足该矩阵的数据点个数最多,矩阵大小为3×3:
Figure FDA0003829586820000031
其中(x,y)表示目标图像角点位置,(x',y')为场景图像角点位置,s为尺度参数;计算数据集中所有数据与矩阵的投影误差,若误差小于阙值,加入内点集I;如果当前内点集I元素个数大于最优内点集I-best,则更新I-best=I,同时更新迭代次数k;如果迭代次数大于k,则退出;否则迭代次数加1,并重复上述步骤;
Figure FDA0003829586820000032
其中,p为置信度;w'为内点的比例,m为计算模型所需的最少样本数。
5.根据权利要求1所述的机动站自动目标检测与空间定位方法,其特征在于:所述步骤4中使用SIOCTL法处理车载测量数据,即采用车载移动测量系统中单台相机前进过程拍摄的相邻站点之间的立体相对运用数字近景摄影测量中前方交会方法进行地物点空间坐标的计算,具体内容为:
对于多张具有立体重叠的相邻站点序列影像,POS系统为每张序列立体影像提供高精度的外方位元素,然后利用像片的外方位元素以及同名像素点在两张影像上的像素坐标,采用前方交会公式解算地面点坐标,设地面摄影测量坐标系D-XYZ,第一个站点的像空间坐标系为s1-xyz,第二个站点的像空间坐标系为s2-xyz,同时,设像空间辅助坐标系为s-uvw,选择行车方向y为相机的主光轴方向,像平面坐标系o-xy,焦距f,设像片的分辨率为w″*h,像素大小为px,以求取空间点P的空间坐标为例,计算过程为:设P点在像平面中为点a,其像素坐标为(i,j),将a的像素坐标转化为以像主点为原点的像平面坐标(x,y):
Figure FDA0003829586820000033
构建像空间坐标系s-xyz,s点位置(0,0,0),得到a在像空间坐标系中的坐标(x,y,-f);构建像空间辅助坐标系s-uvw,s(0,0,0),计算a在像空间辅助坐标系中的坐标;根据POS解算获取摄影站点s1和s2的摄像机外方位元素,计算像空间坐标系与像空间辅助坐标系之间的旋转矩阵R;
设定ψ为绕y轴旋转的方位角,ω为绕x轴旋转的侧滚角,κ为绕z轴旋转的俯仰角:
Figure FDA0003829586820000041
由此得a点在像空间辅助坐标系中的位置为(u,v,w);
Figure FDA0003829586820000042
s-uvw平移至D-XYZ,两次拍摄相机位置为
Figure FDA0003829586820000043
设定s1和s2摄影站点中,像空间辅助坐标系与地面摄影测量坐标系之间的放大系数为N1和N2
Figure FDA0003829586820000044
N1=(Bxw2-Bzu2)/(u1w2-w1u2)
N2=(Bxw1-Bzu1)/(u1w2-w1u2)
用N1和N2计算得到P点的地理坐标(XP,YP,ZP)。
CN201910019722.4A 2019-01-09 2019-01-09 一种机动站自动目标检测与空间定位方法 Active CN109596121B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910019722.4A CN109596121B (zh) 2019-01-09 2019-01-09 一种机动站自动目标检测与空间定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910019722.4A CN109596121B (zh) 2019-01-09 2019-01-09 一种机动站自动目标检测与空间定位方法

Publications (2)

Publication Number Publication Date
CN109596121A CN109596121A (zh) 2019-04-09
CN109596121B true CN109596121B (zh) 2022-10-14

Family

ID=65965441

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910019722.4A Active CN109596121B (zh) 2019-01-09 2019-01-09 一种机动站自动目标检测与空间定位方法

Country Status (1)

Country Link
CN (1) CN109596121B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110189315B (zh) * 2019-05-28 2022-09-16 李峥嵘 一种风电机组叶片无人机自动定位方法
CN111753605A (zh) * 2019-06-11 2020-10-09 北京京东尚科信息技术有限公司 车道线定位方法、装置、电子设备及可读介质
CN110349138B (zh) * 2019-06-28 2021-07-27 歌尔股份有限公司 基于实例分割框架的目标物体的检测方法及装置
CN110580723B (zh) * 2019-07-05 2022-08-19 成都智明达电子股份有限公司 一种利用深度学习和计算机视觉进行精准定位的方法
CN111145267B (zh) * 2019-12-25 2023-09-05 重庆自行者科技有限公司 基于imu辅助的360度全景视图多相机标定方法
CN111795686B (zh) * 2020-06-08 2024-02-02 南京大学 一种移动机器人定位与建图的方法
CN113139490B (zh) * 2021-04-30 2024-02-23 中德(珠海)人工智能研究院有限公司 一种图像特征匹配方法、装置、计算机设备及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140130055A1 (en) * 2012-02-14 2014-05-08 Aloke Guha Systems and methods for provisioning of storage for virtualized applications
CN107392247B (zh) * 2017-07-20 2020-07-07 广东电科院能源技术有限责任公司 一种电力线下方地物安全距离实时检测方法
CN109115186B (zh) * 2018-09-03 2020-07-28 山东科技大学 一种针对车载移动测量系统的360°可量测全景影像生成方法

Also Published As

Publication number Publication date
CN109596121A (zh) 2019-04-09

Similar Documents

Publication Publication Date Title
CN109596121B (zh) 一种机动站自动目标检测与空间定位方法
US20200401617A1 (en) Visual positioning system
CN110033489B (zh) 一种车辆定位准确性的评估方法、装置及设备
CN109871739B (zh) 基于yolo-sioctl的机动站自动目标检测与空间定位方法
CN111830953B (zh) 车辆自定位方法、装置及系统
KR102200299B1 (ko) 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법
US20190080467A1 (en) Pose determination with semantic segmentation
CN103377476A (zh) 使用三维地理弧的多模型数据的图像配准
Wang et al. Automated road sign inventory system based on stereo vision and tracking
CN113031041B (zh) 一种基于天际线匹配的城市峡谷组合导航定位方法
CN107917699B (zh) 一种用于提高山区地貌倾斜摄影测量空三质量的方法
JP2012118666A (ja) 三次元地図自動生成装置
CN112308913B (zh) 一种基于视觉的车辆定位方法、装置及车载终端
CN112750203A (zh) 模型重建方法、装置、设备及存储介质
CN109883400B (zh) 基于yolo-sitcol的固定站自动目标检测与空间定位方法
CN113838129B (zh) 一种获得位姿信息的方法、装置以及系统
Javed et al. PanoVILD: a challenging panoramic vision, inertial and LiDAR dataset for simultaneous localization and mapping
Koppanyi et al. Experiences with acquiring highly redundant spatial data to support driverless vehicle technologies
CN115574816A (zh) 仿生视觉多源信息智能感知无人平台
CN114842224A (zh) 一种基于地理底图的单目无人机绝对视觉匹配定位方案
KR20220062709A (ko) 모바일 디바이스 영상에 기반한 공간 정보 클러스터링에 의한 재난 상황 인지 시스템 및 방법
CN115597592B (zh) 一种应用于无人机巡检的综合定位方法
KR102249380B1 (ko) 기준 영상 정보를 이용한 cctv 장치의 공간 정보 생성 시스템
CN117132728B (zh) 构建地图的方法、装置、电子设备及存储介质
CN113256736B (zh) 一种基于可观测性优化的多相机视觉slam方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant