CN109871739B

CN109871739B - 基于yolo-sioctl的机动站自动目标检测与空间定位方法

Info

Publication number: CN109871739B
Application number: CN201811616966.2A
Authority: CN
Inventors: 陈磊; 鲍远军; 江洋; 刘冰; 蔡依
Original assignee: NANJING GUOTU INFORMATION INDUSTRY CO LTD
Current assignee: NANJING GUOTU INFORMATION INDUSTRY CO LTD
Priority date: 2018-12-27
Filing date: 2018-12-27
Publication date: 2023-06-23
Anticipated expiration: 2038-12-27
Also published as: CN109871739A

Abstract

本发明公开了一种基于YOLO‑SIOCTL的机动站自动目标检测与空间定位方法，包括以下步骤：移动站采集硬件配置；车载移动测量系统的载体平台在以正常速度行驶过程中，进行影像采集；基于YOLO算法实现地理对象自动目标检测；基于SIOCTL算法实现影像像素框反算地理像素框；单一对象多空间位置点拟合最佳位置点。本发明在巡查监管领域可广泛应用，有效降低了人工目标查看工作量、提升了巡查效率，减少了人力财力的消耗，在实际应用中具有较好的应用价值。

Description

基于YOLO-SIOCTL的机动站自动目标检测与空间定位方法

技术领域

本发明属于车载移动测量的技术领域，具体涉及一种基于YOLO-SIOCTL的机动站自动目标检测与空间定位方法。

背景技术

在巡查监管时，通常需要人工目标查看，巡查效率较低，车载移动测量系统(Vehicle-Borne Mobile Mapping Systems)以汽车作为遥感平台，安装了高精度动态全球卫星定位系统(Global Navigation Satellite System，GNSS)和高动态载体测姿传感器(Inertial Measurement Unit，IMU)，基于GNSS/IMU组合定位定姿传感器使车载系统具有直接地理定位(Direct Georeferencing，DG)的能力。

使移动车载测图系统的理论与工程应用相结合，可快速获取地理对象的地理坐标，为巡检工作提供方法支撑。

发明内容

本发明所要解决的技术问题是针对上述现有技术的不足，提供一种基于YOLO-SIOCTL的机动站自动目标检测与空间定位方法。

为实现上述技术目的，本发明采取的技术方案为：

基于YOLO-SIOCTL的机动站自动目标检测与空间定位方法，包括以下步骤：

1)移动站采集硬件配置，所述移动站采集硬件以机动车辆作为移动平台，集成相机、惯性测量单元(Inertial Measurement Unit，IMU)、速度编码器、同步器、全球定位系统(GlobalPosition System，GPS)和计算机来完成对地理对象的自动检测与定位；

2)车载移动测量系统的载体平台在以正常速度行驶过程中，进行影像采集，包括通过相机快速进行实景影像的获取，生成全景影像；姿态测量系统(Position andOrientationSystem，POS)实时记录车辆行驶的信息及轨迹，所述车辆行驶的信息包括速度编码器和同步器获取的车辆速度和加速度信息、GPS获取的相机实时位置信息和IMU获取的相机实时外方位参数信息。

3)基于YOLO(You Only Look Once)算法实现地理对象自动目标检测，包括以下步骤：

3.1)对规模样本进行对象分类、标签定义；

3.2)在现有YOLO基本模型的基础上根据需求改进，构建并训练适用于目标需求的深度学习目标检测模型；

3.3)将该目标检测模型应用于目标地理对象的监测中；

4)基于单台相机及两个方位的空间交会(Space Intersect of One Camera andTwo Location，SIOCTL)算法实现影像像素框反算地理像素框，包括以下步骤：

4.1)根据YOLO算法识别出的地理对象得出识别框像素坐标，通过使用尺度不变特征变换(Scale-invariant feature transform，SIFT)搜索相邻站点的图片并完成特征点提取和特征点匹配；

4.2)通过随机抽样一致算法(Random Sample Consensus，RANSAC)消除错误匹配以减小误差；

4.3)利用SIOCTL前方交会方法实现对象的地理定位，计算空间物体位置点的空间坐标。

5)单一对象多空间位置点拟合最佳位置点。

为优化上述技术方案，采取的具体措施还包括：

步骤1)中，为了得到较为精准的图片信息，相机采用单目工业级全景相机；高动态载体测姿传感器IMU通过加速度计和陀螺仪来输出车体运动的真实位置、速度和姿态。

步骤2)中，全景影像采用移动车载方式进行拍摄，沿行车路线360度采集影像数据；所述车载移动测量系统集成了POS系统、全景信息采集系统、电源系统和计算机数据处理系统。本系统能快速进行实景影像的获取，并可以实现全景影像生成以及GPS位置信息的采集，可充分挖掘全景图像蕴含的空间信息。

步骤3.2)中，使用YOLO算法进行模型构建与训练，整体来看，YOLO算法采用一个单独的卷积神经网络(Convolutional Neural Network，CNN)模型实现端到端的目标检测，整个系统工作原理为将输入图片resize到448x448，送入CNN网络，最后处理网络预测结果得到检测的目标。

步骤4.1)包括以下步骤：

4.1.1)建立图像金字塔，金字塔一共有O组，每组有S层，第O组(O≥2)的图像由第O-1组的图像经过1/2降采样得到，每组内的图像由下到上进行高斯滤波得到；

4.1.2)得到图像金字塔后，为了检测出稳定的特征点，建立高斯差分尺度：

D(x，y，σ)＝(G(x，y，kσ)-G(x，y，σ))*I(x，y)

＝L(x，y，kσ)-L(x，y，σ)

式中，G(x，y，kσ)是高斯滤波器，I(x，y)是图像中点(x，y)的灰度值；

4.1.3)为了寻找尺度空间中图像的极值点，每一个采样点要与它所有的邻近点(包括8邻域点和上下相邻尺度对应的18个点，一共26个点)比较，如果是所有点中最大值或者最小值时，就认为该点是图像在该尺度下的一个特征点；

尺度空间中的极值点是初步筛选的特征点，它会受到一些噪音的影响，以及会有较强的边缘响应，David Lowe通过拟合三维二次函数来精确定位关键点的位置和尺度，并通过Hessian矩阵来去除边缘响应，他认为伪特征点在横跨边缘的地方有较大的主曲率，在垂直于边缘的地方有较小的主曲率，如果主曲率小于(r+1)²/r，则保留该特征点，否则丢弃：

是否为所需要的特征点通常由下式判定：

式中，r为最大特征值与最小特征值的比例，H表示点(x，y)处的Hessian矩阵：

式中，D值可以通过求取邻近点像素的差分得到。

步骤4.2包括以下步骤：

4.2.1)随机从数据集中抽取若干不共线的样本数据；

4.2.2)计算一个最佳单应性矩阵H，记为模型M，使得满足该矩阵的数据点个数最多，矩阵大小为3×3：

其中(x，y)表示目标图像角点位置，(x’，y’)为场景图像角点位置，s为尺度参数；

4.2.3)计算数据集中所有数据与矩阵的投影误差；

4.2.4)若误差小于阈值，加入内点集I；如果当前内点集I元素个数大于最优内点集I-best，则更新I-best＝I，同时更新迭代次数k；如果迭代次数大于k，则退出；否则迭代次数加1，并重复步骤4.2.1)-步骤4.2.4)，所述迭代次数k计算公式如下：

其中，p为置信度，一般取0.995；w为内点的比例，m为计算模型所需的最少样本数。

步骤5)通过RANSAC算法寻找最优位置点。

本发明具有以下有益效果：

本发明借鉴国内外移动车载测图系统相关技术及其最新研究成果，分析现有移动测量系统的工作机理；重点研究移动车载测图系统数据处理方面的关键技术，包括车载移动测量系统的硬件集成、地理对象自动目标检测技术、序列立体影像中相邻站点影像的地物同名点匹配、基于POS数据处理的影像像素框直接地理定位技术和单一对象多空间位置点拟合最佳位置点算法。本发明使移动车载测图系统的理论与工程应用相结合，探究移动车载测量系统的基础理论，研究车载系统的校验方法，实现了基于车载系统序列影像的匹配与立体定位。

本发明实现了实现地理对象的自动目标检测，快速获取地理对象的地理坐标，为巡检工作提供方法支撑。

附图说明

图1为本发明流程图；

图2为本发明移动站采集硬件配置图；

图3为本发明实施例YOLO整体系统图；

图4为本发明实施例网格划分图；

图5为本发明实施例网格结构图；

图6为本发明实施例相邻站点空间对象匹配图；

图7为本发明实施例SIOCTL前方交会原理图；

图8为本发明实施例多图融合寻找最佳位置点；

图9为本发明实施例效果图。

具体实施方式

以下结合附图对本发明的实施例作进一步详细描述。

参见图1，本发明的一种基于YOLO-SIOCTL的机动站自动目标检测与空间定位方法，包括以下步骤：

1)移动站采集硬件配置，如图2所示，本发明以机动车辆作为移动平台，集成相机、IMU、速度编码器、同步器、GPS和计算机来完成对地理对象的自动检测与定位。

实施例中，为了得到较为精准的图片信息，相机采用单目工业级全景相机；高动态载体测姿传感器IMU通过加速度计和陀螺仪来输出车体运动的真实位置、速度和姿态。

2)影像采集，车载移动测量系统的载体平台在以正常速度行驶过程中，车载移动测量系统的载体平台在以正常速度行驶过程中，POS系统实时记录了车行驶的轨迹能快速进行实景影像的获取，并可以生成全景影像以及GPS位置信息的采集，可充分挖掘全景图像蕴含的空间信息，获取的GPS和IMU原始数据即POS数据的采集，为了获取高精度、高可靠性的位置、姿态、速度和加速度信息，需要对相机内方位元素参数进行纠正和获取高精确的外方位元素。

实施例中，对获取的全景影像采用移动车载方式进行拍摄，沿行车路线360度采集影像数据；车载移动测量系统集成了POS系统、全景信息采集系统、电源系统和计算机数据处理系统。本系统能快速进行实景影像的获取，并可以实现全景影像生成以及GPS位置信息的采集，可充分挖掘全景图像蕴含的空间信息。

3)基于YOLO算法实现地理对象自动目标检测，包括以下步骤：

3.1)对规模样本进行对象分类、标签定义；

3.3)将该目标检测模型应用于目标地理对象的监测中；

参见图3、图4，实施例中，顾及目标检测算法对样本规模的要求，采集的数据样本主要是通过机动站相机拍照、互联网爬虫等方式获得,对采集到的样本通过翻折和旋转等方式进行样本增强。

步骤3.2)使用YOLO算法进行模型构建与训练，整体来看，YOLO算法采用一个单独的CNN模型实现端到端的目标检测，整个系统工作原理为将输入图片resize到448x448，送入CNN网络，最后处理网络预测结果得到检测的目标。

具体来说，YOLO的CNN网络将输入的图片分割成S×S网格，然后每个单元格负责去检测那些中心点落在该格子内的目标，可以看到侦察车这个目标的中心落在中间一个单元格内，那么该单元格负责预测这个侦查车。每个单元格会预测B个边界框(bounding box)以及边界框的置信度(confidence score)。所谓置信度其实包含两个方面，一是这个边界框含有目标的可能性大小，二是这个边界框的准确度。前者记为P(class|object)，当该边界框是背景时(即不包含目标)，此时P(class|object)＝0。而当该边界框包含目标时，Pr(class|object)＝1。边界框的准确度可以用预测框与实际框(ground truth)的IOU(intersection over union，交并比)来表征，记为

因此置信度可以定义为

边界框的大小与位置可以用4个值来表征：(x,y,w,h)，其中(x,y)是边界框的中心坐标，而w和h是边界框的宽与高。中心坐标的预测值(x，y)是相对于每个单元格左上角坐标点的偏移值，并且单位是相对于单元格大小的。这样，每个边界框的预测值实际上包含5个元素：(x，y，w，h，c)，其中前4个表征边界框的大小与位置，而最后一个值是置信度。

如图5所示，YOLO采用卷积网络来提取特征，然后使用全连接层来得到预测值。网络结构参考GooLeNet模型，包含24个卷积层和2个全连接层。对于卷积层，主要使用1x1卷积来做通道减少，然后紧跟3x3卷积。对于卷积层和全连接层，采用Leaky ReLU激活函数：max(x，0.1x)。最后一层采用线性激活函数。

YOLO训练之后，可以将最后的模型保存为.pb文件，通过Flask即可调用。构建前端页面，输入要检测的图片即可进行目标标注，并返回json数据。

4)基于SIOCTL算法实现影像像素框反算地理像素框，包括以下步骤：

4.1)根据YOLO算法识别出的地理对象得出识别框像素坐标，通过使用尺度不变特征变换SIFT搜索相邻站点的图片并完成特征点提取和特征点匹配；

SIFT是一种提取局部特征的算法，在尺度空间寻找极值点，提取位置、尺度、旋转不变量。该特征描述子对图像能保持角度旋转、尺度变化、亮度明暗不变性，同时对图像的拍摄视角、仿射、噪声也保持稳定性。

4.2)通过RANSAC算法消除错误匹配以减小误差；

RANSAC算法可以在一组包含“外点”的数据集中，采用不断迭代的方法，寻找最优参数模型，不符合最优模型的点，被定义为“外点”。

实施例中，步骤4.1)包括以下步骤：

4.1.1)建立图像金字塔，金字塔一共有O组，每组有S层，第O组(O≥2)的图像由第0-1组的图像经过1/2降采样得到，每组内的图像由下到上进行高斯滤波得到；

D(x，y，σ)＝(G(x，y，kσ)-G(x，y，σ))*I(x，y)

＝L(x，y，kσ)-L(x，y，σ)

是否为所需要的特征点由下式判定：

式中，D值可以通过求取邻近点像素的差分得到。

步骤4.2包括以下步骤：

4.2.1)随机从数据集中抽取若干不共线的样本数据；

其中(x,y)表示目标图像角点位置,(x',y')为场景图像角点位置，s为尺度参数；

4.2.3)计算数据集中所有数据与矩阵的投影误差；

如图6所示，图一通过使用YOLO识别，图二使用SIFT进行像素点匹配，得到空间物体的第一个位置点；然后对图二使用YOLO进行目标识别，图三使用SIFT进行像素点匹配，得到空间物体的第二个位置点，以此类推，最终获得同一个空间物体的多个位置点；并应用RANSAC算法减小匹配误差；最后利用SIOCTL前方交会方法实现对象的地理定位，计算空间物体位置点的空间坐标。

参见图7，使用SIOCTL方法是为了基于直接地理定位方式来快速处理车载测量数据的。本发明采用车载移动测量系统中单台相机前进过程拍摄的相邻站点之间的立体相对运用数字近景摄影测量中前方交会方法进行地物点空间坐标的计算。

对于多张具有立体重叠的相邻站点序列影像，POS系统为每张序列立体影像提供了高精度的外方位元素，为了获得立体重叠范围内高精度的地面点坐标，利用像片的外方位元素以及同名像素点在两张影像上的像素坐标，采用前方交会公式解算地面点坐标。

设地面摄影测量坐标系D-XYYZ，第一个站点的像空间坐标系为s1-xyz，第二个站点的像空间坐标系为s2-xyz，同时，设像空间辅助坐标系为s-uvw，选择行车方向y为相机的主光轴方向，像平面坐标系o-xy，焦距f，设像片的分辨率为w*h，像素大小为px，以求取空间点P的空间坐标为例，计算过程为：设P点在像平面中为点a，其像素坐标为(i，j)，将a的像素坐标转化为以像主点为原点的像平面坐标(x，y)：

构建像空间坐标系s-xyz，s点位置(0，0，0)，得到a在像空间坐标系中的坐标(x，y，-f)；构建像空间辅助坐标系s-uvw，s(0，0，0)，计算a在像空间辅助坐标系中的坐标；根据POS解算获取摄影站点s1和s2的摄像机外方位元素，计算像空间坐标系与像空间辅助坐标系之间的旋转矩阵R。设定ψ为绕y轴旋转的方位角，ω为绕x轴旋转的侧滚角，κ为绕z轴旋转的俯仰角：

由此得a点在像空间辅助坐标系中的坐标为(u，v，w)；

s-uvw平移至D-XYZ，两次拍摄相机位置为

设定s1和s2摄影站点中，像空间辅助坐标系与地面摄影测量坐标系之间的放大系数为N₁和N₂，

N₁＝(B_xW₂-B_zu₂)/(u₁w₂-w₁u₂)

N₂＝(B_xw₁-B_zu₁)/(u₁w₂-w₁u₂)

用N₁和N₂计算得到P点的地理坐标(X_P，Y_P，Z_P)。

5)单一对象多空间位置点拟合最佳位置点。

车载移动拍摄过程中同一地物被拍摄多次，含有同一对象的影像经过YOL0识别后，不同的影像方位、尺度等差异使得同一对象定位至空间中往往有存在多个位置不完全相同的坐标点，如图8所示，实施例中，将获取的同一个空间物体的多个位置点通过RANSAC算法来得到空间物体的最佳位置点。

如图9所示为本发明实施例效果图：

图(a)为车载移动测量系统的载体平台在以正常速度行驶过程中，POS系统实时记录了车行驶的轨迹能快速进行实景影像的获取并可以生成全景影像图；

图(b)为将所拍影像图通过YOLO算法识别出目标地理对象得到的识别框像素坐标效果图；

图(c)为将所得识别框与相邻站点所获得的图片，通过SIFT算法实现识别框特征点匹配，然后通过RANSAC算法消除错误匹配；

图(d)为匹配完成后通过SIOCTL方法确定的目标物体最终的空间识别框位置；

图(e)为选取空间物体的识别框中心点作为该物体的空间位置点，将获取的同一个空间物体的多个位置点通过RANSAC算法来得到空间物体的最佳位置点。

综上所述，本发明的一种基于YOLO-SIOCTL的机动站自动目标检测与空间定位方法，移动站采集符合地理对象自动检测与定位影像的硬件配置标准，用于实现地理对象的自动目标检测；基于移动站的内方位元素、外方位元素及SIOCTL的三维空间前方交会算法，实现匹配像素点组反算其对应的地理坐标，并评价其测绘精度；当一个地理对象在多个影像上被拍摄到且被检测到时，基于其语义对同一对象的多地理位置点进行最佳位置点的拟合，得到最精确的地理对象位置，有效降低了人工目标查看工作量、提升了巡查效率，减少了人力财力的消耗，在实际应用中具有较好的应用价值。

以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims

1.基于YOLO-SIOCTL的机动站自动目标检测与空间定位方法，其特征在于：包括以下步骤：

1)移动站采集硬件配置，所述移动站采集硬件以机动车辆作为移动平台，集成相机、惯性测量单元IMU、速度编码器、同步器、GPS和计算机来完成对地理对象的自动检测与定位；

2)车载移动测量系统的载体平台在以正常速度行驶过程中，进行影像采集，包括通过相机快速进行实景影像的获取，生成全景影像；姿态测量系统POS实时记录车辆行驶的信息及轨迹，所述车辆行驶的信息包括速度编码器和同步器获取的车辆速度和加速度信息、GPS获取的相机实时位置信息和IMU获取的相机实时外方位参数信息；

3)基于YOLO算法实现地理对象自动目标检测，包括以下步骤：

3.1)对规模样本进行对象分类、标签定义；

3.3)将该目标检测模型应用于目标地理对象的监测中；

4.1)根据YOLO算法识别出的地理对象得出识别框像素坐标，通过使用SIFT搜索相邻站点的图片并完成特征点提取和特征点匹配；

4.2)通过RANSAC算法消除错误匹配以减小误差；

4.3)利用SIOCTL前方交会方法实现对象的地理定位，计算空间物体位置点的空间坐标；

5)单一对象多空间位置点拟合最佳位置点。

2.根据权利要求1所述的基于YOLO-SIOCTL的机动站自动目标检测与空间定位方法，其特征在于：步骤1)所述相机采用单目工业级全景相机；所述IMU通过加速度计和陀螺仪来输出车体运动的真实位置、速度和姿态。

3.根据权利要求1所述的基于YOLO-SIOCTL的机动站自动目标检测与空间定位方法，其特征在于：步骤2)所述全景影像采用移动车载方式进行拍摄，沿行车路线360度采集影像数据；所述车载移动测量系统集成了姿态测量系统POS、全景信息采集系统、电源系统和计算机数据处理系统。

4.根据权利要求1所述的基于YOLO-SIOCTL的机动站自动目标检测与空间定位方法，其特征在于：步骤3.2)使用YOLO算法进行模型构建与训练，具体为：

将输入图片resize到448x448，送入CNN网络，最后处理网络预测结果得到检测的目标。

5.根据权利要求1所述的基于YOLO-SIOCTL的机动站自动目标检测与空间定位方法，其特征在于：所述步骤4.1)包括以下步骤：

4.1.1)建立图像金字塔，金字塔一共有O组，每组有S层，第O组，O≧2，的图像由第O-1组的图像经过1/2降采样得到，每组内的图像由下到上进行高斯滤波得到；

4.1.2)得到图像金字塔后，建立高斯差分尺度：

D(x，y，σ)＝(G(x，y，kσ)-G(x，y，σ))*I(x，y)

＝L(x，y，kσ)-L(x，y，σ)

4.1.3)为了检测到局部极值点，每一个采样点要与它所有的邻近点比较，若检测点为所有点中最大值或者最小值，则该点是图像在该尺度下的一个候选特征点；然后判断高斯差分算子的极值在不同地方的主曲率大小，垂直边缘的地方有较小的主曲率，横跨边缘的地方有较大的主曲率，如果主曲率小于(r+1)²/r，则保留该特征点，否则丢弃，判断方法如下：

式中，D值可以通过求取邻近点像素的差分得到。

6.根据权利要求1所述的基于YOLO-SIOCTL的机动站自动目标检测与空间定位方法，其特征在于：步骤4.2包括以下步骤：

4.2.1)随机从数据集中抽取若干不共线的样本数据；

4.2.3)计算数据集中所有数据与矩阵的投影误差；

4.2.4)若误差小于阈值，加入内点集I；若当前内点集I元素个数大于最优内点集I-best，则更新I-best＝I，同时更新迭代次数k；若迭代次数大于k，则退出；否则迭代次数加1，并重复步骤4.2.1)-步骤4.2.4)，所述迭代次数k计算公式如下：

其中，p为置信度，取0.995；w为内点的比例，m为计算模型所需的最少样本数。

7.根据权利要求1所述的基于YOLO-SIOCTL的机动站自动目标检测与空间定位方法，其特征在于：步骤5)通过RANSAC算法寻找最优位置点。