CN115100423A - 一种基于视图采集数据实现实时定位系统及方法 - Google Patents

Abstract

本发明涉及图像识别检测技术领域，公开了一种基于视图采集数据实现实时定位系统及方法，通过对实时获取监测区域内的影像视图，采用物体识别算法对影像视图中的物体进行识别，并提取影像视图中目标物的特征点；在影像视图中构建视图像素坐标系，获取特征点在视图像素坐标系中的坐标位置信息；转化视图像素坐标系位置为三维世界经纬坐标系位置。本发明结合机器视觉技术和坐标转换技术，基于采集的影像视图进行定位，硬件上只需要通过相机进行图像采集，然后由软件程序进行相应处理，不存在信号干扰问题，不仅定位精度高，而且不受干扰影响，因此可靠性强，且应用场景广。

Description

一种基于视图采集数据实现实时定位系统及方法

技术领域

本发明涉及图像识别检测技术领域，具体涉及一种基于视图采集数据实现实时定位系统及方法。

背景技术

传统的实时定位大多采用GPS定位来实现，由于GPS定位是通过无线电发射信号，所以会受到很多信号影响，比如电波，同时也会受到墙体等阻碍、反射而不能直接进行室内定位。另外，GPS在定位过程中会产生很多误差，比如卫星时钟误差、电离层传播延时、接收机噪声等的影响，因此在高楼林立的城市交通和偏远的厂区等采用GPS定位，由于信号被阻挡或信号基站少的原因，并不能发挥很好的作用，对于安全监测例如出现安全事故等不能立即对地址进行定位，耽误救援时间，在可视化方面并不能对事后事故评定起到特别积极的作用。

发明内容

基于以上问题，本发明提供一种基于视图采集数据实现实时定位系统及方法，通过一种全新的定位方式，不仅能够实现精确定位，而且不受建筑、基站等影响，应用场景更加广泛。

为实现上述技术效果，本发明所采用的技术方案是：

一种基于视图采集数据实现实时定位系统，包括：

目标物识别模块：用于对采集到的影像视图中的目标物进行识别，并提取出影像视图中目标物的特征点；

视图像素坐标生成模块：用于在影像视图中构建视图像素坐标系，获取所述目标物的特征点在视图像素坐标系中的坐标位置；

经纬坐标生成模块：用于将目标物的特征点在视图像素坐标系中的坐标位置转化为三维世界经纬坐标系位置。

进一步地，目标物识别模块在识别目标物时，先对目标物进行锚框以确定出目标物所在位置，然后以锚框中的一点或多点作为目标物的特征点。

通过识别算法对目标物进行识别，并对目标物自动添加锚框获得自适应数据集对象边界框预测的预设边界框，可以依据与锚框相似的真实边界框的位置进行特征点的提取，有利于获得能够代表目标物的特征点，确保通过特征点在视图像素坐标系中的坐标位置转化成目标物的三维世界经纬坐标系位置更加准确。

进一步地，目标物识别模块以锚框的中心的作为目标物的特征点。

本发明通过以锚框中心点作为目标物的特征点，尤其是在影像视图采集模块采集位置相对固定时，以锚框中心点作为目标物的特征点，对目标物的适应性好，且坐标位置易于提取获得，方便快速提取目标物的特征点的同时，减少计算处理量。

进一步地，视图像素坐标生成模块在影像视图中构建视图像素坐标系时，以影像视图左上角为像素坐标系原点位置，构建与影像视图一比一的视图像素坐标系。

通过建立与影像视图为1:1的像素坐标系，可以准确快速获取特征点在像素坐标系中的坐标。

进一步地，经纬坐标生成模块目标物的特征点在视图像素坐标系中的坐标位置转化为三维世界经纬坐标系位置的具体处理包括：

1)视图像素坐标系中，根据如下公式确定出目标物的特征点在视图像素坐标系中的坐标位置表示的实际距离梯度：

其中s为采集的影像视图中最远点到参考点的实际距离，u_i为影像视图中最远点到参考点的距离线段上第i个像素，n为影像视图中最远点到参考点的距离线段上像素的个数，du为影像视图中像素的表示实际距离的梯度；

2)建立监测区域的实际的空间坐标系，通过视图像素坐标系像素梯度计算出目标物的特征点在实际的空间坐标系中相对于参考点的横向偏移距离和纵向的偏移距离：

d_sy＝∑d_uy×N_y

d_sx＝∑d_ux×N_x

其中d_sy表示通过像素密度梯度计算得到目标物的特征点在实际的空间坐标系中相对于参考点的纵向偏移量，d_sx表示通过像素密度梯度计算得到目标物的特征点在实际的空间坐标系中相对于参考点的横向偏移量，N_y、N_x分别表示目标物的特征点在视图像素坐标系中纵向梯度方向上的像素数和横向梯度方向上的像素数，d_ux、d_uy分别表示目标物的特征点在视图像素坐标系中的纵向梯度和横向梯度；

3)在实际的空间坐标系纵向方向目标物位置偏移量，通过正交分解得到在经纬坐标系中的经度偏移量和维度偏移量：

在实际的空间坐标系横向方向目标物位置偏移量，通过正交分解得到在经纬坐标系中的经度偏移量和维度偏移量：

其中：G、T分别为经线和纬线上一米所代表的度数；

为视图采集设备坐标相对于实际经纬坐标系的偏转角，属于视图采集设备外部参数；

最后根据偏移量计算出目标物的特征点在的经纬坐标系中的经纬坐标(lng，lat)为：

lng＝g₀-lng_y+lng_x

lat＝t₀+lat_y+lat_x

其中(g₀,t₀)为影像视图中或影像视图外已知的参考点的经纬坐标。

本方案充分考虑了像素梯度对目标物相对于参考点的距离影响因素，再利用正交分解得到得到在经纬坐标系中的经度和维度的分别偏移量，可以精准地实现二维坐标到经纬坐标位置转化；应用于道路车辆识别和定位时，实现基于视图的车辆实时精准高效定位。

本发明还提供了一种基于视图采集数据实现实时定位方法，包括如下步骤：

对采集到的影像视图中的目标物进行识别，并提取出影像视图中目标物的特征点；

在影像视图中构建视图像素坐标系，获取目标物的特征点在视图像素坐标系中的坐标位置信息；

将目标物的特征点在视图像素坐标系中的坐标位置转化为三维世界经纬坐标系位置。

进一步地，通过预先训练好的识别算法模型对目标物进行识别，所述识别算法模型的训练过程包括如下步骤：

S1、获取多个含有被识别目标物的已有视图作为视图数据集；

S2、利用目标检测标注工具对数据集视图中目标物进行标注；

S3、构建目标物轮廓模型，对标注的目标物进行特征提取；

S4、将视图数据集及提取的特征输入识别算法模型中进行训练，得到训练后的目标物识别算法模型。

识别算法模型预先通过训练得到，而且可以是对不同的应用场景进行针对性的训练模型，从而获得识别能力强、识别准确度高的识别算法模型；从而能够适应使用场景中对目标物的识别和提取，通过训练可以提高识别效率，提高对目标物识别的准确度。

进一步地，识别算法模型中加入有追踪算法，分别对目标物赋予相应的ID，进行目标物的识别和追踪。

追踪算法的加入对影像视图采集模块采集到的目标物进行编号或标注ID；且可以对在不同时间采集到的同一目标物进行识别，编号或标注ID不变，可以实现同一辆车多次经过该监测区域时，实现对行使车辆的识别和追踪。

本发明还提供了一种电子设备，包括存储器和处理器，所述储存器内存储有本发明任一实施方式所述的基于视图采集数据实现实时定位系统，且所述处理器可执行并实现所述的基于视图采集数据实现实时定位系统中各个组成模块的功能。

本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现实现本发明任一实施方式所述的基于视图采集数据实现实时定位系统中各个组成模块的功能。

与现有技术相比，本发明的有益效果是：

(1)本发明结合机器视觉技术和坐标转换技术，基于采集的影像视图进行定位，硬件上只需要通过相机进行图像采集，然后由软件程序进行相应处理，不存在信号干扰问题，不仅定位精度高，而且不受干扰影响，因此可靠性强，且应用场景广。

(2)本发明通过深度学习进行目标物识别，相比于其他方法，识别的准确度更高，继而保障定位的精确性。

附图说明

图1为实施例中的视图采集设备进行视图采集的安装场景示意图；

图2为实施例中构建的视图像素坐标系；

图3为实施例中建立俯视方向的实际道路的空间坐标系；

图4为实施例中经纬坐标系中道路位置示意图；

图5为实施例中二维视图像素坐标系车辆锚框与经纬坐标系车辆边界转换示意图；

图6为实施例中视图采集设备采集视图并进行车辆识别后得到GIS坐标在地图实时显示的结果图。

图7为实施例中电子设备的组成框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。

实施例：

本实施例中提供的一种基于视图采集数据实现实时定位系统，包括：

目标物识别模块：用于根据物体识别算法对采集到的影像视图中的目标物进行识别，并提取影像视图中目标物的特征点；

视图像素坐标生成模块：用于在影像视图中构建视图像素坐标系，获取特征点在视图像素坐标系中的坐标位置信息；

经纬坐标生成模块：用于将视图像素坐标系位置转化为三维世界经纬坐标系位置。

为了更清楚地阐述本实施例中提供的定位系统，下面以道路车辆识别定位为例进行具体说明。

对于本实施例中需要使用到的影像视图采集，可以使用TP-LINK TL-IPC633P-A42.0摄像设备(如摄像头)进行采集，建立模型为道路侧视图图像，模拟图如图1所示，其中O为摄像设备对应的地面位置，H为摄像设别距离地面高度，广角、俯仰角分别为摄像设备内部和外部参数。

需要说明的是，其他可以获取目标物图像的CCD摄像机、红外摄像机等设备同样适用于本发明。

目标物识别模块采用物体识别算法对影像视图中的目标物进行识别，并提取影像视图中目标物的特征点。

本实施例中采用的是基于深度学习方法对物体进行识别。其他能够对物体进行识别、特征提取和对目标物进行锚框的算法或方法同样适用于本发明。

物体识别算法模型进行目标物识别前需要进行训练，具体训练过程为：首先截取已有道路上行使车辆的若干视图信息，得到行使车辆的视图数据集。然后利用目标检测标注工具(或人工)对车辆进行标注，并对多种车型的特征进行提取，输入识别算法模型中对所截取到的数据集进行训练，得到训练后的目标物识别算法模型。

需要说明的是，本实施例选用的识别算法及其训练方法是本领域技术人员能够获知的常规技术，且选用的识别算法会根据训练的数据集自动学习对物体(车辆)进行锚框，获得自适应数据集对象边界框预测的预设边界框。本实施例中选择锚框的中心的作为目标物的特征点。

本实施例具体使用YOLOV5算法进行目标识别，首先把图形的尺寸统一并进入入口，做不同卷积盒下的采样，分别进行64、128、256等不同卷积核的特征采样，其结果特征链接起来作为该分类的特征值。然后输出模型，将新的图片作为输入端进入模型，经过模型匹配后得到该图形的分类结果。基于YOLOV5物体识别模型的方法，四种网络深度，采用YOLOV5s，其中在BACKBONE和NECK分别使用CSP1_X,CSP2_X，特征如下：

1)INPUT:Mosaic数据增强，自适应锚框计算、自适应图片缩放

2)BACKBONE:Focus结构，CSP结构

3)NECK:FPN+PAN结构

4)HEAD:Boundingbox损失函数，nms非极大值抑制。

本实施例的识别算法模型中还可以加上追踪算法，分别对车辆赋予相应的ID，可以实现同一辆车多次经过该监测区域时，其ID不变，实现对行使车辆的识别和追踪。

需要说明的是，本实施例中所有的视图数据集均来自现实公路场景，训练的算法更加适应现实场景，识别准确度和效率更高。

视图像素坐标生成模块对特征点在视图像素坐标系中的坐标位置确定方法，是以影像视图左上角为像素坐标系原点位置，构建与视图一比一的视图像素坐标系，获取特征点在视图像素坐标系位置坐标。

经纬坐标生成模块将视图像素坐标系位置转化为三维世界经纬坐标系位置的具体流程包括如下步骤：

本实施例中，以影像视图左上角为像素坐标系原点位置，构建与视图一比一的视图像素坐标系(u,v)，其中视图大小为像素a×b；如图2所示，摄像设备位置正前方直线用l表示，道路由靠近l位置距离远近分别用l₀，l₂，l₁表示。

因为在影像视图中存在近大远小原理，视图中像素位置的大小梯度(每个像素所表示实际距离的米数)随着远离摄像头距离逐渐增大，成线性增加，公式如下：

其中s为采集的视图中道路最远点到参考点的距离，u_i为影像视图中最远点到参考点的距离线段上第i个像素，n为影像视图中最远点到参考点的距离线段上像素的个数，从该公式可以推算随着道路距离的增加每个像素的实际米数增加的梯度；通过推算可以求得在道路纵向和横向像素随着距离的增加每个像素的表示实际距离的梯度du，该梯度也可以分解到道理的纵向和横两个方向上的梯度。

如图3-5所示，建立实际道路的空间坐标系，以道路方向为正方向纵坐标，道路横向为横坐标，那么通过视图像素坐标系像素梯度可以计算出车辆在实际道路的横向和纵向的偏移距离：

d_sy＝∑d_uy×N_y

d_sx＝∑d_ux×N_x

其中d_sy表示通过像素密度梯度计算得到车辆在道路的空间坐标系中沿道路纵向的偏移量，d_sx表示通过像素密度梯度计算得到车辆在道路的空间坐标系中沿道路横向的偏移量(d_sy，d_sx均为参考点的相对偏移量)，N_y、N_x分别表示车辆在视图像素坐标系中分别在纵向和横向梯度方向上的像素数。d_ux、d_uy分别表示车辆在视图像素坐标系中纵向梯度和横向梯度。

转化视图像素坐标系位置为三维世界经纬坐标系位置：如图4所示，在道路纵向方向车辆位置偏移量，通过正交分解得到在经纬坐标系中的经度和维度的分别偏移量：

在道路横向方向车辆位置偏移量，通过正交分解得到在经纬坐标系中的经度和维度的分别偏移量：

其中：G、T分别为经线和纬线上一米所代表的度数；

为摄像设备坐标相对于实际经纬坐标系的偏转角，属于摄像设备外部参数。

最后根据偏移量计算出道路方向上车辆在的经纬坐标系中的经纬坐标(lng，lat)为：

lng＝g₀-lng_y+lng_x

lat＝t₀+lat_y+lat_x

其中(g₀,t₀)为视图中或视图外已知的参考点经纬坐标，本实施例选摄像设备所在的经纬度坐标作为参考点进行计算。

通过上述步骤获得车辆三维世界经纬坐标后，可以将实时影像视图与卫星地图联动，对实时影像视图识别出的物体的实时位置在卫星地图上进行标注和显示。本实施例可以通过使用JavaScript语言调用地图，将坐标点(lng，lat)传入网页端显示在国标协议WGS-84的地图中。如图6所示，摄像设备采集视图处理进行车辆识别后得到经纬坐标在地图实时显示的结果。

本发明在视图识别算法技术基础上，通过对采集的视图数据进行深度学习处理，采用识别算法，追踪算法，实现二维坐标到经纬坐标位置转化，应用于道路车辆识别和定位时，可以实现基于视图的车辆实时定位。

如图7所示，本实施例同时提供了一种电子设备，该电子设备可以包括处理器51和存储器52，储存器52内包括目标物识别模块、视图像素坐标生成模块以及经纬坐标生成模块。其中存储器52耦合至处理器51。值得注意的是，该图是示例性的，还可以使用其他类型的结构来补充或替代该结构，实现数据提取、报告生成、通信或其他功能。

如图7所示，该电子设备还可以包括：输入单元53、显示单元54和电源55。值得注意的是，该电子设备也并不是必须要包括图6中显示的所有部件。此外，电子设备还可以包括图7中没有示出的部件，可以参考现有技术。

处理器51有时也称控制器或操作控件，可以包括微处理器或其他处理器装置和/或逻辑装置，该处理器51接收输入并控制电子设备的各个部件的操作。

其中，存储器52例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其他合适装置中的一种或多种，可存储上述处理器51的配置信息、处理器51执行的指令、记录的表格数据等信息。处理器51可以执行存储器52存储的程序，以实现信息存储或处理等。在一个实施例中，存储器52中还包括缓冲存储器，即缓冲器，以存储中间信息。

输入单元53例如用于向处理器51提供各个文本报告。显示单元54用于显示处理过程中的各种结果，该显示单元例如可以为LCD显示器，但本发明并不限于此。电源55用于为电子设备提供电力。

本发明实施例还提供一种存储有计算机可读指令的存储介质，其中所述计算机可读指令使得电子设备实现本发明系统中各个模块的功能。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

如上即为本发明的实施例。上述实施例以及实施例中的具体参数仅是为了清楚表述发明验证过程，并非用以限制本发明的专利保护范围，本发明的专利保护范围仍然以其权利要求书为准，凡是运用本发明的说明书及附图内容所作的等同结构变化，同理均应包含在本发明的保护范围内。

Claims (10)

1.一种基于视图采集数据实现实时定位系统，其特征在于，包括：

目标物识别模块：用于对采集到的影像视图中的目标物进行识别，并提取出影像视图中目标物的特征点；

视图像素坐标生成模块：用于在影像视图中构建视图像素坐标系，获取所述目标物的特征点在视图像素坐标系中的坐标位置；

经纬坐标生成模块：用于将目标物的特征点在视图像素坐标系中的坐标位置转化为三维世界经纬坐标系位置。

2.根据权利要求1所述的基于视图采集数据实现实时定位系统，其特征在于：目标物识别模块在识别目标物时，先对目标物进行锚框以确定出目标物所在位置，然后以锚框中的一点或多点作为目标物的特征点。

3.根据权利要求2所述的基于视图采集数据实现实时定位系统，其特征在于：目标物识别模块以锚框的中心的作为目标物的特征点。

4.根据权利要求1所述的基于视图采集数据实现实时定位系统，其特征在于：视图像素坐标生成模块在影像视图中构建视图像素坐标系时，以影像视图左上角为像素坐标系原点位置，构建与影像视图一比一的视图像素坐标系。

5.根据权利要求1所述的基于视图采集数据实现实时定位系统，其特征在于：经纬坐标生成模块将目标物的特征点在视图像素坐标系中的坐标位置转化为三维世界经纬坐标系位置的具体处理包括：

1)视图像素坐标系中，根据如下公式确定出目标物的特征点在视图像素坐标系中的坐标位置表示的实际距离梯度：

其中s为采集的影像视图中最远点到参考点的实际距离，u_i为影像视图中最远点到参考点的距离线段上第i个像素，n为影像视图中最远点到参考点的距离线段上像素的个数，du为影像视图中像素的表示实际距离的梯度；

2)建立监测区域的实际的空间坐标系，通过视图像素坐标系像素梯度计算出目标物的特征点在实际的空间坐标系中相对于参考点的横向偏移距离和纵向的偏移距离：

d_sy＝∑d_uy×N_y

d_sx＝∑d_ux×N_x

其中d_sy表示通过像素密度梯度计算得到目标物的特征点在实际的空间坐标系中相对于参考点的纵向偏移量，d_sx表示通过像素密度梯度计算得到目标物的特征点在实际的空间坐标系中相对于参考点的横向偏移量，N_y、N_x分别表示目标物的特征点在视图像素坐标系中纵向梯度方向上的像素数和横向梯度方向上的像素数，d_ux、d_uy分别表示目标物的特征点在视图像素坐标系中的纵向梯度和横向梯度；

3)在实际的空间坐标系纵向方向目标物位置偏移量，通过正交分解得到在经纬坐标系中的经度偏移量和维度偏移量：

在实际的空间坐标系横向方向目标物位置偏移量，通过正交分解得到在经纬坐标系中的经度偏移量和维度偏移量：

其中：G、T分别为经线和纬线上一米所代表的度数；

为视图采集设备坐标相对于实际经纬坐标系的偏转角，属于视图采集设备外部参数；

最后根据偏移量计算出目标物的特征点在的经纬坐标系中的经纬坐标(lng，lat)为：

lng＝g₀-lng_y+lng_x

lat＝t₀+lat_y+lat_x

其中(g₀,t₀)为影像视图中或影像视图外已知的参考点的经纬坐标。

6.一种基于视图采集数据实现实时定位方法，该方法基于权利要求1-5中任意一项所述的定位系统实现，其特征在于，包括如下步骤：

对采集到的影像视图中的目标物进行识别，并提取出影像视图中目标物的特征点；

在影像视图中构建视图像素坐标系，获取目标物的特征点在视图像素坐标系中的坐标位置信息；

将目标物的特征点在视图像素坐标系中的坐标位置转化为三维世界经纬坐标系位置。

7.根据权利要求6所述的基于视图采集数据实现实时定位方法，其特征在于：通过预先训练好的识别算法模型对目标物进行识别，所述识别算法模型的训练过程包括如下步骤：

S1、获取多个含有被识别目标物的已有视图作为视图数据集；

S2、利用目标检测标注工具对数据集视图中目标物进行标注；

S3、构建目标物轮廓模型，对标注的目标物进行特征提取；

S4、将视图数据集及提取的特征输入识别算法模型中进行训练，得到训练后的目标物识别算法模型。

8.根据权利要求7所述的基于视图采集数据实现实时定位方法，其特征在于：识别算法模型中加入有追踪算法，分别对目标物赋予相应的ID，进行目标物的识别和追踪。

9.一种电子设备，包括存储器和处理器，其特征在于，所述储存器内存储有权利要求1-5任一所述的基于视图采集数据实现实时定位系统，且所述处理器可执行并实现所述的基于视图采集数据实现实时定位系统中各个组成模块的功能。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现实现权利要求1-5任一所述的基于视图采集数据实现实时定位系统中各个组成模块的功能。

Images