CN115294204B - 一种户外目标定位方法及系统 - Google Patents

一种户外目标定位方法及系统 Download PDF

Info

Publication number
CN115294204B
CN115294204B CN202211233977.9A CN202211233977A CN115294204B CN 115294204 B CN115294204 B CN 115294204B CN 202211233977 A CN202211233977 A CN 202211233977A CN 115294204 B CN115294204 B CN 115294204B
Authority
CN
China
Prior art keywords
image
information
semantic
target
dimensional plane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211233977.9A
Other languages
English (en)
Other versions
CN115294204A (zh
Inventor
余小欢
朱程利
徐露露
哈融厚
白云峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Guangpo Intelligent Technology Co ltd
Original Assignee
Zhejiang Guangpo Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Guangpo Intelligent Technology Co ltd filed Critical Zhejiang Guangpo Intelligent Technology Co ltd
Priority to CN202211233977.9A priority Critical patent/CN115294204B/zh
Publication of CN115294204A publication Critical patent/CN115294204A/zh
Application granted granted Critical
Publication of CN115294204B publication Critical patent/CN115294204B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/02—Affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/168—Segmentation; Edge detection involving transform domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20061—Hough transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种户外目标定位方法及系统。本发明为了克服现有技术的户外定位需要对目标安装传感器，成本高，适用范围窄；通过无线电定位精度和鲁棒性难以保证的问题；通过对多个摄像头的数据进行全局的拼接，然后将全景图像和二维地图融合，结合目标的历史定位信息和当前的目标定位信息进行融合，在全景视角对目标进行定位。不需要目标对象携带额外的定位设备，能对所有目标进行有效定位，适用性广。多个终端分布式布置，全场景定位，对目标对象进行不留死角的全场景的跟踪。不会出现因为基于信号的方案导致的多径导致的错误，精度高，鲁棒性强。

Description

一种户外目标定位方法及系统
技术领域
本发明涉及户外定位领域，尤其涉及一种户外目标定位方法及系统。
背景技术
目前的定位技术主要有两种思路：
一种是基于目标自身携带的传感器或是其它设备进行自定位，这种方案实现比较简单，但需要配置定位用的传感器及定位计算的设备，成本比较的昂贵，而且该方案对环境变换的鲁棒性很差，定位的精度也很难保证。
例如，一种在中国专利文献上公开的“一种园区环境下的车辆自定位系统及方法”，其公告号CN110595492A，采用车辆自身携带的激光雷达，惯性测量器件，结合预先创建的高精度地图实现多传感器融合达到车辆自定位的目的。该方案目标对象安装各类传感器，方案成本太高。此外，不是所有目标对象都适合安装传感器，所以适用的范围比较窄。
另外一种是通过外置设备对目标进行通信/监控等实现对目标的定位，主流的是基于无线电技术，例如RFID, 蓝牙，WiFi，UWB, 5G，4G等，这种方案定位较高，但基站非常的昂贵，且信号容易受到环境的影响。
例如，一种在中国专利文献上公开的“一种户外人员定位装置、定位系统及定位方法”，其公告号CN109121076A，用多个天线单元组成360度覆盖的天线阵列；通过在户外设置户外人员定位装置通过无线网络接入设备实现了用户的定位。
该方案通过无线电的方式来实现定位，方案的精度和鲁棒性很难保障，尤其是在高楼比较多的场景下，信号经常会出现多次反射导致定位的精度很差。另外该方案还是需要目标对象自身携带信号接收装置，不能广泛适用于普通的目标对象。
也有通过使用摄像头进行户外的定位扩大使用范围的方案，例如，一种在中国专利文献上公开的“一种园区活动要素混合定位系统及方法”，其公告号CN111522020A，基于激光雷达和摄像头对进入视野内的目标进行分割，并获得目标的栅格坐标，实现活动要素的定位。
该方案使用范围较广，对普通目标对象能进行定位。但该方案没有实现对场景的全覆盖，简单的目标层面上的拼接会导致目标定位丢失等问题。另外，该方案在目标定位过程中没有将目标的历史位置信息作为先验，导致在激光雷达或摄像头误检测后目标的定位会完全错乱。
发明内容
本发明主要解决现有技术的户外定位需要对目标安装传感器，成本高，适用范围窄；通过无线电定位精度和鲁棒性难以保证的问题；提供一种户外目标定位方法及系统，通过对多个摄像头的数据进行全局的拼接，然后将全景图像和二维地图融合，结合目标的历史定位信息和当前的目标定位信息进行融合，在全景视角对目标进行定位。
本发明的上述技术问题主要是通过下述技术方案得以解决的：
一种户外目标定位方法，包括以下步骤：
S1：各分布式终端分别获取目标场景下的二维平面地图；
S2：对所有终端获取的二维平面地图通过第一变换参数矩阵仿射变换，融合拼接得到目标场景的全景图像；
S3：提取全景图像的道路边缘信息，获得全景道路图；将全景道路图同二维平面地图进行匹配，得到第二变换参数矩阵；
S4：获得每个终端获取的二维平面地图对应的语义信息；
S5：将得到的语义信息依次通过变换参数矩阵变换到对应的二维平面地图中，获得目标的位置信息；
S6：对目标的位置信息及该目标的历史位置信息使用卡尔曼滤波进行融合，得到最终的目标定位信息。
本方案的定位方法不需要目标对象携带额外的定位设备，能对所有目标进行有效定位，适用性广。多个终端分布式布置，全场景定位，对目标对象进行不留死角的全场景的跟踪。不会出现因为基于信号的方案导致的多径导致的错误，精度高，鲁棒性强。
作为优选，各终端分别对应二维平面地图的图像信息；
计算图像信息
Figure DEST_PATH_IMAGE001
与图像信息
Figure 267877DEST_PATH_IMAGE002
之间的单应矩阵
Figure DEST_PATH_IMAGE003
；
其中，
Figure 643494DEST_PATH_IMAGE001
为第i个终端对应的二维平面地图的图像信息；
通过单应矩阵
Figure 532953DEST_PATH_IMAGE003
对图像信息
Figure 458053DEST_PATH_IMAGE001
进行仿射变换，重叠部分融合得到最终的全 景图像
Figure 40344DEST_PATH_IMAGE004
。
单应矩阵
Figure 434416DEST_PATH_IMAGE003
为第一变换参数矩阵，将二维平面地图的图像信息拼接为全景图像， 全场景定位，对目标对象进行不留死角的全场景的跟踪。
作为优选，所述的步骤S3包括以下过程：
S301：对全景图像采用边缘检测算法得到全景图像的边缘图
Figure DEST_PATH_IMAGE005
；
S302：采用Hough变换检测出全景图像的边缘图
Figure 393145DEST_PATH_IMAGE005
中的直线段和曲线段组 成的道路信息，获得全景道路图
Figure 877478DEST_PATH_IMAGE006
；
S303：计算全景道路图
Figure 630670DEST_PATH_IMAGE006
与二维平面地图
Figure DEST_PATH_IMAGE007
之间的单应矩阵
Figure 777618DEST_PATH_IMAGE008
。
单应矩阵
Figure 523726DEST_PATH_IMAGE008
为第二变换参数矩阵，将全景道路图与二维地图匹配。
作为优选，所述的单应矩阵的计算过程为：
提取两张图像的ORB特征点；
对图像的ORB特征点进行匹配，使用最近邻方法，得到若干匹配点对，移除错误匹配；
使用随机抽样一致算法和匹配的ORB特征点对估计单应矩阵。
作为优选，各终端分别对应二维平面地图的图像信息；
对每个图像信息
Figure DEST_PATH_IMAGE009
采用YOLOv3算法进行目标检测，得到图像的语义信息
Figure 642991DEST_PATH_IMAGE010
；
其中，i=1,2…N；j=1,2…M；
N为终端的个数；
M为图像信息
Figure 301506DEST_PATH_IMAGE009
对应的语义目标数量。
对每个终端获取图像进行处理，获取对应的语义信息。
作为优选，所述的语义信息
Figure 155324DEST_PATH_IMAGE010
是一个6维的向量；
Figure 190276DEST_PATH_IMAGE012
其中，
Figure DEST_PATH_IMAGE013
为该语义目标在图像信息
Figure 429627DEST_PATH_IMAGE009
中边框左上角的横坐标；
Figure 508310DEST_PATH_IMAGE014
为该语义目标在图像信息
Figure 364271DEST_PATH_IMAGE009
中边框左上角的纵坐标；
Figure DEST_PATH_IMAGE015
为该语义目标在图像信息
Figure 671756DEST_PATH_IMAGE009
中边框右下角的横坐标；
Figure 799503DEST_PATH_IMAGE016
为该语义目标在图像信息
Figure 862137DEST_PATH_IMAGE009
中边框右下角的纵坐标；
category为该语义目标的类别信息；
score为该语义目标属于该类别的置信度信息。
作为优选，所述的步骤S5包括以下步骤：
S501：根据步骤S2中计算得到的第一变换参数矩阵，将语义信息
Figure 939815DEST_PATH_IMAGE010
，变 换到全景图像
Figure DEST_PATH_IMAGE017
下；
S502：对变换到全景图像
Figure 50990DEST_PATH_IMAGE004
下的语义信息
Figure 779781DEST_PATH_IMAGE010
进行融合，合并相同 的语义目标得到
Figure 216578DEST_PATH_IMAGE018
；
其中，k=1,2…L，L为合并后的全部语义目标的数量；
S503：采用步骤S3中计算得到的第二变换参数矩阵，将全景图像
Figure DEST_PATH_IMAGE019
下的
Figure 250393DEST_PATH_IMAGE020
变换到二维平面地图
Figure DEST_PATH_IMAGE021
下。
作为优选，所述的步骤S6包括：
使用卡尔曼滤波器预测出当前状态；
用当前帧图像的检测结果作为观测值输入给卡尔曼滤波器，得到的校正结果为目标在当前帧的真实状态。
一种户外目标定位系统，包括：
终端，分布式获取各角度的目标场景的二维平面地图的图像信息，提取语义信息后发送到后端管理模块；
后端管理模块，将得到的语义信息依次通过变换参数矩阵变换到对应的二维平面地图中，获得目标的位置信息。
作为优选，所述的终端包括：
摄像头，获取目标场景的二维平面地图的图像信息；
第一处理单元，提取二维平面地图的图像信息对应的语义信息；
第一通信单元，将提取的语义信息发送给后端管理模块；
所述的后端管理模块包括：
第二通信单元，接收多个终端发送的相应的语义信息；
存储单元，存储目标的历史位置信息和当前场景的地图信息；
第二处理单元，将得到的语义信息依次通过变换参数矩阵变换到对应的二维平面地图中，获得目标的位置信息；结合目标的历史位置信息使用卡尔曼滤波进行融合，得到最终的目标定位信息。
本发明的有益效果是：
1.定位方法不需要目标对象携带额外的定位设备，能对所有目标进行有效定位，适用性广。
2. 多个终端分布式布置，全场景定位，对目标对象进行不留死角的全场景的跟踪。
3. 通过对多个摄像头的数据进行全局的拼接，将全景图像和二维地图融合，在全景视角对目标进行定位，不会出现因为基于信号的方案导致的多径导致的错误，精度高，鲁棒性强。
附图说明
图1是本发明的一种户外目标定位系统连接框图。
图2是本发明的一种户外目标定位方法流程图。
图中1.终端，2.后端管理模块，3.摄像头，4.第一处理单元，5.第一通信单元，6.第二通信单元，7.存储单元，8.第二处理单元。
具体实施方式
下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。
实施例：
本实施例的一种户外目标定位系统，如图1所示，包括若干终端1和后端管理模块2。
终端1分布式设置在目标场景中，分布式获取各角度的目标场景的二维平面地图的图像信息，提取语义信息后发送到后端管理模块2。
终端1包括摄像头3、第一信息处理单元4和第一通信单元5。
摄像头3布置在目标场景中，获取目标场景的二维平面地图的图像信息。第一处理单元4提取二维平面地图的图像信息对应的语义信息；第一通信单元5将提取的语义信息发送给后端管理模块2。
后端管理模块2与若干的终端1通信，对多摄像头3的图像数据进行全局的拼接，然后将全景图像和二维地图融合，结合目标的历史定位信息和当前的目标定位信息进行融合，在全景视角对目标进行定位。
后端管理模块2包括第二通信单元6、存储单元7和第二处理单元8。
第二通信单元6接收多个终端1发送的相应的语义信息；存储单元7存储目标的历史位置信息和当前场景的地图信息；第二处理单元8将得到的语义信息依次通过变换参数矩阵变换到对应的二维平面地图中，获得目标的位置信息；结合目标的历史位置信息使用卡尔曼滤波进行融合，得到最终的目标定位信息。
本实施例的方案通过对多个摄像头的数据进行全局的拼接，将全景图像和二维地图融合，在全景视角对目标进行定位，不会出现因为基于信号的方案导致的多径导致的错误，精度高，鲁棒性强。
本实施例的一种户外目标定位方法，如图2所示，包括以下步骤：
S1：各分布式终端分别获取目标场景下的二维平面地图。
在目标场景周围分布设置终端1的摄像头3，所有终端将目标场景全部涵盖。
S2：对所有终端获取的二维平面地图通过第一变换参数矩阵仿射变换，融合拼接得到目标场景的全景图像。
对所有终端获取的图像进行拼接，得到目标场景的全景图，以及每个终端图像与全景图像的第一变换参数矩阵。
各终端1分别对应二维平面地图的图像信息
Figure 650413DEST_PATH_IMAGE001
。
典型共有N个终端设备，对应N张图像信息
Figure 718863DEST_PATH_IMAGE009
(i=1,2…N)。计算
Figure 326562DEST_PATH_IMAGE009
(i=2, 3…N)和
Figure 628099DEST_PATH_IMAGE022
之间的单应矩阵
Figure DEST_PATH_IMAGE023
(i=2,3…N)。
其中，
Figure 815498DEST_PATH_IMAGE001
为第i个终端对应的二维平面地图的图像信息。
通过单应矩阵
Figure 269613DEST_PATH_IMAGE003
对图像信息
Figure 844951DEST_PATH_IMAGE001
进行仿射变换，重叠部分融合得到最终的全 景图像
Figure 338511DEST_PATH_IMAGE004
。
其中计算两张图像间的单应矩阵的步骤如下：
1）提取两张图像的ORB(Oriented FAST and rotated BRIEF, 定向的FAST和旋转的Brief)特征点；
2）对图像的ORB特征点进行匹配，使用最近邻方法，得到若干匹配点对，移除错误匹配。
3）使用随机抽样一致算法（Ransac算法）和匹配的ORB特征点对估计单应矩阵。
单应矩阵
Figure 657497DEST_PATH_IMAGE003
为第一变换参数矩阵，将二维平面地图的图像信息拼接为全景图像， 全场景定位，对目标对象进行不留死角的全场景的跟踪。
S3：提取全景图像的道路边缘信息，获得全景道路图；将全景道路图同二维平面地图进行匹配，得到第二变换参数矩阵。
S301：对全景图像
Figure 966119DEST_PATH_IMAGE004
采用边缘检测算法得到全景图像的边缘图
Figure 915620DEST_PATH_IMAGE005
。
S302：采用Hough变换检测出全景图像的边缘图
Figure 926170DEST_PATH_IMAGE005
中的直线段和曲线段组 成的道路信息，获得全景道路图
Figure 252110DEST_PATH_IMAGE006
。
S303：采用步骤S2中的单应矩阵计算思路计算全景道路图
Figure 415238DEST_PATH_IMAGE006
与二维平面地 图
Figure 535640DEST_PATH_IMAGE007
之间的单应矩阵
Figure 534952DEST_PATH_IMAGE008
。
在本实施例中，单应矩阵
Figure 399002DEST_PATH_IMAGE008
为第二变换参数矩阵，将全景道路图与二维地图匹 配。
S4：获得每个终端获取的二维平面地图对应的语义信息。
对每个终端获取图像进行处理，获取对应的语义信息。典型共有N个终端设备，对 应N张图像信息
Figure 416637DEST_PATH_IMAGE009
(i=1,2…N)。
对每个图像信息
Figure 973520DEST_PATH_IMAGE009
采用YOLOv3算法进行目标检测，得到图像的语义信息
Figure 958663DEST_PATH_IMAGE010
。
其中，i=1,2…N；j=1,2…M。
N为终端的个数；
M为图像信息
Figure 423142DEST_PATH_IMAGE009
对应的语义目标数量。
在本实施例中，语义信息
Figure 295283DEST_PATH_IMAGE010
是一个6维的向量：
Figure 23068DEST_PATH_IMAGE012
其中，
Figure 246239DEST_PATH_IMAGE013
为该语义目标在图像信息
Figure 196965DEST_PATH_IMAGE009
中边框左上角的横坐标。
Figure 189192DEST_PATH_IMAGE014
为该语义目标在图像信息
Figure 87878DEST_PATH_IMAGE009
中边框左上角的纵坐标。
Figure 267186DEST_PATH_IMAGE015
为该语义目标在图像信息
Figure 791577DEST_PATH_IMAGE009
中边框右下角的横坐标。
Figure 638311DEST_PATH_IMAGE016
为该语义目标在图像信息
Figure 442319DEST_PATH_IMAGE009
中边框右下角的纵坐标。
category为该语义目标的类别信息。
score为该语义目标属于该类别的置信度信息。
S5：将得到的语义信息依次通过变换参数矩阵变换到对应的二维平面地图中，获得目标的位置信息。
S501：根据步骤S2中计算得到的第一变换参数矩阵，将语义信息
Figure 640082DEST_PATH_IMAGE010
，变 换到全景图像
Figure 938470DEST_PATH_IMAGE017
下。使用单应矩阵
Figure 905289DEST_PATH_IMAGE023
(i=2,3…N)的变换公式如下(category和score 保持不变)：
Figure 880198DEST_PATH_IMAGE024
Figure DEST_PATH_IMAGE025
其中，
Figure 830837DEST_PATH_IMAGE026
和
Figure DEST_PATH_IMAGE027
分别为该语义目标在全景图像
Figure 900293DEST_PATH_IMAGE004
中边框左上角的横坐标和 纵坐标。
Figure 721618DEST_PATH_IMAGE028
和
Figure DEST_PATH_IMAGE029
分别为该语义目标在全景图像
Figure 352582DEST_PATH_IMAGE004
中边框右下角的横坐标和纵坐 标。
S502：对变换到全景图像
Figure 259358DEST_PATH_IMAGE004
下的语义信息
Figure 148817DEST_PATH_IMAGE010
进行融合，合并相同 的语义目标得到
Figure 90228DEST_PATH_IMAGE018
。
其中，k=1,2…L，L为合并后的全部语义目标的数量。
S503：采用步骤S3中计算得到的第二变换参数矩阵，将全景图像
Figure 390628DEST_PATH_IMAGE019
下的
Figure 784700DEST_PATH_IMAGE020
变换到二维平面地图
Figure 477850DEST_PATH_IMAGE021
下。
根据计算得到的单应矩阵
Figure 273768DEST_PATH_IMAGE030
的变换公式如下(category和score保持不变)：
Figure DEST_PATH_IMAGE031
Figure 246534DEST_PATH_IMAGE032
其中，
Figure DEST_PATH_IMAGE033
和
Figure 596744DEST_PATH_IMAGE034
分别为该语义目标在二维平面地图
Figure 77273DEST_PATH_IMAGE007
中边框左上角的横坐 标和纵坐标。
Figure DEST_PATH_IMAGE035
和
Figure 993276DEST_PATH_IMAGE036
分别为该语义目标在二维平面地图
Figure 917370DEST_PATH_IMAGE007
中边框右下角的横坐标和 纵坐标。
S6：对目标的位置信息及该目标的历史位置信息使用卡尔曼滤波进行融合，得到最终的目标定位信息。
根据语义目标的第一个和第二个状态，从第三个状态开始，先使用卡尔曼滤波器预测出当前状态，再用当前帧图像的检测结果作为观测值输入给卡尔曼滤波其，得到的校正结果就被认为是目标在当前帧的真实状态。
采用本实施例的方法，测试一个园区场景下户外目标定位(包含3台终端单元)，在当前时间戳下结果记录如表1所示：
表1. 园区场景下户外目标定位测试表
Figure DEST_PATH_IMAGE037
本实施例方案的定位方法不需要目标对象携带额外的定位设备，能对所有目标进行有效定位，适用性广。多个终端分布式布置，全场景定位，对目标对象进行不留死角的全场景的跟踪。不会出现因为基于信号的方案导致的多径导致的错误，精度高，鲁棒性强。
应理解，实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

Claims (8)

1.一种户外目标定位方法，其特征在于，包括以下步骤：
S1：各分布式终端分别获取目标场景下的二维平面地图；所述的二维平面地图为二维平面地图的图像信息；
S2：对所有终端获取的二维平面地图通过第一变换参数矩阵仿射变换，融合拼接得到目标场景的全景图像；
S3：提取全景图像的道路边缘信息，获得全景道路图；将全景道路图同二维平面地图进行匹配，得到第二变换参数矩阵；
S4：获得每个终端获取的二维平面地图对应的语义信息；
对每个终端获取图像进行处理，获取对应的语义信息；获取各终端分别对应二维平面地图的图像信息；
对每个图像信息imagei采用YOLOv3算法进行目标检测，得到图像的语义信息
Figure FDA0003962802300000011
其中，i＝1，2…N；j＝1，2…M；
N为终端的个数；
M为图像信息imagei对应的语义目标数量；
S5：将得到的语义信息依次通过第一变换参数矩阵和第二变换参数矩阵变换到对应的二维平面地图中，获得目标的位置信息；
S501：根据步骤S2中计算得到的第一变换参数矩阵，将语义信息
Figure FDA0003962802300000012
变换到全景图像imageg下；单应矩阵Ti为第一变换参数矩阵，单应矩阵Ti的变化公式如下：
Figure FDA0003962802300000013
Figure FDA0003962802300000014
其中，
Figure FDA0003962802300000015
和
Figure FDA0003962802300000016
分别为该语义目标在全景图像imageg中边框左上角的横坐标和纵坐标；
Figure FDA0003962802300000021
和
Figure FDA0003962802300000022
分别为该语义目标在全景图像imaggeg中边框右下角的横坐标和纵坐标；
Figure FDA0003962802300000023
和
Figure FDA0003962802300000024
分别为该语义目标在图像信息imagei中边框左上角的横坐标和纵坐标；
Figure FDA0003962802300000025
和
Figure FDA0003962802300000026
分别为该语义目标在图像信息imagei中边框右下角的横坐标和纵坐标；
S502：对变换到全景图像imageg下的语义信息
Figure FDA0003962802300000027
进行融合，合并相同的语义目标得到Semanticsk；
其中，k＝1，2…L，L为合并后的全部语义目标的数量；
S503：采用步骤S3中计算得到的第二变换参数矩阵，将全景图像Imageg下的Semanticsk变换到二维平面地图Imagem下；单应矩阵Trm为第二变换参数矩阵，根据计算得到的单应矩阵Trm的变换公式如下：
Figure FDA0003962802300000028
Figure FDA0003962802300000029
其中，
Figure FDA00039628023000000210
和
Figure FDA00039628023000000211
分别为该语义目标在二维平面地图Imagem中边框左上角的横坐标和纵坐标；
Figure FDA00039628023000000212
和
Figure FDA00039628023000000213
分别为该语义目标在二维平面地图Imagem中边框右下角的横坐标和纵坐标；
S6：对目标的位置信息及该目标的历史位置信息使用卡尔曼滤波进行融合，得到最终的目标定位信息。
2.根据权利要求1所述的一种户外目标定位方法，其特征在于，获取各终端分别对应二维平面地图的图像信息；
计算图像信息imagei与图像信息image1之间的单应矩阵Ti；
其中，imagei为第i个终端对应的二维平面地图的图像信息；
通过单应矩阵Ti对图像信息imagei进行仿射变换，重叠部分融合得到最终的全景图像imageg。
3.根据权利要求1所述的一种户外目标定位方法，其特征在于，所述的步骤S3包括以下过程：
S301：对全景图像imageg采用边缘检测算法得到全景图像的边缘图imageb；
S302：采用Hough变换检测出全景图像的边缘图imageb中的直线段和曲线段组成的道路信息，获得全景道路图Imager；
S303：计算全景道路图Imager与二维平面地图Imagem之间的单应矩阵Trm。
4.根据权利要求2或3所述的一种户外目标定位方法，其特征在于，所述的单应矩阵的计算过程为：
提取两张图像的ORB特征点；
对图像的ORB特征点进行匹配，使用最近邻方法，得到若干匹配点对，移除错误匹配；
使用随机抽样一致算法和匹配的ORB特征点对估计单应矩阵。
5.根据权利要求1所述的一种户外目标定位方法，其特征在于，所述的语义信息
Figure FDA0003962802300000031
是一个6维的向量；
Figure FDA0003962802300000032
其中，x1为该语义目标在图像信息imagei中边框左上角的横坐标；
yl为该语义目标在图像信息imagei中边框左上角的纵坐标；
xr为该语义目标在图像信息imagei中边框右下角的横坐标；
yr为该语义目标在图像信息imagei中边框右下角的纵坐标；
category为该语义目标的类别信息；
score为该语义目标属于该类别的置信度信息。
6.根据权利要求1所述的一种户外目标定位方法，其特征在于，所述的步骤S6包括：
使用卡尔曼滤波器预测出当前状态；
用当前帧图像的检测结果作为观测值输入给卡尔曼滤波器，得到的校正结果为目标在当前帧的真实状态。
7.一种户外目标定位系统，运行如权利要求1-6中任意一项所述的一种户外目标定位方法，其特征在于，包括：
终端(1)，分布式获取各角度的目标场景的二维平面地图的图像信息，提取语义信息后发送到后端管理模块(2)；
后端管理模块(2)，将得到的语义信息依次通过变换参数矩阵变换到对应的二维平面地图中，获得目标的位置信息。
8.根据权利要求7所述的一种户外目标定位系统，其特征在于，所述的终端(1)包括：
摄像头(3)，获取目标场景的二维平面地图的图像信息；
第一处理单元(4)，提取二维平面地图的图像信息对应的语义信息；
第一通信单元(5)，将提取的语义信息发送给后端管理模块(2)；
所述的后端管理模块(2)包括：
第二通信单元(6)，接收多个终端(1)发送的相应的语义信息；
存储单元(7)，存储目标的历史位置信息和当前场景的地图信息；
第二处理单元(8)，将得到的语义信息依次通过变换参数矩阵变换到对应的二维平面地图中，获得目标的位置信息；结合目标的历史位置信息使用卡尔曼滤波进行融合，得到最终的目标定位信息。
CN202211233977.9A 2022-10-10 2022-10-10 一种户外目标定位方法及系统 Active CN115294204B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211233977.9A CN115294204B (zh) 2022-10-10 2022-10-10 一种户外目标定位方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211233977.9A CN115294204B (zh) 2022-10-10 2022-10-10 一种户外目标定位方法及系统

Publications (2)

Publication Number Publication Date
CN115294204A CN115294204A (zh) 2022-11-04
CN115294204B true CN115294204B (zh) 2023-03-17

Family

ID=83819348

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211233977.9A Active CN115294204B (zh) 2022-10-10 2022-10-10 一种户外目标定位方法及系统

Country Status (1)

Country Link
CN (1) CN115294204B (zh)

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120300020A1 (en) * 2011-05-27 2012-11-29 Qualcomm Incorporated Real-time self-localization from panoramic images
CN107742311B (zh) * 2017-09-29 2020-02-18 北京易达图灵科技有限公司 一种视觉定位的方法及装置
WO2019185170A1 (en) * 2018-03-30 2019-10-03 Toyota Motor Europe Electronic device, robotic system and method for localizing a robotic system
CN109061703B (zh) * 2018-06-11 2021-12-28 阿波罗智能技术(北京)有限公司 用于定位的方法、装置、设备和计算机可读存储介质
CN109186586B (zh) * 2018-08-23 2022-03-18 北京理工大学 一种面向动态泊车环境的同时定位及混合地图构建方法
US10832437B2 (en) * 2018-09-05 2020-11-10 Rakuten, Inc. Method and apparatus for assigning image location and direction to a floorplan diagram based on artificial intelligence
CN110070615B (zh) * 2019-04-12 2021-04-27 北京理工大学 一种基于多相机协同的全景视觉slam方法
CN110991297A (zh) * 2019-11-26 2020-04-10 中国科学院光电研究院 一种基于场景监控的目标定位方法及系统
WO2021121306A1 (zh) * 2019-12-18 2021-06-24 北京嘀嘀无限科技发展有限公司 视觉定位方法和系统
CN111274974B (zh) * 2020-01-21 2023-09-01 阿波罗智能技术(北京)有限公司 定位元素检测方法、装置、设备和介质
CN111508258B (zh) * 2020-04-17 2021-11-05 北京三快在线科技有限公司 一种定位方法及装置
CN113672756A (zh) * 2020-05-14 2021-11-19 华为技术有限公司 一种视觉定位方法及电子设备
CN111695622B (zh) * 2020-06-09 2023-08-11 全球能源互联网研究院有限公司 变电作业场景的标识模型训练方法、标识方法及装置
CN111968129B (zh) * 2020-07-15 2023-11-07 上海交通大学 具有语义感知的即时定位与地图构建系统及方法
CN111862213A (zh) * 2020-07-29 2020-10-30 Oppo广东移动通信有限公司 定位方法及装置、电子设备、计算机可读存储介质
CN112802346B (zh) * 2020-12-28 2022-04-15 苏州易航远智智能科技有限公司 基于云端共享和地图融合的自主泊车系统和方法
WO2022141240A1 (en) * 2020-12-30 2022-07-07 SZ DJI Technology Co., Ltd. Determining vehicle positions for autonomous driving based on monocular vision and semantic map
CN113095184B (zh) * 2021-03-31 2023-01-31 上海商汤临港智能科技有限公司 定位方法、行驶控制方法、装置、计算机设备及存储介质
CN113362394A (zh) * 2021-06-11 2021-09-07 上海追势科技有限公司 一种基于视觉语义分割技术的车辆实时定位方法
CN114140539A (zh) * 2021-11-30 2022-03-04 建科公共设施运营管理有限公司 一种室内物体的位置获取方法和装置
CN114295126B (zh) * 2021-12-20 2023-12-26 华人运通(上海)自动驾驶科技有限公司 一种基于惯性测量单元的融合定位方法
CN114677323A (zh) * 2021-12-31 2022-06-28 北京工业大学 一种室内动态场景下基于目标检测的语义视觉slam定位方法
CN114663473A (zh) * 2022-03-02 2022-06-24 国网浙江省电力有限公司电力科学研究院 基于多视角信息融合的人员目标定位与追踪方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Non-deterministic algebraization of logics by swap structures;Marcelo Coniglio.;《arxiv》;20170828;全文 *
基于图像匹配的高精度室内定位技术研究;陈岷等;《北京测绘》;20171025(第05期);全文 *

Also Published As

Publication number Publication date
CN115294204A (zh) 2022-11-04

Similar Documents

Publication Publication Date Title
CN110174093B (zh) 定位方法、装置、设备和计算机可读存储介质
US20220077820A1 (en) Method and system for soar photovoltaic power station monitoring
US7991194B2 (en) Apparatus and method for recognizing position using camera
CN110146869A (zh) 确定坐标系转换参数的方法、装置、电子设备和存储介质
CN110927708B (zh) 智能路侧单元的标定方法、装置及设备
CN101916437B (zh) 一种基于多视觉信息的目标定位方法和系统
CN109974734A (zh) 一种用于ar导航的事件上报方法、装置、终端及存储介质
KR102217549B1 (ko) 태양광 발전 모듈 모니터링 방법 및 시스템
WO2020007483A1 (en) Method, apparatus and computer program for performing three dimensional radio model construction
CN109345599B (zh) 一种地面坐标与ptz摄像机的坐标转换方法及系统
CN109523471A (zh) 一种地面坐标和广角摄像机画面坐标的转换方法、系统以及装置
CN109859269B (zh) 岸基视频辅助定位无人机大范围流场测量方法及装置
CN104167109A (zh) 车辆位置的检测方法和检测装置
CN115376109B (zh) 障碍物检测方法、障碍物检测装置以及存储介质
WO2023035301A1 (en) A camera calibration method
CN109345567B (zh) 物体运动轨迹识别方法、装置、设备和存储介质
CN112762945A (zh) 高精度地图全要素采集设备的信息同步方法、系统及装置
CN116192044A (zh) 一种故障光伏板编号定位方法、装置、电子设备及存储介质
CN111277791B (zh) 一种案事件监测方法及系统
CN114979956A (zh) 一种无人机航拍地面目标定位方法及系统
CN116665197B (zh) 一种基于双目视觉的停车场防逃费车牌识别方法及系统
CN115294204B (zh) 一种户外目标定位方法及系统
KR20220062709A (ko) 모바일 디바이스 영상에 기반한 공간 정보 클러스터링에 의한 재난 상황 인지 시스템 및 방법
CN116386373A (zh) 车辆定位方法、装置、存储介质及电子设备
CN113763457A (zh) 落差地形的标定方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant