CN115205382A - 目标物定位方法以及装置 - Google Patents

目标物定位方法以及装置 Download PDF

Info

Publication number
CN115205382A
CN115205382A CN202210641147.3A CN202210641147A CN115205382A CN 115205382 A CN115205382 A CN 115205382A CN 202210641147 A CN202210641147 A CN 202210641147A CN 115205382 A CN115205382 A CN 115205382A
Authority
CN
China
Prior art keywords
target
scene graph
map image
position information
target object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210641147.3A
Other languages
English (en)
Inventor
吴婷
危春波
毛泉涌
杨吉锐
周橹楠
邓兵
冯亚闯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba China Co Ltd
Original Assignee
Alibaba China Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba China Co Ltd filed Critical Alibaba China Co Ltd
Priority to CN202210641147.3A priority Critical patent/CN115205382A/zh
Publication of CN115205382A publication Critical patent/CN115205382A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本说明书实施例提供目标物定位方法以及装置,其中目标物定位方法包括:获取场景图以及图像采集设备的安装位置;根据所述安装位置,查找目标瓦片地图,基于所述目标瓦片地图,确定目标地图图像;建立所述场景图与所述目标地图图像的映射关系;从所述场景图中检测所述目标物的第一位置信息,并根据所述第一位置信息与所述映射关系,确定所述目标物在所述目标地图图像中的第二位置信息;基于所述第二位置信息,确定所述目标物的定位结果。通过建立拍摄得到的场景图与由高精度的瓦片地图组成的目标地图图像的映射关系,将场景图中检测到的目标物的位置信息映射到高精度的目标地图图像中,从而得到更为准确的目标物定位结果,提高了目标物定位精度。

Description

目标物定位方法以及装置
技术领域
本说明书实施例涉及计算机视觉技术领域,特别涉及一种目标物定位方法。
背景技术
目标定位是计算机视觉领域中里非常重要的基础研究之一。其研究的目标就是通过图像信息、视频信息、空间信息等来对环境进行感知,从而对物体进行识别定位,理解场景所表达的信息,例如室内环境识别定位食品、家具等,室外识别定位车辆、行人等等。
目前,现有在室外所使用的定位技术主要依靠全球导航卫星系统(GNSS,GlobalNavigation Satellite System)来实现,但由于GNSS提供的民用标准定位服务定位精度不足10米,无法满足日常应用对定位精度越来越高的要求。因此,亟需一种精度更高的目标定位方法。
发明内容
有鉴于此,本说明书实施例提供了一种目标物定位方法。本说明书一个或者多个实施例同时涉及一种目标物定位装置,一种电子设备,一种计算机可读存储介质以及一种计算机程序,以解决现有技术中存在的技术缺陷。
根据本说明书实施例的第一方面,提供了一种目标物定位方法,包括:
获取场景图以及图像采集设备的安装位置,其中,场景图为图像采集设备对目标物的运动场景采集得到;
根据安装位置,查找目标瓦片地图,基于目标瓦片地图,确定目标地图图像;
建立场景图与目标地图图像的映射关系;
从场景图中检测目标物的第一位置信息,并根据第一位置信息与映射关系,确定目标物在目标地图图像中的第二位置信息;
基于第二位置信息,确定目标物的定位结果。
根据本说明书实施例的第二方面,提供了一种目标物定位装置,包括:
获取模块,被配置为获取场景图以及图像采集设备的安装位置,其中,场景图为图像采集设备对目标物的运动场景采集得到;
图像确定模块,被配置为根据安装位置,查找目标瓦片地图,基于目标瓦片地图,确定目标地图图像;
建立模块,被配置为建立场景图与目标地图图像的映射关系;
位置确定模块,被配置为从场景图中检测目标物的第一位置信息,并根据第一位置信息与映射关系,确定目标物在目标地图图像中的第二位置信息;
定位模块,被配置为基于第二位置信息,确定目标物的定位结果。
根据本说明书实施例的第三方面,提供了一种目标物定位方法,应用于增强现实设备,包括:
获取增强现实设备所处场景的场景图;
根据增强现实设备的当前位置,查找目标瓦片地图,基于目标瓦片地图,确定目标地图图像;
建立场景图与目标地图图像的映射关系;
从场景图中检测目标物的第一位置信息,并根据第一位置信息与映射关系,确定目标物在目标地图图像中的第二位置信息;
基于第二位置信息,确定目标物的定位结果。
根据本说明书实施例的第四方面,提供了一种目标物定位方法,应用于车载设备,包括:
获取车载设备所处场景的场景图;
根据车载设备的当前位置,查找目标瓦片地图,基于目标瓦片地图,确定目标地图图像;
建立场景图与目标地图图像的映射关系;
从场景图中检测目标物的第一位置信息,并根据第一位置信息与映射关系,确定目标物在目标地图图像中的第二位置信息;
基于第二位置信息,确定目标物的定位结果。
根据本说明书实施例的第五方面,提供了一种电子设备,包括:
存储器和处理器;
所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令,该计算机可执行指令被处理器执行时实现上述第一方面或第三方面或第四方面提供的目标物定位方法。
根据本说明书实施例的第六方面,提供了一种计算机可读存储介质,其存储有计算机可执行指令,该计算机可执行指令被处理器执行时实现上述第一方面或第三方面或第四方面提供的目标物定位方法。
根据本说明书实施例的第七方面,提供了一种计算机程序,其中,当该计算机程序在计算机中执行时,令计算机执行上述第一方面或第三方面或第四方面提供的目标物定位方法。
本说明书一个实施例通过获取场景图以及图像采集设备的安装位置,其中,场景图为图像采集设备对目标物的运动场景采集得到;根据安装位置,查找目标瓦片地图,基于目标瓦片地图,确定目标地图图像;建立场景图与目标地图图像的映射关系;从场景图中检测目标物的第一位置信息,并根据第一位置信息与映射关系,确定目标物在目标地图图像中的第二位置信息;基于第二位置信息,确定目标物的定位结果。通过建立拍摄得到的场景图与由高精度的瓦片地图组成的目标地图图像的映射关系,将场景图中检测到的目标物的位置信息映射到高精度的目标地图图像中,从而得到更为准确的目标物定位结果,提高了目标物定位精度。
附图说明
图1是本说明书一个实施例提供的一种目标物定位方法的流程图;
图2是本说明书一个实施例提供的一种目标物定位方法中划定图像采集设备的目标采集范围的过程示意图;
图3是本说明书一个实施例提供的一种目标物定位方法中计算变换矩阵方法的流程图;
图4是本说明书一个实施例提供的一种目标物定位方法的框架处理流程图;
图5是本说明书一个实施例提供的一种目标物定位方法的处理过程流程图;
图6A是本说明书一个实施例提供的一种目标物定位方法应用于道路场景下的场景图;
图6B是本说明书一个实施例提供的一种目标物定位方法应用于道路场景下前景过滤后的场景图;
图7是本说明书一个实施例提供的一种应用于增强现实设备的目标物定位方法的流程图;
图8是本说明书一个实施例提供的一种应用于车载设备的目标物定位方法的流程图;
图9是本说明书一个实施例提供的一种目标物定位装置的结构示意图;
图10是本说明书一个实施例提供的一种应用于增强现实设备的目标物定位装置的结构示意图;
图11是本说明书一个实施例提供的一种应用于车载设备的目标物定位装置的结构示意图;
图12是本说明书一个实施例提供的一种电子设备的结构框图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本说明书内涵的情况下做类似推广,因此本说明书不受下面公开的具体实施的限制。
在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本说明书一个或多个实施例范围的情况下,第一也可以被称为第二,类似地,第二也可以被称为第一。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
首先,对本说明书一个或多个实施例涉及的名词术语进行解释。
计算机视觉(Computer Vision):一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和计算机代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图像处理,用计算机处理成为更适合人眼观察或传送给仪器检测的图像。作为一门科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。
瓦片地图:由一张一张的正方形小图片拼接成的地图。
将一定范围内的地图按照一定的尺寸和格式,按缩放级别或者比例尺,切成若干行和列的正方形栅格图片,对切片后的正方形栅格图片被形象的称为瓦片。瓦片地图经瓦片地图金字塔模型得到,瓦片地图金字塔模型是一种多分辨率层次模型。从瓦片金字塔的底层到顶层,分辨率越来越低,但表示的地理范围不变。越来越多的地图服务用到瓦片技术,切片之后的地图瓦片是栅格图像,并不具备定位信息,不过切片运用了相关切片算法之后,可以计算出具体定位的位置。例如采用世界大地测量系统(WGS84,World GeodeticSystem 1984)大地坐标系为空间参考,对地图进行切片,采用一定的切片算法,例如用经纬度步长等比例分割形成地图瓦片,当需要对一个具体地方进行定位时,可以根据经纬度步长来计算具体位置,以此来达到定位的功能。
瓦片数据:是指多个瓦片地图的数据集。
瓦片数据是指将矢量或影像数据进行预处理,采用高效的缓存机制(如金字塔)形成的缓存图像集。瓦片数据中存储的是按照预设命名规则进行命名的多个规格相同的瓦片地图。
经纬度:经纬度是经度与纬度的合称组成一个坐标系统,称为地理坐标系统,它是一种利用三度空间的球面来定义地球上的空间的球面坐标系统,能够标示地球上的任何一个位置。
单应矩阵:单应(Homography)是射影几何中的概念,又称为射影变换。它把一个射影平面上的点(三维齐次矢量)映射到另一个射影平面上,并且把直线映射为直线。总的来说,单应是关于三维齐次矢量的一种线性变换,可以用一个3×3的非奇异矩阵H表示。
目标检测(Object Detection):目标检测的任务是找出图像中所有感兴趣的目标(物体),确定它们的类别和位置,是计算机视觉领域的核心问题之一。
目前,现有技术中心通常使用以下两种方式进行目标定位,其中一种目标定位方法是利用离线地图与在线感知信息的配合从而实现车辆的定位,离线地图记录车辆行驶区域的道路交通信息、在线感知信息包括车道线和道路边界,车辆在行驶区域行驶时,根据导航系统给出的定位信息确定车辆的大概位置,从而获取车辆的定位信息位置附近的局部地图。通过车载传感器检测车辆前方的车道线和两边的道路边界,确定车辆与车道线、道路边界的相对位置,将该相对位置与离线地图中对应的位置进行比对,计算比对后车辆位置的偏差,修正误差,来实现车辆定位,但该方法依赖车载传感器对车道线与道路边界的感知,且定位效果也较大程度的受车载传感器的影响,定位成本也过高。
另外一种目标定位方法是基于矢量地图与图像信息进行车辆定位的方法,先采集道路的路面信息与车辆的运动信息,然后将采集到的路面图像信息通过逆透视的变换方法转换成俯视图,将该俯视图与矢量地图进行匹配,确定俯视图在矢量地图中的位置,然后根据车辆在俯视图中的位置确定车辆在矢量地图中的位置,从而确定车辆的位姿信息。但该方法操作过程较为繁琐,而且定位前首先需要采集路面图像信息,并将其转换为俯视图,转换的效果将直接影响最终车辆的定位效果,进一步地,当路面信息较为单一时,路面图像信息与矢量地图的匹配效果可能会下降,从而影响定位的精度。
因此,亟需一种能够实现高精度、低成本且操作简单的目标物定位方法。
在本说明书中,提供了一种目标物定位方法,本说明书同时涉及一种目标物定位装置,一种电子设备,以及一种计算机可读存储介质,在下面的实施例中逐一进行详细说明。
参见图1,图1示出了本说明书一个实施例提供的一种目标物定位方法的流程图,具体包括以下步骤。
步骤102:获取场景图以及图像采集设备的安装位置,其中,所述场景图为所述图像采集设备对目标物的运动场景采集得到。
具体地,场景图是指由图像采集设备对目标物的运动场景采集得到的场景图,比如拍摄的照片、拍摄的视频中的视频帧等等。目标物是指需要进行定位的物体,比如目标物可以是行驶的车辆、移动的人等等。目标物的运动场景是指目标物移动的场景,在道路场景中,可以是指目标车辆在道路行驶的场景。图像采集设备是指带有拍摄功能的,可对涉及物体外部形象的相关信息进行采集以供后续处理的设备,比如在道路场景中,可以是指安装在道路特定位置的枪机,可以对道路行驶的车辆、行人等移动的目标物进行采集。图像采集设备的安装位置是指图像采集设备安装在道路两边的安装位置或者安装在路中间高处的安装位置等等,具体根据实际情况进行选择,本说明书实施例对此不做任何限定。
示例性地,目标车辆在公路上行驶的场景下,将安装在路边的摄像机拍摄到的目标车辆及其背景图作为场景图。
需要说明的是,场景图的获取方式有很多种,一种可能的实现方式中,图像采集设备可以按照预先设定的时间间隔,周期性的对场景图进行采集,比如在道路上,图像采集设备按照每10ms一次对路面行驶的某一车辆进行拍摄采集,从而确定目标车辆在某特定时间间隔内行驶的距离,判断目标车辆是否有未按规定的速度行驶、发生交通事故、拥堵等异常的情况发生。
另一种可能的实现方式中,可以是图像采集设备中安装有感应装置,当有移动物进入到图像采集设备的采集范围内,图像采集设备将进行抓拍、录屏等,实现对场景图的采集,比如在道路上,某一图像采集设备安装在固定位置,有一辆车从远方驶来,在刚进入图像采集设备的采集范围时,该图像采集设备的感应装置感应到有移动的车辆进入,即进行抓拍,对场景图进行采集。
应用本说明书实施例的方案,通过获取图像采集设备的安装位置与图像采集设备对目标物的运动场景采集到的场景图,使得后续可以依据获取到的图像采集设备的安装位置确定安装位置对应的目标地图图像,进一步地,根据场景图与图像采集设备的安装位置确定出目标地图图像,以便于在建立出映射关系后,依据映射关系可以确定出目标物的精确位置。
步骤104:根据所述安装位置,查找目标瓦片地图,基于所述目标瓦片地图,确定目标地图图像。
具体地,目标瓦片地图是指以图像采集设备的安装位置为基准,与图像采集设备的目标采集范围相对应的瓦片地图。目标地图图像是指由目标瓦片地图组合生成的地图图像,比如可以是将目标瓦片地图按照查找时其原有的拼接方式进行拼接得到目标地图图像,也可以是将目标瓦片地图进行合成,来得到目标地图图像。
示例性地,安装在道路边的图像采集设备,根据图像采集设备的目标采集范围,查找到对应的目标瓦片地图,将目标瓦片地图进行拼接即可以得到对应的目标地图图像。
应用本说明书实施例的方案,根据图像采集设备的安装位置,确定出目标瓦片地图,然后根据瓦片地图确定出目标地图图像,使得后续建立映射关系的场景图与目标地图图像都是以图像采集设备的安装位置为纽带,极大提高了建立映射关系的效率。
在一种可选的实施方式中,根据所述安装位置,查找目标瓦片地图的步骤,包括如下具体步骤:
根据所述安装位置,确定所述图像采集设备的目标采集范围;
基于所述目标采集范围,从预先生成的瓦片数据中查找所述目标采集范围覆盖的目标瓦片地图。
具体地,目标采集范围是指图像采集设备对应的采集范围,可以是根据多个图像采集设备所负责的区域进行均匀划分得到的;还可以是根据图像采集设备的安装位置,按照图像采集设备的视野方向划定范围;另外也可以是根据图像采集设备的安装位置,按照以图像采集设备的安装位置为中心划定预设距离的范围。瓦片数据是指将矢量或影像数据进行预处理,采用高效的缓存机制(如金字塔)形成的缓存图片集,采用“级、行、列”方式进行组织,可在网页中快速加载。另外瓦片数据中存储的是按照预设命名规则进行命名的多个规格相同的图像,即多个规格相同的瓦片地图。
需要说明的是,在确定出图像采集设备的目标采集范围之后,从瓦片数据中查找到以图像采集设备的安装位置为基准,与目标采集范围对应范围内的瓦片地图作为目标瓦片地图,具体根据实际情况进行选择,本说明书实施例对此不做任何限定。
示例性地,如图2所示,图2示出了本说明书一个实施例提供的一种目标物定位方法中划定图像采集设备的目标采集范围的过程示意图,在道路上,按照图像采集设备的安装位置,划定以所述安装位置为起点,视野方向的300米作为目标采集范围,从预先生成的瓦片数据中查找该目标采集范围对应的目标瓦片图像,其中确定目标采集范围后,道路中间有虚线,2条虚线之间距离加上1条虚线本身的长度为15米,则图像采集设备需要采集20组虚线作为目标采集范围。
应用本说明书实施例的方案,通过图像采集设备的安装位置,确定图像采集设备的目标采集范围,从而依据确定出来的目标采集范围,从瓦片数据中查找与所述目标采集范围覆盖的目标瓦片地图,使得场景图与目标地图图像之间的映射以目标采集设备的安装位置为纽带的方式,目标物的定位更加的准确,精度更高。
在一种可选的实施方式中,基于所述目标瓦片地图,确定目标地图图像的步骤,包括如下具体步骤:
将多个所述目标瓦片地图进行拼接,得到目标地图图像。
具体地,目标地图图像是以图像采集设备的安装位置为基准,与图像采集设备的目标采集范围相对应的地图图像,而瓦片地图是直接从瓦片数据中提取到的,一般情况下,瓦片地图的大小与目标采集范围的大小不一致,故需要将查找到的目标瓦片地图进行拼接,来得到目标地图图像。
需要说明的是,将目标瓦片地图进行拼接是指根据目标采集范围查找到目标采集范围覆盖的目标瓦片地图之后,将该些目标瓦片地图按照瓦片地图拼接规则以及按照目标采集范围的范围进行拼接,直至目标瓦片地图拼接成的目标地图图像的范围大小与目标采集范围相同,则拼接完成,其中拼接规则包括瓦片地图的属性、边缘的纹路、切片方式、命名规则等等。
示例性地,图像采集设备安装在道路边,确定出其目标采集范围是以其视野方向的300米范围,从瓦片数据中查找到与目标采集范围对应的目标瓦片地图为6个,则单独将该6个目标瓦片地图进行拼接,即可得到所需要的目标地图图像。
应用本说明书实施例的方案,通过将从瓦片数据中查找出来的多个目标瓦片进行拼接得到目标地图图像,使得后续在得到目标物在目标地图图像中的位置后,可以精确的计算出目标物的实际位置。
步骤106:建立所述场景图与所述目标地图图像的映射关系。
具体地,映射关系是比函数关系更广泛一些的数学概念,它就是一个集合到另一个集合的一种确定的对应关系,即从场景图到目标地图图像的对应关系。
需要说明的是,建立场景图与目标地图图像的映射关系是通过建立场景图中的关键点与目标地图图像的关键点之间的对应关系,从而得到场景图与目标地图图像之间的映射关系。
应用本说明书实施例的方案,通过建立所述场景图与所述目标地图图像的映射关系,实现了复杂的场景图中的数据到高精度瓦片地图确定出的目标地图图像的转换,使得目标物的位置确定操作更加的简单。
在一种可选的实施方式中,建立所述场景图与所述目标地图图像的映射关系的步骤,包括如下具体步骤:
获取所述场景图和所述目标地图图像中预先标注的关键点的关键点信息;
根据所述场景图和所述目标地图图像中对应位置的关键点的关键点信息,建立所述场景图与所述目标地图图像的映射关系。
具体地,关键点是2D图像、3D点云或者曲面模型上,可以通过定义检测标准来获取的具有稳定性、区别性的点集,又称兴趣点,关键点确定并不是一个独立的部分,它往往会更进一步的应用于特征描述、识别等等,比如,在道路中,关键点是指固定在道路中的物体,比如关键点可以是指道路中间的白虚线、路边固定的柱子等等。关键点信息是指可以表征关键点的信息,至少包括关键点的像素坐标、其他坐标系下的坐标,且场景图与目标地图图像中的关键点的坐标使用是同一种坐标系,具体根据实际情况进行选择,本说明书实施例对此不做任何限定。
需要说明的是,预先标注的关键点是指人工预先标注的关键点,比如道路中路边的虚线、路中间的箭头等等。根据场景图与目标地图图像中对应位置的关键点的关键点信息,建立场景图与目标地图图像的映射关系的方式有很多种,一种可能的实现方式中,分别预先标注场景图与目标地图图像中的关键点,将场景图中的关键点的关键点信息与目标地图图像中的关键点的关键点信息进行一一对应,形成多组关键点的关键点信息对,基于多组关键点的关键点信息对,建立场景图与目标地图图像的映射关系。另一种可能的实现方式中,分别预先标注场景图与目标地图图像中的关键点,根据场景图中的关键点的关键点信息与目标地图图像中的关键点的关键点信息直接进行对应,建立场景图与目标地图图像的映射关系。
示例性地,获取场景图中的关键点1的像素坐标、关键点2的像素坐标、关键点3的像素坐标,获取目标地图图像中的关键点4的像素坐标、关键点5的像素坐标、关键点6的像素坐标,场景图中的关键点1的像素坐标与目标地图图像中的关键点4的像素坐标相对应、场景图中的关键点2的像素坐标与目标地图图像中的关键点5的像素坐标相对应、场景图中的关键点3的像素坐标与目标地图图像中的关键点6的像素坐标相对应,则根据关键点的一一对应关系,确定场景图与目标地图图像之间的映射关系。
应用本说明书实施例的方案,通过获取场景图与目标地图图像中预先标注的关键点的关键点信息,并依据该些关键点的关键点信息,建立场景图与目标地图图像的映射关系,后续在确定出目标物在场景图中的位置后,可直接根据场景图与目标地图图像的映射关系确定目标物在目标地图图像中的位置信息,极大简化的计算过程。
在一种可选的实施方式中,如图3所示,图3示出了本说明书一个实施例提供的一种目标物定位方法中计算变换矩阵方法的流程图,其中,根据所述场景图和所述目标地图图像中对应位置的关键点的关键点信息,建立所述场景图与所述目标地图图像的映射关系的步骤,包括如下具体步骤:
根据所述场景图和所述目标地图图像中对应位置的关键点的关键点信息,计算所述场景图与所述目标地图图像的变换矩阵;
基于所述变换矩阵,确定所述场景图与所述目标地图图像的映射关系。
具体地,变换矩阵是指数学线性代数中的一个概念,在线性代数中,线性变换能够用矩阵表示,如果T是一个把Rn映射到Rm的线性变换,且x是一个具有n个元素的列向量,那么我们把m×n的矩阵A,称为T的变换矩阵,比如,变换矩阵包括单应矩阵、倍乘矩阵、倍加矩阵等等,具体根据实际情况进行选择,本说明书实施例对此不做任何限定。
需要说明的是,根据场景图和目标地图图像中对应位置的关键点的关键点信息,计算场景图与目标地图图像的变换矩阵,是通过跨平台计算机视觉和机器学习软件库中自带计算方法,将场景图和目标地图图像中对应位置的关键点的关键点信息作为输入,即可得到场景图与目标地图图像的变换矩阵。
示例性地,将场景图中的两个关键点的坐标pts1、pts2,与目标地图图像中两个关键点的坐标pts3、pts4,输入至跨平台计算机视觉和机器学习软件库,即可得到场景图与目标地图图像的变换矩阵,基于计算出的变换矩阵,即可得到场景图与目标地图图像之间的映射关系,其中,场景图中的两个关键点的坐标与目标地图图像中两个关键点的坐标一一对应,构成2组对应的关键点坐标。
应用本说明书实施例的方案,通过场景图与目标地图图像中的关键点的关键点信息,计算对应的变换矩阵,从而依据变化矩阵确定场景图与目标地图图像的映射关系。以便于后续可以实现在不改变目标物位置和形状的情况下,将目标物在图像中的位置到平面坐标系的变换,从而更进一步地实现对目标物位置的确定。
在一种可选的实施方式中,根据所述第一位置信息与所述映射关系,确定所述目标物在所述目标地图图像中的第二位置信息的步骤,包括如下具体步骤:
根据所述变换矩阵,对所述第一位置信息进行计算,得到所述目标物在所述目标地图图像中的第二位置信息。
具体地,第一位置信息是指目标物在场景图中的位置信息。第二位置信息是指目标物在目标地图图像中的位置信息。
需要说明的是,根据变换矩阵,对所述第一位置信息进行计算,得到目标物在目标地图图像中的第二位置信息,是将目标物在场景图中的第一位置信息中包含的坐标像素值与对应的变换矩阵相乘即可得到目标物在目标地图图像中的第二位置信息。
示例性地,根据场景图中的关键点1的关键点信息与目标地图图像中的关键点4的关键点信息的对应位置的对应关系、场景图中的关键点2的关键点信息与目标地图图像中的关键点5的关键点信息的对应位置的对应关系、场景图中的关键点3的关键点信息与目标地图图像中的关键点6的关键点信息的对应位置的对应关系,计算得到的场景图与目标地图图像的变换矩阵1,以及目标物在场景图中的第一位置信息包含的坐标像素值[x,y,1],将变换矩阵1与坐标像素值[x,y,1]相乘,得到第二位置信息对应的坐标像素值[x1,y1,z],从而确定第二位置信息。
应用本说明书实施例的方案,依据变换矩阵,可以通过计算的方式,在已知目标物在场景图中的位置信息的情况下,可以确定目标物在目标地图图像中的位置信息,进一步实现了目标物在图像中的位置到平面坐标系的变换,使得确定出来的目标物的位置精度更高。
在一种可选的实施方式中,建立所述场景图与所述目标地图图像的映射关系的步骤之前,还包括如下具体步骤:
对所述场景图进行前景过滤,获得前景过滤后的所述场景图。
具体地,对场景图进行前景过滤是指将场景图中遮挡关键点的移动物进行过滤,比如,对道路中遮挡了路中间白虚线的车辆或者行人进行过滤,使得作为关键点的白虚线显现出来。
需要说明的是,对场景图进行前景过滤的方式有很多种,一种可能的实现方式中,可以是对除场景图中固定的背景图之外的目标物进行识别,然后对识别出来的目标物进行过滤,使得过滤后的场景图中只有其本来固定的物体,使得关键点清晰可见、路边的柱子清晰可见等等。另一种可能的实现方式中,可以是对图像采集设备采集到的目标视频的每一视频帧进行分析,从而使得每一视频帧中都只包含有其本来固定的物体,比如,300帧图像的像素相加取平均值,得到去掉场景图中遮挡关键点的目标物的平均帧,即前景过滤后的场景图。
示例性地,对道路上路边的摄像头拍摄到的场景图进行过滤,使得场景图中遮挡关键点的车辆、行人、障碍物都被过滤掉,得到没有车辆、行人、障碍物等遮挡的场景图。
进一步需要说明的是,对场景图进行前景过滤,获得前景过滤后的场景图的步骤可以在根据所述安装位置,查找目标瓦片地图,基于所述目标瓦片地图,确定目标地图图像的步骤之前进行处理,也可以同时进行处理。
应用本说明书实施例的方案,在建立场景图与地图图像的映射关系之前,对场景图进行前景过滤,使得场景图中的关键点不被遮挡,后续可以直接通过场景图中的关键点进行映射关系的建立,极大地简化了映射关系的建立。
在一种可选的实施方式中,场景图为所述图像采集设备对目标物的运动场景进行视频采集得到的目标视频中的视频帧;对所述场景图进行前景过滤,获得前景过滤后的所述场景图的步骤,包括如下具体步骤:
采用平均帧方式,对所述目标视频中的各视频帧进行前景过滤,获得前景过滤后的所述场景图。
具体地,帧是指以帧称为单位的位图图像连续出现在显示器上的频率(速率),平均帧是指将图像的像素相加取平均值,比如,道路行驶的场景中,路边的摄像头采集到的目标车辆在路边行驶的画面作为场景图,通过平均帧的方式对场景图进行前景过滤,前景过滤后的场景图中去除掉了遮挡关键点的目标车辆、行人、障碍物等等,使得场景图中道路中的关键点不被遮挡。视频帧是组成视频图像的基本单位。
需要说明的是,场景图的获取方式有很多种,一种可能的实现方式中,可以是使用目标采集设备直接拍摄图像得到;另一种可能的实现方式中,可以是使用目标采集设备拍摄视频,视频中的每一帧都可以作为场景图。
应用本说明书实施例的方案,场景图是对图像采集设备采集到的视频的各视频帧进行平均帧的处理得到的,使得处理后的场景图中的关键点清晰可见,简化了后续依据关键点的关键点信息建立映射关系的处理。
步骤108:从所述场景图中检测所述目标物的第一位置信息,并根据所述第一位置信息与所述映射关系,确定所述目标物在所述目标地图图像中的第二位置信息。
具体地,根据场景图中检测到的目标物的第一位置信息与映射关系,确定目标物在目标地图图像中的第二位置信息,是基于预先根据场景图与目标地图图像之间的关键点的关键信息建立了映射关系,后续在根据目标物在场景图中的第一位置信息与映射关系,计算目标物在目标地图图像中的第二位置信息,可以将目标物在地图中的位置信息,通过映射的方式转换成图像坐标位置信息。
需要说明的是,从场景图中检测目标物的第一位置信息的方式可以是通过目标检测算法从场景图中检测目标物的第一位置信息,比如,目标检测算法包括传统的目标检测算法、基于深度学习的目标检测算法等等。
示例性地,利用CNN(卷积神经网络)检测从场景图中检测目标车辆的位置信息,然后根据目标车辆在场景图中的位置信息以及映射关系,确定出目标车辆在目标地图图像中的位置信息。
进一步,示例性地,根据目标车辆在场景图中的像素坐标,以及场景图与目标地图图像之间的单应矩阵,计算得到目标车辆在目标地图图像中的像素坐标,其中,
x:目标车辆在场景图中的位置信息,横坐标像素值;
y:目标车辆在场景图中的位置信息,纵坐标像素值;
X:目标车辆在目标地图图像中的位置信息,横坐标像素值;
Y:目标车辆在目标地图图像中的位置信息,纵坐标像素值;
Figure BDA0003684142770000111
场景图到目标地图图像的单应矩阵;
Figure BDA0003684142770000112
Figure BDA0003684142770000113
利用上述公式(1)-(2),即实现将目标物在场景图中的像素坐标到目标地图图像的像素坐标的转换,其中x1、y1、z都是在计算从场景图到目标地图图像的位置信息转换中的中间参数。
应用本说明书实施例的方案,先从场景图中检测出目标物的第一位置信息,然后基于第一位置信息与场景图和目标地图图像的映射关系,确定出目标物在第二地图图像中的第二位置信息,实现了将目标物从复杂的场景图中的位置信息到高精度的目标地图图像中位置信息的转换,使得最终确定出来的目标物的位置信息更加的准确。
步骤110:基于所述第二位置信息,确定所述目标物的定位结果。
具体地,第二位置信息是指目标物在目标地图图像中的位置信息,比如位置信息包含有像素坐标位置或在其他坐标系下的位置信息,其中,第二位置信息是通过目标物在场景图中的第一位置信息以及场景图与目标地图图像的映射关系计算得到的,使得目标物可以将位置信息,从复杂的场景图中的第一位置信息转换为高精度的目标地图图像中的第二位置信息,然后再基于高精度的第二位置信息确定目标物的定位结果。
示例性地,道路中,目标车辆在场景图中的第一像素坐标,通过变换矩阵,得到目标车辆在目标地图图像中的第二像素坐标,实现由复杂的地图数据的像素坐标到高精度的图像数据中的像素坐标的转换,然后基于第二像素坐标确定出目标车辆在世界坐标系下的经纬度坐标。
需要说明的是,根据第二位置信息确定目标物的定位结果的确定方式可以是通过目标物在地图图像中的像素坐标确定出目标物世界坐标系下的经纬度坐标,其中,具体计算过程分为两个步骤,首先根据目标物在目标地图图像中的横坐标与目标物在目标地图图像中的像素横坐标计算出目标物在世界坐标系下的经度坐标;然后根据目标物在目标地图图像中的纵坐标与目标物在目标地图图像中的像素纵坐标计算出目标物在世界坐标系下的纬度坐标,计算出来的经度坐标与纬度坐标即为目标物的最终定位结果,如下述式(3)与式(4)。
目标物在目标地图图像中所处的目标瓦片地图的坐标(tileX,tileY);目标物所处的瓦片地图的像素坐标(pixelX,pixelY);有目标物所处的瓦片地图的坐标以及像素坐标计算得到对应的经纬度坐标(经度坐标lng,纬度坐标lat);Level是指瓦片地图所处的等级,瓦片地图坐标最小等级为0级,此时平面地图是一个像素为256*256的瓦片。在某一瓦片地图层级Level下,瓦片地图坐标的X轴和Y轴各有2Level个瓦片编号。
Figure BDA0003684142770000121
Figure BDA0003684142770000122
示例性地,若目标物在目标地图图像中所处的目标瓦片地图的坐标为(a,b),像素坐标为(c,d),目标瓦片地图的等级为e,则经度与纬度分别为:
Figure BDA0003684142770000123
Figure BDA0003684142770000124
应用本说明书实施例的方案,基于目标物在目标地图图像中的第二位置信息,确定出目标物最终的定位结果,实现了将目标物从复杂的场景图中的位置信息到高精度的目标地图图像中位置信息的转换,使得最终确定出来的目标物的位置信息更加的准确。
应用本说明书实施例,通过获取场景图以及图像采集设备的安装位置,其中,场景图为图像采集设备对目标物的运动场景采集得到;根据安装位置,查找目标瓦片地图,基于目标瓦片地图,确定目标地图图像;建立场景图与目标地图图像的映射关系;从场景图中检测目标物的第一位置信息,并根据第一位置信息与映射关系,确定目标物在目标地图图像中的第二位置信息;基于第二位置信息,确定目标物的定位结果。通过建立拍摄得到的场景图与由高精度的瓦片地图组成的目标地图图像的映射关系,将场景图中检测到的目标物的位置信息映射到高精度的目标地图图像中,从而得到更为准确的目标物定位结果,提高了目标物定位精度。并且,仅需在实际的定位场景中安装图像采集设备即可实现目标物的准确定位,实施简单、成本低廉,可广泛应用于需要准确定位目标物的场景。
应用本说明书实施例的方案,如图4所示,图4示出了本说明书一个实施例提供的一种目标物定位方法的框架处理流程图,具体包括以下步骤。
步骤402:获取场景图。
步骤404:获取场景图对应拍摄范围的高精度地图图像。
步骤406:建立场景图与高精度地图图像间的映射关系。
步骤408:根据目标车辆在场景图中的位置,计算其在高精度地图图像中的位置。
步骤410:根据目标车辆在高精度地图图像中的位置,计算目标经纬度。
应用本说明书实施例,通过获取场景图以及图像采集设备的安装位置,其中,场景图为图像采集设备对目标物的运动场景采集得到;根据安装位置,查找目标瓦片地图,基于目标瓦片地图,确定目标地图图像;建立场景图与目标地图图像的映射关系;从场景图中检测目标物的第一位置信息,并根据第一位置信息与映射关系,确定目标物在目标地图图像中的第二位置信息;基于第二位置信息,确定目标物的定位结果。通过建立拍摄得到的场景图与由高精度的瓦片地图组成的目标地图图像的映射关系,将场景图中检测到的目标物的位置信息映射到高精度的目标地图图像中,从而得到更为准确的目标物定位结果,提高了目标物定位精度。并且,仅需在实际的定位场景中安装图像采集设备即可实现目标物的准确定位,实施简单、成本低廉,可广泛应用于需要准确定位目标物的场景。
需要说明的是,应用本说明书实施例的方案,还可以接入毫米波雷达数据,通过解析毫米波雷达输出的目标车辆位置信息,将雷达数据与场景图进行匹配,再根据场景图与目标地图图像的映射关系确定出目标车辆在目标地图图像中的位置信息,然后确定出目标物的经纬度坐标,但由于雷达设备的成本较高,且操作步骤的增加,雷达数据的稳定性也与环境有很大关系。故若想更进一步地提高目标物的定位精度时,可以使用上述公开的引入雷达设备的方式。
需要说明的是,本说明书提供的目标物定位方法,应用于多种场景下的目标物定位过程,如道路行驶场景下、商场场景下,当然还可以应用于其他场景下,本说明书对目标物定位方法的应用场景不进行限定。
下述结合附图5、图6A、图6B以本说明书提供的目标物定位方法在道路行驶场景下的应用为例,对所述目标物定位方法进行进一步说明。其中,图5示出了本说明书一个实施例提供的一种目标物定位方法的处理过程流程图,图6A示出了本说明书一个实施例提供的一种目标物定位方法应用于道路场景下场景图的示意图,图6B示出了本说明书一个实施例提供的一种目标物定位方法应用于道路场景下前景过滤后的场景图的示意图,具体包括以下步骤。
步骤502:图像采集设备对行驶中的目标车辆进行视频采集,得到目标视频中的视频帧。
上述目标视频中的视频帧如图6A示意图所示。
具体地,图像采集设备可以是直接采集视频,然后基于视频的视频帧进行处理,也可以是通过图像采集设备进行拍摄,得到目标图像,基于目标图像进行处理。
步骤504:采用平均帧的方式对视频帧进行前景过滤,获得过滤后的场景图。
上述过滤后的场景图如图6B示意图所示。
具体地,才用平均帧的方式对视频帧进行过滤是为了取出视频帧中遮挡关键点的目标车辆、行人、障碍物等等,关键点是指路边的虚线、路中间的箭头、路两侧的柱子等等。
步骤506:获取图像采集设备的安装位置。
步骤508:根据安装位置,从瓦片数据中查找与场景图对应的目标瓦片地图。
具体地,根据图像采集设备的安装位置,从瓦片数据中查找与场景图对应的目标瓦片地图,一种可能的实现方式是,以安装位置为圆心划定圆圈为目标采集范围,另一种实现方式是以目标采集设备的视野方向设定距离划定目标采集范围,还有一种实现方式是以多个目标采集设备对某区域范围进行均匀、按比例、目标采集设备的适用范围进行划分,作为目标采集范围,然后按照目标采集范围从瓦片数据中查找目标瓦片地图。
步骤510:将所述多个瓦片地图进行拼接,得到目标地图图像。
具体地,将多个瓦片地图进行拼接是指按照瓦片地图的属性、瓦片地图边缘的纹路、瓦片地图的切片方式以及瓦片的命名规则进行拼接,从而得到目标地图图像。
步骤512:分别获取场景图与目标地图图像预先由人工标记的路边的虚线与路中心的箭头的信息。
步骤514:根据场景图中的虚线与路中心的箭头的信息与目标地图图像中的虚线与路中心的箭头的信息,计算场景图与目标地图图像之间的变换矩阵。
步骤516:基于变换矩阵,确定场景图与目标地图图像之间的映射关系。
步骤518:从场景图中确定目标车辆的第一位置信息,并根据映射关系中的变换矩阵与第一位置信息进行计算,得到目标车辆在目标地图图像中的经纬度坐标。
图6A与图6B中,“Ot”是指目标车辆的种类,如Trunk;“rid”是指需要过滤的目标车辆的数量,如3;“O”是指实物,如real;“Tid”是指梯度,如130;“Dis”是指目标车辆在场景图中目标采集范围内的距离,如282.9、242.5、189.4;“虚线侧的‘·数字’”是指在目标采集范围下距离的划定,即距离刻度;图6A中的“车前的黑点”与图6B中的“黑点”相对应。
应用本说明书实施例的方案,通过获取场景图以及图像采集设备的安装位置,其中,场景图为图像采集设备对目标物的运动场景采集得到;根据安装位置,查找目标瓦片地图,基于目标瓦片地图,确定目标地图图像;建立场景图与目标地图图像的映射关系;从场景图中检测目标物的第一位置信息,并根据第一位置信息与映射关系,确定目标物在目标地图图像中的第二位置信息;基于第二位置信息,确定目标物的定位结果。通过建立拍摄得到的场景图与由高精度的瓦片地图组成的目标地图图像的映射关系,将场景图中检测到的目标物的位置信息映射到高精度的目标地图图像中,从而得到更为准确的目标物定位结果,提高了目标物定位精度。并且,仅需在实际的定位场景中安装图像采集设备即可实现目标物的准确定位,实施简单、成本低廉,可广泛应用于需要准确定位目标物的场景。
需要说明的是,该目标物定位方法的技术方案与上述图1示出的目标物定位方法的技术方案属于同一构思,该目标物定位方法的技术方案未详细描述的细节内容,均可以参见图1示出的目标物定位方法的技术方案的描述。
参见图7,图7示出了本说明书一个实施例提供的一种应用于增强现实设备的目标物定位方法的流程图,具体包括以下步骤。
步骤702:获取所述增强现实设备所处场景的场景图。
具体地,场景图可以是增强现实设备对自身所处场景进行图像采集得到的,也可以是其他的图像采集设备对增强实现设备所处场景进行图像采集得到。增强现实(AR,Augmented Reality)设备是指具有将虚拟信息与真实世界进行融合的技术的设备,比如使用增强现实技术的手机、使用增强现实技术的眼镜等等。
应用本说明书实施例的方案,通过获取增强现实设备所处场景的场景图,使得后续可以依据获取到的增强现实设备当前位置确定与当前位置对应的目标地图图像,进一步地,根据场景图与增强现实设备的当前位置确定出目标地图图像,以便于在建立出映射关系后,依据映射关系可以确定出目标物的精确位置。
步骤704:根据所述增强现实设备的当前位置,查找目标瓦片地图,基于所述目标瓦片地图,确定目标地图图像。
具体地,目标瓦片地图是指以增强现实设备的当前位置为基准,与增强现实设备的目标采集范围相对应的瓦片地图。目标地图图像是指由目标瓦片地图组合生成的地图图像,比如可以是将目标瓦片地图按照查找时其原有的拼接方式进行拼接得到目标地图图像,也可以是将目标瓦片地图进行合成,来得到目标地图图像。
应用本说明书实施例的方案,根据增强现实设备的当前位置,确定出目标瓦片地图,然后根据瓦片地图确定出目标地图图像,使得后续建立映射关系的场景图与目标地图图像都是以增强现实设备的当前位置为纽带,极大简化了建立映射关系的步骤。
步骤706:建立所述场景图与所述目标地图图像的映射关系。
步骤708:从所述场景图中检测目标物的第一位置信息,并根据所述第一位置信息与所述映射关系,确定所述目标物在所述目标地图图像中的第二位置信息。
步骤710:基于所述第二位置信息,确定所述目标物的定位结果。
步骤706至步骤710与图1所示实施例中的步骤106至步骤110相同或相似,具体可见图1所示实施例,这里不再赘述。
应用本说明书实施例,通过获取增强现实设备所处场景的场景图;根据增强现实设备的当前位置,查找目标瓦片地图,基于目标瓦片地图,确定目标地图图像;建立场景图与目标地图图像的映射关系;从场景图中检测目标物的第一位置信息,并根据第一位置信息与映射关系,确定目标物在目标地图图像中的第二位置信息;基于第二位置信息,确定目标物的定位结果。通过建立拍摄得到的场景图与由高精度的瓦片地图组成的目标地图图像的映射关系,将场景图中检测到的目标物的位置信息映射到高精度的目标地图图像中,从而得到更为准确的目标物定位结果,提高了目标物定位精度。
参见图8,图8示出了本说明书一个实施例提供的一种应用于车载设备的目标物定位方法的流程图,具体包括以下步骤。
步骤802:获取所述车载设备所处场景的场景图。
具体地,场景图可以是车载设备对车辆行驶场景进行图像采集得到的,也可以是车辆上的图像采集设备对车载设备所处场景进行图像采集得到。车载设备是指在汽车上使用的设备,方便对汽车的行驶数据进行分析,比如行车记录仪等等。
应用本说明书实施例的方案,通过获取车载设备所处场景的场景图,使得后续可以依据获取到的车载设备当前位置确定与当前位置对应的目标地图图像,进一步地,根据场景图与车载设备的当前位置确定出目标地图图像,以便于在建立出映射关系后,依据映射关系可以确定出目标物的精确位置。
步骤804:根据所述车载设备的当前位置,查找目标瓦片地图,基于所述目标瓦片地图,确定目标地图图像。
具体地,目标瓦片地图是指以车载设备的当前位置为基准,与车载设备的目标采集范围相对应的瓦片地图。目标地图图像是指由目标瓦片地图组合生成的地图图像,比如可以是将目标瓦片地图按照查找时其原有的拼接方式进行拼接得到目标地图图像,也可以是将目标瓦片地图进行合成,来得到目标地图图像。
应用本说明书实施例的方案,根据车载设备的当前位置,确定出目标瓦片地图,然后根据瓦片地图确定出目标地图图像,使得后续建立映射关系的场景图与目标地图图像都是以车载设备的当前位置为纽带,极大简化了建立映射关系的步骤。
步骤806:建立所述场景图与所述目标地图图像的映射关系。
步骤808:从所述场景图中检测目标物的第一位置信息,并根据所述第一位置信息与所述映射关系,确定所述目标物在所述目标地图图像中的第二位置信息。
步骤810:基于所述第二位置信息,确定所述目标物的定位结果。
步骤806至步骤810与图1所示实施例中的步骤106至步骤110相同或相似,具体可见图1所示实施例,这里不再赘述。
应用本说明书实施例,通过获取车载设备所处场景的场景图;根据车载设备的当前位置,查找目标瓦片地图,基于目标瓦片地图,确定目标地图图像;建立场景图与目标地图图像的映射关系;从场景图中检测目标物的第一位置信息,并根据第一位置信息与映射关系,确定目标物在目标地图图像中的第二位置信息;基于第二位置信息,确定目标物的定位结果。通过建立拍摄得到的场景图与由高精度的瓦片地图组成的目标地图图像的映射关系,将场景图中检测到的目标物的位置信息映射到高精度的目标地图图像中,从而得到更为准确的目标物定位结果,提高了目标物定位精度。
与上述图1对应的目标物定位方法实施例相对应,本说明书还提供了目标物定位装置实施例,图9示出了本说明书一个实施例提供的一种目标物定位装置的结构示意图。如图9所示,该装置包括:
获取模块902,被配置为获取场景图以及图像采集设备的安装位置,其中,场景图为图像采集设备对目标物的运动场景采集得到;
图像确定模块904,被配置为根据安装位置,查找目标瓦片地图,基于目标瓦片地图,确定目标地图图像;
建立模块906,被配置为建立场景图与目标地图图像的映射关系;
位置确定模块908,被配置为从场景图中检测目标物的第一位置信息,并根据第一位置信息与映射关系,确定目标物在目标地图图像中的第二位置信息;
定位确定模块910,被配置为基于第二位置信息,确定目标物的定位结果。
可选地,图像确定模块904,进一步被配置为根据所述安装位置,确定所述图像采集设备的目标采集范围;基于所述目标采集范围,从预先生成的瓦片数据中查找所述目标采集范围覆盖的目标瓦片地图。
可选地,图像确定模块904,进一步被配置为将多个所述目标瓦片地图进行拼接,得到目标地图图像。
可选地,建立模块906,进一步被配置为获取所述场景图和所述目标地图图像中预先标注的关键点的关键点信息;根据所述场景图和所述目标地图图像中对应位置的关键点的关键点信息,建立所述场景图与所述目标地图图像的映射关系。
可选地,建立模块906,进一步被配置为根据所述场景图和所述目标地图图像中对应位置的关键点的关键点信息,计算所述场景图与所述目标地图图像的变换矩阵;基于所述变换矩阵,确定所述场景图与所述目标地图图像的映射关系。
可选地,位置确定模块908,进一步被配置为根据所述变换矩阵,对所述第一位置信息进行计算,得到所述目标物在所述目标地图图像中的第二位置信息。
可选地,该装置还包括:
过滤模块,被配置为对所述场景图进行前景过滤,获得前景过滤后的所述场景图。
可选地,过滤模块,进一步被配置为采用平均帧方式,对所述目标视频中的各视频帧进行前景过滤,获得前景过滤后的所述场景图。
应用本说明书实施例,通过获取场景图以及图像采集设备的安装位置,其中,场景图为图像采集设备对目标物的运动场景采集得到;根据安装位置,查找目标瓦片地图,基于目标瓦片地图,确定目标地图图像;建立场景图与目标地图图像的映射关系;从场景图中检测目标物的第一位置信息,并根据第一位置信息与映射关系,确定目标物在目标地图图像中的第二位置信息;基于第二位置信息,确定目标物的定位结果。通过建立拍摄得到的场景图与由高精度的瓦片地图组成的目标地图图像的映射关系,将场景图中检测到的目标物的位置信息映射到高精度的目标地图图像中,从而得到更为准确的目标物定位结果,提高了目标物定位精度。并且,仅需在实际的定位场景中安装图像采集设备即可实现目标物的准确定位,实施简单、成本低廉,可广泛应用于需要准确定位目标物的场景。
上述为本实施例的一种目标物定位装置的示意性方案。需要说明的是,该目标物定位装置的技术方案与上述图1对应的目标物定位方法的技术方案属于同一构思,目标物定位装置的技术方案未详细描述的细节内容,均可以参见上述目标物定位方法的技术方案的描述。
与上述图7对应的目标物定位方法实施例相对应,本说明书还提供了目标物定位装置实施例,图10示出了本说明书一个实施例提供的一种应用于增强现实设备的目标物定位装置的结构示意图。如图10所示,该装置包括:
第二获取模块1002,被配置为获取所述增强现实设备所处场景的场景图;
第二图像确定模块1004,被配置为根据所述增强现实设备的当前位置,查找目标瓦片地图,基于所述目标瓦片地图,确定目标地图图像;
第二建立模块1006,被配置为建立场景图与目标地图图像的映射关系;
第二位置确定模块1008,被配置为从场景图中检测目标物的第一位置信息,并根据第一位置信息与映射关系,确定目标物在目标地图图像中的第二位置信息;
第二定位确定模块1010,被配置为基于第二位置信息,确定目标物的定位结果。
应用本说明书实施例,通过获取增强现实设备所处场景的场景图;根据增强现实设备的当前位置,查找目标瓦片地图,基于目标瓦片地图,确定目标地图图像;建立场景图与目标地图图像的映射关系;从场景图中检测目标物的第一位置信息,并根据第一位置信息与映射关系,确定目标物在目标地图图像中的第二位置信息;基于第二位置信息,确定目标物的定位结果。通过建立拍摄得到的场景图与由高精度的瓦片地图组成的目标地图图像的映射关系,将场景图中检测到的目标物的位置信息映射到高精度的目标地图图像中,从而得到更为准确的目标物定位结果,提高了目标物定位精度。
上述为本实施例的一种目标物定位装置的示意性方案。需要说明的是,该目标物定位装置的技术方案与上述图7对应的目标物定位方法的技术方案属于同一构思,目标物定位装置的技术方案未详细描述的细节内容,均可以参见上述目标物定位方法的技术方案的描述。
与上述图8对应的目标物定位方法实施例相对应,本说明书还提供了目标物定位装置实施例,图11示出了本说明书一个实施例提供的一种应用于车载设备的目标物定位装置的结构示意图。如图11所示,该装置包括:
第三获取模块1102,被配置为获取所述车载设备所处场景的场景图;
第三图像确定模块1104,被配置为根据所述车载设备的当前位置,查找目标瓦片地图,基于所述目标瓦片地图,确定目标地图图像;
第三建立模块1106,被配置为建立场景图与目标地图图像的映射关系;
第三位置确定模块1108,被配置为从场景图中检测目标物的第一位置信息,并根据第一位置信息与映射关系,确定目标物在目标地图图像中的第二位置信息;
第三定位确定模块1110,被配置为基于第二位置信息,确定目标物的定位结果。
应用本说明书实施例,通过获取车载设备所处场景的场景图;根据车载设备的当前位置,查找目标瓦片地图,基于目标瓦片地图,确定目标地图图像;建立场景图与目标地图图像的映射关系;从场景图中检测目标物的第一位置信息,并根据第一位置信息与映射关系,确定目标物在目标地图图像中的第二位置信息;基于第二位置信息,确定目标物的定位结果。通过建立拍摄得到的场景图与由高精度的瓦片地图组成的目标地图图像的映射关系,将场景图中检测到的目标物的位置信息映射到高精度的目标地图图像中,从而得到更为准确的目标物定位结果,提高了目标物定位精度。
上述为本实施例的一种目标物定位装置的示意性方案。需要说明的是,该目标物定位装置的技术方案与上述图8对应的目标物定位方法的技术方案属于同一构思,目标物定位装置的技术方案未详细描述的细节内容,均可以参见上述目标物定位方法的技术方案的描述。
图12示出了本说明书一个实施例提供的一种电子设备1200的结构框图。该电子设备1200的部件包括但不限于存储器1210和处理器1220。处理器1220与存储器1210通过总线1230相连接,数据库1250用于保存数据。
电子设备1200还包括接入设备1240,接入设备1240使得电子设备1200能够经由一个或多个网络1260通信。这些网络的示例包括公用交换电话网(PSTN,Public SwitchedTelephone Network)、局域网(LAN,Local Area Network)、广域网(WAN,Wide AreaNetwork)、个域网(PAN,Personal Area Network)或诸如因特网的通信网络的组合。接入设备1240可以包括有线或无线的任何类型的网络接口(例如,网络接口卡(NIC,NetworkInterface Card))中的一个或多个,诸如IEEE802.11无线局域网(WLAN,Wireless LocalArea Networks)无线接口、全球微波互联接入(Wi-MAX,World Interoperability forMicrowave Access)接口、以太网接口、通用串行总线(USB,Universal Serial Bus)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC,Near Field Communication)接口,等等。
在本说明书的一个实施例中,电子设备1200的上述部件以及图12中未示出的其他部件也可以彼此相连接,例如通过总线。应当理解,图12所示的电子设备结构框图仅仅是出于示例的目的,而不是对本说明书范围的限制。本领域技术人员可以根据需要,增添或替换其他部件。
电子设备1200可以是任何类型的静止或移动电子设备,包括移动计算机或移动电子设备(例如,平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如,智能手机)、可佩戴的电子设备(例如,智能手表、智能眼镜等)或其他类型的移动设备,或者诸如台式计算机或PC的静止电子设备。电子设备1200还可以是移动式或静止式的服务器。
其中,处理器1220用于执行如下计算机可执行指令,该计算机可执行指令被处理器执行时实现上述图1、图7或图8所示的目标物定位方法。
上述为本实施例的一种电子设备的示意性方案。需要说明的是,该电子设备的技术方案与上述图1、图7或图8所示的目标物定位方法的技术方案属于同一构思,电子设备的技术方案未详细描述的细节内容,均可以参见上述目标物定位方法的技术方案的描述。
本说明书一实施例还提供一种计算机可读存储介质,其存储有计算机可执行指令,该计算机可执行指令被处理器执行时实现上述图1、图7或图8所示的目标物定位方法。
应用本说明书实施例的方案,通过获取场景图以及图像采集设备的安装位置,其中,场景图为图像采集设备对目标物的运动场景采集得到;根据安装位置,查找目标瓦片地图,基于目标瓦片地图,确定目标地图图像;建立场景图与目标地图图像的映射关系;从场景图中检测目标物的第一位置信息,并根据第一位置信息与映射关系,确定目标物在目标地图图像中的第二位置信息;基于第二位置信息,确定目标物的定位结果。通过建立拍摄得到的场景图与由高精度的瓦片地图组成的目标地图图像的映射关系,将场景图中检测到的目标物的位置信息映射到高精度的目标地图图像中,从而得到更为准确的目标物定位结果,提高了目标物定位精度。并且,仅需在实际的定位场景中安装图像采集设备即可实现目标物的准确定位,实施简单、成本低廉,可广泛应用于需要准确定位目标物的场景。
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是,该存储介质的技术方案与上述的目标物定位方法的技术方案属于同一构思,存储介质的技术方案未详细描述的细节内容,均可以参见上述图1、图7或图8所示的目标物定位方法的技术方案的描述。
本说明书一实施例还提供一种计算机程序,其中,当所述计算机程序在计算机中执行时,令计算机执行上述图1、图7或图8所示的目标物定位方法。
应用本说明书实施例的方案,通过获取场景图以及图像采集设备的安装位置,其中,场景图为图像采集设备对目标物的运动场景采集得到;根据安装位置,查找目标瓦片地图,基于目标瓦片地图,确定目标地图图像;建立场景图与目标地图图像的映射关系;从场景图中检测目标物的第一位置信息,并根据第一位置信息与映射关系,确定目标物在目标地图图像中的第二位置信息;基于第二位置信息,确定目标物的定位结果。通过建立拍摄得到的场景图与由高精度的瓦片地图组成的目标地图图像的映射关系,将场景图中检测到的目标物的位置信息映射到高精度的目标地图图像中,从而得到更为准确的目标物定位结果,提高了目标物定位精度。并且,仅需在实际的定位场景中安装图像采集设备即可实现目标物的准确定位,实施简单、成本低廉,可广泛应用于需要准确定位目标物的场景。
上述为本实施例的一种计算机程序的示意性方案。需要说明的是,该计算机程序的技术方案与上述的目标物定位方法的技术方案属于同一构思,计算机程序的技术方案未详细描述的细节内容,均可以参见上述图1、图7或图8所示的目标物定位方法的技术方案的描述。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
所述计算机指令包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。
需要说明的是,对于前述的各方法实施例,为了简便描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本说明书实施例并不受所描述的动作顺序的限制,因为依据本说明书实施例,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定都是本说明书实施例所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。
以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施方式。显然,根据本说明书实施例的内容,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本说明书实施例的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。

Claims (13)

1.一种目标物定位方法,包括:
获取场景图以及图像采集设备的安装位置,其中,所述场景图为所述图像采集设备对目标物的运动场景采集得到;
根据所述安装位置,查找目标瓦片地图,基于所述目标瓦片地图,确定目标地图图像;
建立所述场景图与所述目标地图图像的映射关系;
从所述场景图中检测所述目标物的第一位置信息,并根据所述第一位置信息与所述映射关系,确定所述目标物在所述目标地图图像中的第二位置信息;
基于所述第二位置信息,确定所述目标物的定位结果。
2.根据权利要求1所述的方法,所述根据所述安装位置,查找目标瓦片地图,包括:
根据所述安装位置,确定所述图像采集设备的目标采集范围;
基于所述目标采集范围,从预先生成的瓦片数据中查找所述目标采集范围覆盖的目标瓦片地图。
3.根据权利要求1或2所述的方法,所述基于所述目标瓦片地图,确定目标地图图像,包括:
将多个所述目标瓦片地图进行拼接,得到目标地图图像。
4.根据权利要求1所述的方法,所述建立所述场景图与所述目标地图图像的映射关系,包括:
获取所述场景图和所述目标地图图像中预先标注的关键点的关键点信息;
根据所述场景图和所述目标地图图像中对应位置的关键点的关键点信息,建立所述场景图与所述目标地图图像的映射关系。
5.根据权利要求4所述的方法,所述根据所述场景图和所述目标地图图像中对应位置的关键点的关键点信息,建立所述场景图与所述目标地图图像的映射关系,包括:
根据所述场景图和所述目标地图图像中对应位置的关键点的关键点信息,计算所述场景图与所述目标地图图像的变换矩阵;
基于所述变换矩阵,确定所述场景图与所述目标地图图像的映射关系。
6.根据权利要求5所述的方法,所述根据所述第一位置信息与所述映射关系,确定所述目标物在所述目标地图图像中的第二位置信息,包括:
根据所述变换矩阵,对所述第一位置信息进行计算,得到所述目标物在所述目标地图图像中的第二位置信息。
7.根据权利要求1所述的方法,在所述建立所述场景图与所述目标地图图像的映射关系之前,还包括:
对所述场景图进行前景过滤,获得前景过滤后的所述场景图。
8.根据权利要求7所述的方法,所述场景图为所述图像采集设备对目标物的运动场景进行视频采集得到的目标视频中的视频帧;
所述对所述场景图进行前景过滤,获得前景过滤后的所述场景图,包括:
采用平均帧方式,对所述目标视频中的各视频帧进行前景过滤,获得前景过滤后的所述场景图。
9.一种目标物定位装置,包括:
获取模块,被配置为获取场景图以及图像采集设备的安装位置,其中,所述场景图为所述图像采集设备对目标物的运动场景采集得到;
图像确定模块,被配置为根据所述安装位置,查找目标瓦片地图,基于所述目标瓦片地图,确定目标地图图像;
建立模块,被配置为建立所述场景图与所述目标地图图像的映射关系;
位置确定模块,被配置为从所述场景图中检测所述目标物的第一位置信息,并根据所述第一位置信息与所述映射关系,确定所述目标物在所述目标地图图像中的第二位置信息;
定位模块,被配置为基于所述第二位置信息,确定所述目标物的定位结果。
10.一种目标物定位方法,应用于增强现实设备,包括:
获取所述增强现实设备所处场景的场景图;
根据所述增强现实设备的当前位置,查找目标瓦片地图,基于所述目标瓦片地图,确定目标地图图像;
建立所述场景图与所述目标地图图像的映射关系;
从所述场景图中检测目标物的第一位置信息,并根据所述第一位置信息与所述映射关系,确定所述目标物在所述目标地图图像中的第二位置信息;
基于所述第二位置信息,确定所述目标物的定位结果。
11.一种目标物定位方法,应用于车载设备,包括:
获取所述车载设备所处场景的场景图;
根据所述车载设备的当前位置,查找目标瓦片地图,基于所述目标瓦片地图,确定目标地图图像;
建立所述场景图与所述目标地图图像的映射关系;
从所述场景图中检测目标物的第一位置信息,并根据所述第一位置信息与所述映射关系,确定所述目标物在所述目标地图图像中的第二位置信息;
基于所述第二位置信息,确定所述目标物的定位结果。
12.一种电子设备,包括:
存储器和处理器;
所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令,该计算机可执行指令被处理器执行时实现权利要求1至8任意一项所述目标物定位方法、或者权利要求10所述目标物定位方法、或者权利要求11所述目标物定位方法。
13.一种计算机可读存储介质,其存储有计算机可执行指令,该计算机可执行指令被处理器执行时实现权利要求1至8任意一项所述目标物定位方法、或者权利要求10所述目标物定位方法、或者权利要求11所述目标物定位方法。
CN202210641147.3A 2022-06-08 2022-06-08 目标物定位方法以及装置 Pending CN115205382A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210641147.3A CN115205382A (zh) 2022-06-08 2022-06-08 目标物定位方法以及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210641147.3A CN115205382A (zh) 2022-06-08 2022-06-08 目标物定位方法以及装置

Publications (1)

Publication Number Publication Date
CN115205382A true CN115205382A (zh) 2022-10-18

Family

ID=83577041

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210641147.3A Pending CN115205382A (zh) 2022-06-08 2022-06-08 目标物定位方法以及装置

Country Status (1)

Country Link
CN (1) CN115205382A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115797445A (zh) * 2023-02-06 2023-03-14 成都智元汇信息技术股份有限公司 一种基于图像识别的室内人员定位方法及装置及介质
CN117670874A (zh) * 2024-01-31 2024-03-08 安徽省交通规划设计研究总院股份有限公司 一种基于图像处理的箱型梁内部裂缝检测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115797445A (zh) * 2023-02-06 2023-03-14 成都智元汇信息技术股份有限公司 一种基于图像识别的室内人员定位方法及装置及介质
CN117670874A (zh) * 2024-01-31 2024-03-08 安徽省交通规划设计研究总院股份有限公司 一种基于图像处理的箱型梁内部裂缝检测方法

Similar Documents

Publication Publication Date Title
CN110622213B (zh) 利用3d语义地图进行深度定位和分段的系统和方法
CN110163064B (zh) 一种道路标志物的识别方法、装置及存储介质
CN111830953B (zh) 车辆自定位方法、装置及系统
US11430199B2 (en) Feature recognition assisted super-resolution method
CN108810473B (zh) 一种在移动平台上实现gps映射摄像机画面坐标的方法及系统
CN111261016A (zh) 道路地图的构建方法、装置和电子设备
CN115205382A (zh) 目标物定位方法以及装置
CN103703758A (zh) 移动增强现实系统
CN111932627B (zh) 一种标识物绘制方法及系统
CN111028358A (zh) 室内环境的增强现实显示方法、装置及终端设备
CN113139031B (zh) 用于自动驾驶的交通标识的生成方法及相关装置
CN112257668A (zh) 主辅路判断方法、装置、电子设备及存储介质
CN116883610A (zh) 基于车辆识别与轨迹映射的数字孪生路口构建方法和系统
Yang et al. Detecting small objects in urban settings using SlimNet model
CN114299230B (zh) 一种数据生成方法、装置、电子设备及存储介质
CN110223223A (zh) 街道扫描方法、装置及扫描仪
Al-Azizi et al. DeepAutoMapping: low-cost and real-time geospatial map generation method using deep learning and video streams
CN112488010A (zh) 基于无人机点云数据的高精度目标提取方法及系统
Chen et al. Amobile system combining laser scanners and cameras for urban spatial objects extraction
CN116917936A (zh) 双目相机外参标定的方法及装置
CN113536854A (zh) 一种高精地图路牌的生成方法、装置及服务器
CN113554754A (zh) 一种基于计算机视觉的室内定位方法
CN116958915B (zh) 目标检测方法、装置、电子设备及存储介质
CN114693574B (zh) 一种无人驾驶仿真场景生成方法及设备
Han et al. Mapping road surface features using single-camera images acquired by a mobile mapping system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination